DPU网络开发SDK——DPDK(十二)
创始人
2024-05-14 23:04:11

rte_bus_probe()->pci_probe_all_drivers()->rte_pci_probe_one_driver()->eth_ixgbe_pci_probe()

继续分析rte_pci_probe_one_driver()的实现,接下来调用与设备匹配的驱动的probe方法,此处以ixgbe设备的驱动为例,其probe方法为eth_ixgbe_pci_probe()。

static int eth_ixgbe_pci_probe(struct rte_pci_driver *pci_drv __rte_unused, struct rte_pci_device *pci_dev) {char name[RTE_ETH_NAME_MAX_LEN];struct rte_eth_dev *pf_ethdev;struct rte_eth_devargs eth_da;int i, retval;if (pci_dev->device.devargs) {retval = rte_eth_devargs_parse(pci_dev->device.devargs->args, ð_da);……} elsememset(ð_da, 0, sizeof(eth_da));retval = rte_eth_dev_create(&pci_dev->device, pci_dev->device.name,sizeof(struct ixgbe_adapter), eth_dev_pci_specific_init, pci_dev, eth_ixgbe_dev_init, NULL);……pf_ethdev = rte_eth_dev_allocated(pci_dev->device.name);……/* probe VF representor ports */for (i = 0; i < eth_da.nb_representor_ports; i++) {struct ixgbe_vf_info *vfinfo;struct ixgbe_vf_representor representor;vfinfo = *IXGBE_DEV_PRIVATE_TO_P_VFDATA(pf_ethdev->data->dev_private);……representor.vf_id = eth_da.representor_ports[i];representor.switch_domain_id = vfinfo->switch_domain_id;representor.pf_ethdev = pf_ethdev;/* representor port net_bdf_port */snprintf(name, sizeof(name), "net_%s_representor_%d",pci_dev->device.name,eth_da.representor_ports[i]);retval = rte_eth_dev_create(&pci_dev->device, name,sizeof(struct ixgbe_vf_representor), NULL, NULL,ixgbe_vf_representor_init, &representor);……}return 0;
}

eth_ixgbe_pci_probe()中,如果存在,首先解析设备的devargs,调用rte_eth_devargs_parse()实现,主要是解析参数中传入的port和representor port的信息(对应的VFIO技术中的PF和VF)。之后调用rte_eth_dev_create()创建设备,调用该函数时,会传入两个函数参数,eth_dev_pci_specific_init()和eth_ixgbe_dev_init(),其中eth_ixgbe_dev_init()不得是空值。

int rte_eth_dev_create(struct rte_device *device, const char *name,size_t priv_data_size, ethdev_bus_specific_init ethdev_bus_specific_init,void *bus_init_params, ethdev_init_t ethdev_init, void *init_params) {struct rte_eth_dev *ethdev;int retval;……if (rte_eal_process_type() == RTE_PROC_PRIMARY) {ethdev = rte_eth_dev_allocate(name);……if (priv_data_size) {ethdev->data->dev_private = rte_zmalloc_socket(name, priv_data_size, RTE_CACHE_LINE_SIZE,device->numa_node);……}} else {ethdev = rte_eth_dev_attach_secondary(name);……}ethdev->device = device;if (ethdev_bus_specific_init) {retval = ethdev_bus_specific_init(ethdev, bus_init_params);if (retval) {RTE_ETHDEV_LOG(ERR,"ethdev bus specific initialisation failed\n");goto probe_failed;}}retval = ethdev_init(ethdev, init_params);if (retval) {RTE_ETHDEV_LOG(ERR, "ethdev initialisation failed\n");goto probe_failed;}rte_eth_dev_probing_finish(ethdev);return retval;……
}

rte_eth_dev_create()中,会根据DPDK是primary还是secondary的不同,采用不同的方式创建设备

  • primary

primary模式下,调用rte_eth_dev_allocate()创建设备,创建设备之前,会检查模块全局指针eth_dev_shared_data是否进行了初始化,未做初始化时进行初始化操作。该指针指向的内存区域,包含了必要的锁和需要共享的数据,且是通过memzone接口创建出来的,故对该内存区域的修改能够被DPDK的secondary进程看到。接下来调用eth_dev_find_free_port()在rte_eth_devices数组中查找空闲的项(rte_eth_dev类型),找到的话,将设备的name,port_id,mtu等信息填充到rte_eth_dev->data中,另外在data->data_private中创建一块区域存储,用来存储struct ixgeb_adaptor结构,这里需要特别注意的是rte_eth_dev->data的存储区域,对应的是eth_dev_shared_data->data[i],对应rte_eth_dev->data的读写实际上是对eth_dev_shared_data->data[i]的读写。

  • secondary

secondary模式下,调用rte_eth_dev_attach_secondary()创建设备。会在eth_dev_shared_data中查找设备的名称,如果找到,则将eth_dev_shared_data中对应port的data赋值给rte_eth_dev->data。这样secondary进程中的数据看到的和primary中的数据是相同的。

创建完成之后,将rte_eth_dev和rte_device进行关联。如果ethdev_bus_specific_init()函数不为空,则执行,此处对应的是eth_dev_pci_specific_init(),主要工作是将rte_pci_device中的一些信息拷贝到rte_eth_dev中。接下来执行ethdev_init(),此处对应的是eth_ixgbe_dev_init()。该func主要是初始化rte_eth_dev中的函数指针,保护数据包的收发,网卡配置,网卡信息获取,网卡队列操作等。如果是VFIO设备,还承担着PF初始化等工作。在最后,调用rte_eth_dev_probing_finish()将设备状态置为RTE_ETH_DEV_ATTACHED。

rte_eth_dev_create()之后,调用rte_eth_dev_allocated()获取PF设备的指针,根据devargs中配置的representor port的信息,配置VF设备。

此处仍然是调用rte_eth_dev_create()来创建设备,与之前不同的是,此时设备的data->data_private存储的是struct ixgeb_vf_representor,设备初始化接口变成了ixgbe_vf_representor_init(),其主要工作与eth_ixgbe_dev_init()类似。

至此,我们对rte_eth_devices数据结构的填充分析完成。从前面的分析内容可以看出,在DPDK的init阶段这些信息就已经被填充到模块局部变量rte_eth_devices当中,接下来,我们可以返回第(九)篇文章中,继续对example/ethtool进行分析。

example/ethtool

ethtool这个范例中,自定义了setup_ports()接口,包含了如下的一些操作。

static void setup_ports(struct app_config *app_cfg, int cnt_ports) {……for (idx_port = 0; idx_port < cnt_ports; idx_port++) {struct app_port *ptr_port = &app_cfg->ports[idx_port];ret = rte_eth_dev_info_get(idx_port, &dev_info);……size_pktpool = dev_info.rx_desc_lim.nb_max +dev_info.tx_desc_lim.nb_max + PKTPOOL_EXTRA_SIZE;snprintf(str_name, 16, "pkt_pool%i", idx_port);ptr_port->pkt_pool = rte_pktmbuf_pool_create(str_name, size_pktpool, PKTPOOL_CACHE,0, RTE_MBUF_DEFAULT_BUF_SIZE,rte_socket_id());……printf("Init port %i..\n", idx_port);ptr_port->port_active = 1;ptr_port->port_dirty = 0;ptr_port->idx_port = idx_port;if (rte_eth_dev_configure(idx_port, 1, 1, &cfg_port) < 0)rte_exit(EXIT_FAILURE,"rte_eth_dev_configure failed");……if (rte_eth_rx_queue_setup(idx_port, 0, nb_rxd,rte_eth_dev_socket_id(idx_port), NULL,ptr_port->pkt_pool) < 0)……if (rte_eth_tx_queue_setup(idx_port, 0, nb_txd,rte_eth_dev_socket_id(idx_port), NULL) < 0)……if (rte_eth_dev_start(idx_port) < 0)……ret = rte_eth_macaddr_get(idx_port, &ptr_port->mac_addr);……rte_spinlock_init(&ptr_port->lock);}
}

setup_ports()将一些需要网卡设备进行配置的工作进行了封装,接下来将对这些内容进行分析,未完待续……

相关内容

热门资讯

特朗普起诉摩根大通因政治原因关... 美国总统特朗普周四对摩根大通及其CEO戴蒙提起诉讼,索赔至少50亿美元,指控该金融机构因政治原因关闭...
媒体:美国推动俄罗斯和乌克兰在... 据媒体援引知情人士透露,美国正敦促乌克兰和俄罗斯在本周晚些时候在阿布扎比举行三方会谈,以期达成乌克兰...
“马”上解锁新春氛围感 (来源:新华日报) 红纸翻飞间骏马成型,拓印木版上福字鲜亮,相机咔嚓声中定格幸福瞬间……近日...
最新或2023(历届)江苏高考... 江苏高考改革新方案公布了!今天上午,江苏省教育厅举办新闻发布会。会上,江苏省教育厅厅长沈健透露,江苏...
最新或2023(历届)江苏高考...  本报南京2月23日讯(记者 缪志聪)江苏省教育厅今天上午召开江苏省考试招生制度改革新闻发布会,通报...