intel dpdk 在虚拟机 VMware 中安装部署
声明:此文档只做学习交流使用,请勿用作其他商业用途author:朝阳_tony
E-mail : linzhaolover@gmail.com
Create Date: 2013-12-28 23:38:47 Saturday
Last Change: 2014-1-1 22:33:42 Wednesday
转载请注明出处：http://blog.iyunv.com/linzhaolover
intel DPDK交流群希望大家加入互相学习,QQ群号:289784125
此文请结合intel dpdk源码去阅读，基于dpdk-1.5.1 版本源码讲解，源码可以去http://dpdk.org/dev 网页中下载；更多官方文档请访问http://dpdk.org/
假如你没有intel的网卡，没有相应的linux系统，只是想简单的使用了解一下dpdk，那么你可以选择在vmware中部署一套简单的dpdk环境；
1、在vmware中安装配置适合dpdk运行的虚拟机；
1）、虚拟机的配置要求，
vcpu = 2 最少两个cpu，因为dpdk是需要绑定core，一个是没办正常运行dpdk的，如你电脑运行，最好多配置几个；
memory=1024 也就是1G ，当然越多越好，因为要配置hugepage，还是多分点吧；
系统，我装的是rhel6.1 ，当然你可以选择更高版本，但不能选择低版本，怕不支持；http://blog.iyunv.com/linzhaolover/article/details/8223568这有 RHEL6.3 6.4 6.5的下载地址；
系统的在装好后要更新一下kernel，我目前虚拟机里使用的是 linux-3.3.2，你最好选择3.0 至3.8之间的，这之间的kernel有些人用过，是可以跑起dpdk的；
网卡， 给两个吧，
vmware装虚拟机系统我在这就不多说了，网上有很多的教程；
2）、添加dpdk支持的网卡
同学们虚拟网卡，大家就不要吝啬了，至少添加两块intel 网卡吧；因为一块会报错误；
dpdk是intel出的，目前似乎只支持intel的网卡，在装好虚拟机好，我们看一下当前虚拟机的网卡是什么样的；用lspci命令查看；
# lspci| grep Ethernet
02:01.0 Ethernet controller: Advanced Micro Devices 79c970 (rev 10)
02:05.0 Ethernet controller: Advanced Micro Devices 79c970 (rev 10)vmware安装虚拟机，默认的网卡是amd的，我们该怎样正确添加intel的网卡呢？？？？？？
好吧，先将虚拟机shutdown；
再添加一块网卡，这时别急，先不启动虚拟机；我们还需要去修改一下当前虚拟机的配置文件，
我的配置文件时在E:\Users\adm\Documents\Virtual Machines\Red Hat Enterprise Linux 5\Red Hat 6.vmx
你在安装虚拟机时，应该选择了其工作目录，自己将鼠标放在VMware左侧栏你创建的虚拟机名字处，就会自动显示它的工作目录的了；
用记事本打开配置文件，然后添加一行
ethernet2.virtualDev = "e1000"由于我的是添加的第3块网卡了，如果从0开始数，刚好是eth2，添加后的样子是
ethernet2.virtualDev = "e1000"
ethernet2.present = "TRUE"
e1000是intel的网卡中的一个千兆网卡；
好了，在重新启动虚拟机，查看一下网卡，多了一个82545em 的网卡，
# lspci| grep Ethernet
02:01.0 Ethernet controller: Advanced Micro Devices 79c970 (rev 10)
02:05.0 Ethernet controller: Advanced Micro Devices 79c970 (rev 10)
02:06.0 Ethernet controller: Intel Corporation 82545EM Gigabit Ethernet Controller (Copper) (rev 01)
2、部署dpdk
1)、下载源码
在开启虚拟机后，从dpdk官网下载最新的code
git clone git://dpdk.org/dpdk
2)、设置环境变量
进入dpdk目录；编辑一个环境变量文件，然后source；
export RTE_SDK=`pwd`
#export RTE_TARGET=x86_64-default-linuxapp-gcc
export RTE_TARGET=i686-default-linuxapp-gcc
由于我的是32虚拟机，所以我选择i686，将x86_64那行环境变量注释掉；
我将上面3行放在dpdkrc文件中，然后用source启用这几个环境变量；
sourcedpkdrc注意，你以后如果从新登陆终端，进入这个目录，都要source一下这个文件，才能正常运行dpdk的程序；
3）、用dpdk的脚本运行dpdk；
运行脚本进行dpdk测试；
然后再运行脚本
./tools/setup.sh
----------------------------------------------------------
Step 1: Select the DPDK environment to build
----------------------------------------------------------
i686-default-linuxapp-gcc
i686-default-linuxapp-icc
x86_64-default-linuxapp-gcc
x86_64-default-linuxapp-icc
选择 1
我的是32位系统，所以我选择 1 ， 采用gcc编译32位源码；如果你是64位虚拟机，请选择3
----------------------------------------------------------
Step 2: Setup linuxapp environment
----------------------------------------------------------
Insert IGB UIO module
Insert KNI module
Setup hugepage mappings for non-NUMA systems
Setup hugepage mappings for NUMA systems
Display current Ethernet device settings
Bind Ethernet device to IGB UIO module
编译ok后，
选择5
进行igb_uio.ko驱动的安装，这个驱动在编译后是，在i686-default-linuxapp-gcc/kmod/ 目录中；其实在安装igb_uio.ko之前，脚本先安装了uio模块，uio是一种用户态驱动的实现机制，dpdk有些东西时基于uio实现的；有兴趣的可以了解一下uio的驱动使用 http://blog.iyunv.com/wenwuge_topsec/article/details/9628409
选择 7
设置hugepage，
Removing currently reserved hugepages
.echo_tmp: line 2: /sys/devices/system/node/node?/hugepages/hugepages-2048kB/nr_hugepages: 没有那个文件或目录
Unmounting /mnt/huge and removing directory
Input the number of 2MB pages
Example: to have 128MB of hugepages available, enter '64' to
reserve 64 * 2MB pages
Number of pages: 64
Reserving hugepages
Creating /mnt/huge and mounting as hugetlbfs
提示没有nr_hugepage文件，我没有理它，暂且不知道起原因；
有让你输入预留内存大小的 我输入的是64， 64乘以 2M可以128M 做个简单的测试够了，
选 9
看一下你当前的设备
Option: 9
Network devices using IGB_UIO driver
====================================
<none>
Network devices using kernel driver
===================================
0000:02:01.0 '79c970 ' if=eth0 drv=pcnet32 unused= *Active*
0000:02:05.0 '79c970 ' if=eth1 drv=pcnet32 unused= *Active*
0000:02:06.0 '82545EM Gigabit Ethernet Controller (Copper)' if=eth2 drv=e1000 unused=igb_uio
Other network devices
=====================
<none>
我有3块虚拟网卡，只有最后一个是intel的网卡，看他已经提示当前的网卡驱动而是 e1000而没有用igb_uio , 接下来就是让你去绑定它；
选择10
进行 网卡bind
Option: 10
Network devices using IGB_UIO driver
====================================
<none>
Network devices using kernel driver
===================================
0000:02:01.0 '79c970 ' if=eth0 drv=pcnet32 unused= *Active*
0000:02:05.0 '79c970 ' if=eth1 drv=pcnet32 unused= *Active*
0000:02:06.0 '82545EM Gigabit Ethernet Controller (Copper)' if=eth2 drv=e1000 unused=igb_uio
Other network devices
=====================
<none>
Enter PCI address of device to bind to IGB UIO driver: 02:06.0
OK
让你输入pci的地址， 你只要将0000:02:06.0中的，0000冒号后面的几位输入就行了，如02:06.0 记得标点也要输入啊， 注意绑定的时候可以能有个错误的提示如下；
Enter PCI address of device to bind to IGB UIO driver: 02:06.0 02:07.0
Routing table indicates that interface 0000:02:06.0 is active. Not modifying
OK
is active ，可能是你当前的对应的网卡处于up状态，所以你要执行down命令将其关闭；
例如我的网卡是eth2；
ifconfig eth2 down关闭后再重新执行一下上面的绑定操作；
再选择 9
就看一下当前的网卡状态；
Option: 9
Network devices using IGB_UIO driver
====================================
0000:02:06.0 '82545EM Gigabit Ethernet Controller (Copper)' drv=igb_uio unused=e1000
Network devices using kernel driver
===================================
0000:02:01.0 '79c970 ' if=eth0 drv=pcnet32 unused= *Active*
0000:02:05.0 '79c970 ' if=eth1 drv=pcnet32 unused= *Active*
Other network devices
=====================
<none>
看drv=igb_uio驱动已经帮过去了，现在intel网卡的去的是igb_uio;
选择12
测试一下dpdk程序
Option: 12
Enter hex bitmask of cores to execute testpmd app on
Example: to execute app on cores 0 to 7, enter 0xff
bitmask: 0x3
由于我的虚拟机只有2个cpu ，所以按照16进制掩码就选择了 0x3，回车运行一下试试 ；
再输入start发一下包
Interactive-mode selected
Configuring Port 0 (socket -1)
Checking link statuses...
Port 0 Link Up - speed 1000 Mbps - full-duplex
Done
testpmd>
testpmd> start
Warning! Cannot handle an odd number of ports with the current port topology. Configuration must be changed to have an even number of ports, or relaunch application with --port-topology=chained
io packet forwarding - CRC stripping disabled - packets/burst=16
nb forwarding cores=1 - nb forwarding ports=1
RX queues=1 - RX desc=128 - RX free threshold=0
RX threshold registers: pthresh=8 hthresh=8 wthresh=4
TX queues=1 - TX desc=512 - TX free threshold=0
TX threshold registers: pthresh=36 hthresh=0 wthresh=0
TX RS bit threshold=0 - TXQ flags=0x0
有警告，是什么意思，？？？？？？？？
2014年1月1日22:32:10 星期三
上面这个错误，经由同样学习dpdk 的同学 frank 解决了，是因为我只添加了1块intel的网卡，你在再添加一块就ok了
输入stop 停止；
Telling cores to stop...
Waiting for lcores to finish...
---------------------- Forward statistics for port 0----------------------
RX-packets: 0 RX-dropped: 0 RX-total: 0
TX-packets: 0 TX-dropped: 0 TX-total: 0
----------------------------------------------------------------------------
+++++++++++++++ Accumulated forward statistics for all ports+++++++++++++++
RX-packets: 0 RX-dropped: 0 RX-total: 0
TX-packets: 0 TX-dropped: 0 TX-total: 0
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
Done.
为什么没有数据包呢？？？？？？？？？ 谁知道，告诉我一下；
2014年1月1日22:38:16星期三
上面没有数据的问题解决了，O(∩_∩)O~，原始是我将网卡模式添加时用的NAT模式，给修改成了HOSTONLY模式，哎，但我还是有疑问，只两个模式有什么重要区别吗？？？？
---------------------- Forward statistics for port 0----------------------
RX-packets: 8890 RX-dropped: 0 RX-total: 8890
TX-packets: 8894 TX-dropped: 0 TX-total: 8894
----------------------------------------------------------------------------
---------------------- Forward statistics for port 1----------------------
RX-packets: 8895 RX-dropped: 0 RX-total: 8895
TX-packets: 8889 TX-dropped: 0 TX-total: 8889
----------------------------------------------------------------------------
+++++++++++++++ Accumulated forward statistics for all ports+++++++++++++++
RX-packets: 17785 RX-dropped: 0 RX-total: 17785
TX-packets: 17783 TX-dropped: 0 TX-total: 17783
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
版权声明：本文为博主原创文章，未经博主允许不得转载。
页:
[1]