intel dpdk 在虚拟机 VMware 中安装部署

冰镇可乐

　　声明:此文档只做学习交流使用,请勿用作其他商业用途

author:朝阳_tony

E-mail : linzhaolover@gmail.com

Create Date: 2013-12-28 23:38:47 Saturday

Last Change: 2014-1-1 22:33:42 Wednesday


转载请注明出处：http://blog.iyunv.com/linzhaolover
　　intel DPDK交流群希望大家加入互相学习,QQ群号:289784125
　　


　　此文请结合intel dpdk源码去阅读，基于dpdk-1.5.1 版本源码讲解，源码可以去http://dpdk.org/dev 网页中下载；更多官方文档请访问http://dpdk.org/
　　假如你没有intel的网卡，没有相应的linux系统，只是想简单的使用了解一下dpdk，那么你可以选择在vmware中部署一套简单的dpdk环境；
　　



1、在vmware中安装配置适合dpdk运行的虚拟机；

1）、虚拟机的配置要求，
　　vcpu = 2   最少两个cpu，因为dpdk是需要绑定core，一个是没办正常运行dpdk的，如你电脑运行，最好多配置几个；
　　memory=1024   也就是1G ，当然越多越好，因为要配置hugepage，还是多分点吧；
　　系统，我装的是rhel6.1 ，当然你可以选择更高版本，但不能选择低版本，怕不支持；http://blog.iyunv.com/linzhaolover/article/details/8223568  这有 RHEL6.3 6.4 6.5的下载地址；
　　系统的在装好后要更新一下kernel，我目前虚拟机里使用的是 linux-3.3.2，你最好选择3.0 至3.8之间的，这之间的kernel有些人用过，是可以跑起dpdk的；
　　网卡， 给两个吧，
　　vmware装虚拟机系统我在这就不多说了，网上有很多的教程；

2）、添加dpdk支持的网卡
　　同学们虚拟网卡，大家就不要吝啬了，至少添加两块intel 网卡吧；因为一块会报错误；
　　dpdk是intel出的，目前似乎只支持intel的网卡，在装好虚拟机好，我们看一下当前虚拟机的网卡是什么样的；用lspci命令查看；
　　

# lspci  | grep Ethernet
02:01.0 Ethernet controller: Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE] (rev 10)
02:05.0 Ethernet controller: Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE] (rev 10)vmware安装虚拟机，默认的网卡是amd的，我们该怎样正确添加intel的网卡呢？？？？？？　　
　　好吧，先将虚拟机shutdown；
　　再添加一块网卡，这时别急，先不启动虚拟机；我们还需要去修改一下当前虚拟机的配置文件，
　　我的配置文件时在E:\Users\adm\Documents\Virtual Machines\Red Hat Enterprise Linux 5\Red Hat 6.vmx
　　你在安装虚拟机时，应该选择了其工作目录，自己将鼠标放在VMware左侧栏你创建的虚拟机名字处，就会自动显示它的工作目录的了；
　　用记事本打开配置文件，然后添加一行
　　

ethernet2.virtualDev = "e1000"由于我的是添加的第3块网卡了，如果从0开始数，刚好是eth2，添加后的样子是　　
　　

ethernet2.virtualDev = "e1000"
ethernet2.present = "TRUE"
　　



e1000是intel的网卡中的一个千兆网卡；


　　好了，在重新启动虚拟机，查看一下网卡，多了一个82545em 的网卡，
　　

# lspci  | grep Ethernet
02:01.0 Ethernet controller: Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE] (rev 10)
02:05.0 Ethernet controller: Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE] (rev 10)
02:06.0 Ethernet controller: Intel Corporation 82545EM Gigabit Ethernet Controller (Copper) (rev 01)

　　

2、部署dpdk
　　

1)、下载源码
　　在开启虚拟机后，从dpdk官网下载最新的code
　　

git clone git://dpdk.org/dpdk
　　

2)、设置环境变量
　　
　　进入dpdk目录；编辑一个环境变量文件，然后source；
　　

export RTE_SDK=`pwd`
#export RTE_TARGET=x86_64-default-linuxapp-gcc
export RTE_TARGET=i686-default-linuxapp-gcc

由于我的是32虚拟机，所以我选择i686，将x86_64那行环境变量注释掉；　　
　　我将上面3行放在dpdkrc文件中，然后用source启用这几个环境变量；
　　

source  dpkdrc注意，你以后如果从新登陆终端，进入这个目录，都要source一下这个文件，才能正常运行dpdk的程序；


　　

3）、用dpdk的脚本运行dpdk；
　　运行脚本进行dpdk测试；
　　然后再运行脚本
　　

./tools/setup.sh

----------------------------------------------------------
Step 1: Select the DPDK environment to build
----------------------------------------------------------
[1] i686-default-linuxapp-gcc
[2] i686-default-linuxapp-icc
[3] x86_64-default-linuxapp-gcc
[4] x86_64-default-linuxapp-icc

　　

选择    1      
　　
　　我的是32位系统，所以我选择    1   ， 采用gcc编译32位源码；如果你是64位虚拟机，请选择  3   
　　

----------------------------------------------------------
Step 2: Setup linuxapp environment
----------------------------------------------------------
[5] Insert IGB UIO module
[6] Insert KNI module
[7] Setup hugepage mappings for non-NUMA systems
[8] Setup hugepage mappings for NUMA systems
[9] Display current Ethernet device settings
[10] Bind Ethernet device to IGB UIO module

编译ok后，　　

选择  5   
　　进行igb_uio.ko驱动的安装，这个驱动在编译后是，在i686-default-linuxapp-gcc/kmod/ 目录中；其实在安装igb_uio.ko之前，脚本先安装了uio模块，uio是一种用户态驱动的实现机制，dpdk有些东西时基于uio实现的；有兴趣的可以了解一下uio的驱动使用 http://blog.iyunv.com/wenwuge_topsec/article/details/9628409
　　



选择 7  
　　设置hugepage，
　　

Removing currently reserved hugepages
.echo_tmp: line 2: /sys/devices/system/node/node?/hugepages/hugepages-2048kB/nr_hugepages: 没有那个文件或目录
Unmounting /mnt/huge and removing directory
Input the number of 2MB pages
Example: to have 128MB of hugepages available, enter '64' to
reserve 64 * 2MB pages
Number of pages: 64
Reserving hugepages
Creating /mnt/huge and mounting as hugetlbfs


提示没有nr_hugepage文件，我没有理它，暂且不知道起原因；　　
　　有让你输入预留内存大小的 我输入的是  64  ，   64  乘以 2M  可以128M 做个简单的测试够了，
　　



选 9  
　　看一下你当前的设备
　　

Option: 9

Network devices using IGB_UIO driver
====================================
<none>
Network devices using kernel driver
===================================
0000:02:01.0 '79c970 [PCnet32 LANCE]' if=eth0 drv=pcnet32 unused= *Active*
0000:02:05.0 '79c970 [PCnet32 LANCE]' if=eth1 drv=pcnet32 unused= *Active*
0000:02:06.0 '82545EM Gigabit Ethernet Controller (Copper)' if=eth2 drv=e1000 unused=igb_uio
Other network devices
=====================
<none>


我有3块虚拟网卡，只有最后一个是intel的网卡，看他已经提示当前的网卡驱动而是 e1000而没有用igb_uio , 接下来就是让你去绑定它；　　
　　



选择10
　　
　　进行 网卡bind
　　

Option: 10

Network devices using IGB_UIO driver
====================================
<none>
Network devices using kernel driver
===================================
0000:02:01.0 '79c970 [PCnet32 LANCE]' if=eth0 drv=pcnet32 unused= *Active*
0000:02:05.0 '79c970 [PCnet32 LANCE]' if=eth1 drv=pcnet32 unused= *Active*
0000:02:06.0 '82545EM Gigabit Ethernet Controller (Copper)' if=eth2 drv=e1000 unused=igb_uio
Other network devices
=====================
<none>
Enter PCI address of device to bind to IGB UIO driver: 02:06.0
OK
让你输入pci的地址， 你只要将0000:02:06.0  中的，0000冒号后面的几位输入就行了，  如  02:06.0   记得标点也要输入啊，　　注意绑定的时候可以能有个错误的提示如下；
　　

Enter PCI address of device to bind to IGB UIO driver: 02:06.0 02:07.0
Routing table indicates that interface 0000:02:06.0 is active. Not modifying
OK
is active ，可能是你当前的对应的网卡处于up状态，所以你要执行down命令将其关闭；　　
　　例如我的网卡是eth2；
　　

ifconfig eth2 down关闭后再重新执行一下上面的绑定操作；　　
　　




　　





再选择 9
　　
　　就看一下当前的网卡状态；
　　

Option: 9

Network devices using IGB_UIO driver
====================================
0000:02:06.0 '82545EM Gigabit Ethernet Controller (Copper)' drv=igb_uio unused=e1000
Network devices using kernel driver
===================================
0000:02:01.0 '79c970 [PCnet32 LANCE]' if=eth0 drv=pcnet32 unused= *Active*
0000:02:05.0 '79c970 [PCnet32 LANCE]' if=eth1 drv=pcnet32 unused= *Active*
Other network devices
=====================
<none>
看  drv=igb_uio  驱动已经帮过去了，现在intel网卡的去的是igb_uio;　　
　　



选择  12
　　测试一下dpdk程序  
　　

Option: 12

Enter hex bitmask of cores to execute testpmd app on
Example: to execute app on cores 0 to 7, enter 0xff
bitmask: 0x3
由于我的虚拟机只有2个cpu ，所以按照16进制掩码就选择了 0x3  ，回车运行一下试试 ；　　



再输入  start发一下包
　　

Interactive-mode selected
Configuring Port 0 (socket -1)
Checking link statuses...
Port 0 Link Up - speed 1000 Mbps - full-duplex
Done
testpmd>
testpmd> start
Warning! Cannot handle an odd number of ports with the current port topology. Configuration must be changed to have an even number of ports, or relaunch application with --port-topology=chained
io packet forwarding - CRC stripping disabled - packets/burst=16
nb forwarding cores=1 - nb forwarding ports=1
RX queues=1 - RX desc=128 - RX free threshold=0
RX threshold registers: pthresh=8 hthresh=8 wthresh=4
TX queues=1 - TX desc=512 - TX free threshold=0
TX threshold registers: pthresh=36 hthresh=0 wthresh=0
TX RS bit threshold=0 - TXQ flags=0x0

　　
　　有警告，是什么意思，？？？？？？？？
　　2014年1月1日22:32:10 星期三
　　上面这个错误，经由同样学习dpdk 的同学 frank 解决了，是因为我只添加了1块intel的网卡，你在再添加一块就ok了

输入stop 停止；
　　

Telling cores to stop...
Waiting for lcores to finish...
---------------------- Forward statistics for port 0  ----------------------
RX-packets: 0              RX-dropped: 0             RX-total: 0
TX-packets: 0              TX-dropped: 0             TX-total: 0
----------------------------------------------------------------------------
+++++++++++++++ Accumulated forward statistics for all ports+++++++++++++++
RX-packets: 0              RX-dropped: 0             RX-total: 0
TX-packets: 0              TX-dropped: 0             TX-total: 0
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
Done.


为什么没有数据包呢？？？？？？？？？     谁知道，告诉我一下；　　
　　2014年1月1日22:38:16  星期三
　　上面没有数据的问题解决了，O(∩_∩)O~，原始是我将网卡模式添加时用的NAT模式，给修改成了HOSTONLY模式，哎，但我还是有疑问，只两个模式有什么重要区别吗？？？？
　　  ---------------------- Forward statistics for port 0  ----------------------
RX-packets: 8890           RX-dropped: 0             RX-total: 8890
TX-packets: 8894           TX-dropped: 0             TX-total: 8894
----------------------------------------------------------------------------
---------------------- Forward statistics for port 1  ----------------------
RX-packets: 8895           RX-dropped: 0             RX-total: 8895
TX-packets: 8889           TX-dropped: 0             TX-total: 8889
----------------------------------------------------------------------------
+++++++++++++++ Accumulated forward statistics for all ports+++++++++++++++
RX-packets: 17785          RX-dropped: 0             RX-total: 17785
TX-packets: 17783          TX-dropped: 0             TX-total: 17783
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++




　　


　　



版权声明：本文为博主原创文章，未经博主允许不得转载。