注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

BA7NQ的网络日志

为那美好的时光不被遗忘......

 
 
 

日志

 
 

MSA2000i + Linux + DM多路径  

2009-08-10 07:12:28|  分类: 计算机技术 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

硬件环境:两台HP DL380G5服务器,一台双控制器MSA2000i磁盘柜,两台千兆交换机。每台服务器上额外安装两块NC373T网卡,作为iSCSI端口。

 

MSA2000i + Linux + DM多路径 - ba7nq - BA7NQ的网络日志 

系统连接图

开始使用HP提供NC373T offload引擎,并参考HP ProLiant Accelerated iSCSI for Linux User Guide。因为发现HP所提供的bnx2i驱动程序,在有些操作系统下会导致Device Mapper的多路径工作不正常,故采用RHEL自带的网卡驱动程序和iSCSI程序,BA7NQ。

  

服务器和MSA2000i的连接方式如上图,IP地址如下:

MSA2000i

A0端口

192.168.10.1

A1端口

192.168.11.1

 

B0端口

192.168.10.2

B1端口

192.168.11.2

Data Host 1

iSCSI0网卡端口

192.168.10.3

iSCSI1网卡端口

192.168.11.3

Data Host 2

iSCSI0网卡端口

192.168.10.4

iSCSI1网卡端口

192.168.11.4

说明:所有0端口同一个子网,所有1端口使用另外一个子网。

 

MSA2000i + Linux + DM多路径 - ba7nq - BA7NQ的网络日志

MSA2000i SMU上的控制器端口设置 

 

1)         MSA2000i划分分区

根据要求,先在MSA2000i上划分处以个420GB的分区和一个130G的分区,并map到all hosts。

 

2)         安装操作系统

安装操作系统,如果是RHEL,建议5.2以上的版本。确认所有网卡都被驱动。作为iSCSI连接的网卡,可以ping通MSA2000i的四个控制器主机端口,即192.168.10.1、192.168.10.2、192.168.11.1、192.168.11.2。

 

3)         安装iscsi-initiator-utils-6.2.0.868-0.7.el5.i386.rpm

可在RHEL 5安装光盘的Server目录下找到。

# rpm -ivh iscsi-initiator-utils-6.2.0.868-0.7.el5.i386.rpm

#/etc/init.d/iscsi start

 

4)         查找iSCSI设备,并登录

由于MSA2000i有4个iSCSI端口,所以,需要进行四次的发现目标和登录。

#iscsiadm --mode discovery --type sendtargets --portal 192.168.10.1

#iscsiadm --mode discovery --type sendtargets --portal 192.168.10.2

#iscsiadm --mode discovery --type sendtargets --portal 192.168.11.1

#iscsiadm --mode discovery --type sendtargets --portal 192.168.11.2

#iscsiadm --mode node --targetname iqn.1986-03.com.hp:storage.msa2012i.0831d5d3ef.a --portal 192.168.10.1 --login

#iscsiadm --mode node --targetname iqn.1986-03.com.hp:storage.msa2012i.0831d5d3ef.b --portal 192.168.10.2 --login

#iscsiadm --mode node --targetname iqn.1986-03.com.hp:storage.msa2012i.0831d5d3ef.a --portal 192.168.11.1 --login

#iscsiadm --mode node --targetname iqn.1986-03.com.hp:storage.msa2012i.0831d5d3ef.b --portal 192.168.11.2 –login

 

可以通过fdisk –l看到,一个在MSA2000i上的分区,在服务器中会被看到两个。例如,在这个案例中,420G的分区,被发现为/dev/sda、/dev/sdb两个设备,130G的分区,被发现为/dev/sdc、/dev/sdd两个设备。

 

5)         确认操作系统安装的Device mappper的程序:

# rpm -qa | grep device

device-mapper-multipath-0.4.7-17.el5

device-mapper-event-1.02.24-1.el5

device-mapper-1.02.24-1.el5

如没有,可在RHEL 5安装光盘的Server目录下找到,并安装。

 

6)         安装HPDM工具包4.3.0

可在HP官方网站下载,参考该工具包的Release Note

#gzip –d HPDMmultipath-4.3.0.tar.gz

#tar xf HPDMmultipath-4.3.0.tar

#./INSTALL

 

安装完之后,可发现/etc/multipath.con,已经被HPDM工具包的修改,加入了HP的磁盘柜配置参数。

 

修改/etc/iscsi/iscsid.conf:

node.session.timeo.replacement_timeout=15

node.startup=automatic

 

 

 

7)         重新启动iscsi和DM:

#/etc/init.d/iscsi restart

#/etc/init.d/multipathd restart

 

可以通过multipath看到dm合并之后的路径状态

#multipath -ll

mpath1 (3600c0ff000d5db1c71ac7e4a01000000) dm-3 HP,MSA2012i

[size=128G][features=1 queue_if_no_path][hwhandler=0]

\_ round-robin 0 [prio=0][active]

 \_ 0:0:0:1 sdc 8:32  [active][ready]

 \_ 1:0:0:1 sdd 8:48  [active][ready]

mpath0 (3600c0ff000d5db1c4fac7e4a01000000) dm-2 HP,MSA2012i

[size=419G][features=1 queue_if_no_path][hwhandler=0]

\_ round-robin 0 [prio=0][active]

 \_ 0:0:0:0 sda 8:0   [active][ready]

 \_ 1:0:0:0 sdb 8:16  [active][ready]

 

在上面可以看到,/dev/sda和/dev/sdb被合并为mpath0(420G分区),对应的系统设备名称是/dev/mapper/mpath0,/dev/sdc和/dev/sdd被合并为mpath1(130G分区),对应的系统设备名称是/dev/mapper/mpath1。

 

8)         使用

需要通过Linux的LVM(逻辑卷管理)方式,对多路径设备进行分区和管理,其方法步骤是:

(1)       对多路径设备建立PV(物理卷)

(2)       通过PV建立VG(卷组)

(3)       在VG上划分LV(逻辑卷)

(4)       对LV进行格式化,OCFS2文件系统

(5)       挂载LV

 

参考例子:

#pvcreate /dev/mapper/mpath0                                              //在420G分区上建立PV

#vgcreate vgoradata /dev/mapper/mpath0                           //建立卷组vgoradata

#lvcreate –L 400G n lv01 vgoradata                              //在卷组vgoradata上建立一个逻辑卷lv01

#mke2fs.ocfs /dev/vgoradata/lv01                                 //对vgoradata上的lv01进行格式化

#vgchange –a y vgoradata                                              //激活卷组

#mount /oradata /dev/vgoradata/lv01                                     //把逻辑卷挂栽到系统目录

 

欢迎交流...73! de BA7NQ,以下HP官方文档,请细心阅读:

HP StorageWorks 2012i Modular Smart Array user guide

HP StorageWorks 2000 Family Modular Smart Array reference guide

Device Mapper Multipath Enablement Kit for HP StorageWorks Disk Arrays installation and reference guide

Device Mapper Multipath Enablement Kit for HP StorageWorks Disk Arrays v4.3.0 release notes

  评论这张
 
阅读(5663)| 评论(1)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017