【IT168 应用】在本篇文章中，你将找到如何实现Sun SPARCT4-2 服务器上的虚拟化的方法与技巧。本人通过真实的项目实战，把虚拟化完整过程全部记录下来，包括虚拟化介绍，项目背景，架构的搭建，系统的安装和后期的配置，都体现出来，力求详尽。

　　第一章：简介

　　一.Oracle虚拟化介绍

　　Oracle 虚拟化是面向企业级的，为企业用户提供低成本，可扩展,高于其他虚拟化产品性能的服务器虚拟化解决方案。基于Web的集中管理工具,提供对虚拟机的生命周期管理，包括虚拟机的创建，配置，克隆，迁移等。可以充分保障用户业务的高可用性机连续性，快速的应用部署，在短时间内完成企业软件系统的搭建，并且满足企业用户不同规模的虚拟化需求。在每台硬件系统上，用户可建立一个或者多个虚拟系统，每个虚拟系统之间相互独立，互不干扰。用户通过Oracle VM Manager软件进行日常管理。

　　为了让大家对Oracle Solaris虚拟化的原理有更深刻的认识，请参看下图：

▲图1-1 Oracle 虚拟化架构原理图

        • Oracle VM Manager：用来管理Oracel VM Server,虚拟系统和资源，运行在Oracle Linux系统上的WebLogic 服务应用。由很多子组件构成，其中ADF(Application Development Framework)应用，提供了基于web的图形用户界面GUI(graphical user interface)和命令行界面CLI(command line interface)允许用户进行管理。

　　• Oracle VM Server：作为受管理的虚拟化环境，提供一个轻量级的，安全的运行虚拟机的服务平台。通过Oracle VM Agent完成Oracel VM Server和Oracle VM Manager之间的通信。Dom0 是域0的缩写，具有对硬件和设备驱动的管理权限，DomU是不具备管理权限的，不能直接访问硬件和设备驱动，它的启动和管理都是通过Dom0来完成的。在SPARC平台上，Oracle Solaris 系统充当着primary domain的角色(也就是Dom0)，上面运行的虚拟机则是DomU的角色。

　　二.项目介绍

　　很多用户在使用Oracle Solaris SPARC平台的物理系统时遇到很多问题，如系统硬盘如何合理划分，系统安装，系统迁移，系统故障如何处理等，以及当前的服务器数量不足，影响到项目的进度。考虑到用户的上述问题，为了实现Oracle Solaris SPARC系统的统一集中管理，包括存储资源、网络资源、CPU资源以及内存资源等等。可以根据用户应用所需资源的大小，分配给虚拟机合理的资源，不光满足客户的项目需求，同时降低客户运营成本，决定提供Oracle SPARC T4-2服务器的一整套虚拟化方案，Web管理端采用Oracle 公司发布的最新版软件Oracle VM Manager 3.2.1。

　　第二章：Oracle 虚拟化实施项目架构

　　Oracle SPARC T 4服务器运行Oracle Solaris 系统，在针对企业软件而优化的高度可扩展，安全，集成的平台上提供非常高的性能。并提供了5倍的单线程性能提升，针对Oracle和第三方软件进行了高度优化。SPARC T4-2 是大型部门部署以及关键业务应用，中间件和数据库工作负载的理想服务器。该系统基于SPARC T4 处理器，是加速和整合业务流程，提高运营效率，降低数据中心费用，以及虚拟化的非常好的选择之一。

　　在整个项目架构中，我们不仅要用到Oracle SPARC T4-2服务器，同时也需要IBM xSeries 3550 M4服务器和IBM V7000存储来共同完成虚拟化，理由如下：

　　1. IBM xSeries3550 M4服务器将正常运行时间，性能与 I/O 灵活性集于一身，从而实现高可靠性，凭借更高的计算能力功耗比以及对最新英特尔至强 E5-2600 系列处理器的支持和先进的内存支持，x3550 M4 使性能和密度达到更加合理平衡。

　　2. IBM Storwize V7000提供了与虚拟化服务器环境配套的虚拟化存储系统，具有超高的性能，可用性，先进的功能和高度可扩展的容量，这在中端磁盘系统中是前所未有的。同时支持10Gbps网络环境也是我们选择V7000的重要理由之一。

　　强大的功能优势列举如下：

　　A. 整合块存储和文件存储，以便实现卓越的简易性、更高的效率和管理简易性

　　B. 通过动态迁移实现近乎连续的应用程序可用性

　　C. 易于使用的数据管理采用图形化用户界面和点击式系统管理功能

　　D. 支持RAID 0、1、5、6 和 10

　　实施项目硬件列表：

▲图 2-1 实施项目虚拟化架构图

▲图 2-2 T4-2服务器网络配置图

        注释：

        1.网卡net0为Oracle VM Manager独立使用

　　2.网卡net1为Oracle 虚拟操作系统独立使用

　　3.将网卡net2和net3聚合，为NFS独立使用

　　第三章：项目实施

　　一.在xSeries3550 M4上安装 Oracle Linux R5 U7

　　安装步骤1：将xSeries 3550 M4 硬盘做成RAID 1并将光驱设定为第一引导设备。

　　安装步骤2：读取安装光盘后按照提示完成系统安装。

　　注意事项：在安装oracle linux 中，请忽略 MySql 软件包，Oracle VM Manager将会使用自己的MySql数据库。

　　资源：OracleLinux-R5-U7-Server-x86_64-dvd.iso

　　二.在Oracle linux系统上安装软件Oracle VM Manager 3.2.1

　　上一步安装好Oracle Linux物理系统后，我们要在此系统内安装OVMM(Oracle VM Manager)

　　安装步骤如下：

　　1.# mount –o ro,loop /tmp/OVMM-V36286-01.iso /mnt

　　2.# cd /mnt

　　3.# ./createOracle.sh

　　4.# ./runInstaller.sh

　　Oracle VM Manager Release 3.2.1 Installer Oracle VM Manager Installer log file: /tmp/ovm-manager-3-install-2012-11-30-181411.log

　　Please select an installation type:

　　1: Simple (includes database if necessary)

　　2: Custom (using existing Oracle database)

　　3: Uninstall

　　4: Help

　　Select Number (1-4): 1

　　One password is used for all users created and used during the installation.

　　Enter a password for all logins used during the installation:Passw0r!(注意密码复杂度)

　　Enter a password for all logins used during the installation (confirm):Passw0r!

　　Start installing the configured components:

　　1: Continue

　　2: Abort

　　Select Number (1-2):1

　　5.# rpm -ivh tightvnc-java-1.3.9-4.noarch.rpm

　　6.# rpm –ivh jta-2.6-1.noarch.rpm

　　7.使用ovmm管理帐号admin/Passw0r!登陆Oracle VM Manager 来验证安装是否成功，

　　Oracle VM Manager 访问地址：https://OVMManager:7002/ovm/console

　　补充：Oracle VM Manager的备份，恢复以及迁移

　　产品环境投入使用后，OVMM的重要性不可言喻，我们就要做好OVMM的数据备份，恢复以及OVMM平台的迁移。

　　1.备份：Oracle VM Manager使用自己的MySQL作为数据库，并自动备份数据，保留最近的15个版本，自动备份目录是 /u01/app/oracle/mysql/dbbackup

　　2.恢复：使用Oracle用户执行

　　$./u01/app/oracle/ovm-manager-3/ovm_shell/tools/RestoreDatabase.sh AutoFullBackup-date

　　(Date为自动备份的具体日期)

　　3.迁移：在新的环境里安装好OVMM后，结合上述OVMM的备份和恢复，在此不做详述。

　　三.在T4-2和T5240上安装 Oracle Solaris 11 系统

　　我们需要在T4-2和T5240上安装物理系统Oracle Solaris 11作为虚拟平台，安装步骤如下：

　　1.开机后显示器有输出时，同时按下Solaris键盘上的stop和a键，把安装光盘放入吸入式光驱。

　　2.ok> boot cdrom 回车

　　3.按照提示选择相应的选项来完成安装。

　　注意事项：在配制网络时请不要配制ipv6

　　资源：sol-11_1-text-SPARC.iso

　　四.升级系统到Oracle Solaris 11.1

　　1.在升级系统之前首先要确认系统的当前版本，目的是验证所安装系统和升级包的正确性。查看当前系统版本命令：

　　# pkg info entire

　　Name: entire

　　Summary: Incorporation to lock all system packages to the same build

　　Description: This package constrains system package versions to the same

　　build. WARNING: Proper system update and correct package

　　selection depend on the presence of this incorporation.

　　Removing this package will result in an unsupported system.

　　Category: Meta Packages/Incorporations

　　State: Installed

　　Publisher: solaris

　　Version: 0.5.11

　　Build Release: 5.11

　　Branch: 0.175.1.0.0.24.2

　　Packaging Date: September 19, 2012 07:01:35 PM

　　Size: 5.46 kB

　　FMRI: pkg://solaris/entire@0.5.11,5.11-0.175.1.0.0.24.2:20120919T190135Z

　　2.挂载升级包到/mnt上

　　#mount -F hsfs /home/itaas/soft/sol-11_1-repo-full.iso /mnt

　　3.将升级包的文件拷贝到新创建的目录publisher下

　　#cp -R /mnt/* /publisher

　　4.挂载补充升级包到/mnt1上

　　#mount -F hsfs /home/itaas/soft/sol-11_1-sru3-05_1-incr-repo.iso /mnt1

　　5.整合两个升级包

　　#pkgrecv -s /mnt1/repo -d file:///publisher/repo -m all-versions '*'

　　6.重新生成升级包

　　#pkgrepo rebuild -s /publisher/repo

　　步骤7-12为制作publisher的过程，在此不做详细说明。

　　7.#svccfg -s application/pkg/server setprop pkg/inst_root=/publisher/repo

　　8.#svccfg -s application/pkg/server setprop pkg/readonly=true

　　9.#svcadm refresh application/pkg/server

　　10.#svcadm enable application/pkg/server

　　11.#pkg unset-publisher solaris

　　12.#pkg set-publisher –g file:///publisher/repo solaris

　　13.执行升级

　　#pkg update

　　14.Reboot

　　15.验证升级后的系统版本

　　# pkg info entire

　　Name: entire

　　Summary: entire incorporation including Support Repository Update (Oracle Solaris 11.1 SRU 3.5.1).

　　Description: This package constrains system package versions to the same

　　build. WARNING: Proper system update and correct package

　　selection depend on the presence of this incorporation.

　　Removing this package will result in an unsupported system. For

　　more information see https://support.oracle.com/CSP/main/article

　　?cmd=show&type=NOT&doctype=REFERENCE&id=1501435.1.

　　Category: Meta Packages/Incorporations

　　State: Installed

　　Publisher: solaris

　　Version: 0.5.11 (Oracle Solaris 11.1 SRU 3.5.1)

　　Build Release: 5.11

　　Branch: 0.175.1.3.0.5.1

　　Packaging Date: January 18, 2013 01:40:08 AM

　　Size: 5.46 kB

　　FMRI: pkg://solaris/entire@0.5.11,5.11-0.175.1.3.0.5.1:20130118T014008Z

　　五.升级 firmware

　　我们需要从oracle官网下载最新的firmware，实现SPARC服务器对外设驱动的加载。

　　1. 使用root用户在主机上执行如下步骤：

　　a) # cd /tmp

　　b) # ls 148823-05_FIRMWARE_SPARC_T4-2_S_8.2.2.c_64bit.zip

　　c) # mkdir /tmp/patch

　　d) # chmod 777 /tmp/patch

　　e) # mv ./148823-05_FIRMWARE_SPARC_T4-2_S_8.2.2.c_64bit.zip /tmp/patch

　　f) # cd /tmp/patch

　　g) # /usr/bin/unzip 148823-05_FIRMWARE_SPARC_T4-2_S_8.2.2.c_64bit.zip

　　h) # cd ./148823-05

　　I) # ls *.pkg

　　2. 下载升级包到Service Processor(SP 是一种管理服务器硬件管理模块，独立于操作系统，可以监控系统的软硬件状态并进行远程开关机。

　　a) # pwd <- should be /tmp/patch/148823-05

　　b) # ./sysfwdownload Sun_System_Firmware-8_2_2_c-SPARC_T4-2.pkg

　　3. 关机

　　# shutdown -i0 -g0 -y

　　4. 通过串口连接SP

　　5. 使用root登陆到Service Processor

　　6. 在Service Processor内，执行 stop /SYS

　　7. 验证升级包版本：

　　-> show /SP/firmware/localimage

　　/SP/firmware/localimage

　　Targets:

　　Properties:

　　upload_date = Thu Nov 11 12:46:08 2010

　　version = 3.0.12.2

　　Commands:

　　cd

　　show

　　8. 执行安装：

　　-> load -source /SP/firmware/localimage

　　六.配置控制域

　　最初，系统把所有的资源都分配给控制域。在第一章介绍过，SPARC上的Oracle Solaris物理系统充当primary domain角色(Dom0)，为了创建更多的虚拟机(DomU)，实现虚拟化，我们要创建和配置Oracle VM Server控制域，步骤如下：

　　1.Configure the control domain

　　a.# ldm add-vds primary-vds0 primary

　　b.# ldm add-vcc port-range=5000-5100 primary-vcc0 primary

　　c.# ldm set-vcpu 8 primary

　　d.# ldm start-reconf primary

　　e.# ldm set-mem 4g primary

　　f.# ldm add-spconfig ovm-initial

　　2.Restart the control domain

　　# shutdown -y -g0 -i6

　　3.Enable the logical domains and virtual network terminal (console) daemon services

　　a.# svcadm enable ldmd

　　b.# svcadm enable vntsd

        七.安装 Oracle VM Agent

　　为了实现Oracle VM Manager和Oracle VM Server之间的通信，我们需要在Oracle VM Server上安装和配置Oracle VM Agent。

　　安装步骤如下：

　　1. 解压缩 Oracle VM Agent 安装包

　　# tar xzf ovs-ldoms-xx.tar.gz

　　2. 执行安装

　　# cd ovs-ldoms-xx

　　# ./install

　　说明：Oracle VM Agent 默认端口：8899 (可通过命令#netstat -an|grep 8899 来验证端口是否打开)

　　八.配置OVMM(Oracle VM Manager)

　　1.搜索Oracle VM 服务器

　　点击主菜单下的Discover Servers按钮，输入配置Oracle VM Agent时设定的密码和T4-2服务器的IP地址，选择OK。

▲图 3-1 添加Oracle VM Server向导

　　2.搜索文件服务器

　　作用：文件服务器用来存储虚拟系统

　　方法点击主菜单下的Discover File Server 按钮并输入文件服务器的IP和name完成配置。

▲图 3-2 添加文件服务向导

▲图 3-3 文件服务器上存储信息

　　3.创建虚拟机网络

　　作用：为虚拟系统提供网络支持

　　方法：点击主菜单下的Create New Network 按钮并根据向导完成网络配置。

▲图 3-4 虚拟机网络信息

　　4.创建Server Pool

　　作用：Server Pool包含一台或多台Oracle VM Servers，进行集中有效管理

　　方法：点击主菜单下的Create Server Pool按钮并根据向导完成创建

　　5.创建存储repository(使用NFS文件服务)

　　作用：存储Oracle虚拟机资源并对其进行管理

　　方法：a.点击主菜单下的Create New Repository按钮

　　b.选择Network File System作为存储类型

▲图 3-5 存储repository信息

　　九.测试

　　1.创建虚机

　　a.点击Create Virtual Machine按钮，根据图 3-6 完成基本配置，注意Domain Type选择OVM/SPARC,操作系统版本选择Oracle Solaris 11。

▲图 3-6 虚机基本配置

　　b.选择Networks Tab，在Network下拉菜单中选择IP地址后点击Add VNIC按钮。

▲图 3-7 虚机网卡配置

　　c.选择Disks Tab，增加一块硬盘如图：

▲图 3-8 虚机硬盘配置

　　2.连接虚机

　　a.点击Launch Serial Console 按钮(需要java支持)

▲图 3-9 Java插件窗口

　　b.输入用户名密码登陆系统(Oracle Solaris 11系统需先用普通用户登录后方可su到root用户，禁止直接使用root用户登录)

▲图 3-10 Solaris 11.1 OS console

　　3.分配IP

　　# ipadm create-addr –T static –a local=10.9.8.7/24 net0/v4static

　　4.配置路由

　　#route -p add default 10.9.8.1

　　第四章: 项目总结

　　技术上，通过Oracle SPARC T4-2服务器上虚拟化的实践，我们对SPARC T4-2服务器有了更深入的了解，并掌握了Oracle VM Manager的安装，配置，备份，恢复和迁移。同时首次尝试将非SUN存储IBM V7000和Oracle SPARC T4-2进行连接，取得成功，填补了空白，意义重大，为今后在Oracle SPARC服务器和IBM产品间的组合应用领域上提供了宝贵的经验。

　　管理上，实现了Oracle Solaris SPARC虚拟系统的统一集中管理，资源的统一分配，满足了客户对SPARC虚拟系统不同规模的需求，减少用户搭建环境的时间，方便用户的使用。事实证明，我们所提供Oracle SPARC T4-2服务器的一整套虚拟化方案是可行的，是值得信赖和推广的。

　　经过此项目，我们也深刻的认识到，任何一个项目的成功，离不开团队所有成员的共同努力，只要人尽其责，团结协作，定可克服各种困难，圆满完成项目。

　　作者简介:

▲谷铁柏

　　任职于某大型外资IT企业，从事Oracel ERP领域及UNIX服务器管理多年，拥有丰富的IBM System x系列服务器虚拟化经验，现负责客户项目实施及TSM(Tivoli Storage Manager)维护。