信息化 频道

OracleSolaris在SPARC平台上虚拟化方案

  【IT168 应用】在本篇文章中,你将找到如何实现Sun SPARCT4-2 服务器上的虚拟化的方法与技巧。本人通过真实的项目实战,把虚拟化完整过程全部记录下来,包括虚拟化介绍,项目背景,架构的搭建,系统的安装和后期的配置,都体现出来,力求详尽。

  第一章:简介

  一.Oracle虚拟化介绍

  Oracle 虚拟化是面向企业级的,为企业用户提供低成本,可扩展,高于其他虚拟化产品性能的服务器虚拟化解决方案。基于Web的集中管理工具,提供对虚拟机的生命周期管理,包括虚拟机的创建,配置,克隆,迁移等。可以充分保障用户业务的高可用性机连续性,快速的应用部署,在短时间内完成企业软件系统的搭建,并且满足企业用户不同规模的虚拟化需求。在每台硬件系统上,用户可建立一个或者多个虚拟系统,每个虚拟系统之间相互独立,互不干扰。用户通过Oracle VM Manager软件进行日常管理。

  为了让大家对Oracle Solaris虚拟化的原理有更深刻的认识,请参看下图:

OracleSolaris在SPARC平台上虚拟化方案
▲图1-1 Oracle 虚拟化架构原理图

        • Oracle VM Manager:用来管理Oracel VM Server,虚拟系统和资源,运行在Oracle Linux系统上的WebLogic 服务应用。由很多子组件构成,其中ADF(Application Development Framework)应用,提供了基于web的图形用户界面GUI(graphical user interface)和命令行界面CLI(command line interface)允许用户进行管理。

  • Oracle VM Server:作为受管理的虚拟化环境,提供一个轻量级的,安全的运行虚拟机的服务平台。通过Oracle VM Agent完成Oracel VM Server和Oracle VM Manager之间的通信。Dom0 是域0的缩写,具有对硬件和设备驱动的管理权限,DomU是不具备管理权限的,不能直接访问硬件和设备驱动,它的启动和管理都是通过Dom0来完成的。在SPARC平台上,Oracle Solaris 系统充当着primary domain的角色(也就是Dom0),上面运行的虚拟机则是DomU的角色。

  二.项目介绍

  很多用户在使用Oracle Solaris SPARC平台的物理系统时遇到很多问题,如系统硬盘如何合理划分,系统安装,系统迁移,系统故障如何处理等,以及当前的服务器数量不足,影响到项目的进度。考虑到用户的上述问题,为了实现Oracle Solaris SPARC系统的统一集中管理,包括存储资源、网络资源、CPU资源以及内存资源等等。可以根据用户应用所需资源的大小,分配给虚拟机合理的资源,不光满足客户的项目需求,同时降低客户运营成本,决定提供Oracle SPARC T4-2服务器的一整套虚拟化方案,Web管理端采用Oracle 公司发布的最新版软件Oracle VM Manager 3.2.1。

  第二章:Oracle 虚拟化实施项目架构

  Oracle SPARC T 4服务器运行Oracle Solaris 系统,在针对企业软件而优化的高度可扩展,安全,集成的平台上提供非常高的性能。并提供了5倍的单线程性能提升,针对Oracle和第三方软件进行了高度优化。SPARC T4-2 是大型部门部署以及关键业务应用,中间件和数据库工作负载的理想服务器。该系统基于SPARC T4 处理器,是加速和整合业务流程,提高运营效率,降低数据中心费用,以及虚拟化的非常好的选择之一。

  在整个项目架构中,我们不仅要用到Oracle SPARC T4-2服务器,同时也需要IBM xSeries 3550 M4服务器和IBM V7000存储来共同完成虚拟化,理由如下:

  1. IBM xSeries3550 M4服务器将正常运行时间,性能与 I/O 灵活性集于一身,从而实现高可靠性,凭借更高的计算能力功耗比以及对最新英特尔至强 E5-2600 系列处理器的支持和先进的内存支持,x3550 M4 使性能和密度达到更加合理平衡。

  2. IBM Storwize V7000提供了与虚拟化服务器环境配套的虚拟化存储系统,具有超高的性能,可用性,先进的功能和高度可扩展的容量,这在中端磁盘系统中是前所未有的。同时支持10Gbps网络环境也是我们选择V7000的重要理由之一。

  强大的功能优势列举如下:

  A. 整合块存储和文件存储,以便实现卓越的简易性、更高的效率和管理简易性

  B. 通过动态迁移实现近乎连续的应用程序可用性

  C. 易于使用的数据管理采用图形化用户界面和点击式系统管理功能

  D. 支持RAID 0、1、5、6 和 10

  实施项目硬件列表:

硬件角色说明
IBM xSeries 3550 m4Oracle VM Manager1.物理系统:Oracle Linux R5 U7
2.Oracle VM Manager版本: 3.2.1
SPARC T4-2 ServerOracle VM Server1.物理系统:Oracle Solaris 11.1
2.运行Oracle VM Agent
SPARC T5240 ServerExternal Storage1.提供NFS服务
2.通过光纤卡连接存储
IBM Storwize V7000Raid5

 

OracleSolaris在SPARC平台上虚拟化方案
▲图 2-1 实施项目虚拟化架构图

 

OracleSolaris在SPARC平台上虚拟化方案
▲图 2-2 T4-2服务器网络配置图

        注释:

        1.网卡net0为Oracle VM Manager独立使用

  2.网卡net1为Oracle 虚拟操作系统独立使用

  3.将网卡net2和net3聚合,为NFS独立使用

  第三章:项目实施

  一.在xSeries3550 M4上安装 Oracle Linux R5 U7

  安装步骤1:将xSeries 3550 M4 硬盘做成RAID 1并将光驱设定为第一引导设备。

  安装步骤2:读取安装光盘后按照提示完成系统安装。

  注意事项:在安装oracle linux 中,请忽略 MySql 软件包,Oracle VM Manager将会使用自己的MySql数据库。

  资源:OracleLinux-R5-U7-Server-x86_64-dvd.iso

  二.在Oracle linux系统上安装软件Oracle VM Manager 3.2.1

  上一步安装好Oracle Linux物理系统后,我们要在此系统内安装OVMM(Oracle VM Manager)

  安装步骤如下:

  1.# mount –o ro,loop /tmp/OVMM-V36286-01.iso /mnt

  2.# cd /mnt

  3.# ./createOracle.sh

  4.# ./runInstaller.sh

  Oracle VM Manager Release 3.2.1 Installer Oracle VM Manager Installer log file: /tmp/ovm-manager-3-install-2012-11-30-181411.log

  Please select an installation type:

  1: Simple (includes database if necessary)

  2: Custom (using existing Oracle database)

  3: Uninstall

  4: Help

  Select Number (1-4): 1

  One password is used for all users created and used during the installation.

  Enter a password for all logins used during the installation:Passw0r!(注意密码复杂度)

  Enter a password for all logins used during the installation (confirm):Passw0r!

  Start installing the configured components:

  1: Continue

  2: Abort

  Select Number (1-2):1

  5.# rpm -ivh tightvnc-java-1.3.9-4.noarch.rpm

  6.# rpm –ivh jta-2.6-1.noarch.rpm

  7.使用ovmm管理帐号admin/Passw0r!登陆Oracle VM Manager 来验证安装是否成功,

  Oracle VM Manager 访问地址:https://OVMManager:7002/ovm/console

  补充:Oracle VM Manager的备份,恢复以及迁移

  产品环境投入使用后,OVMM的重要性不可言喻,我们就要做好OVMM的数据备份,恢复以及OVMM平台的迁移。

  1.备份:Oracle VM Manager使用自己的MySQL作为数据库,并自动备份数据,保留最近的15个版本,自动备份目录是 /u01/app/oracle/mysql/dbbackup

  2.恢复:使用Oracle用户执行

  $./u01/app/oracle/ovm-manager-3/ovm_shell/tools/RestoreDatabase.sh AutoFullBackup-date

  (Date为自动备份的具体日期)

  3.迁移:在新的环境里安装好OVMM后,结合上述OVMM的备份和恢复,在此不做详述。

  三.在T4-2和T5240上安装 Oracle Solaris 11 系统

  我们需要在T4-2和T5240上安装物理系统Oracle Solaris 11作为虚拟平台,安装步骤如下:

  1.开机后显示器有输出时,同时按下Solaris键盘上的stop和a键,把安装光盘放入吸入式光驱。

  2.ok> boot cdrom 回车

  3.按照提示选择相应的选项来完成安装。

  注意事项:在配制网络时请不要配制ipv6

  资源:sol-11_1-text-SPARC.iso

  四.升级系统到Oracle Solaris 11.1

  1.在升级系统之前首先要确认系统的当前版本,目的是验证所安装系统和升级包的正确性。查看当前系统版本命令:

  # pkg info entire

  Name: entire

  Summary: Incorporation to lock all system packages to the same build

  Description: This package constrains system package versions to the same

  build. WARNING: Proper system update and correct package

  selection depend on the presence of this incorporation.

  Removing this package will result in an unsupported system.

  Category: Meta Packages/Incorporations

  State: Installed

  Publisher: solaris

  Version: 0.5.11

  Build Release: 5.11

  Branch: 0.175.1.0.0.24.2

  Packaging Date: September 19, 2012 07:01:35 PM

  Size: 5.46 kB

  FMRI: pkg://solaris/entire@0.5.11,5.11-0.175.1.0.0.24.2:20120919T190135Z

  2.挂载升级包到/mnt上

  #mount -F hsfs /home/itaas/soft/sol-11_1-repo-full.iso /mnt

  3.将升级包的文件拷贝到新创建的目录publisher下

  #cp -R /mnt/* /publisher

  4.挂载补充升级包到/mnt1上

  #mount -F hsfs /home/itaas/soft/sol-11_1-sru3-05_1-incr-repo.iso /mnt1

  5.整合两个升级包

  #pkgrecv -s /mnt1/repo -d file:///publisher/repo -m all-versions '*'

  6.重新生成升级包

  #pkgrepo rebuild -s /publisher/repo

  步骤7-12为制作publisher的过程,在此不做详细说明。

  7.#svccfg -s application/pkg/server setprop pkg/inst_root=/publisher/repo

  8.#svccfg -s application/pkg/server setprop pkg/readonly=true

  9.#svcadm refresh application/pkg/server

  10.#svcadm enable application/pkg/server

  11.#pkg unset-publisher solaris

  12.#pkg set-publisher –g file:///publisher/repo solaris

  13.执行升级

  #pkg update

  14.Reboot

  15.验证升级后的系统版本

  # pkg info entire

  Name: entire

  Summary: entire incorporation including Support Repository Update (Oracle Solaris 11.1 SRU 3.5.1).

  Description: This package constrains system package versions to the same

  build. WARNING: Proper system update and correct package

  selection depend on the presence of this incorporation.

  Removing this package will result in an unsupported system. For

  more information see https://support.oracle.com/CSP/main/article

  ?cmd=show&type=NOT&doctype=REFERENCE&id=1501435.1.

  Category: Meta Packages/Incorporations

  State: Installed

  Publisher: solaris

  Version: 0.5.11 (Oracle Solaris 11.1 SRU 3.5.1)

  Build Release: 5.11

  Branch: 0.175.1.3.0.5.1

  Packaging Date: January 18, 2013 01:40:08 AM

  Size: 5.46 kB

  FMRI: pkg://solaris/entire@0.5.11,5.11-0.175.1.3.0.5.1:20130118T014008Z

  五.升级 firmware

  我们需要从oracle官网下载最新的firmware,实现SPARC服务器对外设驱动的加载。

  1. 使用root用户在主机上执行如下步骤:

  a) # cd /tmp

  b) # ls 148823-05_FIRMWARE_SPARC_T4-2_S_8.2.2.c_64bit.zip

  c) # mkdir /tmp/patch

  d) # chmod 777 /tmp/patch

  e) # mv ./148823-05_FIRMWARE_SPARC_T4-2_S_8.2.2.c_64bit.zip /tmp/patch

  f) # cd /tmp/patch

  g) # /usr/bin/unzip 148823-05_FIRMWARE_SPARC_T4-2_S_8.2.2.c_64bit.zip

  h) # cd ./148823-05

  I) # ls *.pkg

  2. 下载升级包到Service Processor(SP 是一种管理服务器硬件管理模块,独立于操作系统,可以监控系统的软硬件状态并进行远程开关机。

  a) # pwd <- should be /tmp/patch/148823-05

  b) # ./sysfwdownload Sun_System_Firmware-8_2_2_c-SPARC_T4-2.pkg

  3. 关机

  # shutdown -i0 -g0 -y

  4. 通过串口连接SP

  5. 使用root登陆到Service Processor

  6. 在Service Processor内,执行 stop /SYS

  7. 验证升级包版本:

  -> show /SP/firmware/localimage

  /SP/firmware/localimage

  Targets:

  Properties:

  upload_date = Thu Nov 11 12:46:08 2010

  version = 3.0.12.2

  Commands:

  cd

  show

  8. 执行安装:

  -> load -source /SP/firmware/localimage

  六.配置控制域

  最初,系统把所有的资源都分配给控制域。在第一章介绍过,SPARC上的Oracle Solaris物理系统充当primary domain角色(Dom0),为了创建更多的虚拟机(DomU),实现虚拟化,我们要创建和配置Oracle VM Server控制域,步骤如下:

  1.Configure the control domain

  a.# ldm add-vds primary-vds0 primary

  b.# ldm add-vcc port-range=5000-5100 primary-vcc0 primary

  c.# ldm set-vcpu 8 primary

  d.# ldm start-reconf primary

  e.# ldm set-mem 4g primary

  f.# ldm add-spconfig ovm-initial

  2.Restart the control domain

  # shutdown -y -g0 -i6

  3.Enable the logical domains and virtual network terminal (console) daemon services

  a.# svcadm enable ldmd

  b.# svcadm enable vntsd

        七.安装 Oracle VM Agent

  为了实现Oracle VM Manager和Oracle VM Server之间的通信,我们需要在Oracle VM Server上安装和配置Oracle VM Agent。

  安装步骤如下:

  1. 解压缩 Oracle VM Agent 安装包

  # tar xzf ovs-ldoms-xx.tar.gz

  2. 执行安装

  # cd ovs-ldoms-xx

  # ./install

  说明:Oracle VM Agent 默认端口:8899 (可通过命令#netstat -an|grep 8899 来验证端口是否打开)

  八.配置OVMM(Oracle VM Manager)

  1.搜索Oracle VM 服务器

  点击主菜单下的Discover Servers按钮,输入配置Oracle VM Agent时设定的密码和T4-2服务器的IP地址,选择OK。

安装 Oracle Solaris 11 系统
▲图 3-1 添加Oracle VM Server向导

  2.搜索文件服务器

  作用:文件服务器用来存储虚拟系统

  方法点击主菜单下的Discover File Server 按钮并输入文件服务器的IP和name完成配置。

安装 Oracle Solaris 11 系统
▲图 3-2 添加文件服务向导

安装 Oracle Solaris 11 系统
▲图 3-3 文件服务器上存储信息

  3.创建虚拟机网络

  作用:为虚拟系统提供网络支持

  方法:点击主菜单下的Create New Network 按钮并根据向导完成网络配置。

安装 Oracle Solaris 11 系统
▲图 3-4 虚拟机网络信息

  4.创建Server Pool

  作用:Server Pool包含一台或多台Oracle VM Servers,进行集中有效管理

  方法:点击主菜单下的Create Server Pool按钮并根据向导完成创建

  5.创建存储repository(使用NFS文件服务)

  作用:存储Oracle虚拟机资源并对其进行管理

  方法:a.点击主菜单下的Create New Repository按钮

  b.选择Network File System作为存储类型

安装 Oracle Solaris 11 系统
▲图 3-5 存储repository信息

  九.测试

  1.创建虚机

  a.点击Create Virtual Machine按钮,根据图 3-6 完成基本配置,注意Domain Type选择OVM/SPARC,操作系统版本选择Oracle Solaris 11。

配置OVM、网络、系统环境等
▲图 3-6 虚机基本配置

  b.选择Networks Tab,在Network下拉菜单中选择IP地址后点击Add VNIC按钮。

配置OVM、网络、系统环境等
▲图 3-7 虚机网卡配置

  c.选择Disks Tab,增加一块硬盘如图:

配置OVM、网络、系统环境等
▲图 3-8 虚机硬盘配置

  2.连接虚机

  a.点击Launch Serial Console 按钮(需要java支持)

配置OVM、网络、系统环境等
▲图 3-9 Java插件窗口

  b.输入用户名密码登陆系统(Oracle Solaris 11系统需先用普通用户登录后方可su到root用户,禁止直接使用root用户登录)

配置OVM、网络、系统环境等
▲图 3-10 Solaris 11.1 OS console

  3.分配IP

  # ipadm create-addr –T static –a local=10.9.8.7/24 net0/v4static

  4.配置路由

  #route -p add default 10.9.8.1

  第四章: 项目总结

  技术上,通过Oracle SPARC T4-2服务器上虚拟化的实践,我们对SPARC T4-2服务器有了更深入的了解,并掌握了Oracle VM Manager的安装,配置,备份,恢复和迁移。同时首次尝试将非SUN存储IBM V7000和Oracle SPARC T4-2进行连接,取得成功,填补了空白,意义重大,为今后在Oracle SPARC服务器和IBM产品间的组合应用领域上提供了宝贵的经验。

  管理上,实现了Oracle Solaris SPARC虚拟系统的统一集中管理,资源的统一分配,满足了客户对SPARC虚拟系统不同规模的需求,减少用户搭建环境的时间,方便用户的使用。事实证明,我们所提供Oracle SPARC T4-2服务器的一整套虚拟化方案是可行的,是值得信赖和推广的。

  经过此项目,我们也深刻的认识到,任何一个项目的成功,离不开团队所有成员的共同努力,只要人尽其责,团结协作,定可克服各种困难,圆满完成项目。

  作者简介:

 

配置OVM、网络、系统环境等
▲谷铁柏

  任职于某大型外资IT企业,从事Oracel ERP领域及UNIX服务器管理多年,拥有丰富的IBM System x系列服务器虚拟化经验,现负责客户项目实施及TSM(Tivoli Storage Manager)维护。

0
相关文章