Jan 302013
 

今年据说国内要大力搞OpenStack的培训。其实IAAS这个东西,并不难,麻烦在于设备。一般人,很难有真实的服务器来测试。那么能不能在OpenStack下的虚拟机,测试OpenStack呢?

记忆非常清楚,2007年初,我倒腾vmware 的ESX3.0的时候,当时你是无法在workstation下进行测试。搞虚拟化培训,需要用物理服务器,这其实是有点讽刺的。后来vmware让workstation支持ESX,大家可以在workstation里安装ESX,并且可以搞一个虚拟机,朋友用的是NT4.0,在上面进行迁移演示,比较酷。以前一直都有一个梦想,有一台这样比较牛逼的笔记本,可以装一套这个,到处给别人演示。

上次有朋友专门谈到:OpenStack下测试OpenStack,会有问题,我就专门测试一下,看看有啥问题。由于现在有脚本,可以大大减少我的工作量。

测试结论:可以在Openstack下的虚拟机,安装Openstack,并且还能再启动一个虚拟机,这个虚拟机的网络基本正常,不过肯定是没法用Floating IP,还有就是默认的DNS设置有点问题,你可以直接通过IP访问外网,或者自己手工修改DNS。

 

安装脚本使用

1:安装Openstack

单网卡,安装OpenStack,采用nova network,FlatDHCP。这个我很熟悉,完全没任何的问题。

创建一个2G内存大小的虚拟机,命名为test1,作为测试使用。

2:虚拟机下安装OpenStack

由于脚本是包含cinder volume,所以需要用文件进行模拟,另外好像虚拟机对iscsi支持有bug,你需要处理一下,就可以运行脚本。

装完后,需要把kvm改成qemu,重启nova服务就可以。

3:在虚拟机下创建虚拟机

其实这个时候,你可以通过浏览器,访问第一个虚拟机的floating IP,登陆dashboard。创建一个虚拟机,命名为test2。不过你访问这个虚拟机,就需要折腾一下

从物理服务器,ssh到test1虚拟机,再从test1虚拟机里,ssh到test2虚拟机里。

有朋友说,在test2虚拟机里无法访问外网,不过我测试没问题,不能ping 域名,是因为DNS设置,可以ping通公网IP。

虚拟机的密钥注入都没啥问题。感觉就是nova-manage 创建网络的时候,指定DNS,好像这个设置在Folsom版本失效,改天再研究吧。

Jan 302013
 

今天希望可以在虚拟机里测试Openstack,不过发现安装过程出现报错

FATAL: Module iscsi_trgt not found.

这个脚本在我的物理服务器上是没问题的,那么这个问题,应该会和虚拟机有关。

http://toomeek.waw.pl/blog/?p=2370

看来需要先降级一下内核才行。

# dpkg-reconfigure iscsitarget-dkms -------- Uninstall Beginning -------- Module: iscsitarget Version: 1.4.20.2 Kernel: 3.2.0-36-virtual (x86_64) ------------------------------------- Status: Before uninstall, this module version was ACTIVE on this kernel. iscsi_trgt.ko: - Uninstallation - Deleting from: /lib/modules/3.2.0-36-virtual/updates/dkms/ - Original module - No original module was found for this module on this kernel. - Use the dkms install command to reinstall any previous module version. depmod.... DKMS: uninstall completed. ------------------------------ Deleting module version: 1.4.20.2 completely from the DKMS tree. ------------------------------ Done. Creating symlink /var/lib/dkms/iscsitarget/1.4.20.2/source -> /usr/src/iscsitarget-1.4.20.2 DKMS: add completed. Error! Your kernel headers for kernel 3.2.0-32-virtual cannot be found. Please install the linux-headers-3.2.0-32-virtual package, or use the --kernelsourcedir option to tell DKMS where it's located

 

root@test1:~/openstack_folsom_deploy# apt-get install linux-headers-3.2.0-32-virtual Reading package lists... Done Building dependency tree Reading state information... Done The following extra packages will be installed: linux-headers-3.2.0-32 The following NEW packages will be installed: linux-headers-3.2.0-32 linux-headers-3.2.0-32-virtual 0 upgraded, 2 newly installed, 0 to remove and 55 not upgraded. Need to get 12.7 MB of archives. After this operation, 67.5 MB of additional disk space will be used. Do you want to continue [Y/n]? Get:1 http://10.1.199.5/ubuntu/ precise-updates/main linux-headers-3.2.0-32 all 3.2.0-32.51 [11.7 MB] Get:2 http://10.1.199.5/ubuntu/ precise-updates/main linux-headers-3.2.0-32-virtual amd64 3.2.0-32.51 [990 kB] Fetched 12.7 MB in 0s (26.9 MB/s) Selecting previously unselected package linux-headers-3.2.0-32. (Reading database ... 67539 files and directories currently installed.) Unpacking linux-headers-3.2.0-32 (from .../linux-headers-3.2.0-32_3.2.0-32.51_all.deb) ... Selecting previously unselected package linux-headers-3.2.0-32-virtual. Unpacking linux-headers-3.2.0-32-virtual (from .../linux-headers-3.2.0-32-virtual_3.2.0-32.51_amd64.deb) ... Setting up linux-headers-3.2.0-32 (3.2.0-32.51) ... Setting up linux-headers-3.2.0-32-virtual (3.2.0-32.51) ... Examining /etc/kernel/header_postinst.d. run-parts: executing /etc/kernel/header_postinst.d/dkms 3.2.0-32-virtual /boot/vmlinuz-3.2.0-32-virtual root@test1:~/openstack_folsom_deploy# /etc/init.d/iscsitarget restart * Removing iSCSI enterprise target devices: [ OK ] * Starting iSCSI enterprise target service [ OK ] [ OK ] root@test1:~/openstack_folsom_deploy#

Jan 252013
 

对于Folsom版本,我一直都没尝试Nova network的安装,因为这个基本和Essex版本一样,不过还是有几个细节的地方需要调整。

如何在一块网卡的环境下安装Openstack,设置nova network。刚好看到一套脚本,可以满足我的需求。

上次和朋友交流,讨论万兆网卡已经逐渐普及,服务器上,如果是单块万兆网卡,基本就可以满足需求。使用单块网卡,不只是可以降低成本,而且还可以减少系统的复杂性,布线等。至少Facebook的机房的机器,都是单块网卡,这是比较值得思考的地方。

传统企业的网络物理划分成:管理网络,数据网络,外网,带外管理等,这些随着机器的密度增加,布线难度很大,而且这种划分,其实并不能带来所谓的安全性增加。目前已经有国内的互联网企业在尝试单块网卡,跑所有的业务。

我也总算基本搞明白单块网卡,如何设置。

https://github.com/jedipunkz/openstack_folsom_deploy

这套脚本功能很丰富,我现在测试他的nova network的功能。脚本很体贴,把Folsom的源的添加,都是自动添加。

如果你希望step by step 安装,已经有一篇英文的文档:http://openstack-folsom-install-guide.readthedocs.org/en/latest/

也是单网卡,和脚本安装是基本一样的。我能看到的区别就是网卡的设置,这个问题应该不大,因为nova network,会处理,你如果不设置。

2013年1月31日:我已经测试过多节点,一切正常,他的控制节点,同时也是计算节点,如果你不希望控制节点跑计算服务,那么你只需要把计算服务停掉就可以了。

Continue reading »

Jan 132013
 

朋友老抱怨,gmail里的广告很多。我很奇怪,我自己的gmail邮件,没显示任何的广告。当时没搞明白是啥原因导致的。

今天尝试在Chrome访问gmail,发现真的不少广告。突然明白,原来是我的火狐的广告拦截插件生效的原因。那也就在Chrome上装一个,验证一下。

Adblock plus, 火狐和Chrome都有这个插件,装好就马上可以使用。这样gmail看起来就比较舒服。

一点问题都没有。看来这个插件,真的让google比较受伤。不过难得的是google对这个插件没任何的动作。

Jan 112013
 

Openstack的Dashboard项目Horizon,其实做的很不错。其实如果你熟悉他的代码,对他进行一下简单修改,可以实现很多你需要的功能。很多时候,并不需要做太大的改动。

很多人都是根据Openstack的dashboard来判断有什么功能,其实Dashboard只是Openstack的部分功能,很多你需求的功能,可能很简单就可以实现,基本没啥代码量。当你读Openstack的代码,你带着下面这些需求去看,估计效果更好。如果你实现了下面这些功能,至少说明你已经开始熟悉Openstack。需要记住一点就是下面的功能,全部都是通过调用API实现。

下面的这些功能,你就可以拿来练手。我大概估算一下工作量,如果一个python程序员,从熟悉Openstack开始,加上大家交流,我估计3个月,应该就可以基本搞定下面的功能。这基本都是基于Openstack的Horizon来修改。以下的内容,我公司的开发人员,基本都已经玩了一遍。

大概是3,4百行的代码修改量。

1:虚拟机自动获得Floating IP

当你创建虚拟机的时候,默认是获得一个fix ip,公网的IP,需要手工获得。如何能实现自动获得IP呢?其实nova默认就有这个功能,你只需要在nova.conf 文件加上一个参数就可以实现。现在Grizzly,也在努力实现这个功能。这个功能在HPcloud上已经实现。我同事已经验证了这个功能。这个其实不需要增加一行代码。

2:默认安全组的改进

这个其实是让很多新手比较困惑的地方。默认的安全组是没任何规则,不允许访问。是否可以默认加上ssh和允许ping的规则呢? HPcloud,默认的每个新的用户,都是打开22端口和允许ping。实现这个其实也不难,找对相应的文件的位置,修改就可以,通过调用API来实现。

3:安全组添加UI改进

现在安全组添加完一条规则,马上就关闭页面,如果添加多条规则,很不方便。这个其实是考验你的web水平。现在Grizzly已经决定改进这个地方。这个实现起来,应该是很简单的。

https://blueprints.launchpad.net/horizon/+spec/security-group-rules

4:把虚拟机创建在指定的物理服务器

如果你是管理员,你是可以通过命令行,指定虚拟机在那台物理服务器上创建。如果你希望在Dashboard里实现那么你需要做不少工作。首先你需要把所有的服务器列出来,你才能去选择。需要实现通过API的方式,把你zone里的服务器列出来,产生一个列表,让用户选择。当你把服务器列出来后,后面就简单了,你只需要把参数传过去就可以。

当你机器数量比较少的时候,这样玩是没问题的。而且用户也习惯这种方式。

5:虚拟机关机

默认虚拟机是不能关机的,这其实也是运营模式决定的。不过其实nova 的api是提供虚拟机关机的功能。你只需要调用API接口就可以实现。

6:变更虚拟机配置 Resize

这也是经常提到的问题。为了统一的管理,其实一般都是几个固定的配置,你可以根据你的要求,对配置进行变更。是否支持运行状态下变更配置,这其实基本是由Hyper-V决定。vmware是可以支持cpu,硬盘,网卡,内存的在线添加。对于KVM来说,就只能支持磁盘和网卡。

变更配置,在Openstack里是Resize, 他是要调整虚拟机的硬盘,内存和cpu。对于nova来说,Resize还是比较复杂的,出于运维,管理和成本的考虑,Resize,会对虚拟机进行一个迁移,这样你还需要处理网络的问题。

目前nova是提供了这个功能,不过要很好实现,目前还是很麻烦。最简单的方式就是本地resize,这样你至少就不需要考虑网络。这个我同事基本已经实现了,本地实现resize。

关于Resize,sina修复了两个bug,这个可以看看,https://www.openstack.org/blog/2012/10/how-sina-contributes-to-openstack/

7:热迁移

其实以前大家都认为热迁移的实现,都是需要有共享存储,其实现在各个虚拟化引擎,都已经实现不需要共享存储,也可以实现热迁移。据专家说:KVM下实现热迁移,比Xen好很多。

Nova目前是支持热迁移了,无论是有共享存储还是本地存储。如果是本地存储,为了减少网络的传输压力,如果你的image是qcow2的格式,你可以利用这个特性。至少在演示的时候很酷,本地存储,一下子就迁移过去。

目前这种迁移,其实都是手工去触发。你需要把虚拟机迁移到那台机器上。其实这种操作,也就适合小规模的环境或者是在维护的时候。

在vmware的世界里,热迁移叫VMotion,不过据朋友介绍,当你的虚拟机内存达到16G的时候,你其实就很难迁移,可能是几个小时都无法迁移过去。这其实更多的是一个玩具。

8:冷迁移

这个其实也简单。本地存储,共享存储,都是可以实现。nova都提供相应的API,你只需要在Web实现就可以。不过这种迁移,如何实现对现有的系统影响更少。这是一个问题,尤其是硬盘的IO上。

对于迁移,无论是冷迁移,热迁移,Resize,其实网络和volume都是麻烦的事情,尤其在quantum的网络里。目前这个应该是要花费大量的时间。

9:虚拟机设置root密码

默认nova是采用密钥登陆。这肯定是一个方向。不过用户的习惯,有时候很难改变。他可能更加希望可以创建虚拟机的时候设置密码。

其实nova默认也是提供这个功能。你可以设置虚拟机的root的密码。也可以随机生成密码。你需要做的是如何告诉用户,随机密码是什么。

linux的ssh登陆,密码和密钥,你只能二选一,所以你做image的时候,需要进行设置。

10:集成监控Nagios

Openstack缺乏监控,如何加上监控,集成在Dashboard里?这个应该比想象中简单。因为Horizon默认就考虑到这个。你看一下代码就可以实现。你的模板需要默认启用snmp,这样你的虚拟机都可以监控。考验的就是你对Nagios熟悉。这种方式,在企业内部使用,应该是非常方便的。

Intel的一个Openstack修改版本,已经实现了这个功能。效果其实很不错。

11:多Region实现

当你的环境下有几个环境,或者有Xen和KVM,如何用一个Dashbaord来管理。现在新浪的搞的Stacklab就是类似的方式实现的。

其实这个也很简单,不需要配置任何东西,只需要配置一下就可以。如果如果你希望多个环境使用统一的用户验证,估计需要调整一下。这个是不需要修改代码。

12:用户修改密码

目前用户是没法修改自己的密码,只有管理员可以修改自己的密码。这个功能其实是一定要加上的。实现起来应该不难。目前管理员是可以重设用户的密码,就说明已经有接口,看一下如何实现就可以。需要你了解一下keystone的接口。

13:批量创建虚拟机时候的计算机名字

如果你使用qcow2 镜像格式,批量创建虚拟机是一件比较爽的事情。唯一的问题就是创建出来的虚拟机的命令都是一样。希望可以实现在你指定的计算机名字后面加上数字来区别。邮件列表里有老外提问,不过没有解决。Hpcloud不允许客户自己定义计算机名,是随机生成。

这个同事已经实现。不过只是linux的虚拟机。windows的虚拟机,如果解决呢?现在看来还是有可能实现的。慢慢研究。

13:snapshot备份改进

目前Dashboard里是提供的snapshot的功能。如果你采用qcow2的格式,那么他实际的过程是把base部分和增量部分合并,保存到glance里。这里面是无法实现增量的备份。

一直以来,用户都需要通过快照的方式实现备份,由于虚拟机比较大,所以必须实现增量。

新浪目前已经在实现如何增量备份虚拟机。正在把代码加入Grizzly中 ,这个贡献可真不小啊。https://blueprints.launchpad.net/cinder/+spec/local-storage-volume

非常值得期待。

14: 修改调度

如果才能最大化利用资源,充分利用机器的所有的cpu和内存。我们需要修改它的调度。

假设我有两组机器,1组是新机器,1组是旧机器。我希望实现配置1的虚拟机,都是在新组机器创建,配置2的虚拟机都是在旧的那组机器创建。我如何修改调度去实现这个需求。

目前这个需求实现还是比较困难。正在想办法。

经过学习,好像未来的Grizzly版本,已经解决了这个问题:http://www.cloudcomp.ch/2013/02/how-do-you-organise-your-openstack-deployment/