puppet – 陈沙克日志

这半年,我折腾过好几个自动化部署工具, cobbler, FAI, Crowbar, Maas.

Crowbar和Maas,比较类似, 他们都是通过pxe启动一个内存linux,实现初始化. 为啥这样设计呢? 其实没看到任何的资料介绍.

Crowbar当初设计是为了用于Dell的硬件, Maas,设计为了部署Ubuntu 的os，相对来说，都是有点封闭，哪怕是开源。

Razor，好像推出才3个月的工具，不过现在好像进步很快。EMC和Puppet联合开发，感觉比Dell的Crowbar好很多。

http://nickapedia.com/2012/06/25/razor-oss-2-public-release-of-mk/

这样我就明白为啥机器要pxe启动一个内存的os的目的。

我在思考一个问题，当初Dell设计Crowbar的时候，为啥没有考虑做成一个Chef的插件呢？如果是这样，那现在Crowbar的情况，估计就大大不同的。Dell现在在Crowbar投入很大，但是没啥产出，并且还面临一个比较尴尬的局面：无法形成生态链，没多少人愿意陪你玩。自己辛辛苦苦写出来的东西，免费都没有人用。

EMC非常聪明，他需要做一个免费部署工具给用户用，但是他不希望是一个长期投入，所以联合Puppet。这样风险就大大降低。

Ubuntu的Maas，其实问题就更多。投入很大的力量去定制cobbler，加一个logo，就号称是Maas，在国人看来，也是有点山寨。并且还自己搞了一个JUJU类似的东西。到底puppet和juju有啥区别还是类似的东西，估计Canonical自己的员工，也说不清，好像也没几个人感兴趣，从邮件列表里也可以知道。

昨天刚看到juju邮件列表，提到Orchestra，未来很快就要去掉juju的支持，因为没几个人玩，我本来一直都比较欣赏Orchestra的理念，不重复造轮。不过现在看来，ubuntu是希望自己搞一套。

面对Crowbar（cobbler+chef），Maas（cobbler+juju), Puppet+Razor 这3个，你选择谁呢？

这个题目实在太牛逼。我也没想到，我对puppet都还没怎么了解的情况下，居然对着文档用puppet把openstack装好。而且是多节点，还用上multi_host。nova volume也搞定了。

其实还是人家的文档写的好。Openstack Essex Deploy by Puppet on Ubuntu 12.04 HOWTO

我也是使用3台机器做实验

node15.chenshake.com puppet master和控制节点，同时还是计算节点：10.1.199.15/24,
node16.chenshake.com 计算节点，10.1.199.16/24
node17.chenshake.com 计算节点，10.1.199.17/24

对于puppet，一定要把hostname搞定。他是依赖FQDN name。下面就一步一步来。

一：准备

1：设置网络

root@node15:~# cat /etc/network/interfaces 
auto lo
iface lo inet loopback
auto eth0
iface eth0 inet static
address 10.1.199.15
hwaddress ether 00:25:90:67:ce:28  
netmask 255.255.255.0
network 10.1.199.0
gateway 10.1.199.1

auto eth1
iface eth1 inet manual
up ifconfig eth1 up

3台机器都需要设置，把eth1 up 起来。

root@node15:~# mii-tool 
eth0: negotiated 1000baseT-FD flow-control, link ok
eth1: negotiated 1000baseT-FD flow-control, link ok

2：设置hostname

root@node15:~# cat /etc/hosts
127.0.0.1       localhost
10.1.199.15     node15.chenshake.com    node15
10.1.199.16     node16.chenshake.com    node16
10.1.199.17     node17.chenshake.com    node17

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

3: 设置nova-volume （可选）

这个就需要你硬盘里有单独的分区，我的机器上是有专门一个分区给nova-volume使用。

二：Puppet

1：安装puppet agent

我们希望puppet也可以管理自己，所以3台机器都需要安装agent

aptitude -y install puppet augeas-tools

2：安装puppet master （控制节点）

这个是在node15上安装就可以

apt-get update

aptitude -y install puppetmaster sqlite3 libsqlite3-ruby libactiverecord-ruby git rake

gem install puppetlabs_spec_helper

第二条命令时间比较长，确保网络是通的。

3：启用插件pluginsync

3台机器都需要运行，注意下面的 node15.chenshake.com, 指向控制节点的机器名。

augtool << EOF
set /files/etc/puppet/puppet.conf/agent/pluginsync true
set /files/etc/puppet/puppet.conf/agent/server node15.chenshake.com
save
EOF

4: 配置数据库（控制节点）

这个就只需要在控制节点操作就可以

augtool << EOF
set /files/etc/puppet/puppet.conf/master/storeconfigs true
set /files/etc/puppet/puppet.conf/master/dbadapter sqlite3
set /files/etc/puppet/puppet.conf/master/dblocation /var/lib/puppet/server_data/storeconfigs.sqlite
save
EOF

5：创建第一个manifest （控制节点）

这是为了测试使用

cat > /etc/puppet/manifests/site.pp << EOF
node default {
  notify { "Hey ! It works !": }
}
EOF

6：重启服务（控制节点）

/etc/init.d/puppetmaster restart

7：注册节点

我们需要把3个节点都注册到puppet上。需要在3台机器都运行

puppet agent -vt --waitforcert 60

8：签发证书（控制节点）

puppetca sign –a

在各个节点,会看到类似下面的信息

info: Caching catalog for node15.chenshake.com
info: Applying configuration version '1340077073'
notice: Hey ! It works !

这个时候,重启所有节点的机器. 准备Openstack的安装

三：Openstack

1：下载puppet的openstack模块（控制节点）

cd /etc/puppet/modules
git clone git://github.com/puppetlabs/puppetlabs-openstack openstack
cd openstack
rake modules:clone

2：修改openstack部署模块

大家最好读一下下面的内容，并不太难懂，可以根据自己的情况进行修改

cat > /tmp/puppetlabs-openstack.patch << EOF
diff --git examples/site.pp examples/site.pp
index 879d8fa..fd38d4e 100644
--- examples/site.pp
+++ examples/site.pp
@@ -4,7 +4,9 @@
 #
 
 # deploy a script that can be used to test nova
-class { 'openstack::test_file': }
+class { 'openstack::test_file':
+  image_type => 'ubuntu',
+}
 
 ####### shared variables ##################
 
@@ -21,17 +23,17 @@ \$public_interface        = 'eth0'
 \$private_interface       = 'eth1'
 # credentials
 \$admin_email             = 'root@localhost'
-\$admin_password          = 'keystone_admin'
-\$keystone_db_password    = 'keystone_db_pass'
-\$keystone_admin_token    = 'keystone_admin_token'
-\$nova_db_password        = 'nova_pass'
-\$nova_user_password      = 'nova_pass'
-\$glance_db_password      = 'glance_pass'
-\$glance_user_password    = 'glance_pass'
-\$rabbit_password         = 'openstack_rabbit_password'
-\$rabbit_user             = 'openstack_rabbit_user'
-\$fixed_network_range     = '10.0.0.0/24'
-\$floating_network_range  = '192.168.101.64/28'
+\$admin_password          = 'openstack'
+\$keystone_db_password    = 'openstack'
+\$keystone_admin_token    = 'bdbb8df712625fa7d1e0ff1e049e8aab'
+\$nova_db_password        = 'openstack'
+\$nova_user_password      = 'openstack'
+\$glance_db_password      = 'openstack'
+\$glance_user_password    = 'openstack'
+\$rabbit_password         = 'openstack'
+\$rabbit_user             = 'openstack'
+\$fixed_network_range     = '10.1.0.0/16'
+\$floating_network_range  = '10.1.199.32/27'
 # switch this to true to have all service log at verbose
 \$verbose                 = false
 # by default it does not enable atomatically adding floating IPs
@@ -75,7 +77,7 @@ node /openstack_all/ {
 
 # multi-node specific parameters
 
-\$controller_node_address  = '192.168.101.11'
+\$controller_node_address  = '10.1.199.15'
 
 \$controller_node_public   = \$controller_node_address
 \$controller_node_internal = \$controller_node_address
@@ -83,9 +85,9 @@ \$sql_connection         = "mysql://nova:\${nova_db_password}@\${controller_node_in
 
 node /openstack_controller/ {
 
-#  class { 'nova::volume': enabled => true }
+  class { 'nova::volume': enabled => true }
 
-#  class { 'nova::volume::iscsi': }
+  class { 'nova::volume::iscsi': }
 
   class { 'openstack::controller':
     public_address          => \$controller_node_public,
@@ -142,7 +144,7 @@ node /openstack_compute/ {
     vncproxy_host      => \$controller_node_public,
     vnc_enabled        => true,
     verbose            => \$verbose,
-    manage_volumes     => true,
+    manage_volumes     => false,
     nova_volume        => 'nova-volumes'
   }

EOF
cd /etc/puppet/modules/openstack
patch -p0 < /tmp/puppetlabs-openstack.patch

运行下面命令

rm -rf /etc/puppet/manifests/site.pp
ln -s /etc/puppet/modules/openstack/examples/site.pp /etc/puppet/manifests/site.pp

3：安装Openstack nova 控制节点

puppet agent -vt --waitforcert 60 --certname openstack_controller

这个时候，你需要另开一个ssh，去签发证书

puppetca sign -a

大概等待5分钟，你就可以通过 http://10.1.199.15 user:admin pass:openstack

4：安装多节点

需要在3台机器安装nova的计算节点。分别运行

puppet agent -vt --waitforcert 60 --certname openstack_compute_node15
puppet agent -vt --waitforcert 60 --certname openstack_compute_node16
puppet agent -vt --waitforcert 60 --certname openstack_compute_node17

在控制节点上，再开一个ssh，签发证书

puppetca sign -a

等10分钟吧，就可以把3个计算节点都装完。

5; 上传image

编辑/root/openrc ,默认的auth_url 是使用IP地址，这有问题，你运行glance index会报错。

root@node15:~# cat /root/openrc 

  export OS_TENANT_NAME=openstack
  export OS_USERNAME=admin
  export OS_PASSWORD=openstack
  export OS_AUTH_URL="http://localhost:5000/v2.0/"
  export OS_AUTH_STRATEGY=keystone
  export SERVICE_TOKEN=bdbb8df712625fa7d1e0ff1e049e8aab
  export SERVICE_ENDPOINT=http://10.1.199.15:35357/v2.0/

设置环境变量

source /root/openrc

这个时候，你运行

glance index

就不会有问题。

Ubuntu官方image

下载image

wget http://cloud-images.ubuntu.com/precise/current/precise-server-cloudimg-amd64-disk1.img

上传image

glance add name="Ubuntu 12.04 cloudimg amd64" is_public=true container_format=ovf \
disk_format=qcow2 < /root/precise-server-cloudimg-amd64-disk1.img

6：设置安全组

nova secgroup-add-rule default tcp 1 65535 0.0.0.0/0
nova secgroup-add-rule default udp 1 65535 0.0.0.0/0
nova secgroup-add-rule default icmp -1 255 0.0.0.0/0

7：检查所有节点的服务

root@node15:~# nova-manage service list
Binary           Host                                 Zone             Status     State Updated_At
nova-volume      node15                               nova             enabled    :-)   2012-07-18 12:52:55
nova-consoleauth node15                               nova             enabled    :-)   2012-07-18 12:52:53
nova-scheduler   node15                               nova             enabled    :-)   2012-07-18 12:52:55
nova-cert        node15                               nova             enabled    :-)   2012-07-18 12:52:55
nova-network     node15                               nova             enabled    :-)   2012-07-18 12:52:55
nova-compute     node15                               nova             enabled    :-)   2012-07-18 12:52:52
nova-network     node16                               nova             enabled    :-)   2012-07-18 12:52:57
nova-compute     node16                               nova             enabled    :-)   2012-07-18 12:52:51
nova-network     node17                               nova             enabled    :-)   2012-07-18 12:52:56
nova-compute     node17                               nova             enabled    :-)   2012-07-18 12:52:50

计算节点都跑 nova-compute 和nova-network

8：登陆创建虚拟机

我已经全部测试了一遍，在计算节点的创建的虚拟机，都是可以登陆，访问外网。好好看看设置。我以前的文档，估计也要修改修改。

陈沙克日志

Puppet管理Puppet

Puppet学习笔记(CentOS6.3+Puppet3.01)

Razor的设计

ubuntu 12.04 puppet部署Openstack

学习Razor