Nov 282016
 

有人的地方,就会有江湖,开源社区也不会例外。背后的故事,其实还是很有意思。大家当故事读读就可以。

Kolla的项目是2014年9月份,Steven Dake创建的,作为TripleO的一个子项目。当时Steven Dake还在红帽公司,估计是没有受到公司的重视,出走思科,代表思科来推动Kolla这个项目。

TripleO的项目,本来是HP发起,不过由于Docker的出现,当时HP当任的PTL,直接辞职不干,放弃,认为做下去已经没有前途。结果红帽把TripleO接管过来,继续推动。

2015年,OpenStack采用big Tent的模式管理项目来应对Docker的威胁,Kolla项目在2015年8月份进入的Big Tent。

OpenStack的项目现在已经很多,不过有一个惯例,如果没有红帽,Mirantis,Rackspace,HPE,IBM支持的项目,其实是很难活下来的,你可以看到目前在Big Tent底下的项目,很多都已经快要没人了。

你很难想象一个项目没有:红帽,Mirantis,HP,Rakcspace,IBM参与,Kolla项目的活跃度,各个指标,其实都可以算是10大热门项目之一。

对于Kolla来讲,真的是经历过大风大浪,能走到今天这样,是非常不容易了。下面把Kolla的经历都给大家讲讲。

看他经历过那么多的风浪,还能发展那么好,你就会对Kolla项目更有信心。

当前Ocata版本Kolla的Commit数量分布图 2016年11月28日

Snap3

 

核心成员Sam Yaple出走

在Mitaka版本发布后,Sam因为个人原因退出,Sam有多牛的一个人呢?至少在我看到过OpenStack社区里干活的人,我认为他真的是神。Sam最开始是代表Rackspace,后来独立身份贡献Kolla项目。

OpenStack容器化,有那些难点呢

  1. Neutron容器化
  2. libvirt容器化
  3. qemu容器化
  4. mysql群集
  5. rabbitmq群集
  6. Ceph
  7. 控制节点的HA

你无法想象,上面所有的功能,全部都是一个人在半年内完成。而且你会发现这些完成的功能,是没找到任何的bug。可以这样说,Mitaka我拿去给客户部署50个节点的时候,那是第一次在真实机器上部署,居然一点问题都没有。

如果你有机会和这样的人一起工作,真的是一件无比幸福的事情。

Sam的退出后,后续的Newton版本,会如何呢?其实我当时心里是有一个很大的问号。不过终于扛过来。我想真正的原因是大家都看到OpenStack容器化是未来,很多企业都进来尝试,也导致在Newton版本完成的功能,Feature,超出Steven Dake的期望,基本把Big Tent的所有项目都集成,Kolla的影响力进一步扩大。

Mirantis放弃

Kolla上的Ubuntu支持,其实是Mirantis支持实现的,当时在Mitaka版本的时候,Mirantis力推kolla-mesos, 不过到Mitaka版本发布后,宣布放弃,要自己搞Kubernete的OpenStack。

Mirantis也正在容器化OpenStack的过程中,策略一直都摇摆不定,也就导致最后收购TCP Cloud,裁员。

Fuel的头号敌人,应该是Kolla,而不是红帽的RDO

红帽退出

Steven Dake,是红帽出来的工程师,其实也是有红帽情结的,Kolla对红帽操作系统支持很好,同时也吸引了很多红帽的工程师过来参与,在Kolla的发展历程,红帽的工程师,贡献是很大的。不过Newton发布后,红帽基本把所有的员工撤退回去。

红帽干了一件很纠结的事情,考虑在TripleO里利用kolla实现容器化,实现OpenStack是升级。

红帽在OpenStack上,有时候就和华为一样,手上的牌,永远都是最好的,但是有时候,真的晕招连连。给Mirantis逼着,刚刚松口气,还是要继续走TripleO不归路。

在Ocata版本里,Kolla的社区,开发者,参与者,其实更多,更活跃,更广泛。

IBM的离开

其实IBM当时有1位工程师,因为项目原因,派来调研Kolla,对Kolla项目做了很大的贡献,Kolla的Kuryr项目,就是他努力实现的。

不过由于工作的原因,离开的IBM,后来回归IBM,已经不从事相关的工作。也就导致IBM已经没人参与Kolla的开发。

IBM自己内部的Power的OpenStack产品,也在尝试使用kolla来实现容器化。

Intel的摇摆不定

大家从新闻里,其实应该都可以看到,Mirantis联合Intel,Google一起,要搞K8S管OpenStack,风头很猛。江湖的传闻也就很多,Intel在Kolla的投入,会不会减少,甚至撤走呢?

其实很多人都是有疑问的。不过在Ocata版本里,Intel当选的Kolla的PTL,公司在Kolla的投入,还是保持着,继续推Intel的各个组件Dpdk,各种新的技术。

Steven Dake离任

Steven Dake在Newton版本结束后,决定不担任PTL,那么这个时候Kolla的团队里,是否有人能扛起PTL的这个重任呢?

其实目前OpenStack很多项目,想当PTL的人不多。很多项目,都是没人竞选。Kolla这次核心团队里,有两位成员站出来竞选,最后Intel的员工当选。

一个开源项目,如果过分依赖一个人,其实是一个很大的问题。很多项目因为创始人离开,导致项目停滞不前。Steven Dake这点其实做的很不错,在不断的培养和物色PTL的候选人。让团队充满活力。

其实Steven Dake以前是Heat的PTL,一个人可以同时创建两个那么成功的项目,真的是非常难得。

Kolla为啥能成功呢?

Kolla的成功因素真的很多,不过从技术上来讲,就是他的时间点非常好,没有成为先烈。都是在合适的时候,做合适的事情。引用Kolla项目的Core张雷同学整理的一个路线图,大家有机会听听张雷同学的解读。

Docker 1.10版本,是2016年2月份发布,对于Kolla来说,或者OpenStack容器化,是一个非常关键的版本,解决了所有技术上的挑战。如果有公司吹牛说他在2015年就实现OpenStack容器化,你就当笑话听就可以。

如果没有2016年2月份发布的Docker 1.10,那么根本就是不可能真正做到OpenStack 100%容器化,并且投入到生产使用,这点对于Mitaka版本来说,也是无比的重要。正因为赶上了这个好时光,Kolla的Mitaka版本,就已经可以投入生产使用。

Snap4

Kolla的下一个挑战,就是K8s,目前Steven Dake在负责这个事情。

Oct 272016
 

OpenStack的Newton版本是10月6号发布,几个部署安装的项目到10月20日发布。stackalytics这次统计做了调整,10月6号以后提交的代码,都划分到Ocata版本里,这样也就显得比较简单。

到现在为止,国内其实已经有好几篇的排名文章,估计大家对排名也都比较了解,我都考虑是否还要写一篇。如何写出一些新意。

就当成一种习惯,把这篇文章完成。把公司对社区贡献统计,改成对公司的投入统计。希望大家对OpenStack的未来有深入的了解。

国际五强

传统的OpenStack五强,HP,Mirantis,RedHat,Rackspace和IBM,发生了变化,这些变化,其实也体现在OpenStack的社区变化上。

我根据

参与人天(person-day effort)

排名 公司 Newton Mitaka
1 Mirantis 17777 20431
2 Redhat 11718 8440
3 HPE 7377 8390
4 IBM 6177 9217
5 Intel 5835 4020
6 Rackspace 5165 4617
  华为 3341 2835

 

根据数据的对比,其实我们可以看到传统5强的变化,同时也可以印证很多传言

  1. Mirantis:最近在峰会传出裁员,OpenStack容器部署项目,也在威胁Mirantis。所以社区的投入减少。
  2. 红帽:稳定增加社区的投入。
  3. HPE:分拆的影响还是很大的。
  4. IBM:投入减少30%
  5. Rackspace:投入还是在增加,私有化没有影响到社区的投入。
  6. intel投入社区,差不多增加了50%
  7. 华为也在稳定提高社区投入,不过增加幅度不大,和第六名还是有很大的差距。

国内

这次国内企业排名很有意思,如果按照commit量,产生所谓4强。

如果采用 Person-day effort,这个指标可以理解成公司投入的成本。

排名 公司 Newton Mitaka
1 华为 3341 2835
2 ZTE 1850 206
3 99cloud 1522 1299
4 EasyStack 1117 765
5 Awcloud 399 457
6 kylin cloud 214 180

 

从上面数据可以得出结论,国内企业投入OpenStack社区在增加。中兴的投入,基本是10倍的增长。

Oct 172016
 

目前Kolla 3.0 Newton版本,马上就要发布,巴塞罗那峰会马上就要举行,讨论下一个版本Ocata如何开发。那么这里我就对kolla提出以下自己的期望,同时也希望参与社区开发的九州云同事全力去推进。

真正参与OpenStack社区项目开发,不仅仅要了解当前版本项目完成的那些功能,还需要知道项目在未来,下一个版本的重点在哪里,用户最需要的功能,能不能实现。

OpenStack基金会计划明年把OpenStack峰会拆分成两个会议,用户和开发者,不同的时间点举行。开发峰会,就在版本发布的时候举行。用户大会,会再晚两个月。用Ocata为例,发布周期  Ocata 2月24号发布,开发者大会PTG(Project Teams Gathering)发布后马上举行,用户大会在五月份。

Ocata详细的发布时间 https://releases.openstack.org/ocata/schedule.html

这样1年4个季度,都会有会议参加,都会有报道的热点。

meeting

社区的思路也就是版本发布后,厂商2个月,就可以交出产品。

 

CloudKitty+Telemetry验证

在Newton版本里,九州云同事付出了很大努力,基本把组件都已经集成到Kolla里。那么其实还是有很多工作要去做,监控,计量,计费。确保可以做到真正生产可用。

目前Telemetry还有一个新组件,panko,event功能,还没有集成到kolla里,这块也和计费密切相关。

Ceilometer,目前支持Collectd来收集服务器的数据信息,传输到gnocchi,gnocchi把数据存放在Ceph的对象存储中,通过grafana来做数据的展示,利用aodh来做报警。

 

Barbican安全秘钥管理

OpenStack进入企业,那么大家对安全关注程度比以往都要高,那么如何把Barbican用起来,就是解决用户对安全的关心。

在Newton版本里,Barbican也已经集成到Kolla里,并且有开发者在逐步的整合到其他项目里,keystone,Magnum等。后续可以在cinder加密上,也真正用起来。

Barbican还有一个子项目 astellan,需要集成到kolla里,那么这是Ocata版本要做的事情。

Ironic和Bifrost

这就是裸机管理的功能,在Newton版本,intel投入的大量的精力去开发,不过目前看到的情况,还不能完全跑起来,还需要在Ocata版本进行大量的bug修复。

kolla要解决一个问题就是如何装操作系统,这样就能很好帮助用户解脱出来。

Ocata版本,一定要确保Ironic真正能用起来。

日志

Newton版本是采用heka来做日志收集,在Ocata版本需要替换掉,那么这个工作量还是比较大的。确保所有项目的的docker日志都能收集,并且能通过kibana实现很好的展示,这是我们要去努力实现的。

另外grafana也是支持日志的展示,如何结合。这是一个需要投入精力去完善的问题。

 

Tick 监控

Kolla是基于容器去部署OpenStack,采用的监控的方案和手段,其实和以往有很多不同。以前监控OpenStack服务,现在变成监控容器。

这是基于influxdb的一套监控体系,非常酷

tick-stack-grid

基本功能,其实已经集成到Kolla里,不过要想真正跑起来,还是需要Ocata版本努力。

TICK-Stack

 

Ceph集成验证

当前Ceph的块设备在OpenStack和Kolla已经得到了很好的验证,那么对象存储和文件,其实还是没有经历考验。今天和朋友开玩笑,下次搞Ceph聚会,就要给大家展示一下Kolla集成Ceph的文件,对象和块设备的功能。

对象存储主要还是gnocchi的监控数据,也是一个比较有价值的考验。

专门请教的豪迈,Cephfs在manila上基本是没法玩,还没有可行的方案,实现原生的多租户。所以一年内也就可以不需要考虑manila

计算节点自动疏散功能

这个功能,其实vmware用户一直提的需求,当一个节点挂掉后,上面的虚拟机自动疏散到其他节点上。OpenStack一直都没有真正好好解决这个自动的问题。

Kolla的Newton版本已经集成了所有和该功能相关的组件,到底用什么方式来实现,我们好好验证一下,在Ocata版本,交出一个满意的答案。

Virtual Machine High Availability (VMHA) service

这个是vmware用户经常问的问题,虚拟机如何自动实现所谓的HA。

实现这个,目前有三种方案,http://docs.openstack.org/ha-guide/instance-ha.html

需要好好评估一下,选择一种代价最小的方案来实施。大家要分清楚计算节点的疏散功能和vm的HA功能,是完全两个概念。VM的HA,类似vmware的FT功能的实现。

下面这个方案,在OpenStack峰会上有介绍。

https://github.com/openstack/masakari

ha

 

项目集成

目前在Big tent底下的项目,还剩下10个没有集成到Kolla里,里面的项目的成熟度,不少项目其实还没有达到可用的情况。相信在Otaca版本,可用把能用的项目都集成到kolla里。很多工作已经在进行中.

  1. Designate (DNS service)  (九州云朱冰兵同学负责)
  2. Dragonflow (海云捷迅马力同学)
  3. Freezer (Backup, Restore, and Disaster Recovery service) (九州云曹威同学负责)
  4. Karbor (Data Protection Orchestration Service)
  5. Searchlight (Search service) (麒麟李英俊同学,目前已经完成,merge)
  6. Solum (Software Development Lifecycle Automation service)  (九州云曹威同学负责)
  7. Tacker (NFV Orchestration service)  (老外已经在进行中,九州云的同事们会积极推进)
  8. Trove (Database service) (九州云朱冰兵同学负责)
  9. Vitrage (RCA (Root Cause Analysis) service)
  10. Zaqar (Message service)

我也希望联系国内上面项目的开发者,帮忙一起把项目放到Kolla里,真正做到想用啥就enable一下就可以。

剩下3个服务,看看最终谁来完成。

等Ocata版本发布,我们回顾一下,看看我们的成果如何。

Oct 062016
 

OpenStack的Newton版本,10月6号正式发布,作为安装部署工具,发布时间延迟2周,也就是10月21日。目前Kolla已经进入Bug修复阶段。

概述

Kolla的Newton版本的整个开发过程,我算是全程跟踪,九州云的5位同事积极参与Kolla社区开发,在Jeffrey Zhang,zhubingbing两位同事的积极和大力推动下,把下面的项目的Merge到Kolla里。

  1. rally
  2. tempest
  3. Barbican
  4. Sahara
  5. Telemetry(aodh,gnocchi,Mongodb的HA)
  6. Cloudkitty

在项目整合到Kolla里,如何帮助各种配置是最优,那么其实是需要各个项目的开发者支持和帮忙的,这次在Barbican项目的Merge,就得到大唐高鸿数据的朋友大力支持。

在OpenStack的Big Tent底下,目前应该有57个项目,有一部分是OpenStack管理项目,真正需要Kolla去集成的项目,应该也就是32个项目。

已经集成的22个项目

  1. Barbican (Key Manager service)
  2. Cinder (Block Storage service)
  3. Cloudkitty (Rating service)
  4. Congress (Governance service)
  5. Glance (Image service)
  6. Heat (Orchestration service)
  7. Horizon (Dashboard)
  8. Ironic (Bare Metal service)
  9. Keystone (Identity service)
  10. Kuryr
  11. Magnum (Container Infrastructure Management service)
  12. Manila (Shared File Systems service)
  13. Mistral (Workflow service)
  14. Murano (Application Catalog service)
  15. Neutron (Networking service)
  16. Nova (Compute service)
  17. Rally (Benchmark service)
  18. Sahara (Data Processing service)
  19. Senlin (Clustering service)
  20. Swift (Object Storage service)
  21. Telemetry (Telemetry service)
  22. Watcher (Infrastructure Optimization service)

目前只剩下下面10个项目没有集成

  1. Designate (DNS service)
  2. Dragonflow
  3. Freezer (Backup, Restore, and Disaster Recovery service)
  4. Karbor (Data Protection Orchestration Service)
  5. Searchlight (Search service)
  6. Solum (Software Development Lifecycle Automation service)
  7. Tacker (NFV Orchestration service)
  8. Trove (Database service)
  9. Vitrage (RCA (Root Cause Analysis) service)
  10. Zaqar (Message service)

预计在下一个版本,基本都可以实现全部覆盖。上面这些项目,国内都是有Core和开发者,不仅仅关心自己项目的代码,还需要关心项目如何让用户更加简单用起来。我也在积极联系国内各个项目的Core和开发者,希望他们可以挺身而出,帮助Kolla完成项目的整合。

希望1年后,大家应该也就不需要再关注安装OpenStack项目的问题,把精力放在如何利用OpenStack提升企业竞争力上。

Stable

在Mitaka版本里,Kolla下面的项目,其实已经经过我的严格测试,达到生产可用。所以我认为在Newton版本,已经进入稳定的状态。

Keystone

对于Keystone,启用了Fernet tokens,可以提高性能。

Glance

很多用户提出,让glance存储,可以实现NAS。

Nova

不少功能和NFV相关,日常和用户相关的功能,应该已经很稳定。

Cinder

目前已经支持lvm作为后端存储。

Neutron

支持L3 HA,DVR,并且还support Service Function Chaining in Neutron。

Horizon

很多项目的Dashboard都是以Horizon的插件提供,kolla目前已经支持各个项目的Dashboard集成。

Heat

目前OpenStack各个项目都会调用Heat来完成相应的功能,

 

成熟

所谓成熟项目,完全是根据我自己的主观来判断,简单点说,也就是我要求我的团队,在Newton版本把下面这些功能用起来,真正投入到生产使用。

Telemetry

OpenStack以前各个项目里,做的最差应该就是Ceilometer。可以这样理解,基本上是不可用。大概2年前,Ceilometer的PTL退任,专门搞了一个gnocchi的项目,用来存放Ceilometer的数据,大大提高了该项目的可用性。Ceilometer项目也改名为Telemetry,目前已经拆分成4个项目。

  1. Ceilometer (收集数据)
  2. gnocchi (监控数据)
  3. aodh (报警)
  4. panko (event)

另外还依赖Mongodb

gnocchi后端存储可以是对象存储,可以是ceph和swfit。对于用户来说,应该大家都直接选择Ceph,不会再另外再折腾一套swift来做存储。

Ceilometer作为数据收集,并且支持插件机制,可以通过colletcd来收集计算节点的各种信息。目前我了解的情况,Ceilometer基本可以收集我们需要的所有监控信息,包括IPMI的数据。

Panko是在Newton独立出来,event依赖elasticsearch,目前发布了1.0版本,还没有集成到Kolla里,这是比较遗憾的事情。只能等到下一个版本。

gnocchi的数据,还可以通过grafana来做展示。kolla已经集成grafana。后续如何更好展示和整合,需要验证。

CloudKitty

这是OpenStack的计费模块,根据社区,真的已经有用户在使用,非常难得。目前CloudKitty已经可以通过gnocchi来取数据进行计费工作。

其实对于私有云的计费功能的重要性,很多人都没有意识到。没有计费,你应该很难解决资源滥用的问题。无法了解平台的真实使用情况。

目前Kolla里的CloudKitty,功能基本是可用,九州云的同事,也基本验证过。同时社区的开发者中也有真正的客户在使用。

Ironic and Bifrost

Ironic,实现物理机器的管理,最终目标就是做到把物理机器当做虚拟机来管理。那么他至少要解决3个问题

  1. 多租户
  2. cinder 挂volume
  3. 安全组

那么在Newton版本,ironic终于支持了多租户功能,这也是我要重点测试的功能。

有一个很现实的问题,OpenStack平台的操作系统,如何安装,能不能也使用ironic来搞定。据说Mirantis也已经在做这个的验证和测试。Bifrost,其实就是一个单机版本的ironic,不依赖keystone。他可以完成kolla的裸机部署的问题。

Intel付出的很大的努力,让kolla支持Bifrost。要真正用起来,估计还是需要修不少bug。相信10月21号,Ironic可以做到真正跑起来。

Magnum

OpenStack的Docker项目,COE管理工具。在Mitaka版本已经集成,不过有bug一直没有跑起来。在Newton版本,bug已经修复,就等着大家去验证。

目前Newton,已经不需要依赖OpenStack的Lbaas的服务。

Sahara

OpenStack下目前项目很多,真正成熟的项目其实不多,Sahara算是为数不多,大家都比较认同,比较成熟的项目。在Newton版本里,已经集成Sahara,大家可以在上面体验如何玩大数据。

要把Sahara用起来,其实还是需要做不少工作,如cpu的Pin功能,镜像的制作等。后续真的要和搞大数据的玩家一起,争取把一个job跑起来。

Rally

这是OpenStack做功能和性能测试的项目,其实我的用途就是用来提供验收报告。搭建好一套OpenStack,功能是否都是正常的,其实大家都心里没底气的。如何证明平台的功能,性能都是满足预期,那么就需要一套自动化测试工具,不仅仅是功能,还能对性能进行测试。

目前Rally已经可以支持对vm的磁盘性能进行测试。在网络的性能测试中,我们需要用到另外一个工具Shaker或者vmtp。目前vmtp,已经集成到Kolla里。

Rally的深入使用,是需要大力的精力,目前很多项目都提供该项目的Rally脚本,来验证该项目的性能。

技术预览

下面这些项目都是非常对OpenStack应该都是非常有价值,我们需要投入精力去研究和关注

Barbican

这是OpenStack秘钥管理的项目,和安全密切相关。目前Magnum,Cinder volume加密,keystone,都可能使用到。

随着OpenStack进入企业,安全就是必不可少的一个话题。目前国内大唐高鸿数据投入人手在该项目的开发,这次kolla的集成Barbican,我同事也麻烦了很多次大唐的弟兄,帮忙解决了很多问题。

目前Barbican还有一个子项目 astellan,刚刚推出,还没有集成到kolla里,后续还需要麻烦大唐的朋友指导一下。

Watcher

这个项目很新,不过Kolla已经集成,这其实应该是项目开发者,积极推动的结果。

其实我也没测试过。不过我们经常讲故事,如何实现系统的自动优化,如何实现系统的自愈功能,那么这些功能,都是需要监控,根据经验做出调整,那么这应该就是watcher想要去做的事情。

大家可以通过Kolla,很简单的装起来,体验一下。

Senlin

这是IBM腾启明发起的项目。据说目前移动江苏研究院已经把该项目用起来。要投入点精力去研究,看看能帮助我们解决那些实际生产中的问题。

能不能解决vm自动疏散。我是希望aodh发出报警,Senlin去干活。

Murano

以前大家对该项目关注度其实很高,因为大家都觉得App Store应该可以考他来实现。不过后续Docker出现,也就给项目蒙上阴影。

目前Murano对Docker的支持,也比较有限。有几个比较要命的问题,安装的源,和rabbitmq的安全问题。

https://github.com/openstack/glare

glare是一个刚刚发起的项目,来解决应用的安装的二进制包的问题。

Mistral

国内企业很关心审批的流程,那么这个工作流的项目,是否可以解决这个问题呢?我也想调研一下。

Swift

swift其实有两层含义

  1. swift的api接口
  2. swift的一套对象存储产品,包括api和底层的存储

其实全球来说,swift的使用量都不是太多,对象存储,大家都倾向用Ceph来实现。那么Ceph的Swift接口,目前应该还没完成,还需要做点工作。

Manila

这算是一个vm as service的一个案例,如果有客户有需求,是可以去挑战一下。如果你希望使用manila对接CephFS,估计你会有点失望。

Kuryr

实现OpenStack容器的网络功能,要走的路应该还很长,尤其是刚刚换了老大,PTL。

Congress

实现policy,我其实也没搞懂具体是干啥,只能慢慢研究。和watcher类似,都是提供给运维人员使用。