Aug 172016
 

Newton版本,应该是10月8号发布。作为部署的工具,Kolla,发布日期在10月20号左右。那么这次发布会带来哪些新的变化。

8月4号到8月底,Kolla团队进行134节点的测试,整个测试过程都做了记录

安装操作系统过程:https://github.com/osic/ref-impl/blob/master/documents/bare_metal_provisioning.md

测试过程:https://review.openstack.org/#/c/352101/11/doc/scale-testing.rst

测试用例:https://review.openstack.org/#/c/352101/ 主要是通过Rally来测试

基本上是把Kolla项目的BP整理一遍。Kolla项目,国内的OpenStack社区开发同行,其实参与积极性是很高的,我们一起好好推动Kolla的发展,顺便把公司的产品也搞好。

OpenStack目前大帐篷管理下的项目,应该是56个,数量也在不停变化,项目包括管理,安全等。真正需要Kolla去集成的项目,对用户有使用价值的,应该不超过30个。Kolla目前应该基本覆盖了大帐篷管理下的全部项目。

OpenStack projects are governed by the OpenStack Technical Committee.

http://governance.openstack.org/reference/projects/index.html

每个项目的详细信息

https://git.openstack.org/cgit/openstack/governance/tree/reference/projects.yaml

9月1日,更新当前进度

9月15日,更新进度,也算是最后的更新。

 

Core项目

Keystone

对于keystone来说,有两个比较重要的,一个是ldap认证,这个已经merge,配置就可以实现,对于企业级来说,这个功能,还是需要的。https://review.openstack.org/#/c/340141/

另外一个就是fernet token。

https://blueprints.launchpad.net/kolla/+spec/keystone-fernet-token

已经merge

Nova

目前nova来说,已经是比较完善。后续估计需要做的是NFV的特性的东西。

https://blueprints.launchpad.net/kolla/+spec/kernel-hugepage-config

这个功能估计就需要下一个版本。

Glance

没啥变化,Glance分出一个项目Glare,专门提供特殊的源的服务,目前在开发中,希望通过这个项目,可以完善各种app store的安装问题。

Cinder

Cinder的问题,就是插件的问题,如果我要支持别的厂商的存储,如何玩。或者同时支持多个存储。

cinder的backup功能,我测试过,基本是正常。就是缺乏UI来实现管理。

Cinder底层的Ceph部署,已经支持外部Ceph的整合,这算是一个很大的进步。

Neutron

Neutron目前对OVS和linux bridge,支持都是非常不错的。vlan和vxlan,都是没问题的。

Neutron的3个插件,vpn,firewall,lbaas,目前lbaas已经完成,vpn正在进行中

https://blueprints.launchpad.net/kolla/+spec/neutron-vpnaas-agent

service function chaining with neutron,这是非常热门的话题,也是PTL重点关注,非常有希望merge

https://blueprints.launchpad.net/kolla/+spec/enable-networking-sfc-support

已经merge

ovs dpdk https://blueprints.launchpad.net/kolla/+spec/ovs-dpdk 代码提交,不过应该还是有问题。

opendaylight集成 https://blueprints.launchpad.net/kolla/+spec/opendaylight-support

我能做的,就是好好测试。

swift

这个没做测试,并且swift api,支持Ceph的功能还没实现,这个需要下一个版本。已经有bp

https://blueprints.launchpad.net/kolla/+spec/swift-ceph-backend

基础项目

这其实是我的的分类,提供给别的项目进行互相调用。对于用户来说,可能用的不多。

Tempest

不知道为啥,Tempest项目居然不是大帐篷底下管理的项目,不过这个项目的重要性,只要搞OpenStack开发的人都知道,专门做功能测试的。

目前Kolla已经可以支持Tempest。你装完OpenStack,可以直接使用Tempest来进行测试,非常方便。

Horizon

其实从我角度来说,Horizon也应该是Core项目,对于kolla来说,要解决最大的问题,就是各个项目的Dashboard,如何放进去,因为是Docker,就不是那么简单了。

对于我们搞OpenStack,解决这个问题,倒是简单,对于社区,要比较高雅的解决这个问题,还是比较麻烦的。

Newton版本,已经对Horizon的缓存设置做了优化,希望速度更快一点。

Heat

现在Heat的地位,在OpenStack里,还是非常高的。很多项目都需要调用它。用户用的不多。其实我认为Heat也是应该进入Core里。

Kolla项目的PTL,以前就是Heat的PTL,所以Heat集成,就完全没有任何障碍。

Desigate

Dns服务,这个大家其实关注度不高,不过现在重要性慢慢在提高。各个项目代码里,都在集成他。变得非常关键。

  1. Trove
  2. sahara
  3. murano

这种项目里,其实都需要用到dns服务。目前Kolla也已经在积极推进

https://blueprints.launchpad.net/kolla/+spec/ansible-designate

没有merge,只能等待下一个版本。

Barbican

这个项目,其实很少人知道。也是非常关键,和安全相关。秘钥管理。设计项目是keystone和Magnum。还有cinder的卷的加密,也是需要这个项目来存放。

这是Kolla的PTL重点关注的内容。代码已经提交,大家密切关注。非常高兴的是国内有朋友玩这个,在关键的时候帮忙解决不少技术的问题。

https://blueprints.launchpad.net/kolla/+spec/barbican-ansible

已经merge

功能项目

这些项目,都是为了给用户实现某个功能。

Telemetry

这是OpenStack争议最大的项目,以前名字是Ceilometer,现在已经改名,分为3个组件

  1. ceilometer 收集数据
  2. gnocchi (聚合数据)
  3. aodh (报警服务) (merge)

另外还需要依赖MongoDB,gnocchi,可以使用grafana来展示数据。

对于Kolla来说,Newton 版本,相关组件的代码都已经完成,等待merge。这也是一个工作量非常庞大的活啊。

把这几个项目调试通过,整合好,也不容易。需要做很多工作。也是重点。

全部merge

Cloudkitty

这是计费项目,Telemetry结合,实现计费的功能。这个项目还没有看到成果案例,目前只有一家公司在开发,不过从代码上看,还是很积极,从gnocchi来取数据计费。

我一直认为,在私有云,也是非常需要计费的功能。

https://blueprints.launchpad.net/kolla/+spec/cloudkitty

已经merge

Murano

Kolla其实在mitaka版本已经集成,不过因为Horizon集成的问题,一直都没用起来。Newton版本,解决掉Horizon的插件问题,

目前Murano提供了一个app 列表,有专门针对CI CD的。这个也是非常值得去测试的内容。

Murano一个功能,就是提供docker的app store,这个功能据说还不是很完善。

Ironic

裸机,物理机器是管理,这个是非常热门的项目,Newton版本里,ironic实现了多租户的管理。

Kolla在Mitaka版本就已经支持ironic,国内有朋友在测试。

目前kolla社区考虑安装操作系统,采用ironic的单机版本Biforst来实现

https://blueprints.launchpad.net/kolla/+spec/bifrost-support

PTL希望尽快合并,可以很好去做134个节点的测试工作。

bifrost已经merge。

Magnum

就是OpenStack管理COE的项目,非常热门。不过目前Kolla上的Magnum还是有bug,无法跑起来,这个是要去重点修复。并且希望可以和barbican进行对接,实现秘钥管理。

https://bugs.launchpad.net/kolla/+bug/1551992

积极修复中,确保Newton版本可以使用。

Sahara

在红帽的发行版里,Sahara是获得正式支持,也就说明这个项目比较成熟。代码也已经提交。

https://blueprints.launchpad.net/kolla/+spec/sahara-role

我个人非常希望这个早日merge,目前Sahara是可以实现和ironic进行对接。Mirantis的Fuel已经产品化。这个调试通过的工作量不小。

已经merge。

Senlin

这个项目是IBM腾启明发起,那么我也非常希望kolla可以实现,好好研究一下这个项目。目前中国移动已经在使用。

https://blueprints.launchpad.net/kolla/+spec/senlin-container

代码已经提交。就看是否能merge。

已经merge

Trove

数据库服务,现在Iaas已经在逐步往paas层发展,提供各种服务。那么数据库服务应该是刚需。就是目前这个项目成熟度不高。

代码已经提交 https://blueprints.launchpad.net/kolla/+spec/ansible-trove

有时候也真的是用的人多,才有机会完善。

没有

Manila

kolla在Mitaka版本就实现支持Manila,不过没有测试。相信也很难支持Cephfs。

要跑起来,估计还是需要做不少工作,修复各种bug。

Watcher (Infrastructure Optimization)

这个项目很新,在Newton里,Kolla已经支持,这倒是不错。希望可以通过Kolla,让更多人了解这个项目的先进性。

Rally

代码已经提交,等待merge。

已经merge。

Mistral (Workflow service)

知道这个项目,是因为孔令贤是这个项目的Core。具体用途,真的不太清楚。很少看到介绍。

Mitaka版本,就已经支持。目前有bug,正在修复中,希望可以在Newton版本玩起来。

https://review.openstack.org/#/c/352120/

Solum

这是给开发者提供Docker作为开发工具的项目。目前九州云的曹威同学在推动

https://blueprints.launchpad.net/kolla/+spec/solum-support

没有merge

Freezer

这是提供备份服务的项目。该项目的开发进度不算是很理想,参与人不多。而且项目的难度也不小。目前Kolla还没有考虑,没有提BP。

Congress (Governance service)

https://blueprints.launchpad.net/kolla/+spec/enable-congress-container

没理解是做什么用途,不过社区代码已经提交,等待review。

已经merge。

Zaqar (Message service)

消息队列服务,在Newton版本是无法实现支持,只能等下一个版本去实现。

Searchlight (Search service)

我了解的这是给Horizon提供搜索服务的一个项目。目前麒麟的李英俊在推动

https://blueprints.launchpad.net/kolla/+spec/searchlight

网络

Kuryr

这是OpenStack专门解决容器的网络问题的项目,不过很可惜,到目前为止还没有支持keytone V3.

Kolla社区已经做了大量的工作 https://blueprints.launchpad.net/kolla/+spec/kuryr-docker-plugin

里面集成的内容很多。包括consul,etcd,都有。

目前最新的进展,Kuryr社区马上要支持keystone V3,Kolla的PTL非常希望merge这个项目。

已经merge。

Tacker (NFV Orchestration service)

九州云大师兄龚永生已经提交BP,等着他去实现这个功能。

https://blueprints.launchpad.net/kolla/+spec/tacker-support

Dragonflow

海云捷迅的马力同学,也提交的BP,正在做。

https://blueprints.launchpad.net/kolla/+spec/dragonflow

 

监控和日志

对于Kolla来说,所谓监控,变成了容器的监控,在容器的世界里,监控的方案就太多。不像传统的OpenStack监控,就只有Nagios和Zabbix。监控的项目都是OpenStack以外的项目。

ELK

社区在Mitaka版本,把Logstash换成了Heka,不过目前Heka已经不再更新,社区希望的是寻找一个Go开发的手机端。

不过不管怎么说,节点上所有的容器的日志收集,都是比较完整的。目前就是Kibana的图,没有实现默认配置。这个我在考虑一下,如何把Fuel上的Kibana图放到Kolla上的Kibana。

性能监控

目前社区的方案是

https://blueprints.launchpad.net/kolla/+spec/performance-monitoring

采用telegraf,influxdb ,grafana来实现。这个在积极开发中,应该是可以merge。是当前的重点。

另外一个方案 sensu https://blueprints.launchpad.net/kolla/+spec/sensu

  1. Sensu Client to collect checks and metrics
  2. RabbitMQ for transport
  3. Sensu Server to receive, evaluate, alarm and write metrics to InfluxDB
  4. Uchiwa as a Dashboard to Sensu
  5. InfluxDB to store metrics 6. Grafana to dashboard metrics

已经merge。

  15 Responses to “Kolla项目进展”

  1. 陈老师您好,请教你一个问题,我现在搭建了一个简单openstack平台(1controller+5compute),没有独立存储节点,计算节点都是使用的本地存储,我现在需要做一个功能,每天能定时对虚拟机实例进行快照,同时每个快照过期(比如快照最长存储30天)删除,我在网上查了些资料,openstack没有提供这方面功能,请陈老师有没有这方建议?万分感谢。

    • 这个做法不现实。把快照当做备份。这也说吧,开源的产品,做快照,数量超过5个,性能就严重下降。对于ceph,也是这样。

  2. 多谢陈老师,现在openstack还不支持增量快照,如果没有备份,没法保证数据安全。陈老师能不能基于我这种应用场景,给一个可行的方案,感谢! 我是openstack刚入门,可能还没考虑到性能问题,我之前考虑的是自己写一个脚本调用openstack api定期执行,我现在还没发评估这样实现复杂性都多高;我问了其他的人说通过ceph实现,ceph我现在还不了解,请陈老师赐教!!

    • 对于ceph,是支持所谓增量快照,不过性能顶不住。备份是可以的,cinder backup的功能,是可用的,可以实现增量的备份。

      • 陈老师您好,我是使用devstack安装的Mitaka,我调用cinder backup功能备份逻辑卷,数据卷可以正常备份,但是系统卷完全无法备份,即使使用–force选项,生成了备份点,但是状态是error无法使用,我看了后台报错是cinder oslo_messaging.rpc.dispatcher timed out waiting for a reply to message,然后c-api.log里面的日志也很正常,请问遇到这种情况大概是通信问题还是cinder的配置问题?

  3. 感谢老师,我现在的环境没有装cinder组件,因为没有统一的存储,vm实例都是用的本地存储,glance镜像放到controller节点的,您看我这样行不,我部署一个ceph环境,把glance镜像用ceph存储,不是实现增量备份了,在controller上写一个脚本,调用openstack api(模拟页面上快照操作),定时执行脚本,完成快照,这样可行。

  4. 陈老师您好,我目前想从neutron底层代码来理解neutron整个的架构,但是进展缓慢。我现在主要是看官方的开发者文档进行学习,官方写的非常详细,但是由于自己能力不够,有些话还是很难懂。在此请教老师,
    我若以理解neutron的架构,比较底层的实现方法及其工作流程为主:
    1.看代码前,出了要理解os整个的架构以及一些基本的原理之外,还需要学习什么,比如是否需要深入的学习pyhton?
    2.有没有一些可以提高看代码效率,并能提高自己理解效率的渠道,比如我们国内有没有人为开发方面做一些文档之类的提供参考。
    我在代码方面确实小白,可能问的问题不够深入和专业,烦请老师给予指导,谢谢。

  5. 陈老师您好,我现在部署openstack,会发现一个问题,vm实例运行时出现一个未知进程占用cpu 100%,进程是间断出现,每次进程名都不一样,我用的镜像是ubuntu 14.04,现在无法定位问题,出现后我只能把vm重装,你遇到这个问题,麻烦指定一下。
    还有,计算节点会出现vhost-***(*** 是一串数字)进程,不是所有计算节点都有这个进程,这个好像vm进程,这个有问题没,麻烦指点一下。

    • 如果可能,就换成ubuntu官方的image看看。

      • 好的,有没有可能装了啥软件造成,我现在装mongo 数据库
        计算节点出现vhost-*** 进程正常吗? 有时候占用cpu还蛮高的。
        感谢指点!

  6. 陈老师不好意思,今天您来我们公司我竟然没有反应过来,就这么错过了和您的合影。后悔啊。

  7. 陈老大,计算点出现vhost+pid 进程,占用cpu 100%,是啥问题,麻烦指点一下, 万分感谢!

 Leave a Reply

(required)

(required)