陈沙克

Feb 152019
 

借助同事做的Openshift All in one,现在装istio,也是非常快捷,便利。这里就不记录原理,仅仅是把过程整理一遍。

参考文章

https://www.jianshu.com/p/27163901e01a  同事大作

All in one

要求操作系统selinux打开,我是采用4core,8G内存的虚拟机来安装,基本没问题。

git clone https://gitee.com/xhua/OpenshiftOneClick.git -b 3.11
cd OpenshiftOneClick
bash deploy_openshift.sh

你是可以定制你自己的域名,通过修改配置文件 config.yaml,关于Elasticsearch的参数修改,我们已经在脚本实现。

istio 安装部署

下载镜像

可以进入 OpenshiftOneClick/istio/ 目录下,里面有下载镜像的脚本,提前下载镜像,是为了解决安装过程中因为镜像下载速度过慢导致的安装失败。

bash docker-pull-images.sh

配置master-config

使得新建pod自动注入istio-proxy sidecar

cp master-config.patch  /etc/origin/master/master-config.patch
cd /etc/origin/master/
cp -p master-config.yaml master-config.yaml.prepatch
oc ex config patch master-config.yaml.prepatch -p "$(cat master-config.patch)" > master-config.yaml
/usr/local/bin/master-restart api && /usr/local/bin/master-restart controllers
cd -

Istio Operator

oc new-project istio-operator
oc new-app -f istio_product_operator_template.yaml \
--param=OPENSHIFT_ISTIO_MASTER_PUBLIC_URL=https://os311.test.it.example.com:8443

如果你修改了域名,那么https://os311.test.it.example.com,你就需要修改就可以。

部署Istio

镜像在本地,其实部署的过程很快

oc create -f istio-installation.yaml -n istio-operator

Bookinfo Demo

进入 OpenshiftOneClick/istio/bookinfo-sample 目录下,相关配置都在这里

oc new-project bookinfo
oc adm policy add-scc-to-user anyuid -z default -n bookinfo
oc adm policy add-scc-to-user privileged -z default -n bookinfo
oc apply -n bookinfo -f bookinfo.yaml
oc apply -n bookinfo -f bookinfo-gateway.yaml

访问

访问相关地址,需要设置本地的hosts文件 C:\Windows\System32\Drivers\etc

139.198.17.101 os311.test.it.example.com
139.198.17.101 registry-console-default.apps.os311.test.it.example.com
139.198.17.101 alertmanager-main-openshift-monitoring.apps.os311.test.it.example.com
139.198.17.101 hawkular-metrics.apps.os311.test.it.example.com
139.198.17.101 console.apps.os311.test.it.example.com
139.198.17.101 jenkins-cicd.apps.os311.test.it.example.com
139.198.17.101 sonarqube-cicd.apps.os311.test.it.example.com
139.198.17.101 gitlab-cicd.apps.os311.test.it.example.com
139.198.17.101 gogs-cicd.apps.os311.test.it.example.com
139.198.17.101 nexus3-cicd.apps.os311.test.it.example.com
139.198.17.101 jeesite-jeesite.apps.os311.test.it.example.com
139.198.17.101 jenkins-jeesite.apps.os311.test.it.example.com
139.198.17.101 prometheus-k8s-openshift-monitoring.apps.os311.test.it.example.com
139.198.17.101 grafana-openshift-monitoring.apps.os311.test.it.example.com
139.198.17.101 etherpad-etherpad.apps.os311.test.it.example.com
139.198.17.101 kubevirt-web-ui.apps.os311.test.it.example.com
139.198.17.101 istio-ingressgateway-istio-system.apps.os311.test.it.example.com
139.198.17.101 kiali-istio-system.apps.os311.test.it.example.com
139.198.17.101 prometheus-istio-system.apps.os311.test.it.example.com
139.198.17.101 grafana-istio-system.apps.os311.test.it.example.com
Dec 292018
 

这个其实是1年前,同事出去谈项目,客户要一个持续集成的演示,哪怕最简单都可以,hello world就可以。也就因为这个Hello world,一直忙了一年。

我们当时从零开始,真的搞了1个多月,才把hello world的工具链,在OpenShift搞起来。后续经历了一年多的优化,改进。在2018年最后一天,终于完成,现在已经很自信的说,给客户demo hello world,我就只需要1个小时不到的时间,就可以搞定。

DevOps 1.0 工具链

以前朋友给客户demo,把了把这套工具链调试通过,整整花了一个星期的时间,而且每次搭建,其实也挺麻烦的。那么我们尝试把这套工具链,做的更加标准化。

pipeline

gogs

代码仓库,我选择gogs,演示的时候,我们需要轻量。资源占用少。那么功能是完全可以满足需求。

gogs初始化的时候,如何创建管理员的问题,解决后,就非常顺利。

Jenkins

这是红帽内置的,我们通过pipeline调用jenkins,非常高大上。使用了kubernetes的插件,通过slave的jenkins来跑job。

Nexus3

我们选择maven来构建,这也是红帽的jenkins默认支持,为了加快速度,我们搭建一个私有仓库,Nexus,采用代理模式。

SnoarQube

这是代码扫描工具,代码质量的保证。国内使用非常普遍,不过真正用起来,还是需要花心思。

OpenshiftOneClick

红帽是提供Openshift all in one安装的脚本,不过你经常会遇到很多意想不到的问题,导致你安装失败。未来简化安装,我们专门针对Openshift-ansible进行了一个封装了一下。

代码地址

https://gitee.com/xhua/OpenshiftOneClick

目前是支持3.11的版本。大家只需要一台干净的CentOS 7.4以上系统就可以。3.11的OpenShift安装,要求把Selinux启动,才能进行安装。

虚拟机配置建议

  • 默认安装:  1core,4G内存,20G系统盘
  • CICD安装: 4Core,8G内存   20G系统盘
  • Full安装:    8core,32G内存  50G系统盘

Full安装,主要是因为elasearch非常消耗内存。所以你必须内存够大,才能启动成功。

我的vm的单网卡,有朋友反馈如果是双网卡,并且都配置了ip地址,会导致服务启动有问题,这是可以理解。所以大家需要自己来调整。

我是使用青云的平台进行测试,虚拟机的网卡的ip地址,是私有的地址。访问是通过floating ip访问。

安装过程,先确认selinux是启动的

# sestatus
SELinux status:                 enabled
SELinuxfs mount:                /sys/fs/selinux
SELinux root directory:         /etc/selinux
Loaded policy name:             targeted
Current mode:                   permissive
Mode from config file:          disabled
Policy MLS status:              enabled
Policy deny_unknown status:     allowed
Max kernel policy version:      31

安装git,checkout代码

git clone https://gitee.com/xhua/OpenshiftOneClick.git -b 3.11

进入目录,配置选项

# cat config.yml
---
CHANGEREPO: true
HOSTNAME: os311.test.it.example.com

Change_Base_Registry: false
Harbor_Url: harbor.apps.it.example.com

FULL_INSTALL: false
SAMPLE_TEMPLATES: false

CICD_INSTALL: true

PV_COUNT: 20

# GOGS_USER: root
GOGS_PASSWORD: 123456
GOGS_EMAIL: abc@123.com

上面的配置参数,其实很清楚。简单来说,你只需要考虑一个,CICD_INSTALL: true,默认是false。改成true就可以。如果你希望把监控,普罗米修斯都装上,那么就选择full。

默认是使用主机名:os311.test.it.example.com
。你可以修改,或者是:okd.chenshake.com

这个都是可以的。

开始安装

bash deploy_openshift.sh

需要等待40分钟,主要取决于带宽和你的硬盘的速度。

可以多开一个终端,查看启动的容器

watch -n 1 "oc get pods --all-namespaces"

查看容器数量

# docker ps -q | wc -l
36

如果是启动cicd,那么是36个容器,如果是默认安装,是22个容器。

Openshift使用

Host记录

C:\Windows\System32\Drivers\etc\hosts

你需要把虚拟机的公网访问的IP地址更换上。如果你修改了域名,就替换就可以。

139.198.18.250 okd.qingcloud.com
139.198.18.250 apollo-cicd.apps.okd.qingcloud.com
139.198.18.250 rabbitmq-cluster-jeesite.apps.okd.qingcloud.com
139.198.18.250 kibana-cicd.apps.okd.qingcloud.com
139.198.18.250 apache-dubbo-zookeeper-jeesite.apps.okd.qingcloud.com
139.198.18.250 registry-console-default.apps.okd.qingcloud.com
139.198.18.250 alertmanager-main-openshift-monitoring.apps.okd.qingcloud.com
139.198.18.250 hawkular-metrics.apps.okd.qingcloud.com
139.198.18.250 console.apps.okd.qingcloud.com
139.198.18.250 jenkins-cicd.apps.okd.qingcloud.com
139.198.18.250 sonarqube-cicd.apps.okd.qingcloud.com
139.198.18.250 gitlab-cicd.apps.okd.qingcloud.com
139.198.18.250 gogs-cicd.apps.okd.qingcloud.com
139.198.18.250 nexus3-cicd.apps.okd.qingcloud.com
139.198.18.250 jeesite-jeesite.apps.okd.qingcloud.com
139.198.18.250 jenkins-jeesite.apps.okd.qingcloud.com
139.198.18.250 prometheus-k8s-openshift-monitoring.apps.okd.qingcloud.com
139.198.18.250 grafana-openshift-monitoring.apps.okd.qingcloud.com
139.198.18.250 etherpad-etherpad.apps.okd.qingcloud.com
139.198.18.250 kubevirt-web-ui.apps.okd.qingcloud.com
139.198.18.250 istio-ingressgateway-istio-system.apps.okd.qingcloud.com
139.198.18.250 kiali-istio-system.apps.okd.qingcloud.com
139.198.18.250 prometheus-istio-system.apps.okd.qingcloud.com
139.198.18.250 grafana-istio-system.apps.okd.qingcloud.com
139.198.18.250 launcher-frontend-devex.apps.okd.qingcloud.com
139.198.18.250 easy-mock-cicd.apps.okd.qingcloud.com

简单使用

如果使用公有云,记得打开80,443,8443 这3个端口。

  • user:admin
  • paas:admin

Snap12

CICD持续集成和Jeesite两个project是我们增加的。

CICD主要是部署DevOps工具链,这个project里,部署Gogs,Nexus,SnoarQube。

Jeesite项目是一个demo的java代码,

Snap15

默认的访问都是通过http,目前很多公有云,对http的网址需要备案。我们可以手工改成https

Snap16

Snap17

Snap18

选上Secure router,save,访问地址,就会变成https

Pipeline演示

脚本跑完,其实默认的webhook,jenkins的配置,其实已经全部完成。你只需要触发就可以。你可以选择

  • Openshift里的Jeesite项目里的pipeline手工触发
  • gogs的jeesite,修改代码来触发构建

手工触发

Snap13

Snap14

start Pipeline

Snap19

有时候第一次build失败,多来几次就可以。

查看应用

我是启用了https

Snap20

默认的用户名和密码

  • user:admin
  • pass:admin

自动触发

用root,123456 登录后,就可以看到Jeesite的repo

可以修改README.md ,就会自动触发pipeline

附录

应用相关的密码

Gogs

  • user:root
  • paas:123456

Nexus

  • user:admin
  • paas:admin123

SnoarQube

  • user:admin
  • paas:admin

Jeesite

  • user:admin
  • pass:admin

安装代码地址

https://gitee.com/xhua/OpenshiftOneClick

Jeesite地址

默认的Jeesite的pom文件,是需要修改才能用的

https://gitee.com/openshiftx/jeesite

full install的容器

Snap21

# docker ps -q | wc -l
90

90个容器。

Dec 032018
 

这是在OpenShift管理虚拟机的项目。这是我第一次直接用ansible。

我是使用默认一键安装Openshift来装好OpenShift 3.11的版本

我们需要用ansible部署

需要修改一下参数
cd kubevirt-ansible
vi vars/all.yml
只需要把openshift版本从3.10改成3.11就可以
修改 /etc/ansible/hosts 文件增加一行
kubevirt_web_ui_image_name = "quay.io/kubevirt/kubevirt-web-ui:latest"

因为我是在虚拟机里安装,不支持kvm

kubectl create configmap -n kube-system kubevirt-config \
--from-literal debug.useEmulation=true

这时候,就可以开始安装

ansible-playbook -i /etc/ansible/hosts playbooks/kubevirt.yml -e@vars/all.yml

这样应该就可以顺利搞定。

找到地址,就可以访问到UI。启动虚拟机失败,估计和我在虚拟机里装Openshift有关,

参考文档

https://kubevirt.io/user-guide/#/installation/README?id=requirements

Dec 032018
 

这算是我第一个在OpenShift靠自己能力搞定的应用,别见笑。

利用一键安装,迅速搞定Openshift

关于Etherpad的介绍

https://www.oschina.net/p/etherpad

google员工出品,目前归属google,值得信赖。

红帽的工程师提供现成的安装办法,让大家体会一下。

https://github.com/wkulhanek/docker-openshift-etherpad

我是命令行下搞定安装的。

oc new-project etherpad --display-name "Shared Etherpad"

创建数据库,mysql。由于我们的环境,对镜像做了一点修改,默认mysql的版本就是5.7

oc new-app mysql-persistent --param MYSQL_USER=ether \
--param MYSQL_PASSWORD=ether --param MYSQL_DATABASE=ether \
--param VOLUME_CAPACITY=4Gi

去掉最后的参数,mysql的版本就可以。

开始部署

oc new-app -f \
https://raw.githubusercontent.com/wkulhanek/docker-openshift-etherpad/master/etherpad-template.yaml \
-p DB_USER=ether -p DB_PASS=ether -p DB_DBID=ether -p DB_PORT=3306 -p \
DB_HOST=mysql -p ADMIN_PASSWORD=secret

 

如果第一次部署失败,再deploy一次就可以,因为下载镜像,比较慢。

这个时候,修改hosts文件,你就可以访问。如果需要https,那么修改一下router就可以。

Dec 022018
 

如何在OpenShift管理虚拟机,这是一个很好玩的东西,今晚好好测试一下。

我已经把Openshift装好。

启用虚拟化

kubectl create configmap -n kube-system kubevirt-config \
--from-literal debug.useEmulation=true

安装kubevirt

oc login -u system:admin
oc adm policy add-scc-to-user privileged -n kube-system -z kubevirt-privileged
oc adm policy add-scc-to-user privileged -n kube-system -z kubevirt-controller
oc adm policy add-scc-to-user privileged -n kube-system -z kubevirt-apiserver

export VERSION=v0.10.0
oc apply -f https://github.com/kubevirt/kubevirt/releases/download/${VERSION}/kubevirt.yaml

这时候会下载很多docker,可以通过watch命令查看

安装virctl

curl -L -o virtctl \
    https://github.com/kubevirt/kubevirt/releases/download/$VERSION/virtctl-$VERSION-linux-amd64
chmod +x virtctl

Deploy a VirtualMachine

# Creating a virtual machine
kubectl apply -f https://raw.githubusercontent.com/kubevirt/demo/master/manifests/vm.yaml

# After deployment you can manage VMs using the usual verbs:
kubectl get vms
kubectl get vms -o yaml testvm

Web UI

参考文档

http://kubevirt.io/get_kubevirt/#install_3

Nov 282018
 

上学的时候,其实没正经对过几本所谓管理书籍,这次就当还债。

建立可持续成功组织的路径图和工具

这是书的标题,我看了其实不是太喜欢。因为世界上,肯定不会存在所谓的持续成功的秘籍。战略管理的创始人,自己搞的公司,就因为战略导致最后关闭。这是很讽刺的事情。

管理的书籍,经常过于神化,可能这不是作者的本意,经常是翻译,出版社为了吸引眼球,搞的这种标题。

案例

MBA课程经常会引用很多案例,不过现在也都面临很多尴尬的局面。因为书上的案例,可以已经从神坛掉下来。以前MBA书上讲的IBM,HP的案例,现在都面临的很尴尬的局面。

里面也提到一个国内的案例,广州建筑公司,很多时候,这种案例的包装,是否经得住时间验证。我是有疑问的。

公司成长的七个阶段

那么这个阶段划分,我倒是很认同

  1. 创新公司(识别和定义市场,开发产品和服务)
  2. 扩张  (获取资源,开发运营系统)
  3. 专业化 (获取资源,管理系统)
  4. 巩固 (企业文化)
  5. 多元化
  6. 整合
  7. 衰退和复兴

那么上面的描述的几个阶段,我们日常很多公司都可以看到,很多公司都会死在多元化。

书中对公司不同阶段,根据营业收入来定义,并且区分服务业和制造业。其实估值还是比较准确的。

作者强调企业到了扩张阶段,就必须考虑自己拥有运营系统,不能停留在手工阶段。后面也是需要管理系统跟上。

目前国内的创业公司,基本都会考虑钉钉。用钉钉来做内部的管理系统。企业的运营,管理,可以在一个系统上运行,并且代价是可接受的。

专业化管理和创业型管理

当企业到了一定的节点,管理就需要专业化,教科书上都是这样说的。书上讲了两者的区别。把公司搞专业化管理,这是面向大型公司。

其实很多企业,规模可能不大,通过家庭式来维系的长期发展,其实很多时候,也是可以发展的很好。这种例子,其实不仅仅是国内,其实国外也是一样。

以前读MBA,觉得就中国才会一家人都在企业里。其实国外也是一样的。最信任的,有时候还是家人。

企业文化

书上花了很多篇幅来强调企业文化,所谓价值观。那么这些东西,到底是什么呢?

写在墙上的,一定不是所谓真正企业的文化,价值观。

公司的价值,是由谁得到奖励,谁得到提拔,谁给解雇来决定的。

当公司开始运作的时候,领导者不是通过墙上的写的东西来指导工作,而是用实际行动来确立公司的价值。员工会根据领导的表扬,提拔,而做出相应的行动,大家也就逐步明白该如何做。员工就掌握了在公司生存和发展的游戏规则,并且根据这个而行动。这个很可能,大概率和墙上写的没啥关系。