Feb 152019
 

借助同事做的Openshift All in one,现在装istio,也是非常快捷,便利。这里就不记录原理,仅仅是把过程整理一遍。

参考文章

https://www.jianshu.com/p/27163901e01a  同事大作

All in one

要求操作系统selinux打开,我是采用4core,8G内存的虚拟机来安装,基本没问题。

git clone https://gitee.com/xhua/OpenshiftOneClick.git -b 3.11
cd OpenshiftOneClick
bash deploy_openshift.sh

你是可以定制你自己的域名,通过修改配置文件 config.yaml,关于Elasticsearch的参数修改,我们已经在脚本实现。

istio 安装部署

下载镜像

可以进入 OpenshiftOneClick/istio/ 目录下,里面有下载镜像的脚本,提前下载镜像,是为了解决安装过程中因为镜像下载速度过慢导致的安装失败。

bash docker-pull-images.sh

配置master-config

使得新建pod自动注入istio-proxy sidecar

cp master-config.patch  /etc/origin/master/master-config.patch
cd /etc/origin/master/
cp -p master-config.yaml master-config.yaml.prepatch
oc ex config patch master-config.yaml.prepatch -p "$(cat master-config.patch)" > master-config.yaml
/usr/local/bin/master-restart api && /usr/local/bin/master-restart controllers
cd -

Istio Operator

oc new-project istio-operator
oc new-app -f istio_product_operator_template.yaml \
--param=OPENSHIFT_ISTIO_MASTER_PUBLIC_URL=https://os311.test.it.example.com:8443

如果你修改了域名,那么https://os311.test.it.example.com,你就需要修改就可以。

部署Istio

镜像在本地,其实部署的过程很快

oc create -f istio-installation.yaml -n istio-operator

Bookinfo Demo

进入 OpenshiftOneClick/istio/bookinfo-sample 目录下,相关配置都在这里

oc new-project bookinfo
oc adm policy add-scc-to-user anyuid -z default -n bookinfo
oc adm policy add-scc-to-user privileged -z default -n bookinfo
oc apply -n bookinfo -f bookinfo.yaml
oc apply -n bookinfo -f bookinfo-gateway.yaml

访问

访问相关地址,需要设置本地的hosts文件 C:\Windows\System32\Drivers\etc

139.198.17.101 os311.test.it.example.com
139.198.17.101 registry-console-default.apps.os311.test.it.example.com
139.198.17.101 alertmanager-main-openshift-monitoring.apps.os311.test.it.example.com
139.198.17.101 hawkular-metrics.apps.os311.test.it.example.com
139.198.17.101 console.apps.os311.test.it.example.com
139.198.17.101 jenkins-cicd.apps.os311.test.it.example.com
139.198.17.101 sonarqube-cicd.apps.os311.test.it.example.com
139.198.17.101 gitlab-cicd.apps.os311.test.it.example.com
139.198.17.101 gogs-cicd.apps.os311.test.it.example.com
139.198.17.101 nexus3-cicd.apps.os311.test.it.example.com
139.198.17.101 jeesite-jeesite.apps.os311.test.it.example.com
139.198.17.101 jenkins-jeesite.apps.os311.test.it.example.com
139.198.17.101 prometheus-k8s-openshift-monitoring.apps.os311.test.it.example.com
139.198.17.101 grafana-openshift-monitoring.apps.os311.test.it.example.com
139.198.17.101 etherpad-etherpad.apps.os311.test.it.example.com
139.198.17.101 kubevirt-web-ui.apps.os311.test.it.example.com
139.198.17.101 istio-ingressgateway-istio-system.apps.os311.test.it.example.com
139.198.17.101 kiali-istio-system.apps.os311.test.it.example.com
139.198.17.101 prometheus-istio-system.apps.os311.test.it.example.com
139.198.17.101 grafana-istio-system.apps.os311.test.it.example.com
Dec 292018
 

这个其实是1年前,同事出去谈项目,客户要一个持续集成的演示,哪怕最简单都可以,hello world就可以。也就因为这个Hello world,一直忙了一年。

我们当时从零开始,真的搞了1个多月,才把hello world的工具链,在OpenShift搞起来。后续经历了一年多的优化,改进。在2018年最后一天,终于完成,现在已经很自信的说,给客户demo hello world,我就只需要1个小时不到的时间,就可以搞定。

DevOps 1.0 工具链

以前朋友给客户demo,把了把这套工具链调试通过,整整花了一个星期的时间,而且每次搭建,其实也挺麻烦的。那么我们尝试把这套工具链,做的更加标准化。

pipeline

gogs

代码仓库,我选择gogs,演示的时候,我们需要轻量。资源占用少。那么功能是完全可以满足需求。

gogs初始化的时候,如何创建管理员的问题,解决后,就非常顺利。

Jenkins

这是红帽内置的,我们通过pipeline调用jenkins,非常高大上。使用了kubernetes的插件,通过slave的jenkins来跑job。

Nexus3

我们选择maven来构建,这也是红帽的jenkins默认支持,为了加快速度,我们搭建一个私有仓库,Nexus,采用代理模式。

SnoarQube

这是代码扫描工具,代码质量的保证。国内使用非常普遍,不过真正用起来,还是需要花心思。

OpenshiftOneClick

红帽是提供Openshift all in one安装的脚本,不过你经常会遇到很多意想不到的问题,导致你安装失败。未来简化安装,我们专门针对Openshift-ansible进行了一个封装了一下。

代码地址

https://gitee.com/xhua/OpenshiftOneClick

目前是支持3.11的版本。大家只需要一台干净的CentOS 7.4以上系统就可以。3.11的OpenShift安装,要求把Selinux启动,才能进行安装。

为了确保成功,2个地方需要非常注意

1: ansible的版本,yum安装的ansible版本,肯定是无法支持,https://gitee.com/xhua/OpenshiftOneClick/tree/3.11/tools 的版本才行。

2: 提前下载镜像,https://gitee.com/xhua/OpenshiftOneClick/blob/3.11/files/pull_cicd_images.sh 需要你提前把docker装好。

虚拟机配置建议

  • 默认安装:  1core,4G内存,20G系统盘
  • CICD安装: 4Core,8G内存   20G系统盘
  • Full安装:    8core,32G内存  50G系统盘

Full安装,主要是因为elasearch非常消耗内存。所以你必须内存够大,才能启动成功。

我的vm的单网卡,有朋友反馈如果是双网卡,并且都配置了ip地址,会导致服务启动有问题,这是可以理解。所以大家需要自己来调整。

我是使用青云的平台进行测试,虚拟机的网卡的ip地址,是私有的地址。访问是通过floating ip访问。

安装过程,先确认selinux是启动的

# sestatus
SELinux status:                 enabled
SELinuxfs mount:                /sys/fs/selinux
SELinux root directory:         /etc/selinux
Loaded policy name:             targeted
Current mode:                   permissive
Mode from config file:          disabled
Policy MLS status:              enabled
Policy deny_unknown status:     allowed
Max kernel policy version:      31

安装git,checkout代码

git clone https://gitee.com/xhua/OpenshiftOneClick.git -b 3.11

进入目录,配置选项

# cat config.yml
---
CHANGEREPO: true
HOSTNAME: os311.test.it.example.com

Change_Base_Registry: false
Harbor_Url: harbor.apps.it.example.com

FULL_INSTALL: false
SAMPLE_TEMPLATES: false

CICD_INSTALL: true

PV_COUNT: 20

# GOGS_USER: root
GOGS_PASSWORD: 123456
GOGS_EMAIL: abc@123.com

上面的配置参数,其实很清楚。简单来说,你只需要考虑一个,CICD_INSTALL: true,默认是false。改成true就可以。如果你希望把监控,普罗米修斯都装上,那么就选择full。

默认是使用主机名:os311.test.it.example.com
。你可以修改,或者是:okd.chenshake.com

这个都是可以的。

开始安装

bash deploy_openshift.sh

需要等待40分钟,主要取决于带宽和你的硬盘的速度。

可以多开一个终端,查看启动的容器

watch -n 1 "oc get pods --all-namespaces"

查看容器数量

# docker ps -q | wc -l
36

如果是启动cicd,那么是36个容器,如果是默认安装,是22个容器。

Openshift使用

Host记录

C:\Windows\System32\Drivers\etc\hosts

你需要把虚拟机的公网访问的IP地址更换上。如果你修改了域名,就替换就可以。

139.198.18.250 okd.qingcloud.com
139.198.18.250 apollo-cicd.apps.okd.qingcloud.com
139.198.18.250 rabbitmq-cluster-jeesite.apps.okd.qingcloud.com
139.198.18.250 kibana-cicd.apps.okd.qingcloud.com
139.198.18.250 apache-dubbo-zookeeper-jeesite.apps.okd.qingcloud.com
139.198.18.250 registry-console-default.apps.okd.qingcloud.com
139.198.18.250 alertmanager-main-openshift-monitoring.apps.okd.qingcloud.com
139.198.18.250 hawkular-metrics.apps.okd.qingcloud.com
139.198.18.250 console.apps.okd.qingcloud.com
139.198.18.250 jenkins-cicd.apps.okd.qingcloud.com
139.198.18.250 sonarqube-cicd.apps.okd.qingcloud.com
139.198.18.250 gitlab-cicd.apps.okd.qingcloud.com
139.198.18.250 gogs-cicd.apps.okd.qingcloud.com
139.198.18.250 nexus3-cicd.apps.okd.qingcloud.com
139.198.18.250 jeesite-jeesite.apps.okd.qingcloud.com
139.198.18.250 jenkins-jeesite.apps.okd.qingcloud.com
139.198.18.250 prometheus-k8s-openshift-monitoring.apps.okd.qingcloud.com
139.198.18.250 grafana-openshift-monitoring.apps.okd.qingcloud.com
139.198.18.250 etherpad-etherpad.apps.okd.qingcloud.com
139.198.18.250 kubevirt-web-ui.apps.okd.qingcloud.com
139.198.18.250 istio-ingressgateway-istio-system.apps.okd.qingcloud.com
139.198.18.250 kiali-istio-system.apps.okd.qingcloud.com
139.198.18.250 prometheus-istio-system.apps.okd.qingcloud.com
139.198.18.250 grafana-istio-system.apps.okd.qingcloud.com
139.198.18.250 launcher-frontend-devex.apps.okd.qingcloud.com
139.198.18.250 easy-mock-cicd.apps.okd.qingcloud.com

简单使用

如果使用公有云,记得打开80,443,8443 这3个端口。

  • user:admin
  • paas:admin

Snap12

CICD持续集成和Jeesite两个project是我们增加的。

CICD主要是部署DevOps工具链,这个project里,部署Gogs,Nexus,SnoarQube。

Jeesite项目是一个demo的java代码,

Snap15

默认的访问都是通过http,目前很多公有云,对http的网址需要备案。我们可以手工改成https

Snap16

Snap17

Snap18

选上Secure router,save,访问地址,就会变成https

Pipeline演示

脚本跑完,其实默认的webhook,jenkins的配置,其实已经全部完成。你只需要触发就可以。你可以选择

  • Openshift里的Jeesite项目里的pipeline手工触发
  • gogs的jeesite,修改代码来触发构建

手工触发

Snap13

Snap14

start Pipeline

Snap19

有时候第一次build失败,多来几次就可以。

查看应用

我是启用了https

Snap20

默认的用户名和密码

  • user:admin
  • pass:admin

自动触发

用root,123456 登录后,就可以看到Jeesite的repo

可以修改README.md ,就会自动触发pipeline

附录

应用相关的密码

Gogs

  • user:root
  • paas:123456

Nexus

  • user:admin
  • paas:admin123

SnoarQube

  • user:admin
  • paas:admin

Jeesite

    • user:admin
    • pass:admin

安装代码地址

https://gitee.com/xhua/OpenshiftOneClick

Jeesite地址

默认的Jeesite的pom文件,是需要修改才能用的

https://gitee.com/openshiftx/jeesite

full install的容器

Snap21

# docker ps -q | wc -l
90

90个容器。

Dec 032018
 

这是在OpenShift管理虚拟机的项目。这是我第一次直接用ansible。

我是使用默认一键安装Openshift来装好OpenShift 3.11的版本

我们需要用ansible部署

需要修改一下参数
cd kubevirt-ansible
vi vars/all.yml
只需要把openshift版本从3.10改成3.11就可以
修改 /etc/ansible/hosts 文件增加一行
kubevirt_web_ui_image_name = "quay.io/kubevirt/kubevirt-web-ui:latest"

因为我是在虚拟机里安装,不支持kvm

kubectl create configmap -n kube-system kubevirt-config \
--from-literal debug.useEmulation=true

这时候,就可以开始安装

ansible-playbook -i /etc/ansible/hosts playbooks/kubevirt.yml -e@vars/all.yml

这样应该就可以顺利搞定。

找到地址,就可以访问到UI。启动虚拟机失败,估计和我在虚拟机里装Openshift有关,

参考文档

https://kubevirt.io/user-guide/#/installation/README?id=requirements

Dec 032018
 

这算是我第一个在OpenShift靠自己能力搞定的应用,别见笑。

利用一键安装,迅速搞定Openshift

关于Etherpad的介绍

https://www.oschina.net/p/etherpad

google员工出品,目前归属google,值得信赖。

红帽的工程师提供现成的安装办法,让大家体会一下。

https://github.com/wkulhanek/docker-openshift-etherpad

我是命令行下搞定安装的。

oc new-project etherpad --display-name "Shared Etherpad"

创建数据库,mysql。由于我们的环境,对镜像做了一点修改,默认mysql的版本就是5.7

oc new-app mysql-persistent --param MYSQL_USER=ether \
--param MYSQL_PASSWORD=ether --param MYSQL_DATABASE=ether \
--param VOLUME_CAPACITY=4Gi

去掉最后的参数,mysql的版本就可以。

开始部署

oc new-app -f \
https://raw.githubusercontent.com/wkulhanek/docker-openshift-etherpad/master/etherpad-template.yaml \
-p DB_USER=ether -p DB_PASS=ether -p DB_DBID=ether -p DB_PORT=3306 -p \
DB_HOST=mysql -p ADMIN_PASSWORD=secret

 

如果第一次部署失败,再deploy一次就可以,因为下载镜像,比较慢。

这个时候,修改hosts文件,你就可以访问。如果需要https,那么修改一下router就可以。

Nov 082018
 

这是我同事写的一键安装OpenShift的脚本,解决了镜像下载速度慢,配置很复杂,ansible版本,主机名等坑人的问题。

脚本默认会设置中科大的docker缓存加速,所以大家会发现镜像下载非常快。另外有些镜像是从coreos官方的镜像仓库下载,导致下载很慢,我们把镜像重新上传到dock hub上。

我是用1core,4G内存,100G磁盘的虚拟机跑的。

从3.10开始,就必须要求把Selinux打开,所以这个大家就不需要关闭selinux。

cd /root
yum -y install git
git clone https://gitee.com/xhua/OpenshiftOneClick.git -b 3.11
cd OpenshiftOneClick/
bash deploy_openshift.sh
就那么简单.
脚本是可以反复执行。大家可以装好基本版本后,
再把EFK和普罗米修斯装上,那么是需要修改下面参数
不过大家一定要注意,如果你的机器性能不是足够高,根本扛不住,因为监控的数据量是非常大,甚至会把平台压垮。
我在vmware的虚拟机里,看到每秒600MB的写入,我真的是第一次看到。
# cat config.yml
---
CHANGEREPO: true
HOSTNAME: os311.test.it.example.com

Change_Base_Registry: false
Harbor_Url: harbor.apps.it.example.com

FULL_INSTALL: false
SAMPLE_TEMPLATES: true

PV_COUNT: 20

把FULL_INSTALL: false,改成true,就可以了。

SAMPLE_TEMPLATES: true,如果改成false,那么openshift默认带的应用模板不会导入,会导入我希望装上的模板。这是为了我后续把整个ci需要的工具链,都做成应用商店,直接就可以使用。

目前已经默认创建了20个pv,镜像仓库已经使用了一个pv。那么后续的gitlab,snoarqube,nexus,jenkins的存储都有了。

修改本地hosts记录 C:\Windows\System32\Drivers\etc
192.168.100.10 console.apps.os311.test.it.example.com
192.168.100.10 hawkular-metrics.apps.os311.test.it.example.com
192.168.100.10 registry-console-default.apps.os311.test.it.example.com
192.168.100.10 prometheus-k8s-openshift-monitoring.apps.os311.test.it.example.com
192.168.100.10 grafana-openshift-monitoring.apps.os311.test.it.example.com
使用

admin,admin登录就可以

如果你选择全部组件安装

Snap8

登录后,如果你选择不安装红帽默认的应用商店。
Snap9
Nov 052018
 

这个其实是Openshift的应用商店,也有人理解成服务目录,基本都是相似的东西。

默认红帽装的应用,默认是从docker hub下载镜像,同时还是设置你的存储才能使用。

目前默认是采用Openshift的模板,或imagestream的应用,

oc get templates -n openshift

oc get is -n openshift
把默认的模板,镜像流删掉。
切换到Openshift 项目
oc project openshift
查看
oc get is  | awk '{print $1}' | grep -v NAME
oc get template  | awk '{print $1}' | grep -v NAME
直接运行删除命令就可以
oc delete is $(oc get is  | awk '{print $1}' | grep -v NAME)
oc delete template $(oc get template  | awk '{print $1}' | grep -v NAME)
导入jenkins的image stream
导入jenkins的template
oc create -f https://raw.githubusercontent.com/openshift/origin/master/examples/jenkins/jenkins-persistent-template.json

命令行下参加project

oc login
oc new-project cicd
oc new-app jenkins-persistent

参考地址

https://github.com/openshift/origin/tree/master/examples/jenkins