使用内部的镜像仓库来安装k8s或者kubesphere，速度都是非常爽了。那么如何搞一个离线镜像仓库，专门用来安装k8s和kubesphere呢？

最新的版本kubekey，提供了离线安装的功能，镜像仓库，自己签发ssl证书，这种方式，还是不太方便，使用的时候。我的设想是

• 利用DNSPod 搞到证书，搭建一个docker 原厂的Registry的服务器
• 使用kubesphere提供的阿里云镜像列表，通过skopeo来实现镜像的直接复制到私有的仓库

目前kubesphere的镜像仓库有两个，一个是在docker hub，一个是在阿里云 hub。在国内就使用阿里云hub。需要注意的是，如果使用国内的阿里云hub，那么namespace是：kubesphereio，那么你需要在kubekey上设置一下override才行。

主要参考的是木子的文章：https://blog.k8s.li/skopeo.html

image list，我已经整理了一份，安装k8s 1.21.5+kubesphere 3.2.1 的镜像列表，放在github上。

sync.sh 文件内容。

#!/bin/bash
GREEN_COL="\\033[32;1m"
RED_COL="\\033[1;31m"
NORMAL_COL="\\033[0;39m"
SOURCE_REGISTRY=$1
TARGET_REGISTRY=$2
: ${IMAGES_LIST_FILE:="images-list.txt"}
: ${TARGET_REGISTRY:="hub.chenshake.site"}
: ${SOURCE_REGISTRY:="registry.cn-beijing.aliyuncs.com"}

BLOBS_PATH="docker/registry/v2/blobs/sha256"
REPO_PATH="docker/registry/v2/repositories"
set -eo pipefail

CURRENT_NUM=0
ALL_IMAGES="$(sed -n '/#/d;s/:/:/p' ${IMAGES_LIST_FILE} | sort -u)"
TOTAL_NUMS=$(echo "${ALL_IMAGES}" | wc -l)

skopeo_copy() {
 if skopeo copy --insecure-policy --src-tls-verify=false --dest-tls-verify=false \
 --override-arch amd64 --override-os linux -q docker://$1 docker://$2; then
 echo -e "$GREEN_COL Progress: ${CURRENT_NUM}/${TOTAL_NUMS} sync $1 to $2 successful $NORMAL_COL"
 else
 echo -e "$RED_COL Progress: ${CURRENT_NUM}/${TOTAL_NUMS} sync $1 to $2 failed $NORMAL_COL"
 exit 2
 fi
}

for image in ${ALL_IMAGES}; do
 let CURRENT_NUM=${CURRENT_NUM}+1
 skopeo_copy ${SOURCE_REGISTRY}/${image} ${TARGET_REGISTRY}/${image}
done

镜像列表

• https://github.com/shake/shell/blob/main/images-list.txt
• http://www.chenshake.com/to-compile-the-skopeo/

skopeo，这个工具，其实是参考木子文章，我自己编译。

curl  https://hub.chenshake.site:443/v2/_catalog | python -m json.tool
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   365  100   365    0     0   2876      0 --:--:-- --:--:-- --:--:--  2896
{
    "repositories": [
        "busybox",
        "kubesphereio/alertmanager",
        "kubesphereio/alpine",
        "kubesphereio/builder-base",
        "kubesphereio/builder-go",
        "kubesphereio/builder-maven",
        "kubesphereio/builder-nodejs",
        "kubesphereio/examples-bookinfo-productpage-v1",
        "kubesphereio/kube-apiserver",
        "kubesphereio/kube-controller-manager",
        "kubesphereio/kube-proxy",
        "kubesphereio/kube-scheduler"
    ]
}

自己的镜像仓库的镜像列表。镜像的存储，我是放在 /mnt

cd /mnt/registry/
find docker -type d -name "current" | sed 's|docker/registry/v2/repositories/||g;s|/_manifests/tags/|:|g;s|/current||g' > images.list

#查看镜像列表
# cat images.list 
kubesphereio/thanos:v0.18.0
kubesphereio/kube-events-ruler:v0.3.0
kubesphereio/python-36-centos7:v3.2.0
kubesphereio/prometheus-config-reloader:v0.43.2

busybox:latest

其实用了k8s很久，但是很多概念的理解，有时候真的需要动手，才能真正理解。

官方文档提供的nginx的deployment模版，我修改一下，采用alpine镜像，副本的数量为1

nginx.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
  namespace: default
  labels:
    app: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:alpine
        ports:
        - containerPort: 80

有几个地方需要留意

• deployment 名字是 nginx-deployment, 后续你可以用 kubectl get svc 看到
• labels, 标签是：nginx，
• namespace 如果不指定，就是使用default，我这里专门加入，便于理解。
• 部署pod的数量是1
• nginx的alpine镜像，小很多，方便试验。

kubectl apply -f nginx.yaml 
kubectl get pod
kubectl get deployment
kubectl get svc
kubectl expose deployment nginx-deployment --type=NodePort --name=hello
kubectl get svc
kubectl describe svc hello

这里面其实就是记录一下做一个指定版本的镜像，所需要做的东西。假设DIB和virt已经装好。下面就是一个实际的操作过程。可以参考我上一篇文章。国内目前好像就中科大提供镜像下载。我这里下载的是7.6

https://mirrors.ustc.edu.cn/centos-cloud/centos/7/images/

我习惯就是

mkdir cloud-images
cd cloud-images
curl -O https://mirrors.ustc.edu.cn/centos-cloud/centos/7/images/CentOS-7-x86_64-GenericCloud-1905.qcow2

安装DIB和Virt

yum install centos-release-openstack-train -y
yum install diskimage-builder -y
yum install libguestfs-tools-c libguestfs-tools libguestfs -y

设置环境变量, 如何你希望再build一个centos 7.9 镜像，那么你只需要把 avoid pacage update 这个去掉就可以。

export LIBGUESTFS_BACKEND=direct
export DIB_LOCAL_IMAGE="/root/cloud-images/CentOS-7-x86_64-GenericCloud-1905.qcow2" 
export DIB_RELEASE=7
export DIB_CLOUD_INIT_ALLOW_SSH_PWAUTH="yes"
export DIB_AVOID_PACKAGES_UPDATE=1
export image_name='CentOS-7.6-x86.qcow2'

设置好环境变量，后续就简单了。

openstack平台

DIB_CLOUD_INIT_DATASOURCES="ConfigDrive, OpenStack"  disk-image-create -a amd64 -o $image_name  -x --image-size 40 vm base centos disable-selinux cloud-init cloud-init-datasources dhcp-all-interfaces growroot epel

Zstack

disk-image-create -a amd64 -o  $image_name -x --image-size 40 vm base centos disable-selinux cloud-init dhcp-all-interfaces epel

这样也就几分钟就可以创建出镜像。

# 设置时区

virt-customize -a $image_name --timezone "Asia/Shanghai" 

#安装工具

virt-customize -a $image_name --install epel-release

virt-customize -a $image_name --install net-tools,wget,vim,unzip,qemu-guest-agent,jq,bash-completion

virt-customize -a $image_name --install net-tools,wget,vim,unzip,qemu-guest-agent,jq,bash-completion,yum-utils,device-mapper-persistent-data,lvm2,openssl,socat,conntrack,ebtables,ipset,sysstat,iotop,iftop,nload,bridge-utils,bash-completion,bind-utils,nc,binutils,iscsi-initiator-utils,kmod-xfs,xfsprogs,sg3_utils-devel.x86_64,sg3_utils-libs.x86_64,sg3_utils.x86_64,psmisc

#启动服务
virt-customize -a $image_name --run-command 'systemctl enable qemu-guest-agent' 


#SSH服务
virt-customize -a $image_name --edit '/etc/ssh/sshd_config:s/GSS/#GSS/'
virt-customize -a $image_name --edit '/etc/ssh/sshd_config:s/#UseDNS yes/UseDNS no/'

#vim
virt-customize -a $image_name --append-line '/etc/profile:alias vi=vim'
virt-customize -a $image_name --append-line '/etc/profile:alias c="clear"'
virt-customize -a $image_name --append-line '/etc/profile:unset MAILCHECK'


#查看修改
virt-cat -a $image_name /etc/ssh/sshd_config 


virt-customize -a $image_name --run-command 'yum clean all'
virt-customize -a $image_name --run-command 'yum makecache'

最后一步，安装zstack的agent

virt-customize -a $image_name --firstboot-command '/bin/bash -c "$(curl -s -S http://169.254.169.254/vm-tools.sh)"'

由于zstack的agent，使用9100端口，如果你也使用普罗米修斯来监控，也必然导致端口冲突，所以我修改端口为9104。当多个启动脚本要运行，需要设置一下他们的优先级，默认是安装字母顺序来运行，所以我把重启agent的改成02。

virt-customize -a $image_name --firstboot-command "sed -i 's/9100/9104/g' /usr/local/zstack/zwatch-vm-agent/conf.yaml

virt-customize -a $image_name --firstboot-command. "/bin/systemctl restart zwatch-vm-agent.service"

virt-customize -a $image_name --run-command 'mv /usr/lib/virt-sysprep/scripts/0001--bin-systemctl-restart-zwatch-vm-agent-service /usr/lib/virt-sysprep/scripts/0002--bin-systemctl-restart-zwatch-vm-agent-service'

查看修改后的结果

virt-ls  -a $image_name  /usr/lib/virt-sysprep/scripts

上传镜像

python -m SimpleHTTPServer 80

如果希望定制内核版本

virt-customize -a $image_name --run-command 'rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org'
virt-customize -a $image_name --run-command 'rpm -Uvh https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm'
virt-customize -a $image_name --run-command 'yum --enablerepo=elrepo-kernel install kernel-lt -y'
virt-customize -a $image_name --run-command 'grub2-set-default 0'
virt-customize -a $image_name --run-command 'grub2-mkconfig -o /boot/grub2/grub.cfg'

elrepo在国外，速度很慢。可以修改使用国内的源

sed -i 's#elrepo.org/linux#mirrors.tuna.tsinghua.edu.cn/elrepo#g' /etc/yum.repos.d/elrepo.repo
sed -i 's|^mirrorlist=|#mirrorlist=|g' /etc/yum.repos.d/elrepo.repo

安装docker

virt-customize -a $image_name --run-command 'yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo'
virt-customize -a $image_name --run-command 'yum install docker-ce-20.10.7 -y'
virt-customize -a $image_name --run-command 'systemctl enable docker'
virt-customize -a $image_name --append-line '/etc/profile:KKZONE=cn'

设置docker代理

virt-customize -a $image_name --run-command 'mkdir -p /etc/docker'
virt-customize -a $image_name --upload /etc/docker/daemon.json:/etc/docker/daemon.json 
sudo sh -c 'echo {\"registry-mirrors\": [\"https://fz1p31b1.mirror.aliyuncs.com\"]} > /etc/docker/daemon.json'