自建 Gitlab 代码仓库

本文介绍如何在腾讯云容器服务上部署 Gitlab 代码仓库。

前提条件

已安装 Helm。
已开启集群访问并配置好 kubeconfig，可以通过 kubectl 操作集群(参考官方文档:连接集群)。

准备 chart

Gitlab 官方提供了 helm chart，可以下载下来:

helm repo add gitlab https://charts.gitlab.io/
helm fetch gitlab/gitlab --untar
helm fetch gitlab/gitlab-runner --untar

参考 Gitlab 官方文档: Deployment Guide

不过要愉快的部署到腾讯云容器服务，要修改的配置项较多:

如果存储使用默认的云硬盘(cbs)，容量必须是 10Gi 的倍数，官方 chart 有一些 8Gi 的定义，会导致 pvc 一直 pending，pod 也一致 pending，需要修改一下配置。
gitlab 相关组件的容器镜像地址使用的是 gitlab 官方的镜像仓库，在国内拉取可能会失败，需要同步到国内并修改镜像地址。
很多组件和功能可能用不到，建议是最小化安装，不需要的通通禁用，如 nginx-ingress, cert-manager, prometheus 等。
服务暴露方式和 TLS 证书管理，不同平台差异比较大，建议是单独管理，helm 安装时只安装应用本身，ingress 和 tls 相关配置禁用掉。

修改这些配置比较繁琐，我已经维护了一份 Gitlab 适配腾讯云容器服务的 chart 包，相关 gitlab 镜像也做了同步，可以实现一键安装。可以通过 git 拉下来:

git clone https://github.com/tke-apps/gitlab.git
cd gitlab

StorageClass 注意事项

像 gitaly, minio 这些组件，是需要挂载持久化存储的，在腾讯云容器服务，默认使用的是云硬盘(CBS)，块存储，通常也建议使用这种，不过在使用之前，建议确保默认 StorageClass 支持磁盘容量在线扩容，这个特性需要确保集群版本在 1.18 以上，且安装了 CBS CSI 插件(Out-of-Tree)，新版本集群默认会安装。

然后找到默认 StorageClass，通常名为 "cbs":

编辑 yaml:

先确保以下两点，如果不满足，可以删除重建:

默认 StorageClass 的 is-default-class 注解为 true。
provisioner 是 com.tencent.cloud.csi.cbs。

如果满足，添加字段 allowVolumeExpansion: true 并保存。

另外，也可以通过 kubectl 修改，先查询 default StorageClass:

然后使用 kubectl edit sc <NAME> 进行修改。

部署 Gitlab

准备配置

创建 gitlab.yaml 配置，分享一下我的配置:

redis:
  install: true
  master:
    nodeSelector: 
      node.kubernetes.io/instance-type: eklet
    persistence:
      enabled: false
postgresql:
  install: false
minio:
  persistence:
    enabled: true
    volumeName: gitlab-minio
    accessMode: ReadWriteMany
    size: '100Gi'
gitlab:
  gitaly:
    persistence:
      enabled: true
      volumeName: 'gitlab-gitaly'
      accessMode: ReadWriteMany
      size: 100Gi
global:
  hosts:
    domain: imroc.cc
    https: true
    gitlab:
      name: gitlab.imroc.cc
      https: true
  nodeSelector: 
    node.kubernetes.io/instance-type: eklet
  psql:
    password:
      useSecret: true
      secret: gitlab-psql-password-secret
      key: password
    host: 'pgsql-postgresql.db'
    port: 5432
    username: gitlab
    database: gitlab

redis 作为缓存，不想持久化数据，降低成本。
postgresql 使用现有的数据库，不安装，配置上数据库连接信息(数据库密码通过secret存储，提前创建好)。
minio 和 gitaly 挂载的存储，使用了 NFS，提前创建好 pv，在 persistence 配置里指定 volumeName 来绑定 pv。
我的集群是标准集群，有普通节点和超级节点，我希望 gitlab 所有组件都调度到超级节点，global 和 redis 与 minio 里指定 nodeSelector，强制调度到超级节点。
服务暴露方式我用的 istio-ingressgateway，证书也配到 gateway 上的，对外访问方式是 https，在 global.hosts 下配置对外访问域名，https 置为 true(用于页面内的连接跳转，避免https页面跳到http链接)。

gitlab-psql-password-secret.yaml(存 postgresql 密码的 secret):

apiVersion: v1
kind: Secret
metadata:
  name: gitlab-psql-password-secret
  namespace: gitlab
type: Opaque
stringData:
  password: '123456'

gitaly 和 minio 挂载的存储我使用 NFS，提前创建好 CFS 实例和相应的文件夹路径，并 chmod 0777 <DIR> 修改目录权限，避免因权限问题导致 pod 启动失败。以下分别是它们的 pv yaml 定义:

minio-nfs-pv.yaml:

apiVersion: v1
kind: PersistentVolume
metadata:
  name: gitlab-minio
spec:
  accessModes:
  - ReadWriteMany
  capacity:
    storage: 100Gi
  nfs:
    path: /gitlab/minio
    server: 10.10.0.15
  persistentVolumeReclaimPolicy: Retain
  volumeMode: Filesystem
  storageClassName: 'cbs'

gitaly-nfs-pv.yaml:

apiVersion: v1
kind: PersistentVolume
metadata:
  name: gitlab-gitaly
spec:
  accessModes:
  - ReadWriteMany
  capacity:
    storage: 100Gi
  nfs:
    path: /gitlab/gitaly
    server: 10.10.0.15
  persistentVolumeReclaimPolicy: Retain
  volumeMode: Filesystem
  storageClassName: 'cbs'

storageClassName 我使用默认的 StorageClass 名称，因为部署配置里没指定 storageClass 会自动给 pvc 加上默认的，如果 pv 跟 pvc 的 storageClassName 不匹配，会导致调度失败。

上述 pv 和 secret 是 gitlab 应用依赖的，需要在部署 gitlab 之前先 apply 到集群:

kubectl apply -f gitlab-psql-password-secret.yaml
kubectl apply -f minio-nfs-pv.yaml
kubectl apply -f gitaly-nfs-pv.yaml

安装 gitlab

使用 helm 安装:

helm upgrade -n gitlab --install gitlab -f gitlab.yaml ./gitlab

检查 gitlab 组件是否正常运行:

$ kubectl -n gitlab get pod
NAME                                          READY   STATUS      RESTARTS   AGE
gitlab-gitaly-0                               1/1     Running     0          8m
gitlab-gitlab-exporter-7bc89d678-d4c7h        1/1     Running     0          8m
gitlab-gitlab-shell-77d99c8b45-kbfmd          1/1     Running     0          8m
gitlab-kas-549b4cf77c-thjrv                   1/1     Running     0          8m
gitlab-migrations-1-2pnx7                     0/1     Completed   0          8m
gitlab-minio-7b57f77ccb-g9mqb                 1/1     Running     0          8m
gitlab-minio-create-buckets-1-hvz9g           0/1     Completed   0          6m
gitlab-redis-master-0                         2/2     Running     0          6m
gitlab-sidekiq-all-in-1-v2-5f8c64987f-jhtv9   1/1     Running     0          8m
gitlab-toolbox-66bbb6d4dc-qff92               1/1     Running     0          8m
gitlab-webservice-default-868fbf9fbc-9cb8g    2/2     Running     0          8m

后续想卸载可使用这个命令: helm -n gitlab uninstall gitlab

暴露 Gitlab 服务

查看 service:

$ kubectl -n gitlab get service
NAME                        TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                               AGE
gitlab-gitaly               ClusterIP   None             <none>        8075/TCP,9236/TCP                     8m
gitlab-gitlab-exporter      ClusterIP   172.16.189.22    <none>        9168/TCP                              8m
gitlab-gitlab-shell         ClusterIP   172.16.251.106   <none>        22/TCP                                8m
gitlab-kas                  ClusterIP   172.16.245.70    <none>        8150/TCP,8153/TCP,8154/TCP,8151/TCP   8m
gitlab-minio-svc            ClusterIP   172.16.187.127   <none>        9000/TCP                              8m
gitlab-redis-headless       ClusterIP   None             <none>        6379/TCP                              8m
gitlab-redis-master         ClusterIP   172.16.156.40    <none>        6379/TCP                              8m
gitlab-redis-metrics        ClusterIP   172.16.196.188   <none>        9121/TCP                              8m
gitlab-webservice-default   ClusterIP   172.16.143.4     <none>        8080/TCP,8181/TCP,8083/TCP            8m

其中带 webservice 的 service 是 Gitlab 访问总入口，需要特别注意的是，端口是 8181，不是 8080 那个。

我使用 istio-ingressgateway，Gateway 本身已提前监听好 443 并挂好证书:

kubectl -n external get gw imroc -o yaml

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: imroc
  namespace: external
spec:
  selector:
    app: istio-ingressgateway
    istio: ingressgateway
  servers:
  - port:
      number: 443
      name: HTTPS-443-pp0c
      protocol: HTTPS
    hosts:
    - imroc.cc
    - "*.imroc.cc"
    tls:
      mode: SIMPLE
      credentialName: imroc-cc-crt-secret

只需创建一个 VirtualService，将 gitlab 服务与 Gateway 绑定，暴露出去。

gitlab-vs.yaml:

apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
  name: gitlab-imroc-cc
  namespace: gitlab
spec:
  gateways:
  - external/imroc
  hosts:
  - 'gitlab.imroc.cc'
  http:
  - route:
    - destination:
        host: gitlab-webservice-default
        port:
          number: 8181 # 注意这里端口是 8181，不是 8080

执行创建:

kubectl apply -f gitlab-vs.yaml

除了暴露 https，如果需要通过 ssh 协议来 push 或 pull 代码，需要暴露 22 端口，使用单独的 Gateway 对象来暴露(绑定同一个 ingressgateway)，shell-gw.yaml:

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: shell
  namespace: external
spec:
  selector:
    app: istio-ingressgateway
    istio: ingressgateway
  servers:
  - port:
      number: 22
      name: shell
      protocol: TCP
    hosts:
    - "*"

创建 Gateway:

kubectl apply -f shell-gw.yaml

为 22 端口创建 VirtualService 并绑定 Gateway，gitlab-shell-vs.yaml:

apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
  name: gitlab-shell
  namespace: gitlab
spec:
  gateways:
  - external/shell
  hosts:
  - '*'
  tcp:
  - match:
    - port: 22
    route:
    - destination:
        host: gitlab-gitlab-shell
        port:
          number: 22

创建 VirutalService:

kubectl apply -f gitlab-shell-vs.yaml

获取 root 初始密码并登录

服务暴露出来之后，确保 DNS 也正确配置，解析到网关的 IP，我这里则是 istio-ingressgateway 对应的 CLB 的外网 IP。

在浏览器中打开 gitlab 外部地址:

自动跳转到登录页面，管理员用户名为 root，密码可通过自动生成的 secret 获取:

$ kubectl -n gitlab get secret | grep initial-root-password
gitlab-gitlab-initial-root-password   Opaque                                1      38m
$ kubectl -n gitlab get secret gitlab-gitlab-initial-root-password -o jsonpath='{.data.password}' | base64 -d
kxe***********************************************************k5

拿到密码后输入然后登录即可。

部署并注册 gitlab-runner

Gitlab 有很强大的 CI 功能，我们可以在集群中也部署一下 gitlab-runner，如果为代码仓库设置了 CI 流程，可以自动将任务分发给 gitlab-runner 去执行 CI 任务，每个任务再创建单独的 Pod 去运行:

下面介绍 gitlab-runner 的部署与注册方法。

获取注册 token

在【Admin】-【Overview】-【Runners】复制注册 token:

也可以通过 kubectl 获取 secret 得到 token:

$ kubectl -n gitlab get secret gitlab-gitlab-runner-secret -o jsonpath='{.data.runner-registration-token}' | base64 -d
AF************************************************************kF

准备配置

gitlab-runner.yaml:

runnerRegistrationToken: AF************************************************************kF
gitlabUrl: 'https://gitlab.imroc.cc'
runners:
  locked: false
  config: |
    [[runners]]
      environment = ["FF_USE_LEGACY_KUBERNETES_EXECUTION_STRATEGY=1"]
      [runners.kubernetes]
      image = "ubuntu:20.04"

注意:

runnerRegistrationToken 替换为上一步获取到的 token。
gitlabUrl 替换为 gitlab 访问地址。
超级节点(EKS)的 Pod，不支持 attach，如果 runner 调度到超级节点(EKS) 就会有问题，打开 runer FF_USE_LEGACY_KUBERNETES_EXECUTION_STRATEGY 的 feature flag 来换成 exec 方式。

安装 gitlab-runner

使用 helm 安装:

helm upgrade -n gitlab --install gitlab-runner -f gitlab-runner.yaml ./gitlab-runner

检查 runner 是否正常运行:

$ kubectl -n gitlab get pod | grep runner
gitlab-runner-6fb794bb6b-s6n5h                1/1     Running     0          2m17s

后续想卸载可使用这个命令: helm -n gitlab uninstall gitlab-runner

检查是否注册成功

进入 Gitlab 【Admin】-【Overview】-【Runners】页面检查 runner 是否注册成功:

附录

测试场景

如果只是测试下 Gitlab，不长期使用，在不需要的时候可以把所有副本缩为 0 以节约成本:

kubectl get deployments.v1.apps | grep -v NAME | awk '{print $1}' | xargs -I {} kubectl scale deployments.v1.apps/{} --replicas=0
kubectl get sts | grep -v NAME | awk '{print $1}' | xargs -I {} kubectl scale sts/{} --replicas=0

在需要用的时候置为 1:

kubectl get deployments.v1.apps | grep -v NAME | awk '{print $1}' | xargs -I {} kubectl scale deployments.v1.apps/{} --replicas=1
kubectl get sts | grep -v NAME | awk '{print $1}' | xargs -I {} kubectl scale sts/{} --replicas=1

如果使用了 https://github.com/tke-apps/gitlab 这个仓库，可以直接用以下命令缩0:

make scale0

扩到1:

make scale1

前提条件​

准备 chart​

StorageClass 注意事项​

部署 Gitlab​

准备配置​

安装 gitlab​

暴露 Gitlab 服务​

获取 root 初始密码并登录​

部署并注册 gitlab-runner​

获取注册 token​

准备配置​

安装 gitlab-runner​

检查是否注册成功​

附录​

测试场景​

前提条件

准备 chart

StorageClass 注意事项

部署 Gitlab

准备配置

安装 gitlab

暴露 Gitlab 服务

获取 root 初始密码并登录

部署并注册 gitlab-runner

获取注册 token

准备配置

安装 gitlab-runner

检查是否注册成功

附录

测试场景