Docker+Jenkins+GitLab自动化部署流水线实战-代码聚汇网

Docker+Jenkins+GitLab自动化部署流水线实战

斯迈尔齿科

1. 项目概述与核心价值

在当前的Java项目开发中，频繁的代码提交和版本迭代对部署效率提出了更高要求。传统的手动打包部署方式不仅耗时耗力，还容易因人为操作导致环境差异。本文将详细介绍如何基于Docker+Jenkins+GitLab搭建一套完整的自动化部署流水线，实现从代码提交到生产环境部署的全流程自动化。

这套方案的核心优势在于：

分支灵活性：支持自定义分支触发构建，适合多版本并行开发场景
环境一致性：通过Docker容器固化运行环境，彻底解决"在我机器上是好的"问题
部署效率：从代码提交到服务上线全程无需人工干预，部署时间从小时级缩短到分钟级
可追溯性：每个部署版本都有完整的构建记录和镜像版本对应关系

2. 环境准备与工具安装

2.1 基础环境规划

建议使用Linux服务器作为基础环境（本文以Ubuntu 22.04为例），硬件配置建议：

CPU：4核以上
内存：8GB以上
磁盘：50GB以上可用空间

提示：生产环境建议将各组件部署在不同服务器上，本文为演示方便全部安装在同一台机器

2.2 Docker安装与配置

Docker作为容器化基础，需要优先安装：

bash复制# 卸载旧版本
sudo apt-get remove docker docker-engine docker.io containerd runc

# 安装依赖
sudo apt-get update
sudo apt-get install \
    ca-certificates \
    curl \
    gnupg \
    lsb-release

# 添加Docker官方GPG密钥
sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

# 设置稳定版仓库
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# 安装Docker引擎
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin

# 验证安装
sudo docker run hello-world

关键配置点：

配置国内镜像加速（在/etc/docker/daemon.json）：

json复制{
  "registry-mirrors": ["https://registry.docker-cn.com"]
}

设置Docker开机自启：

bash复制sudo systemctl enable docker

2.3 GitLab安装与配置

使用Docker快速部署GitLab：

bash复制# 创建数据目录
sudo mkdir -p /srv/gitlab/{config,data,logs}

# 启动GitLab容器
sudo docker run --detach \
  --hostname gitlab.example.com \
  --publish 443:443 --publish 80:80 --publish 22:22 \
  --name gitlab \
  --restart always \
  --volume /srv/gitlab/config:/etc/gitlab \
  --volume /srv/gitlab/logs:/var/log/gitlab \
  --volume /srv/gitlab/data:/var/opt/gitlab \
  gitlab/gitlab-ce:latest

首次访问需要设置root密码（访问http://服务器IP），重要配置：

关闭用户注册（Admin Area → Settings → Sign-up restrictions）
配置SMTP邮件服务（/srv/gitlab/config/gitlab.rb）
创建项目组和用户权限体系

2.4 Docker私有仓库部署

企业内部需要私有镜像仓库：

bash复制# 创建存储目录
mkdir -p /data/docker-registry

# 启动Registry容器
docker run -d \
  -p 5000:5000 \
  --restart=always \
  --name registry \
  -v /data/docker-registry:/var/lib/registry \
  registry:2

关键配置：

允许非安全连接（开发环境）：

bash复制# 在/etc/docker/daemon.json添加
{
  "insecure-registries": ["your-server-ip:5000"]
}

重启Docker生效：

bash复制sudo systemctl restart docker

2.5 Jenkins安装与初始化

使用Docker部署Jenkins：

bash复制# 创建数据卷
docker volume create jenkins-data

# 启动Jenkins容器
docker run -d \
  --name jenkins \
  -p 8080:8080 -p 50000:50000 \
  -v jenkins-data:/var/jenkins_home \
  -v /var/run/docker.sock:/var/run/docker.sock \
  jenkins/jenkins:lts-jdk17

初始化步骤：

访问http://服务器IP:8080获取初始密码：

bash复制docker logs jenkins

安装推荐插件（包括Git、Maven等）
创建管理员账户
配置系统全局工具（JDK、Git、Maven路径）

3. Jenkins核心配置详解

3.1 必备插件安装

通过Jenkins → Manage Jenkins → Plugins安装：

Maven Integration：Maven项目支持
Build With Parameters：参数化构建
Post Build Task：构建后任务处理
Publish Over SSH：通过SSH部署
GitLab Plugin：GitLab集成
Docker Pipeline：Docker支持

注意：安装后需要重启Jenkins生效

3.2 全局工具配置

进入Manage Jenkins → Global Tool Configuration：

JDK配置：
- 别名：jdk17
- 安装目录：/usr/local/openjdk-17（容器内路径）
Git配置：
- 名称：Default
- 路径：/usr/bin/git
Maven配置：
- 名称：maven-3.8.6
- 安装自动版本：3.8.6

验证配置：

bash复制# 进入Jenkins容器验证
docker exec -it jenkins bash
java -version
git --version
mvn -v

3.3 凭据管理系统

3.3.1 GitLab SSH密钥

在Jenkins容器内生成密钥：

bash复制docker exec -it jenkins bash
ssh-keygen -t rsa -b 4096 -C "jenkins@example.com"
cat /var/jenkins_home/.ssh/id_rsa.pub

将公钥添加到GitLab（User Settings → SSH Keys）
在Jenkins中添加私钥凭据：
- 类型：SSH Username with private key
- 用户名：git
- 私钥：从Jenkins容器/var/jenkins_home/.ssh/id_rsa获取

3.3.2 GitLab API令牌

在GitLab创建Access Token（User Settings → Access Tokens）
- 权限：api, read_repository, write_repository
在Jenkins中添加凭据：
- 类型：Username with password
- 用户名：你的GitLab用户名
- 密码：生成的token

4. 自动化部署流水线搭建

4.1 创建Maven项目

新建Item → 选择"Maven项目"
基础配置：
- 项目名称：hello-demo-pipeline
- 描述：Java项目自动化部署示例
参数化构建：
- 添加Choice Parameter：BRANCH（选项：master, dev, test）
- 添加String Parameter：IMAGE_TAG（默认：latest）

4.2 源码管理配置

选择Git：
- Repository URL：git@gitlab.example.com:your-group/hello-demo.git
- Credentials：选择之前配置的SSH密钥
- Branches to build：*/$BRANCH
构建触发器：
- 轮询SCM：H/5 * * * *（每5分钟检查一次）
- 或配置GitLab Webhook（推荐）

4.3 Build配置

Root POM：pom.xml
Goals and options：clean package -DskipTests
高级 → Settings file：选择全局settings.xml

4.4 Post Steps配置

添加Post-build step → Send files or execute commands over SSH
SSH Server配置：
- Name：prod-server
- Hostname：192.168.1.100
- Username：deploy
- Remote Directory：/data/apps/hello-demo
Transfers：
- Source files：target/*.jar
- Remove prefix：target
- Exec command：/data/apps/hello-demo/deploy.sh $IMAGE_TAG

5. 部署脚本深度解析

5.1 Dockerfile最佳实践

dockerfile复制# 使用官方镜像作为基础
FROM eclipse-temurin:17-jre-jammy

# 设置工作目录
WORKDIR /app

# 复制构建好的jar包
COPY target/HelloWorldDemo-*.jar app.jar

# 暴露端口
EXPOSE 8080

# 时区配置
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

# 启动命令
ENTRYPOINT ["java", "-jar", "app.jar"]

关键优化点：

使用轻量级JRE镜像而非JDK
固定jar包名称避免版本变更影响
显式设置时区避免容器时间问题

5.2 部署脚本完整实现

bash复制#!/bin/bash
# deploy.sh - 自动化部署脚本
# 参数: $1 - 镜像标签

set -e  # 遇到错误立即退出

IMAGE_NAME="hello-demo"
REGISTRY="your-registry:5000"
DEPLOY_DIR=$(dirname "$0")

echo "====== 部署参数 ======"
echo "镜像标签: $1"
echo "工作目录: $DEPLOY_DIR"
echo "私有仓库: $REGISTRY"

# 清理旧容器和镜像
echo "====== 清理环境 ======"
docker stop $IMAGE_NAME || true
docker rm $IMAGE_NAME || true
docker rmi $REGISTRY/$IMAGE_NAME:$1 || true
docker rmi $IMAGE_NAME:$1 || true

# 构建新镜像
echo "====== 构建镜像 ======"
docker build -t $IMAGE_NAME:$1 $DEPLOY_DIR

# 推送到私有仓库
echo "====== 推送镜像 ======"
docker tag $IMAGE_NAME:$1 $REGISTRY/$IMAGE_NAME:$1
docker push $REGISTRY/$IMAGE_NAME:$1

# 拉取最新镜像（确保使用仓库中的版本）
echo "====== 拉取镜像 ======"
docker pull $REGISTRY/$IMAGE_NAME:$1

# 运行容器
echo "====== 启动服务 ======"
docker run -d \
  --name $IMAGE_NAME \
  --restart always \
  -p 8080:8080 \
  -v /etc/localtime:/etc/localtime:ro \
  -v /data/logs/$IMAGE_NAME:/app/logs \
  $REGISTRY/$IMAGE_NAME:$1

echo "====== 部署完成 ======"
docker ps -f name=$IMAGE_NAME

脚本增强功能：

完善的错误处理机制（set -e）
详细的日志输出
自动清理残留资源
日志目录挂载
容器时间同步

6. 高级配置与优化

6.1 GitLab Webhook集成

在GitLab项目设置中：
- 进入Settings → Webhooks
- URL：http://jenkins-ip:8080/project/hello-demo-pipeline
- Secret Token：设置复杂令牌
- 触发事件：Push events, Merge request events
Jenkins配置：
- 安装GitLab插件
- Manage Jenkins → Configure System → GitLab配置：
  - Connection Name：gitlab
  - Host URL：http://gitlab-ip
  - Credentials：添加API令牌
- 项目配置 → Build Triggers：
  - 勾选"Build when a change is pushed to GitLab"

6.2 构建缓存优化

Maven本地仓库缓存：

bash复制# 在Jenkins全局配置中
MAVEN_OPTS="-Dmaven.repo.local=/var/jenkins_home/.m2/repository"

Docker构建缓存：

dockerfile复制# 分阶段构建优化
FROM maven:3.8.6-jdk-11 AS build
WORKDIR /app
COPY pom.xml .
RUN mvn dependency:go-offline
COPY src ./src
RUN mvn package

FROM eclipse-temurin:17-jre-jammy
COPY --from=build /app/target/*.jar app.jar
ENTRYPOINT ["java","-jar","app.jar"]

6.3 多环境部署策略

参数化构建扩展：
- 添加Choice Parameter：ENV（选项：dev, test, prod）
- 根据ENV变量动态选择：
  - 部署服务器
  - 镜像标签策略
  - 资源配置参数
环境差异化配置：

bash复制case $ENV in
  prod)
    JAVA_OPTS="-Xms2g -Xmx2g"
    ;;
  test)
    JAVA_OPTS="-Xms1g -Xmx1g"
    ;;
  *)
    JAVA_OPTS="-Xms512m -Xmx512m"
    ;;
esac

7. 常见问题排查指南

7.1 构建阶段问题

问题1：Maven依赖下载失败

现象：构建时卡在依赖下载
解决方案：
1. 检查网络连通性
2. 配置国内镜像源（settings.xml）
3. 清理本地仓库后重试

问题2：Git克隆超时

现象：源码拉取失败

排查：

bash复制docker exec -it jenkins bash
ssh -T git@gitlab.example.com

解决：检查SSH密钥配置和网络策略

7.2 部署阶段问题

问题1：SSH连接失败

现象：文件传输或命令执行失败
排查步骤：
1. 测试SSH连通性
2. 检查Jenkins服务器known_hosts
3. 验证私钥权限（需为600）

问题2：Docker权限不足

现象：构建时提示权限被拒绝

解决：

bash复制# 将jenkins用户加入docker组
sudo usermod -aG docker jenkins
# 重启Jenkins服务
sudo systemctl restart jenkins

7.3 运行时问题

问题1：容器启动后立即退出

排查：

bash复制docker logs 容器ID
docker inspect 容器ID

常见原因：
1. 端口冲突
2. 挂载目录不存在
3. 启动命令错误

问题2：服务不可用但容器运行中

诊断步骤：

检查容器内进程：

bash复制docker exec -it 容器ID ps aux

查看应用日志：

bash复制docker logs --tail 100 容器ID

网络连通性测试：

bash复制docker exec -it 容器ID curl localhost:8080/health

8. 监控与维护方案

8.1 构建监控

安装Monitoring插件：
- Build Monitor View
- Pipeline: GitHub
关键监控指标：
- 构建成功率
- 构建持续时间
- 构建排队时间

8.2 资源清理策略

旧构建清理（Jenkins配置）：
- 保持构建的最大个数：10
- 丢弃旧的构建：勾选
Docker资源清理：

bash复制# 定期清理脚本
docker system prune -f --filter "until=72h"
docker volume prune -f

8.3 日志收集方案

ELK集成：
- Filebeat收集容器日志
- 发送到Elasticsearch
- Kibana可视化
简易方案：

bash复制# 日志轮转配置
docker run --log-driver json-file \
  --log-opt max-size=10m \
  --log-opt max-file=3

9. 安全加固建议

9.1 Jenkins安全

启用RBAC：
- 安装Role-based Authorization Strategy插件
- 配置项目级权限
安全配置：
- 关闭JNLP端口
- 启用CSRF防护
- 定期更新插件

9.2 Docker安全

容器运行时：
- 避免使用root用户
- 只读文件系统：
```
dockerfile复制USER 1000
RUN chown -R 1000 /app
```

镜像扫描：

使用Trivy扫描漏洞

bash复制docker run --rm aquasec/trivy image your-image:tag

9.3 GitLab安全

分支保护：
- 设置protected branches
- 启用code owner审核
访问控制：
- 配置IP白名单
- 启用2FA认证

10. 扩展与演进方向

10.1 进阶CI/CD功能

质量门禁：
- 集成SonarQube代码扫描
- 单元测试覆盖率要求
多阶段流水线：
- 开发 → 测试 → 预发 → 生产
- 人工审批环节

10.2 Kubernetes集成

部署架构升级：
- Jenkins构建镜像
- Helm打包应用
- ArgoCD负责部署
部署脚本改造：

bash复制# 替换docker命令为kubectl
kubectl apply -f deployment.yaml

10.3 基础设施即代码

环境标准化：
- Terraform管理基础设施
- Ansible配置中间件
完整声明式：

yaml复制# Jenkinsfile示例
pipeline {
  agent any
  stages {
    stage('Build') {
      steps {
        sh 'mvn clean package'
      }
    }
  }
}