失眠网 > java+maven项目+tapd+jenkins+gitlab+sonarqube+docker实现自动化持续部署（超详细）

java+maven项目+tapd+jenkins+gitlab+sonarqube+docker实现自动化持续部署（超详细）

时间：2018-07-15 05:18:14

文章目录

前言相关介绍一、准备环境二、安装docker开放docker 2375端口三、docker安装gitlab修改gitlab.rb配置文件进入容器重启配置修改http的clone地址加上端口新建一个springboot的test项目四、docker安装jenkins五、docker安装nexus六、docker安装sonarqube建立数据库mysql创建sonarqube另外汉化创建sonarqube8.9(新版)注意 8.9跟7.4有很大的差别，比如，数据库不支持mysql，可以用postgresql八、nexus添加仓库maven私服仓库增加aliyun代理仓库maven配置相关pom.xmlmaven jar制品仓库docker镜像私服仓库新建docker-central仓库阿里云代理新建docker-repo仓库新建docker-public组九、jenkins配置相关jenkins插件下载自行下载这些插件：设置sonarqube scanner添加nexus设置ssh全局configureTool设置新建maven项目的任务gitlab设置webhook设置sonarqube关于maven项目jenkins中的环境变量设置maven参数阶段性测试接下来还要做的docker打包发布修改任务配置 maven 参数保存jar到nexus私服保存然后测试一下pom.xml版本接下来做镜像的运行及其发布nexus镜像私服增加ssh上传并执行脚本shell编写shelljenkins任务配置保存并测试测试不同版本及其代码改动结果十、关于多分支多环境多任务配置分支管理暂不使用maven的docker插件添加dockerfilejenkins任务配置中增加docker配置修改startdocker.sh不同的环境不同的ssh即可环境变量优化最终jenkins配置jenkins tool config 配置截图jenkins系统配置截图jenkins测试环境任务配置截图jenkins生产环境任务配置截图十一、关联tapd流水线关联gitlab关联jenkinsnexus sonarqube jmeter ansible拷贝对应id到jenkins的任务配置中添加jmeter tapd报告完成关联一键多任务执行修改node最大执行数最后整理账号密码关于作者

前言

中小型公司的自动化流水线相关，搭建tapd+jenkins+gitlab+sonarqube+docker+jmeter+ansible这一套流水线的东西。期望的样子就是，从代码提交到测试、扫描、构建、部署等一系列操作都是自动化的，

一、准备

环境

先安装一个linux虚拟机吧，并且设置为静态的ip地址10.10.0.44。具体步骤可以参考另一篇

virtualbox安装centos7

二、安装docker

安装源工具

sudo yum install -y yum-utils

设置阿里云源

sudo yum-config-manager \--add-repo \/docker-ce/linux/centos/docker-ce.repo

安装

sudo yum -y install docker-ce docker-ce-cli containerd.io启动sudo systemctl start docker

修改daemon配置文件/etc/docker/daemon.json来使用阿里云加速器（地址可以自行进入阿里云官网查找阿里云镜像加速）

sudo mkdir -p /etc/dockersudo tee /etc/docker/daemon.json <<-'EOF'{"registry-mirrors": ["https://vc5a3maa."]}EOFsudo systemctl daemon-reloadsudo systemctl restart dockersudo systemctl enable docker

开放docker 2375端口

vim /usr/lib/systemd/system/docker.service

添加

-H tcp://0.0.0.0:2375

systemctl daemon-reloadsystemctl restart docker

三、docker安装gitlab

创建映射目录

mkdir -p -m 777 /home/gitlab/config 创建config目录mkdir -p -m 777 /home/gitlab/logs 创建logs目录mkdir -p -m 777 /home/gitlab/data 创建data目录

docker命令

docker run --detach \--hostname 10.10.0.44 \--publish 7001:443 --publish 7002:80 --publish 7003:22 \--name gitlab --restart always \--volume /home/gitlab/config:/etc/gitlab \--volume /home/gitlab/logs:/var/log/gitlab \--volume /home/gitlab/data:/var/opt/gitlab gitlab/gitlab-ce

端口说明

运行之后等一会儿，就可以访问10.10.0.44:7002访问gitlab的网站了，然后就要进行一些密码 url设置等

默认账号是root

修改gitlab.rb配置文件

路径是/home/gitlab/config/gitlab.rb

external_url 'http://10.10.0.44'gitlab_rails['gitlab_ssh_host'] = '10.10.0.44'gitlab_rails['gitlab_shell_ssh_port'] = 7003

进入容器重启配置

docker exec -it gitlab /bin/bash 进去gitlab容器的命令gitlab-ctl reconfigure 重置gitlab客户端的命令

然后要等待一会儿直到页面能够重新显示为止

修改http的clone地址加上端口

修改gitlab.yml文件

进入容器内部docker exec -it gitlab /bin/bash修改文件cd /opt/gitlab/embedded/service/gitlab-rails/configvim gitlab.yml

修改gitlabhost：10.10.0.44port：7002

然后在容器内执行gitlab-ctl restart（注意这里如果docker restart gitlab了，设置会被重新覆盖，也就丢失了，因为restart会重新执行gitlab-ctl reconfigure，目前没有什么好的方式，只有尽量少启动gitlab）

这下地址都是带端口的了

其他上传ssh公钥，就自行操作了

新建一个springboot的test项目

然后自己测试一下clone push等

四、docker安装jenkins

创建映射目录

mkdir -p -m 777 /home/jenkins

docker run -d --name jenkins --restart always -p 8040:8080 -p 50000:50000 -v /home/jenkins:/var/jenkins_home jenkins/jenkins:2.259

注意：这里使用的版本是2.259，如果你要使用jmeter且要使用Performance插件的话，不要用高版本的！！

这里我已经踩过坑了，高版本的会有一个问题：一旦在任务配置里面添加了Performance相关的设置，再次打开配置就会出现无法应用、保存，而且明显格式是混乱的，且不能删除掉。所以，在没有解决掉这个bug之前暂且不要使用。这里多次尝试，2.259为较高版本的可以用版本。此时的LATEST是2.275。

我们已经映射了路径

cd /home/jenkins/secrets/cat initialAdminPassword

获取到密码，然后继续，安装推荐插件，等待完成

设置用户密码即可

五、docker安装nexus

创建映射目录

mkdir -p -m 777 /home/nexus

docker run -d --name nexus --restart always --net=host --privileged -v /home/nexus:/nexus-data sonatype/nexus3

默认端口为8081

10.10.0.44:8081即可访问

因为已经映射了路径

cat /home/nexus/admin.password

然后就输入密码，重新设置密码即可

六、docker安装sonarqube

创建映射目录

mkdir -p -m 777 /home/sonarqube/confmkdir -p -m 777 /home/sonarqube/datamkdir -p -m 777 /home/sonarqube/extensionsmkdir -p -m 777 /home/sonarqube/bundled-plugins

注意这里我们要使用7.6一下的版本，不要使用最新版本，不然和jenkins不兼容

建立数据库mysql

创建映射目录

mkdir -p -m 777 /home/mysql/datamkdir -p -m 777 /home/mysql/log

新建一个f配置文件，方便以后修改

touch f

运行mysql

docker run --name mysql --restart always -p 3306:3306 -v /home/mysql/data:/var/lib/mysql -v /home/mysql/f:/etc/mysql/f -v /home/mysql/log:/var/log/mysql -e MYSQL_ROOT_PASSWORD=xiaoxi -d mysql:5.7

然后连接数据库，新建一个sonar的数据库

创建sonarqube

docker run -d --name sonarqube \--restart always \-p 9000:9000 \-v /home/sonarqube/conf:/opt/sonarqube/conf \-e SONARQUBE_JDBC_URL="jdbc:mysql://10.10.0.44:3306/sonar?useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true&useConfigs=maxPerformance&useSSL=false" \-e SONARQUBE_JDBC_USERNAME=root \-e SONARQUBE_JDBC_PASSWORD=xiaoxi \sonarqube:7.4-community

注意里面的JDBC相关的url uesrname password要改为跟数据库一致的

添加新项目

保存好token后面会用到

可以在maven项目中，使用一下命令即可实现代码的扫描

这个project key后面也会用到

另外汉化

如果需要汉化可以这样，登录之后下载汉化插件

如果你是8.7的可以直接market搜索下载，我的是7.4的只有去下载第三方的

github汉化插件下载

下载对应版本的，7.4=1.24

下载好了，之后上传到目标服务器中利用scp命令

scp C:\\Users\\Administrator\\Downloads\\sonar-l10n-zh-plugin-1.24.jar root@10.10.0.44:/home/sonarqube

scp 本地文件 roo@xxxx:/文件目录

服务器中拷贝到容器里面去（当然你也可以把插件路径/opt/sonarqube/extensions/plugins/映射出来）

docker cp /home/sonarqube/sonar-l10n-zh-plugin-1.24.jar sonarqube:/opt/sonarqube/extensions/plugins/

docker restart sonarqube

然后就可以了

创建sonarqube8.9(新版)

注意 8.9跟7.4有很大的差别，比如，数据库不支持mysql，可以用postgresql

还有就是如果你使用jenkins sonarqube的sonar-quality-gates-plugin插件，目前他自身的版本是不支持7.9以上的，这边github上有其他人进行了兼容。

github地址

可以自行clone 然后编译对应 sonar-88版本TAG的代码，生成hpi插件

docker run --name postgresql -e POSTGRES_USER=root --restart always -e POSTGRES_PASSWORD=xiaoxi -p 5432:5432 -v /data/postgresql/data:/var/lib/postgresql/data -d postgres:12.3-alpine

docker run -d --name sonarqube_new \--restart always \-p 9001:9000 \-v /data/sonarqube_new/data:/opt/sonarqube/data \-v /data/sonarqube_new/extensions:/opt/sonarqube/extensions \-v /data/sonarqube_new/bundled-plugins:/opt/sonarqube/lib/bundled-plugins \-e SONARQUBE_JDBC_URL=jdbc:postgresql://10.10.50.105:5432/sonar \-e SONARQUBE_JDBC_USERNAME=root \-e SONARQUBE_JDBC_PASSWORD=xiaoxi \sonarqube:8.9.0-community

大致命令就是这样，其他映射（这里不同）自行进行路径映射

汉化那些，同上

八、nexus添加仓库

nexus作为一个制品库的私服，也可以作为maven依赖的一个私服。

maven私服仓库

增加aliyun代理仓库

url:/nexus/content/groups/public/

修改maven-public的一个顺序位置

有了阿里云代理，从maven-public拉取依赖就可以走阿里云先拉，这样速度就会很快

另外，maven-release默认是不可以多次deploy的，为了方便，这里也可以修改配置为Allow redeploy

maven配置相关

修改maven的setting.xml文件，如果你使用Idea那么先看一下自己的使用路径及其配置

我这里是自己下载的maven，也自定义了配置文件和本地仓库的路径，修改的话就要修改对应路径的settings.xml文件（默认情况是idea的bundled的maven，settings.xml在C盘下面）

<settings xmlns="/SETTINGS/1.0.0" xmlns:xsi="/2001/XMLSchema-instance"xsi:schemaLocation="/SETTINGS/1.0.0 /xsd/settings-1.0.0.xsd"><localRepository/><interactiveMode/><offline/><servers><server><id>maven_xiaoxi</id><username>admin</username><password>xiaoxi</password></server></servers><mirrors><mirror><id>alimaven</id><name>aliyun maven</name><url>/nexus/content/groups/public/</url><mirrorOf>central</mirrorOf></mirror></mirrors><proxies/><profiles></profiles><activeProfiles/></settings>

设置server，添加nexus的登录账号密码

pom.xml

添加拉取仓库地址、插件地址和上传仓库地址

<repositories><repository><id>maven_xiaoxi</id><url>http://10.10.0.44:8081/repository/maven-public/</url><releases><enabled>true</enabled><updatePolicy>always</updatePolicy></releases><snapshots><updatePolicy>always</updatePolicy><enabled>true</enabled></snapshots></repository></repositories><pluginRepositories><pluginRepository><id>maven_xiaoxi</id><url>http://10.10.0.44:8081/repository/maven-public/</url><releases><updatePolicy>always</updatePolicy><enabled>true</enabled></releases><snapshots><updatePolicy>always</updatePolicy><enabled>true</enabled></snapshots></pluginRepository></pluginRepositories><distributionManagement><repository><id>maven_xiaoxi</id><url>http://10.10.0.44:8081/repository/maven-releases/</url></repository><snapshotRepository><id>maven_xiaoxi</id><url>http://10.10.0.44:8081/repository/maven-snapshots/</url></snapshotRepository></distributionManagement>

这样默认就会从私服拉取了，然后发布的话mvn deploy就可以发布到私服

maven jar制品仓库

此仓库，可以存打包好的jar包，可以作为制品的备份存储

老方法创建一个maven-repo仓库，类型为Mixed，Allow redeploy

docker镜像私服仓库

该仓库用于，制品docker镜像的存储及备份

docker私服镜像，我们也需要添加类似maven的central\public等

新建docker-central仓库阿里云代理

设置aliyun镜像地址，这个地址具体参考阿里云镜像加速

新建docker-repo仓库

新建一个docker(hosted)

添加一个端口8082，这样就可以使用10.10.0.44:8082来进行镜像的上传或者拉取了，这样方便管理端口

新建docker-public组

设置端口8083，增加和调整仓库顺序，这样拉取就可以走10.10.0.44:8083进行拉取，而它会优先走阿里云镜像加速器，所以拉取就会很快

设置docker的deamon.json文件

vi /etc/docker/daemon.json

添加

"insecure-registries":["10.10.0.44:8082","10.10.0.44:8083"

systemctl restart docker

重启docker即可

docker login -u admin -p xiaoxi 10.10.0.44:8082docker login -u admin -p xiaoxi 10.10.0.44:8083

docker登录之后，就可以进行相应的私服的拉取和上传操作了

九、jenkins配置相关

jenkins插件下载

自行下载这些插件：

gitlab，gitlab hook plugin ,，gitlab plugin，jquery ， sonar，Nexus Platform

sonar scanner， post build task，Publish Over SSH，Maven Integration，docker，nodejs

添加完成插件之后，要在Global Tool Configuration中设置自动安装，及其对应版本

设置sonarqube scanner

进入系统配置中

地址就是http://10.10.0.44:9000

要添加凭据

如果没有jenkins下拉的选项，就可以去其他地方添加一下，或者去设置-凭据管理

完成后选择该凭据即可

添加nexus

纠错（图中ip地址应该是10.10.0.44:8081），也相应添加凭据

Test Connection测试一下是否连接成功

设置ssh

设置一下ssh服务器，也就是你后面会部署的机子，包括一个远程目录等

全局configureTool设置

设置maven版本

设置sonarqube

新建maven项目的任务

设置git源，也需要添加gitlab的相应凭据，不再赘述

设置gitlab构建触发器，这里是使用gitlab的webhook方式

高级里面，生成token

这个token自己可以记录下来

gitlab设置webhook

默认情况会有报错，因为gitlab默认地址需要时外网地址，而我们现在在局域网内。这里可以设置一下安全选项。

保存一下，再次重新添加webhook即可

这样就好了。

设置sonarqube

sonar.projectKey=${POM_GROUPID}:${POM_ARTIFACTID}# this is the name and version displayed in the SonarQube UI. Was mandatory prior to SonarQube 6.1.sonar.projectName=${POM_ARTIFACTID}-${POM_VERSION}sonar.projectVersion=${POM_VERSION}sonar.login=adminsonar.password=xiaoxi# Path is relative to the sonar-project.properties file. Replace "\" by "/" on Windows.# This property is optional if sonar.modules is set. sonar.sources=.sonar.scm.provider=gitsonar.java.binaries=.

关于maven项目jenkins中的环境变量

你可以在pre-post添加一个shell打印看看

echo "pom groupId: ${POM_GROUPID}"echo "pom packaging: ${POM_PACKAGING}"echo "pom displayName: ${POM_DISPLAYNAME}"echo "pom artifactId: ${POM_ARTIFACTID}"echo "pom version: ${POM_VERSION}"

设置maven参数

这里我们暂时跳过了单元测试，后面会开启

clean package -Dmaven.test.failure.ignore=false

-Dmaven.test.failure.ignore=false可以让maven构建单元测试失败的时候，导致构建失败（默认情况下，会继续往下进行）

阶段性测试

OK到目前为止，我们已经做好了，gitlab的代码提交触发，sonarqube的代码扫描，和maven的打包。接下来我们来测试一下。

你可以修改一下代码，然后提交，这里就会有新的构建触发。

不出意外的话就会成功的构建，工作区是有代码的，且target目录下是有打好的jar包的

接下来还要做的

接下来，我们就要maven打包好了之后，把jar传到nexus私服，然后生成镜像文件，然后镜像上传nexus私服，然后在目标机器上运行docker容器实例。

docker打包发布

这里我们利用maven的docker插件来进行发布镜像

修改pom.xml

<build><finalName>${project.artifactId}</finalName><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId></plugin><plugin><groupId>com.spotify</groupId><artifactId>docker-maven-plugin</artifactId><version>1.0.0</version><executions><execution><id>build-image</id><phase>package</phase><goals><goal>build</goal></goals></execution></executions><configuration><skipDocker>false</skipDocker><imageName>${project.artifactId}</imageName><forceTags>true</forceTags><imageTags><imageTag>${project.version}</imageTag></imageTags><serverId>maven_xiaoxi</serverId><registryUrl>http://10.10.0.44:8081/repository/docker-repo/</registryUrl><baseImage>adoptopenjdk:8-jdk-openj9</baseImage><workdir>/ROOT</workdir><cmd>["java", "-version"]</cmd><entryPoint>["java", "-jar", "/${project.build.finalName}.jar"]</entryPoint><dockerHost>http://10.10.0.44:2375</dockerHost><resources><resource><targetPath>/</targetPath><directory>${project.build.directory}</directory><include>${project.build.finalName}.jar</include></resource></resources></configuration></plugin></plugins></build>

修改任务配置 maven 参数

clean package docker:build -DskipTests

保存jar到nexus私服

post step中添加Nexus Repository Manager Publisher

$POM_GROUPID$POM_ARTIFACTID$POM_VERSIONjartarget/${POM_ARTIFACTID}.jarjar

保存然后测试一下

按道理修改了代码提交之后，就会触发构建，构建成功之后，nexus maven-repo仓库会有jar，然后目标主机上也会有相应的docker镜像

pom.xml版本

可以看出，我们的不管是jar包，还是镜像tag，还是sonarqube的版本号，都是跟pom的version一致的，这里就是利用maven项目在jenkins中的环境变量来保证的。如果其他非maven方式的，还有其他的解决办法。类似于用groovy脚本解析pom.xml，读取其中的属性；或者其他相应的插件也可以。

接下来做镜像的运行及其发布nexus镜像私服

增加ssh上传并执行脚本shell

后面就是涉及容器实例的运行相关，我们可以使用ssh上传一个shell脚本，然后执行，从而来完成容器的运行等

编写shell

我们可以把shell新建在项目的根目录下，这样shell脚本也能加入git的代码管理当中

#!/bin/bash -lPOM_VERSION=$1POM_ARTIFACTID=$2REGISTRY_URL=$3echo $POM_ARTIFACTIDecho $POM_VERSIONecho $REGISTRY_URL#登录远端nexus registrydocker login -u admin -p xiaoxi $REGISTRY_URL#打要上传nexus的tagdocker tag $POM_ARTIFACTID:$POM_VERSION $REGISTRY_URL/$POM_ARTIFACTID:$POM_VERSION#推送到远端docker push $REGISTRY_URL/$POM_ARTIFACTID:$POM_VERSION#删除打到远端的tagdocker rmi -f $REGISTRY_URL/$POM_ARTIFACTID:$POM_VERSION#停止实例if docker ps | grep $POM_ARTIFACTID;thendocker stop $POM_ARTIFACTIDfi#删除实例if docker ps -a | grep $POM_ARTIFACTID;thendocker rm $POM_ARTIFACTIDfi#重新运行新的实例docker run -d --name $POM_ARTIFACTID -p 8080:8080 $POM_ARTIFACTID:$POM_VERSION#删除对应的image#docker images|awk '{print $1":"$2}'|grep $POM_ARTIFACTID|xargs -t docker rmi#删除<none>的被覆盖的实例docker images|awk '{print $1"\t"$3}'|grep "<none"|awk '{print $2}'| xargs -t docker rmiexit 0

脚本大概做的事情就是，打私服ip对应的tag，然后push到私服镜像库去，停止掉并删除原来的容器实例，重新运行新的实例。删除一些覆盖而冗余的的镜像等。

jenkins任务配置

构建后操作增加 Send build artifactc over SSH

执行脚本

cd /home/jarsh startdocker.sh ${POM_VERSION} ${POM_ARTIFACTID} 10.10.0.44:8082

保存并测试

目标服务器上镜像也有了，实例也运行起来了

nexus镜像docker-repo也有镜像了

服务也启动起来了，接口也能正常返回啦！！！！恭喜！！！！

测试不同版本及其代码改动

我这边pom现在是3.0-SNAPSHOT，测试修改为4.0-SNAPSHOT，然后提交代码触发构建。

结果

4.0的镜像制品也有了

镜像也有了，且还保留有3.0的版本

容器也启动了

接口也更新了！

十、关于多分支多环境多任务配置

分支管理

我们是基于多分支的开发模式，这里就涉及多任务多环境多分支的部署。

features -> develop（测试环境） -> release（预发布环境） -> master（生产环境）

这里我们是利用maven-docker的插件，直接在目标机器上生成了image镜像，利用ssh命令执行镜像上传nexus、重启应用等操作。而对于不同的环境而言，这样做就比较局限了，所以，这里我们要做一些改进。

理想的逻辑：jenkins 构建打包生成image镜像，然后上传到nexus；其他环境的主机，利用ssh执行命令，先从nexus私服拉取镜像，再进行部署或者重启。

这样的话，就可以做到多个环境的主机去nexus拉镜像即可。

暂不使用maven的docker插件

添加dockerfile

FROM adoptopenjdk:8-jdk-openj9WORKDIR /ROOTADD /target/test1.jar //ENTRYPOINT ["java", "-jar", "/test1.jar"]

这里使用pom的finnalName修改了jar包的名字，所以这里是test1.jar而不是test1-1.0-SNAPSHOT.jar，这样的好处是，dockerfile不必关注jar的版本

jenkins任务配置中增加docker配置

${WORKSPACE}dockerfile的目录，这里默认是jenkins工作目录的根目录${nexusurl}/${POM_ARTIFACTID}:${POM_VERSION}生成镜像的名字，类似于最终为 10.10.0.44/test1:1.0-SNAPSHOT

修改startdocker.sh

#!/bin/bash -lPOM_VERSION=$1POM_ARTIFACTID=$2REGISTRY_URL=$3echo $POM_ARTIFACTIDecho $POM_VERSIONecho $REGISTRY_URL#登录远端nexus registrydocker login -u admin -p xiaoxi $REGISTRY_URL#打要上传nexus的tag (取消)#docker tag $POM_ARTIFACTID:$POM_VERSION $REGISTRY_URL/$POM_ARTIFACTID:$POM_VERSION#推送到远端(取消)#docker push $REGISTRY_URL/$POM_ARTIFACTID:$POM_VERSION#删除打到远端的tag(取消)#docker rmi -f $REGISTRY_URL/$POM_ARTIFACTID:$POM_VERSION#停止实例if docker ps | grep $POM_ARTIFACTID;thendocker stop $POM_ARTIFACTIDfi#删除实例if docker ps -a | grep $POM_ARTIFACTID;thendocker rm $POM_ARTIFACTIDfi#重新运行新的实例docker run -d --name $POM_ARTIFACTID --net=host $REGISTRY_URL/$POM_ARTIFACTID:$POM_VERSION#删除对应的image#docker images|awk '{print $1":"$2}'|grep $POM_ARTIFACTID|xargs -t docker rmi#删除<none>的被覆盖的实例docker images|awk '{print $1"\t"$3}'|grep "<none"|awk '{print $2}'| xargs -t docker rmiexit 0

这里就注释取消了从主机上上传镜像的过程，只保留从nexus拉取和重新部署的脚本