前言

之前我们主要讲的jar包部署。使用jar包部署可能导致不同服务互相争抢资源(隔离性),不同服务可能需要不同的jdk环境,有时也会造成困扰。故在微服务时代,我们通常使用docker部署

一、docker安装

docke相关的知识,其实之前文章也写过,本节主要讲harbor的安装以及与jenkins配合,做容器化部署。故docker相关的讨论会尽可能简略。

1.1 docker安装

安装官方文档的介绍安装即可

1.2 docker-compose安装

docker-compose相关内容,之前文章也写过,故知识点本次略过。

sudo apt-get update
sudo apt-get install docker-compose-plugin
curl -SL https://github.com/docker/compose/releases/download/v2.29.6/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose

二、harbor安装

2.1 下载解压

首先,去官网下载离线包,然后拷到/WORK/DOWNLOADS文件夹内
使用以下命令解压:

tar -xzf harbor-offline-installer-v2.9.1.tgz

2.2 nginx配置证书

由于harbor更倾向于用https,所以需要配置nginx的证书

openssl genrsa -out /WORK/APP/nginx/cert/nginx-selfsigned.key 2048 
openssl req -new -key /WORK/APP/nginx/cert/nginx-selfsigned.key -ou
t /WORK/APP/nginx/cert/nginx-selfsigned.csr
openssl x509 -req -days 3650 -in /WORK/APP/nginx/cert/nginx-selfsigned.csr -signkey /WORK/APP/nginx/cert/nginx-selfsigned.key -out /WORK/APP/nginx/cert/nginx-selfsigned.crt -subj "/CN=192.168.0.64"

然后把location部分的配置,单独拎一个文件出来,比如叫shared.conf
分别在http和https的server模块include进来

include /WORK/APP/nginx/conf/shared.conf;

即可完成https的配置。

2.3 harbor配置

编辑harbor.yml,重点编辑以下内容

http:
  # 把端口设置成9090
  port: 9090
# 你没看错,这些先注释掉
#https:
  # https port for harbor, default is 443
  #port: 443
  # The path of cert and key files for nginx
  #certificate: /WORK/APP/nginx/cert/nginx-selfsigned.crt
  #private_key: /WORK/APP/nginx/cert/nginx-selfsigned.key
./prepare
./install

这样harbor就装好了。稍微解释一下,./prepare脚本,就是根据harbor.yml的配置,在当前目录生成相应的配置文件。而install命令,则是创建启动镜像。

2.3.1 安装番外

我尝试了把harbor放在nginx后面,最后还是失败了。
因为harbor的前端访问路径貌似无法配置,这就导致静态资源的加载全部出错。有哪位大佬知道怎么搞的可以私信或评论区回复。

三、docker化项目

3.1 创建一个dockerfile

我们接着之前的项目继续开发。之前的项目已经完成了lib,resource,config等与jar包的分离,并且以shell脚本启动项目,而非直接java -jar,我们的容器化也要支持这些功能(自讨苦吃式学习)。dockerfile创建如下所示
在这里插入图片描述

FROM openjdk:17-jdk-slim

ENV PORT="8081"

RUN mkdir -p /app
WORKDIR /app
EXPOSE 8081
ADD ./target/nbr.jar nbr.jar
ADD ./target/bin bin
RUN chmod +x bin/startup.sh
RUN chmod +x bin/shutdown.sh
VOLUME ["/app/config","/app/resources","/app/logs","/app/lib"]
WORKDIR "/app/bin"
CMD ./startup.sh -p $PORT

需要注意的是,VOLUME 字段表示容器卷,docker中先声明,docker run时再映射到宿主机上。如果这里不声明,docker run -v 的时候就不好用了。

3.2 新的jenkins脚本

很多人搞容器化的时候,喜欢使用docker的maven插件来实现。然而实际上,并没有这种必要。学习成本又高,还有很多限制,也不好调试。不如直接在jenkins里写命令实现。变量向dockerfile传递,可以用–env var_key=var_value来实现。

参数名默认值描述
profiletest环境
appNameapp001部署文件夹
port8081端口
version1.0.0版本
isBuildImgtrue是否编译镜像
isUpdateBinfalse是否更新bin
isUpdateConfigfalse是否更新配置文件
isUpdateLibfalse是否更新lib包
isUpdateStaticfalse是否更新静态资源
isUpdateMapperfalse是否更新mapper
gitTagmastergit分支
import java.text.SimpleDateFormat

node{

    def remote = [:]
    remote.name = '地下室主机'
    remote.host = '192.168.0.64'
    remote.user = 'root'
    remote.password = '???@1314'
    remote.deploymentHome = "/WORK/APP/study2024-class006"
    remote.allowAnyHosts = true
    remote.harbor = "localhost:9090"

    def app = [:]
    app.codePath = "busy"
    app.name = "study2024-class006"
    app.module = "nbr"
    app.version = "${version}"
    app.cd = "${appName}"
    app.port = "${port}"

    def timestamp = currentBuild.getTimeInMillis()
    def formattedTimestamp = new SimpleDateFormat("yyyy-MM-dd-HH_mm_ss").format(timestamp)


    stage("拉取代码"){
        git branch: "${gitTag}", credentialsId: 'gitSec', url: 'https://gitee.com/hataksumo/study2024-class006.git'
    }


    if(isCompileImage == "true"){
        stage("编译代码"){
            sh """
                cd busy
                mvn clean
                mvn package -pl ${app.module} -am -P${profile} -Dmaven.test.skip=true
            """
        }


        stage("创建镜像"){
            sh """
                cd ${app.codePath}/${app.module}
                docker build -f docker/Dockerfile \
                --build-arg PORT=${app.port} \
                -t ${app.name}-${app.module}:${app.version} .
                docker tag ${app.name}-${app.module}:${app.version} ${remote.harbor}/library/${app.name}-${app.module}:${app.version}
                docker login localhost:9090 -u admin -p Harbor12345
                docker push ${remote.harbor}/library/${app.name}-${app.module}:${app.version}
                docker logout ${remote.harbor}/library/${app.name}-${app.module}:${app.version}
                docker image rm -f ${remote.harbor}/library/${app.name}-${app.module}:${app.version}
                docker image rm -f ${app.name}-${app.module}:${app.version}
            """
        }
    }

    stage("拷贝资源"){
        echo "拷贝创建"

        sshCommand remote: remote, failOnError:false, command: """
            [ -d ${remote.deploymentHome}/${app.cd}] || mkdir -p ${remote.deploymentHome}/${app.cd}
            cd ${remote.deploymentHome}/${app.cd}
            [ -d lib] || mkdir -p lib
            [ -d config] || mkdir -p config
            [ -d resources/static] || mkdir -p resources/static
            [ -d resources/templates] || mkdir -p resources/templates
            [ -d resources/mybatis] || mkdir -p resources/mybatis
        """

        if(isUpdateConfig == "true"){
            echo "删除config"
            sshRemove remote: remote, failOnError:false, path: "${remote.deploymentHome}/${app.cd}/config"
            echo "拷贝lib包"
            sshPut remote: remote, from: "${app.codePath}/${app.module}/target/config", into: "${remote.deploymentHome}/${app.cd}"
        }

        if(isUpdateLib == "true"){
            echo "删除lib包"
            sshRemove remote: remote, failOnError:false, path: "${remote.deploymentHome}/${app.cd}/lib"
            echo "拷贝lib包"
            sshPut remote: remote, from: "${app.codePath}/${app.module}/target/lib", into: "${remote.deploymentHome}/${app.cd}"
        }

        sshCommand remote: remote, failOnError:false, command: "mkdir ${remote.deploymentHome}/${app.cd}/resources"

        if(isUpdateStatic == "true"){
            echo "清除resources/static文件"
            sshRemove remote: remote, failOnError:false, path: "${remote.deploymentHome}/${app.cd}/resources/static"
            echo "拷贝static文件"
            sshPut remote: remote, from: "${app.codePath}/${app.module}/target/resources/static", into: "${remote.deploymentHome}/${app.cd}/resources"
        }

        if(isUpdateMapper == "true"){
            echo "清除resources/mybatis文件"
            sshRemove remote: remote, failOnError:false, path: "${remote.deploymentHome}/${app.cd}/resources/mybatis"
            echo "拷贝mybatis文件"
            sshPut remote: remote, from: "${app.codePath}/${app.module}/target/resources/mybatis", into: "${remote.deploymentHome}/${app.cd}/resources"
        }
    }

    stage("镜像拉取"){
        //docker stop ${app.name}-${app.module}-${appName}
        //此处是不优雅的关闭
        sshCommand remote: remote, failOnError:false, command: """
        docker image rm -f ${remote.harbor}/library/${app.name}-${app.module}:${app.version}
        docker container rm -f ${app.name}-${app.module}-${appName}
        docker login localhost:9090 -u admin -p Harbor12345
        docker pull ${remote.harbor}/library/${app.name}-${app.module}:${app.version}
        docker tag ${remote.harbor}/library/${app.name}-${app.module}:${app.version} ${app.name}-${app.module}:${app.version}
        docker logout
        echo "docker run -it -p ${app.port}:${app.port} --volume ${remote.deploymentHome}/${app.cd}/config:/app/config --volume ${remote.deploymentHome}/${app.cd}/resources:/app/resources --volume ${remote.deploymentHome}/${app.cd}/logs:/app/logs --volume ${remote.deploymentHome}/${app.cd}/lib:/app/lib --env PORT=${app.port} ${app.name}-${app.module}:${app.version} bin/bash"

        docker run -d \
        -p ${app.port}:${app.port} \
        --volume ${remote.deploymentHome}/${app.cd}/config:/app/config \
        --volume ${remote.deploymentHome}/${app.cd}/resources:/app/resources \
        --volume ${remote.deploymentHome}/${app.cd}/logs:/app/logs \
        --volume ${remote.deploymentHome}/${app.cd}/lib:/app/lib \
        --env PORT=${app.port} \
        --name ${app.name}-${app.module}-${appName} \
        ${app.name}-${app.module}:${app.version}
        echo "容器启动完成"
        lsof -i:${app.port}
        """
    }

}

3.3 使用docker-compose

之前的方法,启动和关闭都不是很优雅,拓展性也不强。不如使用docker-compose技术。

3.3.1 compose.yml

compose.yml放入docker文件夹下
在这里插入图片描述

services:
  nbr:
    image: study2024-class006-nbr:${VERSION}
    environment:
      - PORT
      - EXPORT_PORT
      - VERSION
      - APP_NAME
      - CD_PATH
    ports:
      - ${EXPORT_PORT}:${PORT}
    volumes:
      - ${CD_PATH}/config:/app/config
      - ${CD_PATH}/logs:/app/logs
      - ${CD_PATH}/lib:/app/lib
      - ${CD_PATH}/resources/static:/app/resources/static
      - ${CD_PATH}/resources/mybatis:/app/resources/mybatis
      - ${CD_PATH}/resources/template:/app/resources/template
    container_name: study2024-nbr-${APP_NAME}

3.3.2 jenkins修改

  • 更改 “镜像拉取”部分
stage("镜像拉取"){
        //docker stop ${app.name}-${app.module}-${appName}
        //此处是不优雅的关闭
        sshCommand remote: remote, failOnError:false, command: """
        docker image rm -f ${remote.harbor}/library/${app.name}-${app.module}:${app.version}
        docker container rm -f ${app.name}-${app.module}-${appName}
        docker login localhost:9090 -u admin -p Harbor12345
        docker pull ${remote.harbor}/library/${app.name}-${app.module}:${app.version}
        docker tag ${remote.harbor}/library/${app.name}-${app.module}:${app.version} ${app.name}-${app.module}:${app.version}
        docker logout
        cd ${remote.deploymentHome}/${app.cd}
        docker-compose down
        docker-compose up -d
        echo "容器启动完成"
        """
    }
  • 更改 “拷贝资源” 部分
    在尾部添加如下代码:
// 拷贝compose.yml
        sshPut remote: remote, from: "${app.codePath}/${app.module}/target/compose.yml", into: "${remote.deploymentHome}/${app.cd}/compose.yml"
        // 生成evn
        def envContent = """
EXPORT_PORT=${app.port}
PORT=8080
VERSION=${app.version}
APP_NAME=${app.name}-${app.module}-${appName}
CD_PATH=${remote.deploymentHome}/${app.cd}/
"""
        echo "$envContent"
        writeFile(file: "${app.codePath}/${app.module}/target/.env", text: envContent)
        sshPut remote: remote, from: "${app.codePath}/${app.module}/target/.env", into: "${remote.deploymentHome}/${app.cd}/.env"

注意,.env是compose.yml所用的环境变量配置。在docker-compose up的时候,会自动读取该文件

  • pom添加拷贝配置
            <resource>
                <directory>docker</directory>
                <includes>
                    <include>compose.yml</include>
                </includes>
                <targetPath>${project.build.directory}</targetPath>
            </resource>

3.4 错误处理

3.4.1 调试容器

如果项目启动不成功,可以使用docker run -it <镜像名> /bin/bash 进入容器调试

3.4.2 脚本启动的坑

docker的机制,如果执行的脚本没有阻塞,就会退出容器。所以需要在脚本的最后添加这样一句

tail -f "${BASE_DIR}/logs/start.out"

3.4.3 注意运行在容器内

无论是mysql还是redis等中间件的链接,记得不要配localhost,配成内网ip

3.4.4 查看容器

docker inspect 容器Id

四、代码展示

还请众道友移步我的码云

五、一些额外的思考

当项目的打包容器化了,一个jdk-slim的容器都400M,那之前的把lib包分离还有什么意义。
实际上可以把主jar包也映射出去嘛。镜像只构建一回,以后的更新,更jar包就行了。这样的修改才是完整版的容器化打包方案。也就是说,实际的开发,还是原先的jar包打包开发,仅仅是第一次构建了镜像。是不是感觉世界一下就豁然开朗了。哈哈~~~

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐