Jenkins将构建生成的程序包部署到服务器的常用方法有:1. Rsync over SSH使用rsync命令通过SSH把程序包复制到服务器上。在Jenkins的“执行shell脚本”构建后操作中执行rsync命令,指定本地和远程服务器的程序包目录即可。2. SFTP使用SFTP客户端(Jenkins自带的内置SFTP服务或第三方插件提供的服务)上传程序包到服务器。在构建后操作的“Send files or execute commands over SSH”中填写远程服务器信息和程序包目录,上传文件即可。3. SSH 执行命令直接在“执行shell脚本”中使用scp或sftp命令上传程序包。或者使用ssh登录到服务器,并使用tar/unzip解压命令部署程序包。4.FTP 上传如果服务器支持FTP服务,可以使用Jenkins自带的FTP功能上传程序包。在“Send files or execute commands over FTP”构建后操作中指定服务器信息,上传文件。5. API 部署如果有发布程序包的API,可以在构建后调用API将程序包部署到服务器。通过“Invoke Webhook”或“Invoke REST API”等插件来调用部署API完成上传。除此之外,更高级的方法还有:使用Ansible、SaltStack等编排工具自动化部署程序包。 使用容器(Docker等)来打包应用和环境,然后在另一个Jenkins流水线中拉取并启动容器。 使用懒加载的中间件、CDN来部署程序包。服务启动时才会将程序包拉取运行。所以,综上Jenkins主要通过以下方式将构建的程序包部署到服务器:- rsync+SSH- SFTP上传 - SSH执行命令- FTP上传- 调用部署API- 使用自动化运维工具来部署- 构建Docker镜像,并在其他流水线中运行根据自己的实际情况选择最适合的方案,可以实现Jenkins的CI与CD,完成从代码到部署上线的全流程自动化目前在用的是rsync+ssh 组合构建cicd:
jenkins把程序包推送到服务器的几种方法
rsync+jenkins在同一台部署
/bin/sh /usr/local/deploy/rsync.sh $JOB_NAME $WORKSPACE
/bin/sh /srv/salt/script/tomcat_restart.sh $JOB_NAME
rsync.sh $JOB_NAME $WORKSPACEbash#!/bin/bash# 设置echo的颜色 COLOR_WHITE="/033[1;37m" # 部署目录dir="/usr/local/deploy/program_new" # 获取所有项目名称 project=$(ls /usr/local/deploy/program_new) # 获取当前时间time=$(date "+%m-%d-%H:%M:%S") # 从第一个参数获取项目名称 p=$(echo "$1" |awk -F-- '{print $2}') # 循环项目名称 for i in "$p"; do # 检查项目是否存在 echo "${project[@]}" |grep -wq "$1" if [ $? == 0 ];then # 获取项目的IP地址 cat $dir/$1 | grep -v "^#" | grep "IP" | awk -F= '{print $2}' | # 部署到IP while read ip do # 部署静态资源 if [ "$i" = html_static ];then rsync -av --password-file=/usr/local/deploy/pwd.conf --exclude .svn $2/* ruser@$ip::static elif [ "$i" = static ];then rsync -av --password-file=/usr/local/deploy/pwd.conf --exclude .svn $2/* ruser@$ip::html_static elif [ "$i" = web_static ];then rsync -av --password-file=/usr/local/deploy/pwd.conf --exclude .svn $2/* ruser@$ip::web_static # 部署WAR包 elif [ "$i" = id ];then rsync -av --password-file=/etc/pwd.conf $2/id/target/$i.war ruser@$ip::webapps/tomcat/webapps/ # ... fi if [ $? -ne 0 ];then exit 1 fi done else echo "$COLOR_WHITE 用法: $0 {项目名称}" fidone 这个脚本将:
- 从第一个参数获取项目名称
- 检查项目是否存在
- 如果存在,获取项目的IP地址
- 根据项目名称部署静态资源或WAR包到IP
- 如果发生任何错误,退出
- 否则,如果项目不存在,打印用法
该脚本使用rsync通过SSH部署到服务器,密码存储在密码文件中。它可以部署静态内容和Java WAR包。
tomcat_restart.sh $JOB_NAME#!/bin/bashecho $1# $p 正则出 项目名p=$(echo "$1" |awk -F-- '{print $2}')dir="/usr/local/deploy/program_new"cat $dir/$1 | grep -v "^#" | grep "PORT" | awk -F= '{print $2}' | while read port do cat $dir/$1 | grep -v "^#" | grep "IP" | awk -F= '{print $2}' | while read ip do echo $ip #改了加 grep $p 精确筛选出 saltid 解决了 发布重启时候出了一堆saltid saltid=$(salt-key |grep -w $ip) #salt $ip cmd.script salt://script/service_restart_temp.sh "$1 $port" salt $saltid cmd.script salt://script/service_restart_temp.sh "$1 $port" sleep 5 done done这个脚本将:
- 获取第一个参数的项目名称
- 从部署目录获取项目的端口和IP
- 循环IP
- 获取精确匹配的salt id,避免重启时返回多余的salt id
- 调用saltstack在IP上重启tomcat,并传递项目名称和端口作为参数
- 等待5秒
该脚本使用Saltstack在远程服务器上重启Tomcat,以完成部署后的服务重启。
通过匹配项目名称来过滤IP和salt id,实现了精确重启相关服务。
#!/bin/bashp=$(echo "$1" |awk -F-- '{print $2}')tomcat_path=/data/app/tomcat##关闭tomcat#${tomcat_path}/bin/shutdown.sh#echo "关闭tomcat成功：${tomcat_path}/bin/shutdown.sh"#ps -ef | grep ${tomcat_path} | awk '{print $2}' | xargs kill -9netstat -antup |grep $2 |awk '{print $7}' | awk -F/ '{print $1}' | xargs kill -9echo "关闭tomcat成功"sleep 5##删除temp文件夹下所有文件rm -rf ${tomcat_path}/temp/*rm -rf ${tomcat_path}/logs/*echo "删除temp文件夹下所有文件 : rm -rf ${tomcat_path}/temp/*"##删除work目录下所有缓存rm -rf ${tomcat_path}/work/*echo "删除work目录下所有缓存 : rm -rf ${tomcat_path}/work/*"##删除webapps下所有文件rm -rf ${tomcat_path}/webapps/$pif [ "$p" = "archives" ];then rm -rf ${tomcat_path}/webapps_1/ROOTfiif [ "$p" = "report" ];then rm -rf ${tomcat_path}/webapps/ROOT rm -rf ${tomcat_path}/webapps/ROOT.war mv ${tomcat_path}/webapps/$p.war ${tomcat_path}/webapps/ROOT.warfiif [ "$p" = "oct" ];then rm -rf ${tomcat_path}/webapps/ROOT rm -rf ${tomcat_path}/webapps/ROOT.war mv ${tomcat_path}/webapps/$p.war ${tomcat_path}/webapps/ROOT.warfiecho "删除原始war包：rm -rf ${tomcat_path}/webapps/$p"su - deploy -c ${tomcat_path}/bin/startup.shecho "启动tomcat ： ${tomcat_path}/bin/startup.sh"这个脚本将:
- 从第一个参数获取项目名称
- 根据端口号杀掉Tomcat进程
- 等待5秒
- 删除Tomcat temp和logs目录下的文件
- 删除Tomcat work目录下的缓存
- 根据项目名称删除webapps目录下的文件
- 处理archives, report和oct项目的特殊情况
- 启动Tomcat
该脚本首先正确关闭Tomcat,清除缓存和临时文件,删除部署后的webapps,处理任何特殊情况,然后重新启动Tomcat
使用步骤，通过saltstack来匹配jobname，然后调用脚本，来推送，和执行一下命令，
当然也可以通过推送到程序包之后直接调用服务器脚本来更新，
/usr/sbin/lsof -i:8080 |grep java |awk '{print $2}' |xargs -i kill -9 {}sleep 5rm -rf /data/app/tomcat_war/logs/*rm -rf /data/app/tomcat_war/my_logs/* rm -rf /data/app/tomcat_war/webapps/warrm -rf /data/app/tomcat_war/temp/*rm -rf /data/app/tomcat_war/work/*/data/app/tomcat_war/bin/startup.sh这里是启动脚本带详细中文注释:
bashBUILD_ID=DONTKILLME#发布 echo "--------->开始启动:"$JARFILE"<-----------" source /etc/profile # 重新加载环境变量pkill java # 杀掉存在的java进程nohup java -XX:+UseG1GC -XX:ParallelGCThreads=2 -XX:MaxGCPauseMillis=200 -Dfile.encoding=UTF-8 -Dhudson.util.ProcessTree.disable=true -jar /data/app/java.jar --spring.profiles.active=test # 后台启动Java应用,并传递必要的参数:# -XX:+UseG1GC 使用G1垃圾收集器# -XX:ParallelGCThreads=2 使用2个线程并行执行垃圾回收# -XX:MaxGCPauseMillis=200 垃圾收集过程中停顿不超过200ms# -Dfile.encoding=UTF-8 设置默认编码为UTF-8# -Dhudson.util.ProcessTree.disable=true 禁用进程树跟踪# --spring.profiles.active=test 使用test配置文件 > /dev/null 2>&1 & # 重定向stdout和stderr到/dev/null,并在后台运行echo "start begin" # 打印启动日志#nohup java -Xms128m -Xmx128m -jar $JARFILE >/dev/null 2>&1 &echo "start begin" # 备选方案,限制java内存并启动jar包这个脚本的作用是:
- 定义BUILD_ID环境变量
- 打印发布日志
- 重新加载环境变量
- 杀掉存在的java进程
- 使用nohup在后台启动Java应用,并传递必要的参数
- 重定向stdout和stderr到/dev/null,并在后台运行
- 打印启动日志
- 提供备选方案,限制内存并运行jar包
该脚本使用nohup后台运行Java应用,并传递垃圾收集、编码、配置文件等必要参数。同时提供备选方案限制内存运行。
jar程序部署脚本
source /etc/profilecd /data/apprm -rf testjarunzip testjar-bin.zipcd testjarchmod u+x restart.sh/data/app/testjar/restart.sh这个脚本将:1. source /etc/profile - 重新加载环境变量2. cd /data/app - 切换到/data/app目录3. rm -rf testjar - 删除testjar目录(如果存在)4. unzip testjar-bin.zip - 解压testjar-bin.zip压缩包5. cd testjar - 进入testjar目录6. chmod u+x restart.sh - 给restart.sh文件添加可执行权限7. /data/app/testjar/restart.sh - 执行restart.sh脚本这个脚本的作用是:1. 准备环境 - 重新加载环境变量,切换目录2. 删除现有的testjar目录(如果存在)3. 解压testjar-bin.zip压缩包4. 进入testjar目录并给restart.sh文件添加可执行权限5. 执行restart.sh脚本该脚本一步步进行目录清理、文件解压和授权,最终执行restart.sh脚本。restart.sh脚本很可能负责启动或重启testjar应用。整个脚本实现了对testjar应用的部署流程 - 清理现有安装 -> 解压安装包 -> 启动应用。这里是脚本带详细注释:bash#!/bin/bashBASE_DIR=/data/app/testjar # 定义应用基础目录CNF_DIR=$BASE_DIR/config# 定义配置文件目录LOG_DIR=/data/log/testjar # 定义日志目录JAR_DIR=$BASE_DIR/lib# 定义jar包目录MAIN_CLASS="com.testjar.testApplication" # 定义主类名if [ ! -x $LOG_DIR ] # 如果日志目录不存在 then `mkdir -p $LOG_DIR` # 创建日志目录fi proc_pid=`ps -ef | grep -i $MAIN_CLASS|grep -v "grep"|awk '{print $2}'` # 获取应用主类的进程idif [[ -z $proc_pid ]] # 如果进程id为空then echo "not exists proc" # 打印日志,进程不存在 else echo "stop process " $proc_pid # 打印日志,停止进程 kill -9 $proc_pid # 杀掉进程 sleep 5s # 等待5秒 echo "kill successful " $proc_pid # 打印日志,进程停止成功fi#nohup java -Xms2048M -Xmx2048M -Dfile.encoding=UTF-8 -classpath $CNF_DIR -Djava.ext.dirs=$JAR_DIR $MAIN_CLASS --spring.profiles.active=aliyunprd >> $BASE_DIR/shell.log & # 备选方案1,重定向日志并后台运行nohup java -Xms2048M -Xmx2048M -Dfile.encoding=UTF-8 -classpath $CNF_DIR -Djava.ext.dirs=$JAR_DIR $MAIN_CLASS --spring.profiles.active=aliyunprd >/dev/null 2>&1 & # 后台运行应用,重定向日志到/dev/nullnew_proc_pid=`ps -ef | grep -i $MAIN_CLASS|grep -v "grep"|awk '{print $2}'` # 获取新启动应用主类进程id这个脚本的作用是:1. 定义应用必要的目录2. 获取应用主类的进程id3. 如果进程id为空,打印日志进程不存在4. 否则,停止进程并打印日志 5. 后台启动应用,重定向日志到/dev/null6. 获取新启动应用主类进程id该脚本首先判断应用是否已启动,如果启动则停止应用。然后使用nohup后台启动应用,并重定向日志输出。最后获取新启动应用的进程id。实现了应用的停止与启动。
