 - 集成GitLab+sourcefare实现Java项目代码扫描通过后自动化部署)
Arbess 是一款国产开源免费的 CI/CD 工具，支持免费私有化部署。本文将详细介绍如何安装配置使用GitLab、sourcefare、Arbess系统，GitLab提交代码自动触发流水线拉取GitLab源码、并使用sourcefare代码扫描，然后进行java构建并部署到主机。
1、Gitlab 安装与配置
本章节将介绍如何使用CentOS9搭建Gitlab服务器，并将代码存放在Gitlab服务器，提供给Arbess克隆源码。
1.1 安装
- 安装基础依赖。
sudo yum update -y
sudo yum install -y curl policycoreutils-python-utils openssh-server perl
sudo systemctl enable --now sshd
- 获取Gitlab安装包。
curl -LO https://packages.gitlab.cn/repository/el/8/gitlab-jh-17.7.0-jh.0.el8.x86_64.rpm
- 安装Gitlab安装包。访问URL可以自己设置。
export EXTERNAL_URL="http://ip" && sudo rpm -ivh gitlab-jh-x.x.x.rpm
- 安装完成之后，使用
sudo gitlab-ctl status检查服务状态。 - 浏览器访问配置的http://ip ，使用用户名root，密码 /etc/gitlab/initial_root_password 中获取，进行登录。
1.2 配置
gitlab安装完成之后，可以将代码推送到仓库中，Arbess克隆源码需要创建GItlab的个人令牌，用于Arbess访问Gitlab。进入用户设置→访问令牌，按照需求创建创建访问令牌。
创建个人令牌
令牌创建完毕，请妥善保存好您的令牌。
查看个人令牌
2、sourcefare 安装与配置
sourcefare是一款国产开源代码扫描工具，本章节将介绍如何使用CentOS搭建sourcefare服务，提供给Arbess调用进行代码扫描。
2.1 安装
本文以CentOS操作系统为例。
- 下载，CentOS安装包下载地址：Sourcefare下载，点击CentOS下载，下载安装包如tiklab-sourcefare-x.x.x.rpm。
- 安装，上传到服务器上，在文件同级目录执行命令安装。
rpm -ivh tiklab-sourcefare-x.x.x.rpm
- 启动，系统默认安装路径为/opt目录，进入/opt/tiklab-sourcefare/bin目录下，执行./sourcefare start即可启动成功。
启动sourcefare系统
使用 http://ip:8900 进行访问。使用初始用户名密码admin\123456登录。成功登录后展示SourceFare首页。
sourcefare首页
2.2 配置
SourceFare登录成功，需要添加项目，以及代码扫描计划，Arbess运行代码扫描需要代码扫描计划ID，代码扫描报告会归类到相应代码扫描计划。
在项目页面点击新建项目按钮进行新建。输入项目名称以及项目访问信息（公开、私密）进行创建。
新建项目
成功创建项目后，继续创建扫描计划，创建扫描计划后，在扫描计划页面，需要记住ProjectKey，后期Arbess集成SourceFare需要用到，也可查看Arbess调用的历史扫描计划报告。
创建扫描计划
3、Arbess 安装与配置
3.1 安装
本文以CentOS操作系统为例。
- 下载，CentOS安装包下载地址：Arbess下载，点击CentOS下载，下载完成后得到类似tiklab-arbess-x.x.x.rpm的文件。
- 安装，上传到服务器上，在文件同级目录执行命令安装。
rpm -ivh tiklab-arbess-x.x.x.rpm
- 启动，系统默认安装路径为/opt目录，进入/opt/tiklab-arbess/bin目录下，执行sh startup.sh即可启动成功。
启动Arbess系统
使用 http://ip:9200 进行访问。使用初始用户名密码admin\123456登录，首次登录需要修改管理员密码。
3.2 配置
Arbess流水线采用可视化设计，搭建自动化代码扫描、自动化测试平台，在流水线中可克隆GitLab仓库代码、集成SourceFare进行代码扫描。创建流水线，进入流水线设计页面进行操作。
3.2.1 配置Gitlab源码
- 配置GitLab服务集成
流水线配置GitLab源码任务之前，需要添加GitLab服务集成，在系统设置→集成与开放→服务集成页面添加相关服务。授权类型选择Gitlab、填写名称、AccessTocken(个人密钥，即文章1.2部分创建的个人访问令牌)。
添加GitLab源码集成
如需要添加自建的Gitlab，授权类型选择自建Gitlab、填写名称、服务地址、AccessTocken(个人密钥)。
添加GitLab源码集成
- 添加GitLab源码任务
服务集成添加完毕之后，进入流水线设计，点击新阶段→源码→GitLab。需要填入任务名称、Git版本、GitLab授权信息（AccessTocken）、仓库、分支等信息。
添加GitLab源码任务
字段 | 描述 |
任务名称 | 任务名称清晰地标识项目或对象。 |
Git版本 | Arbess所在服务器Git安装路径。 |
GitLab授权信息 | 私人令牌，AccessTocken。 |
仓库 | 选择授权信息后点击仓库，程序会自动获取凭证权限下的仓库列表，管理者只需选择需要配置的仓库即可。 |
分支 | 选择代码的分支。填写需要拉取远程仓库具体的分支，不填默认为master分支，填写错误会导致任务执行失败。 |
3.2.2 配置sourcefare代码扫描
- 配置sourcefare服务集成
流水线配置sourcefare任务之前，需要添加sourcefare服务集成，在系统设置→集成与开放→服务集成页面添加相关服务。授权类型选择sourcefare、填写名称、服务地址、认证类型（用户名密码、密钥）、用户名、密码。
添加sourcefare服务
- 配置sourcefare Scanner工具集成
还需要配置sourcefare Scanner工具，进入下载地址：SourceFareAgent下载。下载对应系统文件。在系统设置→集成与开放→工具集成页面添加相关服务。授权类型选择Sonar Scanner、填写名称、安装方式选择安装包，上传sourcefare Scanner工具安装包。
添加sourcefare Scanner工具
上传sourcefare Scanner工具安装包，系统会自动解析运行文件地址。
添加sourcefare Scanner工具
- 添加sourcefare源码任务
服务集成添加完毕之后，进入流水线设计，点击新阶段→代码扫描→SourceFare代码扫描。输入代码扫描信息，输入完成后，点击空白处进行保存。
配置sourcefare代码扫描任务
字段 | 描述 |
任务名称 | 任务名称清晰地标识项目或对象。 |
扫描代码语言 | 扫描代码语言（支持Java、JavaScript、Go）。 |
JDK版本 | 所在服务器JDK安装路径。 |
Maven版本 | 所在服务器Maven安装路径。 |
SourceFare服务 | 安装SourceFare的服务器地址、用户名、密码。 |
SourceFare Scanner版本 | 安装SourceFare Scanner的安装路径。 |
项目ID | 扫描的项目ID，在SourceFare中创建的项目ID。 |
扫描代码地址 | 扫描代码存放路径，默认为${DEFAULT_CODE_ADDRESS}，也可输入绝对路径。 |
3.2.3 配置Maven构建任务
代码扫描添加完毕之后，添加构建安装包任务。根据代码构建方式选择Maven构建，点击新阶段→构建→Maven构建。输入构建信息，输入完成后，点击空白处进行保存。
配置Maven构建任务
字段 | 描述 |
任务名称 | 任务名称清晰地标识项目或对象。 |
JDK版本 | Arbess所在服务器JDK安装路径。 |
Maven版本 | Arbess所在服务器Maven安装路径。 |
模块地址 | 构建路径，默认为${DEFAULT_CODE_ADDRESS}，也可输入绝对路径。 |
执行命令 | 执行Maven构建的命令。 |
3.2.4 配置主机部署任务
点击新阶段→部署→主机部署。输入部署信息，部署的内容可以使用变量，添加变量后使用${变量名称}进行引用，输入完成后，点击空白处进行保存。
配置主机部署任务
字段 | 描述 |
任务名称 | 任务名称清晰地标识项目或对象。默认主机部署。 |
主机地址 | 部署主机远程SSH认证凭证。 |
部署文件 | 需要部署的文件，可以写绝对路径，也可以写泛路径，泛路径需要配合部署文件规则来匹配到部署文件。 |
| 部署文件匹配规则 | 文件匹配规则，支持正则表达式。 |
部署位置 | 部署远程主机位置。 |
部署命令 | 文件部署命令。 |
至此流水线设计完毕，下面介绍流水线运行以及查看代码扫描报告。
4、运行流水线
- 运行流水线
流水线设计完毕之后，Arbess支持自动触发、Webhook触发、手动触发三种运行模式。点击右上角“运行”按钮，手动触发流水线。
运行流水线
流水线运行同时，点击认为标签右下角“日志”，可查看运行实时日志。
日志
详细日志
- 配置Webhook
运行流水线成功后，配置Webhook。点击触发设置，开启Webhook。
开启Webhook触发
Arbess流水线开启Webhook后，将Webhook地址填入GitLab的Webhooks地址，并且按照需求设置触发条件，例如推送触发。
设置Webhook触发
- 查看代码扫描报告
点击测试报告→代码扫描→sourcefare，查看sourcefare代码扫描报告。
查看sourcefare测试报告
点击sourcefare代码扫描报告名称，进入跳转到SourceFare查看详细报告。
查看SourceFare详细报告
问题TAB显示详细问题列表，点击问题列表的问题名称，还可以查看代码详细问题。
查看SourceFare详细问题
SourceFare还可以查看代码重复率、复杂度、覆盖率等信息。
查看SourceFare代码重复率
- 查看运行历史
可以在Arbess历史页面查看到流水线运行历史。点击运行历史序号，即可查看详细的运行日志。
运行历史
至此，使用Arbess成功搭建流水线，用来拉取GitLab源码、使用SourceFare代码扫描，并且设置Webhook触发。
