# Jenkins-Pipline原理 > 本文僅探討jenkins pipline 的原理，是流水線的一個demo版本實現，不能代表Jenkins pipline的具體實現，僅供參考。 ## 1. Jenkins流水線介紹 Jenkinsfile流水線是Jenkins CI/CD工具中用來定義、構 ...
Jenkins-Pipline原理
本文僅探討jenkins pipline 的原理，是流水線的一個demo版本實現，不能代表Jenkins pipline的具體實現，僅供參考。
1. Jenkins流水線介紹
Jenkinsfile流水線是Jenkins CI/CD工具中用來定義、構建和管理軟體交付流程的一種聲明式文件。
它允許將整個軟體交付流程以代碼的形式進行描述，從而實現對軟體交付過程的可追蹤性、可維護性和可擴展性。
Jenkinsfile使用一種基於Groovy的DSL（領域特定語言）來定義流水線，開發人員可以通過編寫Groovy代碼來描述流水線的結構和邏輯。
簡而言之：Jenkinsfile 就是 Groovy腳本。
2. Groovy實現DSL的基礎
Groovy是一種基於JVM的動態語言，它可以直接使用Java類和庫，也可以通過閉包和元編程等特性來實現DSL。
2.1 方法調用
在Groovy中，通常情況下需要使用括弧來調用帶有參數的方法。但是，在一些特定的情況下，也可以省略括弧來調用方法，並將參數作為閉包的一部分傳遞。
def greet(String name) {
println("Hello, $name!")
}
// 使用括弧調用方法
greet("Alice") // 輸出: Hello, Alice!
// 省略括弧，將參數作為閉包的一部分傳遞
greet "Bob" // 輸出: Hello, Bob!
2.2 閉包
閉包可以被視為一個可調用的代碼塊，它可以作為參數傳遞給方法、賦值給變數，以及作為返回值返回。
- 定義閉包：可以使用{}大括弧來定義一個閉包，併在其中編寫代碼塊。例如：
def closure = { param ->
println("Hello, $param!")
}
- 參數傳遞：閉包可以接受零個或多個參數，併在代碼塊中使用這些參數。例如：
def printSum = { a, b ->
println(a + b)
}
- 調用閉包：可以通過將閉包像函數一樣進行調用來執行其中的代碼塊。例如：
closure("Alice") // 輸出: Hello, Alice!
printSum(3, 5) // 輸出: 8
- 作為參數傳遞：閉包可以作為參數傳遞給其他方法，使得方法具有更高的靈活性和可重用性。例如：
def processData(data, closure) {
// 執行某些邏輯...
closure(data)
}
processData("Hello", { input ->
println("Received: $input")
})
2.3 閉包代理
Groovy還提供了閉包代理（Closure Delegate）機制。閉包代理允許在閉包中訪問外部對象的成員變數和方法，而無需顯式地使用點操作符。
以下是一個示例：
class Person {
String name
void sayHello() {
println("Hello, I'm $name")
}
}
def person = new Person(name: "Alice")
def closure = { sayHello() } // 使用閉包代理調用Person對象的sayHello方法
closure.delegate = person
closure() // 輸出: Hello, I'm Alice
在上面的例子中，我們定義了一個名為closure的閉包，其中調用了外部的Person對象的sayHello()方法。
通過將閉包的delegate屬性設置為person對象，我們實現了在閉包中調用person.sayHello()的效果。
3. 從零實現DSL&Jenkinsfile
3.1 使用DSL編寫流水線
實現的流水線如下：
jenkinsfile.groovy
import static Dsl.pipeline
pipeline {
agent any
environment {
SOME_NUMBER = 123
SOME_STRING = "foobar"
}
stages {
stage("Build") {
steps { env ->
sh "ls -la"
sh(script: 'date +%Y-%m-%d', returnStdout: false)
echo "Groovy rocks!"
echo "env.SOME_STRING = ${env.SOME_STRING}"
}
}
stage("Test") {
steps {
sh """
echo "Testing..."
"""
}
}
}
}
3.2 DSL的具體實現
DSL實現代碼如下：
Dsl.groovy
import groovy.transform.NamedParam
import groovy.transform.NamedParams
import groovy.transform.stc.ClosureParams
import groovy.transform.stc.SimpleType
import java.util.concurrent.ConcurrentHashMap
import java.util.concurrent.ConcurrentMap
import static groovy.lang.Closure.DELEGATE_FIRST
import static groovy.lang.Closure.DELEGATE_ONLY
class Dsl {
static void pipeline(@DelegatesTo(value = PipelineDsl, strategy = DELEGATE_ONLY) final Closure closure) {
final PipelineDsl dsl = new PipelineDsl()
closure.delegate = dsl
closure.resolveStrategy = DELEGATE_ONLY
closure.call()
}
}
class PipelineDsl {
// 定義一個占位符常量
final Placeholder any = Placeholder.ANY
// 使用 ConcurrentHashMap 創建環境變數的併發映射
static final ConcurrentMap<String, String> env = [:] as ConcurrentHashMap
// 定義 agent 方法
void agent(final Placeholder any) {
println "Running pipeline using any available agent..."
}
// 定義 environment 方法
void environment(@DelegatesTo(value = Map, strategy = DELEGATE_FIRST) final Closure closure) {
// 將閉包委托給 env 並執行閉包
env.with(closure)
}
// 定義 stages 方法
void stages(@DelegatesTo(value = StagesDsl, strategy = DELEGATE_ONLY) final Closure closure) {
final StagesDsl dsl = new StagesDsl()
closure.delegate = dsl
closure.resolveStrategy = DELEGATE_ONLY
closure.call()
// 遍歷 stages 列表並依次運行每個 stage
dsl.stages.each { stage ->
stage.run()
}
}
// 定義占位符枚舉類
enum Placeholder {
ANY
}
}
class StagesDsl {
// 定義 stages 列表
protected final List<Stage> stages = []
// 定義 stage 方法
void stage(final String name, @DelegatesTo(value = StageDsl, strategy = DELEGATE_ONLY) final Closure closure) {
// 將 stage 添加到 stages 列表中
stages << new Stage(name, closure)
}
}
class Stage {
final String name
final Closure closure
// 定義 Stage 類的構造函數
Stage(String name, Closure closure) {
this.name = name
this.closure = closure
}
// 運行 stage 的方法
void run() {
println "==> Running '${name}' stage..."
final StageDsl dsl = new StageDsl()
closure.delegate = dsl
closure.resolveStrategy = DELEGATE_ONLY
closure.call()
}
}
class StageDsl {
// 定義 steps 方法
void steps(
@DelegatesTo(value = Steps, strategy = DELEGATE_ONLY)
@ClosureParams(value = SimpleType, options = ["java.util.Map"]) final Closure closure) {
final Steps steps = new Steps()
closure.delegate = steps
closure.resolveStrategy = DELEGATE_ONLY
closure.call(PipelineDsl.env)
}
}
class Steps {
// 定義 sh 方法
void sh(final String script) {
sh(script: script, returnStdout: false)
}
// 定義重載的 sh 方法
Object sh(@NamedParams([
@NamedParam(value = "script", type = String, required = true),
@NamedParam(value = "returnStdout", type = Boolean)
]) final Map param) {
// 執行 shell 腳本，並等待執行完成
final Process p = param.script.toString().execute()
p.waitFor()
println "+ ${param.script}"
if (p.exitValue() == 0) {
if (param.returnStdout) {
return p.text
}
println p.text
} else {
println p.err.text
}
}
// 定義 echo 方法
void echo(final String message) {
println "[ECHO] ${message}"
}
}
該DSL提供了以下功能：
- pipeline 方法用於定義整個流水線。它接受一個閉包作為參數，其中可以定義運行流水線所需的各種配置。
- agent 方法表示使用任意可用的代理運行流水線。
- environment 方法用於配置環境變數。它接受一個閉包作為參數，其中可以設置環境變數的鍵值對。
- stages 方法用於定義流水線的階段。它接受一個閉包作為參數，其中可以定義流水線的各個階段。
- stage 方法用於定義單個階段。它接受一個階段名稱和一個閉包作為參數，並將階段添加到流水線中。
- steps 方法用於定義階段的步驟。它接受一個閉包作為參數，並將步驟委托給內部的 Steps 類處理。
- sh 方法用於執行 shell 腳本。它可以接受一個字元串參數表示腳本，或者一個帶有 script 和 returnStdout 鍵的映射參數。如果腳本執行成功，則會列印腳本的輸出；否則，會列印錯誤信息。
- echo 方法用於列印出一個帶有首碼 [ECHO] 的消息。
通過組合這些方法，可以使用簡潔且易讀的代碼來定義流水線配置，並執行其中的步驟和操作。
3.3 執行流水線
jenkinsfile.groovy可以直接通過 groovy jenkinsfile.groovy 命令執行；
執行結果如下：
$ groovy jenkinsfile.groovy
Running pipeline using any available agent...
==> Running 'Build' stage...
+ ls -la
razem 32
drwxrwxr-x 5 wololock wololock 4096 04-07 18:20 .
drwxrwxr-x. 45 wololock wololock 4096 04-04 12:47 ..
drwxrwxr-x 3 wololock wololock 4096 04-04 12:48 com
drwxrwxr-x 7 wololock wololock 4096 04-07 18:20 .git
-rw-rw-r-- 1 wololock wololock 29 04-07 18:19 .gitignore
drwxrwxr-x 2 wololock wololock 4096 04-07 18:19 .idea
-rw-rw-r-- 1 wololock wololock 1016 04-04 13:23 jenkinsfile.groovy
-rw-rw-r-- 1 wololock wololock 23 04-07 18:20 README.md
+ date +%Y-%m-%d
2020-04-07
[ECHO] Groovy rocks!
[ECHO] env.SOME_STRING = foobar
==> Running 'Test' stage...
+ mvn -version
Apache Maven 3.5.4 (1edded0938998edf8bf061f1ceb3cfdeccf443fe; 2018-06-17T20:33:14+02:00)
Maven home: /home/wololock/.sdkman/candidates/maven/current
Java version: 1.8.0_232, vendor: Oracle Corporation, runtime: /home/wololock/.sdkman/candidates/java/8.0.232-open/jre
Default locale: pl_PL, platform encoding: UTF-8
OS name: "linux", version: "5.5.10-100.fc30.x86_64", arch: "amd64", family: "unix"
3.4 流水線調用流程分析
// 靜態導入列pipline方法
import static Dsl.pipeline
// 調用pipeline方法, 傳入一個閉包; 方法調用可以省略（） ； pipline {...} 等同於 pipeline({ ... })
pipeline { // pipeline的參數是一個閉包，該閉包被委托給PipelineDsl類處理，所以在閉包內可以直接調用PipelineDsl內部的方法
// 調用PipelineDsl#agent(any)
agent any
// 調用PipelineDsl#environment(closure)
environment {
SOME_NUMBER = 123
SOME_STRING = "foobar"
}
// 調用PipelineDsl#stages(closure)
stages { // stages的參數是一個閉包，該閉包被委托給StagesDsl類處理,所以可以直接調用StagesDsl內部的方法
// 調用StagesDsl#stage(name, closure)
stage("Build") { // stage的參數是一個閉包，該閉包被委托給StageDsl類處理,所以可以直接調用StageDsl內部的方法
// 調用StageDsl#steps(closure)
steps { env -> // steps的參數是一個閉包，該閉包被委托給Steps類處理,所以可以直接調用Steps內部的方法
// 調用Steps#sh(script)
sh "ls -la"
// 調用Steps#sh(script, returnStdout)
sh(script: 'date +%Y-%m-%d', returnStdout: false)
// 調用Steps#echo(message)
echo "Groovy rocks!"
// 調用Steps#echo(message)
echo "env.SOME_STRING = ${env.SOME_STRING}"
}
}
// 省略...
stage("Test") {
steps {
sh """
echo "Testing..."
"""
}
}
}
}
The end.
參考資料:
Groovy DSL Quickstart:
https://github.com/wololock/groovy-dsl-quickstart
