027.掌握Service-Ingress使用_ZenDei技術網路在線

一 Ingress簡介 1.1 Ingress 通常Service的表現形式為IP:Port，即工作在TCP/IP層。對於基於HTTP的服務來說，不同的URL地址經常對應到不同的後端服務（RS）或者虛擬伺服器（ Virtual Host），這些應用層的轉發機制僅通過Kubernetes的Servi ...

一 Ingress簡介

1.1 Ingress

通常Service的表現形式為IP:Port，即工作在TCP/IP層。對於基於HTTP的服務來說，不同的URL地址經常對應到不同的後端服務（RS）或者虛擬伺服器（ Virtual Host），這些應用層的轉發機制僅通過Kubernetes的Service機制是無法實現的。從Kubernetes 1.1版本開始新增Ingress資源對象，用於將不同URL的訪問請求轉發到後端不同的Service，以實現HTTP層的業務路由機制。 Kubernetes使用了一個Ingress策略定義和一個具體的Ingress Controller，兩者結合併實現了一個完整的Ingress負載均衡器。使用Ingress進行負載分發時，Ingress Controller基於Ingress規則將客戶端請求直接轉發到Service對應的後端Endpoint（Pod）上，從而跳過kube-proxy的轉發功能，kube-proxy不再起作用。簡單的理解就是：ingress使用DaemonSet在每個Node上監聽80，然後配合相應規則，因為Nginx外面綁定了宿主機80埠（就像 NodePort），本身又在集群內，那麼向後直接轉發到相應ServiceIP即可實現相應需求。ingress controller + ingress 規則 ----> services。同時當Ingress Controller提供的是對外服務，則實際上實現的是邊緣路由器的功能。典型的HTTP層路由的架構：

如上所示：對http://uclouda.com/api的訪問將被路由到後端名為api的Service；對http://uclouda.com/web的訪問將被路由到後端名為web的Service；對http://uclouda.com/docs的訪問將被路由到後端名為docs的Service。

二 Ingress創建

為使用Ingress，需要創建Ingress Controller（帶一個預設backend服務）和Ingress策略設置來共同完成。 Ingree創建通過分為：Ingress Controller吃、Ingress策略配置、客戶端訪問Ingress提供的服務。

2.1 創建Ingress Controller

在定義Ingress策略之前，需要先部署Ingress Controller，以實現為所有後端Service都提供一個統一的入口。 Ingress Controller需要實現基於不同HTTP URL向後轉發的負載分發規則，並可以靈活設置7層負載分發策略。如果公有雲服務商能夠提供該類型的HTTP路由LoadBalancer，則也可設置其為Ingress Controller。在Kubernetes中，Ingress Controller將以Pod的形式運行，監控APIServer的/ingress介面後端的backend services。如果Service發生變化，則Ingress Controller應自動更新其轉發規則。示例1：該例子使用Nginx來實現一個Ingress Controller，需要實現的基本邏輯如下：（1）監聽API Server，獲取全部Ingress的定義。（2）基於Ingress的定義，生成Nginx所需的配置文件/etc/nginx/nginx.conf。（3）執行nginx -s reload命令，重新載入nginx.conf配置文件的內容。 [root@k8smaster01 study]# vi nginx-ingress-daemonset.yaml

  1 apiVersion: extensions/v1beta1
  2 kind: DaemonSet
  3 metadata:
  4   name: nginx-ingress-lb
  5   labels:
  6     name: nginx-ingress-lb
  7   namespace: default
  8 spec:
  9   template:
 10     metadata:
 11       labels:
 12         name: nginx-ingress-lb
 13     spec:
 14       terminationGracePeriodSeconds: 60
 15       containers:
 16       - image: gcr.azk8s.cn/google_containers/nginx-ingress-controller:0.9.0-beta.2
 17         name: nginx-ingress-lb
 18         readinessProbe:
 19           httpGet:
 20             path: /healthz
 21             port: 10254
 22             scheme: HTTP
 23         livenessProbe:
 24           httpGet:
 25             path: /healthz
 26             port: 10254
 27             scheme: HTTP
 28           initialDelaySeconds: 10
 29           timeoutSeconds: 1
 30         ports:
 31         - containerPort: 80
 32           hostPort: 80
 33         - containerPort: 443
 34           hostPort: 443
 35         env:
 36           - name: POD_NAME
 37             valueFrom:
 38               fieldRef:
 39                 fieldPath: metadata.name
 40           - name: POD_NAMESPACE
 41             valueFrom:
 42               fieldRef:
 43                 fieldPath: metadata.namespace
 44         args:
 45         - /nginx-ingress-controller
 46         - --default-backend-service=$(POD_NAMESPACE)/default-http-backend

釋義：如上Nginx容器設置了hostPort，將容器應用監聽的80和443埠號映射到物理機上，使得客戶端應用可以通過URL地址“http://物理機IP:80”或“https://物理機IP:443”來訪問該Ingress Controller。使得Nginx類似於通過NodePort映射到物理機的Service，成為代替kube-proxy的HTTP層的Load Balancer。提示：本示例使用谷歌提供的nginx-ingress-controller鏡像來創建IngressController。該Ingress Controller以daemonset的形式進行創建，在每個Node上都將啟動一個Nginx服務。 [root@k8smaster01 study]# vi default-backend.yaml

  1 apiVersion: extensions/v1beta1
  2 kind: Deployment
  3 metadata:
  4   name: default-http-backend
  5   labels:
  6     k8s-app: default-http-backend
  7   namespace: default
  8 spec:
  9   replicas: 1
 10   template:
 11     metadata:
 12       labels:
 13         k8s-app: default-http-backend
 14     spec:
 15       terminationGracePeriodSeconds: 60
 16       containers:
 17       - name: default-http-backend
 18         image: gcr.azk8s.cn/google_containers/defaultbackend:1.0
 19         livenessProbe:
 20           httpGet:
 21             path: /healthz
 22             port: 8080
 23             scheme: HTTP
 24           initialDelaySeconds: 30
 25           timeoutSeconds: 5
 26         ports:
 27         - containerPort: 8080
 28         resources:
 29           limits:
 30             cpu: 10m
 31             memory: 20Mi
 32           requests:
 33             cpu: 10m
 34             memory: 20Mi
 35 ---
 36 apiVersion: v1
 37 kind: Service
 38 metadata:
 39   name: default-http-backend
 40   namespace: default
 41   labels:
 42     k8s-app: default-http-backend
 43 spec:
 44   ports:
 45   - port: 80
 46     targetPort: 8080
 47   selector:
 48     k8s-app: default-http-backend

釋義：為使ingress controller正常啟動，需要設置一個預設的backend，用於在客戶端訪問URL地址不存在時，返回一個正確的404應答。 [root@k8smaster01 study]# kubectl create -f default-backend.yaml #創建預設的backend服務 [root@k8smaster01 study]# kubectl create -f nginx-ingress-daemonset.yaml #創建ingress controller 提示：若提示forbidden: User “system:serviceaccount:default:default” cannot……，可通過以下方式解決： kubectl create rolebinding default --clusterrole=edit --serviceaccount=default:default --namespace=default 有關edit角色的許可權可通過如下方式查看： [root@k8smaster01 study]# kubectl describe clusterrole edit 提示：將預設service account與集群角色etid相關聯，該角色視圖使pod能夠列出資源。 [root@k8smaster01 study]# curl k8smaster01 #測試nginx-ingress所在的節點訪問 default backend - 404 提示：如上404為所有服務異常的時候ingress所轉發的預設404錯誤網頁。

2.2 定義ingress策略

基於《002.Kubernetes簡單入門實例》中的實驗，本環境將demo通過nodeport暴露於http://172.24.8.71:30001/demo/。同時在宿主機添加如下hosts，以便於測試ingress。 172.24.8.71 mywebsite.com 對mywebsite.com網站的訪問設置Ingress策略，如下定義的ingress策略對其/demo路徑的訪問轉發到後端webapp Service。 [root@k8smaster01 study]# vi nginx-ingress-policy.yaml

  1 apiVersion: extensions/v1beta1
  2 kind: Ingress
  3 metadata:
  4   name: mywebsite-ingress
  5 spec:
  6   rules:
  7   - host: mywebsite.com
  8     http:
  9       paths:
 10       - path: /demo
 11         backend:
 12           serviceName: myweb
 13           servicePort: 8080

[root@k8smaster01 study]# kubectl get pods #查看相關Pod

  1 Pod
  2 NAME                                   READY   STATUS    RESTARTS   AGE
  3 ……
  4 mysql-m652j                            1/1     Running   0          21m		#入門實例中的mysql，用於測試
  5 myweb-gnhk4                            1/1     Running   0          20m
  6 myweb-vzg58                            1/1     Running   0          20m		#入門實例中的myweb，用於測試
  7 nginx-ingress-lb-6mj49                 1/1     Running   0          16m
  8 nginx-ingress-lb-7z74c                 1/1     Running   0          16m
  9 nginx-ingress-lb-9wlpd                 1/1     Running   0          16m
 10 nginx-ingress-lb-flgvs                 1/1     Running   0          16m
 11 nginx-ingress-lb-gcczc                 1/1     Running   0          16m
 12 nginx-ingress-lb-hcfg6                 1/1     Running   0          16m		#2.1中的ingress-lb

[root@k8smaster01 study]# kubectl get svc #查看相關SVC

  1 SVC
  2 NAME                       TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)
  3 default-http-backend       ClusterIP   10.254.236.120   <none>        80/TCP	#預設的backend svc
  4 ……
  5 mysql                      ClusterIP   10.254.84.247    <none>        3306/TCP	#入門實例中的mysql svc，用於測試
  6 myweb                      NodePort    10.254.119.124   <none>        8080:30001/TCP	#入門實例中的myweb svc，用於測試

[root@k8smaster01 study]# kubectl create -f nginx-ingress-policy.yaml #檢查完畢後創建該ingress [root@k8smaster01 study]# kubectl get ingresses -o wide #查看ingress

  1 ingress
  2 NAME                HOSTS           ADDRESS   PORTS   AGE
  3 mywebsite-ingress   mywebsite.com             80      9m12s

解釋：如上ingress定義，說明對目標地址http://mywebsite.com/demo的訪問將被轉發到集群中的Service webapp即webapp:8080/demo上。更多ingress策略配置方法見2.4。 註意：在Ingress生效之前，需要先將webapp服務部署完成。同時需要註意Ingress中path的定義，需要與後端真實Service提供的path一致，否則將被轉發到一個不存在的path上，引發錯誤。

2.3 測試訪問

由於Ingress Controller容器通過hostPort將服務埠號80映射到了所有Node上，結合ingress controller和ingress規則配合，客戶端可以通過任意Node訪問mywebsite.com提供的服務。從而實現訪問http://mywebsite.com/demo轉發至myweb的service，myweb的service又具有如下兩個作用：

將後端Pod的8080暴露於nodeport的30001（因此入門實例可以通過nodeport的30001直接訪問服務）；

後端selector選擇了真正實現功能的tomcat pod。

瀏覽器：http://mywebsite.com/demo/

2.4 Ingress策略配置詳解

為了實現靈活的負載分發策略，Ingress策略可以按多種方式進行配置，如下為幾種常見的Ingress轉發策略配置。

轉發到單個後端服務上

基於這種設置，客戶端到Ingress Controller的訪問請求都將被轉發到後端的唯一Service上，在這種情況下Ingress無須定義任何rule。通過如下所示的設置，對Ingress Controller的訪問請求都將被轉發到“myweb:8080”這個服務上。

  1 apiVersion: extensions/v1beta1
  2 kind: Ingress
  3 metadata:
  4   name: test-ingress
  5 spec:
  6   backend:
  7     serviceName: myweb
  8     servicePort: 8080

同一功能變數名稱下，不同的URL路徑被轉發到不同的服務上

這種配置常用於一個網站通過不同的路徑提供不同的服務的場景，例如/web表示訪問Web頁面，/api表示訪問API介面，對應到後端的兩個服務，通過Ingress的設置很容易就能將基於URL路徑的轉發規則定義出來。通過如下所示的設置，對“mywebsite.com/web”的訪問請求將被轉發到“web-service:80”服務上；對“mywebsite.com/api”的訪問請求將被轉發到“api-service:80”服務上。

  1 apiVersion: extensions/v1beta1
  2 kind: Ingress
  3 metadata:
  4   name: test-ingress
  5 spec:
  6   rules:
  7   - host: mywebsite.com
  8     http:
  9       paths:
 10       - path: /demo
 11         backend:
 12           serviceName: myweb
 13           servicePort: 8080
 14       - path: /api
 15         backend:
 16           serviceName: myapi
 17           servicePort: 8081

不同的功能變數名稱（虛擬主機名）被轉發到不同的服務上

這種配置常用於一個網站通過不同的功能變數名稱或虛擬主機名提供不同服務的場景，例如foo.bar.com功能變數名稱由service1提供服務，bar.foo.com功能變數名稱由 service2提供服務。通過如下所示的設置，對“foo.bar.com”的訪問請求將被轉發到“service1:80”服務上; 對“bar.foo.com”的訪問請求將被轉發到“service2:80”服務上。

  1 apiVersion: extensions/v1beta1
  2 kind: Ingress
  3 metadata:
  4   name: test-ingress
  5 spec:
  6   rules:
  7   - host: foo.bar.com
  8     http:
  9       paths:
 10       - backend:
 11           serviceName: service1
 12           servicePort: 8080
 13    - host: bar.foo.com
 14     http:
 15       paths:
 16       - backend:
 17           serviceName: service2
 18           servicePort: 8080

不使用功能變數名稱的轉發規則

這種配置用於一個網站不使用功能變數名稱直接提供服務的場景，此時通過任意一臺運行ingress-controller的Node都能訪問到後端的服務。下麵的配置為將“<ingresscontroller-ip>/demo”的訪問請求轉發到“webapp:8080/demo”服務上：

  1 apiVersion: extensions/v1beta1
  2 kind: Ingress
  3 metadata:
  4   name: test-ingress
  5 spec:
  6   rules:
  7   - http:
  8       paths:
  9       - path: /demo
 10         backend:
 11           serviceName: myweb
 12           servicePort: 8080

註意：使用無功能變數名稱的Ingress轉發規則時，將預設禁用非安全HTTP，強制啟用HTTPS，只有使用HTTPS才能夠訪問成功。例如，當使用Nginx作為Ingress Controller時，在其配置文件/etc/nginx/nginx.conf中將會自動設置下麵的規則，將全部HTTP的訪問請求直接返回301錯誤：

  1 ……
  2 if (%pass_access_scheme = http) {
  3     return 301 https://$best_http_host$request_uri;
  4 }
  5 ……

如上強制策略也可以在Ingress的定義中設置一個annotation“ingress.kubernetes.io/sslredirect=false”來關閉強制啟用HTTPS的設置。

  1 apiVersion: extensions/v1beta1
  2 kind: Ingress
  3 metadata:
  4   name: test-ingress
  5   annotations:
  6     ingress.kubernetes.io/ssl-redirect: "false"
  7 spec:
  8   rules:
  9   - http:
 10       paths:
 11       - path: /demo
 12         backend:
 13           serviceName: myweb
 14           servicePort: 8080

如上設置後，也可通過http進行訪問。

三 Ingress TLS

3.1 Ingress TLS配置步驟

Ingress同時提供HTTPS的安全訪問配置，可以在Ingress中的功能變數名稱進行TLS安全證書的設置。設置的步驟如下。

創建自簽名的密鑰和SSL證書文件。

將證書保存到Kubernetes中的一個Secret資源對象上。

將該Secret對象設置到Ingress中。

根據提供服務的網站功能變數名稱是一個還是多個，可以使用不同的操作完成前兩步SSL證書和Secret對象的創建，在只有一個功能變數名稱的情況下設置相對簡單。第3步對於這兩種場景來說是相同的。

3.2 單功能變數名稱TLS設置

對於只有一個功能變數名稱的場景來說，可以通過OpenSSL工具直接生成密鑰和證書文件，將命令行參數-subj中的/CN設置為網站功能變數名稱：

創建自簽名證書

  1 [root@k8smaster01 study]# openssl req -x509 -nodes -days 3650 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/CN=mywebsite.com"

提示：更多證書創建知識參考《附008.Kubernetes TLS證書介紹及創建》。

創建secret對象

方法一：kubectl create secret命令行方式

[root@k8smaster01 study]# kubectl create secret tls mywebsite-ingress-secret --key tls.key --cert tls.crt

方法二：編輯mywebsite-ingress-secret.yaml文件

[root@k8smaster01 study]# vi mywebsite-ingress-secret.yaml

  1 apiVersion: v1
  2 kind: Secret
  3 metadata:
  4   name: mywebsite-ingress-secret
  5   namespace: default
  6 type: kubernetes.io/tls
  7 data:
  8   tls.crt: MIIDAzCCAeugAwIBAgIJAP5FWrsNH3MMMA0GCSqGSIb3DQEBCwUAMBgxFjAUBgNVBAMMDW15d2Vic2l0ZS5jb20wHhcNMTkxMTI2MDkxODA2WhcNMjkxMTIzMDkxODA2WjAYMRYwFAYDVQQDDA1teXdlYnNpdGUuY29tMIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAwxh45nxBk3ROD1Dl6NWa+PGgQWcty3Mcu57RyNFTQ2MOOZ0l53kML9cuLau4OJqk7yvI6rKhtNP5kMNzFrdrsL5cX44wItO3XA2GtO7r7t7PrTwoDskGqQiz0yDw0Ya1TpkOFbCA9VphojXHAL77s2YUG1sZrOSUU0SL3H0v8xUnKIiUPzRCzBqGFUeR7zDuATFQbjrkHUWiPIQ9/7n4YVj35ChHhWco4kuP4RL6l5lZqegYxx2vkSgGWcmJor2d+8Qiv3t5HPrZcKrSnWdWvpZ9IPA8iT6Yl9lmk9cmoVcB9mXklbhm0fs2/S8vvyrCt7GO0PyIyQ2uGiQIBbIZ0QIDAQABo1AwTjAdBgNVHQ4EFgQU/Ji8BRdqF54yhOXkFxQgpeePUpYwHwYDVR0jBBgwFoAU/Ji8BRdqF54yhOXkFxQgpeePUpYwDAYDVR0TBAUwAwEB/zANBgkqhkiG9w0BAQsFAAOCAQEAeN95smuD4mG9zqAn7r1/FTt2OkTxofj7Q9x5ccoLDYJmBv8whbs0/oF0NOYwdsLJirrF0xuWksWvMFpPRJiNe/4c8nYPdPDaUsxcS2fesvvBL5Dw45J6RBIAFKNyoC9wtwtPR88oes82y7WlrgvML83bC9B5cB+HnJzPoWPArgUvPZeZxcQw3Vq088axdyOZBV27rWNKNCFWKve+TF+vt3zD0FeDOYCTY94HRfRzjKimRadrnEl4+w4j+dYMjwuy4CEFSwW7pb/AntWTcjQWBTuWyqvNTIG9+Vchz+YjRZG1P/AInkl4J/QmS1cvCN2zKVFyZS5DdlIX1wvsI93C3A==
 13   tls.key: MIIEvgIBADANBgkqhkiG9w0BAQEFAASCBKgwggSkAgEAAoIBAQDDGHjmfEGTdE4PUOXo1Zr48aBBZy3Lcxy7ntHI0VNDYw45nSXneQwv1y4tq7g4mqTvK8jqsqG00/mQw3MWt2uwvlxfjjAi07dcDYa07uvu3s+tPCgOyQapCLPTIPDRhrVOmQ4VsID1WmGiNccAvvuzZhQbWxms5JRTRIvcfS/zFScoiJQ/NELMGoYVR5HvMO4BMVBuOuQdRaI8hD3/ufhhWPfkKEeFZyjiS4/hEvqXmVmp6BjHHa+RKAZZyYmivZ37xCK/e3kc+tlwqtKdZ1a+ln0g8DyJPpiX2WaT1yahVwH2ZeSVuGbR+zb9Ly+/KsK3sY7Q/IjJDa4aJAgFshnRAgMBAAECggEAKFAYO1gVnMh9kMCgoTnyKdqTyK/vUIjauRIaOyq1z8jaGaGVQX1LvV7zVdCT4m5iAmHDxGtg6qKagQVB9MG16PGM2NnirG+fBdBts1ljOxqjQyKZDGURkUARGGFIIaN6N2F8/ZJZM1mXrxL5qffMvscrBHQQnB8nXwVc+RSNIecx7UQ1nGjhfabfywwVRT8PpjxKN35+bbFUEKPPf4sh3hf7B7+aZZep7Y32AXUtJUH8MKXo98QJ22kZja4zZI96O/q2s10CXv13x7FHOlaNtxha5qWW7lynWm4q7dKvZ0gF2Yd59/Nry3p6oGGAkBcDTR9T11BBEYMoQYx1BYdKoQKBgQD+RRbKQq8b24zrPPU3jFANDG9IKyjMEjdxQzPUgNjEXKdwA/Ge37Byzgjkf2bWPUCJb7Gzt6PHEnYHTxP1zWc1iM0r10qRHI5+J+dFtaleJdzm/sRiIta5QVLuwy+giKFdmbwA1d4Frl93DivexFj153LRCHsHJcLWK15GwC1IXQKBgQDEbE7WaePmzoTOV2XRfrykNiEv7U7acy8gfXTbT5HRIF89GJyMpYYF8e6+S/K3/HKSP2PsWDz35K8ax0OQrk2LvAe9DxA+sjNwxnTam8oRmDG9xoPD8VvuLRivUVxzftcxxgKindZNC78F3NzPRGcKeeq2jLqqUvIJQlpoC1NwBQKBgCl0oDOXza7wC7iqtpw43zBRb69Hgh5LdgicWU3zN+RD6vSjX/h0JfOBzgdbEiwpzmTZ9hIEBcrGIsIsTWfM9l/PDwxvzHN+QWkmHlnKNXPpHmv265PIdFO958SPxCsbO5vkHbfRJqKsfFoP0G1Ae/STqK+V/2D58hsy9Or6GCftAoGBAJeVPgIaFda46aSTre/ObqYLX/Esof3Thjr8loHpFg7dfKIZrDaeRp+v5R7WXam/GGvkn6h1MBfeU4PG4010NkPwB8jPJyo7O5d8kBFkyLxrR3e9C1LboKZeBv7FOyOmb0vqE36LcCZlOjW8DGunzh03mPrn/+YRvNeIbVx94RZBAoGBAIpirteUaXDZWTUH2i0uPrBeVYMJQWZGu4BCqnAVCP/wWERY2O7tPgUSRyd5Alg0VpmU0tkmaWj7Wejbs9KYjNNvLfmleR771aIgE/cL4Lp3ijvSHaQEFPob3HKoC0LR2Cw0jH6wX1B1MT5ymIIlXYn3aAmu790HbwySwjrxkmAY

[root@k8smaster01 study]# kubectl create -f mywebsite-ingress-secret #創建TLS的secret 繼續創建Ingress對象，同時在tls段引用剛剛創建好的Secret對象即可。 [root@k8smaster01 study]# vi mywebsite-ingress-tls.yaml

  1 apiVersion: extensions/v1beta1
  2 kind: Ingress
  3 metadata:
  4   name: mywebsite-ingress-tls
  5 spec:
  6   tls:
  7   - hosts:
  8     - mywebsite.com
  9     secretName: mywebsite-ingress-secret
 10   rules:
 11   - host: mywebsite.com
 12     http:
 13       paths:
 14       - path: /demo
 15         backend:
 16           serviceName: myweb
 17           servicePort: 8080

[root@k8smaster01 study]# kubectl create -f mywebsite-ingress-tls.yaml 然後可以通過HTTPS來訪問mywebsite.com了。 [root@k8smaster02 ~]# curl -H 'Host:mywebsite.com' -k https://172.24.8.71/demo/ #測試訪問
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"> 瀏覽器訪問測試：https://mywebsite.com/demo/

3.3 多功能變數名稱TLS設置

如果提供服務的網站不止一個功能變數名稱，例如2.4所述的第3種Ingress策略配置方式，則SSL證書需要使用額外的一個x509 v3配置文件輔助完成，在[alt_names]段中完成多個DNS功能變數名稱的設置。 [root@k8smaster01 study]# vi openssl.cnf

  1 [req]
  2 req_extensions = v3_req
  3 distinguished_name = req_distinguished_name
  4 [req_distinguished_name]
  5 [ v3_req ]
  6 basicConstraints = CA:FALSE
  7 keyUsage = nonRepudiation, digitalSignature, keyEncipherment
  8 subjectAltName = @alt_names
  9 [alt_names]
 10 DNS.1 = mywebsite.com
 11 DNS.2 = mywebsite2.com

[root@k8smaster01 study]# openssl genrsa -out ca.key 2048 [root@k8smaster01 study]# openssl req -x509 -new -nodes -key ca.key -days 3650 -out ca.crt -subj "/CN=mywebsite.com" #生成自簽名CA證書 [root@k8smaster01 study]# openssl genrsa -out ingress.key 2048 [root@k8smaster01 study]# openssl req -new -key ingress.key -out ingress.csr -subj "/CN=mywebsite.com" -config openssl.cnf #基於openssl.cnf和CA證書生成ingress SSL證書 [root@k8smaster01 study]# openssl x509 -req -in ingress.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out ingress.crt -days 3650 -extensions v3_req -extfile openssl.cnf 然後根據ingress.key和ingress.crt文件創建secret資源對象，同樣可以通過kubectl create secret tls命令或YAML配置文件生成（參考3.2方法）。 [root@k8smaster01 study]# kubectl create secret tls mywebsite-ingress-secret --key ingress.key --cert ingress.crt 繼續創建Ingress對象，同時在tls段引用剛剛創建好的Secret對象即可。測試及訪問參考3.2即可。