程式碼研究室簡介
1. 簡介
軟體安全漏洞是指可能導致意外系統故障,或讓不肖人士入侵軟體的弱點。Container Analysis 提供兩種 OS 掃描功能,用於找出容器中的安全漏洞:
- On-Demand Scanning API 可讓您透過本機電腦或在 Container Registry 或 Artifact Registry 中,手動掃描容器映像檔,檢查是否有 OS 安全漏洞。
- Container Scanning API 可讓您自動執行 OS 安全漏洞的偵測功能,並在每次將映像檔推送至 Container Registry 或 Artifact Registry 時掃描。啟用這個 API 後,語言套件也會掃描,檢查 Go 和 Java 的安全漏洞。
On-Demand Scanning API 可讓您掃描儲存在本機電腦上,或遠端儲存在 Container Registry 或 Artifact Registry 中的映像檔。這可讓您精細地控管要掃描的容器,檢查是否含有安全漏洞。您可以先使用隨選掃描功能掃描 CI/CD 管道中的映像檔,再決定是否要將映像檔儲存在登錄檔中。
課程內容
本研究室將說明:
- 透過 Cloud Build 建立映像檔
- 使用 Artifact Registry for Containers
- 運用自動安全漏洞掃描功能
- 設定隨選掃描
- 在 Cloud Build 的 CICD 中新增映像檔掃描功能
2. 設定和需求
自修環境設定
- 登入 Google Cloud 控制台,建立新專案或重複使用現有專案。如果您還沒有 Gmail 或 Google Workspace 帳戶,請先建立帳戶。
- 「專案名稱」是這項專案參與者的顯示名稱。這是 Google API 未使用的字元字串。您隨時可以更新這項資訊。
- 所有 Google Cloud 專案的專案 ID 均不得重複,而且設定後即無法變更。Cloud 控制台會自動產生一個不重複的字串。但通常是在乎它何在在大部分的程式碼研究室中,您必須參照專案 ID (通常為
PROJECT_ID
)。如果您對產生的 ID 不滿意,可以隨機產生一個 ID。此外,您也可以自行嘗試,看看系統是否提供該付款方式。在完成這個步驟後就無法變更,而且在專案期間仍會保持有效。 - 資訊中的第三個值是專案編號,部分 API 會使用這個編號。如要進一步瞭解這三個值,請參閱說明文件。
- 接下來,您需要在 Cloud 控制台中啟用計費功能,才能使用 Cloud 資源/API。執行這個程式碼研究室並不會產生任何費用,如果有的話。如要關閉資源,以免系統產生本教學課程結束後產生的費用,您可以刪除自己建立的資源,或刪除整個專案。Google Cloud 的新使用者符合 $300 美元免費試用計畫的資格。
環境設定
在 Cloud Shell 中,設定專案的專案 ID 和專案編號。請將其儲存為 PROJECT_ID
和 PROJECT_ID
變數。
export PROJECT_ID=$(gcloud config get-value project)
export PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID \
--format='value(projectNumber)')
啟用服務
啟用所有必要服務:
gcloud services enable \
cloudkms.googleapis.com \
cloudbuild.googleapis.com \
container.googleapis.com \
containerregistry.googleapis.com \
artifactregistry.googleapis.com \
containerscanning.googleapis.com \
ondemandscanning.googleapis.com \
binaryauthorization.googleapis.com
3. 使用 Cloud Build 建構映像檔
在本節中,您將建立自動化建構管道來建構容器映像檔,然後掃描並評估結果。如果沒有發現重大安全漏洞,就會將映像檔推送至存放區。如果我們發現重大安全漏洞,版本就會失敗並結束。
為 Cloud Build 服務帳戶提供存取權
Cloud Build 必須取得權限,才能存取隨選掃描 API。使用下列指令提供存取權。
gcloud projects add-iam-policy-binding ${PROJECT_ID} \
--member="serviceAccount:${PROJECT_NUMBER}@cloudbuild.gserviceaccount.com" \
--role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding ${PROJECT_ID} \
--member="serviceAccount:${PROJECT_NUMBER}@cloudbuild.gserviceaccount.com" \
--role="roles/ondemandscanning.admin"
建立工作目錄並變更為工作目錄
mkdir vuln-scan && cd vuln-scan
定義範例圖片
建立名為 Dockerfile 的檔案,其中含有以下內容。
cat > ./Dockerfile << EOF
FROM gcr.io/google-appengine/debian9@sha256:ebffcf0df9aa33f342c4e1d4c8428b784fc571cdf6fbab0b31330347ca8af97a
# System
RUN apt update && apt install python3-pip -y
# App
WORKDIR /app
COPY . ./
RUN pip3 install Flask==1.1.4
RUN pip3 install gunicorn==20.1.0
CMD exec gunicorn --bind :$PORT --workers 1 --threads 8 --timeout 0 main:app
EOF
建立名為 main.py 的檔案,其中含有下列內容
cat > ./main.py << EOF
import os
from flask import Flask
app = Flask(__name__)
@app.route("/")
def hello_world():
name = os.environ.get("NAME", "Worlds")
return "Hello {}!".format(name)
if __name__ == "__main__":
app.run(debug=True, host="0.0.0.0", port=int(os.environ.get("PORT", 8080)))
EOF
建立 Cloud Build 管道
下列指令會在目錄中建立要用於自動化程序的 cloudbuild.yaml 檔案。在本例中,這些步驟僅適用於容器建構程序。不過,在實務上,除了容器步驟之外,您還會加入應用程式專屬的操作說明和測試。
使用下列指令建立檔案。
cat > ./cloudbuild.yaml << EOF
steps:
# build
- id: "build"
name: 'gcr.io/cloud-builders/docker'
args: ['build', '-t', 'us-central1-docker.pkg.dev/${PROJECT_ID}/artifact-scanning-repo/sample-image', '.']
waitFor: ['-']
EOF
執行持續整合管道
提交版本進行處理
gcloud builds submit
查看建構作業詳細資料
建構程序開始透過 Cloud Build 資訊主頁查看進度後。
- 在 Cloud 控制台中開啟 Cloud Build
- 按一下建構作業即可查看內容
4. 適用於容器的 Artifact Registry
建立 Artifact Registry 存放區
在這個研究室中,您將使用 Artifact Registry 來儲存及掃描映像檔。使用下列指令建立存放區。
gcloud artifacts repositories create artifact-scanning-repo \
--repository-format=docker \
--location=us-central1 \
--description="Docker repository"
設定 Docker,在存取 Artifact Registry 時利用 gcloud 憑證。
gcloud auth configure-docker us-central1-docker.pkg.dev
更新 Cloud Build 管道
請修改建構管道,將產生的映像檔推送至 Artifact Registry
cat > ./cloudbuild.yaml << EOF
steps:
# build
- id: "build"
name: 'gcr.io/cloud-builders/docker'
args: ['build', '-t', 'us-central1-docker.pkg.dev/${PROJECT_ID}/artifact-scanning-repo/sample-image', '.']
waitFor: ['-']
# push to artifact registry
- id: "push"
name: 'gcr.io/cloud-builders/docker'
args: ['push', 'us-central1-docker.pkg.dev/${PROJECT_ID}/artifact-scanning-repo/sample-image']
images:
- us-central1-docker.pkg.dev/${PROJECT_ID}/artifact-scanning-repo/sample-image
EOF
執行持續整合管道
提交版本進行處理
gcloud builds submit
5. 自動掃描安全漏洞
每當您將新映像檔推送至 Artifact Registry 或 Container Registry 時,系統都會自動觸發構件掃描功能。如果發現新的安全漏洞,系統會持續更新安全漏洞資訊。在本節中,您會查看剛建構並推送至 Artifact Registry 的映像檔,並探索安全漏洞結果。
查看圖片詳細資料
先前的建構程序在 Artifact Registry 資訊主頁中檢查映像檔和安全漏洞結果後,
- 在 Cloud 控制台中開啟 Artifact Registry
- 點選 Artifact-Scanning-repo 來查看內容
- 點進圖片詳細資料
- 點按至映像檔的最新摘要
- 掃描完成後,按一下映像檔的「安全漏洞」分頁標籤
在「安全漏洞」分頁中,您可以查看剛剛建構的映像檔自動掃描結果。
自動掃描功能預設為啟用。探索 Artifact Registry 設定,瞭解如何關閉/開啟自動掃描功能。
6. 隨選掃描
在某些情況下,您可能需要執行掃描,才能將映像檔推送至存放區。例如,容器開發人員可能會掃描映像檔並修正問題,然後再將程式碼推送至來源控制項。在以下範例中,您將先在本機建構並分析圖片,再對結果採取行動。
建構映像檔
在這個步驟中,您將使用本機 Docker 將映像檔建構至本機快取。
docker build -t us-central1-docker.pkg.dev/${PROJECT_ID}/artifact-scanning-repo/sample-image .
掃描圖片
建構映像檔後,要求掃描圖片。掃描結果會儲存在中繼資料伺服器中。此工作完成時,並在中繼資料伺服器中具有結果的位置。
gcloud artifacts docker images scan \
us-central1-docker.pkg.dev/${PROJECT_ID}/artifact-scanning-repo/sample-image \
--format="value(response.scan)" > scan_id.txt
查看輸出檔案
請花一點時間查看先前步驟 (儲存在 Scanner_id.txt 檔案) 的輸出內容。您可以在中繼資料伺服器中留意掃描結果的報表位置。
cat scan_id.txt
查看詳細掃描結果
如要查看實際掃描結果,請在輸出檔案中註明的報表位置使用 list-vulnerabilities
指令。
gcloud artifacts docker images list-vulnerabilities $(cat scan_id.txt)
輸出內容包含映像檔中所有安全漏洞的大量資料。
標記重大問題
人類很少直接使用報表中儲存的資料。一般來說,結果會由自動化程序使用。使用以下指令查看報表詳細資料,並記錄發現任何 CRITICAL 安全漏洞
export SEVERITY=CRITICAL
gcloud artifacts docker images list-vulnerabilities $(cat scan_id.txt) --format="value(vulnerability.effectiveSeverity)" | if grep -Fxq ${SEVERITY}; then echo "Failed vulnerability check for ${SEVERITY} level"; else echo "No ${SEVERITY} Vulnerabilities found"; fi
這項指令會輸出
Failed vulnerability check for CRITICAL level
7. 使用 Cloud Build 在 CICD 中進行掃描
為 Cloud Build 服務帳戶提供存取權
Cloud Build 必須取得權限,才能存取隨選掃描 API。使用下列指令提供存取權。
gcloud projects add-iam-policy-binding ${PROJECT_ID} \
--member="serviceAccount:${PROJECT_NUMBER}@cloudbuild.gserviceaccount.com" \
--role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding ${PROJECT_ID} \
--member="serviceAccount:${PROJECT_NUMBER}@cloudbuild.gserviceaccount.com" \
--role="roles/ondemandscanning.admin"
更新 Cloud Build 管道
下列指令會在目錄中建立要用於自動化程序的 cloudbuild.yaml 檔案。在本例中,這些步驟僅適用於容器建構程序。不過,在實務上,除了容器步驟之外,您還會加入應用程式專屬的操作說明和測試。
使用下列指令建立檔案。
cat > ./cloudbuild.yaml << EOF
steps:
# build
- id: "build"
name: 'gcr.io/cloud-builders/docker'
args: ['build', '-t', 'us-central1-docker.pkg.dev/${PROJECT_ID}/artifact-scanning-repo/sample-image', '.']
waitFor: ['-']
#Run a vulnerability scan at _SECURITY level
- id: scan
name: 'gcr.io/cloud-builders/gcloud'
entrypoint: 'bash'
args:
- '-c'
- |
(gcloud artifacts docker images scan \
us-central1-docker.pkg.dev/${PROJECT_ID}/artifact-scanning-repo/sample-image \
--location us \
--format="value(response.scan)") > /workspace/scan_id.txt
#Analyze the result of the scan
- id: severity check
name: 'gcr.io/cloud-builders/gcloud'
entrypoint: 'bash'
args:
- '-c'
- |
gcloud artifacts docker images list-vulnerabilities \$(cat /workspace/scan_id.txt) \
--format="value(vulnerability.effectiveSeverity)" | if grep -Fxq CRITICAL; \
then echo "Failed vulnerability check for CRITICAL level" && exit 1; else echo "No CRITICAL vulnerability found, congrats !" && exit 0; fi
#Retag
- id: "retag"
name: 'gcr.io/cloud-builders/docker'
args: ['tag', 'us-central1-docker.pkg.dev/${PROJECT_ID}/artifact-scanning-repo/sample-image', 'us-central1-docker.pkg.dev/${PROJECT_ID}/artifact-scanning-repo/sample-image:good']
#pushing to artifact registry
- id: "push"
name: 'gcr.io/cloud-builders/docker'
args: ['push', 'us-central1-docker.pkg.dev/${PROJECT_ID}/artifact-scanning-repo/sample-image:good']
images:
- us-central1-docker.pkg.dev/${PROJECT_ID}/artifact-scanning-repo/sample-image
EOF
執行持續整合管道
請將版本提交給系統處理,在發現「嚴重」嚴重性安全漏洞時驗證建構作業是否會中斷。
gcloud builds submit
查看建構作業失敗
您剛剛提交的建構作業會失敗,因為映像檔含有 CRITICAL 安全漏洞。
在「Cloud Build History」頁面中查看建構失敗情形
修正安全漏洞
更新 Dockerfile,以便使用不含 CRITICAL 安全漏洞的基本映像檔。
使用下列指令覆寫 Dockerfile 來使用 Debian 10 映像檔
cat > ./Dockerfile << EOF
from python:3.8-slim
# App
WORKDIR /app
COPY . ./
RUN pip3 install Flask==2.1.0
RUN pip3 install gunicorn==20.1.0
CMD exec gunicorn --bind :\$PORT --workers 1 --threads 8 main:app
EOF
使用合適的映像檔執行 CI 程序
將版本提交給我們處理,在未發現「嚴重」嚴重性的安全漏洞時,該版本將會成功。
gcloud builds submit
檢查建構成功
您剛剛提交的建構作業會成功,因為更新後的映像檔不含任何重大安全漏洞。
在「Cloud Build History」頁面中查看建構成功
查看掃描結果
查看 Artifact Registry 中的合適映像檔
- 在 Cloud 控制台中開啟 Artifact Registry
- 點選 Artifact-Scanning-repo 來查看內容
- 點進圖片詳細資料
- 點按至映像檔的最新摘要
- 按一下映像檔的「安全漏洞」分頁標籤
8. 恭喜!
恭喜,您已完成程式碼研究室!
本文涵蓋的內容:
- 使用 Cloud Build 建構映像檔
- 適用於容器的 Artifact Registry
- 自動掃描安全漏洞
- 隨選掃描
- 使用 Cloud Build 在 CICD 中進行掃描
下一步:
- 保護將映像檔部署至 Cloud Run 和 Google Kubernetes Engine 的安全 |Cloud Build 說明文件
- 快速入門導覽課程:使用 GKE 設定二進位授權政策 |Google Cloud
清除所用資源
如要避免系統向您的 Google Cloud 帳戶收取本教學課程所用資源的費用,請刪除含有相關資源的專案,或者保留專案但刪除個別資源。
刪除專案
如要避免付費,最簡單的方法就是刪除您針對教學課程建立的專案。
—
上次更新時間:2023 年 3 月 21 日