1. 概览
机密虚拟机 (CVM) 是一种使用基于硬件的内存加密的 Compute Engine 虚拟机。这有助于确保您的数据和应用在使用期间无法被读取或修改。在本 Codelab 中，您将了解远程证明，它允许远程方验证 CVM 节点。此外，您还将探索 Cloud Logging 以进行进一步审核。
如上图所示，本 Codelab 包含以下步骤：
- CVM 设置和远程证明
- 有关 CVM 远程证明的 Cloud Logging 探索
- 秘密版本 Web 服务器设置
上图中的组件包括 go-tpm 工具和 Google Cloud 认证：
- go-tpm 工具：这是一个开源工具，用于从 CVM 上的 vTPM（虚拟可信平台模块）提取证明证据，并将其发送到 Google Cloud Attestation 以获取证明令牌。
- Google Cloud 认证：验证和验证收到的认证证据，并返回反映请求者 CVM 相关事实的认证令牌。
学习内容
- 如何在 CVM 上通过机密计算 API 执行远程证明
- 如何使用 Cloud Logging 监控 CVM 远程证明
所需条件
- 一个 Google Cloud Platform 项目
- 浏览器，例如 Chrome 或 Firefox
- Google Compute Engine 和机密虚拟机的基础知识
2. 设置和要求
如需启用必要的 API，请在 Cloud 控制台中或本地开发环境中运行以下命令：
gcloud auth login
gcloud services enable \
cloudapis.googleapis.com \
cloudshell.googleapis.com \
confidentialcomputing.googleapis.com \
compute.googleapis.com
3. 设置 CVM 和 vTPM 远程证明
在此步骤中，您将创建 CVM 并执行 vTPM 远程认证，以在 CVM 上检索认证令牌 (OIDC 令牌)。
前往 Cloud 控制台或本地开发环境。按照以下步骤创建 CVM（请参阅创建机密虚拟机实例 | Google Cloud）。您需要范围才能访问机密计算 API。
gcloud config set project <project-id>
gcloud compute instances create cvm-attestation-codelab \
--machine-type=n2d-standard-2 \
--min-cpu-platform="AMD Milan" \
--zone=us-central1-c \
--confidential-compute \
--image=ubuntu-2204-jammy-v20240228 \
--image-project=ubuntu-os-cloud \
--scopes https://www.googleapis.com/auth/cloud-platform
授权 CVM 默认服务账号访问 Confidential Computing API（CVM 需要以下权限才能从 Confidential Computing API 提取认证令牌）：
1）。创建一个角色，以允许访问机密计算 API。
gcloud iam roles create Confidential_Computing_User --project=<project-id> \
--title="CVM User" --description="Grants the ability to generate an attestation token in a CVM." \
--permissions="confidentialcomputing.challenges.create,confidentialcomputing.challenges.verify,confidentialcomputing.locations.get,confidentialcomputing.locations.list" --stage=GA
替换以下内容：
project-id是项目的唯一标识符。
2). 将虚拟机默认服务账号添加到该角色。
gcloud projects add-iam-policy-binding <project-id> \
--member serviceAccount:$(gcloud iam service-accounts list --filter="email ~ compute@developer.gserviceaccount.com$" --format='value(email)'
) \
--role "projects/<project-id>/roles/Confidential_Computing_User"
替换以下内容：
project-id是项目的唯一标识符。
3). 连接到 CVM 并设置 go-tpm 工具二进制文件，以从 Google Cloud Attestation 提供的机密计算 API 中提取证明令牌。
- 连接到 CVM。
gcloud compute ssh --zone us-central1-c cvm-attestation-codelab
- 设置 Go 环境：
wget https://go.dev/dl/go1.22.0.linux-amd64.tar.gz sudo tar -C /usr/local -xzf go1.22.0.linux-amd64.tar.gz export PATH=$PATH:/usr/local/go/bin
- 构建 go-tpm 工具二进制文件。go-tpm 工具二进制文件会从 CVM 上的 vTPM 提取认证证据，并将其发送到 Google Cloud Attestation 以获取认证令牌。
git clone https://github.com/google/go-tpm-tools.git --depth 1 cd go-tpm-tools/cmd/gotpm/ go build
- go-tpm 工具命令会从 vTPM 中提取 CVM 的认证证据，并将其发送到 Google Cloud Attestation。Google Cloud Attestation 会验证和验证证明，并返回证明令牌。该命令会创建一个包含
attestation-token的 attestation_token 文件。您稍后将使用attestation-token提取密钥。您可以在 jwt.io 中解码认证令牌以查看声明。
sudo ./gotpm token > attestation_token
- （可选）除了使用 go-tpm 工具和 Google Cloud Attestation 执行远程证明之外，我们还展示了用于提取 vTPM 证明证据的命令。这样，您就可以创建 Google Cloud Attestation 等服务，以验证和验证认证证据：
nonce=$(head -c 16 /dev/urandom | xxd -p) sudo ./gotpm attest --nonce $nonce --format textproto --output quote.dat sudo ./gotpm verify debug --nonce $nonce --format textproto --input quote.dat --output vtpm_report
vtpm_report 包含经过验证的日志。您可以使用自己偏好的编辑器查看该文件。请注意，验证命令不会检查报价的认证密钥证书。
4. 启用 Cloud Logging 并浏览远程证明日志
您可以在 cvm-attestation-codelab CVM 中运行以下命令。这次，它会在 Cloud Logging 中记录活动。
sudo ./gotpm token --cloud-log --audience "https://api.cvm-attestation-codelab.com"
在 Cloud 控制台或本地开发环境中获取 cvm-attestation-codelab <instance-id>。
gcloud compute instances describe cvm-attestation-codelab --zone us-central1-c --format='value(id)'
如需探索 Cloud Logging，请打开以下网址：https://console.cloud.google.com/logs。在查询字段中，输入以下内容：
resource.type="gce_instance" resource.labels.zone="us-central1-c" resource.labels.instance_id=<instance-id> log_name="projects/<project-id>/logs/gotpm" severity>=DEFAULT
替换以下内容：
project-id是项目的唯一标识符。instance-id是实例的唯一标识符。
您应该能够找到发送到 Google Cloud Attestation 的认证令牌、其声明、原始证据和 Nonce。
5. 设置 Secret Release Web 服务器
在此步骤中，您需要退出之前的 SSH 会话并设置另一个虚拟机。在此虚拟机上，您将设置一个 Secret 版本 Web 服务器。网络服务器会验证收到的认证令牌及其声明。如果验证成功，则将密钥释放给请求者。
1）。前往 Cloud 控制台或本地开发环境。创建虚拟机。
gcloud config set project <project-id>
gcloud compute instances create cvm-attestation-codelab-web-server \
--machine-type=n2d-standard-2 \
--zone=us-central1-c \
--image=ubuntu-2204-jammy-v20240228 \
--image-project=ubuntu-os-cloud
替换以下内容：
project-id是项目的唯一标识符。
2). 通过 SSH 连接到新虚拟机。
gcloud compute ssh --zone us-central1-c cvm-attestation-codelab-web-server
3). 设置 Go 环境。
wget https://go.dev/dl/go1.22.0.linux-amd64.tar.gz sudo tar -C /usr/local -xzf go1.22.0.linux-amd64.tar.gz export PATH=$PATH:/usr/local/go/bin
4）即可。创建以下两个文件以存储 Secret 版本网站服务器的源代码（使用 nano 复制/粘贴）。
main.go
package main
import (
"fmt"
"net/http"
"strings"
"time"
"log"
"github.com/golang-jwt/jwt/v4"
)
const (
theSecret = "This is the super secret information!"
)
func homePage(w http.ResponseWriter, r *http.Request) {
tokenString := r.Header.Get("Authorization")
if tokenString != "" {
tokenString, err := extractToken(tokenString)
if err != nil {
http.Error(w, err.Error(), http.StatusUnauthorized)
}
tokenBytes := []byte(tokenString)
// A method to return a public key from the well-known endpoint
keyFunc := getRSAPublicKeyFromJWKsFile
token, err := decodeAndValidateToken(tokenBytes, keyFunc)
if err != nil {
http.Error(w, "Invalid JWT Token", http.StatusUnauthorized)
}
if ok, err := isValid(token.Claims.(jwt.MapClaims)); ok {
fmt.Fprintln(w, theSecret)
} else {
if err != nil {
http.Error(w, "Error validating JWT claims: "+err.Error(), http.StatusUnauthorized)
} else {
http.Error(w, "Invalid JWT token Claims", http.StatusUnauthorized)
}
}
} else {
http.Error(w, "Authorization token required", http.StatusUnauthorized)
}
}
func extractToken(tokenString string) (string, error) {
if strings.HasPrefix(tokenString, "Bearer ") {
return strings.TrimPrefix(tokenString, "Bearer "), nil
}
return "", fmt.Errorf("invalid token format")
}
func isValid(claims jwt.MapClaims) (bool, error) {
// 1. Evaluating Standard Claims:
subject, ok := claims["sub"].(string)
if !ok {
return false, fmt.Errorf("missing or invalid 'sub' claim")
}
fmt.Println("Subject:", subject)
// e.g. "sub":"https://www.googleapis.com/compute/v1/projects/<project_id>/zones/<project_zone>/instances/<instance_name>"
issuedAt, ok := claims["iat"].(float64)
if !ok {
return false, fmt.Errorf("missing or invalid 'iat' claim")
}
fmt.Println("Issued At:", time.Unix(int64(issuedAt), 0))
// 2. Evaluating Remote Attestation Claims:
hwModel, ok := claims["hwmodel"].(string)
if !ok || hwModel != "GCP_AMD_SEV" {
return false, fmt.Errorf("missing or invalid 'hwModel'")
}
fmt.Println("hwmodel:", hwModel)
swName, ok := claims["swname"].(string)
if !ok || swName != "GCE" {
return false, fmt.Errorf("missing or invalid 'hwModel'")
}
fmt.Println("swname:", swName)
return true, nil
}
func main() {
http.HandleFunc("/", homePage)
fmt.Println("Server listening on :8080")
err := http.ListenAndServe(":8080", nil)
if err != nil {
log.Fatalf("Server failed to start: %v", err)
}
}
helper.go
package main
import (
"crypto/rsa"
"encoding/base64"
"encoding/json"
"errors"
"fmt"
"io"
"math/big"
"net/http"
"github.com/golang-jwt/jwt/v4"
)
const (
socketPath = "/run/container_launcher/teeserver.sock"
expectedIssuer = "https://confidentialcomputing.googleapis.com"
wellKnownPath = "/.well-known/openid-configuration"
)
type jwksFile struct {
Keys []jwk `json:"keys"`
}
type jwk struct {
N string `json:"n"` // "nMMTBwJ7H6Id8zUCZd-L7uoNyz9b7lvoyse9izD9l2rtOhWLWbiG-7pKeYJyHeEpilHP4KdQMfUo8JCwhd-OMW0be_XtEu3jXEFjuq2YnPSPFk326eTfENtUc6qJohyMnfKkcOcY_kTE11jM81-fsqtBKjO_KiSkcmAO4wJJb8pHOjue3JCP09ZANL1uN4TuxbM2ibcyf25ODt3WQn54SRQTV0wn098Y5VDU-dzyeKYBNfL14iP0LiXBRfHd4YtEaGV9SBUuVhXdhx1eF0efztCNNz0GSLS2AEPLQduVuFoUImP4s51YdO9TPeeQ3hI8aGpOdC0syxmZ7LsL0rHE1Q",
E string `json:"e"` // "AQAB" or 65537 as an int
Kid string `json:"kid"` // "1f12fa916c3a0ef585894b4b420ad17dc9d6cdf5",
// Unused fields:
// Alg string `json:"alg"` // "RS256",
// Kty string `json:"kty"` // "RSA",
// Use string `json:"use"` // "sig",
}
type wellKnown struct {
JwksURI string `json:"jwks_uri"` // "https://www.googleapis.com/service_accounts/v1/metadata/jwk/signer@confidentialspace-sign.iam.gserviceaccount.com"
// Unused fields:
// Iss string `json:"issuer"` // "https://confidentialcomputing.googleapis.com"
// Subject_types_supported string `json:"subject_types_supported"` // [ "public" ]
// Response_types_supported string `json:"response_types_supported"` // [ "id_token" ]
// Claims_supported string `json:"claims_supported"` // [ "sub", "aud", "exp", "iat", "iss", "jti", "nbf", "dbgstat", "eat_nonce", "google_service_accounts", "hwmodel", "oemid", "secboot", "submods", "swname", "swversion" ]
// Id_token_signing_alg_values_supported string `json:"id_token_signing_alg_values_supported"` // [ "RS256" ]
// Scopes_supported string `json:"scopes_supported"` // [ "openid" ]
}
func getWellKnownFile() (wellKnown, error) {
httpClient := http.Client{}
resp, err := httpClient.Get(expectedIssuer + wellKnownPath)
if err != nil {
return wellKnown{}, fmt.Errorf("failed to get raw .well-known response: %w", err)
}
wellKnownJSON, err := io.ReadAll(resp.Body)
if err != nil {
return wellKnown{}, fmt.Errorf("failed to read .well-known response: %w", err)
}
wk := wellKnown{}
json.Unmarshal(wellKnownJSON, &wk)
return wk, nil
}
func getJWKFile() (jwksFile, error) {
wk, err := getWellKnownFile()
if err != nil {
return jwksFile{}, fmt.Errorf("failed to get .well-known json: %w", err)
}
// Get JWK URI from .wellknown
uri := wk.JwksURI
fmt.Printf("jwks URI: %v\n", uri)
httpClient := http.Client{}
resp, err := httpClient.Get(uri)
if err != nil {
return jwksFile{}, fmt.Errorf("failed to get raw JWK response: %w", err)
}
jwkbytes, err := io.ReadAll(resp.Body)
if err != nil {
return jwksFile{}, fmt.Errorf("failed to read JWK body: %w", err)
}
file := jwksFile{}
err = json.Unmarshal(jwkbytes, &file)
if err != nil {
return jwksFile{}, fmt.Errorf("failed to unmarshall JWK content: %w", err)
}
return file, nil
}
// N and E are 'base64urlUInt' encoded: https://www.rfc-editor.org/rfc/rfc7518#section-6.3
func base64urlUIntDecode(s string) (*big.Int, error) {
b, err := base64.RawURLEncoding.DecodeString(s)
if err != nil {
return nil, err
}
z := new(big.Int)
z.SetBytes(b)
return z, nil
}
func getRSAPublicKeyFromJWKsFile(t *jwt.Token) (any, error) {
keysfile, err := getJWKFile()
if err != nil {
return nil, fmt.Errorf("failed to fetch the JWK file: %w", err)
}
// Multiple keys are present in this endpoint to allow for key rotation.
// This method finds the key that was used for signing to pass to the validator.
kid := t.Header["kid"]
for _, key := range keysfile.Keys {
if key.Kid != kid {
continue // Select the key used for signing
}
n, err := base64urlUIntDecode(key.N)
if err != nil {
return nil, fmt.Errorf("failed to decode key.N %w", err)
}
e, err := base64urlUIntDecode(key.E)
if err != nil {
return nil, fmt.Errorf("failed to decode key.E %w", err)
}
// The parser expects an rsa.PublicKey: https://github.com/golang-jwt/jwt/blob/main/rsa.go#L53
// or an array of keys. We chose to show passing a single key in this example as its possible
// not all validators accept multiple keys for validation.
return &rsa.PublicKey{
N: n,
E: int(e.Int64()),
}, nil
}
return nil, fmt.Errorf("failed to find key with kid '%v' from well-known endpoint", kid)
}
func decodeAndValidateToken(tokenBytes []byte, keyFunc func(t *jwt.Token) (any, error)) (*jwt.Token, error) {
var err error
fmt.Println("Unmarshalling token and checking its validity...")
token, err := jwt.NewParser().Parse(string(tokenBytes), keyFunc)
fmt.Printf("Token valid: %v\n", token.Valid)
if token.Valid {
return token, nil
}
if ve, ok := err.(*jwt.ValidationError); ok {
if ve.Errors&jwt.ValidationErrorMalformed != 0 {
return nil, fmt.Errorf("token format invalid. Please contact the Confidential Space team for assistance")
}
if ve.Errors&(jwt.ValidationErrorNotValidYet) != 0 {
// If device time is not synchronized with the Attestation Service you may need to account for that here.
return nil, errors.New("token is not active yet")
}
if ve.Errors&(jwt.ValidationErrorExpired) != 0 {
return nil, fmt.Errorf("token is expired")
}
return nil, fmt.Errorf("unknown validation error: %v", err)
}
return nil, fmt.Errorf("couldn't handle this token or couldn't read a validation error: %v", err)
}
5). 运行以下命令以构建并运行 Web 服务器。这会在 :8080 端口启动 Secret Release Web 服务器。
go mod init google.com/codelab go mod tidy go get github.com/golang-jwt/jwt/v4 go build ./codelab
问题排查：运行 go mod tidy: 时，您可能会看到以下警告，可以将其忽略
go: finding module for package github.com/golang-jwt/jwt/v4 go: downloading github.com/golang-jwt/jwt v3.2.2+incompatible go: downloading github.com/golang-jwt/jwt/v4 v4.5.0 go: found github.com/golang-jwt/jwt/v4 in github.com/golang-jwt/jwt/v4 v4.5.0 go: google.com/codelab/go/pkg/mod/github.com/golang-jwt/jwt@v3.2.2+incompatible: import path "google.com/codelab/go/pkg/mod/github.com/golang-jwt/jwt@v3.2.2+incompatible" should not have @version go: google.com/codelab/go/pkg/mod/github.com/golang-jwt/jwt@v3.2.2+incompatible/cmd/jwt: import path "google.com/codelab/go/pkg/mod/github.com/golang-jwt/jwt@v3.2.2+incompatible/cmd/jwt" should not have @version go: google.com/codelab/go/pkg/mod/github.com/golang-jwt/jwt@v3.2.2+incompatible/request: import path "google.com/codelab/go/pkg/mod/github.com/golang-jwt/jwt@v3.2.2+incompatible/request" should not have @version go: google.com/codelab/go/pkg/mod/github.com/golang-jwt/jwt@v3.2.2+incompatible/test: import path "google.com/codelab/go/pkg/mod/github.com/golang-jwt/jwt@v3.2.2+incompatible/test" should not have @version
6). 现在，启动另一个 Cloud 控制台标签页或本地开发环境会话，然后运行以下命令。这样您就可以获得 <cvm-attestation-codelab-web-server-internal-ip>。
gcloud compute instances describe cvm-attestation-codelab-web-server --format='get(networkInterfaces[0].networkIP)' --zone=us-central1-c
7). 通过 SSH 连接到 cvm-attestation-codelab 虚拟机实例。
gcloud compute ssh --zone "us-central1-c" "cvm-attestation-codelab"
8). 以下命令会替换之前获取的 attestation-token（在 ~/go-tpm-tools/cmd/gotpm/ 下）。这将为您提取密钥版本 Web 服务器持有的密钥！
cd ~/go-tpm-tools/cmd/gotpm/ curl http://<cvm-attestation-codelab-web-server-internal-ip>:8080 -H "Authorization: Bearer $(cat ./attestation_token)"
替换以下内容：
cvm-attestation-codelab-web-server-internal-ip是 cvm-attestation-codelab-web-server 虚拟机实例的内部 IP 地址。
您会在屏幕上看到“This is the super secret information!”
如果您输入的 attestation-token 不正确或已过期，您会看到“curl: (52) Empty reply from server”。您还会在 cvm-attestation-codelab-web-server 虚拟机实例的 Secret 版本 Web 服务器日志中看到“Token valid: false”。
6. 清理
在 Cloud 控制台或本地开发环境中运行以下命令：
# Delete the role binding
gcloud projects remove-iam-policy-binding <project-id> \
--member serviceAccount:$(gcloud iam service-accounts list --filter="email ~ compute@developer.gserviceaccount.com$" --format='value(email)'
) \
--role "projects/<project-id>/roles/Confidential_Computing_User"
# Delete the role
gcloud iam roles delete Confidential_Computing_User --project=<project-id>
# Delete the web server VM instance
gcloud compute instances delete cvm-attestation-codelab-web-server --zone=us-central1-c
# Delete the CVM instance
gcloud compute instances delete cvm-attestation-codelab --zone=us-central1-c
替换以下内容：
project-id是项目的唯一标识符。