1. 概要
Cloud Data Loss Prevention（DLP）は、機密情報を検出、分類、保護できるように設計されたフルマネージド サービスです。この Codelab では、Cloud DLP API の基本機能の一部を紹介し、Cloud DLP API を使用してデータを保護するさまざまな方法を紹介します。
演習内容
- DLP を使用して文字列とファイルを検査し、一致する情報の種類を確認する
- 匿名化手法について学び、DLP を使用してデータを匿名化する
- フォーマット保持暗号化（FPE）を使用して匿名化されたデータを再識別する方法を学習する
- DLP を使用して文字列や画像から情報タイプを秘匿化する
必要なもの
- お支払い情報が設定された Google Cloud プロジェクト。アカウントがない場合は、アカウントを作成する必要があります。
2. 設定方法
この Codelab は、ローカルにインストールしたり構成したりしなくても、Google Cloud Platform 上で完全に実行できます。
Cloud Shell
この Codelab では、Cloud Shell からコマンドラインを使用して、さまざまなクラウド リソースとサービスのプロビジョニングと管理を行います。
コンパニオン プロジェクト リポジトリをダウンロードします。
git clone https://github.com/googleapis/nodejs-dlp
プロジェクト コードがダウンロードされたら、サンプル ディレクトリに移動して、必要な Node.js パッケージをインストールします。
cd samples && npm install
次の gcloud コマンドを使用してプロジェクトを設定し、正しいプロジェクトを使用していることを確認します。
gcloud config set project [PROJECT_ID]
API を有効にする
プロジェクトで有効にする必要がある API は次のとおりです。
- Cloud Data Loss Prevention API - テキスト、画像、Google Cloud Platform ストレージ リポジトリに含まれる、プライバシーに配慮したフラグメントを検出、リスク分析、匿名化するための手法を提供します。
- Cloud Key Management Service（KMS）API - Google Cloud KMS を使用すると、お客様が暗号鍵を管理し、その鍵を使用して暗号オペレーションを実行できます。
次の gcloud コマンドを使用して必要な API を有効にします。
gcloud services enable dlp.googleapis.com cloudkms.googleapis.com \
--project ${GOOGLE_CLOUD_PROJECT}
3. 文字列とファイルを検査する
前の手順でダウンロードしたプロジェクトのサンプル ディレクトリには、Cloud DLP のさまざまな機能を利用する JavaScript ファイルがいくつか含まれています。inspect.js は、指定された文字列またはファイルに機密情報型がないか検査します。
これをテストするには、string オプションと、機密情報を含む可能性のあるサンプル文字列を指定します。
node inspect.js -c $GOOGLE_CLOUD_PROJECT \ string 'My email address is jenny@somedomain.com and you can call me at 555-867-5309'
出力には、一致した情報の種類ごとに、以下のような結果が表示されます。
引用: テンプレートでは、
InfoType: 文字列の該当部分について検出された情報の種類。利用可能な情報の種類の一覧については、こちらをご覧ください。デフォルトでは、inspect.js は情報タイプ CREDIT_CARD_NUMBER、PHONE_NUMBER、EMAIL_ADDRESS についてのみ検査します。
可能性: 結果は、それぞれが一致を示す可能性に基づいて分類されます。可能性の範囲は VERY_UNLIKELY～VERY_LIKELY です。
上記のコマンド リクエストの結果は次のとおりです。
Findings:
Quote: jenny@somedomain.com
Info type: EMAIL_ADDRESS
Likelihood: LIKELY
Quote: 555-867-5309
Info type: PHONE_NUMBER
Likelihood: VERY_LIKELY
同様に、ファイルの infoType を検査できます。サンプル accounts.txt ファイルは次のようになります。
resources/accounts.txt
My credit card number is 1234 5678 9012 3456, and my CVV is 789.
inspect.js を再度実行します。今回はファイル オプションを指定します。
node inspect.js -c $GOOGLE_CLOUD_PROJECT file resources/accounts.txt
結果:
Findings:
Quote: 5678 9012 3456
Info type: CREDIT_CARD_NUMBER
Likelihood: VERY_LIKELY
どちらの種類のクエリでも、可能性または情報タイプによって結果を制限できます。例:
node inspect.js -c $GOOGLE_CLOUD_PROJECT \ string 'Call 900-649-2568 or email me at anthony@somedomain.com' \ -m VERY_LIKELY
VERY_LIKELY を最小の可能性として指定すると、VERY_LIKELY に満たない一致が除外されます。
Findings:
Quote: 900-649-2568
Info type: PHONE_NUMBER
Likelihood: VERY_LIKELY
制限のない完全な結果は次のようになります。
Findings:
Quote: 900-649-2568
Info type: PHONE_NUMBER
Likelihood: VERY_LIKELY
Quote: anthony@somedomain.com
Info type: EMAIL_ADDRESS
Likelihood: LIKELY
同様に、チェックする情報の種類を指定できます。
node inspect.js -c $GOOGLE_CLOUD_PROJECT \ string 'Call 900-649-2568 or email me at anthony@somedomain.com' \ -t EMAIL_ADDRESS
見つかった場合、指定された info タイプのみが返されます。
Findings:
Quote: anthony@somedomain.com
Info type: EMAIL_ADDRESS
Likelihood: LIKELY
API を使用して入力を検査する非同期関数は次のとおりです。
inspect.js
async function inspectString(
callingProjectId,
string,
minLikelihood,
maxFindings,
infoTypes,
customInfoTypes,
includeQuote
) {
...
}
上記のパラメータに指定された引数は、リクエスト オブジェクトの作成に使用されます。そのリクエストを inspectContent 関数に渡して、次のようなレスポンスを取得します。
inspect.js
// Construct item to inspect
const item = {value: string};
// Construct request
const request = {
parent: dlp.projectPath(callingProjectId),
inspectConfig: {
infoTypes: infoTypes,
customInfoTypes: customInfoTypes,
minLikelihood: minLikelihood,
includeQuote: includeQuote,
limits: {
maxFindingsPerRequest: maxFindings,
},
},
item: item,
};
...
...
const [response] = await dlp.inspectContent(request);
4. 匿名化
Cloud DLP では、センシティブ データを検査、検出するだけでなく、匿名化を実行できます。匿名化は、身元がわかる情報をデータから取り除くプロセスです。この API は、infoType で定義された機密データを検出し、匿名化変換を使用してデータをマスキング、削除、または難読化します。
deid.js では、いくつかの方法で匿名化を行います。匿名化の最も簡単な方法はマスクを使用することです。
node deid.js deidMask -c $GOOGLE_CLOUD_PROJECT \ "My order number is F12312399. Email me at anthony@somedomain.com"
マスクを使用すると、API はデフォルトで一致する infoType の文字を別の文字（*）に置き換えます。出力は次のようになります。
My order number is F12312399. Email me at *****************************
任意の注文番号はそのままで、文字列内のメールアドレスは難読化されています。（カスタム情報タイプは可能ですが、この Codelab では扱いません）。
DLP API を使用してマスクで匿名化する関数を見てみましょう。
deid.js
async function deidentifyWithMask(
callingProjectId,
string,
maskingCharacter,
numberToMask
) {
...
}
ここでも、これらの引数を使用してリクエスト オブジェクトが作成されます。今回は、deidentifyContent 関数に指定されています。
deid.js
// Construct deidentification request
const item = {value: string};
const request = {
parent: dlp.projectPath(callingProjectId),
deidentifyConfig: {
infoTypeTransformations: {
transformations: [
{
primitiveTransformation: {
characterMaskConfig: {
maskingCharacter: maskingCharacter,
numberToMask: numberToMask,
},
},
},
],
},
},
item: item,
};
...
...
const [response] = await dlp.deidentifyContent(request);
フォーマット保持暗号化による匿名化
DLP API では、暗号鍵を使用して機密データの値を暗号化することもできます。
まず、Cloud KMS を使用してキーリングを作成します。
gcloud kms keyrings create dlp-keyring --location global
これで、データの暗号化に使用する鍵を作成できるようになりました。
gcloud kms keys create dlp-key \ --purpose='encryption' \ --location=global \ --keyring=dlp-keyring
DLP API は、作成した KMS 鍵で暗号化されたラップされた鍵を受け付けます。ラップするランダムな文字列を生成できます。後で再識別するために必要になります。
export AES_KEY=`head -c16 < /dev/random | base64 -w 0`
これで、KMS 鍵を使用して文字列を暗号化できるようになりました。これにより、暗号化された文字列を暗号テキストとして含むバイナリ ファイルが生成されます。
echo -n $AES_KEY | gcloud kms encrypt \ --location global \ --keyring dlp-keyring \ --key dlp-key \ --plaintext-file - \ --ciphertext-file ./ciphertext.bin
deid.js を使用すると、暗号化を使用して以下のサンプル文字列の電話番号を匿名化できます。
node deid.js deidFpe -c $GOOGLE_CLOUD_PROJECT \
"My client's cell is 9006492568" `base64 -w 0 ciphertext.bin` \
projects/${GOOGLE_CLOUD_PROJECT}/locations/global/keyRings/dlp-keyring/cryptoKeys/dlp-key \
-s PHONE_NUMBER
出力では、一致した info タイプの文字列を暗号化された文字列に置換し、その前に -s フラグで示した info 型を付加した文字列が返されます。
My client's cell is PHONE_NUMBER(10):vSt55z79nR
文字列の匿名化に使用している関数を見てみましょう。
deid.js
async function deidentifyWithFpe(
callingProjectId,
string,
alphabet,
surrogateType,
keyName,
wrappedKey
) {
...
}
引数は、cryptoReplaceFfxFpeConfig オブジェクトの作成に使用されます。
deid.js
const cryptoReplaceFfxFpeConfig = {
cryptoKey: {
kmsWrapped: {
wrappedKey: wrappedKey,
cryptoKeyName: keyName,
},
},
commonAlphabet: alphabet,
};
if (surrogateType) {
cryptoReplaceFfxFpeConfig.surrogateInfoType = {
name: surrogateType,
};
}
次に、cryptoReplaceFfxFpeConfig オブジェクトは、deidentifyContent 関数を介した API へのリクエストで使用されます。
deid.js
// Construct deidentification request
const item = {value: string};
const request = {
parent: dlp.projectPath(callingProjectId),
deidentifyConfig: {
infoTypeTransformations: {
transformations: [
{
primitiveTransformation: {
cryptoReplaceFfxFpeConfig: cryptoReplaceFfxFpeConfig,
},
},
],
},
},
item: item,
};
try {
// Run deidentification request
const [response] = await dlp.deidentifyContent(request);
データの再識別
データを再識別するために、DLP API は前のステップで作成した暗号テキストを使用します。
node deid.js reidFpe -c $GOOGLE_CLOUD_PROJECT \
"<YOUR_DEID_OUTPUT>" \
PHONE_NUMBER `base64 -w 0 ciphertext.bin` \
projects/${GOOGLE_CLOUD_PROJECT}/locations/global/keyRings/dlp-keyring/cryptoKeys/dlp-key
出力は、秘匿化やサロゲート タイプが指定されていない元の文字列になります。
My client's cell is 9006492568
データの再識別に使用される関数は、データの匿名化に使用される関数と似ています。
deid.js
async function reidentifyWithFpe(
callingProjectId,
string,
alphabet,
surrogateType,
keyName,
wrappedKey
) {
...
}
繰り返しになりますが、引数は API（今度は reidentifyContent 関数）へのリクエストで使用されます。
deid.js
// Construct deidentification request
const item = {value: string};
const request = {
parent: dlp.projectPath(callingProjectId),
reidentifyConfig: {
infoTypeTransformations: {
transformations: [
{
primitiveTransformation: {
cryptoReplaceFfxFpeConfig: {
cryptoKey: {
kmsWrapped: {
wrappedKey: wrappedKey,
cryptoKeyName: keyName,
},
},
commonAlphabet: alphabet,
surrogateInfoType: {
name: surrogateType,
},
},
},
},
],
},
},
inspectConfig: {
customInfoTypes: [
{
infoType: {
name: surrogateType,
},
surrogateType: {},
},
],
},
item: item,
};
try {
// Run reidentification request
const [response] = await dlp.reidentifyContent(request);
日付シフトによる日付の匿名化
状況によっては、日付を難読化する必要がある機密データと見なすことがあります。日付シフトを使用すると、時間の順序と期間を維持しながら、ランダムな増分で日付をシフトできます。セット内の各日付は、そのエントリに固有の時間だけシフトされます。日付シフトによる匿名化のデモを行うために、まず日付データを含むサンプル CSV ファイルを見てみましょう。
resources/dates.csv
name,birth_date,register_date,credit_card
Ann,01/01/1980,07/21/1996,4532908762519852
James,03/06/1988,04/09/2001,4301261899725540
Dan,08/14/1945,11/15/2011,4620761856015295
Laura,11/03/1992,01/04/2017,4564981067258901
データには、日付シフトを適用できる birth_date と register_date の 2 つのフィールドが含まれています。deid.js では、下限値と上限値を使用して、日付をシフトする日数をランダムに選択する範囲を定義します。
node deid.js deidDateShift -c $GOOGLE_CLOUD_PROJECT resources/dates.csv datesShifted.csv 30 90 birth_date
日付が 30 ～ 90 の日数でランダムにシフトされた、datesShifted.csv というファイルが生成されます。生成された出力の例を次に示します。
name,birth_date,register_date,credit_card
Ann,2/6/1980,7/21/1996,4532908762519852
James,5/18/1988,4/9/2001,4301261899725540
Dan,9/16/1945,11/15/2011,4620761856015295
Laura,12/16/1992,1/4/2017,4564981067258901
CSV ファイルのどの日付列を移動するかも指定できました。birth_date フィールド register_date フィールドは変更されません。
日付シフトで匿名化を処理する関数を見てみましょう。
deid.js
async function deidentifyWithDateShift(
callingProjectId,
inputCsvFile,
outputCsvFile,
dateFields,
lowerBoundDays,
upperBoundDays,
contextFieldId,
wrappedKey,
keyName
) {
...
}
この関数は、FPE による匿名化と同様に、ラップされた鍵と鍵名を受け入れることができるため、日付シフトを再識別するための暗号鍵を指定できます。指定する引数によって dateShiftConfig オブジェクトが作成されます。
deid.js
// Construct DateShiftConfig
const dateShiftConfig = {
lowerBoundDays: lowerBoundDays,
upperBoundDays: upperBoundDays,
};
if (contextFieldId && keyName && wrappedKey) {
dateShiftConfig.context = {name: contextFieldId};
dateShiftConfig.cryptoKey = {
kmsWrapped: {
wrappedKey: wrappedKey,
cryptoKeyName: keyName,
},
};
} else if (contextFieldId || keyName || wrappedKey) {
throw new Error(
'You must set either ALL or NONE of {contextFieldId, keyName, wrappedKey}!'
);
}
// Construct deidentification request
const request = {
parent: dlp.projectPath(callingProjectId),
deidentifyConfig: {
recordTransformations: {
fieldTransformations: [
{
fields: dateFields,
primitiveTransformation: {
dateShiftConfig: dateShiftConfig,
},
},
],
},
},
item: tableItem,
};
5. 文字列と画像を秘匿化する
機密情報を難読化するもう一つの方法として、秘匿化があります。秘匿化では、一致が識別された情報タイプに置き換えられます。redact.js は秘匿化を行います。
node redact.js -c $GOOGLE_CLOUD_PROJECT \ string "Please refund the purchase to my credit card 4012888888881881" \ -t 'CREDIT_CARD_NUMBER'
出力では、サンプルのクレジット カード番号が情報タイプ CREDIT_CARD_NUMBER に置き換えられます。
Please refund the purchase on my credit card [CREDIT_CARD_NUMBER]
これは、機密情報を隠しつつ、削除対象の情報の種類を識別したい場合に役立ちます。DLP API は、テキストを含む画像の情報を同様に秘匿化できます。例として、サンプル画像を見てみましょう。
resources/test.png
上の画像の電話番号とメールアドレスを削除するには:
node redact.js -c $GOOGLE_CLOUD_PROJECT \ image resources/test.png ./redacted.png \ -t PHONE_NUMBER -t EMAIL_ADDRESS
指定したとおり、要求された情報を黒く塗りつぶして、redacted.png という名前の新しい画像が生成されます。
文字列を秘匿化する関数は次のとおりです。
redact.js
async function redactText(
callingProjectId,
string,
minLikelihood,
infoTypes
) {
...}
次に示すのは、deidentifyContent 関数に渡されるリクエストです。
redact.js
const request = {
parent: dlp.projectPath(callingProjectId),
item: {
value: string,
},
deidentifyConfig: {
infoTypeTransformations: {
transformations: [replaceWithInfoTypeTransformation],
},
},
inspectConfig: {
minLikelihood: minLikelihood,
infoTypes: infoTypes,
},
};
同様に、次の関数を使用して画像を秘匿化します。
redact.js
async function redactImage(
callingProjectId,
filepath,
minLikelihood,
infoTypes,
outputPath
) {
...}
次に示すのは、redactImage 関数に渡されるリクエストです。
redact.js
// Construct image redaction request
const request = {
parent: dlp.projectPath(callingProjectId),
byteItem: {
type: fileTypeConstant,
data: fileBytes,
},
inspectConfig: {
minLikelihood: minLikelihood,
infoTypes: infoTypes,
},
imageRedactionConfigs: imageRedactionConfigs,
};
6. クリーンアップ
DLP API を使用して、データ内の機密情報をマスキング、匿名化、秘匿化する方法はすでに確認しました。ここで、作成したすべてのリソースをプロジェクトからクリーンアップします。
プロジェクトを削除する
GCP Console で、[Cloud Resource Manager] ページに移動します。
プロジェクト リストで、目的のプロジェクトを選択し、[削除] をクリックします。プロジェクト ID を入力するように求められます。入力して [シャットダウン] をクリックします。
また、gcloud を使用して Cloud Shell からプロジェクト全体を直接削除することもできます。
gcloud projects delete $GOOGLE_CLOUD_PROJECT
7. 完了
これで完了です。Cloud DLP は、機密データの強力な検査、分類、匿名化プラットフォームへのアクセスを提供する強力なツールです。
学習した内容
- Cloud DLP API を使用して文字列とファイルを検査し、複数の infoType を調べる方法を確認しました。
- DLP API でマスクを使用して文字列を匿名化し、データ マッチングの情報タイプを非表示にする方法を学びました。
- DLP API を使用して、暗号鍵を使用してデータの匿名化と再識別を行いました
- DLP API を使用して、文字列と画像からデータを秘匿化しました