간소화된 마스터 데이터 관리: 일치 및 생성형 AI와 병합하세요

1. 개요

마스터 데이터 관리란 무엇인가요?

마스터 데이터 관리 (MDM)는 조직의 가장 중요한 데이터에 대한 신뢰할 수 있는 단일 정보 소스를 만드는 것에 관한 것입니다. 모든 책 (데이터 포인트)에 라벨이 제대로 지정되어 최신 상태이며 쉽게 찾을 수 있도록 정교하게 구성된 도서관을 상상해 보세요.

마스터 데이터는 회사 운영에 필수적인 핵심적이고 기본적인 비즈니스 법인을 나타냅니다. 마스터 데이터의 주요 요소는 다음과 같습니다.

  • 비즈니스 법인: 고객, 제품, 공급업체, 위치, 직원 등의 법인으로, 비즈니스를 구성하는 명사입니다.
  • 식별자: 각 항목이 고유하고 시스템 간에 추적될 수 있도록 하는 고유 식별자입니다.
  • 속성: 고객 주소, 제품 가격 등 각 항목을 설명하는 특성입니다.

마스터 데이터를 더 잘 이해할 수 있도록 트랜잭션 데이터와 비교해 보겠습니다. 거래 데이터는 개별 이벤트 (구매, 배송 등)를 캡처합니다. 반면 마스터 데이터는 관련 항목을 정의하여 이러한 이벤트의 컨텍스트를 제공합니다. 예를 들어 판매 거래는 고객, 제품 및 영업 담당자의 마스터 데이터에 연결됩니다.

강력한 MDM 구현은 전략적 의사 결정에 필수적이지만 복잡하고 리소스 집약적일 수 있습니다. 여기에서 생성형 AI, 특히 Gemini 1.0 Pro, Gemini 1.0 Pro Vision, Gemini 1.5 Pro와 같은 모델의 혁신적인 힘이 발휘됩니다.

2. 목표

이 Codelab에서는 Gemini 1.0 Pro가 BigQuery 공개 데이터 세트에서 제공되는 citibike_stations 데이터의 보강 및 중복 삭제와 같은 마스터 데이터 관리 애플리케이션을 어떻게 간소화하는지 보여줍니다.

사용하는 기능

  1. BigQuery 공개 데이터 세트 bigquery-public-data.new_york_citibike입니다.
  2. Gemini 함수 호출 (citibike_stations 데이터로 사용할 수 있는 좌표의 경우 reverse Geocoding API를 사용하여 주소 정보를 가져오는 Java Cloud 함수)
  3. Vertex AI Embeddings API 및 BigQuery의 벡터 검색

빌드할 항목

  1. 사용 사례의 BigQuery 데이터 세트를 만듭니다. 이 데이터 세트에서 공개 데이터 세트 테이블 bigquery-public-data.new_york_citibike.citibike_stations의 데이터로 랜딩 테이블을 만듭니다.
  2. 주소 표준화를 위해 Gemini 함수 호출이 포함된 Cloud 함수를 배포합니다.
  3. 이 데모를 위해 제공된 두 소스에서 가져온 풍부한 주소 데이터를 방문 테이블에 저장합니다.
  4. BigQuery에서 주소 데이터에 대해 Vertex AI Embeddings API를 호출합니다.
  5. BigQuery 벡터 검색을 사용하여 중복 레코드를 식별합니다.

다음 다이어그램은 구현과 관련된 데이터 흐름 및 단계를 보여줍니다.

대략적인 사용 사례 흐름

3. 요구사항

  • 브라우저(Chrome 또는 Firefox 등)
  • 결제가 사용 설정된 Google Cloud 프로젝트.

4. 시작하기 전에

  1. Google Cloud 콘솔의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.
  2. Cloud 프로젝트에 결제가 사용 설정되어 있어야 하므로 프로젝트에 결제가 사용 설정되어 있는지 확인하는 방법을 알아보세요 .
  3. bq가 미리 로드되어 제공되는 Google Cloud에서 실행되는 명령줄 환경인 Cloud Shell을 사용합니다. Google Cloud 콘솔 상단에서 Cloud Shell 활성화를 클릭합니다.

Cloud Shell 활성화 버튼 이미지

  1. Cloud Shell에 연결되면 다음 명령어를 사용하여 인증이 완료되었는지, 프로젝트가 내 프로젝트 ID로 설정되어 있는지 확인합니다.
gcloud auth list
  1. Cloud Shell에서 다음 명령어를 실행하여 gcloud 명령어가 프로젝트를 알고 있는지 확인합니다.
gcloud config list project
  1. 프로젝트가 설정되지 않은 경우 다음 명령어를 사용하여 설정합니다.
gcloud config set project <YOUR_PROJECT_ID>
  1. Google Cloud를 위한 Gemini Marketplace로 이동하여 API를 사용 설정합니다. Cloud Shell 터미널에서 다음 명령어를 사용할 수도 있습니다.
gcloud services enable cloudaicompanion.googleapis.com --project PROJECT_ID
  1. BigQuery, BigQuery Connection, Cloud Functions, Cloud Run, Vertex AI, Cloud Build API가 사용 설정되어 있는지 확인합니다. gcloud 명령어 대신 이 링크를 사용하여 콘솔을 통해 사용할 수도 있습니다.

gcloud 명령어 및 사용법은 문서를 참조하세요.

5. BigQuery 데이터 세트 및 외부 연결 만들기

먼저 데이터 세트와 Cloud 리소스 연결을 만들어 보겠습니다.

BigQuery의 데이터 세트는 애플리케이션의 모든 테이블과 객체를 보관하는 컨테이너입니다.

데이터 세트를 만들려면 다음 안내를 따르세요.

  1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
  2. 탐색기 패널에서 데이터 세트를 만들 프로젝트를 선택합니다.
  3. 작업 옵션 (세로 생략 기호 아이콘)을 펼치고 데이터 세트 만들기를 클릭합니다.

Actions(작업) 메뉴와 Create data(데이터 세트 만들기) 옵션의 이미지

  1. 데이터 세트 ID 필드에 mdm_gemini를 입력합니다.
  2. 위치 유형을 Multi-region(으)로 설정하고 기본값(US(multiple regions in United States.)을 수락합니다.
  3. 데이터 세트 만들기를 클릭합니다.
  4. 데이터 세트가 만들어지고 Explorer 창의 프로젝트 ID 아래에 나열되었는지 확인합니다.

Cloud 함수와 상호작용하려면 BigQuery 연결이 필요합니다. 원격 함수를 만들려면 BigQuery 연결을 만들어야 합니다. 이 Codelab에서는 BigLake 연결을 사용하여 Cloud 함수를 통해 BigQuery의 모델에 액세스합니다. BigLake 연결은 세분화된 BigQuery 액세스 제어 및 보안을 유지하면서 외부 데이터 소스를 연결하는 데 도움이 됩니다. 이 경우에는 Vertex AI Gemini Pro API입니다.

BigLake 연결을 만들려면 다음 안내를 따르세요.

  1. BigQuery 페이지의 탐색기 창에서 추가를 클릭합니다.

외부 연결을 추가하는 추가 버튼이 강조 표시된 BigQuery 콘솔

  1. 외부 데이터 소스에 연결을 클릭합니다.
  2. 연결 유형 목록에서 Vertex AI 원격 모델, 원격 함수, BigLake (Cloud 리소스)를 선택합니다.
  3. 연결 ID 필드에 gemini-bq-conn로 연결 이름을 입력합니다.
  4. 위치 유형을 Multi-region(으)로 설정하고 기본값(US(multiple regions in United States.)을 수락합니다.
  5. 연결 만들기를 클릭합니다.
  6. 연결로 이동을 클릭한 다음 연결 정보 창에서 서비스 계정 ID를 복사합니다.

연결 정보 스크린샷

  1. IAM 및 관리 페이지로 이동하여 액세스 권한 부여를 클릭합니다.
  2. 새 원칙 필드에 서비스 계정 ID를 붙여넣습니다.
  3. 역할 목록에서 Vertex AI user 역할을 선택하고 저장을 클릭합니다.

서비스 계정에 대한 액세스 권한 부여 스크린샷

이제 데이터 세트와 BigQuery 연결이 성공적으로 생성되었습니다.

6. Gemini 함수 호출 배포 (Java Cloud 함수)

Gemini 함수 호출이 포함된 Java Cloud 함수를 배포하려면 다음 단계를 따르세요.

  1. 다음 명령어를 사용하여 Cloud Shell 터미널에서 github 저장소를 클론합니다.
git clone https://github.com/AbiramiSukumaran/GeminiFunctionCalling
  1. YOUR_API_KEY 및 YOUR_PROJECT_ID 자리표시자를 해당 값으로 바꿉니다.

여기에서 블로그를 읽어보면 함수 호출 구현에서 Reverse Geocoding API를 사용한다는 사실을 알 수 있습니다. 여기의 안내에 따라 자체 API_KEY를 만들 수 있습니다.

  1. Cloud Shell 터미널에서 새로 클론된 프로젝트 디렉터리인 GeminiFunctionCalling으로 이동하고 다음 문을 실행하여 Cloud 함수를 빌드하고 배포합니다.
gcloud functions deploy gemini-fn-calling --gen2 --region=us-central1 --runtime=java11 --source=. --entry-point=cloudcode.helloworld.HelloWorld --trigger-http

'y'라고 말하세요. '인증되지 않은 호출 허용' 메시지가 표시되면 개의 질문이 있습니다. 권장사항에 따라 엔터프라이즈 애플리케이션에 대한 인증을 설정하는 것이 가장 좋습니다. 하지만 이 앱은 데모 앱이므로 인증되지 않은 상태로 진행하겠습니다.

출력은 다음 형식의 REST URL입니다.

https://us-central1-YOUR_PROJECT_ID.cloudfunctions.net/gemini-fn-calling

  1. 터미널에서 다음 명령어를 실행하여 이 Cloud 함수를 테스트합니다.
gcloud functions call gemini-fn-calling --region=us-central1 --gen2 --data '{"calls":[["40.714224,-73.961452"]]}'

무작위 샘플 프롬프트의 응답:

 '{"replies":["{ \"DOOR_NUMBER\": \"277\", \"STREET_ADDRESS\": \"Bedford Ave\", \"AREA\":
 null, \"CITY\": \"Brooklyn\", \"TOWN\": null, \"COUNTY\": \"Kings County\", \"STATE\":
 \"NY\", \"COUNTRY\": \"USA\", \"ZIPCODE\": \"11211\", \"LANDMARK\": null}}```"]}'

이 Cloud 함수의 요청 및 응답 매개변수는 BigQuery의 원격 함수 호출과 호환되는 방식으로 구현됩니다. 인플레이스 BigQuery 데이터에서 직접 사용할 수 있습니다. 즉, 데이터 입력 (위도 및 경도 데이터)이 BigQuery에 있으면 해당 데이터에 대해 원격 함수를 호출하고 BigQuery 내에서 직접 저장하거나 처리할 수 있는 함수 응답을 받을 수 있습니다.

  1. BigQuery에서 다음 DDL을 실행하여 배포된 이 Cloud 함수를 호출하는 원격 함수를 만듭니다.
CREATE OR REPLACE FUNCTION
 `mdm_gemini.MDM_GEMINI` (latlng STRING) RETURNS STRING
 REMOTE WITH CONNECTION `us.gemini-bq-conn`
 OPTIONS (
   endpoint = 'https://us-central1-YOUR_PROJECT_ID.cloudfunctions.net/gemini-fn-calling', max_batching_rows = 1
 );

생성된 새 원격 함수를 사용하기 위한 테스트 쿼리:

SELECT mdm_gemini.MDM_GEMINI(latlong) - mdm_gemini.CITIBIKE_STATIONS 한도 1;

Cloud Functions 권한 문제로 인해 BigQuery에서 생성된 새 원격 함수를 사용하는 테스트 쿼리가 실패하면 Google Cloud 콘솔에서 Cloud Functions로 이동하여 'gemini-fn-calling'이라는 배포된 Cloud 함수를 찾습니다. 권한 탭으로 이동하여 주 구성원을 'allUsers'로 추가하세요. 'Cloud Functions 호출자' 역할을 부여합니다. 모든 사용자가 Cloud Functions에 액세스할 수 있도록 합니다 (이 앱은 데모 앱이기 때문에 가능).

7. 해결 방법 시도

역 지오코딩 함수 호출 접근 방식에 필요한 API_KEY가 없거나 어떤 이유로 Cloud 함수가 배포되지 않은 경우 대안으로 다음을 수행할 수 있습니다.

  1. 저장소에서 CITIBIKE_STATIONS.csv 파일을 Cloud Shell 프로젝트 폴더로 다운로드하고 해당 폴더로 이동합니다.
  2. Cloud Shell 터미널에서 다음 명령어를 사용하여 CSV의 데이터를 새 BigQuery 데이터 세트 mdm_gemini로 내보냅니다.
bq load --source_format=CSV --skip_leading_rows=1 mdm_gemini.CITIBIKE_STATIONS ./CITIBIKE_STATIONS.csv \ name:string,latlng:string,capacity:numeric,num_bikes_available:numeric,num_docks_available:numeric,last_reported:timestamp,full_address_string:string

8. 테이블 만들기 및 주소 데이터 보강

1단계: 테이블 만들기

노출: 해결 방법을 사용했다면 테이블을 이미 만들었어야 하므로 이 단계를 건너뜁니다.

해결 방법을 사용하지 않았다면 BigQuery SQL 편집기에서 다음 DDL을 실행합니다.

CREATE TABLE mdm_gemini.CITIBIKE_STATIONS as (
select  name, latitude || ',' || longitude as latlong, capacity, num_bikes_available, num_docks_available,last_reported,
'' as full_address_string
from bigquery-public-data.new_york_citibike.citibike_stations) ;

이제 표에서 사용 가능한 위도와 경도 좌표에서 원격 함수를 호출하여 주소 데이터를 보강해 보겠습니다. 데이터에 다음 조건을 설정합니다.

  • 2024년에 보고됨
  • 이용 가능한 자전거 수 > 0개
  • 인원 > 100명

다음 쿼리를 실행합니다.

update `mdm_gemini.CITIBIKE_STATIONS`
set full_address_string = `mdm_gemini.MDM_GEMINI`(latlong)
where EXTRACT(YEAR FROM last_reported) = 2024 and num_bikes_available > 0 and capacity > 100;

2단계: 자전거 정거장 위치 데이터의 두 번째 소스 만들기

해결 방법을 사용하여 테이블을 만들었더라도 이 단계를 건너뛰지 마세요.

이 단계에서는 이 Codelab의 목적에 맞게 자전거 정거장 위치 데이터의 두 번째 소스를 만듭니다. 이는 MDM이 여러 소스의 데이터를 함께 가져와 황금률을 식별하고 있음을 보여주기 위한 것입니다.

BigQuery SQL Editor에서 다음 DDL을 실행하여 두 개의 레코드가 있는 두 번째 위치 데이터 소스를 만듭니다. 이 테이블의 이름을 mdm_gemini.CITIBIKE_STATIONS_SOURCE2로 지정하고 여기에 레코드 두 개를 삽입해 보겠습니다.

CREATE TABLE mdm_gemini.CITIBIKE_STATIONS_SOURCE2 (name STRING(55), address STRING(1000), embeddings_src ARRAY<FLOAT64>);

insert into mdm_gemini.CITIBIKE_STATIONS_SOURCE2 VALUES ('Location broadway and 29','{ "DOOR_NUMBER": "1593", "STREET_ADDRESS": "Broadway", "AREA": null, "CITY": "New York", "TOWN": null, "COUNTY": "New York County", "STATE": "NY", "COUNTRY": "USA", "ZIPCODE": "10019", "LANDMARK": null}', null);

insert into mdm_gemini.CITIBIKE_STATIONS_SOURCE2 VALUES ('Allen St & Hester','{ "DOOR_NUMBER": "36", "STREET_ADDRESS": "Allen St", "AREA": null, "CITY": "New York", "TOWN": null, "COUNTY": "New York County", "STATE": "NY", "COUNTRY": "USA", "ZIPCODE": "10002", "LANDMARK": null}', null);

9. 주소 데이터의 임베딩 생성

임베딩은 텍스트나 오디오 파일과 같이 주어진 항목을 나타내는 고차원 숫자 벡터입니다. 머신러닝 (ML) 모델은 임베딩을 사용하여 이러한 항목에 대한 시맨틱스를 인코딩하므로 보다 쉽게 추론하고 비교할 수 있습니다. 예를 들어 클러스터링, 분류, 추천 모델에서 일반적인 작업은 임베딩 공간에서 벡터 간 거리를 측정하여 의미상 가장 유사한 항목을 찾는 것입니다. Vertex AI 텍스트 임베딩 API를 사용하면 Vertex AI에서 생성형 AI를 사용하여 텍스트 임베딩을 만들 수 있습니다. 텍스트 임베딩은 단어와 구문 사이의 관계를 캡처하는 텍스트를 숫자로 나타낸 것입니다. 여기에서 Vertex AI 텍스트 임베딩에 대해 자세히 알아보세요.

  1. 아래 DDL을 실행하여 Vertex AI 텍스트 임베딩 API의 원격 모델을 만듭니다.
CREATE OR REPLACE MODEL `mdm_gemini.CITIBIKE_STATIONS_ADDRESS_EMB`
REMOTE WITH CONNECTION `us.gemini-bq-conn`
OPTIONS (ENDPOINT = 'textembedding-gecko@latest');
  1. 이제 원격 임베딩 모델이 준비되었으므로 첫 번째 소스의 임베딩을 생성하고 다음 쿼리를 사용하여 테이블에 저장해 보겠습니다.
CREATE TABLE `mdm_gemini.CITIBIKE_STATIONS_SOURCE1` AS (
SELECT *
FROM ML.GENERATE_EMBEDDING(
 MODEL `mdm_gemini.CITIBIKE_STATIONS_ADDRESS_EMB`,
 ( select name, full_address_string as content from `mdm_gemini.CITIBIKE_STATIONS`
 where full_address_string is not null )
  )
);

새 테이블을 만드는 대신 임베딩 결과 필드를 앞에서 만든 동일한 mdm_gemini.CITIBIKE_STATIONS 테이블에 저장할 수도 있습니다.

  1. CITIBIKE_STATIONS_SOURCE2 테이블에서 주소 데이터에 대한 임베딩을 생성하려면 다음 쿼리를 실행합니다.
update `mdm_gemini.CITIBIKE_STATIONS_SOURCE2` a set embeddings_src =
(
SELECT  ml_generate_embedding_result
FROM ML.GENERATE_EMBEDDING(
 MODEL `mdm_gemini.CITIBIKE_STATIONS_ADDRESS_EMB`,
 ( select name, address as content from `mdm_gemini.CITIBIKE_STATIONS_SOURCE2` ))
where name = a.name) where name is not null;

이렇게 하면 두 번째 소스의 임베딩이 생성됩니다. 동일한 테이블 CITIBIKE_STATIONS_SOURCE2에 임베딩 필드를 만들었습니다.

  1. 소스 데이터 테이블 1과 2에 대해 생성된 임베딩을 시각화하려면 다음 쿼리를 실행합니다.
select name,address,embeddings_src from `mdm_gemini.CITIBIKE_STATIONS_SOURCE2`;
select name,content,ml_generate_embedding_result from `mdm_gemini.CITIBIKE_STATIONS_SOURCE1`;

이제 벡터 검색을 실행하여 중복 항목을 식별해 보겠습니다.

10. 벡터 검색을 실행하여 중복 주소 플래그 지정

이 단계에서는 ml_generate_embedding_result 테이블의 주소 임베딩 ml_generate_embedding_result 열에서 ml_generate_embedding_result 테이블의 ml_generate_embedding_result 열에 있는 각 데이터 행과 일치하는 상위 2개의 임베딩을 검색합니다.

그러려면 다음 쿼리를 실행합니다.

select query.name name1,base.name name2,
/* (select address from mdm_gemini.CITIBIKE_STATIONS_SOURCE2 where name = query.name) content1, base.content content2, */
distance
from VECTOR_SEARCH(
 TABLE mdm_gemini.CITIBIKE_STATIONS_SOURCE1,
 'ml_generate_embedding_result',
 (SELECT * FROM mdm_gemini.CITIBIKE_STATIONS_SOURCE2),
 'embeddings_src',
 top_k => 2
) where query.name <> base.name
order by distance desc;

쿼리 중인 테이블: ml_generate_embedding_result 필드의 mdm_gemini.CITIBIKE_STATIONS_SOURCE1

기본으로 사용하는 테이블: embeddings_src 필드의 mdm_gemini.CITIBIKE_STATIONS_SOURCE2

top_k: 반환할 최근접 이웃의 수를 지정합니다. 기본값은 10입니다. 음수 값은 무한대로 취급됩니다. 즉, 모든 값이 인접 값으로 계산되어 반환됩니다.

distance_type: 두 벡터 간 거리를 계산하는 데 사용할 측정항목의 유형을 지정합니다. 지원되는 거리 유형은 유클리드 및 코사인입니다. 기본값은 Euclidean입니다.

쿼리 결과는 다음과 같습니다.

결과 집합

보시다시피 CITIBIKE_STATIONS_SOURCE1의 CITIBIKE_STATIONS_SOURCE2에 있는 두 행에 대해 2개의 최근접 이웃 (즉, 가장 가까운 중복 항목)이 나열되어 있습니다. distance_type는 지정되지 않았으므로 유클리드라고 가정하고 거리는 두 소스 사이의 주소 TEXT 값의 거리로 판독됩니다. 가장 낮은 값은 가장 유사한 주소 텍스트입니다.

다음 쿼리를 사용하여 distance_type를 Cosine으로 설정하겠습니다.

select query.name name1,base.name name2,
/* (select address from mdm_gemini.CITIBIKE_STATIONS_SOURCE2 where name = query.name) content1, base.content content2, */
distance
from VECTOR_SEARCH(
 TABLE mdm_gemini.CITIBIKE_STATIONS_SOURCE1,
 'ml_generate_embedding_result',
 (SELECT * FROM mdm_gemini.CITIBIKE_STATIONS_SOURCE2),
 'embeddings_src',
 top_k => 2,distance_type => 'COSINE'
) where query.name <> base.name
order by distance desc;

쿼리 결과는 다음과 같습니다.

결과 세트 2

두 거리 유형의 쿼리 모두 거리 내림차순으로 정렬됩니다. 즉, 결과를 내림차순으로 나열합니다. 그러나 두 번째 쿼리의 거리 순서가 반대인 것을 확인할 수 있습니다. 왜 그럴까요?

잘했습니다. 정답을 고르셨습니다! 코사인 유사성에서 숫자가 클수록 유사성이 커지고 거리가 짧아집니다. 유클리드 거리에서 숫자가 클수록 값 사이의 거리가 멀어집니다.

MDM에 대한 자세한 내용과 유클리드 및 코사인의 차이점과 응용 사례를 이해하기 위한 팁은 블로그를 참고하세요.

11. 삭제

이 게시물에서 사용한 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 리소스 관리 페이지로 이동합니다.
  2. 프로젝트 목록에서 삭제할 프로젝트를 선택하고 삭제를 클릭합니다.
  3. 대화상자에서 프로젝트 ID를 입력하고 종료를 클릭하여 프로젝트를 삭제합니다.
  4. 프로젝트를 유지하려면 위 단계를 건너뛰고 Cloud Functions로 이동하여 Cloud 함수를 삭제한 후 함수 목록에서 삭제할 함수를 선택하고 삭제를 클릭합니다.

12. 축하합니다

축하합니다. 몇 가지 MDM 활동을 간단하면서도 강력하고 결정론적이며 신뢰할 수 있는 생성형 AI 기능으로 변환하는 데 Gemini 1.0 Pro와 함수 호출을 사용하여 강력한 성능을 입증해 보았습니다. 이제 동일한 사용 사례 또는 다른 MDM 기능을 구현할 다른 방법을 찾아보세요. 검증할 수 있는 데이터 세트, 보완할 수 있는 정보 격차 또는 생성형 AI 응답에 내장된 구조화된 호출을 통해 자동화할 수 있는 작업이 있나요? 자세한 안내는 Vertex AI, BigQuery 원격 함수, Cloud Functions, 임베딩, 벡터 검색 문서를 참조하세요. 이 프로젝트의 GitHub 저장소는 다음과 같습니다. 이 학습으로 무엇을 빌드했는지 알려주세요.