Esta página foi traduzida pela API Cloud Translation.

a Vertex AI cria um notebook seguro gerenciado pelo usuário

1. Introdução

As instâncias de notebooks gerenciados pelo usuário do Vertex AI Workbench permitem criar e gerenciar instâncias de máquina virtual (VM) de aprendizado profundo pré-empacotadas com o JupyterLab.

As instâncias de notebooks gerenciados pelo usuário têm um conjunto pré-instalado de pacotes de aprendizado profundo, incluindo suporte para os frameworks do TensorFlow e do PyTorch. É possível configurar instâncias ativadas para GPU ou somente CPU.

O que você vai criar

Neste tutorial, descrevemos o processo de implantação de um notebook seguro gerenciado pelo usuário com base nas práticas recomendadas de Rede e segurança. As etapas a seguir são necessárias:

Criar uma VPC
Criar um Cloud Router e um Cloud NAT
Configure a instância de notebook com as configurações de segurança apropriadas

Neste tutorial, fornecemos instruções detalhadas para cada etapa. Ele também inclui dicas e práticas recomendadas para proteger notebooks gerenciados pelo usuário. A Figura 1 é uma ilustração da implantação usando uma VPC independente.

Figura 1.

O que você vai aprender

Como determinar se uma VPC compartilhada ou independente é a melhor para sua organização
Como criar uma VPC independente
Como criar um Cloud Router e um Cloud NAT
Como criar um notebook gerenciado pelo usuário
Como acessar um notebook gerenciado pelo usuário
Como monitorar a integridade do notebook gerenciado pelo usuário
Como criar e aplicar uma programação de instâncias

O que é necessário

Projeto do Google Cloud

Permissões IAM

Administrador de rede do Compute
Administrador de segurança do Compute
Administrador da instância do Compute
Administrador de notebooks
Administrador do Storage
Administrador de projetos do IAM
Administrador da conta de serviço
Usuário da conta de serviço
Leitor de objetos do Storage (aplicado à conta de serviço)
Usuário da Vertex AI (aplicado à conta de serviço)

2. Rede VPC

Pense em uma rede VPC da mesma forma que você pensaria em uma rede física, só que virtualizada dentro do Google Cloud. Uma rede VPC é um recurso global que consiste em sub-redes regionais. As redes VPC são isoladas logicamente umas das outras no Google Cloud.

VPC independente

A Figura 2 é um exemplo de VPC global independente que consiste em uma sub-rede regional (us-central1), além do Cloud Router e do Cloud NAT usados para permitir que o notebook gerenciado pelo usuário estabeleça conectividade com segurança com a Internet.

Figura 2.

VPC compartilhada

A VPC compartilhada permite exportar sub-redes de uma rede VPC em um projeto host para projetos de serviço na mesma organização. O projeto host contém recursos de rede que são compartilhados com o projeto de serviço, como sub-redes, cloud NAT e regras de firewall. O projeto de serviço contém recursos no nível do aplicativo que aproveitam os recursos de rede no projeto host.

A Figura 3 é a ilustração de uma VPC compartilhada global, em que a infraestrutura de rede e segurança é implantada no projeto host, enquanto as cargas de trabalho são implantadas no projeto de serviço.

Figura 3.

VPC independente x VPC compartilhada

Uma única rede VPC é suficiente para muitos casos de uso simples, porque é mais fácil de criar, manter e entender do que alternativas mais complexas. A VPC compartilhada é uma ferramenta eficaz para organizações com várias equipes, porque permite que elas estendam a simplicidade arquitetônica de uma única rede VPC em vários grupos de trabalho usando projetos de serviço.

Práticas recomendadas da VPC usadas no tutorial

Ative o Cloud NAT para acessar o notebook.
Ative o Acesso privado do Google ao criar sub-redes.
Crie regras de firewall prescritivas para reduzir o tráfego não solicitado.Por exemplo, não use 0.0.0.0/0 tcp em vez disso defina os endereços IP exatos de sub-redes ou hosts.
Use políticas de firewall para aprofundar o escopo das regras de entrada, como localizações geográficas, listas de inteligência contra ameaças, nomes de domínio de origem etc.

3. Práticas recomendadas para notebooks

Dimensionar as instâncias corretamente

Interromper e/ou excluir instâncias não usadas
Use uma instância inicial menor e itere com dados de amostra menores
Escalonar instâncias conforme necessário
Teste conjuntos de dados menores

Selecionar os tipos de máquina certos

VMs com custo otimizado
Aproveitar melhor os recursos de hardware para reduzir os custos
Até 31% de economia em comparação com o N1
Economia extra (20 a 50%) para compromissos de um ou três anos
Aumentar o tamanho da máquina ou adicionar GPUs pode ajudar no desempenho e na superação de erros de limitação de memória

Programar o encerramento das instâncias

Desativação de instâncias quando elas estiverem ociosas (pague apenas pelo armazenamento em disco)
Programar o encerramento e a inicialização das instâncias de VM do notebook em horários específicos

Monitorar o status de integridade do notebook

As instâncias de notebooks gerenciados pelo usuário têm uma ferramenta de diagnóstico integrada que pode ajudar a monitorar a integridade das instâncias.

Considerações sobre segurança

Veja a seguir as considerações de segurança recomendadas ao criar um notebook gerenciado pelo usuário:

Selecione a opção "Somente um usuário". acesso ao notebook. Se o usuário especificado não for o criador da instância, conceda a ele o papel de usuário da conta de serviço (roles/iam.serviceAccountUser) na conta de serviço da instância.
Desative as seguintes opções:
acesso raiz
nbconvert
download de arquivo na interface do JupyterLab
O Cloud NAT será usado em vez de atribuir um endereço IP externo ao notebook gerenciado pelo usuário.
Selecione as seguintes opções de computação:
Inicialização segura
Módulo de plataforma confiável e virtual (vTPM)
Monitoramento da integridade

4. Antes de começar

Atualizar o projeto para ser compatível com o tutorial

Neste tutorial, usamos as variáveis $variables para ajudar na implementação da configuração da gcloud no Cloud Shell.

No Cloud Shell, faça o seguinte:

gcloud config list project
gcloud config set project [your-project-name]
projectid=your-project-name
echo $projectid

5. Configuração da VPC

Crie a VPC independente

No Cloud Shell, faça o seguinte:

gcloud compute networks create securevertex-vpc --project=$projectid --subnet-mode=custom

Crie a sub-rede de notebook gerenciada pelo usuário

No Cloud Shell, faça o seguinte:

gcloud compute networks subnets create securevertex-subnet-a --project=$projectid --range=10.10.10.0/28 --network=securevertex-vpc --region=us-central1 --enable-private-ip-google-access

Configuração do Cloud Router e NAT

O Cloud NAT é usado no tutorial para downloads de pacotes de software de notebook porque a instância de notebook gerenciada pelo usuário não tem um endereço IP externo. O Cloud NAT também oferece recursos de saída de NAT, o que significa que os hosts da Internet não têm permissão para iniciar a comunicação com um notebook gerenciado pelo usuário, o que o torna mais seguro.

No Cloud Shell, crie o roteador de nuvem regional.

gcloud compute routers create cloud-router-us-central1 --network securevertex-vpc --region us-central1

No Cloud Shell, crie o gateway cloud nat regional.

gcloud compute routers nats create cloud-nat-us-central1 --router=cloud-router-us-central1 --auto-allocate-nat-external-ips --nat-all-subnet-ip-ranges --region us-central1

6. Criar um bucket de armazenamento

Os buckets de armazenamento oferecem upload/recuperação de arquivos seguros. No tutorial, o armazenamento em nuvem vai conter um script pós-inicialização para instalar pacotes de IA generativa nos notebooks gerenciados pelo usuário.

Crie um bucket do Cloud Storage e substitua BUCKET_NAME por um nome globalmente exclusivo de sua preferência.

No Cloud Shell, crie um bucket de armazenamento exclusivo.

gsutil mb -l us-central1 -b on gs://BUCKET_NAME

Armazenar "BUCKET_NAME" durante o laboratório

BUCKET_NAME=YOUR BUCKET NAME
echo $BUCKET_NAME

7. Criar um script pós-inicialização

Para ativar o download dos pacotes de IA generativa, crie um script de pós-inicialização no Cloud Shell usando o vi ou o editor nano e salve-o como poststartup.sh.

#! /bin/bash
echo "Current user: id" >> /tmp/notebook_config.log 2>&1
echo "Changing dir to /home/jupyter" >> /tmp/notebook_config.log 2>&1
cd /home/jupyter
echo "Cloning generative-ai from github" >> /tmp/notebook_config.log 2>&1
su - jupyter -c "git clone https://github.com/GoogleCloudPlatform/generative-ai.git" >> /tmp/notebook_config.log 2>&1
echo "Current user: id" >> /tmp/notebook_config.log 2>&1
echo "Installing python packages" >> /tmp/notebook_config.log 2&1
su - jupyter -c "pip install --upgrade --no-warn-conflicts --no-warn-script-location --user \
     google-cloud-bigquery \
     google-cloud-pipeline-components \
     google-cloud-aiplatform \
     seaborn \
     kfp" >> /tmp/notebook_config.log 2>&1

Exemplo:

vpc_admin@cloudshell$ more poststartup.sh 
#! /bin/bash
echo "Current user: id" >> /tmp/notebook_config.log 2>&1
echo "Changing dir to /home/jupyter" >> /tmp/notebook_config.log 2>&1
cd /home/jupyter
echo "Cloning generative-ai from github" >> /tmp/notebook_config.log 2>&1
su - jupyter -c "git clone https://github.com/GoogleCloudPlatform/generative-ai.git" >> /tmp/notebook_config.log 2>&1
echo "Current user: id" >> /tmp/notebook_config.log 2>&1
echo "Installing python packages" >> /tmp/notebook_config.log 2&1
su - jupyter -c "pip install --upgrade --no-warn-conflicts --no-warn-script-location --user \
     google-cloud-bigquery \
     google-cloud-pipeline-components \
     google-cloud-aiplatform \
     seaborn \
     kfp" >> /tmp/notebook_config.log 2>&1

Faça upload do script pós-inicialização para o bucket de armazenamento do Cloud Shell usando gsutil

gsutil cp poststartup.sh gs://$BUCKET_NAME

8. Criar uma conta de serviço

Para fornecer um bom nível de controle do notebook gerenciado pelo usuário, é necessário ter uma conta de serviço. Depois de geradas, as permissões da conta de serviço podem ser modificadas com base nos requisitos comerciais. No tutorial, a conta de serviço terá as seguintes regras aplicadas:

a API Service Account antes de continuar.

No Cloud Shell, crie a conta de serviço.

gcloud iam service-accounts create user-managed-notebook-sa \
    --display-name="user-managed-notebook-sa"

No Cloud Shell, atualize a conta de serviço com o papel Leitor de objetos do Storage.

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/storage.objectViewer"

No Cloud Shell, atualize a conta de serviço com o papel de Usuário da Vertex AI.

gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/aiplatform.user"

No Cloud Shell, liste a conta de serviço e anote o endereço de e-mail que será usado ao criar o notebook gerenciado pelo usuário.

gcloud iam service-accounts list

Exemplo:

$ gcloud iam service-accounts list
DISPLAY NAME: user-managed-notebook-sa
EMAIL: user-managed-notebook-sa@my-project-id.iam.gserviceaccount.com
DISABLED: False

9. Criar um notebook gerenciado pelo usuário seguro

Uma instância de notebooks gerenciados pelo usuário é uma instância de máquina virtual de aprendizado profundo com as bibliotecas mais recentes de machine learning e ciência de dados pré-instaladas. Também é possível incluir GPUs Nvidia para aceleração de hardware.

Ativar APIs de consumidor

a API Notebooks.