1. Introduzione
Panoramica
Di recente Cloud Run ha aggiunto il supporto per le GPU. È disponibile come anteprima pubblica in lista d'attesa. Se ti interessa provare la funzionalità, compila questo modulo per iscriverti alla lista d'attesa. Cloud Run è una piattaforma di container su Google Cloud che semplifica l'esecuzione del codice in un container senza richiedere la gestione di un cluster.
Attualmente, le GPU che rendiamo disponibili sono GPU Nvidia L4 con 24 GB di vRAM. È disponibile una GPU per istanza Cloud Run e la scalabilità automatica di Cloud Run continua a essere applicata. Sono inclusi lo scale out fino a 5 istanze (con aumento della quota disponibile) e lo scale down fino a zero istanze quando non ci sono richieste.
Transformers.js è progettato per essere funzionalmente equivalente alla libreria Python Transformers di Hugging Face, il che significa che puoi eseguire gli stessi modelli preaddestrati utilizzando un'API molto simile. Per saperne di più, visita il sito web di Transformers.js.
In questo codelab, creerai ed eseguirai il deployment di un'app in Cloud Run che utilizza Transformers.js e GPU.
Cosa imparerai a fare
- Come eseguire un'app che utilizza Transformers.js su Cloud Run utilizzando le GPU
2. Abilita le API e imposta le variabili di ambiente
Prima di poter iniziare a utilizzare questo codelab, ci sono diverse API che dovrai abilitare. Questo codelab richiede l'utilizzo delle seguenti API. Puoi abilitare queste API eseguendo questo comando:
gcloud services enable run.googleapis.com \
storage.googleapis.com \
cloudbuild.googleapis.com \
Poi puoi impostare le variabili di ambiente che verranno utilizzate durante questo codelab.
PROJECT_ID=<YOUR_PROJECT_ID> AR_REPO_NAME=repo REGION=us-central1
3. Crea l'app Transformers.js
Per prima cosa, crea una directory per il codice sorgente ed esegui cd in quella directory.
mkdir transformers-js-codelab && cd $_
Crea un file package.json.
{
"name": "huggingface",
"version": "1.0.0",
"main": "index.js",
"type": "module",
"scripts": {
"test": "echo \"Error: no test specified\" && exit 1"
},
"keywords": [],
"author": "",
"license": "ISC",
"description": "",
"dependencies": {
"@huggingface/transformers": "^3.0.0-alpha.8",
"@xenova/transformers": "^2.17.2",
"express": "^4.17.1"
}
}
Crea un file denominato index.js
import { pipeline } from "@xenova/transformers";
import express from 'express';
// make sure the text-generation pipeline is created first
// before anyone can access the routes
const generator = await pipeline('text-generation', 'Xenova/llama2.c-stories15M', {
device: 'cuda',
dtype: 'fp32',
});
// now create the app and routes
const app = express();
app.get('/', async (req, res) => {
const text = 'A long time ago in a galaxy far far away,';
const output = await generator(text, { max_new_tokens: 50 });
res.send(output);
});
const port = parseInt(process.env.PORT) || 8080;
app.listen(port, () => {
console.log(`transformers-js app: listening on port ${port}`);
});
Crea un Dockerfile. Il file Docker installerà i driver NVIDIA aggiuntivi necessari per Transformers.js
FROM node:20 WORKDIR /usr/src/app RUN apt-get update && \ apt-get install software-properties-common -y && \ wget https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64/cuda-keyring_1.1-1_all.deb && \ dpkg -i cuda-keyring_1.1-1_all.deb && \ add-apt-repository contrib && \ apt-get update && \ apt-get -y install cuda-toolkit-12-6 && \ apt-get -y install cudnn-cuda-12 EXPOSE 8080 COPY package.json . RUN npm install COPY index.js . ENTRYPOINT ["node", "index.js"]
4. Crea ed esegui il deployment del servizio Cloud Run
Crea un repository in Artifact Registry.
gcloud artifacts repositories create $AR_REPO_NAME \ --repository-format docker \ --location us-central1
Invia il codice a Cloud Build.
IMAGE=us-central1-docker.pkg.dev/$PROJECT_ID/$AR_REPO_NAME/gpu-transformers-js gcloud builds submit --tag $IMAGE
Esegui il deployment in Cloud Run
gcloud beta run deploy transformers-js-codelab \ --image=$IMAGE \ --cpu 8 --memory 32Gi \ --gpu=1 --no-cpu-throttling --gpu-type nvidia-l4 \ --allow-unauthenticated \ --region us-central1 \ --project=$PROJECT_ID \ --max-instances 1
5. Testa il servizio
Puoi testare il servizio eseguendo questo comando:
SERVICE_URL=$(gcloud run services describe transformers-js-codelab --region $REGION --format 'value(status.url)') curl $SERVICE_URL
e vedrai qualcosa di simile al seguente:
[{"generated_text":"A long time ago in a galaxy far far away, there was a beautiful garden. Every day, the little girl would go to the garden and look at the flowers. She loved the garden so much that she would come back every day to visit it.\nOne day, the little girl was walking through"}]
6. Complimenti!
Complimenti per aver completato il codelab.
Ti consigliamo di consultare la documentazione sulle GPU Cloud Run.
Argomenti trattati
- Come eseguire un'app che utilizza Transformers.js su Cloud Run utilizzando le GPU
7. Esegui la pulizia
Per evitare addebiti involontari, ad esempio se i servizi Cloud Run vengono invocati inavvertitamente più volte rispetto all'allocazione mensile di invocazioni Cloud Run nel livello senza costi, puoi eliminare Cloud Run o il progetto creato nel passaggio 2.
Per eliminare il servizio Cloud Run, vai alla console Cloud Run all'indirizzo https://console.cloud.google.com/run ed elimina il servizio transformers-js-codelab.
Se scegli di eliminare l'intero progetto, puoi andare alla pagina https://console.cloud.google.com/cloud-resource-manager, selezionare il progetto creato nel passaggio 2 e scegliere Elimina. Se elimini il progetto, dovrai modificare i progetti nel tuo Cloud SDK. Puoi visualizzare l'elenco di tutti i progetti disponibili eseguendo gcloud projects list.