การตรวจหาและแก้ไขออบเจ็กต์ภาพด้วย Gemini และ Nano Banana

1. ภาพรวม

ในแล็บนี้ คุณจะได้สำรวจงานต่อไปนี้

  • 1️⃣ ตรวจจับออบเจ็กต์ภาพภายในรูปภาพด้วย Gemini
  • 2️⃣ แยกและกู้คืนออบเจ็กต์ภาพด้วย Nano Banana
  • 3️⃣ แก้ไขและแปลงออบเจ็กต์ที่กู้คืนด้วย Nano Banana

ตัวอย่างสิ่งที่คุณจะทำได้

1f2cadc1fd825c64.png

สิ่งที่คุณจะได้เรียนรู้

  • วิธีตรวจจับออบเจ็กต์แบบเปิดคำศัพท์โดยใช้ความเข้าใจเชิงพื้นที่ของ Gemini
  • วิธีแยกกรอบล้อมรอบ คำบรรยายภาพ และป้ายกำกับแบบไดนามิกโดยใช้พรอมต์ภาษาธรรมชาติ
  • วิธีกู้คืน ล้าง และปรับให้ตรงออบเจ็กต์ภาพที่บิดเบี้ยวหรือเป็นสไตล์วินเทจ
  • วิธีเขียนพรอมต์แบบคำสั่งและแบบบรรยายสำหรับการแก้ไขรูปภาพ
  • วิธีใส่สีและแปลงภาพอย่างสร้างสรรค์ให้เป็นสไตล์ใหม่ทั้งหมด
  • วิธี "สร้างภาพยนตร์" จากภาพให้เป็นภาพนิ่งจากภาพยนตร์ไลฟ์แอ็กชันที่สมจริง

สิ่งที่คุณต้องมี

  • ความคุ้นเคยกับการเรียกใช้ Python ในสมุดบันทึก (ใน Colab หรือสภาพแวดล้อม Jupyter อื่นๆ)
  • โปรเจ็กต์ Google Cloud หรือคีย์ Gemini API ที่เปิดใช้การเรียกเก็บเงิน

ℹ️ ค่าใช้จ่ายทั้งหมดในการเรียกใช้แล็บตั้งแต่ต้นจนจบจะน้อยกว่า 2 USD (รูปภาพ 1K ที่สร้างขึ้น 45 รูป แต่ละรูปมีโทเค็น 1,290 รายการ)

ed255bd97afbedca.png fc7e616a26c8fa40.png c0b9ecec49c859f2.png fc7e616a26c8fa40.png 8f240cd033d2cc65.png

มาเริ่มกันเลย

2. ก่อนเริ่มต้น

หากต้องการใช้ Gemini API คุณมีตัวเลือกหลัก 2 ตัวเลือก

  1. ผ่าน Agent Platform (เดิมชื่อ Vertex AI) ด้วยโปรเจ็กต์ที่อยู่ในระบบคลาวด์ของ Google Cloud
  2. ผ่าน Google AI Studio ด้วยคีย์ Gemini API

🛠️ ตัวเลือกที่ 1 - Gemini API ผ่าน Agent Platform

ข้อกำหนด

  • โปรเจ็กต์ Google Cloud
  • ต้องเปิดใช้ Agent Platform API สำหรับโปรเจ็กต์นี้

🛠️ ตัวเลือกที่ 2 - Gemini API ผ่าน Google AI Studio

ข้อกำหนด

  • คีย์ Gemini API

ดูข้อมูลเพิ่มเติมเกี่ยวกับการรับคีย์ Gemini API จาก Google AI Studio

3. เรียกใช้สมุดบันทึก

เลือกเครื่องมือที่ต้องการเพื่อเปิดสมุดบันทึก

🧰 เครื่องมือ A - เปิดสมุดบันทึกใน Colab

🧰 เครื่องมือ B - เปิดสมุดบันทึกใน Colab Enterprise หรือ Workbench

💡 ตัวเลือกนี้อาจเหมาะกับคุณหากคุณได้กำหนดค่าโปรเจ็กต์ที่อยู่ในระบบคลาวด์ Google Cloud ด้วยอินสแตนซ์ Colab Enterprise หรือ Workbench ไว้แล้ว

🧰 เครื่องมือ C - รับสมุดบันทึกจาก GitHub และดำเนินการในสภาพแวดล้อมของคุณเอง

⚠️ คุณจะต้องรับสมุดบันทึกจาก GitHub (หรือโคลนที่เก็บ) และดำเนินการในสภาพแวดล้อม Jupyter ของคุณเอง

🗺️ สารบัญสมุดบันทึก

ตรวจสอบว่าได้ขยายและใช้สารบัญเพื่อการนำทางที่ง่ายขึ้น ตัวอย่าง

de85f5dcc0fe059e.png

🏁 เรียกใช้สมุดบันทึก

คุณพร้อมแล้ว ตอนนี้คุณสามารถทำตามและเรียกใช้สมุดบันทึกได้แล้ว สนุกกับการใช้งาน

4. ยินดีด้วย

e3299284f68f56f4.png

ขอแสดงความยินดีที่ทำ Codelab นี้เสร็จสมบูรณ์

ดูข้อมูลเพิ่มเติม