การใช้ API การแปลงเสียงพูดเป็นข้อความกับ Python

การใช้ API การแปลงเสียงพูดเป็นข้อความกับ Python

เกี่ยวกับ Codelab นี้

subjectอัปเดตล่าสุดเมื่อ มี.ค. 27, 2024
account_circleเขียนโดย Laurent Picard

1 ภาพรวม

9e7124a578332fed.png

Speech-to-Text API ช่วยให้นักพัฒนาซอฟต์แวร์แปลงเสียงเป็นข้อความในภาษาและตัวแปรต่างๆ กว่า 125 ภาษา โดยใช้โมเดลโครงข่ายระบบประสาทเทียมอันทรงพลังใน API ที่ใช้งานง่าย

ในบทแนะนำนี้ คุณจะมุ่งเน้นที่การใช้ API การแปลงเสียงพูดเป็นข้อความด้วย Python

สิ่งที่คุณจะได้เรียนรู้

  • วิธีตั้งค่าสภาพแวดล้อม
  • วิธีถอดเสียงไฟล์เสียงเป็นภาษาอังกฤษ
  • วิธีถอดเสียงไฟล์เสียงที่มีการประทับเวลาของคำ
  • วิธีถอดเสียงไฟล์เสียงในภาษาต่างๆ

สิ่งที่คุณต้องมี

  • โปรเจ็กต์ Google Cloud
  • เบราว์เซอร์ เช่น Chrome หรือ Firefox
  • ความคุ้นเคยกับการใช้ Python

แบบสำรวจ

คุณจะใช้บทแนะนำนี้อย่างไร

คุณจะให้คะแนนประสบการณ์การใช้งาน Python อย่างไร

คุณจะให้คะแนนประสบการณ์การใช้งานบริการ Google Cloud อย่างไร

2 การตั้งค่าและข้อกำหนด

การตั้งค่าสภาพแวดล้อมตามเวลาที่สะดวก

  1. ลงชื่อเข้าใช้ Google Cloud Console และสร้างโปรเจ็กต์ใหม่หรือใช้โปรเจ็กต์ที่มีอยู่ซ้ำ หากยังไม่มีบัญชี Gmail หรือ Google Workspace คุณต้องสร้างบัญชี

fbef9caa1602edd0.png

a99b7ace416376c4.png

5e3ff691252acf41.png

  • ชื่อโครงการคือชื่อที่แสดงของผู้เข้าร่วมโปรเจ็กต์นี้ เป็นสตริงอักขระที่ Google APIs ไม่ได้ใช้ โดยคุณจะอัปเดตวิธีการชำระเงินได้ทุกเมื่อ
  • รหัสโปรเจ็กต์จะไม่ซ้ำกันในทุกโปรเจ็กต์ของ Google Cloud และจะเปลี่ยนแปลงไม่ได้ (เปลี่ยนแปลงไม่ได้หลังจากตั้งค่าแล้ว) Cloud Console จะสร้างสตริงที่ไม่ซ้ำกันโดยอัตโนมัติ คือคุณไม่สนว่าอะไรเป็นอะไร ใน Codelab ส่วนใหญ่ คุณจะต้องอ้างอิงรหัสโปรเจ็กต์ (โดยปกติจะระบุเป็น PROJECT_ID) หากคุณไม่ชอบรหัสที่สร้างขึ้น คุณสามารถสร้างรหัสแบบสุ่มอื่นได้ หรือคุณจะลองดำเนินการเองแล้วดูว่าพร้อมให้ใช้งานหรือไม่ คุณจะเปลี่ยนแปลงหลังจากขั้นตอนนี้ไม่ได้และจะยังคงอยู่ตลอดระยะเวลาของโปรเจ็กต์
  • สำหรับข้อมูลของคุณ ค่าที่ 3 คือหมายเลขโปรเจ็กต์ ซึ่ง API บางตัวใช้ ดูข้อมูลเพิ่มเติมเกี่ยวกับค่าทั้ง 3 ค่าเหล่านี้ในเอกสารประกอบ
  1. ถัดไป คุณจะต้องเปิดใช้การเรียกเก็บเงินใน Cloud Console เพื่อใช้ทรัพยากร/API ของระบบคลาวด์ การใช้งาน Codelab นี้จะไม่มีค่าใช้จ่ายใดๆ หากมี หากต้องการปิดทรัพยากรเพื่อหลีกเลี่ยงการเรียกเก็บเงินที่นอกเหนือจากบทแนะนำนี้ คุณสามารถลบทรัพยากรที่คุณสร้างหรือลบโปรเจ็กต์ได้ ผู้ใช้ Google Cloud ใหม่มีสิทธิ์เข้าร่วมโปรแกรมช่วงทดลองใช้ฟรี$300 USD

เริ่มต้น Cloud Shell

แม้ว่าคุณจะดำเนินการ Google Cloud จากระยะไกลได้จากแล็ปท็อป แต่คุณจะใช้ Cloud Shell ใน Codelab ซึ่งเป็นสภาพแวดล้อมบรรทัดคำสั่งที่ทำงานในระบบคลาวด์

เปิดใช้งาน Cloud Shell

  1. คลิกเปิดใช้งาน Cloud Shell 853e55310c205094.png จาก Cloud Console

3c1dabeca90e44e5.png

หากเริ่มต้นใช้งาน Cloud Shell เป็นครั้งแรก คุณจะเห็นหน้าจอตรงกลางที่อธิบายว่านี่คืออะไร หากระบบแสดงหน้าจอตรงกลาง ให้คลิกต่อไป

9c92662c6a846a5c.png

การจัดสรรและเชื่อมต่อกับ Cloud Shell ใช้เวลาเพียงไม่กี่นาที

9f0e51b578fecce5.png

เครื่องเสมือนนี้โหลดด้วยเครื่องมือการพัฒนาทั้งหมดที่จำเป็น โดยมีไดเรกทอรีหลักขนาด 5 GB ถาวรและทำงานใน Google Cloud ซึ่งช่วยเพิ่มประสิทธิภาพของเครือข่ายและการตรวจสอบสิทธิ์ได้อย่างมาก งานส่วนใหญ่ใน Codelab นี้สามารถทำได้โดยใช้เบราว์เซอร์

เมื่อเชื่อมต่อกับ Cloud Shell แล้ว คุณควรเห็นข้อความตรวจสอบสิทธิ์และโปรเจ็กต์ได้รับการตั้งค่าเป็นรหัสโปรเจ็กต์แล้ว

  1. เรียกใช้คำสั่งต่อไปนี้ใน Cloud Shell เพื่อยืนยันว่าคุณได้รับการตรวจสอบสิทธิ์แล้ว
gcloud auth list

เอาต์พุตจากคำสั่ง

 Credentialed Accounts
ACTIVE  ACCOUNT
*       <my_account>@<my_domain.com>

To set the active account, run:
    $ gcloud config set account `ACCOUNT`
  1. เรียกใช้คำสั่งต่อไปนี้ใน Cloud Shell เพื่อยืนยันว่าคำสั่ง gcloud รู้เกี่ยวกับโปรเจ็กต์ของคุณ
gcloud config list project

เอาต์พุตจากคำสั่ง

[core]
project = <PROJECT_ID>

หากไม่ใช่ ให้ตั้งคำสั่งด้วยคำสั่งนี้

gcloud config set project <PROJECT_ID>

เอาต์พุตจากคำสั่ง

Updated property [core/project].

3 การตั้งค่าสภาพแวดล้อม

ก่อนที่จะเริ่มใช้ API การแปลงเสียงพูดเป็นข้อความ ให้เรียกใช้คำสั่งต่อไปนี้ใน Cloud Shell เพื่อเปิดใช้ API

gcloud services enable speech.googleapis.com

คุณควรจะเห็นบางสิ่งเช่นนี้:

Operation "operations/..." finished successfully.

คุณใช้ Speech-to-Text API ได้แล้ว

ไปที่ไดเรกทอรีหน้าแรก

cd ~

สร้างสภาพแวดล้อมเสมือนของ Python เพื่อแยกทรัพยากร Dependency ต่อไปนี้

virtualenv venv-speech

เปิดใช้งานสภาพแวดล้อมเสมือน

source venv-speech/bin/activate

ติดตั้ง IPython และไลบรารีของไคลเอ็นต์ Speech-to-Text API

pip install ipython google-cloud-speech

คุณควรจะเห็นบางสิ่งเช่นนี้:

...
Installing collected packages: ..., ipython, google-cloud-speech
Successfully installed ... google-cloud-speech-2.25.1 ...

ตอนนี้คุณพร้อมใช้ไลบรารีของไคลเอ็นต์ Speech-to-Text API แล้ว

ในขั้นตอนถัดไป คุณจะต้องใช้ล่าม Python แบบอินเทอร์แอกทีฟที่ชื่อ IPython ซึ่งคุณติดตั้งไว้ก่อนหน้านี้ เริ่มเซสชันโดยการเรียกใช้ ipython ใน Cloud Shell:

ipython

คุณควรจะเห็นบางสิ่งเช่นนี้:

Python 3.9.2 (default, Feb 28 2021, 17:03:44)
Type 'copyright', 'credits' or 'license' for more information
IPython 8.18.1 -- An enhanced Interactive Python. Type '?' for help.

In [1]:

คุณพร้อมที่จะส่งคำขอแรกแล้ว...

4 ถอดเสียงไฟล์เสียง

ในส่วนนี้ คุณจะได้ถอดเสียงไฟล์เสียงภาษาอังกฤษ

คัดลอกโค้ดต่อไปนี้ลงในเซสชัน IPython

from google.cloud import speech


def speech_to_text(
    config
: speech.RecognitionConfig,
    audio
: speech.RecognitionAudio,
) -> speech.RecognizeResponse:
    client
= speech.SpeechClient()

   
# Synchronous speech recognition request
    response
= client.recognize(config=config, audio=audio)

   
return response


def print_response(response: speech.RecognizeResponse):
   
for result in response.results:
        print_result
(result)


def print_result(result: speech.SpeechRecognitionResult):
    best_alternative
= result.alternatives[0]
   
print("-" * 80)
   
print(f"language_code: {result.language_code}")
   
print(f"transcript:    {best_alternative.transcript}")
   
print(f"confidence:    {best_alternative.confidence:.0%}")
   

โปรดใช้เวลาสักครู่เพื่อศึกษาโค้ดและดูว่าโค้ดใช้วิธีการไลบรารีของไคลเอ็นต์ recognize เพื่อถอดเสียงไฟล์เสียงอย่างไร* พารามิเตอร์ config ระบุวิธีประมวลผลคำขอ และพารามิเตอร์ audio ระบุข้อมูลเสียงที่จะจดจำ

วิธีส่งคำขอ

config = speech.RecognitionConfig(
    language_code
="en",
)
audio
= speech.RecognitionAudio(
    uri
="gs://cloud-samples-data/speech/brooklyn_bridge.flac",
)

response
= speech_to_text(config, audio)
print_response
(response)

คุณควรจะเห็นผลลัพธ์ต่อไปนี้

--------------------------------------------------------------------------------
language_code: en-us
transcript:    how old is the Brooklyn Bridge
confidence:    98%

อัปเดตการกำหนดค่าเพื่อเปิดใช้เครื่องหมายวรรคตอนอัตโนมัติและส่งคำขอใหม่ ดังนี้

config.enable_automatic_punctuation = True

response
= speech_to_text(config, audio)
print_response
(response)

คุณควรจะเห็นผลลัพธ์ต่อไปนี้

--------------------------------------------------------------------------------
language_code: en-us
transcript:    How old is the Brooklyn Bridge?
confidence:    98%

สรุป

ในขั้นตอนนี้ คุณสามารถถอดเสียงไฟล์เสียงเป็นภาษาอังกฤษโดยใช้พารามิเตอร์ที่แตกต่างกัน และพิมพ์ผลลัพธ์ออกมา คุณสามารถอ่านข้อมูลเพิ่มเติมเกี่ยวกับการถอดเสียงไฟล์เสียง

5 ดูการประทับเวลาของคำ

การแปลงเสียงพูดเป็นข้อความสามารถตรวจจับการชดเชยเวลา (การประทับเวลา) ของเสียงที่ถอดเสียงได้ ออฟเซ็ตเวลาจะแสดงจุดเริ่มต้นและจุดสิ้นสุดของแต่ละคำที่พูดในเสียงที่ให้มา ค่าออฟเซ็ตเวลาจะแสดงระยะเวลาที่ผ่านไปนับจากจุดเริ่มต้นของเสียง โดยนับเพิ่มทีละ 100 มิลลิวินาที

หากต้องการถอดเสียงไฟล์เสียงที่มีการประทับเวลาของคำ ให้อัปเดตโค้ดโดยคัดลอกโค้ดต่อไปนี้ลงในเซสชัน IPython

def print_result(result: speech.SpeechRecognitionResult):
    best_alternative
= result.alternatives[0]
   
print("-" * 80)
   
print(f"language_code: {result.language_code}")
   
print(f"transcript:    {best_alternative.transcript}")
   
print(f"confidence:    {best_alternative.confidence:.0%}")
   
print("-" * 80)
   
for word in best_alternative.words:
        start_s
= word.start_time.total_seconds()
        end_s
= word.end_time.total_seconds()
       
print(f"{start_s:>7.3f} | {end_s:>7.3f} | {word.word}")
       

ใช้เวลาสักครู่เพื่อศึกษาโค้ดและดูวิธีถอดเสียงไฟล์เสียงที่มีการประทับเวลาของคำ** พารามิเตอร์ enable_word_time_offsets จะบอกให้ API แสดงผลการชดเชยเวลาของแต่ละคำ (ดูรายละเอียดเพิ่มเติมในเอกสาร)

วิธีส่งคำขอ

config = speech.RecognitionConfig(
    language_code
="en",
    enable_automatic_punctuation
=True,
    enable_word_time_offsets
=True,
)
audio
= speech.RecognitionAudio(
    uri
="gs://cloud-samples-data/speech/brooklyn_bridge.flac",
)

response
= speech_to_text(config, audio)
print_response
(response)

คุณควรจะเห็นผลลัพธ์ต่อไปนี้

--------------------------------------------------------------------------------
language_code: en-us
transcript:    How old is the Brooklyn Bridge?
confidence:    98%
--------------------------------------------------------------------------------
  0.000 |   0.300 | How
  0.300 |   0.600 | old
  0.600 |   0.800 | is
  0.800 |   0.900 | the
  0.900 |   1.100 | Brooklyn
  1.100 |   1.400 | Bridge?

สรุป

ในขั้นตอนนี้ คุณสามารถถอดเสียงไฟล์เสียงเป็นภาษาอังกฤษพร้อมการประทับเวลาของคำและพิมพ์ผลลัพธ์ อ่านเพิ่มเติมเกี่ยวกับการรับการประทับเวลาของคำ

6 ถอดเสียงภาษาต่างๆ

Speech-to-Text API รองรับภาษาและตัวแปรมากกว่า 125 รายการ! คุณดูรายการภาษาที่รองรับได้ที่นี่

ในส่วนนี้ คุณจะได้ถอดเสียงไฟล์เสียงภาษาฝรั่งเศส

หากต้องการถอดไฟล์เสียงภาษาฝรั่งเศส ให้อัปเดตโค้ดโดยคัดลอกสคริปต์ต่อไปนี้ลงในเซสชัน IPython

config = speech.RecognitionConfig(
    language_code
="fr-FR",
    enable_automatic_punctuation
=True,
    enable_word_time_offsets
=True,
)
audio
= speech.RecognitionAudio(
    uri
="gs://cloud-samples-data/speech/corbeau_renard.flac",
)

response
= speech_to_text(config, audio)
print_response
(response)

คุณควรจะเห็นผลลัพธ์ต่อไปนี้

--------------------------------------------------------------------------------
language_code: fr-fr
transcript:    Maître corbeau sur un arbre perché Tenait dans son bec un fromage maître Renard par l'odeur alléché lui tint à peu près ce langage et bonjour monsieur du corbeau.
confidence:    94%
--------------------------------------------------------------------------------
  0.000 |   0.700 | Maître
  0.700 |   1.100 | corbeau
  1.100 |   1.300 | sur
  1.300 |   1.600 | un
  1.600 |   1.700 | arbre
  1.700 |   2.000 | perché
  2.000 |   3.000 | Tenait
  3.000 |   3.000 | dans
  3.000 |   3.200 | son
  3.200 |   3.500 | bec
  3.500 |   3.700 | un
  3.700 |   3.800 | fromage
...
 10.800 |  11.800 | monsieur
 11.800 |  11.900 | du
 11.900 |  12.100 | corbeau.

สรุป

ในขั้นตอนนี้ คุณสามารถถอดเสียงไฟล์เสียงภาษาฝรั่งเศสและพิมพ์ผลลัพธ์ อ่านเพิ่มเติมเกี่ยวกับภาษาที่รองรับ

7 ยินดีด้วย

9e7124a578332fed.png

คุณได้เรียนรู้วิธีใช้ API การแปลงเสียงพูดเป็นข้อความโดยใช้ Python เพื่อถอดเสียงเป็นคำในไฟล์เสียงแบบต่างๆ แล้ว

ล้างข้อมูล

หากต้องการล้างสภาพแวดล้อมในการพัฒนาซอฟต์แวร์ ให้ดำเนินการดังนี้จาก Cloud Shell

  • หากคุณยังอยู่ในเซสชัน IPython ให้กลับไปที่ Shell: exit
  • หยุดใช้สภาพแวดล้อมเสมือนของ Python: deactivate
  • ลบโฟลเดอร์สภาพแวดล้อมเสมือน: cd ~ ; rm -rf ./venv-speech

หากต้องการลบโปรเจ็กต์ Google Cloud จาก Cloud Shell ให้ทำดังนี้

  • ดึงข้อมูลรหัสโปรเจ็กต์ปัจจุบัน: PROJECT_ID=$(gcloud config get-value core/project)
  • ตรวจสอบว่านี่คือโปรเจ็กต์ที่คุณต้องการลบ: echo $PROJECT_ID
  • ลบโปรเจ็กต์: gcloud projects delete $PROJECT_ID

ดูข้อมูลเพิ่มเติม

ใบอนุญาต

ผลงานนี้ได้รับอนุญาตภายใต้ใบอนุญาตทั่วไปครีเอทีฟคอมมอนส์แบบระบุแหล่งที่มา 2.0