การแปลงเสียงเป็นข้อความ

Libre WebUI สามารถถอดเสียงที่บันทึกจากไมโครโฟนผ่านปลั๊กอินที่เปิดใช้งานและประกาศความสามารถด้านการแปลงเสียงเป็นข้อความได้ เมื่อเบราว์เซอร์มีบริการรู้จำเสียง Chat จะเลือกบริการนั้นเป็นค่าเริ่มต้น การทำงานและการจัดการข้อมูลของบริการขึ้นอยู่กับผู้พัฒนาเบราว์เซอร์ และอาจไม่ได้ประมวลผลบนอุปกรณ์ของคุณ หากต้องการใช้ STT จากผู้ให้บริการ ให้เลือกชื่อผู้ให้บริการโดยตรง เมื่อบริการของเบราว์เซอร์ใช้ไม่ได้ Chat จะเลือกผู้ให้บริการที่เข้ากันได้รายแรก

การรองรับที่มาพร้อมระบบประกอบด้วย:

• โมเดลถอดเสียงของ OpenAI ผ่านคำขอแบบหลายส่วนไปยัง /v1/audio/transcriptions; และ
• โมเดลรู้จำเสียงอัตโนมัติของ Hugging Face ผ่านปลายทางอนุมานเสียงดิบ

เบราว์เซอร์จะเริ่มบันทึกเมื่อผู้ใช้กดปุ่มไมโครโฟนเท่านั้น ก่อนเริ่มบันทึก Chat จะแสดงผู้ให้บริการที่เลือกและแจ้งการส่งข้อมูล กดปุ่มเดิมอีกครั้งเพื่อหยุดบันทึก ระหว่างการถอดเสียง ปุ่มเดียวกันจะยกเลิกคำขอไปยังผู้ให้บริการ Libre จะแทรกข้อความที่ถอดได้ลงในช่องเขียน ข้อมูลเสียงจะอยู่ในหน่วยความจำเฉพาะระหว่างคำขอและ Libre WebUI จะไม่บันทึกไว้ การไปยังแชตอื่นจะยกเลิกคำขอสิทธิ์ไมโครโฟน การบันทึก และงานถอดเสียงที่ยังค้างอยู่

ข้อกำหนดของผู้ให้บริการ

ความสามารถ STT จะประกาศปลายทาง แผนผังโมเดล รูปแบบที่ยอมรับ โหมดคำขอ และตัวแปรปลายทางซึ่งเป็นทางเลือก Libre จะตรวจสอบเส้นทางปลั๊กอินและโมเดลที่แน่นอนของผู้ใช้ที่ยืนยันตัวตนแล้วก่อนส่งต่อเสียง ปัจจุบัน Libre ยอมรับไฟล์ PCM WAV ที่ไม่บีบอัดและไฟล์ Opus WebM โดยจะตรวจสอบนามสกุลไฟล์ ชนิด MIME ที่ประกาศ โครงสร้างคอนเทนเนอร์ รหัสตัวแปลงสัญญาณ อัตราสุ่มสัญญาณ จำนวนช่องสัญญาณ อัตราส่วนขนาดหลังถอดรหัส และระยะเวลา ก่อนส่งต่อเสียง คำขอถูกจำกัดไว้ที่ 25 MiB และ 300 วินาทีทั่วทั้งระบบ (หรือค่าที่ต่ำกว่าใน manifest) จำกัดงานถอดเสียงพร้อมกันไม่เกินสองงานต่อผู้ใช้และหกงานต่อการติดตั้ง และจะยุติเมื่อเบราว์เซอร์ตัดการเชื่อมต่อหรือสิทธิ์เข้าร่วมแบบใช้ร่วมกันที่ต่ออายุได้สูญหาย หาก Redis ไม่สามารถรับงานในโหมดทีม ระบบจะปฏิเสธอย่างปลอดภัยและจะไม่สร้างโควตาแยกสำหรับแต่ละ replica

ข้อมูลรับรองของผู้ให้บริการจะอยู่ที่ backend Libre ปฏิเสธการเปลี่ยนเส้นทาง เพื่อไม่ให้ส่วนหัวการอนุญาตหรือไฟล์เสียงถูกส่งต่อไปยังโฮสต์อื่น ความล้มเหลวในการยืนยันตัวตนกับผู้ให้บริการจะแสดงเป็นข้อผิดพลาดจากระบบต้นทาง ไม่ใช่เซสชัน Libre ที่หมดอายุ

ใช้ HTTPS สำหรับต้นทางของ Libre WebUI และผู้ให้บริการระยะไกล เบราว์เซอร์ไม่อนุญาตให้ต้นทางระยะไกลที่ไม่ปลอดภัยเข้าถึงไมโครโฟน และ Libre จะไม่แสดงเส้นทางเสียงทั้งสองแบบ เว้นแต่เบราว์เซอร์จะมี media API สำหรับต้นทางที่ปลอดภัย ผู้ให้บริการอาจเก็บหรือประมวลผลเสียงตามข้อกำหนดของตนเอง จึงควรตรวจสอบนโยบายนั้นก่อนพูดข้อความที่ละเอียดอ่อน