Puedes transmitir audio para la API de transcripción de Voicegain desde cualquier computadora, pero a veces es útil tener un dispositivo económico dedicado solo para esta tarea. A continuación, compartimos las experiencias de uno de nuestros clientes al usar una Raspbery Pi para transmitir audio y transcribirlo en tiempo real. Reemplazó a un Mac Mini que se usó inicialmente para ese propósito. El uso del Pi tenía dos ventajas: a) obviamente el coste, y b) es menos probable que el Mac Mini sea «secuestrado» para otros fines.

Hardware

Voicegain Audio Streaming Daemon requiere muy pocos recursos informáticos, por lo que incluso en una Raspberry Pi Zero es suficiente; sin embargo, recomendamos usar Raspberry Pi 3 B+ principalmente porque tiene un puerto Ethernet cableado de 1 Gbps incorporado. Es más probable que las conexiones WiFi tengan problemas con la transmisión mediante el protocolo UDP.

Esta es una lista de todo el hardware utilizado en el proyecto (con los precios de Amazon (a partir de julio de 2019)):

• Placa base Element14 Raspberry Pi 3 B+ - 37,78$
• Pantalla Miuzei Raspberry Pi 3 b+, 3.5 pulgadas - 23,99 dólares
• Funda de pantalla Miuzei de 3.5 pulgadas para LCD de 3.5 pulgadas - $9.99
• Mini teclado portátil inalámbrico iPazzPort - 13,99$
• Adaptador de audio USB UGREEN - 8,99 dólares
• Tarjeta microSDHC UHS-I SanDisk Ultra de 32 GB - 7,23$
• además, se utilizó alguna fuente de alimentación USB de 5 V existente.

Todos los componentes sumaron un total de 101,97 dólares. La razón por la que se incluyeron un minimonitor y un miniteclado es porque facilitan el control del dispositivo mientras está en el soporte de audio. Por ejemplo, el mezclador de audio Alsa se puede ajustar fácilmente de esta manera y, al mismo tiempo, monitorear el nivel del audio con auriculares.

Raspberry PI con AudioDaemon

Software

El dispositivo funciona con Raspbian estándar, que se puede instalar fácilmente desde una imagen utilizando, por ejemplo, BalenaEtcher. Tras la instalación básica, se necesitó lo siguiente para que todo funcionara:

• habilitar el acceso ssh
• cambiar el dispositivo de audio predeterminado a una tarjeta de sonido USB (Raspbian viene por defecto con alsa y controladores de sonido USB básicos)
• instalar el controlador para la pantalla (de lo contrario, la fuente de salida es demasiado pequeña y no se puede leer)
• instalar OpenJDK 9
• utilice el enlace generado desde el portal Voicegain para descargar el archivo jar de Voicegain AudioDaemon y corregir la configuración de JSON
• establecer el número de fuente de audio correcto, el script de inicio de AudioDaemon y lanzar el daemon

Observaciones

Estas son algunas de las lecciones aprendidas al usar esta configuración durante los últimos 6 meses:

• Durante la transmisión, el uso de la CPU se mantiene por debajo del 10%
• El montón de Java está establecido en 128 millones, lo que parece ser más que suficiente porque los GC logran reducirlo a unos 54 millones
• La Raspberry Pi resultó ser muy fiable: no hemos tenido un solo problema con el hardware ni con el sistema operativo Raspbian
• La tarjeta de audio USB barata ofrece una calidad de sonido muy buena (al menos para el reconocimiento de voz)
• Deben evitarse las fuentes de alimentación USB muy baratas, ya que a veces provocan un zumbido en el audio (pero eso también depende del dispositivo de audio que se esté conectando).

‍

Puede encontrar el código completo (menos la lógica RASA; tendrá que proporcionar el suyo propio) en nuestra github repositorio.

¿Qué es lo que hace?

La configuración le permite llamar a un número de teléfono y luego interactuar con un Voicebot que usa RASA como motor lógico de diálogo.

¿Cómo funciona?

Los componentes

• Voz programable Twilio - Configuramos un número de teléfono de Twilio para que apunte a una aplicación TWiML que tenga la función AWS Lambda como URL de devolución de llamada.
• Función AWS Lambda - una única función de Node.js con un activador de API Gateway (tipo de API HTTP simple).
• API Voicegain STT - estamos usando la api /asr/transcribe/async con entrada a través de un flujo de websocket y salida a través de una devolución de llamada. La devolución de llamada se realiza a la misma función de AWS Lambda, pero la devolución de llamada de Voicegain es POST mientras que la devolución de llamada de Twilio es GET.
• RASA - La lógica de diálogo la proporciona el servidor RASA NLU Dialog, al que se puede acceder a través de la API RestInput.
• COMO S3 para almacenar los resultados de la transcripción en cada turno de diálogo.

Actualización de noviembre de 2021: No recomendamos S3 ni AWS Lambda para una configuración de producción. Se describe una revisión más actualizada de varias opciones para crear un Voice Bot aquí. Debería considerar reemplazar la funcionalidad de S3 y AWS Lambda por un servidor web que pueda mantener el estado, como Node.js o Python Flask.

Los escalones

El diagrama de secuencia se proporciona a continuación. Básicamente, la secuencia de operaciones es la siguiente:

1. Llama a un número de teléfono de Twilio
2. Twilio realiza una devolución de llamada inicial a la función Lambda
3. La función Lambda envía «Hola» a RASA y RASA responde con el mensaje de diálogo inicial
4. La función Lambda llama a Voicegain para iniciar una sesión de transcripción asíncrona. Voicegain responde con la URL de un websocket para la transmisión de audio
5. La función Lambda responde a Twilio con un comando TWiML <Connect><Stream>para abrir una transmisión multimedia para Voicegain. El comando también contendrá el texto de la línea de pregunta.
6. Voicegain usa TTS para generar a partir del texto de la pregunta RASA un mensaje de audio y lo transmite a través de websocket a Twilio para su reproducción.
7. La persona que llama escucha el aviso y dice algo en respuesta
8. Twilio transmite el audio de la persona que llama a Voicegain ASR para el reconocimiento de voz
9. Voicegain ASR transcribe el discurso a texto y devuelve la llamada con el resultado de la transcripción a la función Lambda.
10. La función lambda almacena el resultado de la transcripción en S3
11. Voicegain cierra la sesión de websocket con Twilio
12. Twilio se da cuenta del final de la sesión con ASR y devuelve la llamada a la función Lambda para saber qué hacer a continuación
13. La función Lambda recupera el resultado del reconocimiento de S3 y lo pasa a RASA.
14. RASA procesa la respuesta y genera la siguiente pregunta del diálogo
15. Continuamos en el siguiente turno igual que en el paso 4.

‍