Esta entrada de blog describirá 4 formas en las que puede usar Telnyx con la plataforma Speech-to-Text/ASR basada en la red neuronal profunda de Voicegain.

#1: Transcripción y análisis de voz en tiempo real

Para los desarrolladores que buscan obtener el texto o la transcripción sin procesar, la API Voicegain STT admite la transcripción en tiempo real del audio transmitido desde Telnyx.

Para las aplicaciones de IA conversacional que necesitan etiquetas de NLU como sentimientos, entidades nombradas, intenciones y palabras clave en el audio enviado, la API de análisis de voz en tiempo real de Voicegain proporciona esas métricas además de la transcripción.

Si bien tanto la API STT como la API Speech Analytics admiten varios métodos para transmitir audio, Voicegain recomienda la transmisión RTP como método principal con Telnyx. Los desarrolladores pueden transmitir RTP de 1 o 2 canales (los dos canales están unidos, lo cual es importante para algunas funciones de Speech Analytics).

Puedes usar la API de control de llamadas de Telnyx para bifurcar el audio de la llamada y enviarlo a Voicegain. La API de control de llamadas te permite enviar audio entrante (rx) o saliente (tx) o ambos. Esto se hace mediante el fork_start comando. Puedes encontrar un ejemplo completo de un código necesario para la transcripción en tiempo real de una llamada aquí: platform/examples/telnyx/call_control_fork_of_bridged_call at master · voicegain/platform (github.com)

Las aplicaciones de transcripción y análisis de voz en tiempo real incluyen la asistencia de agentes en tiempo real en los centros de contacto, la extracción de información para las llamadas de ventas realizadas por telefonía y el análisis de reuniones.

#2: Voice Bot o IVR con la API Voicegain Telephony Bot

Si desea crear un Voice Bot o una aplicación de IVR que gestione las llamadas que llegan a través de Telnyx, le sugerimos que utilice Voicegain. API de bots de telefonía - se trata de una API de devolución de llamadas similar en estilo a la TwiML de Twilio. Esta API gestiona la conversión de voz a texto, los dígitos DTMF y también reproduce las indicaciones (TTS, pregrabadas o una combinación).

Sus llamadas se transfieren de Telnyx a Voicegain mediante un simple SIP INVITE. El SIP INVITE se realiza mediante Telnyx Call Control Dial comando. Puedes encontrar un ejemplo completo de cómo hacerlo aquí: platform/telnyx-dial-outbound-lambda.py at master · voicegain/platform (github.com)

La API Voicegain Telephony Bot le permite crear dos tipos de aplicaciones:

• Bot de voz aplicaciones que utilizan su propio marco de bots o que utilizan marcos como RASA o Google Dialog flow para la lógica del bot. Voicegain proporciona la «oreja» y la «boca» del bot. Este blog muestra cómo se puede construir un robot de voz con RASA: Instrucciones sencillas: cree un robot de voz con Voicegain, RASA y AWS Lambda.
• Alternativamente, puedes construir más IVR tradicionales utilizando flujos de llamadas y gramáticas. Puede programarlos directamente mediante la API Telephony Bot implementando las devoluciones de llamada adecuadas. Como alternativa, proporcionamos un script simple que te permite especificar toda la aplicación IVR de forma declarativa en un archivo YAML. Puedes encontrar un ejemplo completo de cómo hacerlo en nuestro github: platform/declarative-ivr at master · voicegain/platform (github.com)
  

#3: Usa la API Voicegain STT según sea necesario en tu aplicación de control de llamadas

Si tu aplicación solo tiene una necesidad limitada de reconocimiento de voz, puedes invocar la API Voicegain STT solo cuando sea necesario. Cada vez que necesites el reconocimiento de voz, solo tienes que iniciar una nueva sesión de ASR con Voicegain, ya sea en transcribir (transcripción de vocabulario extenso) o reconocer modo (reconocimiento basado en gramática). La sesión devolverá un ip:port de RTP al que podrá acceder horquilla tu audio Telnyx. Puedes recibir los resultados de conversión de voz a texto a través de un websocket o mediante una llamada. Cuando termines con la sesión de transcripción/reconocimiento, detienes la bifurcación de audio de Telnyx.

Un ejemplo de aplicación que podría crearse de esa manera es una aplicación de recuperación de correo de voz controlada por voz en la que la API de reconocimiento de Voicegain se usa en modo continuo y escucha comandos como reproducir, detener, seguir, etc.

#4: Cree su propio bot de voz con la API STT de sesión larga

Por último, puedes usar la API Voicegain Long-Session (cuyo lanzamiento está previsto para finales de 2021). Esta API te permite establecer una sesión única y larga que reciba una transmisión continua de audio entrante desde Telnyx (mediante el comando fork). Una vez establecida la sesión, puede emitir comandos para la transcripción o el reconocimiento. Devolverían los resultados al encontrar un punto final de voz o cuando los detuvieras de forma explícita. Tras procesar los resultados, puedes emitir comandos adicionales en la misma sesión de Voicegain.

Además de mostrar los resultados del reconocimiento, la API STT de sesión larga muestra eventos importantes, como, por ejemplo, el inicio de la voz, que le permite implementar un comportamiento de irrumpir adecuado.

Con esta API, puede crear su propio Voice Bot al igual que los Voice Bots de #2, pero podría tener más control sobre su sesión de Telnyx, por ejemplo, podría usar comandos de conferencia.