Nueva opción de reconocimiento continuo

En la última versión de Voicegain (1.16.0) hemos añadido una nueva opción a nuestra /asr/reconocer/asincrónico API para ASR/Speech-to-Text. Se llama ContinuousRecognition y, si está habilitada, modifica el comportamiento predeterminado del reconocimiento basado en la gramática.

Normalmente, cuando se usa la API /asr/recognize/async, el reconocedor volverá cuando la gramática coincida y el tiempo de espera completo caduque. Esto significa que solo es posible obtener un reconocimiento único en una solicitud de la API /asr/recognize/async. Si se detecta que no hay ninguna entrada o no coincide, el reconocimiento finalizará.

Sin embargo, a veces hay casos de uso que exigen que el reconocedor, por ejemplo, ignore todas las coincidencias que no coincidan hasta que se encuentre una coincidencia. Para eso está la opción ContinuousRecognition.

Con ContinuousRecognition, puedes controlar perfectamente cuáles de los 4 eventos (sin entrada, sin coincidencia, coincidencia y error) se devolverán en una devolución de llamada y qué evento (si lo hubiera) terminará el reconocimiento. Si no configuras ningún evento para que finalice el reconocimiento, la sesión de reconocimiento se puede detener cerrando la transmisión de audio o devolviendo stop:true desde la devolución de llamada.

¿Para qué sirve?

Un ejemplo podría ser un caso de uso en el que se está reproduciendo un correo de voz para una persona que llama y, durante la reproducción, queremos interpretar los comandos de la persona que llama, como: detener, seguir, anterior, guardar, eliminar. Si usáramos el reconocimiento normal, nos encontraríamos con situaciones en las que no se entendería lo que se dice. Detener el reconocimiento cuando no coincide no tendría mucho sentido, ya que: (1) volver a preguntar podría estropear el flujo de la llamada, o (2) reiniciar el reconocimiento podría introducir una brecha en el reconocimiento que podría hacer que pasara por alto una parte de lo que dijo la persona que llama.

En un escenario como este, es mejor ignorar la falta de coincidencia y seguir escuchando, la persona que llama no notará ninguna respuesta a lo que dijo y, naturalmente, lo repetirá.

La configuración para el reconocimiento continuo que funcionaría en este caso sería:

• StopOn: coincidencia, error
• noCallbackFor: no-input, no-match - notes: (1) en este caso, sugerimos establecer un NoInputTimeout muy largo para que internamente no se genere ninguna entrada sin entradas. (2) la aplicación también podría decidir aceptar devoluciones de llamada sin coincidencia; podrían rastrearse y, si son demasiadas, actuar en consecuencia.
  

El reconocimiento continuo es compatible con la integración de Voicegain para Transmisiones multimedia de Twilio - ya sea en TwiML <Stream>o <Connect><Stream>en Twilio Programmable Voice

Aún no es compatible con las API de Voicegain Telephony Bot.

‍

Muchos de nuestros clientes nos han pedido ayuda para comparar el reconocedor de voz a texto (ASR) Voicegain en sus archivos de audio específicos. Para facilitar esta evaluación comparativa, hemos publicado un script de Python que logra precisamente eso. Con una sola línea de comandos, puede transcribir todos los archivos de audio del directorio de entrada y compararlos con las transcripciones de referencia, calculando el WER de cada archivo. También puedes hacer una comparación bidireccional entre la transcripción de referencia y la transcripción de Voicegain y la transcripción de Google Speech-to-Text.

El guion y la documentación están disponibles en: https://github.com/voicegain/platform/tree/master/utility-scripts/test-transcribe

Ver nuestra publicación de blog de referencia para darte una idea del tipo de precisión que puedes esperar del reconocedor Voicegain.

‍

Actualizado el 28 de febrero de 2022

En esta entrada de blog, describimos dos estudios de casos para ilustrar las mejoras en la precisión del reconocimiento de voz a texto o ASR que se pueden esperar del entrenamiento de los modelos acústicos subyacentes. Entrenamos nuestro modelo acústico para que reconociera mejor el inglés indio e irlandés.

Configuración del estudio de caso

El modelo acústico Voicegain listo para usar, que está disponible de forma predeterminada en la plataforma Voicegain, fue entrenado para reconocer principalmente el inglés estadounidense, aunque nuestro conjunto de datos de entrenamiento contenía algo de audio en inglés británico. Los datos de entrenamiento no contenían el inglés indio ni el irlandés, excepto quizás en casos fortuitos.

Ambos estudios de caso se realizaron de manera idéntica:

• Los datos de entrenamiento contenían aproximadamente 300 horas de audio de voz transcrito.
• La capacitación se realizó para mejorar la precisión en el nuevo tipo de datos, pero al mismo tiempo para mantener la precisión de referencia. Una alternativa habría consistido en tratar de mejorar al máximo los nuevos datos a expensas de la precisión del modelo de referencia.
• La capacitación se interrumpió después de lograr una mejora significativa. Se podría haber seguido logrando una mejora adicional, aunque podría haber sido marginal.
• Los puntos de referencia que se presentan aquí se realizaron con datos que no se incluyeron en el conjunto de capacitación.

Estudio de caso 1: inglés indio

Estos son los parámetros de este estudio.

• Teníamos 250 horas de audio con oradores masculinos y femeninos, y cada orador leía unos 50 minutos de audio de voz.
• Separamos 6 altavoces para el punto de referencia, seleccionando 3 muestras masculinas y 3 femeninas. Las muestras se seleccionaron para incluir casos de prueba fáciles, medios y difíciles.

Estos son los resultados del punto de referencia antes y después del entrenamiento. A modo de comparación, también incluimos los resultados de Google Enhanced Speech-to-Text.

‍

‍

Algunas observaciones:

• Los 6 altavoces de prueba muestran una mejora significativa con respecto a la precisión original.
• Después del entrenamiento, la precisión de 5 altavoces es mejor que la de Google Enhanced Speech-to-Text. El único orador que quedaba mejoró considerablemente (del 62% al 76%), pero la precisión siguió sin ser tan buena como la de Google. Examinamos el audio y resulta que no se grabó correctamente. El altavoz hablaba en voz muy baja y la ganancia del micrófono era muy alta, por lo que el audio contenía muchos artefactos extraños, como, por ejemplo, un chasquido con la lengua. El orador también preparaba el texto de una manera «mecánica» muy poco natural. Felicitaciones a Google por hacerlo tan bien en una grabación tan mala.
• De media, la conversión de voz a texto Voicegain con formación personalizada obtuvo una mejora de aproximadamente un 2% en nuestra referencia de inglés indio en comparación con el reconocedor mejorado de Google.

Estudio de caso 2: inglés irlandés

Estos son los parámetros de este estudio.

• Recopilamos alrededor de 350 horas de audio de voz transcrito de un orador de Irlanda del Norte.
• Para el punto de referencia, conservamos parte del audio de ese altavoz que no se usó para el entrenamiento y, además, encontramos el audio de otros 5 altavoces con varios tipos de acentos en inglés irlandés.

Estos son los resultados del punto de referencia antes y después del entrenamiento. También incluimos los resultados de Google Enhanced Speech-to-Text.

‍

‍

Algunas observaciones:

• El altavoz que se usó para el entrenamiento está etiquetado aquí como «Legge». Tras el entrenamiento, observamos una enorme mejora, pasando del 76,2% al 88,5%, una cifra muy superior a la de Google Enhanced, con un 83,9%
• El otro orador con una mejora de más del 10% es «Lucas», que tiene un acento muy similar al de «Legge».
• Analizamos en detalle el audio del altavoz con la etiqueta «Cairns» que menos había mejorado y para el que Google era mejor que nuestro reconocedor personalizado. El audio tiene una calidad significativamente inferior a la de las demás muestras, además de que contiene un eco notable. Sus características de audio son bastante diferentes de las características de audio de los datos de entrenamiento utilizados.
• De media, la conversión de voz a texto de Voicegain con formación personalizada obtuvo una mejora de aproximadamente un 1% en nuestro punto de referencia en inglés irlandés en comparación con el reconocedor mejorado de Google.

Observaciones adicionales

• La cantidad de datos utilizada en el entrenamiento de 250 a 350 horas no fue grande, dado que normalmente los modelos acústicos para el reconocimiento de voz se entrenan con decenas de miles de horas de audio.
• La gran mejora con respecto al altavoz «Legge» sugiere que si el objetivo es mejorar el reconocimiento de un tipo de voz o altavoz muy específico, el tiempo de entrenamiento podría ser menor, tal vez de 50 a 100 horas, para lograr una mejora significativa.
• Es posible que se necesite un conjunto de entrenamiento más grande (500 horas o más) en los casos en que la variabilidad del habla y otras características de audio sea grande.

ACTUALIZACIÓN: febrero de 2022

Hemos publicado 2 estudios adicionales que muestran los beneficios del entrenamiento con modelos acústicos:

• Conseguir una alta precisión de reconocimiento de voz en secuencias alfanuméricas: un estudio de caso con códigos postales del Reino Unido
• El entrenamiento con modelos ofrece enormes ganancias en precisión: estudio de caso: Indian Food Bot

¿Te interesa Voicegain? ¡Llévanos a hacer una prueba de manejo!

1. Haga clic aquí para obtener instrucciones sobre cómo acceder a nuestro sitio de demostración en vivo.

2. Si estás creando una aplicación de voz genial y quieres probar nuestras API, haz clic aquípara crear una cuenta de desarrollador y recibir 50$ en créditos gratis

3. Si quieres usar Voicegain como tu propio asistente de transcripción con IA para las reuniones, haz clic aquí.

En nuestro post anterior describimos cómo Voicegain proporciona un reconocimiento de voz basado en la gramática a la plataforma de voz programable Twilio a través del Transmisión multimedia de Twilio Característica.

A partir de versión 1.16.0 <Gather>de la plataforma y API Voicegain, es posible usar Voicegain de voz a texto para la transcripción de voz (sin gramáticas) para lograr funciones como el uso de TWiML.

Las razones por las que creemos que será atractivo para los usuarios de Twilio son:

• menor costo por cada captura de voz a texto
• mayor precisión para los clientes que eligen Personalización del modelo acústico
• acceso a todas las hipótesis de conversión de voz a texto en el modo de salida de árbol de palabras
  

El uso de Voicegain como alternativa a <Gather>tendrá pasos similares a los de usar Voicegain para el reconocimiento basado en la gramática; estos pasos se enumeran a continuación.

Inicio de la transcripción de voz con Voicegain

Esto se hace invocando la API de transcripción asíncrona de Voicegain: /asr/transcribir/asincrónico

A continuación se muestra un ejemplo de la carga útil necesaria para iniciar una nueva sesión de transcripción:

‍

‍

Algunas notas sobre el contenido de la solicitud:

• solicitamos la devolución de llamada para devolver la transcripción en forma de texto; son posibles otras opciones, como palabras (palabras individuales con confidencias) y árbol de palabras (palabras organizadas en un árbol de hipótesis de reconocimiento)
• startInputTimers le dice a ASR que retrase el inicio de los temporizadores; se iniciarán más tarde cuando termine de reproducirse la línea de preguntas
• TWIML está configurado como protocolo de transmisión con el formato establecido en PCMU (u-law) y una frecuencia de muestreo de 8 kHz
• La configuración de asr incluye los dos tiempos de espera utilizados en la transcripción: sin entrada y tiempos de espera completos.

Esta solicitud, si se realiza correctamente, devolverá la URL del websocket en el campo audio.stream.websocketURL. Este valor se utilizará para realizar una solicitud de TWiML.

Tenga en cuenta que, en el modo de transcripción, la detección de DTMF no es posible actualmente. Háganos saber si esto es algo que sería fundamental para su caso de uso.

<Connect><Stream>Solicitud TWiML

Tras iniciar una sesión de Voicegain ASR, podemos decirle a Twilio que abra la conexión de Media Streams con Voicegain. Esto se hace mediante la siguiente solicitud de TWiML:

‍

‍

Algunas notas sobre el contenido de la solicitud de TWiML:

• la URL de websocket es la que devuelve Voicegain /asr/transcribe/async request
• se admite más de un mensaje de pregunta: se reproducirán uno tras otro
• Se admiten tres tipos de mensajes: 01) grabación recuperada de una URL, 02) mensaje TTS (hay varias voces disponibles), 03) mensaje «clip:» generado mediante el Voicegain Prompt Manager, que admite la concatenación dinámica de mensajes pregrabados
• BargeIn está activado: la reproducción inmediata se detendrá tan pronto como la persona que llama comience a hablar

Respuesta de transcripción devuelta

A continuación se muestra un ejemplo de respuesta de la transcripción en el caso de que «content»: {"full»: ["transcript"]}.

‍

‍

Queremos compartir un breve vídeo que muestra la transcripción en directo en acción en CBC. Este utiliza nuestro modelo acústico de referencia. No se realizó ninguna personalización ni se utilizaron sugerencias. Este vídeo da una idea de la latencia que se puede lograr con la transcripción en tiempo real.

‍

La transcripción automatizada en tiempo real es una excelente solución para personas con problemas de audición si no hay un intérprete de lenguaje de señas disponible. Se puede usar, por ejemplo, en iglesias para transcribir sermones, en convenciones y reuniones para transcribir charlas, en instituciones educativas (escuelas, universidades) para transcribir lecciones y conferencias en vivo, etc.

‍

La plataforma Voicegain ofrece un paquete completo para admitir la transcripción en vivo:

• Utilidad para la captura de audio en la fuente
• API y motor de transcripción basados en la nube o locales
• Portal web para controlar múltiples transcripciones simultáneas en directo
• Aplicación de visualización basada en la web para permitir el seguimiento de la transcripción en cualquier dispositivo con navegador web. Esta aplicación también se puede incrustar en cualquier página web.

Se puede lograr una precisión muy alta, superior a la proporcionada por Google, Amazon y Microsoft Cloud de voz a texto, mediante Personalización del modelo acústico.

Voicegain añade el reconocimiento de voz basado en la gramática a la plataforma de voz programable Twilio a través del Transmisión multimedia de Twilio Característica.

La diferencia entre el reconocimiento de voz Voicegain y Twilio Twiml <Gather> es:

1. Voicegain admite gramáticas con etiquetas semánticas (GRXML o JSGF) while <Gather>es un gran reconocedor de vocabulario que solo devuelve texto, y
2. Voicegain es significativamente más barato (describiremos la diferencia de precio en una próxima entrada del blog).

Cuando utilices Voicegain con Twilio, la lógica de tu aplicación tendrá que gestionar las solicitudes de devolución de llamadas tanto de Twilio como de Voicegain.

Cada reconocimiento implicará dos pasos principales que se describen a continuación:

Inicio del reconocimiento de voz con Voicegain

Esto se hace invocando la API de reconocimiento asíncrono de Voicegain: /asr/recognize/async

A continuación se muestra un ejemplo de la carga útil necesaria para iniciar una nueva sesión de reconocimiento:

‍

‍

Algunas notas sobre el contenido de la solicitud:

• startInputTimers le dice a ASR que retrase el inicio de los temporizadores; se iniciarán más tarde cuando termine de reproducirse la línea de preguntas
• TWIML está configurado como protocolo de transmisión con el formato establecido en PCMU (u-law) y una frecuencia de muestreo de 8 kHz
• La configuración asr incluye los tres tiempos de espera estándar utilizado en el reconocimiento basado en la gramática: tiempos de espera sin entrada, completos e incompletos
• la gramática se establece en la gramática GRXML cargada desde una URL externa

Esta solicitud, si se realiza correctamente, devolverá la URL del websocket en el campo audio.stream.websocketURL. Este valor se utilizará para realizar una solicitud de TWiML.

Tenga en cuenta que si la gramática se especifica para reconocer el DTMF, el reconocedor Voicegain reconocerá las señales DTMF incluidas en el audio enviado desde la plataforma Twilio.

<Connect><Stream>Solicitud TWiML

Tras iniciar una sesión de Voicegain ASR, podemos decirle a Twilio que abra la conexión de Media Streams con Voicegain. Esto se hace mediante la siguiente solicitud de TWiML:

‍

‍

Algunas notas sobre el contenido de la solicitud de TWiML:

• la URL de websocket es la que devuelve la solicitud Voicegain /asr/recognize/async
• se admite más de un mensaje de pregunta: se reproducirán uno tras otro
• Se admiten tres tipos de mensajes: 01) grabación recuperada de una URL, 02) mensaje TTS (hay varias voces disponibles), 03) mensaje «clip:» generado mediante el Voicegain Prompt Manager, que admite la concatenación dinámica de mensajes pregrabados
• BargeIn está activado: la reproducción inmediata se detendrá tan pronto como la persona que llama comience a hablar

Respuesta de reconocimiento devuelta

A continuación se muestra un ejemplo de respuesta del reconocimiento. Esta respuesta proviene de la gramática telefónica integrada.

‍

‍