¡Los LLM como ChatGPT y Bard están arrasando en el mundo! Un LLM como ChatGPT es muy bueno tanto para entender el lenguaje como para adquirir conocimientos sobre este contenido. El resultado de esto es casi espeluznante y aterrador. Porque una vez que estos LLM adquieren conocimientos, pueden responder con mucha precisión a preguntas que en el pasado parecían requerir el juicio humano.

‍
Un gran caso de uso de los LLM es el análisis de las reuniones de negocios, tanto internas (entre empleados) como externas (por ejemplo, conversaciones con clientes, proveedores, etc.).

‍

En los últimos años, las empresas han estado utilizando principalmente ofertas de SaaS de inteligencia de ventas e ingresos para múltiples inquilinos y para reuniones con IA para transcribir las conversaciones comerciales y extraer información. Con estas ofertas para varios usuarios, la transcripción y el procesamiento del lenguaje natural se llevan a cabo en la nube de Vendor. Una vez que se genera la transcripción, se utilizan los modelos de NLU ofrecidos por el proveedor de Meeting AI para extraer información. Por ejemplo, los productos de inteligencia de ingresos, como Gong, extraen preguntas y bloquean las ventas en las conversaciones de ventas. La mayoría de los asistentes de inteligencia artificial para reuniones extraen resúmenes y elementos de acción.

Básicamente, estos modelos de NLU, y muchos de ellos son anteriores a los LLM, podían resumir y extraer temas, palabras clave y frases. A las empresas no les importaba utilizar la infraestructura en la nube del proveedor para almacenar las transcripciones, ya que lo que podía hacer esta NLU parecía bastante inofensivo.

Sin embargo, los LLM llevan esto a un nivel completamente diferente. Nuestro equipo utilizó la API Open AI Embeddings para generar incrustaciones de las transcripciones de nuestras reuniones diarias que se realizaron durante un período de un mes. Almacenamos estas incrustaciones en una base de datos vectorial de código abierto (nuestra base de conocimientos). Durante las pruebas, para cada pregunta del usuario, generamos una incrustación de la pregunta y consultamos la base de datos vectorial (es decir, la base de conocimientos) para obtener incrustaciones relacionadas o similares.

Luego, proporcionamos estos documentos relacionados como contexto y la pregunta del usuario como mensaje a la API GPT 3.5 para que pudiera generar la respuesta. Obtuvimos unos resultados realmente buenos.

Pudimos obtener respuestas a las siguientes preguntas

1. Proporcione un resumen del contrato con<Largest Customer Name>.

2. ¿En qué se avanza<Key Initiative>?

3. ¿La empresa contrató nuevos empleados?

4. ¿La empresa habló de algún secreto comercial?

5. ¿Qué opina el equipo sobre Mongodb Atlas frente a Google Firestore?

6. ¿Qué nuevos productos planea desarrollar la Compañía?

7. ¿Qué proveedor de nube utiliza la empresa?

8. ¿Cuál es el progreso de una iniciativa clave?

9. ¿Los empleados están contentos trabajando en la empresa?

10. ¿El equipo está apagando incendios?

Las respuestas de ChatGPT a las preguntas anteriores fueron asombrosamente precisas e inquietantemente precisas. En cuanto a la pregunta 4, indicó que no quería responderla. Y cuando no disponía de la información adecuada (por ejemplo, la pregunta 9), sí lo indicó en su respuesta.

En Voicegain, siempre hemos sido grandes defensores de por qué la IA de voz debe permanecer al límite. Teníamos escrito sobre ello en el pasado.

Las transcripciones de las reuniones en cualquier negocio son una verdadera mina de oro de información. Ahora, con el poder de los LLM, ahora se pueden consultar con mucha facilidad para obtener información sorprendente. Sin embargo, si estas transcripciones se almacenan en la nube de otro proveedor, es posible que la información confidencial y exclusiva de cualquier empresa quede expuesta a terceros.

Por lo tanto, para las empresas es extremadamente importante que dichas transcripciones se almacenen solo en una infraestructura privada (detrás del firewall). Es muy importante que la TI empresarial se asegure de que esto suceda para proteger la información confidencial y de propiedad exclusiva.

Si está buscando una solución de este tipo, podemos ayudarlo. En Voicegain, ofrecemos Voicegain Transcribe, una solución empresarial para la IA de reuniones. Con Voicegain Transcribe, toda la solución se puede implementar en un centro de datos (sin sistema operativo) o en una nube privada. Puedes leer más sobre esto aquí.

‍

‍

‍

‍

[ACTUALIZACIÓN DEL 23 DE ENERO DE 22: Tras entrenarse con datos adicionales, el reconocedor Voicegain ahora alcanza un WER promedio del 11,89% (una mejora del 0,35%) y un WER medio del 10,82% (una mejora del 0,21%) en este punto de referencia.

Voicegain ahora es mejor que Google Enhanced en 44 archivos (antes 39).

Voicegain es ahora el reconocedor más preciso en 12 de los archivos (anteriormente 10).

Tenemos datos adicionales sobre los que nos capacitaremos pronto y luego proporcionaremos un conjunto completamente nuevo de resultados y comparaciones.]

Han pasado más de 4 meses desde que publicamos nuestra última precisión de reconocimiento de voz punto de referencia. En aquel entonces, los resultados eran los siguientes (del más preciso al menos preciso): Amazon y Microsoft (cerca del segundo lugar), luego Google Enhanced y Voicegain (también cerca del cuarto lugar) y, muy por detrás, IBM Watson y Google Standard.

Desde entonces, hemos modificado la arquitectura de nuestro modelo y lo hemos entrenado con más datos. Esto resultó en un aumento adicional en la precisión de nuestro modelo. En lo que respecta al resto de reconocedores, Microsoft fue el que más mejoró la precisión de su modelo, mientras que la precisión de otros se mantuvo más o menos igual.

Metodología

Hemos repetido la prueba con una metodología similar a la anterior: utilizamos 44 archivos del Conjunto de datos de Jason Kincaid y 20 archivos publicado por rev.ai y eliminó todos los archivos en los que el mejor reconocedor no pudo alcanzar una tasa de errores de palabras (WER) inferior al 25%. Nota: anteriormente, utilizábamos el 20% como umbral, pero esta vez hemos decidido conservar más archivos con una precisión baja para ilustrar las diferencias en ese tipo de archivos entre los reconocedores.

Solo tres archivos eran tan difíciles que ninguno de los reconocedores podía alcanzar el 25% de WER. Los dos archivos borrados eran entrevistas radiofónicas con una grabación de mala calidad.

Voicegain ahora es mejor que Google Enhanced

Como puedes ver en el gráfico de resultados anterior, Voicegain ahora es mejor que Google Enhanced, tanto en promedio como en promedio de WER. Al observar los archivos individuales, los resultados también muestran que la precisión de Voicegain es, en la mayoría de los casos, mejor que la de Google:

• Voicegain fue mejor que Google Enhanced en 39 archivos
• Google Enhanced fue mejor en 20 archivos
• Estaban empatados en dos expedientes.
  

Otros resultados

Observaciones clave sobre otros resultados:

• Si tenemos en cuenta el WER promedio y la mediana, Voicegain parece empatado, con Amazon con un valor medio mejor en un 0,07%, pero el valor promedio peor en un 0,76%.
• Si tenemos en cuenta el WER promedio y la mediana, el reconocedor de Microsoft es mejor que el de Amazon, con un promedio mejor del 0,49% y una mediana mejor del 0,69%.
• Cuando miras los archivos de audio individuales, los mejores reconocedores de puntuación fueron:
• Amazon: fue el mejor en 29 archivos
• Microsoft: fue mejor en 20 archivos
• Voicegain: fue mejor en 10 archivos
• Google Enhanced: fue mejor en 2 archivos

Como puede ver, el campo está muy cerca y se obtienen resultados diferentes en diferentes archivos (el promedio y la mediana no muestran el panorama completo). Como siempre, te invitamos a revisa nuestras aplicaciones, regístrate y compruebe nuestra precisión con sus datos.

La precisión lista para usar no lo es todo

Cuando tiene que seleccionar el software de reconocimiento de voz/ASR, hay otros factores que van más allá de la precisión del reconocimiento lista para usar. Estos factores son, por ejemplo:

• Posibilidad de personalizar el modelo acústico - El modelo Voicegain puede entrenarse con sus datos de audio; tenemos demostrada mejora en la precisión del 7 al 10%. De hecho, para uno de nuestros clientes con datos de entrenamiento adecuados y un audio de buena calidad, logramos un WER del 0,5% (precisión del 99,5%)
• Facilidad de integración - Muchos proveedores de conversión de voz a texto ofrecen API limitadas, especialmente para los desarrolladores que crean aplicaciones que requieren interactuar con plataformas de telefonía o centros de contacto locales.
• Precio - Voicegain cuesta entre un 60 y un 75% menos en comparación con otros proveedores de software de voz a texto/ASR, y ofrece una precisión casi comparable. Esto hace que sea asequible transcribir y analizar voz en grandes volúmenes.
• Soporte para implementación local o perimetral - Los proveedores de servicios de voz a texto en la nube ofrecen un soporte limitado para implementar su software de voz a texto en los centros de datos de los clientes o en las nubes privadas de otros proveedores. Por otro lado, Voicegain se puede instalar en cualquier clúster de Kubernetes, ya sea gestionado por un gran proveedor de nube o por el cliente.

¡Haz una prueba de manejo con Voicegain!

1. Haga clic aquí para obtener instrucciones sobre cómo acceder a nuestro sitio de demostración en vivo.

2. Si estás creando una aplicación de voz genial y quieres probar nuestras API, haz clic aquí para crear una cuenta de desarrollador y recibir 50$ en créditos gratis

3. Si quieres usar Voicegain como tu propio asistente de transcripción con IA para las reuniones, haz clic aquí.