Desde junio de 2020, Voicegain ha publicado puntos de referencia sobre la precisión de su conversión de voz a texto en comparación con los motores ASRS/voz de conversión de texto de gran tecnología, como Amazon, Google, IBM y Microsoft.
El conjunto de datos de referencia para esta comparación ha sido un conjunto de datos de terceros publicado por una entidad independiente e incluye una amplia variedad de datos de audio: audiolibros, vídeos de YouTube, podcasts, conversaciones telefónicas, reuniones de zoom y más.
Aquí hay un enlace a algunos de los puntos de referencia que hemos publicado.
1. Enlace Punto de referencia de precisión hasta junio de 2020
2. Enlace Punto de referencia de precisión hasta septiembre de 2020
3. Enlace Punto de referencia de precisión hasta junio de 2021
4. Enlace Punto de referencia de precisión hasta octubre de 2021
5. Enlace Punto de referencia de precisión hasta junio de 2022
A través de este proceso, hemos obtenido información sobre lo que se necesita para ofrecer una alta precisión para un caso de uso específico.
Ahora presentamos una primicia en la industria precisión relativa de voz a texto punto de referencia para nuestros clientes. Por «relativa», la precisión de Voicegain (medida según el porcentaje de errores de palabras) se comparará con la de un gran actor tecnológico con el que el cliente nos esté comparando. Voicegain proporcionará un acuerdo de nivel de servicio con una precisión prácticamente igual a la de este gran actor tecnológico.
Seguimos el siguiente proceso de 4 pasos para calcular el SLA de precisión relativa
1. Identifique el conjunto de datos de referencia del
En colaboración con el cliente, Voicegain selecciona un conjunto de datos de audio de referencia que sea representativo de los datos reales que el cliente debe procesar. Por lo general, se trata de una selección aleatoria del audio del cliente. También recomendamos que los clientes conserven su propio conjunto de datos de referencia independiente, que no compartan con Voicegain, para validar nuestros resultados.
2. Generar referencia dorada
Voicegain se asocia con empresas de etiquetado manual de IA líderes del sector para generar una transcripción precisa del 99% generada por humanos de este conjunto de datos de referencia. Nos referimos a esto como la referencia dorada.
3. Ejecute una comparación de precisión relativa
En este conjunto de datos de referencia, Voicegain proporcionará scripts que permitan a los clientes realizar una comparación del índice de errores de palabras (WER) entre la plataforma Voicegain y cualquiera de los principales proveedores de ASR del sector con los que el cliente nos compare.
4. Calcule los KPI para un SLA de precisión relativa
Actualmente, Voicegain calcula los siguientes dos (2) KPI
a. Tasa media de errores de palabras: Este es el WER medio en todos los archivos de audio del conjunto de datos de referencia para ambos ASR.
b. Tasa de error de palabras en el cuarto cuartil: Después de organizar los archivos de audio en el conjunto de datos de referencia en orden creciente de WER con Big Tech ASR, calculamos y comparamos el WER promedio del cuarto cuartil tanto para Voicegain como para Big Tech ASR.
Por lo tanto, garantizamos contractualmente que la precisión de Voicegain para los 2 KPI anteriores en relación con el otro ASR se encuentre dentro de un umbral aceptable para el cliente.
¿Con qué frecuencia se mide este SLA de precisión?
Voicegain mide este SLA de precisión dos veces durante el primer año del contrato y una vez al año a partir del segundo año.
¿Qué sucede si Voicegain no cumple con el SLA?
Si Voicegain no cumple con los términos del SLA de precisión relativa, entrenaremos el modelo acústico subyacente para que cumpla con el SLA de precisión. Asumiremos los gastos relacionados con el etiquetado y la formación. Voicegain garantizará que cumplirá con el SLA de precisión en un plazo de 90 días a partir de la fecha de la medición.
¡Haz una prueba de manejo con Voicegain!
1. Haga clic aquí para obtener instrucciones sobre cómo acceder a nuestro sitio de demostración en vivo.
2. Si estás creando una aplicación de voz genial y quieres probar nuestras API, haz clic aquí para crear una cuenta de desarrollador y recibir 50$ en créditos gratis
3. Si quieres usar Voicegain como tu propio asistente de transcripción con IA para las reuniones, haz clic aquí.