Esta publicación es la primera de una serie de publicaciones que comparan el rendimiento de Voicegain Speech Analytics con el de Google y Amazon. Esta publicación compara las capacidades y la precisión del reconocimiento/extracción de entidades nombradas. Las API de Google utilizadas para la comparación fueron las siguientes Lenguaje natural en la nube y las API de Amazon estaban en AWS Comprehend.

El reconocimiento de entidades nombradas (NER) o la extracción de entidades nombradas es una de las características del API de análisis de voz Voicegain. El reconocimiento de entidades nombradas localiza y clasifica las entidades nombradas en texto no estructurado que se puede obtener, por ejemplo, de la transcripción de los archivos de audio. Aunque hay muchas coincidencias entre Google, Amazon y Voicegain con respecto a las categorías de clasificación, también hay algunas diferencias importantes que se resumen a continuación.

Categorías NER compatibles

La hoja de cálculo completa está enlazada aquí muestra las entidades con nombre extraídas por la API de análisis de voz de Voicegain y las compara con las categorías de entidades con nombre disponibles en las API de Google y Amazon Comprehend. Amazon tiene dos API NER: Entity y PII Entity.

Si observa la hoja de cálculo, verá que la API de entidades que no son PII de Amazon ofrece poca granularidad en las categorías de entidades nombradas. Por ejemplo, agrupa muchas entidades con nombres numéricos en una sola categoría QUANTITY. Agrupa las fechas y la hora (del día) en una sola categoría, FECHA. Por otro lado, la API de entidades de PII tiene muchos elementos relacionados con categorías finas, normalmente redactados por la PII, pero omite muchas otras categorías de entidades comunes.

La API de Google parece cubrir las categorías habituales, pero omite algunas entidades utilizadas en la aplicación de centro de llamadas, por ejemplo, CC, SNN, EMAIL>

Una categoría que Voicegain no admite es OTRA. Esta categoría, que está disponible en Google y Amazon, requiere una lógica de aplicación adicional para interpretar la cadena con la que coincide.

Comparación de precisión

Hemos probado las 4 API en un conjunto de llamadas a centros de llamadas.

Los resultados generales muestran que Voicegain y Amazon Non-PII PAI detectan entidades con nombres similares (con la salvedad de que las categorías de Amazon NER son menos específicas). En comparación con estas dos, la API NER de Google omite más entidades, pero también marca muchas palabras adicionales que pertenecen a otras categorías (lo que, por lo general, no es muy útil, al menos no cuando se analizan las llamadas a los centros de llamadas).

Al analizar las entidades de PII de Amazon, observamos que:

• era bueno en NAME, BANK_ACCOUNT_NUMBER
• EL CORREO ELECTRÓNICO y EL TELÉFONO funcionaron casi bien, pero tuvieron algunos falsos positivos extraños
• CREDIT_DEBIT_NUMBER tenía falsos positivos (por ejemplo, del teléfono) o coincidencias parciales
• DATE_TIME no seleccionaba todas las frases que la descripción decía que esta categoría debía reconocer
• ADDRESS funcionó con un éxito desigual: a veces no seleccionaba un texto de dirección claro o reconocía solo una parte de él.
• EXPIRY_DATE tenía muchos falsos positivos, combinaciones de 4 dígitos que claramente no eran fechas de caducidad válidas

Cuando Voicegain tiene una categoría de entidad coincidente para la entidad de PII de AWS, su rendimiento es igual o mejor. Como puede ver, es difícil resumir los resultados porque las entidades no son directamente comparables. Si desea saber cómo funcionará Voicegain NER con sus datos, le sugerimos que pruebe la API de análisis de voz de Voicegain, que incluye la detección de NER, la detección de palabras clave y frases, el análisis de opiniones, etc.

Para realizar las pruebas, tiene dos opciones:

1. Puedes crear una cuenta de desarrollador gratuita en la plataforma Voicegain. Así es como puedes registrarte. Una vez que se registre, utilice la función Transcribe+. Si tiene alguna pregunta, envíenos un correo electrónico a support@voicegain.ai
2. También puedes usar la versión beta de nuestra aplicación Speech Analytics y subir tu grabación de audio de 2 canales. Para acceder, envíanos un correo electrónico a support@voicegain.ai

• Casos de uso