OpenAI añade tres modelos de audio en tiempo real a la API

OpenAI ha añadido tres nuevos modelos de audio a su API, llevando su pila Realtime API más allá del reconocimiento rápido de voz y hacia algo más parecido a un trabajador de voz real: GPT-Realtime-2 para conversaciones que requieren razonamiento, GPT-Realtime-Translate para habla multilingüe en vivo y GPT-Realtime-Whisper para transcripción en streaming. La propuesta es simple: permitir que las aplicaciones escuchen, comprendan, traduzcan y respondan mientras las personas siguen hablando.

Esto importa porque el software de voz normalmente ha sido bueno en una cosa a la vez. Puede transcribir, o traducir, o responder, pero coser esas capacidades en una conversación que conserve coherencia es lo difícil. OpenAI claramente apunta a desarrolladores que crean centros de llamadas, herramientas de viaje, asistentes para reuniones y bots de atención al cliente que necesitan algo más que una voz educada y una réplica rápida.

GPT-Realtime-2 es el modelo para agentes de voz en vivo

GPT-Realtime-2 es el número principal. OpenAI dice que es su primer modelo de voz con razonamiento de clase GPT-5, y la compañía lo ha ajustado para intercambios en vivo donde una petición cambia a mitad de frase, hay que llamar a una herramienta en segundo plano o el asistente debe recuperarse sin sonar desarticulado. El nivel de razonamiento predeterminado es bajo, pero los desarrolladores pueden aumentarlo a muy alto cuando la tarea requiera un pensamiento más deliberado.

Las mejoras prácticas son del tipo que importan una vez que un modelo sale de la fase demo: una ventana de contexto ampliada de 32K a 128K, mejor manejo de nombres propios y vocabulario especializado, y más control sobre el tono. OpenAI también dice que el modelo puede hacer audible su trabajo con breves preámbulos como 'permíteme comprobar eso' o 'un momento mientras lo investigo', un detalle pequeño que puede evitar que un agente de voz parezca haber desaparecido en una caja negra.

Recomendado

Hassabis dice que las STEM te hacen 10 veces mejor en IA

• Ventana de contexto: de 32K a 128K
• Niveles de razonamiento: mínimo, bajo, medio, alto, muy alto
• Puntos de referencia de audio: 15,2 % más en Big Bench Audio y 13,8 % más en Audio MultiChallenge frente a GPT-Realtime-1.5, según OpenAI

OpenAI también recurre a un manual empresarial conocido: mejores medidas de seguridad, uso más claro de herramientas y puntuaciones de referencia superiores para tranquilizar a las empresas de que los agentes de voz pueden ser algo más que prototipos llamativos. Es el mismo carril que Google y Amazon han estado persiguiendo en distintas formas, pero OpenAI intenta empaquetar toda la pila en algo que los desarrolladores puedan realmente desplegar.

La traducción en vivo ahora cubre más de 70 idiomas de entrada

GPT-Realtime-Translate apunta a un punto de dolor más obvio: la conversación multilingüe en vivo. Traduce habla de más de 70 idiomas de entrada a 13 idiomas de salida mientras sigue el ritmo del hablante, y además ofrece transcripciones en tiempo real. Esto lo coloca directamente en el camino de la atención al cliente, la educación, eventos, medios y cualquier aplicación que intente fingir que Internet es una sola sala ordenada en lugar de un planeta muy ruidoso.

La compañía dice que el modelo está diseñado para preservar el significado sin retrasarse respecto al habla natural, incluso cuando la pronunciación cambia por región o el hablante cambia de tema. Deutsche Telekom lo está probando para interacciones de voz multilingües, y Vimeo lo está usando para traducir en vivo la educación sobre productos mientras se reproduce el vídeo. Son apuestas iniciales sensatas: la traducción es más útil cuando se desaparece dentro de la interacción en lugar de anunciarse como un intérprete de conferencia con cronómetro.

• Idiomas de entrada: más de 70
• Idiomas de salida: 13
• Precios: $0,034 por minuto

GPT-Realtime-Whisper apunta a subtítulos, notas y flujos de trabajo de soporte

El tercer modelo, GPT-Realtime-Whisper, es un sistema de voz a texto en streaming diseñado para baja latencia. En vez de esperar a que el hablante termine, transcribe a medida que llega el audio, lo que lo hace útil para subtítulos, notas de reuniones, herramientas para aulas, retransmisiones y flujos de trabajo de atención al cliente en vivo que no pueden permitirse esperar a ponerse al día después.

La apuesta más amplia de OpenAI es que la transcripción ya no es solo una capa de accesibilidad. En la práctica, se convierte en la tubería de entrada para todo lo demás: resúmenes, puntos de acción, flujos de trabajo de agentes y sistemas de seguimiento en salud, reclutamiento, ventas y soporte. El modelo tiene un precio de $0,017 por minuto, lo que debería hacerlo atractivo para productos que necesitan manejo constante del habla sin convertir cada reunión en un evento facturable.

Límites de seguridad y precios de la Realtime API

OpenAI dice que la Realtime API incluye clasificadores activos que pueden detener sesiones si las conversaciones parecen violar las normas sobre contenido dañino, y que los desarrolladores pueden añadir más medidas de seguridad usando el Agents SDK. La compañía también recuerda a los usuarios que las salidas no se pueden reutilizar para spam o engaño, y que debe quedar claro para los usuarios finales que se trata de IA, a menos que el contexto ya lo deje evidente.

GPT-Realtime-2 tiene un precio de $32 por 1M de tokens de entrada de audio, con tokens de entrada en caché a $0,40, y $64 por 1M de tokens de salida de audio. Para los desarrolladores, la verdadera pregunta es si esos números compran suficiente fiabilidad para reemplazar un mosaico de herramientas de voz, traducción y orquestación. OpenAI apuesta a que la respuesta es sí, y a que el próximo gran cambio de interfaz sonará mucho menos a un chatbot y mucho más a una conversación que consigue resultados.