El servicio ACE for Games de la empresa permite a los desarrolladores dar vida a los NPC.
Hay muchas formas de conversar con un gran modelo lingüístico (LLM), ya sea ChatGPT, Google Bard o MLC LLM, un chatbot local que puede ejecutarse en el teléfono. La próxima frontera de la IA es llevar la potencia de los LLM a los NPC (personajes no jugadores) de los juegos, donde, en lugar de tener un conjunto preestablecido de interacciones, se pueda mantener una conversación abierta.
Durante la keynote de Computex 2023, Jensen Huang, CEO de Nvidia, presentó ACE for Games, un servicio de creación de modelos de IA diseñado para dar vida a los personajes de los juegos mediante conversaciones en lenguaje natural, conversión de audio a expresión facial y conversión de texto a voz. Huang mostró una demostración de juego en la que un personaje llamado Jin, que regenta una tienda de fideos ramen, interactuaba con un jugador humano que le hacía preguntas con la voz y recibía respuestas reales que coincidían con la historia del personaje.
En la demo, el jugador (llamado Kai), entra en la tienda de Ramen de Jin, le pregunta cómo le va (con su voz) y mantienen una conversación sobre el hecho de que la zona tiene un alto índice de criminalidad. Kai pregunta si puede ayudar y Jin responde diciendo que «si quieres hacer algo al respecto, he oído rumores de que el poderoso señor del crimen Kumon Aoki está causando todo tipo de caos en la ciudad. Él puede ser la raíz de esta violencia». Kai pregunta dónde encontrar a Aoki y Jin se lo dice, poniendo al usuario en marcha en su búsqueda.
«La IA no sólo contribuirá al renderizado y la creación del entorno, sino que también animará a los personajes«, explica Huang. «La IA será una parte muy importante del futuro de los videojuegos«.
Nvidia ACE for Games ofrecerá acceso de alta velocidad a tres componentes diferentes que ya existen. El primero, Nvidia NeMo, es un marco de IA para entrenar y desplegar LLMs e incluye NeMo Guardrails, que está diseñado para prevenir conversaciones inapropiadas / «inseguras» de IA. Presumiblemente, esto impediría que los NPC respondieran a preguntas inapropiadas y fuera de tema de los usuarios. Guardrails también cuenta con un sistema de seguridad que debería impedir que los usuarios o los posibles «inyectores» de mensajes «rompan la seguridad» de los bots y les obliguen a hacer cosas malas.
Nvidia Riva es la solución de voz a texto de la compañía. En el entorno ACE for games, un jugador hace una pregunta a través del micrófono y Riva la convierte en texto que se envía al LLM. A continuación, el LLM generará una respuesta de texto que Riva volverá a convertir en voz para que el usuario la escuche. Por supuesto, es de esperar que los juegos también muestren las respuestas en forma de texto. Puedes probar las funciones de voz a texto y de texto a voz de Nvidia Riva en el sitio web de la compañía.
Nvidia Omniverse Audio2Face proporciona el último paso en el sistema ACE for games, ya que permite que los personajes tengan expresiones faciales que coincidan con lo que están diciendo. La empresa ofrece actualmente este producto en fase beta y se puede probar en este enlace.
La demo, llamada Kairos, ha sido diseñada por Convai, una startup de inteligencia artificial para videojuegos que forma parte del programa Inception de Nvidia, que conecta a empresas emergentes con capital riesgo. En su página web, la empresa ofrece un conjunto de herramientas que permite a los desarrolladores de juegos crear personajes reales con historias complejas.
La empresa cuenta con un magnífico vídeo explicativo sobre el funcionamiento y las posibilidades de sus herramientas. En el vídeo, se puede ver a los jugadores hablando con los NPC y pidiéndoles que hagan cosas en las que intervienen objetos reales y otros personajes del juego.
Por ejemplo, en el vídeo, un jugador pide a un NPC que le entregue un arma que está sobre una mesa y el NPC accede. En otra parte del vídeo, el jugador pide a un NPC soldado que dispare a un objetivo situado en un lugar determinado. También vemos cómo las herramientas de Convai hacen que todo esto sea posible.
Tener ese contexto añadido para que el NPC sea consciente de lo que ocurre en el juego es muy importante. Hace poco probamos un complemento de inteligencia artificial de Minecraft que te permite hablar con los NPC de ese juego, pero los NPC no tienen ningún conocimiento de la situación. Por ejemplo, pudimos continuar una conversación con una oveja después de haberla matado (y no sabía que estaba muerta).
