Sony ha presentado GT Sophy, su inteligencia artificial para competir contra los pilotos en Gran Turismo Sport y mejorar así su experiencia de juego. Desarrollada en colaboración con Sony AI, Polyphony Digital y Sony Interactive Entertainment, este "revolucionario agente de carreras sobrehumano" recibió técnicas novedosas de aprendizaje y capacitación en simuladores de conducción real.
Con el entrenamiento recibido, GT Sophy pudo dominar varias habilidades relacionadas al control del auto, tácticas de carrera para hacer la toma de decisiones y sobre todo mantener la "etiqueta" al correr, es decir, respetando al resto de los corredores evitando colisiones y trazadas de otros autos.
Esto permite a GT Sophy poder entender a detalle las dinámicas de los autos, las líneas de carrera y las distintas maniobras que debe realizar para dominar las distintas pistas.
Además es capaz de realizar decisiones en una fracción de segundo, incluyendo tácticas como el rebase usando rebufos, pases cruzados y maniobras defensivas como los bloqueos.
Gracias al desarrollo de GT Sophy se puede tener un nuevo desafío para la simulación de carreras, ya que puede controlar los vehículos mientras opera a centímetros de los oponentes. Esto lo demostró ganando varios primeros lugares al probarse contra conductores humanos en dos distintos eventos llamados Race Together que tuvieron lugar el 2 de julio de 2021 y el 21 de octubre de 2021.
Esta fue la primera de las dos fechas contra GT Sophy
Así es cada uno de los elementos de la IA de carreras de Sony
Los componentes que permiten la existencia y desarrollo de GT Sophy son cuatro: el uso de un simulador hiperrealista, nuevas técnicas de aprendizaje por refuerzo, una plataforma de formación distribuida y una infraestructura de entrenamiento a gran escala.
En el apartado del simulador, se cuenta con Gran Turismo Sport para crear un entorno de carreras del mundo real lo más fiel posible, incluyendo autos, pistas, y hasta fenómenos físicos como resistencia al aire y fricción de neumáticos, lo que permite obtener información detallada sobre el comportamiento de los vehículos y sus particularidades específicas.
GT Sophy (en gris) corriendo y respetando la línea de carrera de un piloto humano
Sobre las técnicas de capacitación, se usa un aprendizaje por refuerzo, que permite entrenar a IA que deben tomar acciones en un entorno que recompensa o penaliza sus decisiones en función de los resultados a los que llevan, lo que determina la que será su siguiente acción.
Para entrenar a la IA también se desarrolló un nuevo algoritmo de entrenamiento llamado Quantile-Regression Soft Actor-Critic (QR-SAC) que permite dar las reglas de las carreras de una forma comprensible para los agentes, así como un régimen de entrenamiento que facilita la adquisición de nuevas habilidades.
Así es el sistema de aprendizaje de refuerzo
Además gracias al refuerzo profundo, las IAs pueden considerar las repercusiones a largo plazo de sus acciones, recopilar sus propios datos de aprendizaje de forma independiente, con lo que podían evitar escribir y codificar reglas de comportamiento complejas de forma manual.
Específicamente en este punto, el nuevo algoritmo permitió a GT Sophy "entender" el control de los autos de carrera, permitiendo llevarlos a su límite físico para la toma de curvas y las posibilidades complejas al competir contra varios tipos de oponentes incluso en entornos congestionados.
Entrenamiento en más de 1,000 PS4 con múltiples eventos simultáneos
El uso de una plataforma de formación distribuida (DART) desarrollada por Sony AI, permite a los investigadores entrenar a la Inteligencia Artificial usando consolas PlayStation 4 en la plataforma de juegos en la nube de la compañía.
Una prueba cronometrada de GT Sophy contra Valerio Gallo
Esto abre las posibilidades de especificar las condiciones de un experimento, que se ejecute automáticamente usando los recursos disponibles y que los datos se puedan recopilar en un navegador. El sistema también permite correr cientos de eventos simultáneos mientras se exploran técnicas para aumentar la experiencia de conducción de GT Sophy.
Específicamente la plataforma DART tenía acceso a más de 1,000 consolas PS4 que se utilizaron para entrenar o evaluar una versión de la IA. No solo eso, sino que también la forma en que la infraestructura se encontraba armada permitía interactuar con una gran cantidad de PS4 y capacitar a gran escala durante un periodo prolongado.
La plataforma DART armada para entrenar la IA
Por lo pronto la gente encargada de GT Sophy señalan que si bien es un hito importante, todavía hay más espacio para la investigación y desarrollo, por lo que se seguirán actualizando sus capacidades y se explorarán formas en que puede integrarse potencialmente en la serie Gran Turismo en un futuro y mejorar así la experiencia de los jugadores usando IA.
