El mismo día que NVIDIA ha dado a conocer sus nuevas GeForce Titan RTX, el departamento de investigación de la compañía ha presentado su último trabajo relacionado con el sector de la inteligencia artificial. Un proyecto que quiere revolucionar la forma de generar gráficos e imágenes para juegos, películas o realidad virtual.
Bryan Catanzaro, VP de Deep Learning en NVIDIA, ha descrito a TheVerge, su visión sobre el uso de la IA para generar estos mundos virtuales: "Es una nueva forma de renderizar contenido en vídeo usando deep learning. Obviamente NVIDIA está muy enfocada en la generación de gráficos y la IA podría revolucionar este campo".
El resultado es un vídeo que nos muestra una demo generada por completo mediante Inteligencia Artificial. La mecánica de esta demo es sencilla y tenemos un conductor que va moviéndose por una ciudad sin poder salir del coche. Pero todo el entorno ha sido generado mediante IA. Unos gráficos que se mueven y han sido generados con una única GPU, aunque se trata de la Titan V y sus 640 "núcleos tensor", destinados a multiplicar su rendimiento en el área del deep learning y la inteligencia artificial.
Para crear esta demo los investigadores han utilizado el sistema abierto pix2pix, una herramienta basada en redes neuronales que también se ha aplicado en otro tipo de usos como la generación de retratos artísticos.
El primer paso para la demo ha sido recolectar los datos, imprescindibles para el entrenamiento de la inteligencia artificial. Una vez los tienen, el algoritmo se encarga de identificar los distintos elementos y traducirlos al lenguaje de los gráficos animados. Es decir, la IA detecta lo que son árboles, coches, edificios y carreteras y seguidamente los transforma utilizando, en este caso, el motor Unreal Engine 4.
A diferencia del desarrollo de gráficos tradicional que pueden salir directamente de la mente de los diseñadores, en este caso la IA se basa en la estructura del mundo real. El sistema de Nvidia se encarga de trasladar a gráficos animados las imágenes captadas. Unas imágenes que en el caso de la demo del coche han sido captadas por un único ingeniero pero requieren de una gran potencia para procesarse.
¿Cuáles ha sido los principales desafíos para generar estos gráficos? Según explica NVIDIA la gran dificultad es determinar la importancia de cada frame. El algoritmo utilizado genera gráficos a unos 25 frames por segundo, pero durante en ese tiempo las imágenes reales no se mantienen fijas. En el mundo real cada frame es diferente, mientras que en los gráficos generados se deben descartar muchas variaciones.
La solución fue limitar la memoria para que el sistema únicamente capture imágenes cada cierto tiempo. Aún con todo, la imagen es bastante borrosa y se nota a simple vista que faltan muchos detalles de luces, colores y elementos importantes.
Esta tecnología se encuentra en una fase completamente experimental y todavía faltarían décadas para poderse aplicar realmente en el desarrollo de un videojuego. Pero desde la compañía lo describen como un proceso similar al que experimentó el trazado de rayos, una técnica que recientemente está de moda pero fue propuesto por primera vez en 1968 y unos años más tarde, en 1979, perfeccionado para darle mayor realismo. Un largo recorrido que también podría aplicarse a la generación de gráficos mediante IA.
Los Deep Fakes han generado bastante controversia durante este año, pero son un ejemplo de cómo la IA puede utilizarse para generar imágenes. En este caso, la tecnología de NVIDIA podría utilizarse para complementar los gráficos de los juegos. Por un lado tendríamos las imágenes generadas habitualmente mientras que por otro podríamos tener unos gráficos que se adapten a la situación. Imaginad un juego que permita subir una imagen para generar un avatar en consecuencia con los gráficos del juego. Las posibilidades son enormes y desde Nvidia ya están explorándolas seriamente.
Más información | NVIDIA Research
