La ciencia detrás del DLSS: cómo es que una inteligencia artificial y redes neuronales hacen que disfrutes de tus juegos a más fps y sin perder calidad

La Inteligencia Artificial es un campo que ha tenido un pico en su desarrollo en la última década, desde el triunfo de una de sus herramientas más poderosas: Machine Learning. Una de las compañías que ha dirigido la implementación de algoritmos de ML en el gaming es Nvidia, quienes con el lanzamiento del DLSS o Deep Learning Super Sampling, han optimizado de manera impresionante una gran cantidad de videojuegos.

Aquí te contamos todo lo que necesitas saber sobre sobre el DLSS y la revolución del ML que nos llevó hasta esta tecnología.

Un poco de historia, los primeros pasos y un gran triunfo

El año 2011 marcó el inicio de una revolución computacional que comenzó con la red neuronal llamada DanNet, la cual fue la primera en ganar una competencia de visión computacional. DanNet no solo demostró ser mucho más rápida que cualquier otro algoritmo fuera del ML, también demostró que podía ser aplicado en una gran variedad de campos.

DanNet enseñó su potencial al vencer en concursos que iban desde la caligrafía hasta la medicina. La competencia de detección de manuscrita Chino, y la competencia de clasificación de imágenes de mitosis celular mostraron que las redes neuronales podían ser muy flexibles. Pero DanNet no se quedó ahí pues también ganó un concurso de imágenes médicas, enfocadas en detectar cáncer.

Es así como a inicios del a década pasada, el campo del Machine Learning iniciaba su rápido ascenso hacia muchísimos campos de la ciencia, tecnología y computación, para consolidarse como una de las herramientas más poderosas de la humanidad. Y con ello, apenas siete años después, llegó el DLSS de Nvidia.

Nvidia apuesta por la Inteligencia Artificial

Septiembre de 2018 fue cuando un algoritmo de ML, y en particular del subcampo llamado Deep Learning (DL), se mostró al público. La presentación de la tarjeta gráfica GeForce RTX 20 de Nvidia llegó acompañada del DLSS.

En un inicio, este algoritmo solo podía ejecutarse en dos juegos: 'Battlefield V' y 'Metro Exodus'. El núcleo de funcionamiento del DLSS radica en ser un algoritmo entrenado con miles de horas de juegos corriendo a super resoluciones, desde las super computadoras de Nvidia: Los Sistemas DGX.

En sus inicios, Nvidia tenía que entrenar su algoritmo para cada juego en particular. Esto significa que tenía que dejar horas de 'Battlefiel V', o cualquier otro juego que quisieran agregar a la biblioteca del DLSS, corriendo a una super resolución desde los DGX. Sin embargo, como ha sucedido en otros campos del Deep Learning, esto ya no es necesario.

Soluciones generales, la respuesta para casi todo

Para día de hoy, Nvidia cuenta con un entrenamiento general en el que no necesita enfocarse en horas de pruebas con un mismo juego para poder implementar su algoritmo en dicho título. Cuentan con una base de datos que se actualiza constantemente y que puede ser implementado, en teoría, en cualquier título que les interese.

Este es un caso de generalidad dentro del DL, pues los algoritmos que se utilizan comúnmente para visión computacional corren con base a las Redes Convulcionales. Estas redes tienen una gran cantidad de capas ocultas que operan con una función matemática llamada convolución, en la cual van filtrando datos a la par que cada capa oculta va "observando" distintos detalles.

Por ejemplo, en una Red Convolucional con 100 capas (la cual ya es algo medianamente profundo, pues se han llegado a utilizar más de 1000 capas), va enfocarse en algo distinto en cada capa. Al inicio se van enfocando en bordes y esquinas, y a medida que va profundizando en la red se van observando patrones más complejos como círculos, cabellos, fluidos, cuerpos, ojos.

De esa manera, muy resumidamente, es como puede explicarse la mejora en la calidad de los juegos. DLSS se entrena por mucho tiempo con una gran cantidad de fotogramas hasta encontrar la iteración perfecta que se ajuste al juego, posteriormente se le añaden más pixeles a la imagen y listo. De esa manera logran una alza en el frame rate del juego sumado a una mejora en la calidad de imagen.

DLSS, su aplicación y juegos

En palabras de Andrew Edelsten, Director Técnico de Aprendizaje Profundo en Nvidia:

Los resultados de DLSS varían un poco, porque cada juego tiene características diferentes en función del motor de juego, la complejidad del contenido y el tiempo de entrenamiento. Nuestro supercomputadora nunca duerme, y seguimos entrenando y mejorando nuestra red neuronal incluso después del lanzamiento de un juego. Cuando tenemos listas las mejoras en el rendimiento o la calidad de la imagen, te las proporcionamos a través de las actualizaciones de software de Nvidia.

Finalmente, DLSS trabaja sobre todo cuando tu GPU está exigiéndose demasiado y la calidad de los fotogramas no es la mejor. Esto quiere decir que si tu GPU trabaja bien sobre el juego, y tiene una buena velocidad de fotogramas y calidad de imagen, DLSS no se ejecutará al no ser necesario. Pero si se detecta que tu GPU lo necesita y que el juego utilizado es compatible con el algoritmo, entonces se activa el DLSS y se inicia la mejora de rendimiento.

Por su lado, otras compañías han realizado sus avances en tema de optimización de frame rate y calidad de imagen. Tal es el caso de AMD, quienes tiene al FSR o Fidelity FX Super Resolution y que no utiliza Deep Learning como herramienta principal. También están Intel y Apple, la primera han desarrollado XeSS o Intel Xe Super Sampling; mientras que la compañía de la manzana tiene MetalFX Upscaling, ambas tecnologías usan Deep Learning.

DLSS solo está disponible para las tarjetas GeForce RTX 20 y GeForce RTX 30, así como para la Quadro RTX, por lo que es necesario de hardware para utilizarlo. Hasta julio de 2022, DLSS está presente para más de 200 juegos y aplicaciones, entre los que se encuentran 'Red Dead Redemption 2', 'Naraka: Baldepoint', 'Ghostwire: Tokyo', 'God of War', 'Horizon Zero Dawn', etc. También llegará para futuros títulos como 'Lord of the Rings: Gollum' y 'Steelrising'.