GTAV som optaget med et dashcam

Hvis man godt kan lide at nørde neurale netværk, specifikt den visuelle af slagsen, så kan nedenstående video anbefales.

GTAV har op til flere mods, der får det til at se mere eller mindre fotorealistisk ud – og faktisk ser spillet jo ganske hæderligt ud i sit udgangspunkt. Men en nye metode tager det lige skridtet videre og kværner det gennem op til flere lag af neurale netværk, der har til formål, at få spillet til at ligne noget der er optaget med et dashcam.
Og det er ganske imponerende resultater de kommer frem til. De kalder det for interactive, hvilket nok stadig ikke helt dækker over at det kan køre realtime. Men uanset hvad, så er det interessant at se, hvad der sker, når de syntetiske bymiljøer fra Grand Theft Auto V blandes godt og grundigt sammen med et datasæt bestående af dashcam billeder.
Der gøres brug af flere tricks for at opnå konsistens mellem objekterne fra spillet og netværkets slutprodukt. Blandt andet fodres netværket ikke kun med billeder fra spillet, men også med de direkte 3D informationer om objekter i spillet. Dermed kan objekterne klassificeres og sendes gennem maskinen hver for sig, som så slutteligt kan samle det til et imponerende resultat der giver masser af uncanny valley vibes. Desuden træner de ikke netværket på hele billeder, men klipper dem i stedet i små stykker, som nemmere kan klassificeres som “asfalt med stribe”, “cykel” eller lignende.

Se gennemgangen og eksempler i videoen herunder: