Epic Games werkt aan RealityScan-app die 3d-modellen maakt met smartphonecamera – Computer – Nieuws

3D scannen zal vanuit mijn perspectief een niche blijven voor games/films totdat scans daadwerkelijk zo makkelijk zijn als het maken van foto’s. Sommige dingen zoals boomstammen of stenen zijn erg goed te scannen, maar auto’s en andere apparaten zijn juist enorm lastig door de reflecties. Ook is het erg lastig om een 3D scan van een ruimte met patroonloze muren te maken zonder LiDAR of TOF sensoren, omdat er dan geen detail is die de software kan volgen.

Hiernaast wordt er veel gebruik gemaakt van PBR (Physically based rendering), waarbij een model niet genoeg heeft aan simpele kleurinformatie. Je moet aangeven hoe sterk reflecties zijn en de kleur moet volledig zonder schaduw zijn. Professionals gebruiken hiervoor ringflitsers op de camera en polariserende lensfilters, maar dat is erg duur. Je kan ook handmatig proberen om de informatie toe te voegen aan je 3D-scan, maar dit kost een hoop werk.

Kort gezegd is het met een beetje moeite is het redelijk goed te doen om een simpele objecten te scannen, maar zodra het complex wordt heb je veel kennis en tijd nodig voor goede 3D modellen. Deze app gaat daar helaas geen verandering in brengen.

Wat ik wel erg belovend vind is de opkomst van neural rendering. Een sterk voorbeeld hiervan is NeRF (Neural Radience Fields). In plaats van foto’s letterlijk te vertalen tot punten en metingen voor een 3D model, probeert hier het algoritme alle lichtinformatie op te nemen in een ‘volume’ en te kijken hoe verschillende perspectieven de werking van het licht veranderen. Je hebt hiermee meteen een 3D model met PBR-achtige informatie, oftewel reflecties! Een auto of zelfs een glas scannen is hiermee prima te doen, Google liet zien dat dit zelfs te gebruiken is met willekeurige foto’s op Google Maps.

Het zal nog wel een even duren voordat deze technologie direct in 3D software of games terecht komt aangezien NeRF een speciale renderer nodig heeft, maar ik ben ervan overtuigt dat neural rendering de volgende stap voor (Realistisch) 3D is. Waarschijnlijk zullen we neural rendering eerder zien in de vorm van ‘beeldverbeterende filters’ die vergelijkbaar zijn in gebruik met DLSS, later krijgen we wellicht software die volledig is gebaseerd op neural rendering.

[Reactie gewijzigd door Powerbyte op 4 april 2022 20:43]