Qu’est-ce que le NeRF ?
Un champ de radiance neuronale (NeRF) est un réseau neuronal capable de reconstruire des scènes tridimensionnelles complexes à partir d’un ensemble partiel d’images bidimensionnelles. Des images tridimensionnelles sont nécessaires dans diverses applications de simulation, de jeux, de médias et d’Internet des objets (IoT) pour rendre les interactions numériques plus réalistes et plus précises. Le NeRF apprend la géométrie de la scène, les objets et les angles d’une scène particulière. Il affiche ensuite des vues 3D photoréalistes à partir de nouveaux points de vue, générant automatiquement des données synthétiques pour combler les lacunes.
Quels sont les cas d’utilisation des champs de radiance neuronale ?
Les NeRF peuvent rendre des scènes complexes et générer des images pour divers cas d’utilisation.
Infographie et animation
En infographie, vous pouvez utiliser NeRF pour créer des effets visuels, des simulations et des scènes réalistes. Les NeRF capturent, restituent et projettent des environnements, des personnages et d’autres images réalistes. Les NeRF sont couramment utilisés pour améliorer les graphismes des jeux vidéo et l’animation des films VX.
Imagerie médicale
Les NeRF facilitent la création de structures anatomiques complètes à partir de scans 2D tels que les IRM. Leur technologie permet de reconstruire des représentations réalistes des tissus corporels et des organes, fournissant ainsi aux médecins et aux techniciens médicaux un contexte visuel utile.
Réalité virtuelle
Les NeRF sont une technologie vitale dans les simulations de réalité virtuelle et de réalité augmentée. Parce qu’ils peuvent modéliser avec précision des scènes 3D, ils facilitent la création et l’exploration d’environnements virtuels réalistes. Selon la direction dans laquelle vous regardez, le NeRF peut afficher de nouvelles informations visuelles et même afficher des objets virtuels dans un espace réel.
Imagerie satellite et planification
L’imagerie satellite fournit une gamme d’images que les NeRF peuvent utiliser pour produire des modèles complets de la surface de la Terre. Ceci est utile pour les cas d’utilisation de la capture de la réalité (RC) qui nécessitent de numériser des environnements réels : vous pouvez transformer les données de localisation spatiale en modèles 3D très détaillés. Par exemple, la reconstruction d’images aériennes dans des rendus de paysage est couramment utilisée dans la planification urbaine, car elle fournit une référence utile pour la disposition réelle d’une zone.
L’image suivante montre un exemple de modèle de bâtiment 3D.
Comment fonctionnent les champs de radiance neuronale ?
Les images 3D rendues par ordinateur, créées à l’aide de diverses techniques graphiques numériques, possèdent plusieurs propriétés distinctes qui définissent leur qualité et leur réalisme. Exemples :
- Aspects géométriques, tels que le positionnement, l’orientation et l’échelle des modèles 3D dans la scène
- Aspects liés à l’éclairage, tels que les ombres, la luminosité, la couleur et les reflets
- Transparence et translucidité qui montrent comment la lumière traverse des matériaux tels que le verre ou le brouillard
- Volume et densité, tels que la densité de la fumée ou des nuages
- Textures simulant des matériaux tels que le tissu, le bois ou le métal
Le choix des couleurs et leur distribution jouent également un rôle clé dans l’impact visuel de l’image. L’ombrage détermine la façon dont les différentes surfaces sont éclairées, créant ainsi une impression de profondeur et de forme.
NeRF associe des techniques d’infographie à une architecture de réseau neuronal pour gérer tous les aspects précédents.
L’image suivante est un exemple d’image 3D rendue par ordinateur.
Architecture des champs de radiance neuronale
Les NeRF utilisent un aspect neuronal appelé perceptron multicouche (MLP), une architecture de réseau neuronal entièrement connectée, pour créer une représentation d’une scène 3D. Un MLP est un modèle fondamental des réseaux neuronaux et du deep learning. Il est entraîné à cartographier les coordonnées spatiales et à visualiser les directions par rapport aux valeurs de couleur et de densité. Un MLP utilise une série de structures mathématiques qui organisent les entrées, telles qu’une position dans l’espace 3D ou une direction de visualisation 2D, pour déterminer les valeurs de couleur et de densité à chaque point d’une image 3D.
Le réseau apprend également à modifier la luminosité et la couleur des rayons lumineux de la scène. En développant une compréhension de ces rayons, connue sous le nom de modélisation de la radiance, il peut afficher différentes couleurs et densités sous différents angles.
En savoir plus sur le deep learning
Types de champs de radiance neuronale
Les premières versions de NeRF étaient difficiles à optimiser et lentes, et elles nécessitaient des informations provenant de photos pour correspondre à l’éclairage en utilisant les mêmes rayons de caméra. Depuis lors, plusieurs variantes ont amélioré la technologie initiale.
PixelNeRF
L’une des premières nouvelles formes de NeRF était le PixelNeRF (CPVR 2021). Ce déploiement introduit une architecture entièrement convolutionnelle qui peut être conditionnée par des entrées d’image uniques. Cette approche élimine le besoin de nombreuses vues calibrées et organisées et réduit le total des ressources de calcul nécessaires. Cette nouvelle approche a rationalisé le processus de création et d’optimisation des NeRF.
Mega-NeRD
Mega-NeRD (CVPR 2022) est un autre cadre NeRF particulièrement utile lorsque vous travaillez sur des scènes à grande échelle. Il propose un algorithme de regroupement géométrique alternatif et une structure de réseau clairsemée qui lui permettent de traiter des images dans diverses conditions d’éclairage. Ce NeRF optimisé utilise une grille de radiance neurale clairsemée (SNeRG) pour capturer et rendre efficacement les environnements du monde réel.
NSVF
Le Neural Sparse Voxel Fields (NSVF) est un NeRF qui peut ignorer tous les pixels vides pendant sa phase de rendu, ce qui augmente la vitesse de rendu. Cette technique apprend la structure des pixels dans les cellules du réseau, ce qui lui permet de créer des images de haute qualité sans avoir besoin de points de vue spécifiques.
Voxel plénoptique
Au lieu d’utiliser le réseau neuronal perceptron multicouche, l’innovation du Voxel plénoptique (2021) utilise une grille 3D clairsemée. Cette grille vous permet d’augmenter la vitesse de rendu des nouvelles simulations tout en préservant la fidélité visuelle grâce à l’interpolation des voxels.
Comment les champs de radiance neuronale restituent-ils les images ?
Le rendu neuronal est le terme désignant le processus de création d’images par le NeRF. Les NeRF utilisent différentes techniques pour transformer les données brutes en représentations 3D détaillées.
Rendu graphique
Les techniques de rendu issues du domaine de l’infographie permettent aux modèles NeRF de projeter et de manipuler des scènes de manière géométrique. Exemples :
- Le ray casting simule le point de vue de l’utilisateur pour calculer la visibilité des objets.
- Le ray tracing étend ce concept en simulant le comportement physique de la lumière, y compris la réflexion, la réfraction et les ombres.
- La pixellisation convertit les informations vectorielles 3D en pixels sur un écran 2D, en utilisant divers algorithmes pour simuler efficacement les effets d’éclairage et de texture.
Rendu des volumes
Le rendu des volumes est une autre stratégie essentielle. Un algorithme détermine les valeurs de rouge, de vert, de bleu et d’alpha (densité de volume) pour chaque pixel d’un espace ou d’une image 3D. Ces figures correspondent à leurs positions correspondantes dans une image 2D.
Une autre technique est la synthèse de vues, qui fonctionne à l’inverse du rendu des volumes. Cette technique permet de construire une vue 3D à partir d’une série d’images 2D. La synthèse de vues crée une disposition hémisphérique qui représente l’objet à l’aide d’une gamme d’images prises sous différents angles. Ce processus adapte chaque image 2D à sa position respective autour d’un objet, en le reconstruisant en 3D.
Comment AWS peut-il répondre à vos besoins en matière de champs de radiance neuronale ?
Amazon Web Services (AWS) propose deux services pour répondre à vos besoins en matière de NeRF.
AWS RoboMaker est un service de simulation basé sur le cloud qui vous permet d’exécuter la simulation, de la mettre à l’échelle et de l’automatiser sans avoir à gérer une infrastructure. AWS RoboMaker rend la création d’environnements de simulation plus rapide et plus abordable en fournissant des mondes de simulation et diverses ressources 3D. Vous pouvez utiliser ces ressources de simulation pour créer des environnements de simulation répondant au niveau de fidélité requis. Avec AWS RoboMaker WorldForge, vous pouvez générer des centaines de mondes de simulation résidentielle intérieure 3D variés et définis par l’utilisateur en quelques minutes.
AWS IoT TwinMaker est un service qui crée des jumeaux numériques de systèmes du monde réel tels que des bâtiments, des usines, des chaînes de production et des équipements industriels. Il permet d’utiliser des données existantes provenant de plusieurs sources, de créer des représentations virtuelles de n’importe quel environnement physique et de combiner des modèles 3D existants avec des données réelles. Avec AWS IoT TwinMaker, vous pouvez exploiter des jumeaux numériques pour créer une vue globale de vos opérations plus rapidement et avec moins d’efforts.
Commencez à utiliser les champs de radiance neuronale sur AWS en créant un compte dès aujourd’hui.
Prochaines étapes sur AWS
