Dernièrement, il y a eu tellement de buzz autour du LiDAR sur les nouveaux appareils Apple qu'il est facile d'oublier que la réalité augmentée mobile peut fonctionner de toute autre manière. Mais c'est possible et c'est le cas, en particulier avec les outils ToF atteignant de nouveaux sommets dans les téléphones Samsung.
Que vous soyez développeur, à la recherche d'un nouvel appareil ou simplement curieux, cela vaut la peine de prendre le temps de découvrir ces acronymes et d'apprendre les tenants et les aboutissants de la détection de profondeur sur téléphone mobile.
ToF est l'abréviation de Time of Flight.
Techniquement, ToF fait référence à l'utilisation de la vitesse de la lumière (ou même du son) pour déterminer la distance. Il mesure le temps qu'il faut à la lumière (ou au son) pour quitter l'appareil, rebondir sur un objet ou un avion et revenir à l'appareil, le tout divisé par deux pour révéler la distance entre l'appareil et l'objet ou l'avion.
Ainsi, la relation est que tout LiDAR est un type de temps de combat, mais pas tout le temps de vol est LiDAR. Pour simplifier les choses, lorsque nous parlons de "ToF", nous entendons la mesure de distance optique, sans LiDAR.
Donc, si le LiDAR et le ToF optique non LiDAR utilisent tous deux la lumière pour la détermination de la distance et la cartographie 3D, en quoi sont-ils différents ?
LiDAR est l'abréviation de Light Detection and Ranging. Cette technologie utilise un laser, ou une grille de lasers, comme source de lumière dans l'équation détaillée ci-dessus.
Une seule lecture LiDAR peut être utilisée pour mesurer des choses comme la largeur d'une pièce, mais plusieurs lectures LiDAR peuvent être utilisées pour créer des "nuages de points". Ceux-ci peuvent être utilisés pour créer des modèles tridimensionnels d'objets ou des cartes topographiques de zones entières.
Bien que LiDAR soit nouveau sur les appareils mobiles, la technologie elle-même existe depuis un certain temps. Dans les environnements non mobiles, LiDAR est utilisé pour tout faire, de la cartographie des environnements sous-marins à la découverte de sites archéologiques.
La différence fonctionnelle entre LiDAR et d'autres formes de ToF est que LiDAR utilise des lasers pulsés pour construire un nuage de points, qui est ensuite utilisé pour construire une carte ou une image 3D. Les applications ToF créent des "cartes de profondeur" basées sur la détection de la lumière, généralement via une caméra RVB standard.
L'avantage du ToF par rapport au LiDAR est que le ToF nécessite un équipement moins spécialisé afin de pouvoir être utilisé avec des appareils plus petits et moins coûteux. L'avantage du LiDAR vient de la facilité avec laquelle un ordinateur peut lire un nuage de points par rapport à une carte de profondeur.
L'API de profondeur créée par Google pour les appareils Android fonctionne mieux sur les appareils compatibles ToF et fonctionne en créant des cartes de profondeur et en reconnaissant les "points caractéristiques". Ces points caractéristiques, souvent des barrières entre différentes intensités lumineuses, sont ensuite utilisés pour identifier différents plans dans l'environnement. Cela crée essentiellement un nuage de points de résolution inférieure.
Les cartes de profondeur et les nuages de points sont sympas et, pour certaines personnes et applications, ils suffisent. Cependant, pour la plupart des applications AR, ces données doivent être contextualisées. ToF et LiDAR le font en travaillant avec d'autres capteurs sur l'appareil mobile. Plus précisément, ces plates-formes doivent comprendre l'orientation et le mouvement de votre téléphone.
Donner un sens à l'emplacement de l'appareil dans un environnement cartographié s'appelle la localisation et la cartographie simultanées, ou "SLaM". Le SLaM est utilisé pour d'autres applications telles que les véhicules autonomes, mais il est surtout nécessaire pour les applications AR mobiles de placer des objets numériques dans l'environnement physique.
Cela est particulièrement vrai pour les expériences qui restent en place lorsque l'utilisateur n'interagit pas avec elles et pour placer des objets numériques qui semblent être derrière des personnes et des objets physiques.
Un autre facteur important dans le placement d'objets numériques dans les applications LiDAR et ToF implique les "ancres". Les ancres sont des points numériques dans le monde physique auxquels les objets numériques sont "attachés".
Dans les applications à l'échelle mondiale comme Pokemon Go, cela se fait via un processus distinct appelé "Geotagging". Cependant, dans les applications AR mobiles, l'objet numérique est ancré à des points dans un nuage de points LiDAR ou à l'un des points caractéristiques d'une carte de profondeur.
À proprement parler, le LiDAR est plus rapide et plus précis que le temps de vol. Cependant, cela devient plus important avec des applications plus avancées sur le plan technologique.
Par exemple, ToF et l'API Depth de Google ont du mal à comprendre les grands plans à faible texture comme les murs blancs. Cela peut rendre difficile pour les applications utilisant cette méthode de placer avec précision des objets numériques sur certaines surfaces du monde physique. Les applications utilisant LiDAR sont moins susceptibles d'avoir ce problème.
Cependant, les applications impliquant des environnements plus vastes ou dont la texture est plus variée sont peu susceptibles d'avoir ce problème. En outre, la plupart des applications AR grand public basées sur les mobiles impliquent l'utilisation d'un filtre AR sur le visage ou le corps de l'utilisateur, une application qui ne risque pas de rencontrer des problèmes en raison de grandes surfaces non texturées.
En lançant ses appareils compatibles LiDAR, Apple a déclaré avoir inclus les capteurs ainsi que d'autres matériels dans le but "d'ouvrir davantage de flux de travail professionnels et de prendre en charge les applications photo et vidéo professionnelles". Le communiqué a également appelé leur iPad Pro compatible LiDAR "le meilleur appareil au monde pour la réalité augmentée" et a vanté les applications de mesure d'Apple.
Google n'a pas donné d'explications aussi directes sur les raisons pour lesquelles leur API Depth et la nouvelle gamme d'appareils de prise en charge n'utilisent pas LiDAR. En plus de travailler autour du LiDAR, en gardant les appareils Android plus légers et plus abordables, il existe également un avantage majeur en matière d'accessibilité.
Étant donné qu'Android fonctionne sur des appareils mobiles fabriqués par plusieurs entreprises, l'utilisation de LiDAR favoriserait les modèles compatibles LiDAR au détriment de tous les autres. De plus, comme elle ne nécessite qu'un appareil photo standard, l'API Depth est rétrocompatible avec davantage d'appareils.
En fait, l'API Depth de Google est indépendante de l'appareil, ce qui signifie que les développeurs utilisant la plate-forme de création d'expériences AR de Google peuvent également développer des expériences qui fonctionnent sur les appareils Apple.
Cet article s'est principalement concentré sur LiDAR et ToF dans les expériences de réalité augmentée sur mobile. C'est en grande partie parce que ces expériences plus complexes nécessitent le plus d'explications. C'est aussi parce que ces expériences sont les plus amusantes et les plus prometteuses.
Cependant, les approches de détection de profondeur comme celles-ci sont à la base de nombreuses expériences et outils plus simples et plus pratiques que vous pourriez utiliser tous les jours sans y réfléchir. Espérons que la lecture de ToF et LiDAR vous donnera une meilleure appréciation de ces applications.
