Réalité Augmentée Intelligente, projetez-vous dans le monde de demain

21 Novembre 2018
realite augmentee
Aujourd’hui, les « lunettes intelligentes » sont souvent appelées « lunettes de réalité augmentée ». C’est une confusion ! Et si nous essayions de la lever au travers d’un système développé par AUSY ?

Les Lunettes Intelligentes

Une paire de lunette intelligente est un dispositif équipé d’un écran de projection et muni de fonctionnalités tactiles et vocales pour la gestion et l’interaction. Sa principale tâche est le transfert d’informations utiles à l’utilisateur, via une communication qui peut prendre différentes formes (messages texte, audio, vibration). Comme pour les montres connectées, il s’agit généralement de recevoir des informations de premier degré. Selon les applications utilisées, ces lunettes peuvent communiquer différents éléments à l’utilisateur : le type d’objets existants autour de lui, la météo, les notifications d’un téléphone connecté, la vitesse de déplacement ou une direction à prendre, etc. La communication visuelle repose simplement sur la projection des informations sous forme de fenêtres flottantes qui s’affichent sur l’écran attaché au support des lunettes. II faut distinguer l’écran « matériel » de l’« écran flottant », utilisé dans le cas des lunettes intelligentes, qui est une fenêtre de communication « logicielle ». Ainsi, il faut bien noter que la projection des informations sur cet écran n’implique pas forcément que celles-ci « augmente la réalité ».

Pour résumer, les lunettes intelligentes permettent à l’utilisateur de recevoir des informations projetées sur l’écran du dispositif.

Les paires de lunettes intelligentes les plus répandues sur le marché sont les Google Glass et les Raptor Everysight.  

La Réalité Augmentée

La réalité augmentée (RA) intègre un objet virtuel en trois dimensions dans un environnement réel entourant l’utilisateur. Cet objet doit évoluer en temps réel en fonction des déplacements et des interactions de l’utilisateur. Dans un environnement de réalité augmentée, ces dernières sont une réelle problématique : l'utilisateur doit pouvoir manipuler naturellement des contenus augmentés sur le monde réel. Le défi principal réside dans la manipulation de ces rendus (objets) de manière pratique.

Ainsi, contrairement aux lunettes intelligentes, où l’objectif est de projeter des contenus sur l’écran, les lunettes de réalité augmentée permettent d’interagir avec des objets 3D augmentés sur le monde réel.

L’arrivée du casque de réalité augmentée de type Hololens de Microsoft constitue une révolution dans le domaine. Ce dispositif de réalité augmentée innovant offre une expérience impressionnante à l'utilisateur en permettant une interaction de haute qualité avec les contenus 3D virtuels. En outre, grâce aux capteurs embarqués sur ce casque (caméra, microphone, etc.), l’utilisation de cette technologie va aussi permettre d’améliorer la perception visuelle des environnements de RA.                                                               

Provoquons une Réalité Augmentée Intelligente !

Suite aux avancées technologiques récentes, nous pouvons considérer que la réalité augmentée a dépassé le stade du développement. Elle est arrivée aujourd’hui à un tel niveau de maturité qu’un contenu augmenté n’est plus un objectif en soi mais devient plutôt un outil pour la création de futurs produits innovants.

Par la suite, il sera nécessaire d’offrir aux utilisateurs des interfaces augmentées, adaptées aux tâches émergentes. Ainsi, il faudra mettre en place des services intelligents capables d’analyser l’environnement et le besoin de l’utilisateur en temps réel pour lui proposer ensuite le(s) choix pertinent(s) en manipulant des interfaces 3D virtuelles. L’idée serait de résoudre des problèmes concrets et de créer de nouvelles offres de produits pour les industries intéressées.

Cela entraînera le développement de systèmes sur mesure composés de :

  1. Interfaces augmentées
  2. Cerveau intelligent

Un Réseau de Neurones Artificiels est un système composé d’un maillage de plusieurs structures cellulaires artificielles, représentant les neurones, et généralement organisé en couches connectées entre elles. C’est un mécanisme complexe mais fiable pour le traitement de données. Les ANNs sont considérés comme une alternative puissante pour contourner les limitations classiques des ordinateurs. Leur puissance est due principalement aux mécanismes bio-inspirés des neurones humains et aux traitements parallèles de données. Ils servent aujourd’hui dans divers domaines d’application. Ces applications très prometteuses profitent des avancées scientifiques de ces réseaux, telles que l’autopilotage pour avion, ou encore le système de guidage pour automobile, le diagnostic médical, la synthèse de la parole, les systèmes de vision par ordinateur, la robotique… Vu l’impact actuel des réseaux de neurones, le futur nous oriente vers une utilisation toujours plus importante des ANNs.

Et l’apprentissage profond communément appelé « Deep Learning » ? L’ensemble des techniques de Deep Learning permettent à un ANN d’apprendre et de produire des réponses de plus en plus adaptées à son environnement et à sa fonction. Ce fameux concept, inspiré par le fonctionnement du cortex humain, est basé sur une étude hiérarchique des données : afin de faciliter les traitements, les données d’entrées (signaux, images, fichiers, etc.) sont décomposées en caractéristiques de moins en moins complexes jusqu’à l’obtention de données élémentaires.

Les réseaux de neurones s'utilisent pour résoudre diverses problématiques. Ils sont très intéressants quand ils sont appliqués aux problèmes de classification, d’analyse de l'image et de reconnaissance de formes. Il existe différentes architectures de réseaux (CNN, RNN, GAN, VAE, etc.) et le choix de l’architecture la plus adaptée est une étape primordiale.

Que faisons-nous aujourd’hui ?

Dans un contexte médical, AUSY projette l’hôpital du futur et participe au développement d’une nouvelle génération d’applications intégrant une immersion en environnement de réalité augmentée grâce à la combinaison de l’intelligence artificielle et d’outils comme les Hololens.

Nous proposons différentes fonctionnalités et services aux utilisateurs munis du dispositif Hololens :

  • une aide aux diagnostics, analyses et interprétations rapides ;
  • une gestion pertinente des ressources humaines et matérielles ;
  • une interaction optimale au travers de nouvelles interfaces intelligentes ;
  • une manipulation maximisée des contenus augmentés grâce à la reconnaissance vocale, à l’écriture virtuelle, aux contrôleurs et à la gestuelle.

Lors du développement de ce type de systèmes innovants, et afin d’offrir un service personnalisé au contexte spécifique de l’utilisateur, un apprentissage profond doit être effectué avec des données issues de ce contexte. En effet, le Deep Learning doit être appliqué sur l’environnement réel de l’utilisateur et être personnalisé dans chaque cas. Cela permettrait d’améliorer la fiabilité et l’efficacité du réseau de neurones entrainé et ainsi de proposer des rendus augmentés pertinents.

Les Technologies 

Les technologies Microsoft dédiées aux développements pour les Hololens, notamment Holotoolkits et UWP, combinées au moteur puissant du développement 3D « Unity3D » offrent de larges fonctionnalités avancées qui permettent de mettre en place des services innovants. En outre, l’intégration de la plateforme de réalité augmentée Vuforia dans « Unity3D », permet de bénéficier de plus d’outils pour la création d'expériences de RA de pointe.

L’intérêt d’utiliser la plateforme universelle Windows (UWP) réside essentiellement dans la portabilité des applications développées sur différents systèmes intégrant cette API. C’est une plateforme d’application commune à tous les appareils exécutant Windows 10. Elle exploite les propriétés spécifiques à l’appareil utilisé, et adapte les interfaces utilisateurs en fonction des tailles et résolutions d’écran. Elle est programmable en différents langages: C#, C++, Visual Basic et Javascript. Dans notre contexte particulier de RA, Hololens et Unity3D, tous les développements sont réalisés avec C#.

Les Plateformes ML (Machine Learning) et AI (Artificial Intelligence) de Microsoft présentent des outils et des services puissants pour accélérer le développement et la création d’applications intelligentes. L’adoption d’un réseau de neurones puissant, de type AlexNet, Squeezenet…, ou l’implémentation de nouveaux algorithmes peuvent aussi être réalisés grâce à des frameworks dédiés tels que CNTK, Onnx, Tensorflow, etc.

schéma projet réalité


Durant plusieurs années, les outils de la réalité augmentée étaient principalement destinés à des utilisateurs privilégiés. Mais les récentes avancées technologiques permettent aujourd’hui d’y accéder plus facilement. Nous assisterons certainement, dans un avenir proche, à une explosion en matière et en nombre d’applications pertinentes.

AUSY s’inscrit dans cette évolution et développe dés à présent des projets de Réalité Mixte regroupant les technologies de la Réalité Augmentée et la Réalité Virtuelle tout en offrant des fonctionnalités intelligentes avancées à l’utilisateur.
 

 

hakim

L’auteur :

Hakim est docteur en informatique, expert du Computer Vision. Il a réalisé des travaux de recherche portant sur la problématique de Localisation et Cartographie Simultanées - SLAM 3D, sujet relevant aussi du domaine de la Réalité Augmentée. Aujourd’hui, il approfondit son expertise en devenant responsable de projets R&D spécialiste de la Réalité Mixte. Il s’intéresse particulièrement à l'innovation, à son organisation et à son développement. A travers ses expériences, il a pu développer les compétences nécessaires à la mise en place d’approches innovantes pour concevoir les produits du futur.



Aussi n’hésitez pas à visiter notre page web dédiée à Smart Innovation.

Parlons ensemble de vos projets. 

bouton contact