Services
.webp)
Notre client est une entreprise française pionnière dans les solutions de communication vidéo en temps réel, fondée en 2013.
Ses solutions sont utilisées dans de nombreux secteurs (assurance, banque, santé, télécom, retail, industrie, services publics, etc.) pour des usages variés : assistance à distance, support client enrichi, visio-expertise terrain, réunions interactives, téléconsultation médicale, ou encore intégration de fonctionnalités vidéo via des API et SDK pour développeurs.
Notre client a développé une plateforme CPaaS (Communication Platform as a Service) robuste et 100 % basée sur la technologie WebRTC, qui permet des communications visuelles instantanées sans installation logicielle sur n’importe quel appareil connecté.
Depuis ses débuts, cette entreprise s’est donné pour mission de réinventer la manière dont les organisations interagissent avec leurs clients, collaborateurs et partenaires, en plaçant la vidéo interactive au cœur de l’expérience utilisateur.
Dans cette droite lignée, elle voulait apporter une réponse pour au besoin des sociétés d’assurances et d’expertises qui souhaitent pouvoir réaliser leurs missions d'expertises de façon fiable et toujours plus rapidement pour offrir le meilleur niveau de service aux assurés. Cette réponse prenait ainsi la forme d’une solution IA capable de mesurer automatiquement certains éléments sur un flux vidéo comme la surface d’un mur ou d’un sol.
Micelia a développé un prototype IA end-to-end permettant de mesurer automatiquement certaines surfaces d’une pièce (murs, sol, plafond…) à partir d’un simple flux vidéo. Outre les modèles d’IA, Micelia a également conçu et développé l’interface utilisateur, livrant un prototype fonctionnel à à son client.
Micelia a livré un prototype IA clé-en-main permettant le relevé de mesures (longueurs, surfaces) sans déplacement d’un expert, facilitant ainsi les diagnostics et la génération de devis pour les professionnels de l’assurance.
Outre le fait de répondre à une problématique et à un besoin du marché, ce prototype représente une nouvelle offre de service potentielle pour notre client, qu’ils vont pouvoir présenter à leurs clients, étape essentielle pour estimer les débouchés marché.
Micelia, alors en discussion avec les équipes innovation d’un grand groupe français, a été mis en relation avec les équipes de notre client
Après un premier échange permettant de présenter les métiers et les expertises respectives du client et de Micelia, sont apparues quelques problématiques pour lesquelles les technologies d’IA pouvaient être une bonne piste de réponse.
Après un second échange plus approfondi pour présenter en détail les besoins, objectifs et contraintes liés et la transmission d’exemples de flux vidéos “type”, Micelia a pu faire une proposition technique en adéquation avec les attentes du client.
L’objectif du projet est de développer une solution capable de reconstruire en 3D une ou plusieurs pièces d’une habitation à partir d’une vidéo smartphone dans le cadre d’une expertise d’assurance à distance.
Concrètement, le système prend une vidéo de qualité suffisante en entrée, sans aucune données complémentaires comme les données inertielles du téléphone, la focale ou encore la résolution, et reconstruit précisément la pièce en 3D pour permettre de prendre des mesures (longueur, largeur) de certaines surfaces (murs, plafond, plancher). La qualité de la reconstruction est un enjeu majeur puisqu’elle doit être suffisamment précise pour la prise de mesure.
Comme tout projet IA, les choses se sont accélérées à la réception des données. Au total, ce sont près de 60 vidéos qui ont été acquises pour ce projet. Une moitié a été fournie par le client, et l’autre moitié a été captée par les équipes Micelia. Ces vidéos, pour être exploitables, devaient répondre à des recommandations précises concernant les mouvements de la caméra, le positionnement de l’utilisateur, les éléments à éviter (personnes en mouvement, miroirs…) ou encore la durée. Après avoir validé la représentativité (smartphones différents, différents types de pièces / surfaces, conditions d’éclairage…) et la qualité des vidéos à disposition, Micelia a pu se mettre en mode projet.
L’équipe technique s’est tout d’abord penchée sur la questions des modèles IA pour la partie reconstruction de scènes 3D et leur calibration.
Plusieurs pistes IA ont été explorées pour la reconstruction 3D : la photogrammétrie, les modèles de fondation, les NeRF ou encore le Gaussian Splatting. Si le modèle de fondation VGGT Omega se montrait prometteur, la licence d’exploitation et l’absence de mise à l’échelle ont été des facteurs rédhibitoires.
Le choix s’est finalement porté sur Map Anything, un framework complet de reconstruction 3D, dont l’objectif est de prendre tout type de données et métadonnées en entrée, et de générer une représentation 3D fidèle de la scène, incluant nuages de points, positions des caméras, et d’autres informations.
Les résultats obtenus étaient concluants. L’inférence se fait en moins de 2 minutes, les échecs de reconstruction sont réduits à 10% et les erreurs relatives de mesures sont en moyenne de 5% seulement.
De ce fait, les équipes de Micelia ont pu se pencher sur la question de la chaîne de traitement la plus adaptée pour répondre au besoin du client.
Dans un premier temps, la vidéo d’entrée subit un prétraitement automatique (sélection des frames, redimensionnement, etc.) avant d’être utilisée par le modèle IA de reconstruction 3D et de mise à l’échelle pour générer un modèle 3D brut. Ce modèle brut est ensuite optimisé via un post-traitement du nuage de points qui le constituent.
La chaîne de traitement validée, toutes les briques IA et logicielles étaient formellement identifiées. Ne restait plus qu’à optimiser les paramètres de chaque brique pour obtenir le meilleur compromis précision / temps de calcul et à les intégrer pour tester le système de bout en bout.
Et les résultats étaient à la hauteur des attentes du client.
A partir d’une simple vidéo, le système développé produit un nuage de points obtenu par reconstruction 3D, un modèle 3D nettoyé de la pièce scannée mis à l’échelle automatiquement, le tout en moins de 2 minutes après l’import de la vidéo.
La chaîne de traitement et le modèle IA étant maintenant fonctionnels, un grand pas en avant était fait. Mais il fallait encore rendre le système global accessible et facilement utilisable, d’abord pour les équipes de client puis par les clients.
Micelia s’est donc lancée dans le développement d’une application web dotée d’une interface utilisateur permettant de visualiser et naviguer dans la reconstruction 3D et prendre des mesures très facilement en quelques clics.
Pour répondre au besoin de notre client, l’application web devait permettre, séquentiellement :
En résultent des essais concluants et un client ravi !
Notre client dispose aujourd’hui d’un prototype très performant, développé en un temps record, qu’il peut mettre entre les mains de ses équipes et de ses utilisateurs. L’objectif étant aujourd’hui de valider l’intérêt marché et de définir une roadmap pour continuer de faire évoluer et monter en gamme leur nouvelle solution.
A court terme, les prochaines étapes se focaliseront très probablement sur le déploiement Cloud de la solution globale sur un serveur dédié (optimisation, dockers, API, infra…), la connexion entre le front et le back-end et une itération sur l’UI intégrant de nouvelles fonctionnalités (upload vidéo, gestions des utilisateurs, etc.).
D’un point de vue IA, les perspectives sont également là et tournent notamment autour de l’analyse automatique de la vidéo et son association avec le modèle 3D, dans l’objectif d’aller encore plus loin dans l’automatisation en envisageant la prise de mesure par IA des principaux éléments de la scène (murs, plafond, sol, portes…).
