La télémétrie, composante essentielle des meilleures IA

Par L'équipe GenerIA   |   3 sept. 2024   |   6 m.

Partagez cet article :

Une télémétrie digne de ce nom apporte beaucoup aux intelligences artificielles d'entreprise. Performances, comportement, biais dans les réponses, injections de prompt... Tout s'observe, et tout concourt à une optimisation continue, garante de la pleine réussite des projets.

En combinant la collecte automatisée de mesures, de messages et de descripteurs fonctionnels, la télémétrie d'aujourd'hui constitue une approche holistique de la surveillance des systèmes. Loin de se limiter à une simple accumulation de métriques de performance ou de journaux d'événements, elle s'étend aux traces d'exécution, aux statistiques d'utilisation et aux états des infrastructures, formant ainsi un tableau à 360° de la santé et du fonctionnement des applications.

Dans les environnements numériques actuels, ces applications, au premier rang desquelles les Intelligences artificielles d'entreprise, deviennent de plus en plus sophistiquées et distribuées. Dès lors, la télémétrie n'est plus une option mais une nécessité absolue. L'avènement des architectures conteneurisées ou multi/micro-services ainsi que la variété des stratégies de déploiements (sur site, dans le nuage ou toute combinaison des deux) créent des écosystèmes où la visibilité traditionnelle ne suffit plus. La télémétrie répond à cette nouvelle donne en offrant une vision claire et détaillée des processus complexes.

Quatre impacts transformateurs

L'observabilité représente peut-être l'avantage le plus immédiat de la télémétrie moderne. Elle permet aux équipes techniques de maintenir une surveillance continue des applications dont elles ont la charge, avec une largeur de champ qui va bien au-delà de la simple détection de pannes ou de dysfonctionnements. Avec une telle capacité d'observation automatique, il est fréquent que les problèmes se dessinent avant qu'ils ne surviennent et impactent les utilisateurs. On passe ainsi du réactif au proactif, en conditions réelles qui plus est.

L'optimisation des performances quantitatives et qualitatives constitue un autre bénéfice tangible de la télémétrie. En analysant les données collectées, on identifie avec précision les facteurs impactants spécifiques à telle ou telle application. Pour l'IA, il peut s'agir du nombre de tours de répétition dans une conversation, de la qualité des prédictions ou du nombre de réponses évaluées comme pertinentes dans un pipeline RAG, de requêtes ou de fonctionnalités utilisées plus que d'autres, etc. Les dimensions sont nombreuses et propres à chaque type d'IA. Par ailleurs, en surveillant systématiquement les sorties des modèles, on arrive à déceler certains biais dans les résultats ou des dégradations de performances sur certains types de données (technique du « model drift monitoring »). Cette compréhension permet une optimisation fonctionnelle basée sur des données concrètes, très utile pour orienter les efforts d'amélioration et en mesurer les progrès incrémentaux.

La sécurité est également renforcée par une télémétrie bien implémentée. Détecter rapidement les comportements suspects (notamment les injections de prompt) et en faciliter l'analyse forensique ou post-mortem apporte un gain d'efficacité majeur dans un contexte où les menaces de sécurité sont de plus en plus nombreuses, diverses et techniquement élaborées. Notons par ailleurs que les données collectées contribuent par essence aux audits de contrôle et aux procédures de conformité, aspect crucial pour de nombreuses organisations.

Enfin, insistons sur le fait que la télémétrie apporte aussi aux non-techniciens des éléments de gestion de l'application qui les aident à mieux remplir leur mission. Les IA GenerIA, par exemple, offrent des tableaux de bords CO2 et API. Il s'agit de représentations graphiques en temps réel (courbes, histogrammes, donuts...) de consommations d'énergie, d'émissions de CO2, de charges serveurs, etc. Ces visualisations, paramétrables à l'infini en quelques clics, sont immédiatement compréhensibles. Elles permettent aux équipes de surveiller les tendances, de provisionner les ressources et de remplir quasi automatiquement les rapports, internes ou réglementaires, qui leur échoient.

OpenTelemetry : pérennité et flexibilité

GenerIA a fait le choix d'OpenTelemetry pour implémenter l'ensemble de ses services de télémétrie. Pourquoi OpenTelemetry ? Parce qu'à l'inverse des solutions propriétaires ou Open Source disponibles à ce jour, « Otel » (comme on l'appelle dans la communauté) est conçue dès l'origine pour standardiser la collecte, le traitement et l'exportation des données de télémétrie.

Cette standardisation résout l'un des problèmes majeurs du domaine : la fragmentation des pratiques et des outils. En proposant un format unifié pour les métriques, les traces et les logs, OpenTelemetry simplifie considérablement l'intégration de ce trésor d'information et démultiplie les utilisations qui peuvent en être faites. Côté implémentation, en offrant des API et SDK pour les principaux langages (C++, Rust, Go, Python, Erlang, Java, Javascript, Swift…) ainsi que des connecteurs natifs pour de nombreux backends (Prometheus, Jaeger, Zipkin…), OpenTelemetry autorise une adoption progressive et non-disruptive dans la grande majorité des environnements d'entreprise existants.

Preuve de la flexibilité incomparable d'OpenTelemetry, la liste des solutions tierces capables de consommer nativement ses données comprend à date 74 noms, des plus célèbres (GCP, Oracle, Azure…) aux plus spécialisés (ClickHouse, Sentry, Splunk…). Ces solutions s'étendent de la persistance à la visualisation en passant par l'analyse et les alertes temps réel. Autre témoignage de la vitalité de cet écosystème, le collecteur de données, composant central d'OpenTelemetry, est également disponible en version dite « Contrib ». Ce dépôt GitHub Open Source (licence Apache 2.0) permet à des vendeurs tiers d'ajouter au collecteur standard des connecteurs vers leurs produits et de les faire évoluer ensemble sans dette technique. Otel Contrib est publié sous l'égide de l'équipe OpenTelemetry elle-même, de sorte que toutes les garanties de qualité sont là. Pour faire bonne mesure, rappelons ici qu'OpenTelemetry est un projet de la CNCF (Cloud Native Computing Foundation), organisation à but non-lucratif membre de la Linux Foundation . Il n'y a sans doute pas meilleur gage de sérieux et de pérennité.

Les IA GenerIA, totalement télémaîtrisées

Pour GenerIA et ses clients, cette approche de la télémétrie est une assurance de performance opérationnelle et de simplicité d'intégration. Toutes les IA GenerIA incluent dès la livraison leur propre télémétrie, complète et paramétrable, dont les données ne sont visibles que par le client. Collecte, persistance, visualisation… chaque composant est conteneurisé et peut être remplacé directement par un autre si l'on préfère tel vendeur ou telle technologie. Lorsque les IA GenerIA doivent être intégrées au cœur de solutions comprenant déjà tout ou partie des éléments nécessaires à la télémétrie, la multiplicité des langages compatibles et des connecteurs vers des systèmes existants permet de conjuguer facilement les qualités des uns et des autres.

Concrètement, cela signifie par exemple qu'un applicatif connecté à une IA GenerIA sur mesure pourra échanger des données OpenTelemetry dans son langage d'origine (voire sans programmation car Otel propose une implémentation de type « No Code » très efficace pour le traçage automatique des échanges). Autre exemple, la quasi-totalité des infrastructures de stockage et d'analyse de logs existantes pourra consommer directement les données de télémétrie GenerIA sans traitement ni coût supplémentaire. Enfin, une organisation disposant déjà d'une plateforme de pilotage pourra visualiser directement les données de télémétrie GenerIA dans ses propres tableaux de bord, et intégrer ces données dans ses rapports. C'est aussi simple que cela.

Conclusion

La télémétrie est sans conteste essentielle à toute solution d'IA performante. Mais, peut-être plus encore, elle est aussi un facteur de réussite globale des projets. Savoir comment l'IA est réellement utilisée permet d'en affiner les compétences, l'interface et la sécurité. Savoir combien elle coûte réellement au quotidien permet d'en optimiser les budgets, les ressources et les applications. Savoir combien elle émet réellement de CO2, surtout dans le cas d'IA frugales comme celles de GenerIA, permet de totalement la décarboner.