LEBIGDATA.FR I.A, Cloud & Cybersécurité
Si l'IA générative apporte son lot d'avantages, la technologie présente également des risques majeurs. La confiance et la sécurité sont notamment au cœur des préoccupations. Raison pour laquelle Nvidia a développé NeMo Guardrails, un outil open source conçu pour améliorer les performances et la sécurité des applications d'IA.
Nvidia : ajouter des mesures de sécurité aux applications d'IA
L'IA surprend tous les jours par son évolution constante. Les possibilités infinies des outils d'IA générative comme ChatGPT sont juste stupéfiantes. Les outils d'IA permettent entre autres de rationaliser les tâches, ceci, au-delà des nombreuses autres capacités de la technologie. Cependant, malgré tous ces points positifs, l'intelligence artificielle présente des risques majeurs pour l'utilisateur, notamment au niveau de la confiance et de la sécurité.
NeMo Guardrails, the new toolkit for easily developing trustworthy LLM-based conversational applications.
— NVIDIA AI Developer (@NVIDIAAIDev) April 25, 2023
It works with all #LLMs and natively supports @LangChainAI, adding a layer of safety, security, and topical guardrails to existing applications. ➡️ https://t.co/CBHbTkcDUU pic.twitter.com/irYFmlHKdM
Les données de formation des outils par exemple ne sont pas toujours fiables et peuvent conduire à des réponses biaisées ou erronées. Ces erreurs sont pourtant difficiles à repérer dans la mesure où les applications d'IA sont de plus en plus crédibles.
C'est justement pour pallier ces risques que Nvidia a développé NeMo Guardrails, un outil conçu pour ajouter des mesures de sécurité aux applications d'IA. Dans une approche proactive, Nvidia permet aux développeurs d'utiliser cette solution en tant que garde-fou. L'idée est d'assurer la sûreté, la sécurité et la confiance, les pierres angulaires d'un développement responsable de l'IA.
Développer des applications d'IA sûres et dignes de confiance
Nvidia a conçu NeMo Guardrails pour s'assurer que les applications créées à l'aide de modèles de langage complexes sont conformes aux normes de sûreté et de sécurité. L'outil permet de garantir que les grands modèles linguistiques (LLM) utilisés pour l'apprentissage des outils d'IA comme ChatGPT sont pertinents, précis et sécurisés.
L'outil, disponible en open source, permet aux développeurs de définir trois types de limites. La limite thématique empêche les applications de dévier dans des directions indésirables. La limite de sûreté pour sa part garantit que les outils et les applications fournissent des informations précises et appropriées. Ceci, en filtrant le langage indésirable.
Enfin, la limite de sécurité permet aux développeurs de s'assurer que les applications se connectent uniquement à des applications tierces externes sûres. Avec une telle initiative, Nvidia travaille à ce que l'IA soit fiable et digne de confiance de l'avenir.
Un outil conçu pour les développeurs d'applications d'IA pour les entreprises
Les chatbots comme ChatGPT d'OpenAI peuvent être connectés à des applications tierces via des boîtes à outils comme LangChain ou des plateformes d'automatisation. Nvidia a justement conçu son outil de sécurisation d'IA de manière à ce qu'il soit compatible avec toutes ces technologies utilisées par les développeurs d'applications d'entreprise.
Par exemple, NeMo Guardrails peut fonctionner au-dessus de LangChain, un framework open source que les développeurs adoptent pour connecter rapidement d'autres applications aux fonctionnalités des LLM.
La construction de garde-fou reste un défi qui nécessitera de nombreuses recherches continues à mesure que l'IA se développera et progressera. NeMo Guardrails fait partie de ces outils résultant de nombreuses années d'études. L'outil est disponible en open source, Nvidia voulant soutenir l'immense effort de la communauté des développeurs et de travailler sur la sécurité de l'IA.
- Partager l'article :
