Apertus, un peu de civilités dans un monde de brutes ?

Le projet Apertus, vu par une IA générative

Introduction

Apertus est le premier grand modèle de langage multilingue et open source développé en Suisse, et espérons pas le dernier…

Et son nom ne doit rien au hasard : Apertus (ouvert en latin) reflète la philosophie du modèle : transparence et accessibilité universelle comme première préoccupation, rien de moins !

Ce projet incarne donc une étape majeure vers une IA d’origine helvétique, transparente, souveraine, et résolument ouverte, une denrée rare de nos jours.

Genèse d'Apertus

En 2024, l’EPFL et l’ETH de Zurich annoncent conjointement leur volonté de créer un modèle de langage indépendant de grande ampleur, capable de rivaliser avec les géants commerciaux du marché, ce qui est déjà ambitieux en soi…

Le CSCS ( Centre national suisse de calcul scientifique ) qui gère le supercalculateur ALPS, basé à Lugano, met à disposition du projet Apertus ses très performantes infrastructures de calcul, permettant l’entraînement d’un modèle à l’échelle mondiale.

L’objectif est double : assurer la souveraineté numérique suisse, du moins sur le plan de l’IA, et proposer une alternative ouverte aux modèles fermés dominants des géants de la Tech américaine et chinoise : louable !

Un peu de technique ?

• Deux modèles sont disponibles dans Apertus : l’un compte 8 milliards de paramètres, l’autre 70 milliards, adaptés respectivement à un usage individuel et à des applications industrielles.

Rappelons que plus un modèle est grand, plus il nécessite de la puissance de calcul pour fonctionner correctement.

• Un corpus d’entraînement étoffé : environ 15 000 milliards de tokens, couvrant plus de 1 000 langues, dont 40 % non anglophones ; cela inclut des langues minoritaires, comme le suisse allemand et le romanche, pour ne citer que celles parlées dans notre pays.

• Licence Open Source : Apache 2.0, permettant une utilisation libre dans la recherche, l’enseignement et les applications commerciales.

• Un large accès : disponible sur Hugging Face et via des interfaces comme PublicAI, avec compatibilité pour divers frameworks (Transformers, vLLM, llama.cpp, MLX, notamment).

Et l'éthique ?

Contrairement à de nombreux modèles qui ne publient qu’une partie de leurs composants (quand ils les publient) le projet Apertus rend accessible l’intégralité de son architecture, ses pondérations, ses données d’entraînement et sa méthodologie.

Les sources de données sont aussi identifiées précisément, de façon à contrôler le cycle complet qui aboutit à la réponse.

Les chercheurs, mais aussi les développeurs, peuvent ainsi reproduire, auditer et adapter le modèle à leurs besoins sans aucune contrainte.

De plus, le projet Apertus respecte :

• Le nouveau règlement suisse sur la protection des données (nLPD).

• Les obligations de transparence de l’Union européenne (EU AI Act).

• Des standards éthiques stricts : corpus filtré pour exclure données personnelles et contenus sensibles, sans oublier le respect des demandes d’opt-out des sites web, ce qui est fort peu pratiqué par la concurrence.

  
  

Budget

Estimé à dix millions de CHF, un chiffre très modeste, qu’il ne faudra pas oublier au moment de critiquer les résultats obtenus (très modestes eux aussi) face aux géants du marché qui ont investi cent, voire mille fois plus pour obtenir de meilleures performances…

Pourtant, une question subsiste : pourquoi une pareille pingrerie ?

Est-ce tout ce que la Suisse peut proposer en regard des enjeux, rien de moins que développer une IA souveraine ?

Souhaitons qu’ Apertus ne soit qu’un démonstrateur, une étude de faisabilité, et que l’on prenne rapidement conscience que ce n’est pas avec aussi peu de moyens que l’on rétablira, même à minima, une certaine souveraineté sur ce type d’applications hautement stratégiques, et il en va de même pour le Cloud helvétique, un projet qui semble toutefois mieux doté...

Objectifs

Apertus est conçu comme un socle technologique pour, notamment :

• Les chatbots multilingues.

  
  

• Les systèmes de traduction.

  
  

• Les outils pédagogiques et autres applications sociétales.

  
  

• Les projets d’entreprises ou de recherche nécessitant un modèle reproductible et "auditable", pour ne citer que ceux-là, car un tel modèle est potentiellement intéressant pour de nombreuses applications.

Apertus vise donc à renforcer la souveraineté numérique suisse, et accessoirement européenne, en offrant une alternative aux modèles fermés américains et chinois qui déferlent sur le marché depuis 2023.

En revanche et pour l’instant, ce n’est pas un produit destiné aux particuliers, ni un agent conversationnel, façon Chat GPT.

Notons encore que l’opérateur historique Swisscom est un partenaire de déploiement d’Apertus, notamment en fournissant les infrastructures cloud, et les conseils pour les exploiter dans son offre d’IA souveraine destinée aux PME.

Résultats et perspectives

• Innovation ouverte : Apertus fournit une base pour développer des applications locales et adaptées aux besoins spécifiques des institutions et entreprises, mais aussi, dans un futur proche, des services étatiques.

• Diversité linguistique : en intégrant des langues minoritaires, il contribue à préserver et valoriser le patrimoine linguistique suisse, mais aussi mondial.

• Mise à jour continue : une équipe de chercheurs de l’EPFL et de l’ETH Zurich assure l’évolution régulière du modèle, qui n’en est qu’à ces débuts.

Critiques

Comparé aux billions de paramètres estimés d’un LLM comme Chat GPT 5, Apertus ne joue évidemment pas dans la même cour, pas avec les mêmes règles, ni avec les mêmes financements… et de très loin !

Et à l’usage, force est de constater que l’on n’atteint pas la puissance des LLM brevetés des grandes firmes, ni leur facilité d’emploi : égaler les performances d’un chat GPT actuel ou d’un Gemini est pour l’instant illusoire, surtout en mode ouvert, et en respectant strictement les lois sur la protection des données...

Sans même parler du budget, insignifiant au regard des ambitions du projet !

Enfin, actuellement, Apertus ne dispose pas d’un mode de « raisonnement » et, pour certains experts, il est pour l’instant difficilement utilisable en raison de ses nombreuses « hallucinations » (traduisez bugs en langage courant) mais c’est souvent le lot des premières versions…

Conclusion

N’empêche, comme on dit par ici, qu’Apertus c'est quand même de solides fondations sur un sol idéologique sain, et que l’édifice ne demande qu’à grandir, voire à accueillir d’autres nations partenaires qui partagent les mêmes soucis d’équité et de transparence.

Et même si le projet sombre dans l’oubli des bonnes intentions, qu'il est écrasé par les réalités techniques et financières, voire géopolitiques, ce n’est qu’en osant lancer ce type d’initiative que l’on garde une chance de défendre nos valeurs dans le Nouveau Monde numérique des IA, et rien que pour cela, longue vie à Apertus !