DeepSeek : plus avec moins ?

Le réseau neuronal humain : un modèle d'efficience pas encore égalé.

Introduction

DeepSeek est une startup chinoise spécialisée dans l'intelligence artificielle (IA) fondée en mai 2023 à Hangzhou, dans la province du Zhejiang.

Fin 2024, elle a rapidement attiré l'attention mondiale grâce à ses modèles de langage très puissants (LLM) et à son approche aussi innovante qu'économique : très économique même, puisque qu’elle parvient à approcher les résultats de ChatGPT pour une petite fraction de ses coûts de développement… bien que cette dernière assertion soit difficilement vérifiable, spécialement en chine.

Par qui et pourquoi ?

DeepSeek a été créée par Liang Wenfeng, un ancien employé discret et introverti, devenu milliardaire grâce à son fonds spéculatif quantitatif High-Flyer.

Convaincu qu'une IA générative pouvait être développée à moindre coût, le trentenaire entreprit de se mesurer aux créations des géants de la tech, et réussit à sortir un premier modèle en quelques mois !

Ceci expliquant peut-être un peu cela, l'entreprise DeepSeek a la réputation de fonctionner davantage comme un laboratoire de recherche qu'une entreprise traditionnelle, évitant les hiérarchies typiques des géants technologiques chinois.

Réalisations et innovations

DeepSeek a développé plusieurs modèles polyvalents qui sont destinés à l'usage général, mais aussi à la programmation et la vision, notamment.

Par exemple, le modèle DeepSeek-R1 est open source et rivalise avec les modèles les plus avancés au monde. De plus, de nombreuses briques logicielles importantes sont également disponibles dans ces mêmes conditions.

Le modèle R2, lancé récemment, promet des améliorations significatives en termes de codage et de raisonnement dans plusieurs langues. Il est aussi logiquement plus rapide que l'ancien.

Et techniquement ?

DeepSeek utilise un système de mélange d'experts (MoE), ce qui lui permet d'activer seulement une fraction de ses 671 milliards de paramètres pour une tâche donnée, améliorant ainsi l'efficacité et la performance.

DeepSeek-R1 met l'accent sur l'apprentissage par renforcement (AR) ce qui lui permet de découvrir des schémas de raisonnement de manière plus organique et d'améliorer la cohérence logique.

DeepSeek intègre aussi des mécanismes avancés de gestion de la mémoire et de l'attention, lui permettant de traiter des séquences de texte très longues sans perte de performance.

DeepSeek: nombreuses controverses

Malgré ses succès, l'IA DeepSeek a été critiquée pour la découverte de failles de sécurité, ce qui peut la rendre vulnérable aux cyberattaques et à la manipulation.

Un rapport de la société israélienne ActiveFence a mis en lumière des lacunes importantes dans le fonctionnement de DeepSeek, soulignant que l'IA pourrait être détournée à des fins frauduleuses, mais ce n’est peut-être qu’un défaut de jeunesse.

De même, et comme souvent avec les entreprises chinoises, il existe un doute sur la réelle confidentialité des données traitées, ou plutôt son absence ; mais c’est un problème qui ne concerne pas que la Chine…

Enfin, Open IA, le créateur de ChatGPT, à ouvertement accusé DeepSeek d'avoir pratiqué la technique de la "distillation" qui consiste, en fort résumé, à entrainer un modèle plus petit en utilisant les réponses d'un modèle plus grand et plus complexe, en l'occurrence celui d'Open AI...

Il semblerait que DeepSeek n'a, à notre connaissance, pas répondu à ces assertions, mais si cela expliquerait la rapide progression du nouveau venu, il ne faut pas oublier que le contenu entier d'internet fut mis à contribution pour créer les modèles qui animent ChatGPT, et ce sans se soucier le moins du monde des droits d'auteurs...

Reste l'immense travail pour mettre en forme et rendre disponible ces informations : une question épineuse, sans aucun doute !

Et après ?

En insistant sur l'open source, DeepSeek continue de repousser les limites de l'IA à moindre coût en publiant de nombreux dépôts de code source. Cette initiative pourrait bien rebattre les cartes face aux géants comme OpenAI et xAI, pour ne citer qu’eux.

D'autant que cette politique, ajoutée à des fonctions payantes à bas coût, démontre qu'il est possible de développer des modèles d'IA performants avec un budget limité.

Cette approche économique pourrait devenir un avantage stratégique, permettant aux startups et aux entreprises de bénéficier d'une IA avancée, y compris en local, sans grever leur budget.

Ce qui aurait une influence durable sur le marché technologique, car l'émergence de DeepSeek a déjà eu un impact significatif, notamment en provoquant une chute de la valeur boursière de Nvidia, principal fournisseur du hardware des IA actuelles.

En rendant l'accès à l'IA plus abordable, DeepSeek ouvre la voie à une diversification technologique et à des développements jusque-là inaccessibles. Cela pourrait encourager l'innovation et permettre à un plus grand nombre d'acteurs de participer à la recherche et au développement en IA.

Enfin, le succès de DeepSeek pourrait montrer une voie économique et inciter d'autres entreprises à accélérer leurs propres efforts en matière d'IA, brisant ainsi la mainmise des quelques acteurs dominants dans ce domaine.

Conclusion

Lors de sa sortie, complétement inattendue, DeepSeek fit chuter les actions des barons de l’IA moderne, car il offre beaucoup avec très peu…

En effet, le rapport coût performance est très favorable à l’IA chinoise, de même que la sa mise en disposition partielle en open source.

Avec des besoins en hardware moyen, il est en effet très tentant d’utiliser DeepSeek en local, sur ses propres serveurs, et ensuite de l’adapter à ses besoins.

Pour de nombreux usages, une telle approche serait aussi rentable que discrète, car une IA locale en open source ne divulgue aucune donnée à l’extérieur, requêtes comprises, ce qui peut tout changer en vue de son adoption, spécialement par les entreprises soucieuses de leur confidentialité.