Intelligence artificielle : un modèle d’IA chinois se distingue des versions occidentales

Il se nomme Wu Dao 2.0 et selon ses concepteurs, il surpasse les géants du deep learning et plus particulièrement le modèle GPT-3 de la société OpeinAI. En effet, la quantité de paramètres avec laquelle il peut composer s’avère immensément supérieure à ce concurrent. Ce dernier avait pourtant impressionné le monde en 2020 avec des capacités hors norme par rapport à la moyenne. Que signifie cet apparent gigantisme ?

À consulter également : Intelligence Artificielle  : à quoi correspond ce secteur de l’innovation ?i

Le Wu Dao dévoilé au grand jour

C’est le premier juin 2021 que l’IA sort de l’ombre à l’occasion d’une conférence organisée par l’institut de recherche en intelligence artificielle de Pékin. Il s’agit d’un évènement annuel d’échange universitaire qui a débuté en 2019. Celui-ci réunit plus de 30 000 professionnels du domaine de l’IA ainsi que des experts, Chinois comme internationaux. Dans ce contexte, des chercheurs de l’institut ont présenté cette nouvelle intelligence artificielle multi modale. Ce terme signifie que Wu Dao ne limite pas à une seule tâche contrairement à beaucoup d’autres : 

• Générer du texte ( un poème, un caption à partir d’une image…)
• Reconnaître des images
• Comprendre le langage humain ( traitement du langage naturel)
• Prédire la structure 3D d’une protéine 
• Dessiner des rendus presque photoréalistes

Pendant la conférence, le président de l’institut l’a comparé à une centrale électrique qui dispose de données comme carburant et les transforme en capacités intelligentes. L’objectif de Wu Dao 2.0 est le suivant : « Le grand modèle est la prochaine plate-forme de base pour l’IA et l’infrastructure stratégique pour le développement futur de l’IA. ». Article de l’académie d’intelligence artificielle de Pékin (BAAI) sur la conférence

Pourquoi l’IA Wu Dao fait autant de bruit ?

Près d’un an après la présentation du modèle GPT-3 et ses 175 milliards de paramètres, l’institut de Pékin balaie ce record avec 1,75 trillion de paramètres. Si la capacité du GPT-3 est dix fois plus importante que la plupart des autres programmes, le Wu Dao multiplie à nouveau cette valeur par dix ! Ce nombre constitue un indice de puissance pour cette IA. En effet, le réseau de neurones artificiel qui la compose possède une certaine quantité de paramètres comme le nombre de couches, le montant de neurones par couche ou la quantité de passages effectuée par les données. Vous l’aurez compris, la Chine sort l’artillerie lourde en matière d’intelligence artificielle. Notons que nous ne connaissons pas encore précisément son potentiel ou ses limites. Il faut donc rester prudent à ce propos.

Un progrès pas seulement dans les chiffres

En plus de cette valeur conséquente, Wu Dao est une source de perspectives vraiment intéressantes pour la Chine. Tout d’abord, il a été construit sur un système open source nommé FastMoE similaire au Mixture of Experts (MoE) de Google. À la différence que le système chinois possède davantage de flexibilité, car il permet à Wu Dao de s’entraîner à la fois sur des superordinateurs et des GPU plus conventionnels. En outre, le FastMoE ne requiert pas de hardware propriétaire comme le MoE ce qui le rend beaucoup plus accessible. Dans cette même logique, le système prend en charge le framework PyTorch. C’est une bibliothèque logicielle open source en langage Python centrée sur l’apprentissage machine. Le Wu Dao pourrait donc se démocratiser plus facilement que les autres modèles.

Le MoE est une technique d’apprentissage machine où une multitude d’experts (sous réseau d’un réseau de neurones artificiel) sont utilisés pour diviser la résolution d’un problème dans différentes régions homogènes. 

Un nouveau corpus d’apprentissage

Pour le moment, la grande majorité des recherches et réalisations en intelligence artificielle se basent sur un corpus constitué de contenus en langue anglaise. Par exemple, l’apprentissage machine d’une IA qui traite le langage naturel pioche presque systématiquement dans cet ensemble pour fonctionner. Ce corpus ne possède donc qu’un seul jargon et des textes liés principalement à la culture anglo-saxonne. Or ces différences peuvent poser problème lorsqu’on élabore une IA en Asie. Le Wu Dao bénéficie donc d’un corpus adapté à son pays d’origine et au langage de celui-ci. Ainsi, le modèle subit un «entraînement» composé de 4,9 TB de données (textes et images) dont 3,7 TB sont en chinois. Quant aux 1,2 TB restant, il s’agit de textes en anglais. Pas question de laisser de côté l’une des langues les plus importantes du globe !

L’IA Wu Dao est-elle une intelligence artificielle forte ?

Bien que nous connaissons encore peu de chose dessus, difficile de ne pas être impressionné par ce nouveau modèle d’intelligence artificielle. Notons qu’il a atteint le niveau le plus élevé sur une série de neuf benchmark grandement reconnu par la communauté autour de l’intelligence artificielle. Il se paie même le luxe de surpasser le modèle GPT-3 dans l’un d’eux. Toutefois, si ses concepteurs aspirent à atteindre le stade d’IA forte/générale, rien ne dit que Wu Dao 2.0 puisse s’en approcher. En effet, la puissance seule ne suffit pas pour qu’une machine développe l’intelligence humaine. Plus largement, certains experts doutent de la possibilité d’effleurer ce but avec le deep learning. Cela étant dit, un pas en avant reste un pas en avant, même dans la nuit noire.

« Wu Dao 2.0 cherche à permettre aux machines de penser comme des humains et d’atteindre des capacités cognitives qui vont au-delà du test de Turing » Tang Jie – chercheur principal pour Wu Dao 2.0