Retour sur la Very Tech Trip, la convention pour les aventuriers de la Tech ! – Partie 1

Nous étions à la Very Tech Trip le 2 février dernier. La convention “Very Tech Trip” est un concept de voyage qui a émergé ces dernières années et qui attire de plus en plus de passionnés de technologie. Ce type de voyage permet aux participants de découvrir les dernières avancées technologiques dans différents domaines tels que la réalité virtuelle, l’intelligence artificielle, la robotique, les drones, la domotique, etc.

Pour sa première édition à Paris, la Very Tech Trip a été organisée par OVHCould. Ce fut une journée de conférences et d’ateliers pratiques sur les technologies les plus en vogue.

Les modèles de Deep learning

Parmi les diverses sessions auxquelles j’ai assisté, celle qui m’a le plus intéressé est « Les modèles de Deep learning. Le temps de la mise à l’échelle horizontale est-il venu ? », par Mael Le Gal de chez OVHcloud.

Les modèles de Deep learning abordés sont Les Large Language Models (LLM). Ce sont des algorithmes d’intelligence artificielle (IA) qui utilisent l’apprentissage profond pour analyser et générer du langage naturel. Ils sont capables de comprendre la signification de phrases complexes, de répondre à des questions et de produire du texte qui semble être écrit par un être humain. Pour ce faire, ils utilisent des réseaux de neurones artificiels. Ces réseaux sont entraînés sur des quantités massives de données textuelles provenant de sources variées.

Les LLM ont de nombreuses applications pratiques : telles que la traduction automatique, la rédaction assistée, la reconnaissance vocale et l’analyse de texte. Les modèles les plus avancés, tels que GPT-3, sont capables de produire des textes de qualité humaine et sont utilisés dans de nombreux secteurs, tels que la publicité, le journalisme et la recherche.

Cependant, ce type de modèle soulève également des contraintes physiques liées à la mémoire et au temps de calcul/apprentissage. Afin de pallier cette problématique, l’atelier proposait la distribution du calcul des modèles sur plusieurs CPU/GPU, ou même à travers le réseau sur plusieurs machines.

Afin d’illustrer, un modèle de réseaux de neurones OpenSource, nommé « BLOOM » a été le sujet de la démo. BLOOM est un modèle qui possède 176 milliards de paramètres. Il pèse si lourd que pour être chargé et mis en RunTime il est nécessaire d’avoir 384 cartes graphiques de 80 gigaoctets chacune sur un supercalculateur. L’approche de la distribution horizontale à été efficace, voire même incontournable.

En bonus, pour ceux qui souhaitent revivre cet évènement retrouvez la Very Tech Trip Keynote ici.

Rendez-vous très prochainement dans une deuxième partie dédiée à Kubernetes.

Abdeldjalil, Développeur .NET, Team NEXTON