![[IA] CPU ou GPU : quel est le processeur idéal pour du Machine Learning ?](https://www.alteca.fr/wp-content/uploads/2024/03/Visuels-bannieres-site-web-8-min-scaled-e1709805826500.jpg)
Dans cet article, Pierre-Yves Genest, doctorant en IA chez Alteca, compare les CPUs (Central Processing Units) et les GPUs (Graphics Processing Units), deux types de processeurs utilisés dans le fonctionnement des IA. Il introduit également les nouvelles « puces spécialisées », les LPUs (Language Processing Units), bien plus efficaces dans le calcul d’opérations mathématiques exécutées par les modèles de langues.
Il y a quelques semaines, Nvidia, renommée pour ses GPUs (Graphic Processing Units), a réussi à grimper à la troisième place des capitalisations boursières mondiales. Juste derrière les géants Apple et Microsoft. Cette ascension spectaculaire est directement attribuable à l’essor fulgurant des modèles d’intelligence artificielle (IA) ces derniers mois. Cette situation semble étonnante au premier abord.
Comment une entreprise spécialisée dans les puces graphiques pour jeux vidéo se retrouve-t-elle sur le devant de la scène grâce à l’Intelligence Artificielle ?
GPU vs CPU : ce qu’il faut savoir sur ces processeurs
Pour comprendre cette dynamique, il est essentiel de disséquer les rôles des GPUs et des CPUs. Chaque ordinateur, smartphone, montre connectée, et plus encore, est doté d’un CPU ou processeur agissant comme l’unité centrale de traitement. Les CPUs sont conçus pour exécuter une gamme diversifiée de programmes informatiques allant des systèmes d’exploitation aux navigateurs web et applications. Cependant, leur incapacité à effectuer simultanément plusieurs opérations complexes limite leur efficacité.
À l’avènement des jeux vidéo en 3D, les limites des CPUs ont été mises en lumière. Pour représenter des environnements 3D complexes à l’écran, nécessitant des calculs matriciels intensifs, les CPUs se sont avérés inefficaces par leur manque de parallélisme. Les GPUs et leur architecture spécialisée permettant un parallélisme extrême, sont donc apparus comme une solution efficace pour ces tâches.
On peut se demander alors pourquoi nous n’avons pas remplacé tous les CPUs par des GPUs ? En fait, le parallélisme et l’efficacité des GPUs se fait au détriment de la polyvalence : avec un GPU, il est impossible de lire un fichier, par exemple.
L’association entre le GPU et l’IA pour le Machine Learning
La capacité des GPUs à gérer des opérations parallèles trouve une nouvelle application majeure dans le domaine de l’intelligence artificielle. Les LLMs (Large Language Models), tels que ChatGPT, Gemini et Mistral, sont essentiellement de vastes structures mathématiques agissant sur des matrices de données. Pour entraîner et exécuter ces modèles, des opérations intensives sur ces matrices sont nécessaires. C’est là que les GPUs excellent.
Un exemple concret illustre cette efficacité : l’exécution du chatbot Mistral sur un CPU de pointe génère environ 4 mots/seconde. Avec un GPU, le nombre s’élève à 100 mots/seconde, soit une amélioration multipliée par 25. Ce cas démontre l’impact significatif que les GPUs ont sur la performance des applications d’IA.
Cet exemple est un peu extrême car les modèles de langues sont très volumineux. Le GPU représente un vrai atout pour l’entraînement et l’utilisation de LLMs de manière générale.
En règle générale, nous conseillons :
| Types de modèles | Entraînement | Inférence |
| Machine Learning simple (random forest, naïve bayes, petit réseau de neurones, clustering) | CPU suffisant | CPU suffisant |
| Réseaux de neurones de taille moyenne (CNN, RNN, BERT) | GPU nécessaire | CPU suffisant, mais GPU préférable |
| Grands modèles (LLMs, Stable Diffusion, etc.) | GPU nécessaire (voire plusieurs GPUs en parallèle) | GPU nécessaire |
Vers des puces spécialisées : les LPUs
Malgré les performances impressionnantes des GPUs, certains modèles de langues de dernière génération surpassent leur capacité de traitement. Pour pallier cette lacune, une nouvelle génération de puces spécialisées voit le jour : les LPUs (Language Processing Units). Conçues spécifiquement pour l’inférence rapide des LLMs, ces puces offrent des gains de performances et d’efficacité considérables. La dernière création de Groq, une startup spécialisée, surpasse de 4 à 10 fois les performances des derniers GPUs de Nvidia dans ce domaine.
Qui sait? Peut-être que dans quelques années, nous aurons ce genre de puces directement dans nos smartphones ?
Pour tout savoir des dernières actualités sur l’Intelligence Artificielle, découvrez notre bilan IA 2023 en cliquant ici !