L’entreprise Apple a publié un article intitulé «LLM en un éclair : une inférence de grand modèle de langage efficace avec une mémoire limitée» présentant une méthode pour faire fonctionner les LLM sur des appareils qui surpassent la capacité de DRAM disponible. Cela implique de stocker les paramètres du modèle sur une mémoire Flash et de les demander au besoin en mémoire DRAM. Leur méthode consiste à construire un modèle de coût d’inférence qui s’aligne sur le comportement de la mémoire Flash, ce qui guide les efforts d’optimisation sur deux aspects cruciaux : réduire le volume de données transférées de Flash et lire les données en blocs plus importants et plus contigus. Dans ce cadre informé par la mémoire Flash, Apple utilise deux techniques principales. Tout d’abord, le «fenêtrage» réduit stratégiquement le transfert de données en réutilisant des neurones déjà activés, et secondement, le «groupement de lignes et de colonnes», adapté aux forces d’accès séquentiel aux données de la mémoire Flash, augmente la taille des blocs de données lus à partir de la mémoire Flash. Ces méthodes permettent collectivement de faire fonctionner des modèles jusqu’à deux fois plus gros que la mémoire DRAM disponible, avec une augmentation de 4 à 5 fois et de 20 à 25 fois de la vitesse d’inférence par rapport aux approches naïves de chargement en CPU et en GPU, respectivement. Ces recherches sont importantes car Apple prévoit d’intégrer des capacités d’apprentissage automatique génératif dans iOS 18. Le nouvel OS exploitera la technologie d’apprentissage automatique génératif pour améliorer Siri et l’application Messages, ce qui leur permettra de répondre plus efficacement aux questions et de compléter automatiquement les phrases. Apple explore également le potentiel d’utilisation de l’IA générative dans des applications telles que Apple Music, Pages, Keynote et Xcode.
Menu
