LEBIGDATA.FR I.A, Cloud & Cybersécurité
Apple a choisi de ne pas utiliser les accélérateurs matériels Nvidia pour développer ses nouvelles fonctionnalités Apple Intelligence. En fait, la firme à la pomme a préféré les TPU de Google pour traiter les données d’entraînement.
Les systèmes qui utilisent les puces TPUv4 et TPUv5 de Google ont été essentiels pour la création des Apple Foundation Models (AFM). Ces modèles sont conçus pour alimenter les fonctionnalités AI en ligne et hors ligne, présentées lors de la WWDC 2024 en juin.
AFM-server
Le modèle AFM-server est le plus grand modèle de langue d’Apple. Il reste uniquement en ligne. Selon le document de recherche, ce dernier a été entraîné sur 8 192 puces TPUv4. Elles sont organisées en 8 tranches de 1 024 puces chacune.
De plus, elles sont connectées par le réseau de centre de données (DCN). La pré-formation s’est déroulée en trois étapes : 6,3T tokens, 1T tokens et un allongement du contexte avec 100B tokens. Apple a utilisé des données collectées par le robot Applebot. Elle a également exploité des ensembles d’informations publics soigneusement choisis. Ces dernières peuvent inclure du code et des mathématiques.
AFM-on-device
Le modèle AFM-on-device est considérablement réduit. Toutefois, Apple estime que ses techniques de distillation de connaissances ont optimisé la performance et l’efficacité de ce plus petit modèle.
Selon le document, AFM-on-device est un modèle à 3B paramètres entraîné sur les 6,3T tokens complets. Contrairement à la formation du AFM-server, des clusters TPUv5 de Google ont été utilisés pour préparer le modèle AFM-on-device.
Un détail rarement révélé par Apple sur les Google TPU
Apple n’est pas réputée pour sa transparence. Toutefois, la marque semble vouloir impressionner dans le domaine de l’IA en partageant le document de recherche. C’est peut-être en raison de son arrivée tardive sur le marché.
Selon les tests internes d’Apple, les modèles AFM qui utilisent Google TPU excellent dans des benchmarks. Il peut s’agir du suivi des instructions, de l’utilisation d’outils et de la rédaction. Le document de recherche inclut également des graphiques pour illustrer ces performances.
Restez à la pointe de l'information avec LEBIGDATA.FR !
- Partager l'article :
