Les plans Apple iPhone AI confirmés avec une nouvelle mise à niveau logicielle

Mis à jour le 27 avril : article initialement publié le 25 avril.

La manière dont Apple améliorera les prochains iPhone 16 et iPhone 16 Pro grâce à l’intelligence artificielle est l’une des grandes questions de 2024. Nous en savons désormais plus sur les projets d’Apple d’utiliser l’IA dans l’iPhone, son approche et la manière dont elle le vendra aux consommateurs.

Apple a soumis huit grands modèles de langage au hub Hugging Face, une ressource en ligne pour les implémentations d’IA open source. Les LLM sont des ensembles de données que les applications d’IA générative utilisent pour traiter les entrées et effectuer autant d’itérations que nécessaire pour arriver à une solution appropriée.

Plus le LLM est grand, plus les données sont disponibles, et il ne faut pas s’étonner que ces ensembles de données aient été initialement créés dans le cloud pour être accessibles en tant que service en ligne. Il y a eu une volonté de créer des LLM avec une empreinte de données suffisamment petite pour fonctionner sur un appareil mobile.

Cela nécessite de nouvelles techniques logicielles, mais cela imposera également une demande sur le matériel pour permettre un traitement plus efficace. Les fabricants de chipsets axés sur Android, tels que Qualcomm, Samsung et MediaTek, proposent des packages système sur puce optimisés pour l’IA générative. Apple devrait faire de même avec la prochaine génération de puces Axx pour permettre davantage de routines d’IA sur la famille iPhone 16 de cette année plutôt que dans le cloud.

L’exécution sur l’appareil signifie que les données utilisateur n’auront pas besoin d’être téléchargées et copiées depuis l’appareil pour être traitées. À mesure que le public sera de plus en plus conscient des préoccupations concernant la confidentialité de l’IA, cela deviendra un argument marketing clé.

Mise à jour : samedi 27 avril : Apple n’est pas la seule entreprise à travailler dur sur des modèles linguistiques à plus petite échelle mais efficaces pour les appareils mobiles. Ce week-end, Microsoft a détails publiés et guides du développeur pour Phi-3. Le plus petit de ces trois modèles d’IA générative, Phi-3 Mini, est disponible via Azure AI Studios, Ollama et Hugging Face de Microsoft. Phi-3 Small et Phi-3 Medium sont encore en phase de développement.

Phi-3 est un grand modèle de langage qui fonctionne avec un faible encombrement. Microsoft affirme qu’il peut surpasser des modèles deux fois plus grands sur des critères clés et établit une comparaison directe et favorable avec GPT-3.5T. Surtout, le Phi-3 Mini fonctionnera confortablement sur la puce bionique A16 d’Apple, ce qui signifie que les développeurs tiers peuvent cibler les iPhone 14 Pro et 14 Pro Max ainsi que la famille iPhone 15 et tous les futurs modèles.

2024 verra le lancement de nombreux LLM, des amateurs jusqu’aux majors de la Silicon Valley (et de Redmond). Certains seront concédés sous licence par leurs développeurs aux fabricants de matériel ; il existe une chance réaliste qu’Apple travaille avec les modèles d’IA de Google et Microsoft pour iOS 18 et les prochains iPhones.

Les modèles sont facilement accessibles aux développeurs tiers. Ils disposeront d’un large choix d’outils d’IA et rechercheront un support multiplateforme pour faciliter le processus de développement. Alors que les fabricants se tournent vers l’IA pour leur marketing et leur différenciation, les applications dont les utilisateurs rêvent peuvent rejoindre la révolution de l’IA sans être enfermées dans un seul choix fait par le fabricant.

Parallèlement au code de ces modèles de langage efficaces open source, Apple a publié un document de recherche (lien PDF) sur les techniques utilisées et la justification des choix, y compris la décision d’ouvrir en source libre toutes les données de formation, les mesures d’évaluation et les points de contrôle. et configurations de formation.

Cela fait suite à la publication d’un autre document de recherche LLM par l’Université Cornell, en collaboration avec l’équipe de recherche et développement d’Apple. Cet article décrit Ferret-UI, un LLM qui aiderait à comprendre l’interface utilisateur d’un appareil et ce qui se passe à l’écran et offrirait de nombreuses interactions. Les exemples incluent l’utilisation de la voix pour naviguer vers un paramètre bien caché ou la description de ce qui est affiché à l’écran pour les personnes malvoyantes.

Trois semaines après qu’Apple a lancé la famille iPhone 15 en 2023, Google a lancé les Pixel 8 et Pixel 8 Pro. En les proclamant les premiers smartphones dotés d’une IA intégrée, ces téléphones témoignent d’une ruée vers l’utilisation et la promotion des avantages de l’IA générative dans les appareils mobiles. Depuis, Apple est en retrait, du moins publiquement.

La publication régulière de documents de recherche sur les nouvelles techniques a rendu les projets d’Apple en matière d’IA visibles pour l’industrie, voire pour les consommateurs. En fournissant le code open source pour ces modèles de langage efficaces et en mettant l’accent sur le traitement sur l’appareil, Apple indique discrètement comment il espère se démarquer de la multitude d’appareils IA basés sur Android, même s’il discute avec Google de l’octroi d’une licence à Gemini pour alimenter. certaines des fonctionnalités AI de l’iPhone.

Examinons maintenant de plus près le design divulgué de l’iPhone 16 et de l’iPhone 16 Pro…