苹果要在iPhone上运行AI大模型？

据苹果AI研究人员透露，他们在iPhone及其他内存有限的设备上发明了一项创新的闪存利用技术。这项技术是一个重要的突破，可以在这些设备上部署复杂的语言模型。

苹果要在iPhone上运行AI大模型

据苹果AI研究人员透露，他们在iPhone及其他内存有限的设备上发明了一项创新的闪存利用技术。这项技术是一个重要的突破，可以在这些设备上部署复杂的语言模型。

目前全球流行的ChatGPT和Claude等模型均基于大型语言模型，但这些模型需要大量数据和内存，对于内存有限的设备，运行这些大模型困难重重。

苹果研究人员解决了这一难题，他们在众多数据存储地点中选择闪存来存储人工智能模型的数据。研究人员在一篇名为“LLM in a flash: Efficient Large Language Model Inference with Limited Memory”的论文中表明，闪存在移动设备中比传统用于运行大型语言模型的随机访问存储器更加丰富。

为了在内存有限的设备上运行大型语言模型，苹果研究人员使用了两种关键技术：窗口化和行列捆绑。窗口化技术允许AI模型重复利用已处理的数据，减少了频繁读取内存的必要性，从而提高了整个处理过程的效率。行列捆绑技术可以从闪存中更快地读取数据，从而增加了AI理解和生成语言的速度。

这两种技术结合起来使得AI模型可以运行到iPhone可用内存的两倍大小，标准处理器(CPU)上可以提高4-5倍的速度，在图形处理器(GPU)上可以提高20-25倍的速度。这一技术突破极大扩展了先进的大型语言模型的应用可行性和可访问性。

这一技术突破让iPhone变得更加智能，比如更先进的Siri功能、实时语言翻译以及摄影和增强现实中复杂的人工智能驱动功能，为将iPhone上运行复杂AI助手和聊天机器人设备做准备。

据彭博社报道，苹果正在开发自己的生成式人工智能模型，称为“Ajax”。该模型可在2000亿个参数上运行，具有高度复杂性和能力。Ajax的开发旨在将AI技术更深入地整合到苹果生态系统中。

分析师Jeff Pu表示，苹果将在2024年底左右在iPhone和iPad上提供某种生成式AI功能。这项技术可能会在iOS 18系统更新时发布。