苹果取得技术突破：有望在 iPhone 上运行大型语言模型

苹果的人工智能研究部门宣布取得了一项重要突破，成功在内存有限的苹果设备上实现大型语言模型(LLM)。这是通过创新的闪存利用技术实现的，这一技术也为更强大的Siri、实时语言翻译以及融入摄影和增强现实的尖端人工智能功能铺平了道路。

苹果取得技术突破

苹果的人工智能研究部门宣布取得了一项重要突破，成功在内存有限的苹果设备上实现大型语言模型(LLM)。这是通过创新的闪存利用技术实现的，这一技术也为更强大的Siri、实时语言翻译以及融入摄影和增强现实的尖端人工智能功能铺平了道路。

以ChatGPT和Claude等LLM聊天机器人为代表的大型语言模型在全球范围内颇受欢迎。它们能够进行流畅的对话、撰写不同风格的文本，甚至生成代码。然而，这些模型的不足之处在于吃内存多，这让普通手机难以应对它们的运行需求。

为了解决这一问题，苹果研究人员将目光投向了手机中普遍存在的闪存，也就是储存应用和照片的地方。他们通过一种巧妙的闪存利用技术，将LLM模型的数据存储在闪存中。研究人员指出，相比于传统用于运行LLM的RAM，闪存在移动设备中容量要大得多。

论文指出，这项技术可以让AI模型的运行规模达到iPhone可用内存的两倍。在这项技术的支持下，LLM的推理速度在Apple M1 Max CPU上提高了4-5倍，在GPU上提高了20-25倍。研究人员认为，这一突破对于在资源有限的环境中部署先进的LLM是非常重要的，它大大扩展了它们的适用性和可访问性。