微软连发款模型:上下文,首用架构,部分性能超
智东西(公众号:zhidxcom)
编译|陈骏达
编辑|Panken
智东西8月21日消息,今天,微软一口气甩出3款超强轻量级模型!
微软本次发布的轻量级模型系列名为Phi-3.5,适合在内存和算力受限的环境中运行,均支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instruct可胜任复杂推理任务,Phi-3.5-vision-instruct则兼具文本与视觉能力。
性能最强大的Phi-3.5-MoE-instruct模型有419亿个参数,在5个示例的MMLU测试中击败了GPT-4omini。这是微软首次使用混合专家模型架构。
这一模型系列中最小的Phi-3.5-mini-instruct在长上下文代码理解任务以明显优势击败Llama-3.1-8B-instruct和Mistral-7B-instruct,而其参数规模还不到Llama-3.1-8B-instruct的一半。
微软本次发布的3款模型的名字中都带有“instruct”,这意味着模型专门针对遵循用户指令进行了优化,这对端侧模型来说是项极为重要的技能。
微软在开源模型库HuggingFace上详细公布了这3款模型的炼制过程,包括数据来源、数据规模、算力等等。3款模型均在MIT协议下开源,开发者可以自由使用、修改或出售软件副本。
项目地址:https://huggingface.co/microsoft/Phi-3.5-mini-instruct
一、连发三款轻量级模型,击败GPT-4omini与Llama3.1-8B微软今天发布的3个Phi-3.5模型包括用于基础快速推理的Phi-3.5-mini-instruct(38.2亿个参数)、性能更为强大的Phi-3.5-MoE-instruct(419亿个参数)和视觉模型Phi-3.5-vision-instruct(41.5亿个参数)。
1、Phi-3.5-mini-instruct:A16芯片本地可跑
Phi-3.5-mini-instruct专为遵守指令而设计,此模型非常适合在内存或算力受限的环境中提供强大推理能力,能胜任代码生成、数学问题和基于逻辑的推理等任务。
尽管参数规模仅有38.2亿,但Phi-3.5-mini-instruct模型在多语言和多轮对话任务中表现出的性能不俗。它在许多基准测试中拥有较为先进的水平,并在长上下文代码理解任务中以明显优势超过了其它模型(Llama-3.1-8B-instruct和Mistral-7B-instruct)。
▲Phi-3.5-mini-instruct在长上下文代码理解任务中优势明显(图源:微软)
微软并未直接阐明Phi-3.5-mini-instruct能否在手机上运行,但与其参数规模的基本一致的Phi-3-mini在经过4位量化后,能在搭载A16仿生芯片的iPhone上流畅运行,生成速度超过每秒12个token。
2、Phi-3.5-MoE-instruct:微软首个专家混合模型
Phi-3.5-MoE-instruct是微软首个专家混合模型。这类模型将多种功能不同的模型组合起来,每种模型专注于特定的任务。
这款模型利用了具有419亿个激活参数的架构,但根据微软在HuggingFace上公布的文档,这一模型仅需66亿激活参数即可运行。
Phi-3.5-MoE-instruct在各种推理任务中表现出色,在代码、数学和多语言语言理解方面具有强大的性能,超过了参数规模更大的其它开源模型。
▲Phi-3.5-MoE-instruct对Python、Java等编程语言的掌握显著好于其它同类模型(图源:微软)
这一模型还在5个示例的MMLU测试中击败了GPT-4omini。这一基准测试涵盖了科技、工程、数学、人文、社科领域的问题。
▲Phi-3.5-MoE-instruct在5个示例的MMLU测试中以微弱优势击败GPT-4omini(图源:微软)
MoE模型的独特架构还能使Phi-3.5-MoE-instruct在处理多种语言的复杂AI任务时保持效率。这一模型支持包括中文在内的23门语言。
3、Phi-3.5-vision-instruct:适用于OCR、图表理解与视频摘要
Phi-3.5-vision-instruct兼具文本和图像处理功能。能在算力和内存不足的情况下提供较好的一般图像理解能力、光学字符识别(OCR)、图表和表格理解、多图像比较和多图像或视频剪辑摘要等能力。
这一模型能管理复杂的多帧视觉任务。微软强调,该模型是使用合成和过滤的公开可用数据集的组合进行训练的,专注于高质量、推理密集的数据。
二、训练时间最短不到1周,模型全部开源提供微软还在HuggingFace上公布了这组轻量级模型具体的训练情况。Phi-3.5-mini-instruct模型用掉了3.4万亿个token的数据,训练算力来自512个英伟达H100-80GGPU,训练耗时10天。
▲Phi-3.5-mini-instruct的HuggingFace页面(图源:HuggingFace)
Phi-3.5-vision-instruct模型训练耗时更短,仅为6天。其数据量为5000亿个token,训练过程中使用了256个英伟达A100-80GGPU。
Phi-3.5-MoE-instruct的参数规模较大,微软连发款模型:上下文,首用架构,部分性能超因此训练时长为23天。这款模型使用的训练算力与Phi-3.5-mini-instruct一致,但数据量为4.9万亿个token。
3款Phi-3.5模型都在MIT许可下开源,这符合微软之前对开源社区的承诺。MIT许可证允许开发人员自由使用、修改、合并、发布、分发、再许可或出售软件的副本。
该许可证还包括一项免责声明,即软件按“原样”提供,不提供任何形式的保证。微软和其他版权所有者不对因使用软件而可能产生的任何索赔、损害或其他责任负责。
结语:微软轻量级模型再出成果,端侧AI潜力凸显微软的Phi系列模型一直以轻量级为特点。今年4月底,微软发布了Phi-3系列模型,其能力水平大致与GPT-3.5相当,但运行的成本却远远低于GPT-3.5。仅仅4个月后,微软又将其轻量级模型的表现提升了一个档次。
开发算力要求较低的端侧模型,或许能让微软的AIPC和其它使用Windows系统的设备拥有本地化运行、低延时、高安全性的AI体验。苹果的AppleIntelligence背后也有一系列端侧模型,这显示出即便在模型尺寸越做越大、能力越来越强的现在,兼具性能与成本效益的端侧模型也有巨大潜力。
来源:微软、VentureBeat