智通财经APP获悉,长江证券(000783)发布研报称,3月18日,马斯克旗下大模型公司xAI宣布开源3140亿参数的混合专家(MoE)模型Grok-1,以及模型的权重和网络架构,开发者可直接在Github下载获得。现阶段,开源模型在行业场景落地前需要通过行业数据调参,在此过程中需要较强的AI工程化能力,因此建议关注AI模型相关厂商与核心行业应用厂商;而随着开源模型的应用,对AI算力的需求也随之提升,建议关注AI算力相关厂商。
长江证券认为,Grok-1是当前参数量最大的开源大语言模型,由8个混合专家模型组成,有25%的权重在给定token上处于激活状态,因此在每次推理时会有2个活跃的专家模型(860亿参数)。Grok-1基础模型在大量文本数据上训练,未针对任何特定任务进行微调。
Grok-1通过专家模型组合实现高性能与低算力消耗。在训练阶段,Grok-1会对8个小模型各自做不同任务的针对性训练,因此在数据喂入之后,模型不用一次性迭代所有参数,而仅仅迭代部分小模型的参数。在推理阶段,虽然Grok-1整体参数超过3140亿,但每次推理时只会调动860亿的参数参与计算,算力消耗接近LLaMA2模型的700亿参数,但性能得到了大幅度跃升。根据xAI公布的数据,在GSM8K、HumanEval和MMLU等一系列基准测试中,Grok-1模型的表现超过了LLaMA-2-70B模型和GPT-3.5模型。
Grok-1模型开源弥补了我国模型侧的技术短板,星空体育app下载有望赋能行业应用发展。我国在专家模型层面与国外存在一定的技术差距,本次Grok-1的开源有望弥补我国模型侧的技术短板。
Grok-1开源模型在相关厂商以行业数据微调后,未来或加速法律、金融、教育等行业垂类应用的智能化进程。
xAI公司的AI能力有望在未来赋能马斯克的产业链生态。长江证券认为,星空体育app下载截至目前,经过微调的Grok大模型已经搭载于马斯克的X社交平台上,X订阅用户可与模型进行多任务的对话,可以实时访问X平台上的海量数据(603138),从中学习和理解最新的热门话题和事件。而马斯克的智能驾驶、人形机器人(300024)公司特斯拉星空体育官方网站,脑机接口公司Neuralink同样与AI具备较强关联性,需要AI模型赋能。xAI公司有望在未来成为马斯克产业链的技术中台,赋能全产业链生态。