华为近期发布的盘古Pro MoE大模型ღ★,通过动态激活专家网络的创新设计ღ★,实现了以小打大的优异性能ღ★。然而ღ★,近日一项发布于GitHub的研究引发业界关注ღ★,该研究的作者认为ღ★,华为推出的盘古大模型(Pangu Pro MoE)与阿里巴巴发布的通义千问Qwen-2.5 14B模型在参数结构上存在“惊人一致”ღ★。
针对该研究bifa88官网ღ★,7月5日下午ღ★,华为盘古团队公开回应表示ღ★,盘古Pro MoE开源模型是基于昇腾硬件平台开发ღ★、训练的基础大模型ღ★,并非基于其他厂商模型增量训练而来台湾18成人ღ★,在架构设计ღ★、技术特性等方面做了关键创新ღ★,是全球首个面向昇腾硬件平台设计的同规格混合专家模型ღ★,创新性地提出了分组混合专家模型(MoGE)架构ღ★,有效解决了大规模分布式训练的负载均衡难题ღ★,提升训练效率bifa88官网bifa88官网ღ★。
声明指出ღ★,盘古Pro MoE开源模型部分基础组件的代码实现参考了业界开源实践ღ★,涉及其他开源大模型的部分开源代码ღ★。“我们严格遵循开源许可证的要求ღ★,在开源代码文件中清晰标注开源代码的版权声明ღ★。这不仅是开源社区的通行做法ღ★,也符合业界倡导的开源协作精神ღ★。我们始终坚持开放创新ღ★,尊重第三方知识产权ღ★,同时提倡包容ღ★、公平ღ★、开放台湾18成人ღ★、团结和可持续的开源理念ღ★。”
盘古Pro MoE开源模型是基于昇腾硬件平台开发ღ★、训练的基础大模型bifa88官网ღ★,并非基于其他厂商模型增量训练而来ღ★,在架构设计ღ★、技术特性等方面做了关键创新ღ★,是全球首个面向昇腾硬件平台设计的同规格混合专家模型bifa88官网ღ★,创新性地提出了分组混合专家模型(MoGE)架构ღ★,有效解决了大规模分布式训练的负载均衡难题ღ★,提升训练效率ღ★。其他技术特性创新台湾18成人ღ★,请参考昇腾生态竞争力系列技术报告披露内容ღ★。
盘古Pro MoE开源模型部分基础组件的代码实现参考了业界开源实践ღ★,涉及其他开源大模型的部分开源代码ღ★。我们严格遵循开源许可证的要求台湾18成人ღ★,在开源代码文件中清晰标注开源代码的版权声明bifa88官网ღ★。这不仅是开源社区的通行做法ღ★,也符合业界倡导的开源协作精神ღ★。我们始终坚持开放创新ღ★,尊重第三方知识产权ღ★,同时提倡包容ღ★、公平台湾18成人ღ★、开放ღ★、团结和可持续的开源理念ღ★。
感谢全球开发者与合作伙伴对盘古大模型的关注和支持ღ★,我们高度重视开源社区的建设性意见ღ★。希望通过盘古大模型开源ღ★,与志同道合的伙伴一起ღ★,探索并不断优化模型能力ღ★,加速技术突破与产业落地ღ★。必发888官网登录入口ღ★。必发888bifa必发唯一ღ★,