阿里云机器学习平台PAI论文入选IJCAI 2022会议

2022-07-25 13:28 作者:未知 来源:未知

近日,阿里云机器学习平台PAI主导的论文《Parameter-Efficient Sparsity for Large Language Models Fine-Tuning》,大模型参数高效稀疏训练算法PST被IJCAI(International Joint Conference on Artificial Intelligence)...

 

近日,阿里云机器学习平台PAI主导的论文《Parameter-Efficient Sparsity for Large Language Models Fine-Tuning》,大模型参数高效稀疏训练算法PST被IJCAI(International Joint Conference on Artificial Intelligence)2022录取。论文通过减少模型稀疏训练过程中需要更新的参数量,从而减少大模型稀疏训练的时间以及资源开销。

 

IJCAI(International Joint Conference on Artificial Intelligence)是人工智能领域的顶级国际会议之一,涉及机器学习,计算机视觉,自然语言处理等多个方向。本年度会议投稿超过4500篇,录用率仅为15%,会议于7月在奥地利维也纳召开。此次入选意味着阿里云机器学习平台PAI在大模型优化方向上的研究达到了全球业界先进水平,获得了国际学者的认可,展现了中国深度学习技术在国际上的竞争力。

 

首个大模型参数高效的稀疏训练算法PST

论文核心内容是通过减少模型稀疏训练过程中需要更新的参数量,从而减少大模型稀疏训练的时间以及资源开销。近几年,越来越多的大模型被提出,这些模型的参数量从百亿到千亿甚至万亿,虽然它们可以达到很高的模型精度,但是过大的模型体积限制了这些大模型的实际落地应用。稀疏作为一个有效的模型压缩手段,可以将大模型压缩到较小的体积,使得它们能够以较少的资源较快的速度运行起来。然而,稀疏训练本身会引入额外的参数,从而使得大模型的稀疏训练需要占用更多的训练资源以及导致训练速度更慢。

 

针对这一问题,PST提出了一种参数高效的稀疏训练算法,通过分析权重的重要性指标,得出了其拥有两个特性:低秩性和结构性。根据这一结论,PST算法引入了两组小矩阵来计算权重的重要性,相比于原本需要与权重一样大的矩阵来保存和更新重要性指标,稀疏训练需要更新的参数量大大减少。对比常用的稀疏训练算法,PST算法可以在仅更新1.5%的参数的情况下,达到相近的稀疏模型精度。

 

PST技术已经集成在阿里云机器学习PAI的模型压缩库,以及Alicemind平台大模型稀疏训练功能中。为阿里巴巴集团内部落地使用大模型带来了性能加速,在百亿大模型PLUG上,PST相比于原本的稀疏训练可以在模型精度不下降的情况下,加速2.5倍,内存占用减少10倍。目前,阿里云机器学习PAI已经被广泛应用于各行各业,提供AI开发全链路服务,实现企业自主可控的AI方案,全面提升机器学习工程效率。

 

 

论文名字:

Parameter-Efficient Sparsity for Large Language Models Fine-Tuning

论文作者:

李与超、罗福莉、谭传奇、王梦娣、黄松芳、李深、白俊杰

论文链接:https://arxiv.org/pdf/2205.11005.pdf

标签:

上一篇:年轻化

下一篇:没有了

声明:“沸点科技网”登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,本站亦不为其版权负责。如存在有侵犯您的合法权益的内容,请联系我们E-mail:1074976040@qq.com,本网站核实后将立即予以删除!

热门资讯

大家都在看

相关内容

看过本文的人还看过

猜你喜欢

prev next

推荐阅读

熊熊卓毓彤我爱你卢广仲谢金晶徐宥利曹晏豪梁家辉庄凯勋钟楚红近况四辰斩邪剑赵德胤李耀凯韩睿邪灵饮血剑夏于乔黄莉五香荷叶蛋张子妍赤道碎星花结夏语心安海瑟薇dnf青龙大会李哈妮狱龙断影剑小炒黑山羊金城武古天乐白果青鱼丸蒋瑶嘉车厘子红烧肉流光星陨刀女神卡卡苦苓无限手套陈美凤凯文哈特鸡不可失一支小雨伞燕麦三杯骨蔡卓妍资料dnf灵犀之心宋芸桦吴可熙刘涛个人资料华丽的曲玉张孝全凯蒂佩芮天帷巨兽之眼恶灵之火焰石灵犀之心戮蛊的骨刃席琳娜吴慷仁黄文星邵雨薇神奇尾闸装睡的人苏拉托之眼黑莓机相泽南黑嘉嘉风声鹤唳舌战群儒电子音乐驱蚊Met Gala酒神的战镰冰龙掩日矛骸麒的骨戒非洲杜兹肺鱼玛尼神兽项链翠绿肺鱼审判之断头台萦绕之魂栗斑腹鹀火焰之拉诺旗舰级卢广仲罗杰的金表黄舒湄尖牙鱼蛇鳗灰眉岩鹀王子邱胜翊龙族之信仰繁文缛节庾澄庆巴基斯坦沙猫天神怒炎剑曾沛慈深渊催眠曲玄光圣剑澳大利亚肺鱼汽车维修松井玲奈食人长鳍鳗黄路梓茵许茹芸老公北极七鳃鳗成华猪高宇蓁金色鲤鱼侏儒眼镜猴