京东大模型开发计算研究登Nature,破解AI落地效率密码
创始人
2025-05-16 18:02:39
0

央广网北京5月16日消息 5月15日,京东探索研究院论文《Omniforce:以人为中心的、赋能大模型的、云边协同的自动机器学习系统》发表于Nature旗下期刊npj Artificial Intelligence,该项研究提出了一种在开放环境场景中训练、更新大模型,并与小模型协同部署的系统与方法,成为国内首个系统性解决开放环境下大模型开发效率难题并获国际顶刊认证的研究成果。该技术通过模型蒸馏、数据治理、训练优化与云边协同四大创新,将大模型推理效率平均提升30%,训练成本降低70%,为大模型规模化落地提供了可复用的技术范式。

京东大模型开发计算技术,推理平均提效30%

企业将大模型应用付诸实践,面临着诸多卡点,一方面进入大模型应用门槛高,另一方面模型训练与推理效率低。

京东大模型开发计算技术,能支持企业的模型开发训练及生产,让庞大、重型的AI模型“瘦身”成精悍的小模型,精华依旧,效率大增,瘦身不降智。既能节省算力资源,加速推理,还能适应多平台,广泛部署到更多平台上。

论文中提出了四个创新方法:

  • 模型蒸馏,采用动态分层蒸馏技术,特别是在预训练阶段进行蒸馏,调整仅0.5%的参数实现低资源场景下的高效训练,减少大型模型的部署成本。

  • 数据治理,提出跨领域数据动态采样算法,自动混合不同领域数据,并引入隐私保护和主动学习技术,提升大模型泛化能力。

  • 训练优化,使用贝叶斯优化(BO)框架进行超参数优化和架构搜索,尤其是擅长处理离散空间,MPMD场景下资源利用率提升40%。

  • 云边协同,支持在云端进行模型搜索和训练,边缘设备负责部署和推理,并利用两阶段压缩策略以适应资源限制,提升云边协作的高效性。

值得一提的是,该平台还可支持京东大模型、Llama、DeepSeek等多个模型的蒸馏、推理。在模型蒸馏层面,效果较同量级模型有明显提升,以京东大模型为例,蒸馏后的大模型Livebench提升14分。大量的实验结果也证明有效性和效率,推理平均提效30%,训练成本平均降低70%。

JoyBuild大模型开发计算平台,让模型训练与应用更普惠

这套京东沉淀下来的大模型开发计算的技术,支撑了JoyBuild大模型开发计算平台,广泛服务行业用户。

JoyBuild能够为客户的大模型开发和行业应用开发,提供定制化解决方案。JoyBuild支持各类模型的调优开发,内置20余种开源模型和丰富的数据集,并提供100余种算法和工具链,帮助企业根据自身业务特征,将通用模型迅速转化为专业模型,一站式应用大模型。

现在,不到一周时间,企业即可完成从数据准备、模型训练到模型部署的全流程;之前需要10余人的科学家团队工作,现在只需要1-2个算法人员;通过平台模型加速工具优化,节约90%的推理成本。

京东丰富的业务场景,还为平台上的基础大模型提供具体的行业应用场景,加速基于大模型的商业化落地。在行业知识库之外,JoyBuild沉淀了京东自己的零售、物流、健康、金融等行业Know-How,可应用于供应链优化、智能客服、营销内容生成等各类场景,加速模型普惠。

京东给出的大模型解法并不是“黑箱”,而是一条解决大模型训练效率及应用问题的通用路径,是真正的“授之以渔”,对学术界、产业界均有广泛参考价值。未来,京东将进一步提升大模型开发与计算效率,让中小型和大型企业都能低成本、高效构建专属AI应用,助推AI规模化应用落地。

相关内容

中国围棋协会将不组队参加今...
中国围棋协会宣布将不组队参加今年的 LG 杯世界棋王赛。这一决定引...
2025-05-17 01:05:08
特朗普:将大幅降低对华关税
特朗普曾表示将大幅降低对华关税。这一举措引发了广泛关注与热议。一方...
2025-05-17 01:04:59
毒液堪比硫酸!已有人“中招...
毒液,那可是堪比硫酸的可怕存在!已有不少人不幸“中招”,其腐蚀性令...
2025-05-17 01:04:11
特朗普改口:“无意解雇”美...
特朗普改口称“无意解雇”美联储主席鲍威尔,这一转变引发了广泛关注。...
2025-05-17 01:04:01
金湘军因涉嫌严重违纪违法辞...
你提供的信息存在错误,截至 2023 年 7 月,现任山西省省长是...
2025-05-17 01:03:38
本赛季五大联赛运动战创造绝...
北京时间明天凌晨3点,巴萨将迎来西甲第36轮客场对阵西班牙人的比赛...
2025-05-17 01:02:00
戴奇:若是我去执教曼联,我...
北京时间5月15日,前埃弗顿主帅戴奇在《Stick To Foot...
2025-05-17 01:01:49
湖人招聘力量和体能教练:目...
北京时间5月15日,洛杉矶湖人队发布招聘信息,球队准备招聘一位首席...
2025-05-17 01:01:38
意媒:尤文为奥斯梅恩报价8...
据意大利媒体RAI TgSport记者Ciro Venerato报...
2025-05-17 01:01:27

热门资讯

阿里巴巴2025财年营收逼近万... 5月10日,阿里巴巴迎来第21个阿里日。前一日晚间,集团创始人马云以一袭白衣现身杭州总部“湖畔小屋”...
股票行情快报:美康生物(300... 证券之星消息,截至2025年5月16日收盘,美康生物(300439)报收于10.3元,上涨0.59%...
上市后业绩“变脸” 这家宠物赛... 文|《投资者网》张伟 4月,天元宠物(301335.SZ)发布的年报显示,该公司2024年营收创下...
ESG成为全球商业必答题,酒企... 如果用马斯洛需求层次理论类比,ESG(环境、社会和公司治理)无疑是企业发展过程中,金字塔尖的需求。因...
上市公司重大资产重组新规落地 5月16日,中国证监会正式对外公布实施修订后的《上市公司重大资产重组管理办法》,在简化审核程序、创新...
易成新能及董事长等收警示函,第... 5月16日晚间,易成新能(300080)发布公告,公司于近日收到河南证监局下发的《关于对河南易成新能...
一季度我国数字产业收入同比增长... 本周中证电信主题指数下跌0.04%,中证芯片产业指数、中证半导体材料设备主题指数均下跌1.8%,中证...
张坤卸任易方达基金副总经理级高... 北京商报讯(记者 李海媛)5月16日,易方达基金公告称,因工作调整,张坤不再担任副总经理高级管理人员...
文远知行与 Uber 扩大战略... 5 月 6 日消息,文远知行与移动出行及配送科技公司 Uber 共同宣布扩大战略合作,计划未来五年将...
海晨股份:在人工智能和具身智能... 海晨股份5月14日披露投资者关系活动记录表显示,公司于近期开展了2024年度业绩说明会和线上特定对象...