同行1800多公里,跟着货车司机跑长途(人民眼·货车司机
图①:山西临汾经济技术开发区兴荣供应链有限公司的货车整装待发。资料图片 图②:司机王勇平驾驶货车行驶在
【文/观察者网 周毅 编辑 张广凯】
微软再一次抛出“王炸”。
5月23日,在西雅图的微软Build 2023开发者大会上,微软CEO纳德拉正式宣布,正在为Windows 11添加人工智能助手“Windows Copilot”,用户可以在Windows系统中使用聊天机器人。
(资料图片仅供参考)
在ChatGPT领域,中国此前已有阿里通义千问、百度文心一言、京东灵犀等多款产品。
在AIGC的新风口下,如何看待中国企业的挑战和机遇?
5月22日,2023数字经济(东湖)论坛在武汉举办。在论坛上,复旦大学教授、上海市数据科学重点实验室主任肖仰华对观察者网表示,与国际同行相比,模型、数据和算力并不是中国最大的劣势,真正的短板在于对大模型"炼制"工艺的掌握,包括数据配方、数据清洗和参数设置等等。
肖仰华表示,大模型"炼制"工艺从根本上决定了大模型的效果。但是和OpenAI等企业相比,我们仍有一定的时间差距。但是中国也有自己的优势,比如举国体制。我们可以成立产业联盟多线并进,缩短试错周期。
图源2023数字经济(东湖)论坛
肖仰华还提醒,我们不能因为炒作ChatGPT一个热点,而忽略了具身智能等其他赛道。
值得重视的短板:先进工艺
在肖仰华看来,以ChatGPT为代表的生成式人工智能技术(AIGC),将成为推动我国数字经济进步,实现高质量发展的重要引擎。在ChatGPT之前,人工智能处于不成熟的产业阶段;ChatGPT的出现将人工智能带入快速发展、快速变现的重工业发展阶段。
但在类ChatGPT等大模型领域,中国尚处于起步阶段,需要进一步规划和统筹。
肖仰华认为,大模型产业发展的取决于数个因素。
首先是模型。模型好比功夫中的“内功”,模型越大,潜力越强;其二是算力,这是大模型的核心竞争力,大模型竞争归根结底是算力的竞争;其三是数据。只有高质量的数据,才能喂养出高水平的大模型。不过,它们都不是中国大模型产业的真正短板所在。
图源微软
“我国的大模型产业,在数据上有优势,在算力上有基础,模型本身也不存在什么秘密,我们真正缺的是先进工艺。”肖仰华说。
他解释道,“炼制”大模型的工艺过程至关重要,它包括数据配方、数据清洗、参数设置、流程设计和质量控制等等。它从根本上决定了大模型的效果,是大模型产业发展的重要因素。当前我国大模型产业发展缺乏先进工艺过程,这是短期之内难以跟上的,需要付出巨大代价进行摸索。
数据配方,指的是根据模型的学习目标,确定不同领域、不同类型、不同模态数据的配比;数据清洗,指的是对原始语料进行去噪、去重、过滤、规范化等操作,提高语料一致性、多样性与完整性。
所谓的参数设置,是根据模型的架构和规模,选择合适的超参数,如学习率、批次大小、优化器、激活函数等,这些选择将影响模型训练的效率和效果。
流程设计,是根据模型的训练目标和资源限制,设计各相关组件之间的流程排布、目标设定、训练策略等,提高模型的泛化能力和适应性。
质量控制,指的是对模型的训练过程和结果进行监控和评估,通过准确率、困惑度等关键指标监测,通过对比不同模型或版本的表现,以保障大模型训练的质量和稳定性。
肖仰华表示,上述的每一个具体模块,国内其实都知道怎么做,但是将它们整合在一起,总体效果和国外是存在差距的。“不是能做还是不能做的问题,而是做出来的效果是70分与100分的差别。”肖仰华表示,我们要赶上最后这几十分,要不断试错、评测和改进。
肖仰华对观察者网表示,先进工艺的掌握需要试错,需要时间积累。OpenAI成立于2015年,在2018年投入大模型研发,到今年整整用了5年时间,他们花了很多时间去试错和摸索。即使现在很多中国企业在努力追赶,但是这个“时间差”是一朝一夕难以赶上的。
OpenAI网站截图
但是,中国也有优势:举国体制。
“我们可以把串行的试错变成并行的试错,甚至可以10条技术路线同时试错,”,肖仰华解释道,当一些人在验证某一个路线,那么其他人就不必重复验证该路线,可以转而去验证求索B路线、C路线……这就是中国举国体制的力量。
肖仰华提到,并行试错需要相关研发机构形成联盟,例如算力联盟、数据联盟和技术联盟。如果大家能够做到技术共享、协同研发,就可以把试错的成本大大降低,并显著缩短试错周期。“人家需要用5年,我们可以只用1年。迎头追赶的策略是存在的,关键是我们能不能推动这些联盟的团结。”
标签:
图①:山西临汾经济技术开发区兴荣供应链有限公司的货车整装待发。资料图片 图②:司机王勇平驾驶货车行驶在
2022年北京冬奥会的筹办过程,为中国冰雪运动发展提供了巨大动力。科技创新,成为中国冰雪运动前进道路上嘹亮的号角。在科学技术部社会发展
游客在银川市黄河横城旅游度假区观看花灯展(2月5日摄)。春节假期,“2022黄河横城冰雪彩灯艺术节”在宁夏银川市
新华社香港2月6日电题:狮子山下的舞狮人新华社记者韦骅“左眼精,右眼灵,红光万象,富贵繁荣!”“口食八方财,
正在进行围封或强制检测的葵涌邨居民在登记(资料照片)。新华社发新华社香港2月6日电 题:凝聚香港社会共克时艰
2月6日,航拍青海省西宁市雪后美景。受较强冷空气影响,2月5日至6日,青海迎来大范围降雪天气过程,古城西宁银装
[ 相关新闻 ]