目前,国内外大模型无论研究还是投资都呈现高热现象,但在其背后,一些问题值得重视。
《瞭望东方周刊》特约撰稿韩健、钟新龙、王聪聪 编辑陈融雪
3月24日,湖北宜昌,网民展示手机上由百度“文心一言”生成的图片
当前,全球各国人工智能大模型(以下简称“大模型”)已呈现白热化竞赛态势。
大模型扎堆出炉的背后潜藏着问题,包括技术仍存软肋、治理体系尚待优化、盲目跟风、资源消耗巨大、发展路径有待明晰等。
为此,宜推动大模型底层技术研究和应用创新、建立健全大模型监管机制、引导资本市场理性投资、加强国际合作与交流。
竞争白热化
人工智能大模型,是一种能够利用大数据和神经网络来模拟人类思维和创造力的人工智能算法。它利用海量的数据和深度学习技术来理解、生成和预测新内容,通常情况下有数百亿乃至数万亿个参数,可以在不同的领域和任务中表现出智能。比如,可在各种场景中生成高质量的文本、图像和音视频等内容。
相比传统人工智能,大模型能处理多模态任务,而不局限于特定的任务或应用。
以自然语言处理为例,大模型可以根据上下文和情感调整语言风格,用符合人类自然语言对话的逻辑和使用习惯来提高对话的自然度和流畅度;同时,基于大模型预训练具有的庞大知识储备库,可生成符合用户实际需求和有价值的回答。
此外,大模型在音频、视频、图片方面的多模态处理和生成能力都令传统人工智能难以企及。
目前,在大模型领域,国内外巨头的竞争已经白热化。OpenAI已成为引领大模型发展的标杆企业。继多模态大模型GPT-4发布后,预计今年四季度OpenAI将发布更为高级的ChatGPT-5版本。微软借助对OpenAI的投资与合作,将旗下Office办公产品全线整合,已在3月下旬推出Copilot Office。5月24日,微软宣布Win11接入GPT-4。
5月10日,微软的直接竞争对手谷歌推出新一代大模型PaLM 2,已有超过25个AI产品和功能全线接入PaLM 2,包括原有对话机器人Bard,AI+办公助手Duet AI、AI+搜索引擎等,Meta则发布大模型LLaMA,加入竞赛。亚马逊与人工智能初创公司Hugging Face合作开发ChatGPT竞品——BLOOM。
此外,Character. Al、Stability Al、A121 Labs等大模型技术关联的初创和独角兽公司也掀起了新一轮投资热潮加入大模型竞赛。
国内,产投研各方均已加快布局步伐。
一是国内科技龙头企业密集发布自研大模型。百度发布大模型文心一言,阿里发布首个超大规模语言模型通义千问,腾讯混元AI大模型团队推出了万亿级别中文NLP预训练模型HunYuan-NLP-1T。华为发布的鹏城盘古大模型是业界首个千亿级生成和理解中文NLP大模型。
二是投创界积极入局大模型竞赛。美团联合创始人王慧文自带5000万美元入局AI大模型,搜狗前CEO王小川与搜狗前COO茹丽云共同创立百川智能,澜舟科技发布其语言生成模型——孟子MChat可控大模型,西湖心辰也推出了心辰Chat大模型。
三是高校与科研院所积极布局大模型。复旦大学推出国内首个类ChatGPT大模型MOSS,清华大学知识工程实验室与其技术成果转化公司智谱AI发布ChatGLM,中科院自动化所推出多模态大模型紫东太初,IDEA 研究院 CCNL推出开源通用大模型“姜子牙”。
技术与治理存短板
目前,国内外大模型无论研究还是投资都呈现高热现象,但在其背后,一些问题值得重视。
首先,技术层面仍存软肋。
从输出质量上来看,自然语言和图像生成大模型在生成内容上存在输出质量不佳、出现有害内容等问题。自然语言大模型生成结果虽然看起来通顺,但是在可解释性和逻辑上还存在风险,且模型对简单概念存在过分解读和冗余回答。
尤其值得注意的是,大模型可能有输出危害答复内容的风险。比如,对用户提出的犯罪行为给出具体行动方案。除此之外,从未来发展的不确定性角度来看,持续无限制扩充训练参数规模的大模型可能面临被创新算法换道超车的风险。
目前,业界主流大模型都是在2017年提出的自注意力机制模型Transformer架构上设计而来,未来新机制框架若使用小规模参数样本也能训练出同样效果,那么目前上千亿乃至上万亿训练参数规模的做法将不再有优势。
其次,治理体系尚待优化完善。
当前,大模型训练过程缺乏监管且监管范围更多针对服务提供者,一定程度上忽略了对服务使用者和商业运营主体的规范,对服务使用者仍通过用户协议、平台规则予以约束,而运营方欠缺安全责任意识,则容易埋下输出含有毒害内容的隐患。
各服务提供者、服务平台对人工智能生成内容存在审核盲区。比如,各大平台公司在恶意应用产生危害时,对内容发布者与发布平台责任、主要责任和次要责任等方面的界定尚不明确,容易造成监管盲区。
现有的对人工智能生成内容权责分配也有待完善。比如,人工智能生成内容可能存在知识产权侵权风险,其来源和生成内容也存在产权权属不清、取证和损害认定困难等问题。
从受众层面看,公众对人工智能生成内容技术的认知不强,对其非法滥用的风险防范意识不高,亦容易造成个人名誉和心理受损等后果。
盲目跟风成本大
大模型热潮涌来,需警惕盲目跟风。
上海世界人工智能大会,华为云盘古大模型
以ChatGPT为代表的大模型爆火催生的资本投机心理会凌驾于投资心理之上,这对产业后续长期良性发展会造成不良影响。超高的训练成本门槛决定了中小型企业不宜投资此类项目。
以ChatGPT大语言模型训练为例,初步估算ChatGPT一次训练成本就超过200万美元,OpenAI公司仅硬件投入成本就超过8亿美元。除了训练成本,开发技术也是一道门槛,高质量训练语料和大规模人工标注决定了只有大型机构或领军企业才具备相应实力,成长型企业盲目跟风将导致投资失败。
此外,训练集同质化导致大模型质量不高。大模型的训练数据集一般来自百科类平台、新闻语料、社交媒体文本、书籍、论坛等可公开获得资源,加入竞争的大模型如都使用同质化训练数据集,将会导致绝大多数大模型成为效果不佳且浪费巨大资源的淘汰产物。
即便是对于行业巨头,大量成本的消耗也是一个风险。
算力成本是成本消耗的大头。以ChatGPT为例,其在日常运营和模型迭代中会消耗大量算力。Similarweb数据显示,目前共需602台DGX A100服务器满足日常访问量。同时,ChatGPT也会占用原本用来支撑云计算、视频流媒体和5G网络的数据中心的算力。而多家公司抢先布局训练类似模型,则会导致算力浪费。
电力成本是不得不提的隐性考虑要素。ChatGPT训练过程中,其能耗相当于数百台电脑一年的用电量。碳排放更是被忽视的隐藏点。使用煤炭、天然气等碳密集型能源训练ChatGPT会产生550吨碳排放量,相当于一个人在纽约和旧金山之间往返550次。
人力资源消耗也应重点关注。据《时代周刊》报道,OpenAI不仅雇用了大量时薪不到2美元的肯尼亚外包劳工进行数据标注,还额外与Sama公司签署了三份总价值约20万美元的合同,为数据库中有害的内容进行标记。但从现有的表现来看,仍需更多的标注人力来提升模型性能。
目前,国内企业在大模型发展方向研判上呈现出跟随式发展态势。例如,GPT4开启多模态大模型发展方向后,国内先发大模型也纷纷发展多模态,如何摆脱跟随式发展路径依赖,构建自主可控创新型大模型是当前重点任务。
考虑到国内用户规模庞大,国内大模型能否承载远比海外用户更高的并发处理需求,尚需时日验证。考虑到大模型训练推理的高算力成本,想要靠免费换取大规模普及进而变现的路径很难走通,应用赋能成本如何实现回本和增量营收的商业路径仍需探索。
建议举措
面对上述问题,可以四方面加以应对。
一是推动大模型底层技术研究和应用创新。
包括提高基础研究投入力度,针对大模型面临的技术挑战,如模型泛化能力、计算资源消耗、可解释性等问题,加强原始理论研究和技术攻关,不断提升大模型性能;培育创新生态,搭建大模型开放研发平台,鼓励政产学研金介用各方积极参与,促进大模型应用成果转化和产业链协同发展;推动有条件的企业尽快将大模型应用于实际场景,如人形机器人、智能网联汽车、生物医药、新材料等领域,以应用为导向,为重点领域提升智能化水平。
二是建立健全大模型监管机制。
大模型训练审核机制宜尽量减少同质化大模型无序竞争,减少资源浪费;探索建立大模型安全性和可靠性评估标准,提出具体技术标准和评估准则,确保各类大模型在各个应用场景中能够稳定可靠运行;加强对大模型的数据来源和训练过程的监管,审核数据处理逻辑、明确数据收集、整理和使用的合规要求,防止数据滥用和隐私泄露;对大模型的应用场景进行分类管理,确立不同类型模型的使用范围和限制,避免不当应用带来的负面影响;建立大模型的责任追溯机制,明确制定者、开发者、部署者和用户在模型使用过程中的权利和义务,为潜在的纠纷提供法律依据;积极推动跨部门、跨领域的监管协同,形成全方位、多层次的监管格局,提高监管效能。
三是引导资本市场理性投资。
包括引导投资风向,鼓励各类投资主体积极参与大模型应用环节,形成多元化的投资格局,防止扎堆投资训练环节;加强风险防范意识,引导投资者树立长期投资理念,关注大模型项目的技术创新和市场前景,避免盲目投资和短期行为;建立大模型产业链协同机制,促进上下游企业共同发展,形成集群效应。
四是加强国际合作与交流。
积极参与国际人工智能监管组织和论坛,与各国政府、监管机构、企业和研究机构探讨和分享监管经验和技术成果,共同探讨跨国监管的有效途径;探索与部分国家先行建立多边合作框架,推动制定全球性的大模型监管规范和技术标准;开展多边交流与合作,与其他国家在大模型监管领域开展项目合作、技术交流和人才培养,以提高监管方面的实践能力和理论水平;关注全球监管动态,及时了解各国在大模型监管方面的新政策、新技术和新案例,为国内监管提供借鉴和参考;积极推动国际监管能力建设,支持有关国际组织和机构开展监管能力建设项目,提高我国在大模型监管方面的国际话语权;搭建国际监管信息共享平台,实现各国监管机构之间的信息互通和资源共享,以便于跨境监管合作和问题解决。