观点｜于洋：ChatGPT超级工具海啸下的技术冷静

2022年11月底ChatGPT横空出世，在短短两个月内达到月活过亿，将新一轮以AIGC（人工智能内容生成）为主导的人工智能推向新的高度。这被业界认为是认知智能发展历史上的里程碑，其意义远超2016年的阿尔法狗AlphaGo。

近日频频被问及对这一里程碑的认识，本不想说话，想了想还是与CTO和研究院负责同事学习请教后，写了此文，也算是对公司的战略思考。本文共3158字，阅读需要10分钟。

ChatGPT是一个大规模的语言对话模型，以OpenAI强大的GPT3.5作为底座，综合采用了自监督学习和基于人类反馈的强化学习等方法，在文本写作、智能问答、机器翻译和代码编写等任务上表现出了令人感到惊艳的水平。ChatGPT模式已经延伸应用到国内外多个领域，未来可能对产业化应用带来革命性的深远影响。

从技术路线上看，ChatGPT采用了预训练大模型+自监督学习+强化学习的新一代范式，在底层技术上并没有太突破的首创技术，无论是提示学习还是强化学习都已经在之前的GPT2、GPT3或者InstructGPT中被提出和应用。但是，ChatGPT又确实取得了前所未有的震撼效果，我认为主要来自以下几个方面：

1.先进技术+工程实践+应用范式的完美结合，颠覆了传统对话只能交互聊天、知识问答等简单功能，将多任务、多语言、多场景、迁移学习、增量学习和持续学习实现了充分融合，在全能力上发挥的淋漓尽致，就像一个全能天才一样，不但能力强，还时刻保持着学习的态度。

2.有坚实的GPT3.5底座加持，高达1750亿的参数量，虽然在现在超大模型上并不算太高（如悟道2.0达万亿以上，阿里M6达10万亿），但是超45TB数据、大规模超高质量人工精标数据、强大灵活的指示学习机制等使得ChatGPT大放光彩，生成内容不但流畅、丰富、全面，还兼具辩证性、哲理性，很多创新内容让人都自叹不如。

3.精准的Prompt指令设计，ChatGPT的Prompt设计并不是都来自技术人员闭门造车空想出来的，而是大部分来自于多年GPT3学习到的用户真实输入。因此它能准确理解用户的问题意图，加上合规性机制的引入，使得ChatGPT就像一个智者，既能了解你，也不会纵容你乱问问题。

4.引入强化学习增强人的偏好和主观意见，通过引入大量的人员进行人工调教，大大提高了模型正确的价值观，极大程度解决了传统对话模型存在的不合规、不文明和不道德问题。

5.具备终身学习机制，打破了传统大模型一次训练后的知识停滞和故步自封，ChatGPT的指示学习和强化学习机制使得大模型具备强大的学习和保鲜能力，从而能够得心应手的应对时效性较高的新闻和热点。

当然，就像是人无完人一样，ChatGPT作为一个新物种，也不可避免的存在不足，比如也会犯常识性错误，意图理解不到位，容易被错误问题误导等。在一些回答尤其是自己难以回答的问题上，会胡言乱语，给出错误的答案，从而使得用户只能半信半疑。另外，在用户指令理解、分解和生成证据上也表现不足，使得ChatGPT也没有逃出模型黑盒的魔咒，难以以高可信的证据使人信服。

但瑕不掩瑜，这些都无法否定ChatGPT在人工智能历史上的重大里程碑地位。而在其背后，是大数据和人工智能技术，或者更进一步说是大模型和AIGC技术从未停止的跋涉的过程。不知不觉间，中译语通在这条泥泞的道路上走了很久，也留下了一串串清晰的脚印。我更愿意把ChatGPT视为是一个超级工具，一个超级大脑中间件，其典型技术实现包括了自然语言理解、机器翻译、知识图谱、机器写作、语义检索和智能对话，其建造过程、训练方式和呈现结果等，某种意义上为我们今天的各种大模型的研究提供了可能的最短路径或最佳实践。

在那些连石头都摸不着还要过河的日子里，别相信有什么前瞻布局的谎言，能走出这么一条恰如其分的路线图，也着实不容易。AIGC的关键技术一个都没少，时至今日一个都没丢，且历经多年产业应用实践形成了完整的技术生态。有人说，有一大堆零部件并不代表着你能生产发动机。时间来到2022年11月，我们又发布了自己的“格物大模型1.0”，包括了多语言预训练模型和多语言机器翻译超大模型，上了国内最权威CLUE综合分类、实体抽取和对话问答三项评测的榜一。下图或许能让大家理解这堆零部件是怎么制造成发动机引擎和航天飞机的。

在ChatGPT这个里程碑式的超级工具爆燃时，我开始有些期待融合了机器翻译、科研数据分析、金融科技和数字城市大脑等领域大模型实现了不同领域间的迁移学习和行业知识融合的新的超级大脑中间件的样子了。

ChatGPT从模态上看，本质是一个面向自然语言理解和自然语言生成的文本模态大模型。作为自然语言处理领域的老兵，我们已形成了包括15大类、60+语种的多语言自然语言理解算法基准库，在产业化应用中主要以传统特定下游任务微调范式为主。但是，在低资源任务、零样本语种场景下会面临数据标注难、研发成本高等问题。ChatGPT采用的多任务、多语言、多场景统一训练学习范式启发，让我们在跨语言迁移、跨任务迁移能力的实现又缩短了距离。

在机器翻译方向，数了数，多年来我们在国际权威的机器翻译大赛评测中已累计获得了30多个第一，我们很努力地终于挤进了第一梯队，在那些国际大块头面前，有那么点倔强地另类。机器翻译技术发展至今已经较为成熟，并在很多场景下实现了人类替代。ChatGPT在过去认为差强人意的文学翻译领域，一些翻译结果可以用“惊艳”来描述。它会充分理解源语言的深层次含义，翻译内容也会根据目标语言特性，进行语言的灵活组织。某种意义上，ChatGPT为我们当前的机器翻译大模型研究提供了清晰路径或给出了明确的实验结果，或可以大大缩短原先研究路径。在新的大模型范式技术的加持下，结合累积五十年联合国文件翻译和覆盖各行业的高质量人工翻译的语料资源，相比较于追赶，我更期待的是对ChatGPT的超越，甚至有一天或许会逼近人类翻译专家的水平。

在知识图谱方向，2018年我们发布了知识图谱构建与分析平台，并持续的与用户一同探索构建行业知识图谱和场景应用。有人说ChatGPT雄厚的知识和推理能力将替代知识图谱。我却以为这是1+1大于3跳跃发展的踏板。一方面我们可以将多年积累的多语言多领域知识抽取语料、专家经验规则纳入到基于预训练机制和提示学习的统一文本到结构生成框架，解决国防安全等垂直领域低资源知识抽取难题。另一方面利用已积累的高达数十亿的高质量知识数据，来提升底层模型的认知能力，解决ChatGPT此类生成式大模型经常遇到的一些事实性错误、知识面覆盖不全等问题。

与生俱来的语言基因使得中译语通在2015年就已经布局跨语言语义检索，那时的想法简单且充满理想主义，就是希望统一的一种自然语言输入，深层次挖掘全球多语言数据。今天的ChatGPT显然也是理想主义之花结出的果实，这也让我们要更坚定新一代搜索技术的研发将重点向着跨语言生成、用户输入理解的过程可视化和搜索和内容生成的一体化融合，传统检索结果将作为内容生成的可解释性证据等方向探索。

机器写作和智能对话一直是AIGC的主角，也属于我们的少说多做的生成式AI技术类别。我们重点应用在军事安全、智能决策和人机交互等方向。ChatGPT在机器写作上惊艳表现，让我很确定基于事实的高质量、专业文本内容的生成与创作就是我们想要的未来。同时，在机器写作或者辅助决策的原始素材可追溯性和可解释性上，实现从大量素材阅读理解、业务需求分析、内容生成的全周期证据回溯，打破大模型的黑盒性将变的现实可行。

在社交机器人领域，只做不说的几年间，还是积累了能让自己满意的算法模型，但是在个性化、千人千面式的内容生成以及社交机器人成长性培养方面始终未找到流畅丝滑之感。而ChatGPT的出现，实现个性化生成目的的同时，引入强化学习机制，使得社交机器人能够在社交网络交互中进行自我学习，不断进行成长，实现社交行为的智能化、业务流程的智能化，完成社交机器人平台的完全自主性进步。

任何一项技术的研发都会经历那些默默地挖土刨坑，浇水施肥，苦闷发呆和静待花开的长长时光。入局者或者大量的资本，或者需要长期的技术跋涉才能购得入场券。我们还是那个不乐意大声说话，埋头干事的我们，有时候看起来可能慢了点，但泥泞的路上你可曾见我们后退过一步！