院士著作 | 《深思人工智能》:一本兼具思想深度与可读性的高层次科普读物!

本文来源《深思人工智能》序言
人工智能(Artificial Intelligence,AI)是一门年轻的学科。1943年沃伦·麦卡洛克(Warren McCulloch)和沃尔特·皮茨(Walter Pitts)发表了第一篇关于神经网络模型的论文,这篇论文提出的M-P(McCulloch-Pitts)模型,对当今的人工智能起到奠基性的作用。即使从20世纪40年代算起,人工智能也只有80多年的历史。80多年来,人工智能的发展起起伏伏,有过辉煌,也有过寒冬,但从来没有像今天这样,受到这么多人的关注。人工智能正在发展为对人类技术进步和社会发展影响最深刻、最广泛的技术。
近几年,人工智能领域不断冒出令人惊奇的成果。AlphaFold-3改变了生命科学的研究范式,多智能体AI“虚拟实验室”已经能设计出真实生物分子候选。AI自动编程可以支持一两个人创办的公司全年销售额超过4亿美元;自2024年以来,AI在软件/研究型计算任务上自主完成长任务能力的翻倍周期已压缩到88.6天,编程能力一年提高16倍。安装能调用API的智能体风靡全球(俗称“养龙虾”),让智能体不仅会聊天,而且可以成为人们做事的得力助手;“The AI Scientist”智能体把科研全链条打通,其全自动生成的稿件高分通过了ICLR 2025会议双盲同行评审。这样的新闻不仅是网络媒体的头条,而且是人们茶余饭后的谈资。人们一方面兴高采烈地享受AI的技术红利,另一方面又担心AI成为人类的“掘墓人”。媒体对机器人征服人类的过度渲染,使大众对人工智能产生莫名其妙的恐惧。政府相关部门在制定人工智能政策时也往往举棋不定,难下决心。
人工智能从诞生起就有很多争议,目前它的基本概念、研究方法和判断标准尚未统一,许多重要的问题没有形成共识。这几年连接主义人工智能突然变得聪明能干,使人工智能在一些领域成为可以普及应用的技术,但科学家对生成式人工智能有这么强的能力也不知其所以然,普通人对人工智能更是充满疑问。
不同于物理、化学等传统学科,人工智能面对的问题与人类的思维、情感和意识有密切关系,容易引起人们的好奇心和疑惑。而人工智能领域从一开始就有一种崇拜权威的文化,20世纪70—80年代的《人工智能》期刊,不采用常规的同行匿名外审,而是采用以权威学者推荐为主的编委负责制。人工智能历史上也发生过因为个别权威学者对感知机(Perceptron)的否定,就将连接主义人工智能的研究“打入冷宫”的事件。近几年人工智能企业崛起,某些著名企业家和投资人带偏向性的言论对大众的认知可能有重大影响。因此,在人工智能领域,独立思考、避免盲从显得格外重要。
20世纪80—90年代,我曾经是人工智能的“弄潮儿”之一。AAAI现在是全球最有影响力的综合性AI会议之一,1984年我在AAAI会议上发表了一篇关于并行搜索的论文,这可能是国内学者最早在AAAI发表的论文[①]。从1990年开始,我担任国家智能计算机研究开发中心主任,为研制适合智能应用的高性能计算机和选择我国人工智能技术的发展方向尽过力。尽管后来工作在管理岗位,但我始终没有放弃对人工智能技术的关注。特别是在大数据和大语言模型兴起以后,人工智能技术日新月异,我一直在观察和思索人工智能领域的基本问题,可以说是人工智能洪流的观潮者和智能科技的思考者。近半年来,我写了几篇关于深入思考人工智能的文章,加上近两年在《中国科学院院刊》《计算机研究与发展》《科技导报》《计算》杂志(原《中国计算机学会通讯》)等刊物上发表的文章,编辑成一本新书《深思人工智能》,较深入地讨论了人工智能领域许多让人感到困惑的问题。我的文章虽然经过了自己的反复思考,但仍然是一家之言,仅供大家参考,希望能抛砖引玉,引起大家对人工智能基本问题的讨论。
《深思人工智能》这本书主要包括三部分内容。一是对人工智能几个关键问题的追问,如人工智能到底是一门什么学问?大语言模型为什么威力如此巨大?通用人工智能(Artificial General Intelligence,AGI)是不是发展AI的主要方向?人工智能的边界在哪里?人工智能的显著经济效益何时才能体现?二是对科研范式和计算范式(Computational Paradigm)变革的讨论,重点阐述被称为第五科研范式的智能化科研(AI for Research)与被称为计算机科学2.0的开放演化计算。三是关于人工智能的安全与风险,重点是基于可判定性理论的人工智能安全风险分类和人工智能的自主性。
在写本书的过程中,我持续地自我发问,也与GPT-5、豆包等系列大语言模型进行了不断深入、刨根问底的讨论,试图找到元问题和元答案。有些问题问到最后是一个开放性的问题,目前还没有答案,但至少已经搞清楚问题在哪里。本书阐述的一些看法不是现在的主流观点,但可能对科技界和产业界有借鉴意义。下面列出本书的10个重要观点。
(1)“像人”不应当是人工智能研究的主要目的,人工智能不只是模拟人类认知的特定工具集,而且是一种用于探索未知、发现规律、生成模型的“元级探索方法”。目前的人工智能还处在“前范式科学”阶段,是尚无统一理论指导的“通用前置方法”,用于探索未充分理解的领域。
(2)智能不是意识,更不是灵魂。智能是系统在有限资源条件下,通过持续降低未来不确定性来实现目标的能力。自我意识和价值观的“主观性”是机器难以跨越的鸿沟,人工智能只能模拟人类意识和价值观,不可能直接为机器“造心”或“立心”。AI的智能是功能性的、行为主义的、外赋的,而人类的智能可以包含现象学的、主体性的、内生的维度。在对计算的边界有根本性的突破之前,“用计算模拟非计算”是人工智能发展的核心范式。
(3)大模型是一种建立在动力系统(Dynamical System)基础上的新计算模型,其基础理论是“流形假设”:真实世界的数据实际上只分布在高维空间中的一个低维、光滑的“曲面”上。“非线性+深层结构”是让模型进入“组合爆炸的高维函数空间”的通道。Transformer的威力来自“全局依赖、并行计算、世界建模”三者的完美统一,体现了智能的核心机制:信息压缩+预测。Transformer成为生成式AI的基础结构,揭示了技术发展的一条普遍规律:重大的通用技术往往不是为通用性而设计的,而是在解决具体瓶颈时孕育出来的。大语言模型表达的不是事物本身,而是关于事物的语言痕迹。大语言模型之所以强大,是因为它处理的对象是人类语言,语言本身就富含世界结构。大语言模型能力范围之外的部分,恰恰是AI时代最值得人类重新扎根的地方。
(4)争论通用人工智能何时实现没有意义,因为这是一个伪问题,不同人心目中的AGI的目标不一样。仅靠基于Transformer的机器学习范式几乎不可能构建出真正的AGI。当前的机器学习的主流范式是AGI的“必要条件”,不是“充分条件”。发展AI的主要目标不是LLM-AGI,而是“可信可用AI”,人工智能的高可信度和真正可用才是重点发展方向,要把AI嵌入人们真正感到“痛”的地方。更平衡的AI发展策略是“数据中心AGI+专用AI”双轨并行发展模式。通用灵活的AI操作系统(AI-OS)是实现AGI的前提。
(5)人工智能的宏观经济效应还没有显现。AI驱动的第六次康德拉季耶夫经济长波很可能出现,但不是必然会出现。人工智能究竟能产生多大的经济影响,取决于我们能否在技术狂奔中构建合理的治理框架,制度与环境能否适应AI技术的发展。
(6)AI4R(AI for Research)是向智能时代迈进过程中出现的新科研范式。把智能化科研称为第五科学范式的原因之一是,只有突破还原论和经典计算范式的思想枷锁,采用智能化的新范式,才能应对输入、输出和求解过程的不确定性。科研的智能化是一场科技上的革命,它带来的机遇和挑战将决定未来20年中国在科技发展上是与国际先进水平拉大差距还是迎头赶上。目前推动智能化科研发展主要的阻力来自科学家本身,只有广大科学家积极主动地参与,智能化科研才能走上健康、快速发展的轨道。
(7)21世纪第三个十年,人类已站在计算文明的分水岭上。长期以来,计算机界主要关注基于符号和算法的计算,开放演化计算的兴起是涉及人类认知和文明进程的计算范式变迁。计算范式是指一类计算系统在信息表示方式、状态演化机制、规则生成机制、语义生成机制与系统边界条件上共享的结构性约束与构成原则。计算范式正在从“离散、算法、规则固定、外赋语义、封闭单体”向“连续、动力系统、规则生成、语义内生、开放生态”多维方向扩展。在规则生成、语义生成与系统开放性这3个维度上发生的内生化转变,将引发颠覆性的范式断裂,这可称为计算范式2.0或计算机科学2.0(CS2.0)。CS2.0并非取代CS1.0,而是在其之上构建分层体系,其中CS1.0承担控制与验证功能,CS2.0承担生成与适应功能。
(8)图灵机定义的是“可计算函数”,不是对“什么是计算”进行完整全面的定义。现实中存在大量非图灵型的计算过程,它们仍然是计算。计算是一个物理系统在其内在动力学的支配下对信息状态进行结构化的时间演化,从而实现某个功能映射的过程。非图灵计算应当具备“连续表示”“连续计算”“非符号”和“非算法”的特征。目前至少有9种计算范式可以被认为是非图灵计算范式:模拟计算、神经网络计算、神经形态计算、连续变量量子计算、交互式与具身智能计算、热力学概率计算(P-bit计算)、化学反应网络(CRN)计算、光学(模拟)计算、DNA-分子计算量计算。20~30年内,AI原生的非图灵计算机将与数字计算机并列,成为AI计算的主流计算机之一。各种不同的非图灵计算范式适合不同的应用领域,图灵计算和多种非图灵计算的融合势在必行。未来的AI计算机将是“数字(离散、符号)+连续(模拟、动力学)”的异构混合体。
(9)本书的一个创新点是根据可验证性对科研问题进行分类:可封闭验证的问题被称为R1类问题;不可封闭验证的问题被称为R2类问题。从逻辑复杂性的角度来看,R1类问题是可判定问题,R2类问题是半可判定问题。可验证性的边界就是自动化的边界,长远来讲,一切可验证的问题都将被AI(即机器自动化)接管。R2类问题只能被治理,其风险不能被事前证明和消除。所有工程上可解决的安全问题都在R1级,R2级风险不可能在系统内降为R1级风险。实现安全应当从正确性验证和制度兜底两个方向努力。稳定治理的4个典型机制是门控(Gating,限制系统能力)、审计(持续监测行为)、回滚(Rollback,当错误发生时恢复系统)和沙盒(限制错误影响范围)。AI是一种持续扩大R2类问题域的技术,AI的主要风险是把R2类问题当作R1类问题治理,这正是人工智能治理的核心。
(10)自主性和可控性是一对相互矛盾的目标,既不能“完全自主”,也不能“完全可控”,要找到自主性与可控性的平衡点,实现可控的自主。为了防止AI系统出现“越界自主”的行为,必须实行“三不原则”:①不让AI设定初始目标;②不让AI完全自主修改自身代码;③不让AI完全自主控制其能量或算力资源。这3条原则是AI自主性的安全红线。AI系统不为生存竞争资源、不拥有生态闭环,没有“死亡压力”,也就不会有物种演化。人类文明的稳定性不允许一个不可审计、不可回滚、不可共治的新物种出现,因此,没有文明级“制动机制”(Kill-Switch)的AI系统不应允许进入部署阶段。我们不是让AI“相信某种价值”,而是让AI无法越过某些价值边界。人类必须永远处在AI系统的外部,防止AI系统把“决定其是否扩展或自我修改”的最终判定内化为自身的可优化目标或机制。完全靠扩大训练数据规模和强化大模型事前测试不可能解决所谓的“对齐”难题。
本书取名为《深思人工智能》,其含义是不要随大流,盲目相信网络上流传的关于人工智能的某些偏激或片面的说法,要像剥洋葱一样,一层一层地深入内核,持续深入地追问“为什么”,直到找到第一性原理或最基础的不可能原理。例如,从“人工智能的自主性是什么”开始,可以一连串地追问:人工智能的自主性是能力上的提高,还是可以改变规则、目标和评价标准?→改变规则、目标和评价标准会带来什么风险?→人工智能通过自验证能不能化解这些风险?→人工智能的自验证有什么基本原理上的限制?→如果有原理上的限制,人类是不是应从外部介入AI系统的治理?→人类的外部治理可以防止人工智能失控的理由是什么?→人类社会本身为什么至今没有完全失控?……只有通过深思,才能发现问题的本质,进而找到解决问题的根本办法。
除了上面介绍的内容,本书还收录了我30多年前写的关于人工智能的两篇老文章,虽然是20世纪90年代初写的文章,但现在仍然有参考价值。两篇为朋友的新书写的序言也收录在本书中,评价了维纳的《控制论》,并对李德毅院士提出的“认知物理学”发表了一些看法。近两年我在一些场合作了几场报告,内容涉及具身智能、AI原生网络、智能芯片等,根据这些报告整理的文章也收录在本书中。
本书不是专业学术著作,全书没有复杂的数学公式,可以看成较高层次的科普书。要理解人工智能的边界和局限性,需要懂得一点计算机科学和逻辑学的基本原理,比如哥德尔不完全性定理、莱斯定理(Rice’s Theorem)等。这些定理是经过严格证明得出的结论,为构建人工智能的大厦提供了不可撼动的基石。本书只涉及这些原理的应用,引用这些原理旨在启发读者深入思考人工智能的边界。我相信大学生、科研人员、企业管理者、党政干部和公职人员边读边思考,都能明白这本书的内容。我的知识有限,又缺乏实战经验,书中肯定有偏颇甚至错误之处,请读者批评指正。
人工智能包含无穷的奥秘,人类已经追问了几十年,今后还会继续问下去。老的疑问解决了,新的问题又会冒出来。“不识庐山真面目,只缘身在此山中”,也许只有走出“这座大山”,才能看清人工智能的真面目。
李国杰
2026年4月6日
① 网络上有关于“中国AI顶会第一人”的文章,其中包括“AAAI第一人李国杰”,但将笔者的文章发表时间错写成1986年。

李国杰,1943年5月出生于湖南邵阳,1968年毕业于北京大学物理系,1985年获美国普渡大学博士学位。1987年年初回国,工作于中国科学院计算技术研究所(以下简称计算所),1989年被聘为研究员,1990一2000年担任国家智能计算机研究开发中心主任,2000一2011年担任计算所所长,现任计算所首席科学家。1995年创建曙光信息产业(深圳)有限公司,2014年公司在上海证券交易所上市。1995年当选中国工程院院士,2021年当选第三世界科学院院士。主要从事计算机体系结构、并行算法、人工智能、计算机网络、信息技术战略等方面的研究,发表科学论文100多篇,出版了《创新求索录》《创新求索录(第二集)》《创新求索录(第三集)》等文集和《新一代信息技术产业培育与发展研究报告》《中国至2050年信息科技发展路线图》等战略咨询报告。长期从事国家863计划高技术研究,两次担任国家973计划项目首席科学家。主持研制成功曙光一号并行计算机、曙光1000大规模并行计算机和曙光2000/3000超级服务器,领导计算所成功研制龙芯CPU,获得国家科学技术进步奖一等奖和三次二等奖。1994年获得首届何梁何利基金科学与技术进步奖,2000年被评为全国先进工作者,2015年被人民日报社等机构和大众评为我国自主品牌十大领军人物。曾任第九届、第十届全国人大代表,中共十七大代表。现兼任中国计算机学会名誉理事长等职。

本书围绕人工智能的核心追问展开,深入探讨了人工智能的学科本质、大模型的威力来源、通用人工智能的正确发展方向、人工智能自我进化的边界、规则与语义内生的安全风险与治理、第五科研范式、计算范式的扩展与跃迁等关键议题;提出了“人工智能还处在‘前范式科学’阶段”“规则和语义不封闭将驱使计算机科学从CS1.x跃迁到CS2.x”等独到观点;给出了“可信可用AI比AGI更重要”等务实建议。
本书不盲从主流观点,坚持从第一性原理与逻辑边界出发,深入浅出且无复杂公式,兼具思想深度与可读性,适合大学生、科研人员、企业管理者及政府官员等希望系统理解人工智能本质与边界的思考型读者阅读。

第一章 追问人工智能
人工智能到底是一门什么学问? / 2
人工智能何时才能显著提升经济增长率? / 14
人工智能的边界在哪里? / 34
机器学习大模型为什么威力如此强大? / 44
通用人工智能是发展AI的主要方向吗? / 60
关于具身智能的元思考 / 78
从认知物理学看智能、智慧和意识
——李德毅院士新书《人工智能的边界》序言 / 87
维纳《控制论》的回归与升华 / 95
人工智能的计算复杂性研究 / 101
AI理论研究的方法论问题 / 110
第二章 智能与计算
智能化科研:第五科研范式 / 116
对“AI+科学技术”的几点认识和建议 / 125
有关人工智能算力与芯片的几点看法 / 132
AI原生计算网络 / 138
计算的魅力 / 150
计算范式的扩展与跃迁:从CS1.0到CS2+ / 160
计算机科学的本体论框架 / 184
为什么要高度重视非图灵计算范式研究? / 203
第三章 人工智能的安全和风险
从基辛格的遗作《创世纪》谈人工智能的风险 / 220
基于可判定性理论的人工智能安全风险分类 / 229
如何看待人工智能的自主性和自我进化能力? / 245
AI for Science的验证瓶颈和安全风险 / 263


【京东扫码抢购】

更多推荐
所有评论(0)