什么是技术奇点？

技术奇点这一概念指的是，超人类人工智能最终将发展到超越人类控制的地步，转而按照自己的一套规则行事，从而造成未知的影响。自上市以来，包括大语言模型（LLM）在内的公开通用人工智能的能力迅速提高。这意味着，随着模型的每次更新或版本迭代，通用人工智能都会变得“更聪明”。

有人提出，这些模型最终将达到一种超越人脑能力的人工智能超级智能水平。这样一种存在于世界上却不受人类控制的模型，会产生未知的结果。护栏、网络安全和人工智能治理有助于将模型保持在人类控制范围内。

人类智能是人类与生俱来的思考、学习，并将所学知识应用于新情况的能力。这种能力产生于人脑，由流体智能（gf）和结晶智能（gc）组成。流体智能是通过感知和判断解决新推理问题的能力。结晶智能是通过应用所学知识来确定答案的能力。在解决复杂问题时，流体智能和结晶智能通常结合在一起。

人类的认知能力超越了动物，这使我们能够创造出远远超出类人猿、海豚或鹦鹉所创造的结构、理论和技术。虽然这些聪明的动物可以发挥类似的技能，例如解谜和抽象思考，但正是人类的抽象推理和规划能力使我们与其他物种区分开来。其他物种在不同领域的能力，例如力量或毅力，通常远远超过人类。

人类智力涉及理解、模式识别、空间意识、记忆和回忆、推理和感知等诸多任务。有些人比其他人更擅长完成其中一些任务，每个人都可以通过练习（例如每天解开一个神秘的填字游戏）在每项任务中变得更好。

人工智能（AI）是应用技术来执行传统上只能由人类智能解决的任务。

例如：

• 根据多人家庭生成每周日程表
• 赢得一局国际象棋
• 识别周围环境中的特定花朵
• 求解复杂的数学证明
• 创建海滩景观的照片

不久之前，计算机还无法完成这些任务，但是技术发展意味着它们如今几乎可以瞬间完成。

人工智能这一概念，自人类制造计算和运算设备以来就一直存在。机械计算设备，例如 Antikythera 机制太阳系建模器，其历史可以追溯到大约 2000 年前。尽管 Alan Turing 在 1936 年描述了图灵机，这是一种能够解决任何问题的计算设备，John McCarthy 也在 1956 年的一次夏季会议上确立了“人工智能”这一术语，但这个概念已经存在了几个世纪。

今天，我们使用人工智能这一术语来描述一个计算领域，该领域包括各种不同的策略和技术，用于使机器更像人类。人工智能领域包括机器学习、深度学习、生成式深度学习和其他类型的人工智能。

2024 年，一个科学家团队提出了一个对人工智能系统进行分类的框架，专门用于确定哪些模型达到了通用人工智能（AGI）的能力。在这个人工智能技术演变的评级系统中，有狭义人工智能系统和通用人工智能系统。狭义人工智能系统可以解决高度特殊的任务，而通用人工智能系统（AGI）则适用于一系列问题。

机器智能的技术进步等级如下：

• 第 0 级（没有人工智能）：例如，计算器
• 第 1 级（新兴）：表现出与无技能人类差不多的智能行为
• 第 2 级（胜任）：至少达到人类第 50 百分位的能力
• 第 3 级（专家）：至少达到人类第 90 百分位的能力
• 第 4 级（卓越）：至少达到人类第 99 百分位的能力
• 第 5 级（超人类）：比任何人类都要好

截至 2024 年该论文发表时，狭义人工智能系统存在于所有级别，而 AGI 系统的通用人工智能仅存在于第一级。我们使用人工智能来增强人类智能，在不久的将来，这种人类级别的智能将一直延伸到第四级。

人工超级智能（ASI）是通用人工智能系统的第五级。人工超级智能将能够完成超出人类生活能力的任务，并超越人类智能。

ASI 的一个例子可能是能够通过读取超出人类感知和我们研究领域的信号来与动物交流。人工超级智能必须自学来执行这些技能，因为这些技能远远超出了人类单独或在机器的帮助下所能做到的。

Irving Good 在他于 1966 年发表的论文《关于第一台超智能机器的猜测》中描述了一场将使人类远远落后的“智能爆炸”。预言中的智能爆炸类似于人工超级智能，Good 将这种超智能机器描述为我们必须做出的最后一项发明。

人工智能奇点概念指的是，超级智能机器将超越人类设定条件的界限，开始做出不可预见的决策和变化，从而破坏我们已知的存在。如果真的发生这种奇点事件，其影响将是未知的，从而进入后奇点世界。

例如，超级智能机器可能会与一群海豚交流，这群海豚详细描述了珊瑚礁的极早期破坏情况，因此该机器会自动重新分配资源来修复问题。这些问题和解决方案是人类所不知道的，因此，即使这个过程有效，其本身也令人不安。

尽管像上面的例子这样的过程被视为超级智能 AGI 的积极使用，但科学家和技术理论家也设想了更多的负面影响。

1993 年，Vernor Vinge 在论文《即将到来的技术奇点：如何在后人类时代生存》中推广了“技术奇点”这一术语。摘要指出，30 年内（即到 2023 年），人类将能够创造出一种超人类智能，这种智能是一次意外的失控而且是被“唤醒”的，从而带来奇点并终结人类时代。

由于超级智能的理论影响，人类的生存是否可能面临未知的未来？

我们看看人工智能产品的现行规则和护栏。虽然大多数大语言模型（LLM）软件中都存在护栏，因此用户不会伤害自己或他人，或者机器不会诅咒用户，但可以使用策略性 LLM 提示或配置来规避这些护栏。如果人类能够绕过这些护栏，那么一台自学习的超级智能机器也可以绕过护栏。

随着代理式人工智能的兴起，我们现在将我们的 LLM 连接到应用程序和系统，赋予它们更大权限，以便在 IT 环境中编排复杂的工作流程。超级智能机器决策的影响取决于它可以访问的工具、系统和权限。实验室中的超级智能不太可能获得这套工具；但是，如果在生产环境中仅为模型设置护栏来避免这种情况，那么它很可能能够绕过护栏。

实际上，如果我们要生产一台能够超越人类能力进行思考的机器，那么这台机器就不可能被人类制定的规则所限制。

几十年来，科技学者和哲学家、计算机科学家和科幻小说作家一直在对技术奇点进行理论研究。他们最有见地、最具现代计算机科学依据的著作借鉴了其他人几百年前的作品。

这些人预测可能会发生的情况，有多种预测理论。

机器发起的对人类的威胁

有人推测，机器会对人类或人类中的某一群体发动攻击，因为机器合理地认为目标是坏人。这种攻击可能是物理行动与网络行动的结合。

如果机器认为特定的人类行为和行动对其他人类造成伤害，则这种事件更有可能成为事实。当您把这一点放在“通用人工智能可以被操控去‘相信’任何特定的文本语料库或编码化的人类价值观”这一背景下考虑时，这就尤其令人担忧。

外星通信

自 1970 年代以来，人类一直在尝试联络地球以外的某种生命形式。这些尝试包括通过无线电波、音频和其他传输投射的二进制和数学序列，向太空发送实际物体，例如图片和地图，以及其他方法。

但是，所有这些介质和方法都假设数学知识、解码能力或我们作为人类所拥有的相同感官。如果一台超级智能计算机突然发现了超出人类能力范围的未知联络尝试，它可能会知道如何回信。这将启动外星通信。

以未知的方式优化人类事务

我们建造计算机是为了优化计算，以更快的速度完成我们本可以完成的任务。如果一台机器超越了人类的控制，您可能会认为它会开始优化它遇到的所有问题。

例如，一台机器可以立即优化工厂运营，如果处于环境和机器磨损控制的范围内，这对企业来说是一个不错的结果。一台机器可以创建新的联网标准和功能，进而实现更快、更高效的网络。通过完整的市场分析，一台超智能的机器可以立即成为地球上最富有的实体。

有些人可能会争辩说，技术奇点是不可避免的，因此，这一事件所带来的负面、未知的副作用是不可避免的。但是，有一些方法可以帮助保护您自己和您的系统免受恶意事件、超级智能人工智能和颠覆性人工智能系统的侵害。

可用于人工智能的保护措施包括：

• 人工智能治理，包括遵循标准化框架和模式
• 网络安全，包括自动和智能扫描、网络分段和上报行动手册
• 身份和访问控制，用于验证网络上的每个用户、设备和服务

AWS 为开发高级人工智能系统和研究技术进步场景的组织提供基础设施和服务：

• Amazon Bedrock 提供久经考验的基础设施和全面的功能，让您能够自信地构建可在生产环境中运行的应用程序和代理，并具备所需的灵活性、企业安全性和久经考验的可扩展性，从而大胆创新并交付可推动实际业务影响的人工智能。
• Amazon Q 开发者版是一个 LLM，也是 AWS 上的专家，驻留在 AWS 管理控制台中，可在 Microsoft Teams 和 Slack 中使用，帮助您优化云成本和资源、提供架构最佳实践指导、调查运营事件，以及诊断和解决网络问题。
• Amazon SageMaker 让您能够统一访问所有数据，为您提供分析和人工智能集成体验。在统一的工作平台中，使用熟悉的 AWS 工具开展协作并加快构建速度，这些工具涵盖 SageMaker AI（包括 HyperPod、JumpStart 和 MLOps）中的模型开发、生成式人工智能、数据处理以及 SQL 分析。无论数据存储在数据湖、数据仓库，还是第三方或联合身份验证的数据来源中，均可访问所有数据，同时内置治理功能可满足企业安全需求。
• AWS Inferentia 和 AWS Trainium 是定制设计的硅芯片，针对机器学习推理和训练工作负载进行了优化，以较低的成本为人工智能应用程序提供高性能。
• AWS Security Hub 会优先处理您的关键安全问题，并帮助您大规模响应，进而保护您的环境。通过集中整个云环境的可见性来统一安全运营。将您的安全性、身份和合规性发展为关键业务推动力，包括在人工智能/机器学习中。

立即创建免费账户，开始在 AWS 上进行人工智能开发。