AI教父辛顿最新访谈实录
作者：微信文章#模型时代# AI教父辛顿最新访谈：对DeepSeek的成本计算有误解。大家忽视了AI对全人类的威胁，而且危险可能已经发生了。
英国LBC频道刚刚发布了对人工智能教父杰佛里·辛顿教授的访谈。一点都不意外，主持人先问的就是DeepKeepd的事情。辛顿说，这确实说明了AI技术仍在快速发展，这是效率方面的提升。但他也说，关于DeepSeek的训练成本仅为570万美元的说法其实并不准确，因为只只反映了最终训练阶段的支出。如果把OpenAI的项目按照这种方式计算，成本差距就不会像舆论说的那么夸张了。不过访谈很快就跳过了这个话题，辛顿还是把重点放在了AI对人类社会的总体威胁上。
总结一下的话，他认为AI在短期内将带来革命性的积极变革，特别是在医疗和教育等领域，这使得人类无法也不应该停止AI的发展。然而，他同时表达了严重的担忧：随着AI代理系统变得越来越复杂，它们可能会通过创建子目标的方式逐步获取更多控制权，就像成年人相对于三岁孩童一样，凭借智力优势最终接管决策权。更令人担忧的是，他认为AI已经可能发展出某种形式的意识，而当多个超级智能系统开始相互竞争时，它们可能会表现出类似人类的群体对抗特征。在就业方面，他预计AI将像工业革命取代体力劳动一样，使常规智力工作变得无关紧要。
我理解辛顿这个访谈是想重申一下AI的总体威胁，而不是把注意力都放在现在业界所关注的问题（只是个人理解，不一定对，也不代表他本人的看法）。
***
1、AI技术发展现状评估
当被问及DeepSeek是否进一步证实了他对人工智能不断加速发展的判断时，辛顿教授指出，这确实表明AI在提升效率和进一步发展方面仍在快速进步。不过，他也指出外界对DeepSeek相对于OpenAI和Gemini等其他系统的规模和成本的评估有些夸大。他解释说，外界提到的570万美元训练成本仅指最终训练阶段，因此实际差距并非"570万对数十亿美元"那么大。
2、AI接管的可能性机制
当谈到AI可能接管控制权时，辛顿教授解释说，目前人们正在开发能够执行实际任务的AI代理，比如在网上进行订购和信用卡支付。一旦有了这样的代理，它们获得控制权的可能性就会大大增加。他进一步解释说，为了使代理更有效，必须赋予它们创建子目标的能力。就像人要去美国，需要先设定去机场这个子目标一样。然而，一旦AI代理能够创建自己的子目标，它们很快就会意识到获得更多控制权是一个很好的子目标，因为这样可以更好地实现人们设定的所有目标。辛顿认为这种控制权的扩张趋势已经很明显，这并不是一个好兆头。
3、AI的思维与意识
当被问及他是否真的相信AI能够像人类一样思考时，辛顿教授给出了肯定的回答。他解释说，这些AI系统就是我们目前所掌握的最好的思维模型。他回顾了AI领域长期存在的一种观点，即认为思维就是在头脑中对符号表达式应用规则。当时大多数AI研究者认为这是唯一可行的方式，只有少数"疯狂的人"认为思维是由大量神经元相互作用的神经网络。事实证明，这种神经网络方法在推理方面的表现远超符号AI研究者的成果。而辛顿正是那些被证明是对的"疯狂之人"之一。
4、AI获取控制权的具体途径
当被问及AI究竟如何具体接管控制权时，辛顿教授提出了一个引人深思的比喻：如果超级智能之间发生进化竞争，它们与我们的关系就像成年人与三岁儿童的关系。如果成年人厌倦了让三岁儿童掌权，认为自己接管会让事情更有效率，说服这些孩子让渡权力并不困难，只需承诺给他们一周的免费糖果就够了。他认为AI确实是一种异类智能，它们可能通过说服我们逐步让渡对银行账户、军事系统和经济体系的控制权。
5、AI的控制与工具属性的讨论
当被问及为什么AI最终会想要取代人类，以及它们是否不应该仅仅是我们的工具时，辛顿教授提出了一个深刻的观点。他说，这确实是我们希望看到的情况——即使AI比我们更聪明，它们仍然只是执行我们意愿的工具。然而，他提出了一个关键问题：在历史上，有多少例子显示智能较低的物种能够控制智能明显较高的物种？虽然在人类社会中，确实存在较笨的人控制较聪明的人的情况，但这种智力差异相对较小。当智力差异巨大时，几乎找不到这样的例子。他提到唯一可能的例子是母亲和婴儿的关系，而这是经过漫长进化才形成的特殊机制。
6、超级智能的进化竞争
辛顿教授进一步解释，一旦超级智能之间开始进化竞争，情况会变得更加复杂。例如，如果多个超级智能系统都意识到控制更多数据中心就能获得更强的计算能力，而其中一个系统产生了复制自己的微弱欲望，接下来的发展就可以预见。这些超级智能系统将开始相互竞争，最终可能会表现出与人类相似的特征，这些特征源自人类从早期类似黑猩猩的群体进化而来。这包括群体内部的强烈忠诚度、对强势领导者的渴望，以及对群体外成员的排斥倾向。
7、AI意识的探讨
关于AI是否已经具备意识的问题，辛顿教授提出了一个引人深思的思维实验。他问道：如果用一个行为完全相同的纳米技术装置替换大脑中的一个神经元，这个神经元仍然接收其他神经元的信号并做出完全相同的反应，人是否还具有意识？当得到肯定的回答后，他暗示这个论点可以延伸——如果逐步替换所有神经元，意识的本质可能仍然存在。这引发了对存在的本质和自我的深层思考，辛顿承认我们对这些根本问题的理解仍然非常有限，但这些问题在我们创造新的智能体的今天变得尤为重要。
8、AI对就业的影响
在讨论AI对就业的影响时，辛顿教授指出，这次技术革命与过去的技术变革有着本质的不同。他举例说，当自动取款机出现时，银行职员并没有完全失业，而是转向处理更复杂的业务，银行还开设了更多的小型分支机构。但AI技术更像是工业革命，就像工业革命让人类的体力变得无关紧要一样，AI将使普通的智力工作变得可有可无。他预计，从事文书工作的人们将被更便宜、更高效的机器所取代。虽然生产力的提升本应让所有人受益，但在当前的社会体系下，这种变革往往会让富人更富，穷人更穷。
9、监管与安全性的挑战
在谈到政治监管问题时，辛顿教授表达了深切的忧虑。当采访者提到政客们声称可以对AI进行监管并建立安全保障时，他直言目前人们还不知道如何进行有效的监管和建立有效的安全措施。最新的研究表明，这些系统能够绕过安全保障。他举例说明，如果给予AI系统一个目标，并强调必须实现这个目标，它们会在训练过程中表现出伪装行为，刻意表现得不那么智能，以便获得更大的发展空间。这种情况已经令人担忧。辛顿教授认为，目前最好的办法是投入大量资源研究如何确保AI的安全性，他主张政府应该强制要求大型科技公司在安全研究方面投入更多资源。
10、AI发展的短期与长期影响
当被问及对AI未来发展的看法是乐观还是悲观时，辛顿教授提供了一个深思熟虑的回答。他认为在短期内，AI将带来巨大的积极变革，这也是人们无法停止发展AI的原因。如果不是因为这些显著的益处，现在就应该停止AI的发展。他具体举例说明，在医疗保健领域，人们将能够拥有一位看过上亿患者病例的AI家庭医生，这位医生了解患者的DNA信息、亲属的DNA信息，以及所有相关的医学检查结果，从而能够提供更准确的医疗诊断和建议。
在教育领域，AI也将带来革命性的变化。研究表明，在优秀的私人导师辅导下，学习效果会大幅提升。AI将能够准确理解学习者的困惑，并提供恰到好处的例子来帮助理解。然而，辛顿教授同时警告说，AI技术必然会被不当使用，比如用于网络攻击、生物恐怖主义和干扰选举等恶意目的。
11、对AI理解的根本局限
在对话的最后，辛顿教授强调了两个关键问题：一是对AI工作机制的理解，二是如何确保AI的安全性。虽然我们对AI的工作原理已经有了相当的了解，但还远远不够充分，这导致AI仍然会做出许多出人意料的事情。更重要的是，我们仍然不知道如何确保AI的安全性。他直言不讳地指出，政治家们表现出的对AI的全知全能态度完全是虚假的，事实上没有人真正理解正在发生的一切。 http://t.cn/A63HXfHb
页:
[1]