AI用序列理解时间
作者：微信文章扩散模型通过加噪或去噪，学习了数据的在图像空间中的概率流。它隐式地学习了数据在时间（扩散序列）中的演化，将噪声空间推导出语义结构的空间。
LLM通过预测下一个词，学习语言词汇的概率分布，生成的过程也是序列。不过Transformer的注意力机制不依赖线性时间，建立了全局的关联。
有点像波函数。其本身确定性地演化，但可观测的预测是概率性的。
包括热力学的时间箭头源于统计力学，是完全对称的，但是在宏观的概率统计上显示出了方向性。
因此，这些系统是否依赖于一种共同的架构？
相对论启将时间单向流动作为前提假设，而统计学理论从事件的顺序，也就是因果，构建出时间的方向。
同样地，如果我们要创造某种智能，也需要构建一个内部时间维度，在其中进行概率演化。
这是一种在时间维度上的熵减，而时间恰好是概率的展开。
我们可以通过构造时间维度来学习概率演化，而概率本身是时间的本质，一个优雅的闭环。
因此，llm只是高维空间中的一个点，整个生成过程就是在这个空间中，沿着一条路径移动。
这意味着所有的位置平等存在，生成或阅读的时候，我们只能占据一个位置。
同时，我把智能理解为基于历史的预测机：通过历史的学习，是将过去投射为未来的一种方式。
如果这样看，如果AI的一切输出都隐含在初始条件中，那么我们的思想和行为是否也隐含在宇宙的初始状态中？
比如这篇文章从我写开始就是确定的，我只是活在写作的那个时间截面里面。
生成的过程只是在遍历这个“可能性块宇宙”的一条路径，而生成的过程就像跟随时间轴移动的光锥。
页:
[1]