巨屌 twitter 为什么AI试验上即是个“压缩机”？

发布日期：2025-04-26 09:01 点击次数：157

谷歌最近发了篇论文巨屌 twitter，重申了一个来自信息论的不雅点——“压缩即智能”。固然，论文的新意，在于通过对“压缩率”的界说并提议关系诡计按序，从而不错尝试对“压缩即智能”给出一个定量的露出注解，并将其与东说念主工智能大模子考虑起来。

所谓“压缩”，全称固然是“数据压缩”。正如一册写得出奇机动意旨的普及读物《数据压缩初学》所指出的：

“咱们需要知说念这么一件事：咱们当下生计在其中的这个诡计寰宇，裕如建造在数据压缩算法之上。

是的，每个部分王人是如斯。

每个网页、每个图像、每首歌、每个对于猫的视频、每部流媒体收集电影、每张自拍照、每次电子游戏下载、每个小型交往，以至是操作系统的每次更新，所有这个词这一切王人收获于压缩算法。事实上，哪怕仅仅思通过互联网传输一个二进制位的数据，也离不开压缩的内容。

数据压缩时候最让东说念主惊异之处在于，它与往日40年里个东说念主诡计的好多紧要更正考虑，但很少有东说念主知说念这一丝。”

信息论首创东说念主克劳德·香农在为传输信息进行压缩编码的经由中，意志到这种压缩是有一个极限阈值的，卓越这个阈值，被压缩编码的信息就无法通过解码，规复为原始信息了，而是有出奇一部分信息就此被亏本掉，比如算作“有损压缩”的MP3音乐神气，听上去恶果就要比CD差不少。这个阈值被定名为“香农熵”。相应地，“无损压缩”即是压缩率扫尾在“香农熵”以下，比如解码后不错相比好地回话到CD音质的APE、FLAC等神气。所有这个词的当代压缩算法，不错说王人是在飘零地与“香农熵”作战役，但愿斥地出以尽可能高的压缩率来“高保真”地保存、传输和复制信息的时候。

但其实数据压缩远不仅仅算法问题巨屌 twitter，而是触及东说念主类对寰宇根蒂的剖判景象。

咱们且撇开数据压缩算法中的数学旨趣，单就“压缩即智能”这一不雅点，其实和我在某篇机器学札记里所说的“模子即智能”，裕如是等价的，因为所谓模子，即是给无尽变量的复杂寰宇建一个有限变量的模，通过被大大压缩的变量数目，过火互相作用的结构，来灵验模拟复杂寰宇在某一特定时空中的运作模式（用本届诺奖得主杰弗里·辛顿的术语来说，就叫作念“泛化”，即通过少许已知数据准确先见大批未知数据），从而让咱们不错作出瞻望和有打算。

事实上，所有这个词的科学公式王人不过乎是一种模子，因此也不过乎是一种数据压缩景象。模子老是只可在一定时空中起作用，哪怕它是牛顿定律，因为模子对数据的压缩根蓝本说老是为了拟合目下的“事实”——这恰是“实验科学”的试验。更高的压缩率一般意味着更好的模子，也就意味着更高的智能，就好比万有引力定律对近代的不雅测天地有最高的压缩率（也即是用最精湛的公式界说了这一天地的运作景象），因此牛顿不仅比绝大多数东说念主，而且比绝大多数科学家有更高的智能。

为什么咱们不错说“压缩即智能”或“模子即智能”？因为压缩变量数据能够建模，就意味着“主动”地挑选出一部分被以为是重要的变量，而铁心绝大多数被以为是冗余的信息，来为这个看上去无比复杂的寰宇建模，这种剖判的“主动性”、这种应付寰宇的“主动性”——而不是像（咱们是以为的）石头那样被迫罗致一切——不恰是当咱们谈及“智能”的时刻，确凿让咱们嗅觉make sense的东西吗？

况兼智能和学习智商高度关系。什么是学习？不管东说念主的学习仍是机器学习，试验不王人是学惯用建造在有限数据集基础上的模子去应付这个无尽寰宇，并在应付的经由中把柄响应不休退换以至迭代模子吗？是以“学习即智能”很猛进度上也与“压缩即智能”等价，东说念主工智能大言语模子，正如“GPT之父”伊尔亚·苏茨克维屡次强调的，试验上即是个着力极高的数据压缩机。

经典三级电影