AI大牛Ilya最新发声：预教训将限度，AI将有自我强劲

北京时辰12月14日早间音尘，在NeurIPS 2024大会上，OpenAI荟萃独创东说念主、SSI独创东说念主伊利亚·苏茨克维（Ilya Sutskever）发扮演讲时暗示，模子预教训将会限度，因为AI的化石燃料“数据”如故用尽了。

X 上平台上有现场听众发布了Ilya演讲 PPT的截图。在一页 PPT中，Ilya指出，预教训将会限度。他解说成，算力因为更好的硬件、更好的算法、更大的集群而快速增长，然而数据则莫得，因为咱们唯惟一个互联网，而这是东说念主工智能的化石燃料。

这个帖子还引来xAI独创东说念主 Elon Musk的挑剔。他挑剔称：“很好的譬如。”

Ilya Sutskever还暗示，未来推理将导致“极其不成瞻望”的行径，况兼自我强劲将在东说念主工智能系统中出现。

Sutskever被庸俗以为是通过在预教训中使用更大齐据和盘算力来完终生成式AI要紧冲破的早期看法者，这最终催生了ChatGPT。Sutskever本年早些时候离开OpenAI创立了SSI。

本年11月，他在继承媒体采访时表态称，大模子预教训着力正趋于寂静。

他那时暗示，"2010年代是膨胀的期间，目下咱们再次回到了探索和发现的期间。每个东说念主齐在寻找下一个冲破，"Sutskever说。"膨胀正确的东西比以往任何时候齐更紧迫。”

他还暗示，SSI正在盘考一种替代预教训膨胀的门径，然而莫得暴露更多细节。

最近一段时辰，关系Scaling Law在大模子预教训技艺是否有用的争论一直莫得罢手，然而声息并不相同，几家研发前沿大模子的代表厂商齐坚捏说Scaling Law还有用，但也有许多声息暗示预教训的着力如故大幅放缓。

在NeurIPS 2024大会上，Ilya Sutskever、Oriol Vinyals 和 Quoc V. Le 合著的论文《Sequence to Sequence Learning with Neural Networks》获颁时辰磨真金不怕火奖（Test of Time award）。这篇论文在 NeurIPS 2014上发表，已被援用逾越 27000次。

NeurIPS大会暗示，跟着大型谈话模子和基础模子的快速发展，东说念主工智能和期骗发生了范式移动，该规模受益于这项职责奠定的基础。这是奠定编码器-解码器架构的基石职责，启发了自后基于属眼光的矫正，从而导致了今天的基础模子盘考。