国产精品白丝流水JK娇喘_亚洲国产成人一区二区精品区_国产精品丝袜无码AV在线_欧洲午夜精品一级毛片_亚洲韩国无码国产精品

  • 酣歌恒舞網(wǎng)

    北京時間11月5日(當?shù)貢r間11月4日),在巴西里約熱內(nèi)盧召

    太疯狂了!Meta裁员裁到田渊栋头上,连组员一锅端

    梦晨 发自 凹非寺量子位 | 公众号 QbitAI

    很疯狂,Meta AI裁员能裁到田渊栋头上,而且是整组整组的裁。

    田渊栋在Meta工作已超过十年,现任FAIR研究科学家总监(Research Scientist Director),他领导开发了早于AlphaGo的围棋AI“Dark Forest”,近期在大模型领域也推出了整合快慢思考的Dualformer模型、以及开创性的“连续思维链”(Coconut)范式。

    这样一位大佬突然面临找工作了,OpenAI以及各路初创公司反应都很快,直接开始在评论区排队抢人。

    看来这次由新任首席AI官亚历山大王主刀的Meta AI大裁员,不只是明面上精简组织那么简单,

    田渊栋其人

    田渊栋拥有上海交通大学计算机系的本科和硕士学位,随后在卡内基梅隆大学(CMU)机器人研究所获得博士学位。

    他的职业生涯始谷歌无人驾驶汽车项目组担任软件工程师。

    约�年,田渊栋加入Facebook(现Meta)的人工智能研究院(FAIR),至今已近十年。

    在DeepMind的AlphaGo震惊世界之前,田渊栋团队已在围棋AI领域取得重要进展。

    2015年,田渊栋主导发布了围棋AI“Dark Forest”,达到了顶尖业余棋手的水平。在AlphaGo之后,田渊栋团队基于AlphaGo Zero和AlphaZero的算法,完成了开源复现项目ELF OpenGo,仅靠单GPU就能战胜世界顶级的人类选手。

    2017年起,田渊栋的研究重心转向AI的可解释性与基础原理

    2019年,OpenAI联合创始人Ilya Sutskever曾邀请田渊栋加入,共同研发语言模型,田渊栋因希望专注于“理解神经网络模型的工作原理”而拒绝了邀请。

    语言模型爆发后,Transformer成为AI研究最重要的工具,田渊栋还是坚持他认为更根本的的研究道路,不是简单训练发布模型,而是致力于提高LLM在复杂推理和规划任务上的能力。

    下半年开始,他在AIR负责领导一个专注于规划和推理方向的团队,团队规模约�人,展开了一系列研究。

    内存高效的训练方法GaLore: 将预训񏎥B模型所需的内存压缩�GB以内,使得在单张消费级显卡(如RTX 4090)上进行预训练成为可能快慢思考整合Dualformer:通过在训练中随机移除推理链的部分步骤,使模型能够动态切换“快思考”(对简单问题直接给出答案)和“慢思考”(对复杂问题展开深入推理)Coconut连续思维链:不再依赖离散的自然语言思维链,而是将推理轨迹压缩并保留在连续的隐空间中。理论探索CoGO:揭示了由梯度下降获得的神经网络解与代数结构之间存在关联,增加了对神经网络表示能力的理解。

    就在刚刚过去񊄱月,他还发表了一篇独作论文,揭示了揭示了关键超参数对“顿悟”(Grokking)中扮演的角色,从梯度动力学的第一性原理揭示了为什么像 Muon 这样的最新优化器可以有效的根本原因。

    One More Thing

    除了科研,田渊栋也是一位科幻小说家,第一部长篇小说作品《破晓之钟》�年出版。

    在他�年个人年终总结里,还透露接下来的第二部长篇小说会尝试使用AI辅助写作。

    他在职场遭遇的疯狂经历,能化作创作的灵感也说不定。

    [1]https://x.com/tydsh/status/1981167436859920861

    訪客,請您發(fā)表評論:

    網(wǎng)站分類
    熱門文章
    友情鏈接