m6平台登录入口·微软工程师爆料：GPT-6正在路上差点把电网搞崩

　　，作者：新智元，原文标题：《OpenAI把微软电网搞崩！GPT-6被曝25年发布，训练刷爆10万张H100》，题图来自：视觉中国

　　• ⚡ AI的巨大算力需求、电力短缺和散热问题是阻碍AI发展的挑战之一，未来需要找到解决方案。

　　就在刚刚，微软工程师爆料，10万个H100基建正在紧锣密鼓地建设中，目的就是训练GPT-6。

　　微软工程师：这确实是我们最初的方案。但问题是，一旦我们在同一个州部署超过100，000个H100 GPU，电网就会因无法负荷而崩溃。

　　这是创业者Kyle Corbitt在社交媒体上，分享自己与一位微软工程师关于GPT-6训练集群项目的对话

　　去年8月，FeltSteam最先曝出OpenAI内部正在进行一个Arrakis多模态模型的项目，远超GPT-4，非常接近AGI。

　　Arrakis项目被首次提及，是名叫FeltSteam的网友最先在Reddit一个评论区中爆料称，“Arrakis和Gobi都很酷。”

　　与此同时，Jimmy Apples在社交媒体上曝出了OpenAI内部代号Gobi的项目——大规模多模态模型。

　　随后，FeltSteam又爆出了更多的细节，Arrakis据称有125万亿参数，大约是GPT-4的100倍，并在2022年10月完成训练。

　　目前，OpenAI内部也在使用Arrakis进行研究，不过整体员工水平肯定优于Arrakis。另外，与GPT-5相比，Gobi更接近GPT-4.5。

　　最近BussinessInsider的报道称，知情人士透露，GPT-5或将在今年夏天发布。与FeltSteam预测的时间几乎吻合。

　　量子引力，又称量子重力，是描述对重力场进行量子化的理论，属于万有理论之一隅；主要尝试结合广义相对论与量子力学，为当前物理学尚未解决的问题

　　理论上来说，如果训一个1.75万亿参数模型需要4个月~5个月，那么如果训练一个大百倍的模型，应该需要几十年。

　　（目前已知，GPT-4在A100集群上训了100天，但是在训练之后，OpenAI又花了几个月时间对它微调和对齐。）

　　Ilya Sutskever的突破让OpenAI克服了在获取高质量数据以训练新模型方面的限制，而这正是开发下一代模型的主要障碍。这项研究涉及使用计算机生成的数据，而不是真实世界的数据，如从互联网上提取的文本或图像来训练新模型。

　　FeltSteam认为，OpenAI正遇到了扩展（scaling）的难题，因为仅仅扩展注意力和模型参数是远远不够的。

　　而就在爆料微软工程师对话的帖子中，也再次证实：微软正用10万个H100来帮OpenAI训练GPT-6！

　　而熟悉电力行业的网友说，一般大型电厂的输出功率将达到2000兆瓦，100兆瓦的负载其实并不大。但是突然在电网中增加100兆瓦的负载肯定会让电网系统出问题。

　　根据波士顿咨询集团的分析，到2030年，数据中心的用电量预计将增加两倍，相当于为大约4000万美国家庭供电所需的电力量

　　马斯克：“现在AI对算力的需求差不多每半年就会增加10倍，马上会超过宇宙的质量。芯片短缺缓解后，马上就会出现电力短缺。如果电网输出100千伏~300千伏的电压，然后必须一路降压至6伏，未来会出现变压器短缺。”

　　包括Sam Altman在内的越来越多的AI行业大佬表示，AI的第一性原理，最重要的部分就是能源和智能的转化率的问题。

　　因为Transformer本质上不是一个能效很高的算法，所以在未来，能源将会是困扰AI发展的一个大问题。

　　英国曼彻斯特大学核聚变研究员Aneeqa Khan表示，“在地球上重建太阳中心的条件是一个巨大的挑战”，可能要到本世纪下半叶才能准备就绪。

　　“核聚变已经为时已晚，无法应对气候危机。在短期内，我们可利用的是现有的低碳技术，比如裂变和可再生能源。”

　　国际能源署（IEA）最近的一项分析计算出，数据中心、某货和人工智能的电力消耗在未来两年内可能会翻一番。2022年，它们约占全球电力需求的2%。同时AI的需求将呈指数级增长，在2023年至2026年间至少增长10倍。

　　10万块H100还会带来散热和空间堆叠的问题，其实最近3年这些问题一直都存在，未来还会越来越严重。

　　网友进一步调侃到，未来加拿大会成为AI大国，因为他们有取之不尽的寒冷且干燥的空气！这些在AI时代将会是宝贵的自然资源。