3. 如何使用:官方表示Grok 3 支持在 Grok 网页版、Grok App 和 X 平台上直接发起聊天,暂时没有 API 版本,预计会在未来几周内提供。
Grok 3 发布后,X 平台已然浮现一些网友反馈。「四木相对论」收集了一部分 case。
这里 Grok 3 表现不错。它对超立方体进行了正确的3D建模,并保证在旋转时模型完整且没有变形。小球符合物理规律的弹跳运动,并且还拥有区别于立方体颜色的红色。
另外,它还是算不清 9.8 和 9.11 到底哪个大、DeepSeek 中一共有多少个 “e”(打开推理模式后能解决这个问题)。
但他也提及,Grok 3 在一些复杂推理、信息查询任务上仍会出现错误,并且在“复杂伦理问题”方面过于敏感,也缺乏幽默感。
由于 Grok 3 目前未向广泛用户开放,效果难以公允评价,但 xAI 在大模型圈最大的特点依然未改变:
它是全球最花力气投入算力资源的大模型公司之一,某一些程度上代表了预训练 Scaling Law 的边界。
这次发布中,马斯克同样自豪地声称,Grok 3 之所以能在很短的时间内超越 Grok 2,是因为背后有强大的技术团队和数据中心支持。
过去大半年里,xAI 首先花费了 122 天建成 10 万卡的 Colossus 超算集群。但团队非常快发现这不够,于是又用短短 92 天将Colossus 的规模从 10 万卡扩建到 20 万卡。通常,这些工作要消耗4年左右的时间。
在首个服务器机架进入数据中心19天后,下一代 Grok 模型——目前看就是 Grok 3——慢慢的开始训练。
今天 Grok 3 的发布会中,马斯克身着印有《艾尔登法环》中角色 Malenia 的T恤登场。Malenia 的经典台词是“I have never known defeat”。(“我从未经历过失败。”)
作为马斯克对 AI 全力以赴的证明,Colossus 已经鼎鼎大名——过去半年,它以超快的建设速度和巨大的算力资源引领行业。
它原本是家用电器制造工厂。被马斯克为 xAI 征用后,这座工厂被改造成了专门用于训练大模型的、世界上顶级规模的服务器集群。
去年一开始披露的信息是,Colossus 配备了10万颗 GPU(主要是 H100)。最新情况是,它已拥有20万颗 GPU(包括额外5万块 H100与5万块 H200)。Grok 3 的计算资源是 Grok 2 的10倍。马斯克说。
谈到这一个项目,英伟达 CEO黄仁勋数度赞不绝口。他曾在播客中感慨,Colossus 的进展让大家辗转难眠。他觉得,全世界唯有马斯克一人具备举世无双的、对工程、建筑、大型系统构建以及资源调配的独到能力。
从2024年9月第一周开始运营倒推,第一期拥有10万张卡的 Colossus,从开始到完成只用了122天。
黄仁勋形容它的搭建“创造了一项工程奇迹”——普通数据中心需要四年时间,才能完成马斯克在 Colossus 项目里19天的工作。
为了让 Colossus快速投产,马斯克进行了一些非常规操作(对他来说或许很常规)。
比如,马斯克在还没从电网获得足够电力的情况下,就启动了 Colossus 的建设。在等待地方当局增加100兆瓦电力的请求的同时,他引入了移动天然气涡轮机作为临时的电力补充。
这些轮机的有害空气污染物(HAP)排放量超过美国环保署设定的上限,引起了不小的争议。就在Grok 3发布的今天,Colossus所在的孟菲斯市,还有大批市民在反对马斯克。
另外,Colossus 的现场调度也非常紧凑。在一次现场探访中,有项目承包商透露,多数建筑还没有来得及砌墙,但承包商正在场外预制大部分组件,以便到场后迅速组装。
比如甲骨文。去年春夏 xAI 和甲骨文还处于甜蜜期,但当甲骨文表示由于马斯克的选址电力供应不足(原本选在孟菲斯的 Electrolux),难以按期望的计划完成安装任务时,双方的蜜月就结束了。
*ServeTheHome专注对服务器、存储、网络和高端工作站硬件进行评测,同时也涉及优秀开源项目的评测,旨在为IT专业技术人员提供最新的服务器、存储和网络趋势的指南,帮他们更好地了解和应用这些技术。
Colossus 的基本构建模块是来自超微(Supermicro)的液冷机架。
每个机架配备八台 4U 服务器(共计64 块 NVIDIA H100 GPU)、一个超微冷却剂分配单元(CDU)及相关硬件。
维护:每个冷却模块都配备了冗余的泵和电源,如果任何一个部件出现故障,都可以在不关闭整个机架的情况下进行现场更换。
机架背面,配有用于 GPU 和 CPU 复合体的 400GbE 连接光纤,以及用于管理网络的铜缆。它们都安装在自己的托盘上,可以轻松更换而不需要移除机架。此外,每个服务器配备了四个电源,这些电源支持热插拔,并通过三相 PDU 进行供电。
另外,现场仍能看到大量传统 CPU 计算节点。处理和数据操作任务仍是CPU 的强项,xAI 希望让 GPU 尽可能多的运行 AI 训练或推理工作负载,而不是其他任务。
Colossus 的电力及配套设备也值得一提。它采用了规模庞大的液冷式 AI 服务器机架,因此也需要配备强力的电源和用水设施。
在机房内,部署着由一组冷水和热水管组成的巨大循环水管。冷却水会被这些设备带入集群中循环——热量从 GPU 以及后门热交换器传递到冷却水中,然后热水被带到水管设备外的冷却器中,冷却后再次通过设备循环。
要知道,AI 服务器并不总是全天候以 100% 的额定功率运行,它们的能耗呈现出明显的高峰和低谷,xAI 发现,Colossus 毫秒级的功率峰值和下降幅度相当大。
而 Megapack 相当于“巨型充电宝+智慧能源管家”,能让储能设备的峰值平稳,有助于确保整个数据供电的稳定,也能让xAI利用不一样时段电力价格差,更好地控制成本。
即便已拥有全世界资源最多的AI数据中心,xAI持续投入资源的消息依旧层出不穷。
田纳西州孟菲斯市商会透露,马斯克未来计划将把Colossus扩容5倍,最终整合超过100万个 GPU。
恰好就在Grok3发布四天前,The Information报道,xAI 正在考虑建立第二个数据中心。彭博社同样报道称,xAI 即将和服务器制造商戴尔达成协议,购买价值 50 亿美元搭载英伟达最新芯片 Blackwell GB200 的服务器。
马斯克的融资之路也在同步推进。彭博社曝出 xAI 正在接洽红杉资本、Andreessen Horowitz 和 Valor Equity Partners 等投资方,希望在一轮融资中筹集 100 亿美元,这将使它的估值达到 750 亿美元。
即便 DeepSeek 让不少信奉大力出奇迹的美国同行遭受了难熬的一个月,但这条砸钱之路,马斯克看起来是走定了。