OpenAI 工程师 Clive Chan 挑战 V4 硬件建议,称其相较 V3 存在错误与模糊之处

Gate News 消息,4 月 24 日——OpenAI 工程师 Clive Chan 就 V4 技术报告中的硬件建议章节提出了详细异议,称其“出人意料地平庸且容易出错”,与备受赞誉的 V3 版本相比尤为如此。V3 的硬件指导,其中包括问答(Q&A)环节,这些环节成为 ISCA 学术会议上最受欢迎的讨论话题,并提供了与业界互连标准相匹配的具体建议。相比之下,V4 则要模糊得多。

Chan 系统性地质疑了三项关键建议。关于功耗,报告指出,软件优化允许芯片在同一时间以满负荷运行计算、存储与通信,并建议芯片制造商预留更多的功率余量。Chan 认为这适得其反:芯片的总功耗受物理工艺限制所约束,因此预留更大的功耗裕量只会降低工作频率,最终减少计算性能。关于 GPU 到 GPU 的数据传输,报告主张采用拉取(pull)模型——由 GPU 主动获取数据——而非推送(push)模型,并称在推送操作中存在较高的通知开销。Chan 则对此提出异议,认为拉取实际上更慢,并且更优的是提升网络适配器能力。然而,这两者可能在讨论问题的不同层面:报告谈的是通知机制的开销,而 Chan 指的是传输延迟本身。

关于激活函数,报告建议用更简单的函数来替换 SwiGLU,以降低计算负担。Chan 认为这没有任何价值,并指出 Sonic MoE 已经通过使用 SwiGLU 展示了最佳性能。Chan 怀疑 DeepSeek 可能“故意削弱了这一部分。”

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

Riot 股票在扩展 AMD 数据中心合作后上涨 8%

Riot Platforms 的股价在其与 AMD 的数据中心合作扩展以及融资条件改善后上涨 8%,这反映了这家比特币矿企在战略上转向人工智能和数据中心

GateNews58 分钟前

明尼苏达州禁止 AI 非自愿色情影像工具,并处以最高 $500K 罚金

据 Decrypt 称,明尼苏达州议会于 5 月 2 日通过了一项法案,禁止网站和应用程序提供可生成未经同意的亲密图像的 AI 工具,且这些图像涉及可识别的个人。该法律禁止平台允许用户访问或使用此类“深度伪造”工具,并禁止

GateNews2小时前

ChatGPT 用户现在可在 OpenClaw 平台上访问订阅,萨姆·奥尔特曼宣布

根据 Sam Altman 今天的公告,ChatGPT 用户现在可以使用他们的 ChatGPT 账号登录 OpenClaw 代理平台,并直接访问他们在该平台上的现有 ChatGPT 订阅。

GateNews3小时前

xAI 推出 Grok 定制语音,让用户在一分钟内克隆自己的 AI 语音

据 Beating,xAI 发布了 Grok Custom Voices 和 Voice Library,允许用户在 xAI 控制台录制一分钟音频,以生成一个自定义的 voice_id,用于 Grok TTS 和 Voice Agent API。该功能支持包括客服代理、内容创作在内的应用,

GateNews4小时前

HBM 后 AI 存储器瓶颈是 HBF?图灵奖得主 David Patterson:推理将重新定义存储架构

图灵奖得主 David Patterson 指出,随着 AI 从训练走向大规模推理,下一波内存瓶颈可能不是 HBM,而是 HBF(高带宽快闪存储器)。HBF 将 NAND Flash 堆叠提供大容量、低功耗,负责推理中的上下文与中间数据存取,与以速度为核心的 HBM 分工不同。SK 海力士与 SanDisk 正推动标准化,预计 2038 年 HBF 的需求可能超越 HBM。

鏈新聞abmedia5小时前

Anthropic 使用 Claude 的开发者大会 5/6 旧金山开幕:直播免费注册

Anthropic 5 月 1 日宣布首屆「Code with Claude」开发者大会將於 5 月 6 日舊金山开幕,並首次擴大至倫敦(5/19)与东京(6/10)三城巡迴。三场主场会议的现地名額採抽籤制、皆已抽选完畢,但直播註冊仍对所有人开放。为回应现地需求超載,舊金山场另加开 5/7「Extended」场次,專为獨立开发者与早期階段創辦人设计。 三场巡迴:5/6 舊金山、5/19 倫敦、6/10 东京 Code with Claude 是 Anthropic 主辦的开发者大会,舊金山主场已是第二次舉辦。3 场活动內容相同:一整天的现场工作坊、最新功能 demo、与 Claude 各條

鏈新聞abmedia5小时前
评论
0/400
暂无评论