AI基础环节：OpenAI-O1模子使推理需求有10~100倍增量，模子教师和推理皆以万卡集群为起步情景

发布日期：2024-10-07 06:47 点击次数：181

开头：Gangtise投研

AI基础环节行家暗意，OpenAI-O1模子使推理需求有10~100倍增量，模子教师和推理皆以万卡集群为起步情景。推理端的带宽会接近教师端卡的组网体式。因为计较情势改革，引入新计较模式后计较复杂度（计较种种性）与教师十分，过去的推理芯片遵循和智商迟缓不够，最终会回到用教师芯片作念推理的情景。