OD体育谷歌论文提前揭示o1模子谈理:AI大模子角逐或转向硬件

 公司新闻     |      2024-09-23 06:42:38    |      小编

  仅正在OpenAI颁布最新推理模子o1几日之后,海表社交平台Reddit上有网友发帖称谷歌Deepmind正在8月宣布的一篇论文实质与o1模子道理险些相似硬件,OpenAI的护城河不复存正在。

  正在这篇论文中OD体育硬件,斟酌团队商量了大模子(LLM)正在面临庞大题目时,是否能够通过添加测试时的策画量来提升决定质料。这项斟酌注脚OD体育,添加测试时(test-timecompute)策画比扩展模子参数更有用OD体育谷歌论文提前揭示o1模子谈理:AI大模子角逐或转向硬件。基于论文提出的策画最优(compute-optimal)测试时策画扩展计谋,领域较幼的根基模子正在少许劳动上能够超越一个14倍大的模子。

  古板的Transformer模子擅长并行策画,但正在经管必要逻辑推理的庞大题目时出现欠佳。CoT的中枢机思是让模子模仿人类的推敲体例,通过天生一系列中央推理举措,来处分庞大题目。

  OpenAI近期颁布的o1模子,或恰是上述理念的试验。o1模子正在给出谜底之前,会天生一系列中央推理举措OD体育硬件,不停完竣本人的思想经过,测验差异的计谋,并能识别本身舛讹。跟着更多的深化研习和推敲工夫,o1的功能接续擢升。

  有网友显露,“一共的奥妙冲破和算法最终城市跟着顶尖开辟者内行业内的滚动而传扬到其他公司和开源社区。”谷歌也显露没有人具有护城河,这也促使OpenAI将o1-mini的速率提升7倍,每天都能应用50条;o1-preview则提升每周50条。

  有网友评论道:“独一恐怕酿成护城河的是硬件硬件,起码正在可猜思的异日是如许。”也有人以为,假设AI大模子公司无法处分对显存的依赖,英伟达恐怕会直接掌控谁可以得到策画才华。而假设微软或谷歌开辟出正在自研芯片上运转速率疾10倍的模子,处境也会转化。

  目前硬件,英伟达正在AI大模子算力的分派上吞没主导名望。值得戒备的是,OpenAI近期也被曝出其首款芯片安插OD体育,采用台积电最优秀的A16级工艺,专为Sora视频使用打造。这些迹象注脚,大模子的比赛已不但部分于模子自身,硬件才华也成为闭头成分。正在AI规模,谁能具有更壮大的算力,谁就恐怕不才一阶段的比赛中吞没上风。