标签:低精度

AMD新论文颠覆认知:FP4训练不稳定,原因不是随机性不足

大模型训练成本高昂,降低训练精度成为行业探索降本的重要途径。尽管较高精度已成功应用,但进一步将精度降至极低时,训练过程极易出现不稳定的问题,且传统...