标签:LoRA技术

Thinking Machines曝LoRA终极指南:10倍学习率,媲美全参微调

LoRA(低秩适配)作为一种参数高效微调方法,在特定条件下能够与全参数微调(FullFT)达到相近性能。 Thinking Machines的最新研究通过监督微调和强化学习实...

微软首个多模态Phi-4问世,56亿参数秒杀GPT-4o!LoRA华人大佬带队

微软发布Phi-4系列两款新型模型——Phi-4-multimodal和Phi-4-mini,标志着小型语言模型(SLM)领域的重大突破。Phi-4-multimodal作为微软首个多模态模型,集成...