标签：云原生
基于 SGlang RBG + Mooncake 打造生产级云原生大模型推理平台
大语言模型（LLM）推理服务正迅速成为企业级应用的核心基础设施，其生产级落地需平衡性能、稳定性与成本。当前架构正从单体模式向分布式演进，主流路径包括Pr...
Agentic AI时代，向量数据库成“必选项”
从ChatGPT到Agentic AI的演进，正在重塑AI基础设施的格局。随着自主决策型AI的崛起，传统数据库在高频读写、语义模糊和成本敏感的新需求面前显得力不从心。向...
Python只是前戏，JVM才是正餐！Eclipse开源新方案，在K8s上不换栈搞定Agent
Eclipse基金会近期推出的“代理定义语言”（ADL）成为其开源平台Eclipse LMOS的核心组件，旨在通过结构化、模型无关的方式简化AI行为定义，无需编写代码。LMOS...
我感受到了程序员的新红利。
火山引擎Force大会展示了豆包大模型1.6的突破性进展，其深度思考能力通过多轮搜索推理机制达到全球一流水准。模型采用迭代式问题探索模式，与OpenAI最新技术...
字节按下 AI Agent 加速键
2025年初，随着DeepSeek、Manus等AI产品的崛起，大厂们正在重新调整战略，以应对AI技术的快速演进。过去两个月里，AI领域出现了多个现象级产品，如DeepSeek-R...
如何为预训练 LLM 添加新 token？
在预训练大模型（LLM）的微调过程中，添加新的 token 是提升模型在特定领域表现的关键步骤。这一操作不仅能够帮助模型更好地理解领域特定词汇，还能提高文本...
DeepSeek引发推理侧革命，火山引擎凭什么做到最优解？
DeepSeek-R1作为新一代推理模型的代表，对云计算基础设施提出了全方位挑战，推动云服务商在性能、成本和稳定性等维度展开技术竞争。火山引擎凭借20ms内延迟响...
AI时代不看独角兽，看10亿Tokens日均消耗
在大模型时代，日均10亿Tokens消耗量成为中国企业AI业务跑通的基本标准，至少200家中国企业达到这一标准，覆盖多个领域。这一标准意味着企业在垂直领域找到应...
大语言模型应用开发框架 Eino 正式开源！
字节跳动内部经过半年多的使用和迭代，基于Golang的大模型应用综合开发框架Eino已在CloudWeGo正式开源。Eino框架以组件为核心，提供强大的流程编排能力，覆盖...
