MiniMax 基于 Apache Doris 升级日志系统,PB 数据秒级查询响应技术实践

AIGC动态1个月前发布 ai-front
304 0 0
MiniMax 基于 Apache Doris 升级日志系统,PB 数据秒级查询响应技术实践

 

文章摘要


【关 键 词】 通用AI日志系统性能优化Apache Doris数据湖仓

MiniMax公司,作为通用人工智能科技领域的领先企业,自主研发了多种模态的通用大模型,包括具有万亿参数的MoE文本大模型、语音大模型和图像大模型。公司致力于通过持续迭代大模型,实现与用户共创智能的愿景。2024年4月,MiniMax推出了国内首个商用的MoE架构大语言模型“MiniMax-abab 6.5”,其性能接近国际领先水平。

随着AI模型复杂度和调用量的增加,模型训练和推理产生的运行日志量也在激增。这些日志数据对于AI应用的运行监控、优化和问题定位至关重要。然而,MiniMax早期基于Grafana Loki构建的日志系统在资源消耗、写入性能和系统稳定性方面面临巨大挑战。为此,MiniMax开始寻找新的日志系统方案,并对Apache Doris和Elasticsearch进行了对比。最终选择了Apache Doris,因为它在性能、成本和易用性方面均优于Elasticsearch。

基于Apache Doris的新日志系统已接入MiniMax内部所有业务线的日志数据,数据规模达到PB级,整体可用性达到99.9%以上,10亿级日志数据的检索速度可实现秒级响应。新系统简化了架构,一套架构即可服务全部集群,降低了系统维护和管理的复杂度。基于Apache Doris的倒排索引能力和查询截断功能,性能显著提升,系统更加稳定。从10亿数据中查询单个关键字和进行聚合分析,基本可以在2秒内完成,大部分日志数据分析场景也可以做到秒级响应。

新日志系统在日志导入上使用了Doris Routine Load和Stream Load方式,同时增加了日志写入器Mlogs Ingester,用于解析和处理复杂日志。在日志检索上,主要使用了Doris的倒排索引分词查询能力和全文正则查询能力。为进一步提升性能,实现了查询截断功能,避免查询范围过大导致的资源消耗。在成本控制上,使用了Doris的冷热数据分层能力,将7天内的数据定义为热数据,7天之前的数据为冷数据,冷数据存储到对象存储,降低了存储成本。

未来,MiniMax将持续迭代日志系统,丰富日志导入预处理能力,增加Tracing能力,扩大Doris的使用范围,助力构建数据湖仓能力。此外,AICon全球人工智能开发与应用大会和QCon全球软件开发大会将分别于8月和10月在上海举办,涵盖AI领域的热点话题和传统经典内容,为开发者提供实操性和可借鉴性的分享。

总之,MiniMax基于Apache Doris升级的日志系统,实现了PB级数据规模的高效存储和检索,架构简化,性能提升,成本降低,为AI应用的运维提供了有力支持。未来,公司将继续优化日志系统,拓展其在数据分析和大数据处理场景下的应用,构建更加完善的数据湖仓能力。

豆包-智能助手

原文和模型


【原文链接】 阅读原文 [ 3030字 | 13分钟 ]
【原文作者】 AI前线
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

© 版权声明

相关文章

暂无评论

暂无评论...