近期，渊亭科技发布了业内首个军事大模型：​​“天机·军事大模型”​​。在该模型开发落地过程中，渊亭LLMOps（Large Language Model Operations）大语言模型运营平台起到了关键作用。

大模型浪潮中，行业内可能面临以下挑战

大模型的技术日新月异，如何选择适合自己的技术方案，快速落地应用大模型？

大模型的开发过程漫长，如何有效管控开发过程、提升开发效率、保证资产安全？

大模型的潜力巨大但不一定能直接满足企业需求，如何组合使用多种产品服务，扬长避短，有效发挥大模型能力？

渊亭LLMOps从数据、训练、应用三个维度，汲取业界先进技术，始终为用户提供大模型落地应用的最佳实践方案：

​

1.以数据工程为核心，驱动模型效果优化

渊亭LLMOps集成数据脱敏、数据增强、多人标注、自动标注等通用数据处理能力，针对Prompt数据集提供Prompt模板和Prompt生成功能，能够有效降低大模型的数据处理成本和模型训练门槛，并且在模型上线后支持通过数据回流服务，沉淀实际使用数据，驱动大模型的持续优化。 

（图为Prompt数据集自动生成界面演示）

2.多种模型微调能力，高效训练领域模型

渊亭LLMOps内置了ChatGLM、LLaMA、Bloom等多种基座模型，具备SFT、RLHF等模型精调能力，支持LoRA、P-Tuning V2等主流微调算法，用户可跟随可视化引导便捷的完成模型精调训练，获得专属的领域模型，并可通过模型压缩、模型剪裁、模型蒸馏等功能进一步降低模型的性能要求，获得更高效的模型。 

（图为大模型微调可视化流程）

3.灵活应用组合编排，快速搭建服务应用

渊亭LLMOps提供了低代码、可视化的应用编排能力，内置大模型组件、提示词组件、逻辑组件、API组件等多种组件，方便用户自由、灵活、快速的搭建大模型应用，满足个性化的业务需求，具备应用测试、应用调试和应用监测功能，保障应用的正常运行。

（图为可视化编排大模型应用）

渊亭LLMOps基于渊亭多年AI平台的开发经验，结合LLMops思想理念，为用户打造全面、友好、高效的大模型开发运营的统一平台：

1.覆盖6C的全栈工具链

遵循6C持续改进的理念构建大模型开发运营的全栈工具链，包含资源管理、数据管理、提示词工程、知识库、模型训练、模型管理、组件管理、应用编排、服务管理、在线测试等核心模块，为大模型的全生命周期提供了完善保障。 

（图为大模型全生命周期）

​

2.灵活兼容的微服务架构

采用微服务开发框架，提供多种中间层协议，有利于二次开发，能灵活支持跨行业、跨基座的大模型应用。

3.易用可视的智能化平台

全程提供可视化引导，内置多种行业场景模板，方便用户快速上手完成模型训练、服务编排等复杂操作，并且支持用户自定义工作流和配置自动化调度，尽可能提升从业务需求到服务应用的智能化水平。

​

4.安全可控的规范化体系

为大模型相关的硬件资源、数字资产建立了安全可控的规范化管理体系。通过配额管理、监控视图、分级预警等机制，保障硬件资源的正常运行和统一调度；通过权限管控、数据加密、版本管理、操作记录等功能，保障数据、模型、应用、服务等数字资产的有序管控。

（图为集群服务器监控界面）

渊亭LLMops作为渊亭大模型战略的重要基础，利用渊亭在AI和军事等领域多年的产品、数据和科研积累，为弥补现有大模型不足，增强大模型能力构建了深厚的产品和行业生态：

​

1.渊亭LLMOps+渊亭大数据

渊亭大数据解决方案包含​​知识图谱产品Sati​​​、​​军事行业数据库天网​​、专家团队渊亭智库等数据产品和服务。结合渊亭在大数据领域多年的实践经验，能够有效帮助企业攻克数据障碍，加速大模型落地应用。

2.渊亭LLMOps+渊亭军事大模型

渊亭军事大模型的文本语料库除了通用领域数据外，还包含军事领域数据，如军事术语常识、数字战场图谱、战略条令法规、战例演训记录和百科智库资讯等。渊亭军事大模型对军事方向的概念和名词方面具有很好的理解能力，能够在军事场景中搭建更好的大模型应用。

3.渊亭LLMOps+渊亭MLOps

渊亭MLOps作为一种通用的机器学习/深度学习工具，已经通过大量标杆客户的验证，能够满足多种场景下的建模需求。渊亭LLMOps和渊亭MLOps可以无缝协作，实现大模型+小模型的联合使用，能够更全面、更灵活地满足企业的人工智能需求。

大模型的落地必然是一个漫长的过程。渊亭LLMOps大语言模型运营平台未来将赋能于各行各业，帮助企业接纳大模型，利用智能技术提升生产力，提供全面的支持和帮助。