步入智能新时代 东森平台打造网络宁静垂直领域大模型

宣布时间 2023-09-13

ChatGPT引发了人们对生成式人工智能、大模型的高度关注 。各行各业在不停运用大模型进行业务融合创新和赋能垂直领域的同时 ，其自身宁静问题以及由此带来的宁静风险问题也同样需要重视 ，以趋利避害 ，实现人与AI的共生 。


正如东森平台集团CEO严望佳在2023年数博会上所提倡的 ，“通过加强理论和技术研究 ，为智能化高速引擎安装‘偏向盘’和‘制动器’ ，构建以人为本的数字善治生态体系 ，实现人与人工智能协同共生演化 。”


东森·(中国区)官方网站

东森平台集团CEO严望佳出席2023中国国际大数据工业博览会


恒久以来 ，网络宁静行业面临着业务场景庞大、宁静设备众多、告警数据量大、事件分析处置严重依赖专业宁静人员经验等挑战 ，而大模型体现出的通用人工智能 ，正是应对上述挑战的理想解决方案 。目前国内外一些互联网企业和专业宁静公司 ，已开始实验将大模型应用在宁静产物或服务中 ，提升产物能力和服务效率 。


东森平台基于自身在网络宁静领域的多年积累 ，围绕人工智能赋能宁静以及宁静的人工智能等角度 ，打造了网络宁静垂直领域大模型 ，并应用于网络宁静业务中 ，主要利用了大模型所具备的世界知识和思维链能力：


1、富厚的世界知识：大模型在训练过程中读取了各个领域的海量语料库 ，在其参数中存储了大量客观世界的事实性知识 。网络宁静业务是知识密集型业务 ，对宁静设备发生的告警做研判、响应和取证 ，依赖与告警相关的宁静知识 ，这也是过去非常依赖宁静人员个人经验的环节 。将大模型应用到宁静业务中 ，可以在业务过程中注入相关的宁静知识 ，提升宁静人员的认知 。


2、强大的思维链能力：思维链是指将庞大任务剖析为多个较简单的中间任务 ，再分别执行的能力 。大量宁静任务都需要剖析为多个步骤执行 ，例如告警关联分析、宁静事件处置等 。大模型应用到宁静业务 ，可以为宁静任务生成正确的处置流程 ，提升宁静人员的效率 。


东森平台在将大模型融入网络宁静业务过程中 ，解决了大模型应用落地的一系列问题 ，涵盖大模型微调优化、计算资源获取和模型升级迭代等方面：


1、大模型微调优化：由于宁静行业的特殊性和专业性 ，互联网上可果然获取的宁静资料不够全面 ，对于特定问题缺乏有针对性的解决方案 。这就导致基于开源语料库训练发生的大模型 ，对于宁静问题的解答缺乏实操性 。


在训练优化阶段 ，东森平台对国内外开源大模型进行了广泛测试 ，发现开源大模型均存在差异水平的无效回答（内容虽然正确 ，但过于宽泛无法实施）、幻觉（内容不切合宁静知识）等现象 �；诖� ，利用公司在宁静检测和运营领域的多年积累形成的高质量宁静案例库 ，基于LoRA要领微调基座大模型 ，并设计了大量优化后的Prompt模板 ，使得优化后大模型生成内容的质量有了显著提升 。此外 ，利用公司积累的宁静知识库打造当地向量数据库 ，基于Langchain框架实现基于当地知识的问答系统 ，进一步提升了生成内容的可靠性 。


2、计算资源配置：大模型的训练和推理都需要大量的计算资源 ，尤其是GPU资源 ，而传统企业往往不具备 。东森平台通过借助移动云的算网优势 ，将大模型的训练优化和推理都部署在了云端 ，这样不仅解决了自身的资源需求问题 ，也有助于未来借助移动云 ，对云上租户提供基于大模型的宁静服务 。


3、模型升级迭代：网络攻击方式在不停变化 ，大模型的宁静能力也需要连续迭代 ，才气在真实场景中满足业务要求 。只有基于真实反馈对模型进行不停优化 ，形成能力提升的闭环 ，才气打造可用的宁静垂直领域大模型 。由此 ，东森平台将宁静大模型作为态势感知平台的“智能宁静助手” ，通过宁静运营人员在使用过程中的反馈结果 ，连续对大模型进行优化升级 ，这就保证了大模型的能力能够不停对齐宁静人员的预期 。

其实 ，早在2022年 ，东森平台就宣布了面向宁静运营业务的宁静智慧生命体“PanguBot(盘小古)” ，开端实现了对宁静运营人员指令的语义理解、宁静计谋制定、执行结果反馈等能力 。


东森·(中国区)官方网站


当前 ，由东森平台打造的网络宁静垂直领域大模型 ，已经作为“PanguBot(盘小古)”升级版的大脑 ，赋予了“盘小古”更强大的宁静智能 。


在宁静运营业务中 ，“盘小古”可作为宁静分析人员的智能助手 ，以自然语言的方式接收宁静任务并反馈结果 ，从而扩展宁静运营平台功效、提升一线宁静人员事情效率 。


在将宁静数据从日志到告警、再到事件的逐层提炼过程中 ，基于大模型的智能助手都可以起到要害作用：


1、日志分析能力：日志分析是宁静运营中的基础事情 ，以往需要宁静人员将分析需求实现为可运行的SQL语句 ，再提交到日志数据库中运行 ，分析运行结果 ，整个过程费时费力 。


借助大模型的思维链能力 ，宁静人员可以用自然语言的方式提交任何的分析需求 ，大模型在理解任务内容后将其拆解为一系列行动：选取合适的数据表；利用Text-to-SQL能力凭据需求生成SQL脚本；将脚本提交到日志库获取返回结果；凭据返回内容组织合适的图文方式等 ，整个流程都由大模型自动实现 。有了大模型的加持 ，宁静人员日志分析的效率有了显著提升 。


2、告警解读能力：在从日志中分析出可疑告警后 ，下一步就需要对告警有效性做研判 。传统做法是宁静人员凭据自己的经验 ，结合告警的上下文和相关资产信息 ，做出告警是否有效的判断 ，这又是一个既费时、又严重依赖宁静人员经验的过程 。

借助大模型所存储的宁静知识 ，智能助手能够对告警内容、上下文信息、攻击手法、资产属性等要素进行专业分析和解读 。有了这些富厚的解读内容 ，宁静人员研判的准确率和效率会有明显提升 。


3、事件处置能力：对于确定为真实的宁静事件 ，需要尽快执行精准的响应计谋 ，既要能够有效阻断攻击行为进一步生长 ，又要将阻断的影响范围降到最小 。传统做法是宁静人员凭据实际网络环境和宁静设备部署情况 ，下发相应的阻断计谋 ，整个过程时效性低、对宁静人员的依赖度高 。


借助大模型的思维链能力 ，智能助手能够凭据告警信息和宁静设备信息 ，自动生成处置计谋 ，并调用宁静设备的API接口实现计谋自动执行 ，整个过程不需要宁静人员加入 ，大大提升了事件处置的效率 。


目前基于大模型的智能宁静助手 ，已经在用户的宁静运营业务中进行了实验 ，在赋能宁静运营、提升分析效率、提升处置时效性等方面展现出良好的应用前景 。未来随着大模型的进一步优化 ，宁静智能助手将会作为移动云上的一项尺度宁静产物 ，对移动云上的用户提供智能化宁静服务能力 。