异常是指与预期模式的偏差，可能发生在多种环境中——无论是在银行交易、工业运营、营销行业还是医疗保健监控中。传统的检测方法通常会产生很高的误报率。误报是指系统错误地将常规事件识别为异常事件，从而导致不必要的调查工作和操作延迟。这种低效率是一个紧迫的问题，因为它会耗尽资源并转移对需要解决的真正问题的注意力。本文深入研究了一种广泛使用基于规则的引擎的异常检测专用方法。该方法通过交叉引用多个关键绩效指标 ( kpi)来提高识别违规行为的准确性）。这种方法不仅可以更有效地验证或反驳异常的存在，而且有时还可以隔离和识别问题的根本原因。
系统架构概述
数据流
这是引擎审查的连续数据流。该流中的每个点可能与一个或多个 KPI 相关，规则引擎使用这些 KPI 来根据其训练规则集进行评估。持续的数据流对于实时监控至关重要，为引擎提供了必要的工作信息。
规则引擎架构
系统的核心是规则引擎，需要对其进行培训以了解其将监控的 KPI 的细微差别。这就是一组 KPI 规则发挥作用的地方。这些规则充当引擎的算法基础，旨在将两个或多个 KPI 关联在一起。
KPI 规则的类型：
- 数据质量：关注数据流的一致性、准确性和可靠性的规则。
- KPI 相关性：侧重于某些 KPI 相关性的规则
规则申请流程
收到数据后，引擎立即查找传入 KPI 中的偏差或异常情况。这里的异常是指任何超出预定可接受范围的指标。引擎标记这些异常以供进一步调查，可分为三个主要操作：接受、拒绝和缩小范围。这可能涉及将一个 KPI 与另一个 KPI 相关联，以验证或否定检测到的异常。
方法
规则形成
基本步骤涉及创建一系列将多个 KPI 相互关联的规则。例如，规则可能会将产品质量指标与工厂设置中的生产速度相关联。例如：
- KPI 之间的直接关系：两个 KPI 之间的“直接关系”意味着当一个 KPI 增加时，另一个 KPI 也会增加，或者当一个 KPI 减少时，另一个也会减少。例如，在零售业务中，广告支出 (KPI1) 的增加可能与销售收入 (KPI2) 的增加直接相关。在这种情况下，其中一个方面的增加会对另一个方面产生积极影响。这些知识对于企业来说非常宝贵，因为它有助于战略规划和资源分配。
- KPI 之间的反向关系：另一方面，“反向关系”是指当一个 KPI 上升时，另一个 KPI 下降，反之亦然。例如，在制造环境中，生产产品所需的时间 (KPI1) 可能与生产效率 (KPI2) 成反比关系。随着生产时间的减少，生产效率可能会提高。了解逆关系对于业务优化也至关重要，因为它可能需要采取平衡措施来优化两个 KPI。
- 组合 KPI 来制定新规则：有时，组合两个或多个 KPI 来创建一个新指标可能会有益，该指标可以提供有关业务绩效的宝贵见解。例如，将“客户终身价值”(KPI1) 和“客户获取成本”(KPI2) 结合起来可以得出第三个 KPI：“客户价值与成本比率”。这个新的 KPI 可以更全面地了解获取新客户的成本是否与其随着时间的推移带来的价值相匹配。
训练规则引擎
规则引擎经过全面的训练，可以实时有效地应用这些规则。
实时审查
规则引擎主动监控传入数据，应用其经过训练的规则来识别异常或潜在异常。
决策
在识别潜在异常时，引擎：
- 接受异常：确认阶段： 标记异常后，引擎将使用其预先训练的 KPI 规则将其与其他关联的 KPI 进行比较。这里的重点是确定异常是否确实是一个问题或仅仅是异常值。此确认是根据主要 KPI 和次要 KPI 之间的相关性完成的。
- 拒绝异常： 误报阶段： 并非所有异常都表明有问题；有些可能是统计异常值或数据错误。在这种情况下，引擎利用其训练来拒绝异常，本质上将其识别为误报。这对于消除不必要的警报疲劳以及将资源集中在真正的问题上至关重要。
- 缩小异常范围：细化阶段：有时，异常可能是影响多个组件的更大问题的一部分。在这里，引擎通过将问题范围缩小到特定的 KPI 组件，进一步查明问题的确切性质。这种高级过滤有助于快速识别问题并解决根本原因。
优点
- 减少误报：通过使用交叉引用多个KPI的规则引擎，系统大大降低了误报的发生率。
- 时间和成本效率：检测和解决异常的速度得到提高，从而减少了运营时间和相关成本。
- 提高准确性：比较和对比多个 KPI 的能力可以更细致、更准确地表示异常事件。
结论
本文概述了使用经过各种 KPI 规则集训练的规则引擎进行异常检测的方法。与通常仅依赖统计算法或机器学习模型的传统异常检测系统相比，这种方法采用了专门的规则引擎作为其基石。通过更深入地研究不同 KPI 之间的关系和交互，企业可以获得简单、独立指标无法提供的更细致的见解。这可以实现更稳健的战略规划、更好的风险管理以及实现业务目标的整体更有效的方法。一旦异常被标记，引擎就会使用其预先训练的 KPI 规则将其与其他关联的 KPI 进行比较。这里的重点是确定异常是否确实是一个问题或仅仅是异常值。
