基于人工智能的自动化异常检测系统由于各种设备产生的数据爆炸式增长、新攻击和复杂威胁的快速增长越来越受欢迎。
异常检测系统可应用于各种业务场景，管理数百万个指标的大规模数据，并通过筛选数据发现问题。例如，它可以监控金融技术公司的金融交易，检测网络中可能存在的欺诈活动和数百万种产品的电子商务价格故障。
企业在应用异常检测系统时，应注意以下重要问题，确保高效检测目标的实现：
- 报警频率是多少(5分钟)or10分钟、1小时or1天?)
- 对可扩展解决方案的需求(大数据和常规)RDBMS数据)
- 本地或基于云的解决方案(Docker与AWS EC实例)
- 无监督与半监督解决方案
- 如何阅读和优先考虑各种异常，采取适当的行动（基于点、上下文、集体异常）
- 集成报警和系统
以下是对上述六个问题的详细介绍：
什么是报警频率：
报警频率在很大程度上取决于检测过程的敏感性，包括响应时间和其他指标。一些应用程序的检测需要较低的延迟，如检测用户的可疑欺诈支付交易，并在几分钟内向用户提示，以防止滥用银行卡；一些应用程序不需要特别敏感，如移动基站的呼叫和呼叫，可以总结到每小时，而不是5分钟。因此，可以采用适用性测量来处理过多的敏感性报警。
可扩展解决方案需求：
电子商务或金融技术等行业的企业可能会在大数据环境中保存数据，因为它们需要速度或可扩展性。在一些大数据场景中，硬件和软件的可扩展性需要分别由Hadoop和Spark在常规场景中，需要考虑系统的处理RDBMS和Python编程。
本地或基于云的解决方案：
对于一些业务，如金融技术和银行，由于合规性和保密性，数据不能转移到云中。对于电子商务等其他业务，数据可以上传到私人云中。异常检测解决方案应考虑这些差异，以了解部署是否可以Docker本地服务或基于云电子商务解决方案的格式实现基于云的需求。
无监督和半监督解决方案：
虽然部署无监督学习算法来检测基于时间序列的数据异常是一个常见的解决方案，但这些系统往往会产生大量的误报。在这种情况下，如果企业发现更多的报警，他们可以优先考虑分数，并设置更高的阈值分数来增加对关键异常的关注。然而，确实存在半监督算法，使算法能够根据用户的异常反馈进行重新培训，以后不会重复这些错误，但重要的是要记住，集成半监督算法确实有自己的挑战。
采取行动：如何阅读和优先处理各种异常：
异常类型在不同性质上有不同的处理要求，如点、上下文和集体。基于点的异常是由单个序列产生的异常，可能是一对一的；上下文异常在不同时间段表现为异常，否则将被视为正常数据点。上下文异常的例子可能是，如果下午呼叫激增不会被视为异常，如果相同数量的激增发生在午夜，则被视为异常。上下文异常也出现在单个系列中，类似于基于点的异常；最后，集体异常出现在各种数据系列中，试图创建一个完整的故事。公司应定义他们正在寻找的异常类型，以充分利用异常检测系统。此外，通过基于评分系统对异常进行优先排序，可以给予更高水平的异常优先级。
集成报警系统：
一旦生成报警，就需要与可用的内部系统集成。如果不注意这一点，验证过程将消耗资源，特别是在误报的情况下。理想情况下，异常检测系统的报警应通过电子邮件通知系统SMS通知系统或其他仪表板系统集成，可以向用户发送检测故障的通知。
【本文是51CTO专栏作者“安全牛”请通过安全牛(微信微信官方账号)转载原创文章id:gooann-sectv）获取授权】
戳这里，看作者更好的文章