一、SIEM概念及发展趋势
随着企业数字化转型的深化，网络安全越来越受到企业的重视。为了建立一个完整的安全防御系统，企业通常会引入防火墙(Firewall)、防病毒系统(Anti-Virus System，AVS)、入侵防御系统(Intrusion Prevention System，IPS)、入侵检测系统(Intrusion Detection System，IDS)、审计系统等大量安全产品，但这些安全产品往往各自管理，缺乏联动，难以形成有价值、全面、系统的安全情况分析报告，难以应对复杂多变的安全威胁。
安全信息和事件管理(SIEM，Security Information and Event Management) 能够满足这方面的需求。SIEM它可以收集和存储来自各种网络、安全设备和其他日志和事件，并可以继续分析访问的数据，以进行持续的威胁测试和合规测试，以帮助提高企业的威胁响应能力；此外，SIEM还可以综合收集的安全日志和事件，提供全面的系统安全报告，使企业能够充分评估系统风险。
1. SIEM简介
Gartner在2021年度的《SIEM市场魔力象限分析(MQ)报告》中将SIEM定义为满足以下客户需求的解决方案：
- 实时收集安全事件日志telemetry威胁检测和合规检测的数据；
- 实时并持续分析接入数据，以检测攻击和其他感兴趣的活动;
- 调查安全事件，确定其潜在的严重性和对业务的影响；
- 报告上述活动；
- 存储相关事件和日志。
2. SIEM发展趋势
类似于自然界事物的发展规律，SIEM还有一个从简单到先进的发展过程。
(1) 早期日志管理系统
日志采集的需求由来已久，在计算机领域，日志一般用于记录计算机操作系统或应用程序运行状态或者外部请求事件。SIEM在生产前，安全场景主要使用一些日志管理工具收集各种网络设备的日志，并统一存储，以便在异常事件发生时进行日志审计。
(2) SIM和SEM
90年代末，日志分析的需求逐渐强烈，开始出现SIM(Security Information Management，安全信息管理)和SEM(Security Event Management，安全事件管理)两种技术。SIM和SEM在发展的早期阶段，两者是分开的，更公认的理解是：SIM注重安全事件的历史分析和报告，包括取证分析；SEM更注重实时事件监控和应急处理，更注重事件归一化和相关分析。
(3) SIEM
随着企业在IT随着建设的不断投资，企业拥有更多的网络设备和安全设备，将拥有更复杂的网络环境，越来越重视企业的安全。随后，需要处理更多的安全数据，并希望从许多数据中提取威胁事件和安全信息，以满足安全防火或合规审计的需要。以前，基于日志分析的单一模式不适用，需要一种新的工具来满足安全分析场景的需要，SIEM与这些需求相匹配。
SIEM可以收集企业和组织中所有IT资源（包括网络、系统和应用程序）产生的安全信息（包括日志、报警等）进行统一的实时监控和历史分析，监控、审计分析、调查和收集各种报告，实现外部威胁和内部违规和误操作IT同时，提高企业和组织的安全运行、威胁管理和应急响应能力。
(4) SIEM AS A SERVICE
随着企业数字化转型的深入，企业往往需要具备更先进的安全分析能力SIEM也变得越来越复杂，想要掌握整套SIEM对系统使用能力的要求也越来越高。SIEM当地部署的运维成本大大降低，提供了更多的开箱即用功能，可以在一定程度上降低SIEM使用门槛有助于企业安全能力建设。
(5) SIEM AS A UTILITY
未来SIEM它可以作为网络设备的基本功能和内置工具存在。目前，越来越多的云制造商将开始SIEM该方案嵌入到自己的云产品中，包装和销售云产品的基本功能和基本功能。
3. SIEM如何保护企业组织的安全？
识别未知威胁：SIEM通过对日志或安全事件提供实时数据监控能力，并结合人工智能和威胁情报能力，帮助企业发现潜在的安全风险。
威胁追根溯源：由于安全事件的发生往往有很长的持续周期（例如，数据库拖数据库的外观是数据库拖数据库的行为，跳板机密码的泄露可能隐藏在早期），SIEM它提供了分析历史数据的能力，可以帮助企业在几个月甚至更长时间内找到安全事件的线索，恢复事件现场。
支持自定义审计：通过SIEM企业可根据自身业务场景配置一些持续的审计监控规则，实时监控网络安全。
及时威胁响应：当威胁事件发生时，监控规则会通过报警等形式通知相关人员检测到的异常，形成问题闭环。
二、数字时代企业安全面临的新挑战
1. 企业数字化带来了新的安全挑战
传统的网络安全架构理念是基于边界的安全架构。企业在构建网络安全体系时，首先要找到安全边界，将网络划分为外网、内网等不同区域，然后在边界上部署防火墙、入侵检测WAF等待产品。然而，这种网络安全结构是基于内部网络比外部网络更安全的假设。在一定程度上，它预设了对内部网络中人员、设备和系统的信任，忽视了加强内部网络安全的措施。一旦犯罪分子突破企业的边界安全保护，进入内部网络，就像进入一个无人居住的环境一样，将带来严重的后果。此外，100%的内部人员安全假设是无效的。我们可以从《全球内部威胁成本报告》中看到，从2018年到2020年，内部威胁的数量和成本都有了很大的增加。
此外，随着云计算、大数据、物联网、移动办公等新技术与业务的深度融合，网络安全边界逐渐变得更加模糊，传统边界安全保护理念面临巨大挑战。在这种情况下，零信任架构(Zero Trust Architecture, ZTA)它出现在历史时刻。打破传统认证，即信任边界保护、静态访问控制、网络为中心，建立一套以身份为中心、持续认证、动态访问控制、审计监控为链，以实时授权最小化为核心，以多维信任算法为基础，认证动态安全结构的终端。
我们可以看到，在零信任策略下，监控无边界、持续监控的需求也给出了SIEM提出了新的挑战。
2. 数字化挑战工程师
随着DevOps工程师的开发职责逐渐发生变化，开发、测试、运维逐渐成为一种趋势。DevOps在模式下，安全产品和安全能力实际上是外部的。在整个软件生命周期中，安全保护只是安全团队的责任，并将在开发的最后阶段进行干预。然而，在DevOps如今，快速迭代的有效推广，过时的安全措施可能会拖累整个开发过程，从而产生“DevSecOps”的概念。
DevSecOps认为安全防护是整个 IT 团队的共同责任需要贯穿整个生命周期的每一个环节。DevSecOps更注重过程安全，可以将安全植入开发、测试、部署的各个环节，从源头上屏蔽一些风险。
DevSecOps分为以下阶段，每个阶段都有自己的安全要求。“Dev 段”，关注软件开发过程的安全性；右侧“Ops 段”，关注软件运行的安全性。具体阶段如下：
- Plan Create 阶段可视为软件安全设计与开发前的准备，更注重安全规则的制定、安全需求分析和软件设计中的安全考虑；
- Verify Preproduction 阶段是开发阶段的安全保障，可以是 AST、Fuzz、SCA 等;
- Predict Respond 阶段可理解为网络安全监控软件，如监控和响应安全事件；
- Configure Detect 阶段可以理解为容器和基础设施等应用程序运行的安全保障RASP、WAF 等。
我们可以看到，“Ops 段”威胁探测、应急响应、威胁预测和SIEM特征更符合，为了应对DevSecOps对中安全融合和快速迭代的要求SIEM还提出了轻量化、便捷化的要求。
3. SIEM的全新挑战
基于上述趋势，我们可以看到零信任（从不信任，始终验证）的概念DevSecOps都给SIEM提出了新的发展要求。SIEM要满足零信任下无边界持续动态监控的需求，需要监控更广泛的数据，提供更强的相关分析能力。为了提高DevSecOps作为基本工具和效率，需要做得更轻DevSecOps集成提供更多的开箱功能。同时，与可观测平台的集成也是一种发展趋势。
4. 云一体化SIEM平台
为了适应这些挑战，我们认为云集成SIEM平台需要具备以下特点：
(1) 平台能力:
- 包括日志，Metric、Trace统一收集和存储事件数据的能力。
- 在统一存储的基础上，提供统一的数据处理、分析和机器学习分析能力。
- 报警检测事件管理能力基于可视化安全态势。li>
(2) 业务场景:支持上层业务方(开发运营、监控、安全、用户运营)，基于统一的平台上层业务。
(3) 生态对接:对接上下游系统的安全生态支持。
三、Cloud SIEM核心技术和行业方案
1. SIEM的核心技术及挑战
要实现一个SIEM系统需要收集(Collection)-> 探测(Detection)-> 调查(Investigation)-> 响应(Response)四个阶段。四个阶段面临的挑战如下:
- 采集:如何方便数据访问，如何低成本存储。
- 探测:如何通过各种数据的相关分析捕捉未知威胁。
- 调查：如何审计安全事件，恢复威胁过程。
- 响应:如何通知用户安全事件的能力。
2. 常用的行业方案
Splunk以思路为基础“将数据转化为一切(Data-to-Everything)”该平台提供了一整套集成平台SIEM、UEBA、SOAR完整的解决方案。
Elastic以开源为基础，通过Logstash、Elasticsearch、Kibana该组合为数据的基本收集、分析和可视化奠定了基础。Logstash几乎任何数据源的数据都可以作为日志聚合器收集和处理；Elasticsearch用于分析大量数据的存储引擎；Kibana可视化处理和问题分析作为可视化层。Elastic 7.14 版发布了第一个免费开放的版本Limitless XDR，能够在平台上提供集成 SIEM 和 Endpoint Security 功能。
Exabeam 的 SIEM 解决方案可作为 SaaS(Exabeam Fusion SIEM)也可用于混合和联合部署。它包括 Exabeam数据湖、高级分析、威胁捕获、实体分析、案例管理和事件响应。用户可以灵活购买基于定制部署的模块化架构。Exabeam 机器学习 (ML) 驱动的用户和实体行为检测可以为用户提供风险评分和自动文化能力。
从以上行业计划可以看出SIEM厂家一般都是平台化的，SaaS发展思路。
3. SIEM核心特点及落地方案
基于上面提到的SIEM平台化的思路，我们可以看到SIEM系统的一些核心特征(左图)，右图是我们实践的最佳着陆方案。
四、构建Cloud SIEM最佳实践方案
接下来我们将重点阐述构建Cloud SIEM一些最佳实践方案主要从以下四个方面进行。
- 广泛的数据接入:数据采集(尤其是云场景:跨账号、多云)、处理和存储能力。
- 统一的查询分析能力：交互式查询分析语法，ML算法支持，可视化分析能力。
- 威胁探测和响应：使用内置告警规则和自定义规则进行威胁探测，将发现的威胁事件通知给用户，并能够进行事件管理。
- 安全生态集成：如何与第三方平台集成。
1. 数据接入广泛
构建Cloud SIEM解决方案的第一个问题是海量数据的统一访问。然而，该行业涉及到许多访问方案，如日志logstash、FluentD等，将使用指标Prometheus等等。这也造成了数据接入管理的诸多痛点：
- 运维成本高:完整的数据接入需要几个软件的协调，这也带来了很高的运维成本。
- 学习成本高:每个软件都有自己的插件和配置规则，学习成本很高。
我们的计划是建立标准化的数据访问模式，支持它SDK及Agent收集各种数据(日志，Metric、Trace、Meta)统一收集到统一的存储系统中。除了支持服务器和应用程序日志的收集外，它还支持开源软件和标准协议。最重要的是，它为阿里云云的本地场景提供了一个关键的收集方案，例如，日志RDS审计日志、K8s审计日志等。；并与阿里巴巴云资源目录集成，支持跨账户收集（因为许多企业可能有多个账户，每个账户对应一个部门的业务）。
Cloud SIEM在场景中，通常需要收集各种数据源的数据（格式可能混乱），以及长跨度和大量数据的分析需求。我们的方法是通过提供一套低代码和可扩展的数据处理服务Schema On Write提前规则数据可以为后续的分析和处理提供极大的便利。
数据处理服务可以实时执行结构化或非结构化日志ETL处理。该功能目前包括200 算子，广泛应用于数据规则、数据聚合、富化、分发等场景。对于安全场景，数据处理也有很好的安全算子支持。例如，数据处理提供的数据脱敏算子可以有效地减少加工、传输和使用中敏感数据的暴露，降低敏感数据泄露的风险，保护用户权益。常见的脱敏场景包括手机号码、银行卡号码、电子邮件、IP、AK、身份证号码网站、订单号、字符串等敏感信息脱敏。
2. 统一数据查询分析能力
Cloud SIEM系统的一个重要能力是实时监控和分析收集到的数据，支持历史数据的合规审计，审计和分析外部威胁和内部违规行为。然而，安全威胁的方法往往是一个逐渐的过程，可能需要几个月或更长时间才能真正暴露出来；此外，安全威胁可能需要各种数据的联动分析。
我们将日志、指标、Meta在此基础上，我们建立了一套统一的查询分析引擎，支持查询分析、可视化、监控报警，AI 等上层能力。
我们构建的统一查询分析引擎基于统一的存储，标准 SQL 以此为基础，进行了SQL 函数扩展与 PromQL，因此，不同数据之间的联合查询成为可能。
SLS SQL = Search SQL92(Agg，WIndow，GroupBy...) PromQL ...
以下是复杂分析的例子：
- 我们可以通过标准 SQL 语句分析日志。
- 还可以通过 PromQL 扩展的 SQL 函数分析指标数据
- 指标数据的分析结果也可以通过嵌套查询重新聚合
- 此外，还可以通过机器学习函数给予 查询和分析AI 的能力
虽然不同阶段的数据来自不同的系统，也有不同的格式，但我们可以很容易地实现统一的安全情况和安全事件监控，因为它们的存储和分析是一致的。
同时，它提供了大量的基础AI检查、预测、聚类、根因分析等算法SQL/DSL函数的形式可用于人工分析和自动巡逻报警。
3. 威胁探测与响应
通过上述统一的数据访问和统一的查询和分析能力，我们可以实现安全威胁的基本检测能力。然而，为了建立一个完整的监控系统，我们需要解决如何持续监控的问题。基于此问题，我们开发了一套一站式智能操作和维护报警系统。它提供日志、时间顺序等数据的报警监控，也可接受三方报警、降噪、事件管理、通知管理等。
我们提供了数百个内置的报警规则，包括开箱和持续增加。这些规则库已经被覆盖了CIS(覆盖账户安全、数据库安全等。)和安全场景的最佳实践，用户只需打开相应的规则即可享受全天候的安全。
当报警规则发现异常时，应尽快向相应的开发人员通知威胁事件。我们连接了丰富的通知渠道，方便威胁事件的全面接触。
- 多渠道:支持短信、语音、邮件、钉钉、企业微信、飞书、Slack通过自定义 Webhook 扩展。同一报警支持通过多个渠道和每个渠道发送不同的通知内容。例如，通过语音和钉子发出报警通知不仅可以保证触摸强度，还可以保证通知内容的丰富性。
- 动态通知：根据报警属性动态分配通知。例如，测试环境的报警通过短信通知张三，只在工作时间通知；生产环境的报警通过电话通知张三和李四，无论何时通知。
- 通知升级：长期未解决的报警应升级。例如，在报警触发后，通过短信通知员工，但问题长期未处理，导致报警未恢复。此时，需要通知升级，并通过语音通知员工领导。
安全事件发生后，如果不及时处理或意外遗漏，将导致更大的安全风险扩大。因此，我们必须建立一个完整的反馈机制，形成一个闭环来处理安全问题。基于此问题，我们提供了安全事件管理中心，方便用户检查安全事件，并采取相应的管理行动。当开发人员或安全人员收到安全报警通知时，可登录安全事件管理中心进行事件确认、处理人员分配、处理行动记录等操作。
最后，我们提供了一个安全市场，帮助用户了解了解安全事件和安全情况，便于检查和错误使用报警链路。此外，报告还可以自由扩展。
4. 安全生态集成
现代企业上云后，有时会在多家云制造商上部署业务，因此安全场景可能涉及多家云制造商数据的同步。我们与第三方提供服务SIEM方案(例如Splunk)为了确保阿里巴巴云上的所有法律法规、审计和其他相关日志都能引入用户的安全运维中心(SOC)中。
五、总结
我们总体上介绍了它SIEM数字时代的背景趋势和新挑战，以及云的构建SIEM优秀实践。
另外，我们可以看到云SIEM也朝着平台化，SaaS发展方向，不断优化以适应新的业务挑战。
【本文为51CTO专栏作者“阿里巴巴官方技术”请联系原作者转载原稿
戳这里，看作者更好的文章