毫无疑问，我们已经进入了大数据（Big Data）时代。人类的生产生活每天都在产生大量的数据，并且产生的速度越来越快。根据IDC和EMC的联合调查，到2020年全球数据总量将达到40ZB。

　　当前，网络与信息安全领域中的安全数据同样也具备大数据的特征：

　　数据量越来越大：网络已经从千兆迈向了万兆，网络安全设备要分析的数据包数据量急剧上升。同时，随着NGFW的出现，安全网关要进行应用层协议的分析，分析的数据量更是大增。与此同时，随着安全防御的纵深化，安全监测的内容不断细化，除了传统的攻击监测，还出现了合规监测、应用监测、用户行为监测、性能检测、事务监测，等等，这些都意味着要监测和分析比以往更多的数据。此外，随着APT等新型威胁的兴起，全包捕获技术逐步应用，海量数据处理问题也日益凸显。

　　速度越来越快：对于网络设备而言，包处理和转发的速度需要更快；对于安管平台、事件分析平台而言，数据源的事件发送速率（EPS，Event per Second，事件数每秒）越来越快。

　　种类越来越多：除了数据包、日志、资产数据，安全要素信息还加入了漏洞信息、配置信息、身份与访问信息、用户行为信息、应用信息、业务信息、外部情报信息等。

　　安全数据的数量、速度、种类的迅速膨胀，导致的不仅仅是海量异构数据的融合、存储和管理的问题，甚至动摇了传统的安全分析体系和方法。

　　当前绝大多数安全分析工具和方法都是针对小数据量设计的，在面对大数据量时难以为继。新的攻击手段层出不穷，需要检测的数据越来越多，现有的分析技术不堪重负。面对天量的安全要素信息，我们如何才能更加迅捷地感知网络安全态势？

　　传统的分析方法大都采用基于规则和特征的分析引擎，必须要有规则库和特征库才能工作，而规则和特征只能对已知的攻击和威胁进行描述，无法识别未知的攻击，或者是尚未被描述成规则的攻击和威胁。面对未知攻击和复杂攻击如APT等，需要更有效的分析方法和技术！如何做到知所未知？我们需要更主动、更智能的分析方法。

　　面对天量安全数据，传统的集中化安全分析平台（譬如SIEM，安全管理平台等）也遭遇到了诸多瓶颈，主要表现在以下几方面：

　　——高速海量安全数据的采集和存储变得困难；

　　——异构数据的存储和管理变得困难；

　　——威胁数据源较小，导致系统判断能力有限；

　　——对历史数据的检测能力很弱；

　　——安全事件的调查效率太低；

　　——安全系统相互独立，无有效手段协同工作；

　　——分析的方法较少；

　　——对于趋势性的东西预测较难，对早期预警的能力比较差；

　　——系统交互能力有限，数据展示效果有待提高。

　　为了应对上述挑战，作为国内信息安全领导厂商的启明星辰依托十几年在信息安全分析领域积累的丰富经验和领先技术，在国内率先推出了具有自主知识产权的启明星辰泰合大数据安全分析平台（TSOC Big Data Security Analysis Platform，简称TSOC-BDSAP）。该平台帮助客户实现在规模不断扩大的异构海量数据如事件、流、网络原始流量、文件等信息中，结合流行的关联分析、机器学习、数理统计、实时分析、历史分析和人机交互等多种分析方法和技术，发现传统的安全产品无法检测的安全攻击和威胁，从而进一步保护客户的信息不受破坏，保障客户的业务安全稳定运行，为客户达成核心战略创造价值。

　　泰合大数据安全分析平台面向大型企事业单位、政府、组织机构等客户，提供一套完整的分布式数据采集框架及预处理过程，选用成熟的大数据存储架构，结合SQL、NewSQL和NoSQL技术，实现对异构安全数据的快速可靠的存储。平台提供了多种集中式和分布式数据分析方法，可实现对天量安全数据的实时分析与事后分析，同时还提供一套可视化的数据挖掘分析工具，借助于可视化人机界面，协助安全分析师灵活调整分析过程，发现数据价值。平台采用分布式处理技术在提升采集、存储与分析性能的同时，提供了友好的数据展示平台，采用丰富的数据展示组件，实现对安全数据集及分析结果的可视化展示，为安全管理人员呈现有价值的分析结果。

　　泰合TM大数据安全分析平台架构分为采集层、大数据层、分析层、管控层和呈现层，分别完成天量异构数据测采集、预处理、存储、分析和展示，采用多种分析方法，包括关联分析、机器学习、运维分析、统计分析、OLAP分析、数据挖掘和恶意代码分析等多种分析手段对数据进行综合关联，完成数据分析和挖掘的功能，并集成了业界领先的智能威胁情报管理功能，结合内外部威胁情报，为安全分析人员和管理人员提供快捷高效的决策支持。

　　泰合TM大数据安全分析平台采用的关键技术包括：

　　——分布式海量数据存储技术和文件索引技术；

　　——基于复杂事件处理(CEP)和分布式实时计算的流式分析技术；

　　——基于Map/Reduce架构的批量数据处理技术；

　　——大规模并行处理(MPP)数据库技术；

　　——弹性搜索引擎技术；

　　——交互式查询技术；

　　——全包存储与原始流量还原与分析技术；

　　——多种机器学习和数据挖掘技术；

　　——动态沙箱虚拟执行技术；

　　——云计算技术。

　　主要实现的核心功能有：安全信息的全文索引、大数据实时分析、大数据快速统计报表分析、网络流量元数据存储与行为分析、全包存储与原始流量还原分析、历史数据的关联分析和溯源、攻击路径分析、威胁情报管理与共享、海量数据可视化展示、大数据分析云平台。

　　启明星辰泰合TM大数据安全分析平台可帮助客户解决信息安全分析和管理过程中遇到的困难，提供强大有效的信息安全分析工具，保护已有投资，实现客户信息安全投资的增值，具体价值如下：

　　——帮助客户解决海量异构数据的存储；

　　——实现海量数据的实时和历史分析，了解当前及过去，并预测未来；

　　——提高安全分析人员对安全事件的调查效率，使海量数据的分析变为现实；

　　——为客户提供统一的安全威胁检测能力，实现事件、流、原始流量、用户身份、威胁情报的综合关联分析；

　　——提供强大的APT分析能力和手段；

　　——提供完整的取证能力，可定位至流和原始报文；

　　——提供完善的威胁情报管理和分析，将情报信息转化为安全生产力；

　　——支持全流量数据分析；

　　——兼容现有SOC/SIEM，保护已有投资；

　　——与云平台融合，方便管理维护；

　　——丰富的可视化数据展示和人机交互界面。

　　启明星辰专门成立了泰合产品本部负责大数据安全分析领域及泰合系列管控类和审计类系统的研发、咨询、项目实施与运维。泰合产品本部分别在北京、上海、广州设有研发中心。