今天是我第一次接触大数据安全，通过网上各种找资料。

1 首先，大数据安全是什么？

**百度百科：**大数据时代来临，各行业数据规模呈TB级增长，拥有高价值数据源的企业在大数据产业链中占有至关重要的核心地位。
在实现大数据集中后，如何确保网络数据的完整性、可用性和保密性，不受到信息泄漏和非法篡改的安全威胁影响，已成为政府机构、事业单位信息化健康发展所要考虑的核心问题。
大数据安全的防护技术有：数据资产梳理（敏感数据、数据库等进行梳理）、数据库加密（核心数据存储加密）、数据库安全运维（防运维人员恶意和高危操作）、数据脱敏（敏感数据匿名化）、数据库漏扫（数据安全脆弱性检测）等。

然后，根据百度百科推荐的几篇论文

第一篇：2012年大数据安全-李满意

1 论文类别

这是一篇问题分析论文。

2 论文背景

在这个大数据时代，社会各个领域的发展都离不开大数据分析等技术，在一定程度上改变了社会的生产模式，最为关键的问题就在于信息的安全，因为大数据已经渗透到社会中的各个领域，必须探索信息安全的保障措施。

3 论文贡献

分析了大数据时代下计算机网络信息安全问题。

论文中没有 图表。

4 论文内容

4.1大数据时代下网络信息安全存在的问题

4.1.1 网络病毒入侵

网络病毒入侵会导致数据丢失，网络病毒具有潜伏性和传染性。

4.1.2 人为操作因素

由于操作失误导致重要文件信息被删除，没有对文件进行加密。

4.1.3 黑客入侵

恶意攻击计算机网络的服务器，然后拦截信息，窃取信息，以及损坏信息来导致信息的丢失挥着损毁。

4.2 大数据时代下计算机网络信息的防护措施

4.2.1 建立健全防火墙与安全系统

4.2.2 增强计算机网络的监测与监控

入侵检测技术用了签名分析和统计分析等技术。

4.2.3 增强恶意攻击的防范意识

第二篇 大数据安全与隐私保护 冯登国，张敏，李昊 2014

1 论文类别

这是一篇问题总结性的论文。

2 论文背景

大数据是一热点，但是大数据在收集，存储和使用过程中存在安全风险，当今社会信息化和网路化导致大数据爆炸式增长，图灵提出了科学研究的第四范式–以大数据为基础的数据密集型科学研究。现在人们在互联网上的一言一行都掌握在互联网上，这样就会暴露个人隐私。

3 论文贡献

析了大数据安全和隐私保护面临的技术挑战，整理了若干关键技术及其最新进展，分析了大数据在引入安全问题的同时**，也是解决信息安全问题的有效的手段**。

论文中没有 图表。

4 大数据是什么

4.1大数据来源与特征

大数据是规模大且复杂，难以用数据库管理工具和应用来进行处理，
大规模，高速性和多样性。

来源是哪里？
1，人人们在互联网上产生的数据
2.机器各类计算机系统
3.物体各类数字设备采集额数据，如摄像头，天文望远镜

4.2大数据分析目标

1.帮助人们获得知识与推测趋势，透过现象，把握事物背后的规律，例如：gogle通过对某个关键词搜索的人们的IP地址来进行预测某一事件的发生
2、分析掌握个性化特征
广告推荐
3、通过分析辨识真相
用大数据对虚假评论来进行过滤
用大数据分析技术来过滤垃圾邮件

4.3 大数据技术框架

数据清洗可以消除相似，重复，或者不一致的数据。
数据存储：对于某些实时性要求较高的应用，如状态监控才不用数据存储，而其他大多数应用都是要用到数据存储的，为了降低数据吞吐量，降低存储成本，通常采用分布式架构来存储大数据，
数据分析：数据分析是大数据应用的核心流程，根据不同层次可以分为三类，计算机架构，查询与索引以及数据分析和处理。
MapReduce是当前广泛采用的大数据集计算模型和框架
NOSQL类技术在非结构化和半结构化数据得到了关注
混合的数据访问架构HyDB以及一种并发数据查询及优化方法。
数据解释更好的支持用户对数据分析结果的使用，涉及到的有可视化和人机交互

其他支撑技术虚拟集群。

大数据安全体系

根据信息安全发的反战阶段，可以分为如下四个阶段
1通信安全时期，1949年香农发表的《保密通信的信息理论》
2计算机安全时期，二十世纪70-80年代为标志的《可信计算机评估预测》，为了应对计算机资源稀缺，解决计算机内存储数据的保密性，完整性和可用性问题。
3 二十世纪90年代兴起的网络安全时期。应对网络资源稀缺
4信息安全时代，《信息保障技术框架》。转换为从整体角度考虑
脱敏策略
信道加密技术
eUID编码技术
K-means算法：
1.选择聚类的个数K
2任意产生K个聚类，然后产生K个中心点
3.对每个点确定其聚类中心
4重复以上步骤，知道确定的中心点不在改变

UEBA有了一些比较成熟的产品，Exabeam.G urucul.
等
1.账号失陷检测
2.主机失陷检测
3数据泄露检测
4内部用户滥用
5提供事件调查的上下文

用到的技术，数据收集，机器学习。
hadoop的kerberos认证

平台操作审计

数据安全
广义的数据安全：能够直接，或者间接维护数据的完整性，保密性，可用性
狭义数据安全。数据访问防护：访问审计，访问控制，加密，脱敏：对某些敏感信息通过脱敏规则进行数据变形，
如DMS提供了丰富的脱敏算法和流程化的策略和方案管理能力，既能保证脱敏后的数据保证可读，可逆，可关联。

结构化数据：主?数据库中存储的数据
非结构化数据：图片，视频，文件，图纸。

DLP:文档加密，文档权限控制和DLP产品。
用到了深度内容识别技术，总的来说就是他的过程中用到了智能，智能发现，智能加密，智能管控，智能审计。
网络防泄漏：侧重于网络流量监视和协议分析。
2000年后国外的安全产品进入到我国，有名的产品厂商包括Symantec.LANDesk.2008年之后国内的安全产品已经替换了大
量终端管理类产品。慢慢终端管理产品转换为数据文件管理，提供内容源头级纵深防御能力，控制方式更加细粒度化，保密方式更加优秀。
后来就是进行行为审计的DLP产品，有网络行为审计和终端行为审计，现在人工智能和深度学习的兴起，导致DLP产品转化为智能化产品，至2013年以来，国家大力推动国产DLP产品的生产和应用，但是现在还只是处于萌芽阶段。

数据备份与容灾产品
数据备份一种是磁带机备份，另外一种是热备份。通过SAN之类的先进通道技术，把服务器数据同步，或者一步存储（镜像方式）

在远程设备上，

NAS技术，SAN技术。远程镜像技术，虚拟存储，快照技术，

云数据安全：
首先解释后门：电脑主人不加以控制，或者无法控制，而外人可以悄悄进入或者控制的信息通道。
CiperCloud:致力于云保密技术和标记化技术，为以下公司提供服务：有salesforce,goole apps,amazon cloud,office 365,
Skyhigh networks :云端监管服务，监控连接到云端上的服务器。
全新类的产品有访问安全代理

国内目前在云安全方面研究的公司有阿里云，腾讯云，华为云，百度云，网易云
云安全方面的技术可以分为两类
1.基于云计算服务提供防护，也就是使用云服务时候的安全
2传统的安全托管技术，以云服务方式提供安全。两个之间有交叉的部分
目前国内做这块的除了华为，其他都是互联网企业在做。
云计算的三种服务模式是Iaas,Paas,Saas,
安全即服务这种方式早期是向客户出售软件和设备，云计算技术成熟以后，现在厂商通过网络为企业提供安全托管服务，企业只需要进行简单的配置
现在Iaas ？技术已经趋于成熟，国外的Saas已经比较成熟，因为国内的IT和安全架构不成体系，阻碍了我们云安全的发展

国外最先做云的是亚马逊，后来因为OPenstack 开源之后，有很多公司也开始做云，结合自己的硬件一起。

大数据平台的数据安全
非结构化数据使用到DLP技术，国内现在也已经发展相对成熟
但是结构化数据，数据库审计，数据库防火墙和数据库脱敏，
Imperva主要是做web应用安全和数据库防火墙这方面的，阻止网站威胁（爬虫，恶意机器人，垃圾评论发送者，DOss攻击，）前端提供防火墙服务，同时还可以防止后门，
国内数据库安全：中安比特，昂楷科技，
IBM Guardium的探针技术，后来做数据安全，其内置了机器学习，
国内和国外的大数据底层大多都是基于Hadoop来做的

informatica

数据管理要保证
1.敏感数据看到被谁访问，
2防止泄露
3防止被非法修改和删除
4满足政策要求

CASB：云数据安全，

加密不能降低数据查找效率，并保证安全性和透明性。

静态脱敏。发现数据，抽取数据，脱敏数据，装载数据，
保证数据之间的关系不变并保证安全。高速，输出

动态脱敏：通过改写SQL来