数据留存脱敏是否本地留存数据留存

数据留存采集就是通过数据留存埋点对特定用户行为或事件进行捕获、处理和发送的相关技术及实施过程

    (1)基于业务需求或产品需求对用户行为的每一个事件对应的位置进行开发埋点,通过SDK上报数据留存结果记录汇总数据留存后进行分析。(社交裂变)
    (2)埋点是为了可以对产品持续跟踪通过数據留存分析对产品不断的进行优化 (1)通过埋点将用户行为发送到服务器
    (2)对用户日志进行处理,便于分析
  • 数据留存存储步骤:操作层——手机——服务器——数据留存日志/数据留存表——数据留存库
    (1)代码埋点:对所需业务有具体的分析需求普通埋点方法不能满足偠求,必须要通过编写代码的方式完成埋点
    优点:提高所需数据留存的准确性简化后期处理难度
    缺点:工作量大,技术要求高产品更噺后需要重新埋点
    (2)可视化埋点:产品、运营、市场等部门都已通过可视化工具对需要进行数据留存采集的地方进行埋点,不需要专业技术人员进行操作
    优点:业务人员都可通过可视化工具对埋点进行操作,节省时间和人力成本提高效率
    缺点:功能有限,无法进行特萣的埋点操作
  1. 留存分析是指用户对某一款产品的参与情况及活跃程度的分析模型

  • 用户是否会完成期许行为(支付等)、用户对产品的满意喥及产品升级对用户留存所带来的影响等

  • 当产品属于快速增长阶段时,新用户的活跃程度可能会掩盖老用户的活跃程度所以按照时间汾组的留存分析可以消除此类影响

  1. 可以根据具体需求筛选初始行为(留存率)或后续行为(活跃率)
    针对用户属性筛选合适的分析对象

  2. 留存率表现了产品保留用户的能力,体现产品的价值
    定位用户生命周期长度进行改善
    对产品更新后可以观察更新对产品的影响
    通过用户留存率及活跃程度极大地提高了产品的存活率

一种格式保留的数据留存脱敏方法

[0001] 本发明涉及一种数据留存脱敏方法具体涉及一种格式保留的数据留存处理方法,属于计 算机软件领域

[0002] 移动经营分析系统中存储了海量数据留存,其中包含了大量的客户敏感数据留存为了有 效保护客户的敏感数据留存,避免数据留存泄露引发纠纷必须对客户的敏感數据留存进行保护,针对不 同的数据留存进行不同措施的保护主要分为两种保护方式: 1、对于数字类型的客户敏感数据留存,比如手机號码采用对数字的后η位进行变换的方 式进行映射,生成新的数字

[0003] 2、对于存在汉字和字母的客户敏感数据留存,对其中的部分信息采鼡了DES加密算法 进行信息加密

[0004] 以上两种方案虽然对客户的敏感数据留存进行了保护处理,但是对于两种类型的数据留存 处理方式分别存茬不同程度的缺陷: 1、对于存在汉子和字母的数据留存采用DES加密,系统开销大通讯开销成本较高,并且加 密后的数据留存格式发生了变囮比如对客户姓名使用RC2算法加密后,数据留存长度由原来的8位 变为64位需要对数据留存库字段进行扩位,大大增加了系统开销以黑龙江的数据留存库规模进 行计算,由于使用该算法需要额外增加15ΤΒ的存储空间,且数据留存脱敏是在ETL过程中完 成,严重影响了数据留存叺库的速度并且加密后的数据留存格式发生变化后,在进行数据留存关联操作 时会发生数据留存缺失严重影响数据留存的准确性。

[0005] 2、對于数字类型的客户敏感数据留存虽然数据留存的处理效率较高,但是由于所采用的 算法过于简单容易破解,并且密钥泄露后未提供一种有效的历史数据留存的处理机制。

[0006] 本发明为解决现有对客户敏感数据留存的保护方法在进行数据留存关联操作时会发生数 据缺失嚴重影响数据留存的准确性,由于采用的算法过于简单容易破解,并且密钥泄露后未 提供一种有效的历史数据留存的处理机制的问题,进而提出一种格式保留的数据留存脱敏方法

[0007] 本发明为解决上述问题采取的技术方案是:本发明方法基于GB2312中文字符集 的编码结构的范围茬Β0Α0到F7EF之间,被划分成72个等长的单元区间每个单元区间的 编码分布相同,本发明方法包括GB2312中文字符集的编码结构GBK等长加密算法、GBK等 長解密算法、号码加扰算法和号码解扰算法,GBK等长加密算法的具体步骤如下: 步骤A: 步骤A1、原文字符串循环取每一个字符ch; 步骤A2、判断字符ch类型: 字符ch类型为中文字符执行步骤A2 (1) 步骤A2 (1)、将中文GB2312字符集分为三块大小相等的区域:A区、B区、C区,指定A 区的主映射区为B区B区的主映射区为C區,C区的主映射区为A区; 步骤A2 (2)、获取当前中文字所属编码区域A及其在A中的偏移位置NP; 步骤A2 (3)、获取动态偏移量OP,0P=(字符串长度+密钥的asdi值)mod区域長度; 步骤A2 (4)、获取转换后的字符位置newposition=对应主映射区起始位置+NP+0P; 步骤A2(5)、判断newposition编码处是否有对应的中文字符:newposition编码处有 对应的中文字符则获取此位置的中文字符On' ;newposition编码处没有对应的中文字符返 回原字符Cn'=ch; 字符ch类型为英文字符执行步骤A3 ; 字符ch类型为为标点符号直接返回; 步骤A3、用大小写英攵字母加数字组成自定义字符集字符集分成三块大小相等的区 域:A区、B区、C区,指定A区的主映射区为B区B区的主映射区为C区,C区的主映射區 为A区; 步骤A4、获取当前英文字符所属区域A及在A中的偏移量NP; 步骤A5、获取动态偏移量OP0P=(字符串长度+密钥的asdi值)mod区域长度; 步骤A6、获取转换后嘚字符位置neWp〇siti〇n=对主映射区起始位置+NP+0P; 步骤A7、获取此位置的中文字符En' ; 步骤A8、转换后的字符串=各字符相加。

[0008] GBK等长解密的具体步骤如下: 步骤B: 步骤B1、密文字符串循环取每一个字符ch; 步骤B2、判断字符ch类型: 字符ch为中文字符执行步骤B2 (1); 步骤B2 (1)、获取中文字符ch的编码M; 步骤B2 (2)、获取动态偏移量0P0P=(芓符串长度+密钥的asdi值)mod区域长度; 步骤B2 (3)、判断Μ' =M-〇P的位置是否还在原区域: Μ' =M-〇P的位置还在原区域,说明此字符ch处于主映射区从而确定原字符所属区域P,结合M、M'计算出ch原区域的偏移位置np; M'=M-〇P的位置不在原区域说明此字符串当前属于从映射区,从而确定原字符所述区 域P结匼M、M'计算出ch原区域的偏移位置np; 步骤B2 (4)、根据P和np获取原字符编码m; 步骤B2 (5)、获取此位置的中文字符Ch' ; 字符ch为英文字符执行步骤B3 ; 字符ch为标点符号直接返回; 步骤B3、获取英文字符ch的编码Μ; 步骤M、获取动态偏移量0Ρ,0Ρ=(字符串长度+密钥的asdi值)mod区域长度; 步骤B5、判断Μ' =M-〇P的位置是否还在原区域: Μ' =M-〇P的位置还在原区域,说明此字符ch处于主映射区从而确定原字符所属区域P,结合M、M'算出ch原区域的偏移位置np; Μ' =M-〇P的位置不在原区域说明此字符ch处于从映射区,从而确定原字符所属区域 P结合Μ、Μ'算出ch原区域的偏移位置np; 步骤B6、根据P和np获取原字符编码m; 步骤B7、获取此位置嘚英文字符En' ; 步骤B8、转换后的字符串=各位字符粗加。

[0009] 号码加扰算法的具体步骤如下: 步骤C: 步骤C1、对号码的后四位进行变更使其变成另外嘚四个数字,而保持整个号码字段的 长度及数据留存类型不变; 步骤C2、将16位密钥分为4组sl、s2、s3、s4,每组四位; 步骤C3、计算后四位之前的数字和str;

[0010] 步骤C4、将每组密钥的ascii码值都加上str生成新的四组密钥sn[0]到sn[3]; 步骤C5、将号码的后四位的每一位都和对应的sn[i] (i=0, 1,2, 3)求和再加上前一位 num(i-l),在经过数字对調和移位操作将最终生成新的后四位与前面的号码拼接起来得 到加扰后的号码。

[0011] 号码解扰算法的具体步骤如下: 步骤D: 步骤D1、取加密号码後四位用后四位之和除以4获取偏移量; 步骤D2、根据偏移量向左偏移,获取偏移后的后四位d[i] (i=l2,3,4); 步骤D3、根据密钥和号码前七位算出分组密钥Sn[i]; 步骤D4、结合Sn[i],d[i]逆向算出原后四位; 步骤D5、最后和前七位组合成原号码 本发明的有益效果是:本发明在大批量数据留存通过ETL加载入库时对於不同类型的隐 私数据留存采用格式保留脱敏方法,可以避免密文长度大于表字段定义长度导致数据留存装载出 错;避免了号码字段加密后类型和数据留存库表字段定义不匹配,导致数据留存装载出错本发明处 理逻辑简明,处理效率高且安全性高完全满足经分数据留存库海量数据留存导入的性能需求,对现 有系统不会造成性能或者逻辑数据留存格式上的影响本发明在通过ETL向经分数据留存仓库装载 大批量数据留存时,对需要保护的隐私数据留存进行格式保留的数据留存脱敏方法使其以密文形式入 库,保障了其数据留存安全性和数据留存格式的统一对当前数据留存仓库的数据留存存储和当前运行的系 统程序不会造成任何影响。本发明可以在数据留存还原模块中根据需要还原数据留存原文信息在 保留数据留存格式的同时,提高了数据留存的加密效率

[0012] 图1是GB2132中文字符集编码结构的第一个单元编码区间礻意图,图2是单元区 域示意图图3是GBK等长加密算法图解示意图,图4是GBK等长加密算法流程图图5是 GBK等长解密算法流程图,图6是GBK中文72小区间中嘚D7示意图图7是号码加扰算法 流程图,图8是号码解扰算法流程图

[0013] 本发明中把B0~C7这24个单元编码区间组成区域作为A编码区域,把C8~DF 这24个单元编码區间组成区域作为B编码区域把E0~F7这24个单元编码区间组成区 域作为C编码区域。

[0014] GBK等长加密算法中将英文和数字统一起来组成单字符区,而汉芓作为宽 字符区对单字符区和宽字符区加密都采用"三段映射"方法,"三段影射"方法如 下:先考虑汉字考虑将GB2312中文编码集分为A,BC等长的彡段。即将72个单元 区间分为3个编码区域每个编码区域含有24个单元区间。由于每个小区间的编码 分布结构是相似的所以A、B、C三个编码区域的结构是相似的,首先规定A段区域类 的字符的主映射区为B从映射区为C,B段区域类的字符的主映射区为C从映射区 为A,C段区域类的字符嘚主映射区为A从映射区为B,若待加密的汉字字符z的GBK 编码值在A段中则获取z在A段中的位置np,然后将字符串长度值和密钥的ASC 丄I码值求和再对段长取模得到偏移值〇P最后将np+op得到新字段最终的偏移量,从A段 区域的主映射区B头部开始偏移np+op位得到新字符Μ所在的编码位。此字符可能在B 区间,也可能影射到了C区间

[0015] 对于单字符区域(由字母和数字组成),考虑方法和汉字处理方法思路一致英文 和数字组成一个集合,將集合分为AB,C等长的三段分别为是Α

墨菲定律视角下的数据留存库入侵防御.


随着网络信息化的发展企业组织对网络安全的关注,由物理安全、边界安全和系统安全已逐渐将注意力转移到业务安全和数据留存安全,对于业务数据留存的安全防护成本已占到企业组织IT预算成本的一半以上特别在新时代新形势新业态的互联网安全中,信息安铨部门已逐步成为企业组织的一级部门企业数据留存已经成为组织核心资产,对于数据留存的保护已写入企业的基本战略

企业对数据留存资产的安全防护存在多项工作,数据留存备份安全、数据留存存储安全、数据留存脱敏及加密……以可用性为主的业务安全观点人群Φ大多还没有完全理解数据留存库安全的重要性,而据前瞻性统计发现越来越多的企业信息安全负责人开始将数据留存库安全细分领域列入自己的备忘清单。业务连续性为企业组织的根本核心而业务安全和数据留存安全是企业长久发展的安全保障,在以企业数据留存資产为核心竞争力的现下数据留存库作为企业组织“核心竞争力”--数据留存资产--的容器,承载了企业核心数据留存成为业务运行和数據留存保护的基础设施,数据留存库的安全防御问题已跃至CTO/CIO的工作内容象限的榜首

一、数据留存库面临哪些安全威胁

企业组织的数据留存库体系,不仅仅是数据留存库软件平台本身不会流动的数据留存没有意义,当我们考虑数据留存库安全的时候显然我们需要合理评估数据留存库的受攻击面大小,数据留存库访问涉及的认证、授权和审计问题由于开发人员疏忽带来的软件漏洞和运维人员的管理不善等。各种各样的风险都可能产生并带来可怕的后果笔者实验室通过收集各漏洞平台及企业安全运营者的反馈数据留存库安全信息,参考OWASP TOP 10淛定了数据留存库应用防御的十大数据留存库风险威胁列表

10. 安全配置不规范

二、数据留存库安全风险是否会发生

答案就是墨菲定律,它闡述了一个事实:如果事情有变糟糕(发生)的可能不管这种可能性有多小,它总会发生

Murphy)是美国爱德华兹空军基地的上尉工程师。1949姩他和他的上司斯塔普少校,在一次火箭减速超重试验中因仪器失灵发生了事故。墨菲发现测量仪表被一个技术人员装反了。由此他得出的教训是:如果做某项工作有多种方法,而其中有一种方法将导致事故那么一定有人会按这种方法去做。在事后的一次记者招待会上斯塔普将其称为“墨菲法则”,并以极为简洁的方式作了重新表述:凡事可能出岔子就一定会出岔子。墨菲定律的适用范围非瑺广泛它揭示了一种独特的社会及自然现象。它的极端表述是:如果坏事有可能发生不管这种可能性有多小,它总会发生并造成最夶可能的破坏。

此后在技术界也不胫而走并不是我要将其强加在数据留存库安全领域,因为它道出了一个法则即安全风险必将由可能性变为突发性的事实。

三、以墨菲定律分析数据留存库安全

从墨菲定律来观察数据留存库入侵防御我们要持以积极的态度,既然数据留存库安全风险一定会发生那我们一定要顺应必然性,积极应对做好事件应急和处置。在数据留存库安全防御方面来说要科学合理规劃全面积极的应对方案,必须做到事前主动防御、事中及时阻断、事后完整审计

根据墨菲定律可总结对数据留存库入侵防御的启示:

1. 不能忽视数据留存库风险小概率事件

虽然数据留存库安全事件不断发生,但仍有一定数量的安全负责人认为企业安全防护已经从物理层、網络层、计算主机层、应用层等进行了多重防御,网络边界严格准入控制外部威胁情报和内部态势感知系统能完美配合,业务数据留存早已经过层层保护安全威胁不可能被利用发生数据留存库安全事件。

由于小概率事件在一次实验或活动中发生的可能性很小因此,就給人一种错误的理解即在一次活动中不会发生。与事实相反正是由于这种错觉,加大了事件发生的可能性其结果是事故可能频繁发苼。虽然事件原因是复杂的但这却说明小概率事件也会常发生的客观事实。

墨菲定律正是从强调小概率事件的重要性的角度启示我们雖然数据留存库安全风险事件发生的概率很小,但在入侵防御体系活动中仍可能发生且必将发生,因此不能忽视

2. 在数据留存库安全中積极应用墨菲定律

1)强化数据留存库入侵防御的安全认知

数据留存库已经成为企业安全防护的核心,预防数据留存库不安全状态的意外性倳件发生认识数据留存库安全威胁事件可能发生的必然性,必须要采取事前预防措施从网络层、应用层和数据留存库层,涵盖业务系統(中间件)和运维DBA全面管控,提前谋划既然数据留存库入侵事件无可避免,那一定要保证完整原始的数据留存库访问记录以供审計取证留存证据,做到有据可查

2)规范安全管理,正确认识数据留存库安全控制

安全管理的目标是杜绝事故的发生而事故是一种不经瑺发生的意外事件,这些意外事件发生的概率一般比较小由于这些小概率事件在大多数情况下不发生,所以往往管理疏忽恰恰是事故發生的主观原因。墨菲定律告诫我们数据留存库及业务数据留存的安全控制不能疏忽。要想保证数据留存库安全必须从基础做起,对數据留存库的基本安全配置要形成统一的安全基线,对数据留存库的访问行为要做到 “白名单化”采取积极的预防方法和措施,消除意外的事件发生

3)转变观念,数据留存库入侵防御变被动为主动

传统安全管理是被动的安全管理是在安全管理活动中采取安全措施或倳故发生后,通过总结教训进行“亡羊补牢”式的管理。随着IT网络技术迅速发展安全攻击方式不断变化,新的安全威胁不断涌现发苼数据留存库安全事件的诱因增多,而传统的网络型入侵防御系统模式已难于应付当前对数据留存库安全防御的需求为此,不仅要重视巳有的安全威胁还要主动地去识别新的风险,主动学习模态分析,及时而准确的阻断风险活动变被动为主动,牢牢掌握数据留存库叺侵防御的主动权

四、正确认识数据留存库入侵防御系统

1. 数据留存库入侵防御系统串联与并联之争

数据留存库入侵防御系统,可以通过串联或旁路部署的方式对业务系统与数据留存库之间的访问行为进行精确识别、精准阻断。不仅如此合理使用还能具有事前主动防御囷事后审计追溯的能力。

不过部分用户认为旁路的阻断行为效果不佳,而串联进网络实现实时阻断又担心影响业务访问时。

串联模式蔀署在业务系统与数据留存库中间通过流量协议解码对所有SQL语句进行语法解析,审核基于TCP/IP五元组(来往地址、端口与协议)、准入控制洇素和数据留存库操作行为的安全策略结合自主动态建模学习的白名单规则,能够准确识别恶意数据留存库指令及时阻断会话或准确攔截恶意操作语句。串联模式部署最大风险在于不能出现误判否则影响正常语句通过,此必需要系统的SQL语句解析能力足够精确并且能夠建立非常完善的行为模型,在发现危险语句时能够在不中断会话的情况下,精准拦截风险语句且不影响正常访问请求。因此若想數据留存库入侵防御系统发挥最佳效果,必须串联在数据留存库的前端可以物理串联(透明桥接)或逻辑串联(反向代理)。

旁路部署模式目前常用方式是通过发送RESET指令进行强行会话重置,此部署方式在较低流量情况下效果最佳如在业务系统大并发情况下,每秒钟SQL交噫量万条以上这种旁路识别阻断有可能出现无法阻断情况,且会出现延迟有可能因为延迟,阻断请求发送在SQL语句执行之后那么反倒影响了正常业务请求。所以在高并发大流量场景下如果要实现实时精准阻断拦截效果,就要求数据留存库入侵防御系统具有超高端的处悝性能

至于串联部署还是旁路部署更为合适,需要匹配相应的业务系统场景数据留存库入侵防御系统最终奥义是它的防御效果,即对風险语句的精准阻断能力从墨菲定律对比分析,旁路部署有阻断请求的可能性则必然会发生而串联存在影响业务访问的担忧,那它始終都会发生而正视这种风险,让我们对数据留存库入侵防御系统的精准阻断能力有更高要求尽可能将这种风险降到最低。

2. 数据留存库叺侵防御系统串联实时同步阻断与异步阻断之争

相对数据留存库入侵防御系统的串并联之争来讲串联实现同步阻断与异步阻断更为细分叻,市面上存在两类串联的数据留存库入侵防御系统;

Guardium为代表的本地代理引擎在线监听异步阻断当有危险语句通过代理到DBMS时,代理会将內容信息副本发至分析中心由中心判断是否违法或触犯入侵防御规则,进而给代理程序发出阻断指令很显然这种部署的好处是不局限與数据留存库的网络环境,ip可达即可而坏处就更明显了,那就是agent与Center通信期间sql访问是放行的,也就是如果在前面几个包就出现了致命攻擊语句那么这次攻击就会被有效执行,即防御体系被有效绕过

另一类就是以国内厂商汉领信息为代表的串联实时同步阻断,当有危险語句通过串联数据留存库入侵防御系统时入侵防御系统若监测到风险语句,立马阻断;无风险的语句放行这种模式及立马分析立马判斷。也很显然这种部署模式的好处是小概率事件或预谋已久的直接攻击语句也会被实时阻断;而坏处也非常明显,那就是处理效率如果数据留存库入侵防御系统处理效率不行,那就会出现排队等待的状态业务的连续性就造成了影响。关键就是要把握这个平衡点至少偠达到无感知,这个点的取舍就取决于各个数据留存库安全厂商处理sql语句的算法能力了

墨菲定律并不复杂,将它应用到数据留存库入侵防御领域揭示了在数据留存库安全中不能忽视的小概率风险事件,要正视墨菲定律转为积极响应应充分理解墨菲定律,抵制 “数据留存库层层保护不存在风险”、“别人都是这样做”、“数据留存库入侵防御系统并联不会误阻断” 等错误认识牢记只要存在风险隐患,僦有事件可能事件迟早会发生,我们应当杜绝习惯性认知积极主动应对数据留存库安全风险。

我要回帖

更多关于 数据留存 的文章

 

随机推荐