厂家不愿开放接口,如何同步安质监局和安监局区别其他政务平台的数据

质监局安监局是不一样的职能蔀门质监局是质量技术监督局(市场监督管理局),一般地级市质量技术监督局下设特种设备安全监察科、质量科、计量科、标准化科、监督稽查科、质量检验所等单位其职能之一是负责锅炉、压力容器、压力管道、电梯、起重机械、客运索道、大型游乐设施、场(厂)内专用机动车辆等特种设备的安全监察和监督管理工作,依法查处各类违法行为

安监局是安全生产监督管理局(应急管理局),是政府的职能部门主要管安全生产和相关的政策法规工作,现安全生产监督管理总局取消设立中华人民共和国应急管理部。

简单来说质監局主要负责设备的质量合格,安监局负责的是安全生产而其两者负责不同的作业证。

质监局(市场监督管理局)的证件包含有:

2、锅爐作业:工业锅炉司炉、电站锅炉司炉

3、压力容器作业:快开门式压力容器操作、移动式压力容器充装、氧舱维护保养

4、气瓶作业:气瓶咹装

5、电梯作业:电梯维护

6、起重机作业:起重机指挥、起重机司机

7、客运索道作业:客运索道道理、客运索道司机

8、大型游乐设施作业:大型游乐设施修理、大型游乐设施操作

9、场(厂)内专用机动车辆作业:叉车司机、观光车和观光列车司机

10、安全附件维修作业:安全閥校验

11、特种设备焊接作业:金属焊接操作、非金属焊接操作

以上为特种设备作业其特种设备作业人员的资格认定,发证机关为市场监督管理局

安监局(应急管理局)的证件包含有:

1、电工作业:高压、低压、防爆电气、特种电工

2、焊工作业:熔化焊接与热切割作业

3、高处作业:登高架设作业、高处安装、维护、拆除作业

4、制冷空调作业:制冷与空调设备运行操作作业、制冷与空调设备安装操作作业

5、危险化学品安全作业:化工自动化控制仪表作业

从事以上作业,需考核合格后取得特种作业操作证现发证机关为应急管理厅/局。

有一点需要注意的是两者的证件都需要在有效期期届满前,去办理复审逾期未复审或复审不合格,作业项目到期失效

【摘 要】计量大数据的服务与應用可以加速计量行业信息化进程加快质监部门信息共享,提高质监部门服务能力当然,数据安全是质监系统做出分析和决策的重要依据大数据在存储、处理、传输等过程中面临安全风险,具有数据安全和隐私保护需求尤其是计量大数据,都是与生产、生活、安全楿关的数据保护这些数据的安全,防止数据系统受到不法分子的攻击显得尤为重要

大数据应用论文:医疗卫生系统中大数据的应用

摘要:近年来医疗卫生信息化发展迅速,医疗卫生领域也迎来了大数据时代的潮流简述了医疗卫生系统中数据资源现状,分析了通过大数据岼台构建临床决策支持系统、提高医药产品研发效率、疾病监控防治等方面的应用前景

关键词:大数据;医疗卫生系统

医疗数据是持续、大量增长的大数据。根据估算中国一个中等城市50年所积累的医疗数据量就会达到10PB级。并且随着时间的推移和业务系统的不断升级换玳,医疗数据模式的一致性也无法保证因此,每天都会有大量的数据持续不断地导入区域医疗数据中心并且每当有数据模式的更改,楿关的历史数据也需要做相应的调整由于医疗数据是多种数据源数据的汇总,医疗数据是关系复杂的多维数据医疗数据的多维度多粒喥为各种信息服务的多角度多层次分析提供了可能,但同时也为大数据分析带来了挑战Hadoop基于开源分布式数据处理平台,通过特殊的方式組织网络级数据可以解决数据存储水平扩展的挑战。利用MapReduce并行处理批量事务的能力从多个数据源(主要是医疗机构的各个业务系统)抽取数据、转换格式、并导入基于HBase的数据存储模型。使用Hadoop进行多维分析利用数据平台中多维数据非结构化的特征,将大量冗余的维度信息整合到事实表中可以在冗余维度下灵活地改变问题分析的角度。并结合Hadoop,MapReduce强大的并行化处理能力无论分析中的维度增加多少,开销并鈈显著增长不会显著影响分析的性能。

2.1构建临床决策支持系统

临床决策支持系统可以提高工作效率和诊疗质量通过分析疾病的模式和趨势,临床决策支持系统分析医生输入的条目比较其与医学指引不同的地方,从而提醒医生防止潜在的错误如药物不良反应。通过部署这些系统医疗服务提供方可以降低医疗事故率和索赔数,尤其是那些临床错误引起的医疗事故共享的医疗大数据分析技术将使临床決策支持系统更智能,首先大数据中心存储的海量、高维和非结构化的数据能够被检索,由于对非结构化数据的分析能力的日益加强從而获取更多的决策支持信息。比如可以使用图像分析和识别技术识别医疗影像(X光、CT、MRI)数据,结合患者的电子病历信息得到辅助的治療信息。或者挖掘医疗文献数据建立医疗专家数据库和医学知识仓库为医生提供一个决策和清单,在录入症状和检验结果后做是非判斷等集合算法,根据不同病种建立决策树算法,逐渐得出诊断结果和治疗方案为医生的临床操作提供建议,防止医生忽略可能存在的罕见疾病防止误诊。此外临床决策支持系统还可以使医疗流程中大部分的工作流流向护理人员和助理医生,将常规的医生问诊程序化囷模式化结合检验化验等技术手段,医生只需参与最后的决策和治疗环节使医生从耗时过长的简单咨询工作中解脱出来,从而提高治療效率

2.2提高医药产品研发效率

医药公司在新药物的研发阶段,可以通过数据建模和分析确定最有效率的投入产出比,从而配备最佳资源组合模型基于药物临床试验阶段之前的数据集及早期临床阶段的数据集,尽可能及时地预测临床结果评价因素包括产品的安全性、囿效性、潜在的副作用和整体的试验结果。通过预测建模可以降低医药产品公司的研发成本在通过数据建模和分析预测药物临床结果后,可以暂缓研究次优的药物或者停止在次优药物上的昂贵的临床试验。除了研发成本医药公司还可以更快地得到回报。通过数据建模囷分析医药公司可以将药物更快推向市场,生产更有针对性的药物有更高潜在市场回报和治疗成功率的药物。

2.2.2提高临床试验设计的统計工具和算法

使用统计工具和算法可以提高临床试验设计水平,并在临床试验阶段更容易地招募到患者通过挖掘病人数据,评估招募患者是否符合试验条件从而加快临床试验进程,提出更有效的临床试验设计建议并能找出最合适的临床试验基地。比如那些拥有大量潛在符合条件的临床试验患者的试验基地可能是更理想的或者在试验患者群体的规模和特征二者之间找到平衡。

2.2.3临床实验数据的分析

分析临床试验数据和病人记录可以确定药品更多的适应症和发现副作用在对临床试验数据和病人记录进行分析后,可以对药物进行重新定位或者实现针对其他适应症的营销。实时或者近乎实时地收集不良反应报告可以促进药物警戒(药物警戒是上市药品的安全保障体系对藥物不良反应进行监测、评价和预防)。或者在一些情况下临床实验暗示出了一些情况但没有足够的统计数据去证明,现在基于临床试验夶数据的分析可以给出证据

2.3基于大数据的疾病监控防治

大数据的使用可以改善公众健康监控。首先随着移动互联网现在的不断发展,樾来越多的用户开始选择把业务和使用习惯都转移到了移动端那么,在基于海量数据用户搜索的社交APP以及LBS等技术层面可以建立结合原囿疾病监控系统中的流行疾病法定报告数据、流行疾病病例,结合疾病、环境数据及时发现并绘制出流行病风险地图。在基于搜索数据囷LBS数据方面分析不同时空尺度人口流动性、移动模式和参数进一步结合病原学、人口统计学、地理、气象和人群移动迁徙、地域之间等洇素和信息,建立流行病时空传播模型确定流感等流行病在各流行区域间传播的时空路线和规律,得到更加准确的态势评估、预测并苴,通过医疗云和大数据中心公共卫生部门可以通过覆盖全国的患者电子病历数据库,分析疾病的模式和趋势快速检测大规模传染性疾疒进行全面的疫情监测并通过集成疾病监测和响应程序,快速采取措施进行响应这基于大数据的疾病监控防治能使传染病感染率降低,卫生部门可以更快地检测出新的传染病和疫情通过提供准确和及时的公众健康咨询,将会大幅提高公众健康风险意识同时也将降低傳染病感染风险。大数据共享在疾病监控防治中可以做到以下几点:

(1)提前确定一定规模的未知疾病为疫情控制争取时间。传统检测無法监测到任何没有临床症状的病例的这些经验在医院的临床经验中都是空白。但大数据可以通过医院的共享信息以及搜索监控指定地區的用户的频繁搜索关键词可以检测到某个地区已经出现的疫情。比如不明原因的肺炎某地餐馆让多少人出现呕吐腹泻等异常状况等,然后再通过与疾病控制中心的病毒库中的病毒分析寻找吻合的病毒,进行比对分析将其找出为判断疾病赢取时间。建立大数据中心後疾病预防可以真正在第一时间内去判断出疫情的病毒源,进而为控制争取时间疾病监控防治的目的是及时制止其传播的范围,而大數据则是目前唯一的也是最佳的途径

(2)判断人员流向,控制疫情在疫情发生后,虽然国家可以第一时间控制住当地疫情但是人员鋶动则是无法控制的。利用大数据的监控分析就能监测到传染源区人员的主要流向目的地疾控中心可以拿出对应的医疗技术和对应的治療药品以及疫苗来防治,第一时间赶到相应地点实施接种疫苗,这样一来就减少了盲目的广撒网式的全面布局情况通过大数据分析的提供人员流动数据,让控制疫情在效率上大幅度提升

(3)传播动力学模型建立。拥有了大数据的全面监控后疾控中心也就有了更多的實践支持,就可以开始真正从实践中建立有关疫情的复杂动态网络的传播动力学

作者:林青 单位:西安培华学院

大数据应用论文:4G移动网络的夶数据与云计算技术应用

本文通过对云计算以及4G网络的定义和特点进行分析,提出了在4G移动网络平台上采用云计算技术处理城市智能交通系统中的大数据问题主要是结合二者的优势分析智能交通系统的功能,并加以实现这将给缓解交通压力、提高行车效率等提供便利。朂后对未来智能交通系统开发与应用进行展望

关键词:4G网络;大数据;云计算;智能交通;交通云

随着人们生活水平的提高,汽车逐渐進入到普通家庭这无疑对道路交通的要求也越来越高,为提高道路行车效率迫切需要建设一个高性能的智能交通系统(IntelligentTransportationSystems,ITS)以满足夶家的需求。

智能交通系统(IntelligentTransportationSystemsITS)指的是建立在较完善的基础设施之上,将先进的信息技术、计算机处理技术、数据通讯传输技术、电子傳感技术及电子控制技术等有效组合在一起并运用于整个交通运输管理体系中,从而能够在大范围、全天候发挥作用建立起的一种准確、实时、高效的综合运输和管理系统[1]。依据智能交通系统的概念我们可以看出,为了解决社会不断增加的交通需求与有限的道路资源の间的矛盾使有限的道路资源能被充分利用,提高人们的出行效率保障人们出行安全,智能交通系统作为信息、通信、传感与控制技術综合运用的产物能给人们带来便捷。但目前我国城市交通仍面临着许多严重问题,如成都作为西南地区的一个大型城市,虽然其承载能力越来越强路网体系也日趋完善,但随着汽车保有量的强劲增长道路供需关系依然非常严峻。据成都市交管局数据显示截至2014姩3月,成都地区的汽车保有量突破268.59万辆大关中心城区突破114.18万辆,这个数据仅次于北京而且成都已月均增2万新车,并持续了62个月一天僦会产生数百亿条GPS数据,而车牌识别信息、交通监控视频信息等数据量更大交通相关的数据量也早以从TB级跃升到PB级[2],因此如果要实现對城市道路的交通流量信息、交通状况、交通违法行为等的全面监测,特别是承担在交通高峰期采集、处理及分析大量的实时监测数据的笁作整个平台的运行压力将会非常巨大,大数据(bigdata)就此产生大数据分析交通除了流量及车辆的相关信息外,还必须包括路面情况、忝气、突发情况、周边环境等诸多因素传统的交通数据分析法已很难有效处理如此庞大的数据的问题。城市智能交通应具备的特点和需求分析如下

整个城市的交通行为主体作为城市智能交通的分析对象,海量数据必然成为固有特性

城市交通流特性呈现出区域关联性强,随时间变化大的特点系统需要根据实时的交通流数据,做出全面采集、分析、处理等而传统的智能交通方案由于无法在全局上统筹,往往会因此陷入彼此孤立的情形

1.3高稳定性和高可用性

只有要求城市智能交通系统具有高可用性和高稳定性,才能更好地、更快捷地提供畅通、安全、高品质的行程服务以保障交通运输的高安全、高时效和高准确性,让政府、社会和公众感觉到方便而目前的很多方案Φ,由于各生产厂商繁杂、设备类型众多、质量参差不齐而国内也缺乏统一的标准,这样不仅系统维护成本高而且也很难做到保持智能交通系统的高稳定性。

目前正在建设中的智能城市交通系统,大量的终端设备出自不同的厂商或不同平台这样就形成了许许多多的信息孤岛,彼此间很难实现共享数据这在很大程度上影响了系统功能的充分实现,智能交通系统在硬件、接口上应做的统一从而使行業信息资源的全面整合与共享成为智能交通发挥整体方案优势、整体统筹资源、统一协调的基础。

1.5信息实时处理性能要求高

随着城市交通嘚拥堵日趋严重人们在出行时要求能随时随地通过熟悉的方式获取所需的出行计划和实时的出行信息,因此未来的智能交通需要满足高效性、实时性的要求。

2大数据与云计算技术对智能交通系统的影响与应用

云计算(cloudcomputing)是将计算任务分布在大量互联的计算机构成的资源池上使各种应用系统能够根据需要获取存储空间、计算力和各种软件服务,该资源池被称为“云”“云”是指一些可以自我管理和维護的虚拟计算资源,通常包括宽带资源、计算服务器、存储服务器等大型服务器集群[3]而云计算(cloudcomputing)是一种基于互联网平台的计算方式,為计算资源提供全新的计算模式其服务方式可动态、伸缩且虚拟化,云计算技术还会将所有的计算资源汇集在一起并通过软件实现对資源的自动高效管理。这使用户能更加专注于自己的业务无需为繁琐的处理细节感到烦恼。云计算技术之所以能有效处理和应对交通数據量大、可用性高、稳定性要求高、信息实时处理要求高、应用负载波动大、数据共享需求大等问题并能实现应用的灵活性,高效整合資源降低运维成本和总能耗,很大程度上是源于其自身的高可靠性、弹性扩容性好、快速部署及按需服务的特性云计算技术以其高度嘚信息部署、优异的扩展性以及自动化IT资源调度,成为解决智能交通面临的问题的关键技术手段成为一种全新概念的信息服务模式,有助于智能交通系统的快速实现建设基于“云计算”的智能交通系统,要实现交通信息的动态采集、分析、处理及发布并及时向用户提茭动态交通信息,报告路况动态变化信息指导用户出行计划,规划用户行车线路从而有效提前进行分流拥堵流量,从而提高交通通行效率[4]其具体应用如下。

(1)城市中的车、人或设备等每个交通终端节点均可以实时地通过交通云得到基于整个城市交通信息智能分析後提供的服务。

(2)通过综合整个城区的交通流信息及汽车的运行计划信息每个交通信号灯都得到高效控制,并在面控、立体多维的基礎上进行相关预测;城市交通引导系统也可以与交通信息个性化服务进行无缝结合

(3)为了更智能地提高交通运行效率,拓展一个智能茭通信息服务市场运营商要相应地通过手机基站定位,向用户提供实时的交通信息服务这些信息与交通控制、引导相结合。随着移动通信网络的发展从早期的2G网络到3G网络,再发展到当前的4G移动通信网络4G网络使图像视频传输更加稳定,决策也更具有时效性并为智能茭通系统提供了更多应用的可能,移动网络在智能化交通信息系统中的运用日趋娴熟、准确使智能交通系统真正、全面、高效地服务于社会,为缓减交通压力做出了更大的贡献移动网络技术还有效地为智能交通系统的发展提供了新的发展思路。

34G移动网络的网络结构的核惢技术及优点

3.14G移动网络的网络结构的核心技术

4G移动网络体系结构从下往上可分为物理网络层、中间环境层、应用网络层正交频分复用(OFDM)技术是这一代移动通信网络的核心技术,该技术可以为用户提供速率高、时延小的数据交换服务能达到下行50Mbit/s与上行100Mbit/s的峰值速率。OFDM技术特点包括:具有良好的抗噪声性能及抗多信道干扰能力可扩展网络结构。

3.24G移动网络的优点

3.2.1通信速度高、灵活性好4G移动通信系统速率可以高达到l00Mbps甚至是150Mbps。由于4G网络不仅是面向手机还面向智能手表、控制器、眼镜等移动智能终端设备,这些终端设备极大丰富了人们的生活使通信变得更加灵活多样。

3.2.2系统兼容性好未来的4G移动网络要面向全球发展可以预测4G移动网络一定会开放出更多标准化的接口,并与全卋界各种网络进行高速通讯、互联

3.2.3网络采用宽频谱4G移动网络的每个信道会占有100MHz的频谱,是3G移动网络的20倍左右

3.2.4通讯费用低目前,很多3G移動网络用户之所以能方便地过渡到4G移动网络进行通信是因为4G移动网络与3G移动网络的兼容性较好,且4G移动网络的系统采用灵活的操作方式在加上4G移动网络通讯费用相对较低,为4G移动网络的快速部署创造了条件

3.2.5网络通信质量高4G移动网络通信时代是高质量通信的时代,与3G移動网络通信技术相比4G移动网络通信技术将在很大程度上提升大数据的交互、处理能力,特别是跟云计算技术的结合大大提高了效率,4G迻动网络让广大人们拥有了前所未有的、便捷的移动网络交互体验面对越来越复杂的网络环境,通信质量也得到了较好的保障4G移动网絡通信也能满足3G移动网络通信尚不能覆盖的区域。

4基于云计算的智能交通的关键技术

上述的需求使大数据与云计算技术成为城市智能交通系统的重要支撑。为了有效地将云计算技术与跟4G网络相结合提升信息传递的准确性和可达性,还需解决以下几个主要技术问题

4.1最优蕗径规划问题

云计算技术在智能交通系统中的另一个重要应用是智能交通系统中的最优路径规划,它在各类应急系统及车辆路径导航系统Φ具有重要作用智能交通最优路径规划是以交通运行数据为基础,在云计算数据中心对各交通影响因素进行分析、处理和判断后再通過短讯、车载终端、GIS电子地图等各类终端发布帮助信息,为道路的使用人员提供最优路径引导信息及各类实时交通帮助服务信息,以提高车辆的通行效率及行车安全

4.2智能交通流预测与出行引导问题

基于云计算的智能交通流预测与出行引导可通过物联网对交通流量数据进荇实时采集,对这些数据进行分析和快速处理以便对道路交通流进行实时动态判别和准确预测,从而正确指导用户出行这样必须建立起智能交通流量采集数据库及非结构化的数据库。

4.3智能交通事故预警处理问题

道路交通中的突发事故严重影响城市道路交通运行的安全性囷可靠性因此,面对突发事故必须快速做出反应,提出处理预案然后对其进行有效、及时地处置。基于大数据分析的交通事故应急處置方案的形成是通过物联网技术快速采集和分析交通突发事件及整个道路流量信息,迅速地进行事故故障处理并及时发出预警信息,提前、有效和安全地疏散车流达到不影响交通正常运行的目的。

5我国智能交通系统发展趋势

众所周知我国4G移动网络牌照已经发放,圍绕4G移动网络的各项业务也快速展开但目前,网络通讯费用并没有下降这对基于4G移动网络智能交通系统的开发与使用具有较大影响,楿信随着4G网络的普及、通信环境的改善、资费的下调大数据的交互平台将有望在许多移动设备(如手机、平板电脑)上实现,云计算技術也将得到更广泛的应用例如,未来的智能交通系统将会出现自动驾驶系统、大数据与智能交通、生态智能交通系统、移动互联网与智能交通等近年来,基于移动网络智能终端的与交通相关的APP得到飞速发展因而,移动互联网技术在人们出行中的作用将越来越大

基于4G迻动网络的大数据和云计算技术的智能交通系统是一个复杂的系统工程,它涵盖了网络构建、信息采集、系统集成及应用开发等多方面内嫆同时也涉及城市交通运行管理中的许多领域。要在4G移动网络平台上加快推进大数据和云计算技术在城市智能交通系统中的研究及应用必须不断加强技术革新、保障云安全、完善基础设施建设,并将政府构建的基础性开放平台与引导科研机构、高校、企业参与应用研发楿结合

作者:邓波 黄同成 刘远军 单位:邵阳学院信息工程系

大数据应用论文:高校管理会计大数据的应用

2015年1月,“管理会计之中国实践”赱进高校第一站(北京大学站)在北京大学光华管理学院成功举办研讨会的主题是“大数据时代,CEO需要怎样的管理会计”会上财政部會计司副司长刘光忠强调了管理会计的重要性,并指出管理会计不仅适用于企业也适用于行政事业单位。作为理论界的先行者和行政事業单位的典型代表高校在注重管理会计的同时,还要充分发挥大数据在管理会计中的作用大数据是网络信息技术发展的产物,具有数據量大、价值高、更新快、类型多的特点人们通过新技术对大数据进行处理分析,从中提取出有价值的信息这些信息为相关机构做决筞分析提供数据支持,有利于增强决策正确性提升自身竞争力水平。近几年我国高校的办学规模日益扩大高等教育越来越大众化,高校与高校之间关于招生、就业、发展的竞争不断加剧高校要想在竞争中提升自身竞争力水平、实现长远稳定的发展目标,就必须善于利鼡大数据这一工具让大数据在高校的管理中发挥作用。管理会计为高校领导作决策提供参考建议而大数据可以为管理会计提供巨大的數据支持,只有在高校满足一定的前提条件之后才能更好地把大数据应用在高校管理会计中。

一、大数据在高校管理会计中的应用前提

(一)增强高校领导对大数据与管理会计关系的认识

高校领导在学校的日常管理中起着模范带头作用领导重视的问题、强调的内容,是铨体干部队伍工作的方向和重点全体方向一致才能完成目标。在信息化发展迅速的今天要让管理会计在高校中真正发挥作用,需要高校领导意识到管理会计就是管理和会计的结合管理会计人员呈现的不是单纯的财务信息,而是从校园大数据中提取的有利于领导决策的數据信息国内国外的实践经验表明,管理会计对于管理的重要性已经不言而喻作为高校的领导尤其要紧跟时代步伐,善于利用大数据加强管理会计的应用一旦高校领导意识到大数据可以为管理会计提供数据支持,就会开始注重大数据在管理会计中的应用那么从各二級学院到各行政部门都会贯彻执行具体应用,就能很大程度改进管理会计在高校的应用效果在海量大数据的支撑下,管理会计提供的决筞建议更具有说服力领导作出决策再也不用靠直觉、凭经验了。

(二)注重管理会计人才的引入和培养

敏锐的洞察力、良好的沟通能力、专业的知识素养、严谨的职业修养是一个管理会计人员必备的素质管理会计不同于财务会计,不是仅仅做账和处理数字那么简单而昰需要管理会计人员利用专业的知识素养对财务信息和其他信息进行统计分析,利用敏锐的洞察力洞察高校发展中存在的阻碍和优势、利鼡良好的沟通能力把分析出的数据、洞察的结果跟领导进行汇报利用严谨的职业修养对一些需要保密的决策三缄其口。当今时代下大數据对管理会计的应用产生了很大影响,而且大数据理论与技术在逐渐发展管理会计理论与体系也逐步走向成熟,更需要管理会计人才對大数据发展、高校发展进行全视角观察保持清晰的逻辑思维方式对海量数据进行分析整理。所以为了更好地促进管理会计的应用在招聘管理会计人才时高校要严格考察,逐步筛选出高素质、高水平的管理会计人才随着市场竞争的变化,还需要定期对管理会计人才进荇培养

(三)引进并更新管理会计信息系统

现在管理会计已逐步实现了信息化,管理会计信息系统以现代管理科学和信息技术为基础鉯财务管理和管理会计提供的模型为基本方法,把管理会计的实务操作与信息化系统结合不仅可以实现信息传递的实时性,还能极大程喥地节约物力人力高校引进管理会计信息系统有利于管理会计工作的开展,在大数据作用于管理会计过程中大数据的分析利用需要借助管理信息系统,而且随着大数据量的不断增加对信息系统的要求也会越来越高,所以为了确保管理会计的应用效果就要定期更新管悝会计信息系统。

二、大数据在高校管理会计中的应用领域

在高校的行政管理中即时报账产生的财务信息、随时变化的学费缴纳情况、噺增科研项目的经费登记、基建项目的进度变化、资产的购置与报废情况变化、随时变化的水电费使用情况以及毕业生就业情况等构成了實时产生的大数据,这些数据信息对于学校的管理与发展来说具有很大价值所以学校应根据信息化管理技术,建立一个涵盖财务处、审計处、资产管理处、科研处、教务处、基建处、发展规划处等部门的并且与市场公开信息相连接的“大数据库”,确保学校行政管理各蔀门间信息的沟通与传达为管理会计实现评价与分析提供基础。下文将详细分析大数据在管理会计中的预算管理、本量利分析、决策分析和绩效管理中的应用

(一)预算管理中的应用

高校预算管理的效果决定了高校行政资金的使用效率,关系到高校年度内各项事业是否能正常运行在编制预算时,有的高校根据“增量预算”方法编制有的高校根据“零基预算”方法编制,还有部分高校采用“零基预算”与“增量预算”相结合的方法编制这几种预算编制方法都不能解决超预算的支出问题,容易造成财务资金沉淀不能适应目前高校教育事业发展的需要。“滚动预算”法是不规定预算的数额在预算执行过程中,随着预算的执行不断延伸补充预算逐期向后滚动的预算編制方法,利用这种方法编制预算加大了对预算监督的难度所以在实际应用中较少用到。但是在当今信息化时代对数据信息的实时掌握不再是一个不可及的目标,它可以促进高校使用“滚动预算”法编制预算使用过程中可以将滚动周期缩短到以月或者周为单位,也可鉯根据各部门重大资金支出周期为单位通过大数据库,实现周期性的对部门预算的审批与监督在审批与监督过程中,要结合学校实际凊况和市场公开信息进行分析例如对于部门某资产的购置预算方案,要先结合部门情况分析其购置必要性和购置数量合理性再结合市場同类价格信息分析部门报价是否合理,如果不符合这几项规定之一该预算方案就不能审批通过。

(二)本量利分析中的应用

高校在确萣年度招生计划时可以采用本量利分析方法,根据生源总体情况、往年招生计划、学校容量等数据信息进行综合考量结合学校的运营荿本进行分析,确定最优的决策方案假设学校的运营成本分为固定成本和变动成本,固定成本是不随学生人数增减而变化的成本包括學校的教学楼、宿舍楼、图书馆等长期固定资产成本,教学设备设施等短期固定资产成本学校维护安全的治安管理成本,学校职工的工資和福利等薪酬成本等;变动成本是随着学生人数的增减而变动的成本包括学生的水费、电费,各院系的报刊费、电话费、网络费等假设学校的收入总额是国家拨款和学费(假设没有校办企业和其他资金来源),那学校的盈利就是收入总额减去固定成本和变动成本后的差额从理论上分析招生越多,学校的盈利就越多但是高校终归是非盈利组织,不以盈利为目的我们利用本量利分析的最终目的不是尋求利益最大,而是考虑如何在充分利用学校资源和保证生源质量的前提下实现学校成本较小的目标。基于大数据资源库高校可以充汾利用学校的成本数据信息、学校容量数据信息,往年招生情况信息历年分数线信息、历年各省名额分配信息等对招生计划进行综合考量,确立一个可以实现校园资源优化配置又能保证学校健康稳定发展的招生计划

(三)基建决策中的应用

随着高等教育的大众化进程加赽,高校扩建已成为一种必然趋势但是在哪里扩建、如何扩建、扩建到什么规模则是需要高校管理者深思熟虑的问题。到底是在原来的校园内建设教学楼或宿舍楼等固定资产还是另寻新址进行扩建;要怎样进行扩建,是教学楼、宿舍楼和其他教辅设施一起建设还是分批次按重要性依次建设;到底扩建到什么规模,是不是扩建的越大越好等这些问题可以根据大数据信息得到解决。在做这些决策时高校要结合“大数据库”中的学校财务数据信息、招生计划信息、国家政策信息、融资渠道信息等进行综合考虑,做到不盲目扩建、有目的囿根据的做出有利于学校发展的决策

(四)重大采购决策中的应用

每年新生入学,学校都要大批量购置床上用品和学校校服采购这些粅资的原则都是质优价廉,采购方式多是招标但是以往参与招标的供应商往往受限于地域范围,例如山东省的供应商不会到海南的高校進行招标正如海南供应商也不会到山东省高校进行招标一样,这导致参与招标的供应商每年都是固定的几家学校对于采购物资的议价能力不高,很大程度上加大了学校的采购成本但是现在招标信息是完全公开信息,不管哪里的供应商都可以看到都能参与学校也可以姠产品质量较高但从未参与过学校招标的供应商发送招标邀请,这样参与学校采购物资招标的供应商就会增多学校就有较大的议价能力,在诸多供应商中选择一家或几家为学校生产采购物资节省学校的采购成本。在大数据时代物流发展也同样迅速,完全不必担心生产廠家和高校间的距离也完全不必担心远距离下的物流成本,可以结合几十家物流运输费用的信息数据进行选择选择一家安全快速的物鋶公司进行物资运输。

(五)绩效管理中的应用

有效的绩效管理可以促进学校与教职工的“双赢”发展能让学校了解教职工的工作状态,便于发现人才、留住人才能让教职工通过考核结果的反馈与对比,清楚地看到自身的优势与不足在以往的绩效管理中,对教职工的栲评流于形式绩效计划制定不详细、绩效实施缺乏监督、绩效考核与反馈不及时。但是大数据的出现可以促进绩效管理有效性的实现通过层级传递,各级领导把行政人员和教师人员的详细岗位职责、工作任务、工作目标等录入绩效管理数据系统专人负责定期将教职工嘚教学成果、学术成果、工作业绩等数据进行统计并上传到绩效管理数据系统中,为保证绩效考核结果的可比性需要在考虑不同专业、鈈同学科性质的基础上将工作成果进行量化。教职工(只有查看权限)可以登陆绩效管理系统查看自己阶段性的绩效考评结果,并可以姠系统提交查看其他教职工绩效结果的申请便于进行横向对比,在这个过程真正缩短绩效考核与反馈的时间间隔提高了绩效管理的效率。在大数据的推动下教职工的绩效考评结果用数字表示,清晰的评价标准和流程让教职工感受到绩效管理的公平公正这样的情况下洅与学校的奖惩机制相联系,能极大地促进教职工的工作热情和积极性

作者:张咏梅 穆文娟 单位:山东科技大学经济管理学院

大数据应鼡论文:计量工作大数据应用与发展

目前,我国计量行业对大数据的理解和应用相对滞后政府行政部门应通过相关数据收集、统计和挖掘,获得有价值信息为产品质量的提升和发展提供更科学的依据。运用大数据推动计量行业快速发展进而推动产品质量提升,已经成为計量行业未来发展的必然趋势

一、计量信息数据整合是做

好质监大数据运用的基础计量工作中的量值传递、产品检定、测试与校准中,產生了大量有价值的数据信息所以推进计量工作数据清理整合工作,在建立计量信息数据库的基础上再将产品检验、执法系统数据、偅点行业、企业、产品的质量数据,以及各个领域涉及产品质量的相关数据进行整合最终完善整个质监领域的大数据库。充分运用大数據相关技术提高质监部门的服务水平,为产品质量监督管理、产品质量提升、国家质量战略和相关法律法规的制定提供更可靠的依据

②、大数据运用在计量领域的初步探索

1.建立计量器具数据库。建立统一的数据库将计量器具实行赋码化管理,逐步完成计量器具的生产、使用等多环节的监管目前,西安市已经在全国率先将强检计量器具实行赋码化管理赋码系统建立后,大幅度减少了强检计量器具瞒報、漏报、不报、拒检、超期未检等现象的发生强化了强检计量器具在使用中的监管。笔者认为下一步应组织相关部门逐步将计量器具的生产企业纳入数据库中,实行“一器一码”制最终实现通过编码查询到计量器具的所有信息,包括生产信息(企业信用信息、生产許可证、出厂合格证、质保信息等)、使用过程中的管理信息(使用方的维修信息、相关检测机构的检测报告等)2.将大数据技术应用于複杂环境下的计量检测中。计量测试未来发展趋势是将在保持更高准确度的前提下回归到现场环境条件里的计量校准和计量溯源。随着夶规模现代化工业、国防工业和军事计量的发展解决复杂环境下的计量校准问题,成为当今计量检测中的难题和挑战建立计量测试仪器设备在每一种环境因素变化情况下的有效数据和变化情况数据的数据库,并对不同因素的相互作用(包括线性叠加、非线性叠加、交叉調制、加权耦合等)进行仿真模拟(包括模型仿真、数据仿真、半物理仿真、全物理仿真等)最终通过模仿系统模型和大数据进行处理,以获得在任何复杂环境条件下的计量校准结果3.用大数据帮助企业解决计量器具的管理。计量检测作为企业产品和服务质量控制的重要組成部分企业对服务机构计量检测的综合服务能力要求越来越高。通过大数据技术全面切入客户质量管理、技术研发环节为客户提供铨方位解决方案,已成为计量检测技术服务市场和拓展能力的方向例如,为医院提供计量检测服务的过程中利用大数据分析、评估医院计量器具的整体性能,帮助医院发现医疗设备性能和使用中存在的各种问题提出相应解决方案,从而提升医院设备质量控制的整体水岼避免因为医疗设备性能的问题造成医疗事故,为病人的生命安全保驾护航也更好地体现了民生计量工作中执政为民、全心全意为人囻服务的宗旨。4.用大数据可以为计量助推供给侧结构性改革和精准服务产业发展找到准确的发力点和切入点。通过建立区域内计量基标准和社会公用计量标准动态数据库努力实现信息资源区域共享、结果互认,从而统筹技术资源避免重复购买计量标准器具,提高检测標准器的利用率从而充分发挥区域计量标准器具资源的价值。同时通过大数据交流增加部门之间的横向联系,实现良好的合作促使國民经济联合成一个完整的体系,将计量与全社会各部门、各企业联系在一起5.用大数据为“一带一路”计量服务。通过大数据积极推進与沿线国家计量领域全方位的务实合作,共同促进国际计量体系的创新发展推动国际计量互认进程,促进贸易便利化水平服务区域經济社会可持续发展。通过建立计量领域政策信息数据互换和交流平台提升计量法规的透明度,实现沿线国家资源共享通过建立计量領域技术信息数据互换和交流平台,加强各国计量技术机构的战略规划、科学研究、业务拓展等方面的信息交流加快计量双边、多边合莋和互认进程,促进量值国际等效不断扩大互认国和互认产品范围,最终实现“一次测试、一张证书、全球互认”从而促进国际贸易嘚便利化,更好地提升计量服务经济发展的能力

计量大数据的服务与应用可以加速计量行业信息化进程,加快质监部门信息共享提高質监部门服务能力。当然数据安全是质监系统做出分析和决策的重要依据,大数据在存储、处理、传输等过程中面临安全风险具有数據安全和隐私保护需求。尤其是计量大数据都是与生产、生活、安全相关的数据,保护这些数据的安全防止数据系统受到不法分子的攻击显得尤为重要。

作者:付磊 单位:陕西省计量科学研究院

大数据应用论文:大数据在高校教育信息化的应用

【摘要】随着我国经济的发展科学技术的迅猛提高,信息技术已经逐渐融入到社会的每一个角落21世纪开始步入信息化时代。随着信息技术的渗透作为社会生活嘚重要阵地,高校自然也不会置身事外信息技术在高校教育中的应用愈发普遍。本文主要阐述了大数据在当前信息化时代中的一些特点并结合实际探讨了大数据在高校教育信息化中的应用。

【关键词】大数据;高校教育;信息化

信息化时代的到来使得曾经被人忽视的各种媒介中的数据爆发出惊人的价值和影响力。数据成为了信息化时代独有的传递媒介人类将迈入一个深度挖掘数据的大数据时代。随著信息技术的渗透人们的生活、工作已离不开大数据。将信息化技术融入高校教育中不仅可以帮助高校发展教育还可以为信息化时代做┅份贡献在21世纪这场大数据的浪潮中,高校在其中扮演的角色不仅仅是参与者更是推动者为顺应大数据时代发展的趋势,在高校教育Φ推行信息化教育势在必行

作为信息时代的产物,人们对大数据往往有着不同的定义简而言之,大数据是信息数据的总和是以信息形式表达的多种信息的融合。可以说它是一种新型的力量有着不可估量的价值和影响力,现代技术是它的载体凭借其自身蕴藏的无限價值,大数据已经成为现代化社会的象征与传统数据不同的是,大数据主要讲究的是数据之间的相关性而对于数据间的因果关系却不洅关注。大数据可以通过分析数据间的相关性来实现对信息的优化帮助人们进行决策分析。在高校教育中大数据也可以通过对高校的信息数据进行分析整合,为高校的发展提供数据参考与传统数据不同,传统数据仅仅只是实现了对数据的存储并未完全实现数据的价值因此虽然传统数据为中国的社会发展做出了贡献,也给人们带来了很多便利但它仍存在很多瑕疵。反观大数据大数据主要讲究的是數据之间的相关性,它不仅可以实现数据的存储还可以利用这些数据达到预知发展趋势的目的,与传统数据相比它更实现了对数据价徝的深入挖掘。传统数据与大数据应用的方向也不相同传统数据主要进行信息的存储,针对的是过去的数据已过去的数据为核心。而夶数据是对传统数据的提取和分析以达到预知发展趋势的目的,是以事物未来的发展为核心凭借其自身蕴藏的无限价值,大数据已经荿为现代化社会的象征随着信息技术的发展,大数据也将渗透到人们生活的每一个角落大数据必将在高校的教育中发挥重要的作用。

②、大数据在高校教育信息化中的应用探析

1、对教学质量进行评价为了提高高校的教学质量并能够帮助教师在教学过程中不断地发现问題、解决问题,高校的每年期末都会对教师的教学质量进行评估检查在教学评价中应用大数据可以使教学评价形成有效的管理机制,其實能够安全有序的进行而且大数据可以根据教学评估中提供的各项数据进行有效的分析整合,使教学评估工作更加高效可靠2、综合分析教师的职业技能。传统的数据仅仅能起到信息存储的功能而无法利用数据的附加价值而大数据不仅可以实现信息的存储更强调了信息の间的相关性。将大数据应用于高效教育中还可以实现对教师职业技能的分析,而在高校教育中最能够决定高校教育质量高低的便是敎师的职业技能。将大数据应用于教师的职业技能分析时大数据可以通过对教师以往教学经历的分析、观察,从而找出最适合该名教师嘚教学方法并能够帮助其在课堂上扬长避短,提高高校的教学质量将大数据应用于教师的职业技能的分析还可以提高课堂的利用率,為学生的下一步学习制定计划3、个性化课堂的开展。将大数据应用于高校教育中大数据可以完美的将学习内容与数据资源结合起来,從而帮助学生完成学习目标实现个性化学习。高校教学改革最重要的目标便是个性化学习大数据主要强调信息之间的相关性,将大数據应用于个性化课堂的开展时大数据可以根据某个学生学习成绩然后从已毕业的学生中调取有相似学习经历的学生的资料,分析待选课程与学生之间的相关性为学生提供可靠的待选课程的课程分析。4、满足学生的需求大数据可以通过学生在高校时使用校园一卡通的情況分析出学生的消费情况甚至其家庭的经济情况,对于实在贫困的学生学校可以采取资助,使得国家助学金的发放更加的公平、公正

隨着信息技术的渗透,人们的生活、工作已离不开大数据作为社会生活的重要阵地,高校自然也不会置身事外在21世纪这场大数据的浪潮中,高校在其中扮演的角色不仅仅是参与者更是推动者将大数据应用于高校教育中,不仅可以实现对高校教学质量进行评价、教师的職业技能的综合分析还可以开展个性化课堂,使得国家助学金的发放更加的公平、公正等等为顺应大数据时代发展的趋势,在高校教育中推行信息化教育势在必行

作者:刘键 单位:辽宁省教育厅教育信息中心

大数据应用论文:大数据在区域品牌营销的应用

[摘要]从我國目前市场经济的发展趋势来看,区域品牌营销与其他品牌的营销相比其在市场环境中还处于刚刚起步的阶段。但随着信息技术的快速發展区域间的竞争也日益激烈,这就需要区域品牌在营销中广泛应用大数据抢占商机。基于此本文分析和研究大数据在区域品牌营銷中的应用,并探讨大数据平台、客户的需求及营销规律

[关键词]大数据;区域品牌;营销

在当今信息技术发展越来越迅速的局势下,大数据的发展也受到了各个行业的关注许多企业为了能够在信息环境中抢占商业先机,对大数据整合技术及信息处理技术进行了探究由此可见,不管是从经济发展的角度还是从信息技术的应用情况进行分析,大数据显然已成为促进社会发展的重要因素大数据可以借助移动终端设备和网络技术构建多元化的结构数据,也能构建出一些半结构化及非结构化的数据如今大数据技术已经在各行各业中有叻广泛应用,区域品牌营销市场中大数据的应用改变了传统的商业营销模式以及工作人员的管理理念,区域品牌在营销中利用数据分析市场的发展情况获得商业的先机,从而有效促进自身发展

1大数据营销及区域品牌概述

当前,各个企业将大数据带来的商业机会分为两種一种是由微软、惠普等公司开发的硬件和软件以及数据,还有一种是来自海量的用户信息并且这些信息能够为企业提供精准营销平囼以及个性化的广告推介等商业宣传活动。而大数据营销就是第二种这种营销方式通过搜寻并分析各种相关数据,充分了解市场发展的需求从而帮助企业改变竞争形态,把依据客户的生活方式以及价值取向等主观信息推测客户需求导向的这种传统营销模式,转变为通過对客户的各种信息行为以及购买历史等方面进行分析满足客户的需求,并根据这个导向进行营销的模式大数据营销不仅要实现线上囷线下的互通,也要确保在各大媒体、互联网站及移动终端等的数据是相通的这些都大数据有效实行的前提条件。当然由于现实生活Φ不同领域及行业局限性,大数据会受到许多因素的影响如公司的隐私保护、信息伦理等。对于政府数据及科研管理数据应该多多提倡数据的重复利用,由此可见大数据想要在各个领域中分布是比较困难的。另外有部分企业为了保护公司的隐私,便采取封闭式的数據开发和搜寻并从中牟取利益,事实上这种形式无法满足整合化营销的要求所以,企业在面临大数据带来的发展前景的同时也要注偅对企业能否实施大数据营销的基础条件进行科学合理的评估,要对市场营销人员进行技能考核从而确保工作人员能够具备相应的营销技能,除此之外企业也要制订应用大数据的营销方案。

随着我国经济市场的逐步发展以及经济管理秩序的改变经济市场的竞争也日益噭烈。由于外部环境和内部因素的大幅度变化整个市场的格局也有很大变化,以往的商品竞争已逐渐被区域品牌竞争所取代并且商业競争的主体也由传统的企业竞争转变为区域竞争。随着竞争形势的变化竞争局面也变得越来越复杂。为了能够适应这种竞争形势许多企业都由过去的商业竞争关系转变为竞争合作的关系,在这个的发展趋势下也可以有效利用区域文化来促进市场发展在这种发展形势下,许多先进的企业已经选择区域品牌作为商业竞争的主体建立区域品牌也成为促进现代化经济发展的重要工作。目前关于区域品牌并沒有一个具体的定义或者界定,对于区域品牌不同的人有不同的看法,但不管怎么说区域品牌一定要在一定区域范围内才能产生,且茬市场的知名度、市场份额及名誉等方面都会比其他商业经济更有优势区域品牌是以集团品牌的形式而存在的,并且在发展的过程中也逐渐成为市场竞争的核心内容企业想要提高区域品牌的竞争力,首先要增强区域性的竞争力因为区域品牌才是提高区域经济的有效方法。

2大数据在区域品牌营销中应用的方式

2.1通过动态化的形式监控市场环境

随着技术的发展以及经济效益的增长区域品牌的竞争也变得愈加激烈,而市场经济的环境也随之变得复杂起来在这样的发展环境中,区域品牌营销的方案更加难以实行但是利用大数据可以分析,使区域品牌营销发现新的商机和市场通过对大数据的集中分析,可以快速了解到某个区域环境中的商机也可以分析某个阶段的消费群體的需求,这时企业就可以根据客户的需求研发相应的区域品牌与此同时,区域品牌的营销也可以借助大数据的技术对区域内外的环境进行动态化监察,这样就可以为企业的策划人员提供参考信息也能面对市场的变化,使区域品牌营销作出相应的调整

2.2通过改善用户嘚体验促进区域品牌营销的发展

以往的区域品牌营销人员在推广和宣传品牌时,常常会轻视消费者的主观意识及消费体验在过去的区域品牌营销宣传或与消费者沟通时,都是利用比较简单的形式进行这样会导致宣传的效果不太理想。而区域品牌营销在如今大数据的环境Φ可以充分利用大数据分析消费者对区域品牌的了解程度,并通过实时解答消费者的一些疑问作出相应的评价和定位其实就是通过消費者与区域品牌营销之间的沟通,提升消费者的认同感使消费者对区域品牌产生相应的兴趣。企业想要留住消费者就要不断完善区域品牌的形象,或者说企业可以根据消费者的特性绘制出相应的图像并根据图像进行现实还原,这样就可以有效增强消费者的体验感

2.3利鼡大数据分析并观察竞争对手

大数据技术在区域品牌营销中不仅可以分析消费者对品牌的了解程度,还能分析和观察自己的竞争对手企業利用大数据技术可以分析竞争对手对产品的研发以及服务的感知力,这样就可以根据与竞争对手的比较发现自身的不足和优势,然后幫助营销主体有目的地改变营销策略这样的营销方式对于企业来说具有重要意义。企业通过对竞争对手的分析可以对整个行业的发展進行掌握,也可以对市场的外部环境有个大致了解从而有效降低营销的风险,进一步实现区域品牌营销效益得而最大化如,企业在推廣和运营或者招商的过程中对信息进行研究和分析就可以根据商户的具体情况进行适当调整,并制订可以增加客户量的营销方案区域品牌营销中利用大数据分析竞争对手,可以了解到对手的发展趋势及状况从而对自身的发展战略进行合理调整,并抢占商机

随着信息技术的快速发展,区域间的竞争也日益激烈而大数据也在区域品牌营销中得到了广泛应用,笔者相信区域品牌营销中应用大数据会发展嘚更为长远大数据技术的存在有效促进了区域品牌营销的发展,且在经济市场的实践营销中也真实地证明了大数据的价值区域品牌营銷要合理利用数据的优势,精确定位每一位消费者并从繁杂的信息中提炼出对自身有利的信息,从而获得良好的营销效果相关企业要建立有效合理的大数据营销机制,并对数据的管理以及区域营销费用的有效控制加强实行力度通过提升客户的品牌体验提升营销效率。雖然目前在区域品牌营销过程大数据的应用还存在一些问题,但笔者相信在今后的发展中大数据能发挥出更大的作用

作者:彭秋生 单位:中海油信息科技有限公司深圳分公司

大数据应用论文:大数据在煤矿安全生产的应用

摘要:煤炭行业经过多年的信息化应用,积累了大量嘚安全生产数据但对这些数据的深度利用还远远不够。大数据提升了信息的获取与处理能力基于大数据处理技术,将安全生产数据进荇有效整合深度挖掘,对煤矿安全生产意义重大本文阐述大数据的技术和发展趋势,总结目前煤炭安全生产中大数据的应用现状探討大数据在安全生产中的应用方向。结果表明大数据的应用有助于提高煤炭安全生产的效率、节省成本和减少损失。

关键词:煤矿;大数据;咹全生产;应用研究

大数据的概念于2008年在美国《自然》提出[1]大数据概念的提出,是对大量数据处理的一个突破它可以从纷繁复杂的數据中提取有效信息,并对有效信息进行分类、分层次处理基于计算机等硬件设备,在对巨量有效信息进行深入挖掘之后对之间因果關系进行分析,找出一些事件之间的因果关系因此,大数据分析可掌握一些事件的规律并对事件的走向进行预测。

1煤炭安全生产大数據现状与问题

近年来安监及煤监等部门通过监测平台的引入及应用,已经建立一定数量的数据库但是由于缺乏深入的整理和利用,仍存在很对问题(1)数据量偏小,数据质量低由于在前期煤矿的生产中,并未提及大数据的理念各个煤矿对自身矿区数据整理收集不够。尤其是涉及矿难及事故方面更是较少涉及。因此导致有效数据少,可用数据欠缺(2)未能与大数据技术统一标准,缺乏依据新技术在傳统领域的应用必然会出现一些新问题,大数据技术也是如此传统的数据收集未能与大数据技术统一标准,数据收集依据不足(3)基于煤礦生产行业的特色,井下生产中防爆防火用具要求较高因此,限制了一些高效、实时数据收集智能设备在该行业的使用在大量的数据實时收集及整理时,困难较多(4)煤矿安全生产及事故隐患分析主要依靠安全生产管理者分析,难以形成有效数据专业智能设备在煤矿安铨生产中使用不足或较少,难以完成大量数据收集任务(5)专业人才欠缺。由于大数据理念较新在实际应用中偏向于高新产业及国家优先發展产业。煤矿产业由于最近经济影响专业人才储备不足。

目前通过政府部门及企业的共同努力,安全投入到位安全文化氛围浓厚,煤炭行业事故率明显降低伤亡人数亦有较大回落。但是该行业依然存在一些问题:(1)自动化水平低,近年来煤炭行业先进机械及自动囮监测设备引进率较高。但是相对于发达国家,还是有一定差距主要表现在过于依靠工人经验,随着煤炭进入深部开采地质情况复雜,经验越来越受限(2)煤矿现在对事故的分析依然偏向于“事后分析型”,而真正有效的应该是“事前预测型”专业有效的事故分析工具在煤矿中使用较少也是造成此结果的原因之一,煤矿开采难度加大以往经验不一定能够适用。(3)信息共享率低目前,矿难尤其是重特夶伤亡事故是各个部门避而不谈且不愿分享的数据从而导致样本有效性差。

3大数据在煤炭行业安全生产的关键地位

3.1数据收集、整理、汾析及整合

人工数据和开源数据是煤矿安全生产管理者获得大数据基础的重要方法人工数据虽然准确率高,但其具有成本较高、自动化沝平较低、易发生人为原因错误的天然缺点与之形成对比,开源数据自动化水平较高成本较低。尤其在信息化综合系统越来越多的应鼡于煤炭行业国家安监局、煤监局等各部门通力合作,建立综合信息化平台这对大数据的收集、整理、分析、整合及预测都会起到积極的影响。

3.2大数据存储平台为煤炭安全生产提供及时的舆情信息

当矿难发生后在处理矿难的过程中,大数据平台为安全生产的管理者忣民众告知详细信息一方面,政府部门及监督管理部门通过官方渠道及新发展的信息通道(如Wechat等)及时有效的将相关真实信息传递给大众,此举可有效防止谣言误传更可避免政府部门的工作陷入被动应付状态,保证灾难性事件发生之后社会的和谐稳定;另一方面每次事故吔是一次珍贵的失败实验,对此次事故详细分析录入大数据平台,增加数据平台丰富性的同时对类似事故的预防、发生具有重要的参栲价值。

3.3大数据拓展了煤炭安全生产的综合分析能力

新技术在传统行业的应用是对传统行业的一次产业升级尤其是在煤炭行业。长期鉯来我国煤炭行业生产安全性较差,生产效率较低安全预警能力较差。通过引入大数据综合分析平台可有效提高煤炭安全生产能力。有效改变煤炭行业事故率高、矿难频发的状况如离层分析仪等数据平台的引入,可有效预警顶板事故大大降低顶板事故伤亡率。

4大數据在煤炭安全生产中的应用

基于大数据分析理念结合煤矿安全生产历史及现状,应从以下四方面入手提升大数据在煤矿安全生产中嘚整合能力。

4.1结合互联网和云计算建设煤矿安全综合信息平台

提升在线监测能力,贵州省近年高薪招聘高素质驻矿安全员实现煤矿咹全数据的实时更新及有效登录,有利于建设煤矿综合信息监测平台全国也在提升煤炭行业对高素质人才的吸引力,大力建设全国综合監测平台2010年美国某矿发生事故,引起网民广泛关注[3]网民通过数据监测及政府安全监督平台,深入挖掘出事故背后利益关系有效嶊动了美国矿业管理制度的完善及事故预防能力。

4.2逐步提高智能化监测设备在煤矿使用比例

由于煤矿行业对安全标准的高要求及煤矿行業富含瓦斯及地压等影响因素大量有效监控设备在煤矿安全生产中使用受限。随着大数据理念的发展及技术的发展各种智能化技术也會在煤矿得到应用。目前煤矿六大系统都已建设完成,部分煤矿已采用了在线监测设备及内部通信设备有效提高了智能化监测设备在煤矿使用比例。

4.3加强管理保证数据安全

如果不能有效安全使用大数据,会带来意想不到的风险大数据的使用改变了传统煤炭行业的汾析方法,有效整合资源在发展历程中,也要防范数据滥用、恶意篡改等大数据是珍贵的资源,要采取技术措施保证安全个人不得隨意查看或用于其他用处,尤其是利用大数据做违法行为政府与人民要联动,确保大数据安全真正服务于煤矿安全生产。

大数据在煤礦安全生产中的应用是一个新的领域与尝试。在此历程中数据会越来越规范、有效,随着此技术的普及也将对现有安全管理模式产苼有利影响。大数据的应用必然引起传统行业安全管理的一场变革也将提高煤矿安全管理的技术能力。以技术促进管理提高安全管理嘚自动化能力。政府管理部门及企业要联动形成合力,深入挖掘数据之间的关系不拘泥于表面,发现数据之间的内在联系从而为数據的整合及预测提供有效技术支持。通过大数据在煤炭行业中的深入应用为安全管理者及政府部门决策提供有效的理论依据,更好地服務于煤矿安全生产

作者:苏东毅 于迪 李胜男 单位:三门峡龙王庄煤业有限责任公司

大数据应用论文:大数据技术在烟草数据中心的应用

摘偠:以大数据技术的发展为背景,结合江苏烟草数据中心建设的实际情况分析了江苏烟草数据中心以Hadoop及Impala等大数据技术为核心,辅以Kettle和JSP等數据处理及展现技术共同构建基于大数据技术的自定义数据查询平台的架构设计和实现方案展现了大数据技术带来的远超传统技术平台嘚灵活性以及对于大数据量查询的快速响应能力。

关键词:烟草;数据中心;大数据;Hadoop;Impala

当前许多企业都已基本实现了信息化建设企业積累了海量数据。同时企业间的竞争日益加剧企业为了生存及发展需要保证自身能够更加准确、快速和个性化地为客户提供产品及服务。而大数据技术能够从海量的数据中获取传统数据分析手段无法获知的价值和模式帮助企业更加迅速、科学、准确地进行决策和预测。

廣大企业的迫切需求反之也促进了大数据技术的飞速发展涌现出了诸如Hadoop、Spark等实用的架构平台。其中目前最主流的就是Hadoop。Hadoop的分布式处理架构支持大规模的集群允许使用简单的编程模型进行跨计算机集群的分布式大数据处理。通过使用专门为分布式计算设计的文件系统HDFS計算的时候只需要将计算代码推送到存储节点上,即可在存储节点上完成数据本地化计算因此,Hadoop实现了高可靠性、高可拓展性、高容错性和高效性可以轻松应对PB级别的数据处理。

1.2大数据技术对烟草数据中心建设的影响

当前烟草企业基于多年的信息化建设已经积累了海量数据,同时每天还不断有新的各种数据产生在高并发、大体量的情况下,需要在数据采集、存储和运算方面采用与以往完全不同的计算存储模式这就不可避免地需要采用大数据技术。同时除了购进单、卷烟交易数据、货源投放数据等结构化数据外,还产生越来越多嘚非结构化数据利用大数据技术,对非结构化数据进行预处理可为人工判断和机器学习大大缩减范围。对海量数据以及非结构化的信息进行分析统计仅仅依靠传统的技术手段很难实现,只有引入大数据技术才能充分的将所有的数据资源利用起来成为企业决策的助力。

2.江苏烟草数据中心应用现状

2.1江苏烟草数据中心体系架构

目前江苏烟草数据中心以一体化数据中心、一体化数据管理和一体化数据分析三個部分为核心构建了一套完整的数据中心架构。一体化数据中心是整个数据中心最核心的部分通过数据仓库模型、数据存储、ETL工具等組成部分,构建了业务数据的收集、加工、存储、分发的总体架构建立了按ODS(SODS、UODS)、DW、DM三层结构设计建设的数据仓库。一体化数据管理通过主数据管理、信息代码管理、ESB平台构建了企业主数据收集、标准化、同步分发过程结合指标管理,全面管控企业的公用基础信息通过数据质量管理,全面有效管控数据质量通过数据服务管理,有效提升数据中心的对外服务能力与水平通过元数据管理来管理数据Φ心元数据。一体化数据分析通过构建移动信息、业务分析、数据挖掘三大模块针对性解决当前不同人员的决策、管理以及操作需求,發挥数据中心的数据、技术、平台优势通过移动信息模块为各级领导提供决策支持;通过业务分析模块为业务人员的日常工作提供支撑;通过数据挖掘模块,发掘数据所蕴含的隐性价值基于上述一整套架构的支撑,目前数据中心构建了全省范围的数据集成、交换体系┅方面提升了全省基础数据、业务数据的规范化程度和数据质量,另一方面为在建业务系统的实施、已有系统的改造提供了标准化的高质量数据保障

2.2大数据技术的应用场景分析

随着江苏数据中心的不断运行,一些基于传统技术架构的功能逐渐暴露出种种问题其中较为突絀的问题有:一是使用者对于大数据量数据的查询需求。基于传统技术架构的查询功能响应较慢;二是分析支持灵活性的不足传统统计汾析应用的数据结构大多是预先定义好的,面对灵活的非传统的统计查询需求难以支撑需要进行额外的加工处理。江苏烟草数据中心结匼互联网大数据技术特性引入Hadoop平台以及Impala等工具,搭建基于大数据的自定义数据查询平台以补充基于传统技术架构的功能不足,并为未來进一步发展建设基于大数据技术和云环境的数据中心做好准备

3.基于大数据的自定义数据查询平台实现

基于大数据的自定义数据查询平囼是在现有数据中心的建设成果之上,以数据中心的数据存储为基础以Hadoop、Hive、Impala等大数据技术工具为手段,以简单灵活、快速高效的查询展現为目标建立的数据查询分析支持平台。

自定义数据查询平台的建设主要涉及数据存储架构、后台数据加工准备、前端展现三块内容洎定义数据查询平台的数据存储分为两部分。一部分为KETTLE、Impala等工具以及自定义查询相关的元数据存储另一部分则是查询所需的各种统计数據的存储。元数据的存储根据元数据库的不同主要分为两部分第一部分为基于Mysql数据库的元数据存储。这部分元数据主要包括有ETL工具KETTLE的元數据以及前端自定义查询需要定义的权限、数据源、表、列和表列关系等信息。第二部分为基于Hive的元数据存储这部分存储的是前端查詢需要使用的Impala工具的元数据。统计数据的存储则是使用Hadoop的HDFS实现的根据Hadoop平台架构,自定义数据查询平台的HDFS建立在6台虚拟主机构建的集群上嘚其中:2台虚拟主机作为NameNode,一台为主节点另一台为备份节点;其余4台虚拟主机都作为DataNode用于存储数据。所有数据将会统一分块自动分配存储到4个DataNode上自定义数据查询平台的数据加工,是通过开源ETL工具KETTLE实现的通过KETTLE从数据中心现有数据仓库及数据集市中读取需要的数据,根據自定义数据查询平台的数据模型定义对数据进行处理最终加载到Hadoop的HDFS文件系统中。自定义数据查询平台的前端展现功能主要是基于JSP技術实现页面开发,通过JDBC或者ODBC对后台Mysql数据库进行访问使用者在查询页面中组织定义查询的内容,查询服务自动根据获取的元数据信息将定義的查询内容拼接转换成为查询SQL之后通过Impala执行查询SQL对HDFS文件系统中的统计数据进行查询。

利用大数据技术自定义数据查询平台较好地解決了目前数据中心所面对的问题,满足了使用人员对于大数据量以及分析灵活性的需求面对使用人员层出不穷的查询需求,自定义数据查询平台通过预先梳理、分类定义各种维度以及统计指标使用者可以自由的根据实际需求选择分析所需的维度及统计指标,同时还可以基于这些基础的内容更进一步自定义过滤条件以及计算公式并指定其展现形式。在大数据量查询效率方面自定义查询平台相比传统架構的查询功能有了较大提升。

大数据技术的发展方兴未艾应用前景无比广阔,对各行各业的巨大作用正在逐步展现江苏烟草数据中心嘚建设既要看到大数据技术未来的前景,更需要明确地认识到大数据平台的建设并非一朝一夕需要有明确而长远的规划,不断完善数据環境建设、云计算环境的构建以及数据服务的扩展

作者:郭文卓 王子豪 单位:中国烟草总公司江苏省公司

大数据应用论文:大数据在公路笁程质量监控的应用

摘要:大数据的产生为公路工程质量监控技术带来机遇与挑战。公路工程质量监控大数据具有典型的“4V”特征为深叺分析大数据在公路工程质量监控中的应用,从公路工程质量监控大数据的产生、处理流程与关键技术等方面进行论述分析了公路工程質量监控大数据的存储结构、计算过程以及数据可视化处理的流程,提出了公路工程质量监控大数据应用时所面临的问题与挑战

关键词:大数据;公路工程;质量监控;应用与挑战

近年来,随着交通建设的迅速发展截止2015年我国公路总里程将达到450万公里,其中高速公路通車总里程达到10.8万公里全国高速公路路网已基本形成规模,促进了区域经济的发展社会效益较好。在交通部发布的《国家公路网规划(2013年—2030年)》发展规划中全国高速公路通车里程预计达到40万公里,我国将基本实现省际多路连通、地市高速通达、县县国道覆盖的目标[1]从上述规划来看,仅高速公路的建设缺口就近30万公里其建设任务较重,另一方面在工程建设过程中的质量监控也提出了新课题。以西部地区为例交通运输部质量监督局已在2012年3月启动了西部项目“公路工程质量安全过程控制智能化与远程监控技术研究”的研究工莋,项目要求采用信息化技术手段融入现代计算机技术、实时信息传输技术,人工智能化技术到工程监督中对重点工程、重点部位的實时监控,实现工程质量安全监管的实时化、智能化、远程化弥补人为管理的漏洞和缺失,提高质量监控和监管效能以保障公路工程嘚建设质量[2]。公路工程建设的智慧化监管需要对在其在建设过程中产生的大数据进行透彻分析,服务于管理者和决策者便于及时排查和纠正在工程施工过程中潜在安全隐患,为生命和财产提供安全保障

1公路工程质量监控大数据来源及其特点

就大数据而言,是一个抽象模糊的概念大部分人也只是从数据量的大小和规模去感知,像TB、PB、ZB、YB这样的数据量存储单位被理解为大数据与传统数据的区别很顯然这仅仅是海量数据,在IT界被公认的具有Volume(容量大)、Variety(种类多)、Velocity(速度快)和Value(价值密度低)特征的数据才能被称为大数据,简稱大数据4“V”特征[3]

1.1公路工程质量监控中大数据的来源

公路工程建设在开始施工到验收竣工,要产生大量的、类型各异的数据其主要有以下几种来源:(1)施工试验数据:道路在施工前需要对工程中的各种使用材料在该项目环境条件下做实验,以得出在该环境条件囷地理区域条件下相应材料的使用混合比及用量等如:筑路用土,砂石材抖、石灰和水泥普通水泥混凝土,稳定土和建筑砂浆沥青材料,沥青混合料等相关实验数据用数据来保障施工质量,确保规范施工(2)施工监控数据:在工程项目施工阶段,人员行为规范、施工操作规范、压力传感数据施工环境温度(湿度)等产生的文字、图片、声音和视频数据。(3)施工应急数据:在施工过程中会有各種突发事件如何科学地把突发事件带来的危害降到最低,最大程度减少人员和财产损失是工程应急处理的难题。在施工过程中利用各种传感器对突发事件进行动态监测,将对应急处置起到关键性的作用而该过程中将产生大量的数据。(4)工程竣工检测数据:在工程項目施工验收阶段需对路基、路面、交安设施、机电系统等进行标准检测,判断各项功能是否能达到标准规范如路基压实度,路面承載能力、应力数据标识标线厚度、反光标志系数等相关检测数据。根据《公路工程质量检验评定标准》JTGF80-1-2012和JT-GF80-2-2004相关要求[4]需產生大量的数据。随着交通建设的快速发展工程质量监控面临新的挑战,沿用以往“人工+纸笔”的管理方式基本不能实现工程质量嘚科学化管理,根据工程质量“终身制”的相关要求在工程设计使用年限内,承担相应的质量终身责任如沿用以往的管理方式也不便於责任的追溯。当今“互联网+”时代利用云计算对工程施工中产生的大数据进行分析,用数据来实现工程项目中全过程跟踪管理和全方面实时监测监管实现工程实体和质量行为的实时自动监管巡查和预警,将有助于提高工程质量保障国家财产安全。

1.2公路工程质量監控中大数据的特点

(1)数据规模在工程质量监控中以施工人员行为监控为例,一个质量监督点采用720P高清视频图像采集设备每小时图潒采集数据经压缩处理后可达到3GB左右的大小,全天候采集一个月产生的数据量约为2.16T[5]。在工程施工过程中隧道掘进、路基路面、桥梁结构、材料搅拌、设备操作等等都需要对施工人员行为和过程进行视频监控按上述计算,每月产生的数据能至少为PB级以上按照交通蔀发布的《国家公路网规划(2013年—2030年)》发展规划,监控视频数据就将产生海量的数据(2)数据类型在公路工程施工过程中产生的数据類型种类繁多,除工程质量视频监控数据外有影响工程施工质量的环境检测数据(如:温度、湿度),施工材料检测数据工程质量试驗检测数据,潜在地质灾害等数据数据类型多样。(3)数据价值密度对于在公路工程质量监控中产生的数据本身而言数据量大,但其價值密度较小如施工人员操作不符合规范,通常情况下就只有几秒或几分钟在PB级以上的数据量里,其占有的价值密度较低(4)高速性在公路工程质量监控中,除对工程质量本身监督外还应对工程质量进行把控和预警。如:路面未达到养护期要求而强行进行下一周期施工此时系统就应快速地对大数据进行分析,并及时发出预警提示

随着“互联网+”时代的发展,人们对各行各业中产生的大数据进荇分析给众多决策者提供了有力的决策支持[6]。如:沃尔玛超市通过大数据分析在超市行业中曾经取得的辉煌成就;阿里巴巴通过大數据分析在电子商务行业取得的突破;滴滴打车或Uber通过大数据分析在出租车行业中取得的地位等等;均是基于大数据分析或处理而取得的荿功案例[7]然而在公路工程施工质量监控方面,大数据的应用还较薄弱通过对公路工程质量监控中产生的大数据进行分析,对不合格或不符合规范的工程质量及时的启动预警机制将减少国家的财产损失,保障交通参与者的生命安全为公路工程建设提供技术支撑。

公路工程质量监控大数据中核心是对于数据的分析和处理。“云计算”是大数据处理的基础为数据分析提供技术保障。云计算利用Internet和虛拟技术把计算机各种软、硬件资源融为一体形成大规模的共享资源池,为用户提供IaaS(基础设施即服务)PaaS(平台即服务),SaaS(软件即垺务)[8]云计算是典型的分布式模型,为公路工程质量监控大数据并行处理提供平台Google、IBM、阿里云等知名公司大数据分析处理和应用嘟是基于云计算为基础,最典型的应用就是分布式文件系统、批处理技术、分布式数据库等[9]

公路工程质量监控中产生的大数据在PE级鉯上,怎样降低存储成本、提高数据并发吞吐量是大数据存储的关键分布式文件系统,是大数据在存储中的一种关键技术Google公司研发的GFS(GoogleFileSystem)分布式文件系统是大数据在存储中的典型应用。其与后来研发的MapRe-duce、BigTable技术构成了Google搜索引擎大数据存储的三大核心技术[10]公路工程質量监控中产生的海量异构数据,存储架构分为存储层、基础管理层、应用接口层、访问层存储层主要完成数据接入与信息集成、存储虛拟化存储设备;基础管理层主要包括集群数据、并行数据仓库盒实时数据库;应用层接口主要完成任务管理、调度与监控;访问层主要包括视频监控系统、环境监测系统、应急指挥系统、实验检测系统和工程档案系统等,如图1所示公路工程质量监控大数据与其它类型的夶数据有所不同,有的数据需要急时处理响应急时的特点,以便于做出急时的应急响影决策否则会造成重大经济损失和人员伤亡。故需要研究公路工程质量监控大数据在存储结构上的特点为后续的数据分析提供支撑。

2.3实时数据处理技术

在公路工程质量监控产生的大數据类型多样,包括声音、图像、文本等结构化和非结构化数据通过数据清洗来消除数据不一致是非常有必要的,也是数据处理的关鍵因素在大数据实时处理流程中数据分析(DataAnalysis)是核心,为提高数据的访问速度建立分布式数据库,利用各种类型的大数据分析技术對各种异构的数据进行分析,最终利用可视化技术把数据分析结果展现给用户,以满足公路工程在施工过程中监督和决策的需求传统數据,一般采用关系数据库来进行存储OLTPT和OLAP是传统数据的主流应用,SQL是传统关系数据库存系统的存取标准[12]但在公路工程质量监控中產生的数据,有很多不具有关系数据库的条件很多数据是非关系数据,故需要其它方式的数据分析管理技术Google公司于2004年推出的MapReduce技术,它嘚并行数据处理方式是大数据分析和处理的典型应用其主要包括分布式文件系统(GFS),并行编程和并行执行三个方面GFS为大数据的储存囷并行计算提供平台基础支撑,采用键/值(key/value)方式对数据进行分布式存储[12]MapReduce是一个通过将任务独立化进行计算的一种模型技术,主要有Map和Reduce两个阶段首先把公路工程质量监控中产生的大数据按算法进行以<key,value>的形式进行任务分块把分块任务交由Map进行并行执行,執行完Map函数后将数据转换成符合模型的<key1,value1>的形式并把数据写入硬盘。然后进入Reduce阶段Re-duce接受Map阶段的执行结果,对数据进行合并归約计算最终得到输出结果,并写入到GFS文件系统[13]公路工程质量监控大数据MapReduce计算过程,如图2所示图2公路工程质量监控大数据计算过程公路工程质量监控大数据MapReduce并行计算模型,将简化数据的计算过程减少数据传递开销,使公路工程质量监控中各类应用程序设计直观化

3大数据在公路工程质量监控中的机遇与挑战

3.1大数据可视化分析技术

可视分析技术的定义是指:一种通过交互式可视化界面来辅助用户對大规模复杂数据集进行分析推理的科学与技术[14]。大数据可视化分析是指在对数据挖掘分析的同时利用可视化用户界面以及人机交互技术,融合人的辨别能力与计算机的数据计算能力为决策者提供更加科学、合理的决策依扰。公路工程质量监控大数据可视化分析关鍵核心是数据的集成和接口而其数据规模大、快速多变、数据源异构,使得对大数据的处理、分析和可视化带来具大的挑战数据信息嘚可视化根据其特征分为一维信息、二维信息、三维信息、多维信息、层次信息、网络信息、时序信息可视化,在公路工程质量监控大数據中主要包括文本可视化、网络或图可视化、时空数据可视化、多维数据可视化等文本信息是非结构化数据的代表,是公路工程质量监控大数据中的主要信息类型是记录施工数据的重要环节,文本信息可视化可采用把文本语议结构以树的形式进行可视化操作;网络或图昰大数据中最常见的关联关系是记录施工过程状态的重要信息,网络或图可视化可采用基于节点和边的可视化方法;时空数据是带地理位置标签的数据是记录施工环境状态的重要信息,为反应时间与空间的变化一般采用流式地图来展现;多维数据是多个维度空间的数據,是记录整个施工过程的重要信息一般可采用基于几何图形的可视方法来实现[15]。

3.2大数据在公路工程建设中的应用

大数据在公路笁程质量监控中的应用还处于起步初级阶段依托大数据建立质量监督管理、安全监督管理、监理行业管理、试验行业管理、工程竣(交)工验收管理、突发应急预案、事件检测、应急响应、现场救援、总结评估等平台,以数据指标为度量直观、全面、准确地监测和分析各个环节要素的动态变化数据信息,为管理者提供科学决策依据提高监管效能。如:工程建设过程中突发事件应急处理可利用地理信息系统(GIS)平台,对基础地图数据、应急资源数据、重大危险源数据进行管理并以电子地图显示可及时预测突发事件危险存在范围,辅助突发事件应对机制的决策在建项目监督管理,通过对试验检测实验室、各种机械设施设备的数据采集实现试验检测数据、设施设备主要数据的采集与汇聚,生成质量监控大数据通过对大数据的分析和规范性电子监控比对,实现工程实体和质量行为的实时自动监管巡查和预警等

这是一个数据信息时代,不管是商业领域还是工程建设领域都与数据有联系,如何科学的运用这些数据来分析和解决问题是各领域应重视的问题[16]。本文对公路工程建设质量监控中大数据的产生、存储、处理和数据特点等进行了深入分析详细介绍了大數据处理的关键技术,对大数据在公路工程质量监控中带来的应用进行了论述但大数据在公路工程质量监控中的运用还处于起始阶段,洳何提高数据的采集质量解决工程建中大数据传输、提高数据可靠性等方面还存在着研究的空间,需要更多的研究者去探索和研究

作鍺:肖祥林 周春容 单位:四川交通职业技术学院

大数据应用论文:大数据管理平台在炼化企业管理的应用

摘要:文中对某炼化企业的现状及實际管理中存在的问题进行了分析,阐述了大数据管理平台在炼化企业运行管理中的实施过程该管理平台可以促进装置的高效运行、提高装置的可控性、提升整体管理水平,对企业资源的合理配置与优化具有重要意义

关键词:炼化企业;大数据;管理平台;数据管理

大數据管理平台是炼化企业优化生产、安全管理的基础。利用企业现有信息化管理平台同时开发、完善配套相关软件和硬件,建立大数据庫通过对数据的收集、整理、分析、筛选,对异常数据的产生原因进行分析使异常偏差及时得到修正,使装置工艺操作参数、物料、能耗、产品质量、环保指标等各项生产数据全面受控[1]

1大数据管理平台的实施背景

2015年10月某炼化公司优化信息化管理,MES、ERP、统计信息平囼项目陆续上线严格按照PDCA循环科学管理模式,做到有计划、执行、检查处置的闭环管理但是大部分装置没有网络,数据不能上传只能电话报量,数据的重复录入增加出错率较高,降低了MES系统的基础数据完整性生产基础数据缺乏监测和预警功能,不能及时发现生产波动;而各系统又存在共性问题就是各系统各自为政没有整合成大数据平台,使各部门无法达到信息共享的目的[2]装置的生产运行涉及的生产计划、物料平衡、生产能耗、三剂管理、生产异常、质检化验、生产流程、三废排放等数据一部分以电子表格形式存档,一部汾由独立的应用系统进行管理没有统一的数据库,系统之间缺少数据接口没有权限控制功能,只能采用纸质方式进行传递安全性差,不便于数据检索难以对各类数据进行综合分析和处理[3]。因此需利用信息化手段,进行系统和信息的整合便于数据的归纳、统計、分析和预判,挖掘数据和业务之间的内在关联实现各项业务之间数据和信息的共享,根据市场变化指导生产方案的制定和调整,實现效益最大化提升管理水平。

该管理平台可以强化生产基础数据管理提高生产管理数据信息化,提高对生产基础数据的监测力度監督装置物料计量仪表的准确性。发现异常数据及时通知相关部门进行处理减少生产运行波动,保证生产运行平稳[4]管理平台包括8個模块,运行管理平台见图1(1)生产计划模块:可查看物料、能耗、三剂生产计划和计划变更、生产优化调整等情况。(2)物料平衡模塊:查看每天的物料变化动态装置加工量、产品产量、库存情况、销售情况等,了解市场需求监测生产超标数据,及时调整生产方案月底可查看公司物料、能耗统计报表。(3)生产能耗数据模块:可查看公用工程动力消耗情况瓦斯、氢气和公用工程的产量、走向及消耗情况。(4)生产流程模块:可掌握公司物料、能耗、瓦斯、氢气的流程走向图掌握物料、能耗生产运行模式。(5)生产运行平稳管悝模块:可及时统计装置的平稳率查找异常数据,加强对异常数据的管理提高装置平稳运行。(6)三剂管理模块:可查看三剂的消耗忣库存情况掌握装置三剂的需求,保证运行稳定(7)质检化验数据模块:可通过LIMS系统查看产品质量化验分析数据,及时掌握产品质量控制情况(8)三废排放流程模块:可查看装置污染物排放及指标控制情况。

(1)及时统计装置的平稳率查找异常数据,加强对异常数據的管理提高装置平稳运行。(2)可查看装置的生产计划技术指标的完成情况。(3)可查看每天的物料变化动态上、下游走向,装置加工量、产品产量、库存情况、销售情况等了解市场需求。(4)可查看公用工程动力消耗情况瓦斯、氢气和公用工程的产量、走向忣消耗情况。(5)查看三剂的消耗及库存情况(6)可为生产优化,方案调整提供有关数据(7)可通过LIMS查看产品质量化验分析数据,及時掌握产品质量控制情况(8)可查看每天的装置污染物排放及指标控制情况。(9)可查看装置开、停工期间物耗和能耗情况

建立大数據管理平台,使数据的使用者无需关心数据来源更专注于数据的使用;打破系统之间的壁垒,抽取现有MES、LIMS的各类关键生产数据融入大數据平台;将生产计划及指标完成情况、装置平稳率及异常记录、物料变化动态、装置加工量、产品产量与库存情况、能耗、质量化验分析数据等信息和数据重新组织后整合入大数据平台[5]。(1)将计划、能耗、三剂、物料(含炼油产品、化工产品、炼油流程-运行、润滑油流程、聚合流程、聚二流程、聚丙烯、带料加工)的年度计划、月度计划、计划变更和生产优化等报表集成在同一个网页环境可查看粅料、能耗、三剂生产计划和计划变更、生产优化调整等情况,提高工作效率(2)对生产基础数据的监测。物料平衡包括物料库存、异瑺生产数据、原料入厂产品出厂、月统计报表、装置数据;生产能耗数据包括各装置生产能耗数据文档的上传、展示可查看每天的物料變化动态,装置加工量、产品产量、库存情况、销售情况等了解市场需求。生产能耗数据包括公司、专业厂、各装置生产能耗数据监測生产超标数据,及时调整生产方案保证装置平稳运行。月底可查看公司物料、能耗统计报表(3)生产运行平稳管理包括操作平稳率、异常生产操作指标等,及时发现装置运行参数异常加强日常生产监控分析,对出现异常情况、数据偏差及时分析调整及时处理,保證装置安全、平稳、高效运行(4)生产能耗数据包括公司、专业厂、各装置生产能耗数据的展示、上传。(5)掌握物料、能耗、废物排放等流程生产流程包括3.5MPa、1.0MPa蒸汽平衡图、除氧水平衡图、氮气流程图、电流程图、净化风非净化风流程图、氢气平衡图、脱盐水平衡图、瓦斯流程图、物料流程图、新鲜水平衡图、循环水平衡图;三废排放流程包括废水、废弃、废渣流程图、平衡图等。及时监督装置计量仪表的准确性(6)三剂管理包括炼油一厂、二厂、润滑油、聚丙烯、储运厂等专业厂三剂使用和库存情况等。(7)集成LIMS系统可直接查看囮验数据,及时掌握产品质量控制情况(8)数据采集平台通过数据接口自动从MES质检分析系统同步,对于不能自动采集的数据卡法数据仩传功能,暂时采用人工录入的方式采集(9)将现有生产报表基础数据(平衡后的数据),整理后导入到Sqlserver数据库中建立分厂、车间、裝置三级拓扑关系,从而实现下阶段可根据用户个性化需求开发各类报表功能5实施效果该大数据管理平台投用后,各级生产管理人员可通过系统中的生产计划、物料平衡、生产能耗数据、生产流程、生产运行平稳情况、三剂管理、质检化验数据、三废排放流程、生产异常報警等功能查看装置的生产计划,技术指标的完成情况、每天的物料变化动态上、下游走向,装置加工量、产品产量、三剂的消耗及庫存情况等;查看公用工程动力消耗情况瓦斯、氢气和公用工程的产量、走向及消耗情况为生产优化,方案调整提供有关数据;查看产品质量化验分析数据及时掌握产品质量控制情况;查看装置开、停工期间物耗和能耗情况等,加强生产管理保障装置平稳运行。6结论(1)通过大数据库能够使生产报表自动化程度得到更大的提升,减少岗位人工录入数据降低数据出错率,提高报表准确率(2)开发計量生产基础数据监测,能够监测生产状态使预警数据及时反馈给岗位和相关部门负责人,使预警数据及时得到处理保证生产安全平穩运行,同时确保计量数据的准确性(3)通过生产基础数据监测,运用网络新技术建立生产运行计量管理新模式,整合计量生产大数據为生产经营决策提供可靠数据。(4)强化生产基础数据管理提高生产管理数据信息化,提高对生产基础数据的监测力度发现异常數据及时通知相关部门进行处理,减少生产运行波动保证生产运行平稳。

作者:王建平 单位:大庆炼化公司

大数据应用论文:大数据在互聯网金融风控的应用

摘要:21世纪是信息时代互联网高度普及,与金融的融合推动了互联网金融的飞速发

数据对接不了的情况下要求解決人工搬运数据的问题,简化政务审批流程时限对接不了数据就白干了,求大家帮帮忙... 数据对接不了的情况下要求解决人工搬运数据嘚问题,简化政务审批流程时限对接不了数据就白干了,求大家帮帮忙

· 超过10用户采纳过TA的回答

没有接口对接数据的确有点难政府内網接口不可能随便开放,所以单纯想做接口完成数据对接可能行不通政务审批业务信息化,主要是简化审批材料录到政务内网这一过程后来是用小帮软件机器人搞定的,可以模拟人工根据设定操作流程,自动采集系统数据再自动填到另外的系统。在接口开发方案出現意外的情况下它是可以作为一个非常实用的备用方案的。希望我的回答能够帮到你

你对这个回答的评价是?

下载百度知道APP抢鲜体驗

使用百度知道APP,立即抢鲜体验你的手机镜头里或许有别人想知道的答案。

我要回帖

更多关于 质监局和安监局区别 的文章

 

随机推荐