国际数据公司IDC预测到2020年，企业基于大数据计算分析平台的支出将突破5000亿美元大数据解决方案在未来四年中，帮助全球企业分享大约1.6万亿美元新增收入的数据红利数聯寻英近日发布的首份《大数据人才报告》显示， 目前全国大数据人才只有46万未来3到5年人才缺口达150万之多。

根据麦肯锡报告 仅仅在美國市场，2018年大数据人才和高级分析专家的人才缺口将高达19万此外美国企业还需要150万位能够提出正确问题、运用大数据分析结果的大数据楿关管理人才。对于高速发展的大数据行业来说行业人才的稀缺目前已成为抑致行业发展的重要因素。人才的稀缺性外加上诱人的高额薪资使得互联网行业很多技术人员纷纷想要转型进入大数据领域，成为数据科学家、大数据工程师等等

今天，我们将为大家介绍大数據工程师所需掌握的技能让小伙伴们有个参照。 先来看一个常见的大数据基础平台架构图

互联网科技发展蓬勃兴起，人工智能时代来臨抓住下一个风口。为帮助那些往想互联网方向转行想学习却因为时间不够，资源不足而放弃的人我自己整理的一份最新的大数据進阶资料和高级开发教程，大数据学习群：199加上【427】最后加上210就可以找到组织学习 欢迎进阶中和进想深入大数据的小伙伴加入
从这张大數据架构图上来看，我们发现一个普通的大数据基础平台架构中，分为数据集成层、文件存储层、数据存储层、编程模型层和数据分析層然后再到上层应用。大数据基础平台架构中往往还会有数据挖掘层和数据可视化层等。 再看这场架构图

从以上两张架构图我们可鉯看到，整个大数据基础平台架构中其实是涉及非常多的技术、语言和技能的。下面为大家一一细表

一、大数据通用处理平台

其中， RDD昰Spark的核心RDD，全称为Resilient Distributed Datasets是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中并能控制数据的分区。同时RDD还提供了一组丰富的操作来操作这些数据。在这些操作中诸如map、flatMap、filter等转换操作实现了monad模式，很好地契合了Scala的集合操作除此之外，RDD还提供叻诸如join、groupBy、reduceByKey等更为方便的操作（注意reduceByKey是action，而非transformation）以支持常见的数据运算。 Spark SQL是Spark的一个组件用于结构化数据的计算。Spark SQL提供了一个称为DataFrames的編程抽象DataFrames可以充当分布式SQL查询引擎。 Spark Streaming是建立在Spark上的实时计算框架通过它提供的丰富的API、基于内存的高速执行引擎，用户可以结合流式、批处理和交互试查询应用 Spark Streaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力 Spark Streaming的优势在于：

能运行在100+的结点上，並达到秒级延迟使用基于内存的Spark作为执行引擎，具有高效和容错的特性能集成Spark的批处理和交互查询。为实现复杂的算法提供和批处理類似的简单接口

MLlib是Spark对常用的机器学习算法的实现库，同时包括相关的测试和数据生成器MLlib 目前支持四种常见的机器学习问题：二元分类，回归聚类以及协同过滤，同时也包括一个底层的梯度下降优化基础算法 下面是Spark学习脑图。

2、FlinkFlink 是一个开源的针对批量数据和流数据的處理引擎已经发展为 ASF 的顶级项目之一。Flink 的核心是一个提供了数据分发以及并行化计算的流数据处理引擎已经支持了 API 化的 SQL 查询，包括图操作和机器学习的相关算法

Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现目前主要还是依靠开源社区的贡献而發展。对 Flink 而言其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已再换句话说，Flink 会把所有任务当成流来处理這也是其最大的特点。Flink 可以支持本地的快速迭代以及一些环形的迭代任务。并且 Flink 可以定制化内存管理

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下开发分布式程序。充分利用集群的威力进行高速运算和存储 Hadoop实现了一个分咘式文件系统（Hadoop Distributed File System），简称HDFSHDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求可以以流的形式访问（streaming access）文件系统中的数据。 其中

HDFSHadoop分布式文件系统(HDFS)被設计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点但同时，它和其他的分布式文件系统的区别吔是很明显的HDFS是一个高度容错性的系统，适合部署在廉价的机器上HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用HDFS放寬了一部分POSIX约束，来实现流式读取文件系统数据的目的

YarnApache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器它是一个通用资源管理系统，鈳为上层应用提供统一的资源管理和调度它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YARN的基本思想是将JobTracker嘚两个主要功能（资源管理和作业调度/监控）分离主要方法是创建一个全局的ResourceManager（RM）和若干个针对应用程序的ApplicationMaster（AM）。这里的应用程序是指傳统的MapReduce作业或作业的DAG（有向无环图）

MesosMesos是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核Mesos最初是由加州大学伯克利分校的AMPLab開发的，后在Twitter得到广泛使用 Mesos的起源于Google的数据中心资源管理系统Borg。Twitter从Google的Borg系统中得到启发然后就开发一个类似的资源管理系统来帮助他们擺脱可怕的“失败之鲸”。后来他们注意到加州大学伯克利分校AMPLab正在开发的名为Mesos的项目这个项目的负责人是Ben Hindman，Ben是加州大学伯克利分校的博士研究生后来Ben Hindman加入了Twitter，负责开发和部署Mesos现在Mesos管理着Twitter超过30,0000台服务器上的应用部署，“失败之鲸”已成往事其他公司纷至沓来，也部署了Mesos比如Airbnb（空中食宿网）、eBay（电子港湾）和Netflix。

四、数据分析/数据仓库(SQL类)

Apache Pig 是一个高级过程语言适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数據集。通过允许对分布式数据集进行类似 SQL 的查询Pig 可以简化 Hadoop 的使用。本文将探索 Pig 背后的语言并在一个简单的 Hadoop 集群中发现其用途。

hive是基于Hadoop嘚一个数据仓库工具可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能可以将sql语句转换为MapReduce任务进行运行。 其优点昰学习成本低可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用十分适合数据仓库的统计分析。

Apache Kylin?是一个开源的分布式分析引擎提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区它能在亚秒内查询巨大的Hive表。

Apache Kylin 最初甴ebay开发现已经开源至Apache软件基金会。它是Hadoop之上的SQL查询接口是一种高性能的SQL on Hadoop工具。它能在亚秒内查询巨大的Hive表

SparkSQL的前身是Shark，给熟悉RDBMS但又不悝解MapReduce的技术人员提供快速上手的工具Hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-Hadoop工具但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率为了提高SQL-on-Hadoop的效率，大量的SQL-on-Hadoop工具开始产生其中表现较为突出的是：

其中Shark是伯克利实验室Spark生态环境的组件之一，它修改叻下图所示的右下角的内存管理、物理计划、执行三个模块并使之能运行在Spark引擎上，从而使得SQL查询的速度得到10-100倍的提升

Spark发布了最新的1.3.0蝂本，其中最重要的变化便是DataFrame这个API的推出。DataFrame让Spark具备了处理大规模结构化数据的能力在比原有的RDD转化方式易用的前提下，计算性能更还赽了两倍这一个小小的API，隐含着Spark希望大一统「大数据江湖」的野心和决心DataFrame像是一条联结所有主流数据源并自动转化为可并行处理格式嘚水渠，通过它Spark能取悦大数据生态链上的所有玩家无论是善用R的数据科学家，惯用SQL的商业分析师还是在意效率和实时性的统计工程师。

Impala是Cloudera公司主导开发的新型查询系统它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用嘚是MapReduce引擎仍然是一个批处理过程，难以满足查询的交互性相比之下，Impala的最大特点也是最大卖点就是它的快速

Phoenix查询引擎会将SQL查询转换為一个或多个HBase scan，并编排执行以生成标准的JDBC结果集直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说其性能量级是毫秒，对于百万级别的行数来说其性能量级是秒。更多参考官网

ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下故有此简称。

ElasticSearch是一个基于Lucene的搜索服务器它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口Elasticsearch是鼡Java开发的，并作为Apache许可条款下的开放源码发布是当前流行的企业级搜索引擎。设计用于云计算中能够达到实时搜索，稳定可靠，快速安装使用方便。

Logstash是一个完全开源的工具他可以对你的日志进行收集、分析，并将其存储供以后使用（如搜索），您可以使用它logstash帶有一个web界面，搜索和展示所有日志

kibana 也是一个开源和免费的工具，他可以帮助您汇总、分析和搜索重要数据日志并提供友好的web界面他鈳以为 Logstash 和 ElasticSearch 提供的日志分析的 Web 界面。

1、 Kafka(纯日志类大吞吐量)

是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率换个说法即Kafka是一個分布式的，可划分的冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据

分布式消息队列，是一款分布式、队列模型的消息中间件

是一种基于消息队列的多线程网络库，其对套接字类型、连接处理、帧、甚至路由的底层细节进行抽象提供跨越多种传输協议的套接字。ZeroMQ是网络通信中新的一层介于应用层和传输层之间（按照TCP/IP划分），其是一个可伸缩层可并行运行，分散在分布式系统间

开源的消息队列软件，是JMS消息通信规范的一个实现运行在JVM下，支持多种语言如JAVA，C++C#。

是一个在AMQP基础上完整的可复用的企业消息系統。它可以用于大型软件系统各个模块之间的高效通信支持高并发，支持可扩展

对比Hadoop的批处理，Storm是个实时的、分布式以及具备高容错嘚计算系统同Hadoop一样Storm也可以处理大批量的数据，然而Storm在保证高可靠性的前提下还可以让处理进行的更加实时；也就是说所有的信息都会被处理。Storm同样还具备容错和分布计算这些特性这就让Storm可以扩展到不同的机器上进行大批量的数据处理。

·易于扩展：对于扩展伴随着業务的发展，我们的数据量、计算量可能会越来越大所以希望这个系统是可扩展的。你只需要添加机器和改变对应的topology（拓扑）设置Storm使鼡Hadoop Zookeeper进行集群协调，这样可以充分的保证大型集群的良好运行

·每条信息的处理都可以得到保证。

·Storm集群管理简易

·Storm的容错机能：一旦topology遞交，Storm会一直运行它直到topology被废除或者被关闭而在执行中出现错误时，也会由Storm重新分配任务这是分布式系统中通用问题。一个节点挂了鈈能影响我的应用

·低延迟。都说了是实时计算系统了延迟是一定要低的。

·尽管通常使用JavaStorm中的topology可以用任何语言设计。

Spark Streaming是一种构建茬Spark上的实时计算框架它扩展了Spark处理大规模流式数据的能力。

·能运行在100+的结点上并达到秒级延迟。

·使用基于内存的Spark作为执行引擎具有高效和容错的特性。

·能集成Spark的批处理和交互查询

·为实现复杂的算法提供和批处理类似的简单接口。

Flink 是一个针对流数据和批数据嘚分布式处理引擎它主要是由 Java 代码实现。对 Flink 而言其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已再换句話说，Flink 会把所有任务当成流来处理这也是其最大的特点。Flink 可以支持本地的快速迭代以及一些环形的迭代任务。并且 Flink 可以定制化内存管悝在这点，如果要对比 Flink 和 Spark 的话Flink 并没有将内存完全交给应用层。这也是为什么 Spark 相对于 Flink更容易出现 OOM 的原因（out of memory）。就框架本身与应用场景來说Flink 更相似与 Storm。

Scribe是Facebook开源的日志收集系统在Facebook内部已经得到的应用。它能够从各种日志源上收集日志存储到一个中央存储系统（可以是NFS，分布式文件系统等）上以便于进行集中统计分析处理。

它为日志的“分布式收集统一处理”提供了一个可扩展的，高容错的方案當中央存储系统的网络或者机器出现故障时，scribe会将日志转存到本地或者另一个位置当中央存储系统恢复后，scribe会将转存的日志重新传输给Φ央存储系统其通常与Hadoop结合使用，scribe用于向HDFS中push日志而Hadoop通过MapReduce作业进行定期处理。

Flume是Cloudera提供的一个高可用的高可靠的，分布式的海量日志采集、聚合和传输的系统Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力

Java是一门面向对象编程语言，不仅吸收了C++语言的各种优点还摒弃了C++里难以理解的多继承、指针等概念，因此Java语言具囿功能强大和简单易用两个特征Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论允许程序员以优雅的思维方式进荇复杂的编程。

Java具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点 Java可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等 。

详细请参考 Java官网

Python语法简洁清晰，特色之一是强制用空白符(white space)作为语句缩进

Python具有丰富和强大的库。它常被昵称为胶水语言能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是使鼡Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中[2] 有特别要求的部分用更合适的语言改写，比如3D游戏中的图形渲染模塊性能要求特别高，就可以用C/C++重写而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题某些鈳能不提供跨平台的实现。

R是一种用于统计计算的编程语言由奥克兰大学的Ross Ihaka 和 Robert Gentleman发明。如今被广泛地使用于统计分析、数据挖掘等方向

R昰用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件它是一个用于统计计算和统计制图的优秀笁具。

R 是统计领域广泛使用的诞生于1980年左右的 S 语言的一个分支R是S语言的一种实现。S语言是由 AT&T贝尔实验室开发的一种用来进行数据探索、統计分析、作图的解释型语言最初S语言的实现版本主要是S-PLUS。S-PLUS是一个商业软件它基于S语言，并由MathSoft公司的统计科学部进一步完善后来Auckland大學的Robert Gentleman 和 Ross Ihaka 及其他志愿人员开发了一个R系统。R的使用与S-PLUS有很多类似之处两个软件有一定的兼容性。S-PLUS的使用手册只要经过不多的修改就能成為 R的使用手册。所以有人说：R是S-PLUS的一个“克隆”。但是请不要忘了：R is free

Ruby明显比其他类似的编程语言（如Perl或Python）年轻，又因为Ruby是日本人发明嘚所以早期的非日文资料和程序都比较贫乏，所以在网上仍然可以找到类似“Ruby的资料太少”之类的批评约于2000年，Ruby开始进入美国英文嘚资料开始发展。Ruby归根结底源于Perl和Python两类语言与C，C++C#，java是不同大类

Scala是一门多范式的编程语言，一种类似java的编程语言[1] 设计初衷是实现可伸缩的语言[2] 、并集成面向对象编程和函数式编程的各种特性。Scala编程语言抓住了很多开发者的眼球如果你粗略浏览Scala的网站，你会觉得Scala是一種纯粹的面向对象编程语言而又无缝地结合了命令式编程和函数式编程风格。

MATLAB 是美国MathWorks公司出品的商业数学软件用于算法开发、数据可視化、数据分析以及数值计算的高级技术计算语言和交互式环境，主要包括MATLAB和Simulink两大部分

MATLAB是matrix&laboratory两个词的组合，意为矩阵工厂（矩阵实验室）是由美国mathworks公司发布的主要面对科学计算、可视化以及交互式程序设计的高科技计算环境。它将数值分析、矩阵计算、科学数据可视化以忣非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中为科学研究、工程设计以及必须进行有效数值计算的眾多科学领域提供了一种全面的解决方案，并在很大程度上摆脱了传统非交互式程序设计语言（如C、Fortran）的编辑模式代表了当今国际科学計算软件的先进水平。

MATLAB和Mathematica、Maple并称为三大数学软件它在数学类科技应用软件中在数值计算方面首屈一指。MATLAB可以进行矩阵运算、绘制函数和數据、实现算法、创建用户界面、连接其他编程语言的程序等主要应用于工程计算、控制设计、信号处理与通讯、图像处理、信号检测、金融建模设计与分析等领域。

SPSS（Statistical Product and Service Solutions）“统计产品与服务解决方案”软件。最初软件全称为“社会科学统计软件包”（SolutionsStatistical Package for the Social Sciences）但是随着SPSS产品垺务领域的扩大和服务深度的增加，SPSS公司已于2000年正式将英文全称更改为“统计产品与服务解决方案”这标志着SPSS的战略方向正在做出重大調整。SPSS为IBM公司推出的一系列用于统计学分析运算、数据挖掘、预测分析和决策支持任务的软件产品及相关服务的总称有Windows和Mac OS X等版本。

2009年7月28ㄖIBM公司宣布将用12亿美元现金收购统计分析软件提供商SPSS公司。如今SPSS已出至版本22.0而且更名为IBM SPSS。迄今SPSS公司已有40余年的成长历史。

1976年SAS软件研究所（SAS INSTITUTE INC）成立，开始进行SAS系统的维护、开发、销售和培训工作期间经历了许多版本，并经过多年来的完善和发展SAS系统在国际上已被譽为统计分析的标准软件，在各个领域得到广泛应用

根据StuQ 发布的大数据工程师技能图谱来看，想要成为大数据工程师除了以上提到的知识点之外，还需要掌握数据可视化、机器学习、算法和云计算等多个知识点

提前说一句我看了很多网站和app，没有免费的没有，免费的信息都不全

我觉得，为填报出个一两百还是很划得来比你对着书一个一个查好。不说了我又后悔以前峩自己拿着那本大书查来查去，查到最后去了个 学校

我觉得我对这句话是最有发言权的：选择比努力重要。我考上一本高二十分上了┅本，却是个偏理科的综合学校？十多个学院，三个文科学院我们专业只有两个班，于是和法学和外国语组成一个学院真骚。

这兩天临时给我外甥女和表妹指导志愿填报我自己下载了六七个下载量比较多、推荐一些良心软件app也比较多的填报app，对比了一番我是比較喜欢这么做的 ，看测评不如直接自己体验反正app也不要钱。

我只说几个有很多人推荐一些良心软件app的和我自己手机里现在还没删掉的。

测试专业的题目有150+道我当时就觉得很靠谱啊，100多道题诶！结果我外甥女好不容易做完，居然直接给我来了一段英文啥啥啥失败，錯误妈的智障。结合我之前登录的时候也是什么什么错误。俩手机在不同地方都出错，我觉得挺不靠谱的想象一下，如果你买了vipの后填报的时候发现经常错误？？？

挺好的历年录取分数，线差招录人数都有，很详细唯一就是太贵了200的卡和300的卡。

信息少只有学校的招生专业和历年录取分数。信息这么少居然要钱呸！

8.1更：本来我是推荐一些良心软件app这个app的，但是评论区有小伙伴用了以後发现里面很多罗列的学校百度都查不到代码根本填不了， 把这个app排除掉吧。

不能给你们什么app的建议了现在看来可能完美高考，除叻贵点经过公认的应该是没有问题。

我就分享一下使用信息库的方法吧因为冲，稳保包括在内的学校会有很多，就需要我们进行筛選我们没有那么厉害的分析能力，能判断出哪个好学校能捡漏能升本之类的只能说通过客观的筛选来筛出符合我们要求又有几率上的學校。

分数比档次线高10分以下的不要设置太多冲刺学校，我认为：充2稳5，保3是比较合适的。

1.二本以上民办的不要，学费高没必偠。至于三本和专科我不是很清楚。

2.地域要求：我的看法是除了新疆西藏都可因为那边不安定的因素比较多，而且我怕不经意就产生叻民族冲突到时候很难受。当然几率只是比其他地方大，但实际上也不高可以抱着捡漏的想法，低分高就

3.看学校名字：名称里带囿明显：理工，电气城建……的，就是这个学校的重点不喜欢这个专业的，不要去文科生不要去理工专业为名的学校，

理科生得具體看师范学校内的专业设置有的师范也偏向理科

4.文科生不要去偏理科的学校，理科生不要去偏文科的学校

怎么看，看学校的学院和专業设置学院或专业大部分是文科，这个学校就偏向文科理科同理。

5.有专业备选项的看学校学院和专业设置，专业分化越细越好说奣它专，精

B：法学院：刑法，民事法……

C：文法学院：汉语言法学

只有当这个专业实力不被重视的情况下，才会和别的专业合院明皛了吗？