Map端会处理输入数据并产生中间结果,这个中间结果会写到本地磁盘,每个Map的输出会先写到内存缓冲区中,当写入的数据达到设定的阈值时,系统将会启动一个线程将缓冲区的数据写到磁盘,这个过程叫做spill(spill写入之前,会先进行二次排序,首先根据数据所属的partition进行排序,然后每个partition中的数据再按key来排序 . partition的目是将记录划分到不同的Reducer上去,以期望能够达到负载均衡,以后的Reducer就会根据partition来读取自己对应的数据 . 接着运行combiner(如果设置了的话),combiner的本质也是一个Reducer,其目的是对将要写入到磁盘上的文件先进行一次处理,这样,写入到磁盘的数据量就会减少 .

十个海量数据处理方法大总结
适用范围:可以用来实现数据字典,进行数据的判重,或者集合求交集
对于原理来说很简单,位数组+k个独立hash函数 . 将hash函数对应的值的位数组置1,查找时如果发现所有hash函数对应位都是1说明存在,很明显这个过程并不保证查找的结果是100%正确的 . 同时也不支持删除一个已经插入的关键字,因为该关键字对应的位会牵动到其他的关键字 . 所以一个简单的改进就是 counting Bloom 还有一个比较重要的问题,如何根据输入元素个数n,确定位数组m的大小及hash函数个数 . 当hash函数个数k=(ln2)(m/n)时错误率最小 . 在错误率不大于E的情况下,m至少要等于nlg(1/E)才能表示任意n个元素的集合 . 但m还应该更大些,因为还要保证bit数组里至少一半为0,则m应该>=nlg(1/E)lge

但是,如果你一次仅抽取少量的小文件到HDFS,则sequence文件的方法也不太可行,因为sequence文件是不可变的,无法追加 . 比如3个10MB文件将产生1个30MB的sequence文件,根据本文前面的定义,这仍然是一个小文件 . 另外一个问题是如果需要检索sequence文件中的文件名列表则需要遍历整个文件 . 
另外一个问题是Hive并不能较好的处理由该方法合并出来的sequence文件 . Hive将value中的所有数据视为单行 . 这样会导致Hive查看这些数据不方便,因为以前小文件中的一行的所有数据也是Hive中的单行,即相当于只有一个字段 . 同时,Hive没办法访问这种sequence的key,即文件名 . 当然你可以自定义Hive serde来实现,不过这个超过了本文需要讨论的范围 6 解决小文件问题,除了HDFS存储外,当然还可以考虑HBase列式存储 . 使用HBase可以将数据抽取过程从生成大量小HDFS文件更改为以逐条记录写入到HBase表 . 如果你对数据访问的需求主要是随机查找或者叫点查,则HBase是最好的选择 . HBase在架构上就是为快速插入,存储大量数据,单个记录的快速查找以及流式数据处理而设计的 . 但如果你对数据访问的需求主要是全表扫描,则HBase不是最适合的 . 
可以基于HBase的表的数据创建Hive表,但是查询这种Hive表对于不同的查询类型性能会不一样 . 当查询单行或者范围查找时,Hive on HBase会表现不错,但是如果是全表扫描则效率比较低下,大多数分析查询比如带group by的语句都是全表扫描 . 
使用HBase,可以较好的应对实时数据写入以及实时查询的场景 . 但是如何分配和平衡HBase与集群上其他的组件的资源使用,以及HBase本身运维都会带来额外的运维管理成本 . 另外,HBase的性能主要取决于你的数据访问方式,所以在选择HBase解决小文件问题之前,应该进行仔细调研和设计 . 
此解决方案仅适用于Amazon EMR的用户,当然你在AWS中使用CDH也一样 . Amazon EMR集群一般设计为短期存储,而在S3中持久化保存数据 . 即使使用S3,依旧存在小文件问题,所以这时需要选择S3DistCp . 
S3DistCp是由Amazon提供的一个工具,用于分布式将S3中的数据拷贝到临时的HDFS或其他S3 bucket . 这个工具可以通过配置groupBy和targetSize参数来将文件合并到一起 . 如果S3中存储了数千个EMR需要处理的小文件时,这个工具是一个不错的选择 . S3DistCp通过连接许多小文件并导入到HDFS中,据报道,该方式的性能也非常优秀 S3DistCp这个工具跟之前文章提到的批量合并文件的方法其实是类似的,只是说Amazon给你提供了一个现成的工具 . 
因此,HAR文件不仅可以合并从数据源抽取到HDFS中的数据,也可以合并通过正常的MapReduce处理创建的数据 . HAR文件可以独立的用于解决小文件问题,除了HDFS,没有其他的依赖 . 
虽然HAR文件减少了NameNode中小文件对内存的占用,但访问HAR文件内容性能可能会更低 . HAR文件仍然随机存储在磁盘上,并且读取HAR内的文件需要访问两个索引 - 一个用于NameNode找到HAR文件本身,一个用于在HAR文件内找到小文件的位置 . 在HAR中读取文件实际上可能比读取存储在HDFS上的相同文件慢 . MapReduce作业的性能同样会受到影响,因为它仍旧会为每个HAR文件中的每个文件启动一个map任务 . 
所以这里我们需要有一个权衡(trade-off),HAR文件可以解决NameNode内存问题,但同时会降低读取性能 . 如果你的小文件主要用于存档,并且不经常访问,那么HAR文件是一个很好的解决方案 . 如果小文件经常要被读取或者处理,那么可能需要重新考虑解决方案 . 
2.NameNode联邦允许你在一个集群中拥有多个NameNode,每个NameNode都存储元数据对象的子集 . 这样可以让所有的元数据对象都不止存储在单个机器上,也消除了单个节点的内存限制,因为你可以扩容 . 这听上去是一个很美丽的方案,但其实它也有局限性 . 
NameNode联邦隔离了元数据对象 - 仅仅只有某一个NameNode知道某一个特定的元数据对象在哪里,意思就是说如果你想找到某个文件,你必须知道它是保存在哪个NameNode上的 . 如果你的集群中有多个租户和/或隔离的应用程序,那使用NameNode联邦是挺不错的,你可以通过租户或者应用程序来隔离元数据对象 . 但是,如果要在所有的应用程序之间共享数据,则该方法其实也并不是完美的 由于NameNode联邦并不会改变集群中对象或者块的数量,所以它并没有解决MapReduce的性能问题 . 相反,联邦会增加Hadoop集群安装和维护的复杂度 . 所以我们说联邦可以解决小文件问题,倒不如说它提供了一种办法让你"隐藏"小文件 . 

考虑压缩比1:5～10
几百g左右数据,10台生产集群,3台测试集群

flume断点续传,多目录

多少张表多少个topic
topic一般双副本增加io传输速度
通常3-10个分区影响消费能力并发度

　　据米哈游创始人之一的刘伟在采访中透露，《原神》的研发成本超过1亿美元，这一数字放在欧美是难以想象的。

　　当然，不是因为研发成本高，《原神》的质量就一定高，难以想象的原因有一下两点：

　　一是欧美做《原神》这样质量的游戏用不了1亿美元，欧美有足够的游戏人才积累，而米哈游在开发《原神》时需要培养人才，磨合团队，走了很多弯路；二是很多游戏公司也不会投入巨额资金来研发一款未被市场证明的游戏，欧美游戏厂商如此，腾讯、网易这些国内传统游戏大厂也是如此。

　　原标题：庞大吸金兽，小气米哈游

　　据移动应用数据平台Sensor Tower最新数据显示，9月米哈游《原神》移动端海外收入超过2.34亿美元，是本期海外收入排名第2的《糖果传奇》收入的两倍。再加上中国ios市场的收入，《原神》以3.41亿美元刷新了全球手游月收入的最高纪录。

　　受统计方式影响，这一收入数据并不准确，毕竟还有第三方安卓渠道、PC、PS4、NS平台用户均未计入统计，当然，月收入肯定是只多不少。

　　从上线开始，《原神》就出尽风头。第一个月营收就创下了2.45亿美元的成绩，此后随着版本更新，也曾屡次登顶各国畅销榜榜首位置。

　　如今《原神》上线也已经一年时间，据Sensor Tower发文数据显示，这一年时间《原神》在全球APP Store和Google Play的总收入就达到了20亿美元。同时，《原神》位于全球手游畅销榜第三名，仅次于腾讯的《王者荣耀》和《和平精英》。

　　《原神》像是一只吸金兽从全球玩家手中吸金，赚的盆满钵满。在海外市场，过去一年《原神》更是力压游戏行业老牌巨头任天堂的《宝可梦GO》，以及新秀元宇宙概念开创者《Roblox》，成为收入最高的移动游戏。

　　《原神》为何能如此吸金？靠着《原神》捷报频传的米哈游真的一帆风顺吗？

　　01 庞大吸金兽《原神》是如何炼成的

　　从立项到如今捷报频传，《原神》这只游戏吸金兽的炼成，同样有迹可循。任何企业的经营流程都可以简化为产品-渠道-用户，我们可以先从产品、渠道这两方面来分析。

　　1、热爱与金钱铸造产品

　　用上一个游戏的营收，投入下一个游戏的研发，是米哈游的传统。横版游戏《崩坏学园2》收益投入做3D动作游戏《崩坏3》，《崩坏3》收益投入做开放世界冒险游戏《原神》。游戏风格、形式虽然不同，但也正是在不断变换的游戏形式中，米哈游完成了技术、经验积累。

　　据米哈游创始人之一的刘伟在采访中透露，《原神》的研发成本超过1亿美元，这一数字放在欧美是难以想象的。

　　当然，不是因为研发成本高，《原神》的质量就一定高，难以想象的原因有一下两点：

　　一是欧美做《原神》这样质量的游戏用不了1亿美元，欧美有足够的游戏人才积累，而米哈游在开发《原神》时需要培养人才，磨合团队，走了很多弯路；二是很多游戏公司也不会投入巨额资金来研发一款未被市场证明的游戏，欧美游戏厂商如此，腾讯、网易这些国内传统游戏大厂也是如此。

　　创始人对二次元的热爱，加上巨额的资金投入，让《原神》或许比不上一些国外一线大厂的主机游戏，但在二次元游戏、手机游戏中绝对称得上是佼佼者。

　　2、强内容掀起渠道的革命与创新

　　游戏触达用户的渠道，最重要的是游戏产品本身。作为米哈游多年技术、经验、美术风格等的集大成者，《原神》可以轻松获取二次元用户人群。

　　同时，《原神》的内容也为其在全球范围内获取用户提供便利。

　　《原神》虽然是架空世界，但是展示的却是全世界各地人民熟知的风格。例如现在已经开放的蒙德、璃月、稻妻三个国家分别展示了北欧中世纪幻想风格、中式古建山水风格、传统日式风格，玩家在玩游戏的同时能感受到世界不同地方的风景，有利于《原神》在全球范围内获取用户。

　　有了强内容保底，《原神》对传统渠道进行了大胆的革命与创新。

　　在分发渠道方面，《原神》没有上线传统的华为、OPPO、vivo等手机厂商组成的硬核联盟、小米、应用宝这些五五分成比例的应用商店分发渠道，发布时只有B站、taptap、官网这三个渠道。

　　Taptap平台不收取分成，B站虽然也是五五分成，但B站浓厚的二次元氛围能为《原神》提供配套宣发、二次创作内容等附加利益。而随着《原神》的火热，其对传统应用商店分发渠道的革命也初见成效，小米应用商店、腾讯应用宝陆续以七三分成的比例妥协，上架《原神》。

　　同时，《原神》还增加了微博、抖音、知乎、线下电梯等多个买量渠道拓展用户。例如，在微博平台上，就时常会出现《原神》的展示广告。

　　而在硬件渠道方面，《原神》是第一款打通移动设备、PC、NS、PS4的游戏，各个硬件平台上的数据互通。这极大的提升了用户的游玩体验，在各个使用场景下都可以游玩，能触达的用户也就更多。

　　3、“扭蛋心理”重新诠释规模效应

　　产品到达用户手中之后，接下来就是如何变现的问题。

　　游戏的变现方式有二，传统的和非传统的。传统的游戏变现方式就是电冰箱生意，玩家一次付费买断，凭借数量上升达到规模效应摊平成本获利；非传统的游戏变现方式是剃须刀生意，玩家免费游玩，游戏厂商通过游戏内道具、会员等收费。

　　而《原神》选择的变现方式就是非传统的，《原神》在卡池中放入强力的角色、武器，设定好概率，吸引玩家抽卡。这一模式类似于流行于日本的扭蛋，国内的盲盒，利用用户的赌徒心理、收集心理、炫耀感、满足感等来吸引玩家付费。

　　9月份，《原神》之所以能打破全球手游月收入最高纪录，从表面来看，有两点直接原因。一是9月1日《原神》2.1版本更新后，首次充值双倍原石（游戏内货币）重置；二是新角色雷神雷电将军上架，对于多数玩家来说，《原神》游戏中的“神”角色属于必抽角色。

　　强力角色放入卡池，充值又有双倍原石，多数玩家自然就冲起来了，这就是抽卡模式游戏的魔力。

　　除了用抽卡吸引玩家付费之外，凭借对世界观的详尽打磨、主线剧情的推进以及庞大的玩家基数，使得《原神》虽然不像《崩坏》系列IP一样经过几款游戏持续打造，但也逐渐成为一个成功的IP。基于《原神》IP的联名、周边商品开发等也成为《原神》的变现方式之一。

　　产品、渠道、变现等方面的实力与创新，造就了《原神》这只强力的吸金兽。不过，坐拥《原神》吸金兽的米哈游，发展却并不是一帆风顺，就像前段时间，米哈游在玩家心中就成为了一只只进不出的貔貅。

　　02 小气米哈游响彻全球

　　在9月末，《原神》不仅收获了破纪录的月收入，还收获了不知破没破纪录的差评。

　　国内taptap平台上，原神在9月29日左右收获大量差评，负向评价在9月29日这天很明显是不正常的。海外市场也是如此，Google Play商店原神评分一度下降至1.7分。

　　虽然后期谷歌应用商店说明是有在刷差评，但从国内外各内容社区的评论来看，《原神》在9月底收获差评很明显事出有因。

　　9月28日是原神正式公测一周年，就在所有玩家满怀期待的等待一周年活动礼物时，《原神》仅为玩家提供了连续登陆7天可得一次十连抽卡的奖励。

　　而与游戏内冷清的一周年活动对比，游戏外的一周年活动氛围就十分抢眼。国内、国外均有创作者们为《原神》做了《原神生日会》，还有很多创作者自发为《原神》一周年发二创作品庆祝。

　　再加上《原神》在一周年时在国内外各大平台上买推广广告，且玩家都知道《原神》收入非常高，现实世界与游戏内活动奖励形成鲜明的反差，这就让很多玩家觉得米哈游太吝啬了。国内外内容社区多了很多对米哈游阴阳怪气的声音。

　　国内如“648（游戏内充值最高金额）给爸妈买件衣服不香吗？”，国外如“我的周年纪念免费东西呢？米哈游：我的周年纪念日。”“如何让已经对你失望的人失望？米哈游：是的。”

　　全球玩家的反对声音最终还是让米哈游妥协，在游戏中又送了一个原本打算放在商城出售的道具，以及一次十连的原石。

　　如今，风波看似已经平息，但对米哈游产生的负面影响却已经存在，而且是长期存在。

　　一方面，米哈游的变现方式注定其需要注重LTV（用户生命周期总价值），培养用户忠诚度是第一位，可是米哈游的运营却一直在消耗用户忠诚度。

　　除了本次一周年活动奖励事件，还有出圈的《崩坏3》兔女郎引刺杀事件，未出圈的《原神》岩神钟离刚上线时太弱、树脂（体力）刷新速度太慢、刷装备过于无聊等问题，均说明米哈游在游戏运营、策划方面的软实力仍有不足，不利于获取用户生命周期总价值。

　　另一方面，互联网是有记忆的，这些负面事件会在未来发生的新事件中再拉出来，非常影响米哈游的企业形象及其他工作的开展。

　　以本次《原神》一周年活动为例，原神玩家纷纷与《崩坏3》三周年时的玩家共情。而米哈游开展的二创征集活动，也被玩家认为是米哈游在“白嫖”创作者作品，毕竟这些高质量的作品如果是《原神》官方去约，将花费更多金钱，而不是少量的金钱加一些游戏内虚拟的原石。

　　近两天《原神》官方在推特上的运营同样受到影响。《原神》号召粉丝关注推特上的小号，小号名字是游戏内的语言学家艾拉·马斯克，由于与全球首富特斯拉CEO埃隆·马斯克名字相像，就在推特上宣布如果关注原神小号艾拉·马斯克人数超过500万，大伟哥（刘伟）就会邀请埃隆马斯克到米哈游总部参观。

　　这本身是一个官方的“整活”，因为原神官方号才有200多万的关注数，并不会真的达成。受此前的一周年活动影响，部分粉丝认为米哈游这是在指使粉丝做事，不想花钱，还不如多发点福利，该推特下方评论氛围并不是很好，米哈游就删除了这篇推文。

　　幸好埃隆·马斯克真的下场互动，让这次事件的口碑不至于太差，不过看现在删除的推文，还是多少有些尴尬。

　　就因为一次活动未安排好，米哈游“小气”的名声传遍全球，后续活动开展均受影响。二次元用户付费能力强，用户粘度高，但也是真的“记仇”。

　　总的来说，米哈游打造出了超级吸金兽《原神》，在发展大方向上没什么问题，布局云游戏解决移动设备玩原神的内存焦虑，发布新游戏继续延续《崩坏》IP，布局脑机押注元宇宙。但也并不意味着米哈游可以躺着赚钱，还是要脚踏实地，从细节处加强运营能力，才能持续获取用户生命周期总价值。