博客分类：
通过使用java提供的io，scanner类，apache提供的api处理大文件数据性能分析比较，代码如下：
import java.io.BufferedOutputS
import java.io.BufferedR
import java.io.BufferedW
import java.io.F
import java.io.FileInputS
import java.io.FileOutputS
import java.io.FileR
import java.io.IOE
import java.io.InputS
import java.io.OutputS
import java.io.OutputStreamW
import java.io.R
import java.util.R
import java.util.S
import mons.io.FileU
import mons.io.LineI
import org.junit.T
public class TestFile {
//造数据，测试下面各个方法读取数据性能
public void makeFile() throws IOException
File file = new File("D:\\phone.txt");
OutputStream os = new BufferedOutputStream(new FileOutputStream(file));
BufferedWriter bw=new BufferedWriter(new OutputStreamWriter(os));
for(int i=0; i & 2000000; i++)
bw.write(bulidPhone());
bw.newLine();
bw.close();
os.close();
//生成字符串
private String bulidPhone()
Long lo = new Random().nextLong();
return String.valueOf(lo);
* @Title: readTxt1
* @Description: 使用常规的jdk的io解析输出文件数据
* @throws IOException
public void readTxt1() throws IOException
long start = System.currentTimeMillis();
File file = new File("D:\\phone.txt");
Reader in = new FileReader(file);
BufferedReader br = new BufferedReader(in);
while(br.ready())
//System.out.println(br.readLine());
br.readLine();
in.close();
br.close();
long end = System.currentTimeMillis();
System.out.println("readTxt1方法，使用内存="+(Runtime.getRuntime().totalMemory()-Runtime.getRuntime().freeMemory())+",使用时间毫秒="+(end-start));
* @Title: readTxt2
* @Description: 使用Scanner扫面文件解析文件数据
* @throws IOException
public void readTxt2() throws IOException
long start = System.currentTimeMillis();
File file = new File("D:\\phone.txt");
InputStream is = new FileInputStream(file);
Scanner scan = new Scanner(is,"UTF-8");
while(scan.hasNextLine())
//System.out.println(scan.nextLine());
scan.nextLine();
//scan.next();
is.close();
scan.close();
long end = System.currentTimeMillis();
System.out.println("readTxt2方法，使用内存="+(Runtime.getRuntime().totalMemory()-Runtime.getRuntime().freeMemory())+",使用时间毫秒="+(end-start));
* @Title: readTxt3
* @Description: 使用mons.io.FileUtils，apache工具类解析文件
* @throws IOException
public void readTxt3() throws IOException
long start = System.currentTimeMillis();
File file = new File("D:\\phone.txt");
LineIterator it = FileUtils.lineIterator(file, "UTF-8");
while(it.hasNext())
it.next();
it.close();
long end = System.currentTimeMillis();
System.out.println("readTxt3方法，使用内存="+(Runtime.getRuntime().totalMemory()-Runtime.getRuntime().freeMemory())+",使用时间毫秒="+(end-start));
运行结果如下：
通过分析比较：
1.apache的api处理时间最短，但是消耗的内存比jdk的io多。
2.scanner类表现的最差，销售内存高，时间久。
3.传统的jdk的io处理时间稍长，内存消耗低。
你这三段代码根本就没可比性。why?
浏览: 36275 次
来自: 南京
你这个根本就不对，我遍历了5遍，每次的到的count结果都不一 ...
spiniper 写道你这三段代码根本就没可比性。why?
你这三段代码根本就没可比性。
不错哦 给个赞
zx_code 写道郑州蘑菇云 写道为什么必须要加入呢？直接使 ...
(window.slotbydup=window.slotbydup || []).push({
id: '4773203',
container: s,
size: '200,200',
display: 'inlay-fix'5被浏览1497分享邀请回答不是特别理解您提到的‘java全栈工程师’和‘java大数据’这两个概念之间有何区别，在我看来‘java大数据’应该算是‘java全栈’中的一栈，只不过‘java大数据’更侧重于与数据相关的IT技术栈。我身边也有很多做java web开发后来转到spark这类的数据处理和应用的案例。
说一下个人的感受，IT开发技具有很强的时效性。一般来讲，一项IT技术的生命周期为5年左右，见到过MFC下优秀的C++程序员在35岁时不得不被淘汰的悲惨经历。虽然IT技术的本质不会随着时间的推移而改变，但应用技术的更新迭代是不会改变的（不然像微软、甲骨文这种提供应用框架的厂商如何挣钱）。如果学习能力很强，喜欢研究新技术，对技术有研究的冲动和狂热，比较适合做全栈工程师。
未来对数据的利用将会越来越多，越来越深入，与数据相关的IT技术和应用将会更吃香。如果能再进一步进入数据分析和具体行业应用的程度，就会更有竞争力。
11 条评论分享收藏感谢收起13 条评论分享收藏感谢收起写回答百度知道 - 信息提示
知道宝贝找不到问题了&_&!!
该问题可能已经失效。
秒以后自动返回Java大数据分析图的十大错误，你占了几个?-大数据培训
400-111-8989
Java大数据分析图的十大错误，你占了几个?
划重点"数据可视化"是个好帮手，可以帮助用户理解数据。但是，你真的会用它吗?看看这里，数据可视化的十大错误你占了几个?
优秀的数据可视化依赖优异的设计，并非仅仅选择正确的图表模板那么简单。全在于以一种更加有助于理解和引导的方式去表达信息，尽可能减轻用户获取信息的成本。当然并非所有的图表制作者都精于此道。所以我们看到的图表表达中，各种让人啼笑皆非的错误都有，下面就是这些错误当容易纠正的例子：
1饼图顺序不当
饼图是一种非常简单的可视化工具，但他们却常常过于复杂。份额应该直观排序，而且不要超过5个细分。有两种排序方法都可以让你的读者迅速抓取最多的重要信息。
方法一：将份额最大的那部分放在12点方向，逆时针放置第二大份额的部分，以此类推。
方法二：最大部分放在12点，然后顺时针放置。
2在现状图中使用虚线
虚线会让人分心，而是用实线搭配合适的颜色更容易彼此区分。
3数据摆放不直观
你的内容应该符合逻辑并于直观的方式引导读者阅读数据。对类目进行按字母，次数或数值大小进行排序。
4数据模糊化
确保数据不会因为设计而丢失或被覆盖。例如在面积图中使用透明效果来确保用户可以看到全部数据。
5耗费读者更多的精力
要通过辅助的图形元素来使数据更易于理解，比如在散点图中增加趋势线。
6错误呈现数据
确保任何呈现都是准确的，比如，气泡图的大小应该跟数值一样，不要随便标注。
7在热图中使用不同颜色
一些颜色比其他颜色突出，赋予了数据不必要的重元素。反而你应该使用单一颜色，然后通过颜色的深浅来表达。
8柱状过宽或过窄
柱子与柱子之间的间隔最好调整为宽的1/2。
9数据对比困难
对比是呈现差异的有效方式，但如果你的读者不易对比时，效果就大打折扣了。确保数据的呈现方式一致，可以让你的读者对比。
10使用三维图
尽管这些图看来让人振奋，但3D图也容易分散预期和扰乱数据，坚持2D是王道。
怎么样?看过10个数据可视化的错误之后，是否意识到领导对你的数据分析图表摇头的原因了，快行动起来吧~
感谢大家阅读“Java大数据分析图的十大错误”希望对大家有所帮助，更多精彩内容请关注官网
免责声明：本文由小编转载自网络，旨在分享提供阅读，版权归原作者所有，如有侵权请联系我们进行删除
鉴于市面上大数据分析工具琳琅满目日新月异，为了帮助大家少走弯路，为不同技术背景的IT专业人士整理了十条大数据分析工具的进修技术路径
感谢大家阅读由大数据培训班分享的“oracle数据库必知必会”希望对大家有所帮助
达内学员小廖，本科工商管理专业毕业，跨专业学习达内Java大数据课程，高薪入职欧洲最大的软件企业SAP(中国)。
大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式
Copyright (C)
All Rights Reserved
选择城市和中心
达内北京亦庄大学生实训基地
达内北京网络营销中心
达内北京会计中心