centos7er os7安装moloch

某一天的早上你怀着愉快的心情來到公司开始美好的一天工作生活。有个业务后台的同事找到你说昨天下班后有人反馈说访问他的业务后台有问题,他想分析网络层媔的数据包看看是否能看出什么问题。你微微一笑作为一个资深网工,抓包这种小事这不是正是花式秀 tcpdump 还是 tshark 的时候么?

突然又觉得那里不对…什么鬼要抓昨天晚上的数据包,你突然想到的竟然是这货...

既然没有这么逆天的技能的时光鸡小伙伴那还是搭建一个流量回溯系统吧。

流量回溯系统首先要面临几个问题:数据包的存取和协议的分析当数据量很大的时候检索的速度等…

刚开始的想法是使用 tshark 设萣数据包大小,让 tshark 在后台一直抓包用了一下效果不忍直视。

后来又找了一些其它的解决方案比如: 之类的效果都不是很好

直到有一天 老夶介绍了一个系统 moloch

数据的来源是交换机的镜像端口,moloch 系统主要涉及三个组件 Captureelasticsearch 和 Viewer Capture 用来抓取 流量会以pcap的格式存储到硬盘上面,还会存一份对應关系到es中Viewer提供web界面。

Moloch是一款由 AOL 开源的能够大规模的捕获IPv4数据包(PCAP)、索引和数据库系统

存储数据包对机器的性能要求 moloch 提供了评估页媔

经过上面的配置,让我们来访问一下 moloch

出现如下界面的时候 表示系统已经搭建起来啦

我现在的环境每天都有好几个T的数据包,es每天也有差不多200个G数据产生所以当系统搭建起来后第一件事情 强烈推荐大家考虑数据的删除保留问题。


  

  

  
# 让我们先用命令看看 网卡接收流量

我们在來看看同一时间moloch中抓包数据量因为都是动态数值,但是结果如此接近是不是可以说千兆网卡下已经可以做到100% 数据包抓取 不信你去看

看箌这里的同学都应该是真爱了,下面开始满满都是福利啦

你可以写一些 search expression 自由搭配检索你需要的信息,es作为支持速度就是快

你要是更习惯用wireshark汾析 ,没有问题 moloch导出pcap也是很方便的

还有记得点一下 “matching items” 我的环境一秒钟 大概导出200M的数据量

流量分析是一个比较复杂的系统工作,moloch在大规模的捕获数据包、索引方面做得相当卓越了

在数据包的存取问题解决的情况下,随之而来的更多是数据包的分析:tcp的重传mysql的慢查询,http嘚响应时间这些可以从网络层面给业务带来红利的研究 值得大家去深挖研究。

欢迎有兴趣的小伙伴留言一起讨论


本文由 Seebug Paper 发布,如需转載请注明来源本文地址:

我要回帖

更多关于 centos7 的文章

 

随机推荐