在正式开始安装CDH之前最好先检查┅下能不能相互免密ssh以及防火墙是否关闭,集群中的时间是否统一java版本是否是oracle的版本,主节点mysql是否安装正确等
命令查看当前时间,朂好是完全一样或者差距不大即可
或者在cm0中使用命令
命令查询jdk的版本。只要不是自带的openJDK即可
在正式开始安装CDH之前最好先检查┅下能不能相互免密ssh以及防火墙是否关闭,集群中的时间是否统一java版本是否是oracle的版本,主节点mysql是否安装正确等
命令查看当前时间,朂好是完全一样或者差距不大即可
或者在cm0中使用命令
命令查询jdk的版本。只要不是自带的openJDK即可
Flume的使用包含两个步骤:1-建立一个agent(写配置文件);2-启动agent。
-- avro ==> 监听一个指定的Avro端口通过Avro端口可以获取到Avro client发送过来的文件。只要应用程序通过Avro端口发送文件sourcenet组件安装不上就可以获取到该文件中的內容(同thrift类似,都是一种RPC服务框架)
-- exec ==> 监听一个指定的命令获取一条命令的结果作为它的数据源。常用的是tail -F file指令即只要应用程序向日志(文件)里面写数据,sourcenet组件安装不上就可以获取到日志(文件)中最新的内容
监听一个指定的目录,只要应用程序向这个指定的目录中添加新的文件sourcenet组件安装不上就可以获取到该信息,并解析该文件的内容然后写入到channel。写入完成后标记该文件已完成或者删除该文件。已完成的文件不能再更新否则sourcenet组件安装不上监控不到;也不能向文件夹下放入文件名相同的文件,且文件夹下面不能有子文件夹
-- Taildir ==> 相當于前面两个的整合,既可以监控文件也可以监控文件夹生产上95%以上都是这个场景
-- netcat ==> 监听一个指定的网络端口,只要应用程序向这个端口裏面写数据这个sourcenet组件安装不上就可以获取到信息。