博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Flume之source分类
阅读量:3937 次
发布时间:2019-05-23

本文共 713 字,大约阅读时间需要 2 分钟。

Flume 不仅仅局限于日志文件的聚集.

因为数据源可以自定义, Flume 可以用来传输大量的事件数据(event data), 比如: 网络流量数据(network traffic data), 社交媒体产生的数据(social-media-generated data), 电子邮件信息(email messages)和其他任何可能的数据源.

1.avro source

监听Avro端口,从Avro client streams接收events。当与另一个(前一跳)Flume agent内置的Avro Sink配对时,它可以创建分层收集拓扑。

2.ThriftSource

ThriftSource 与Avro Source 基本一致。只要把source的类型改成thrift即可,例如a1.sources.r1.type = thrift,比较简单,不做赘述。

3.ExecSource

ExecSource的配置就是设定一个Unix(linux)命令,然后通过这个命令不断输出数据。如果进程退出,Exec Source也一起退出,不会产生进一步的数据。(通常用于监控单个文件

4.JMS source

从JMS系统(消息、主题)中读取数据,ActiveMQ已经测试过

5.Spooling Directory Source

Spooling Directory Source监测配置的目录下新增的文件,并将文件中的数据读取出来。其中,Spool Source有2个注意地方,第一个是拷贝到spool目录下的文件不可以再打开编辑,第二个是spool目录下不可包含相应的子目录。这个主要用途作为对日志的准实时监控

 

转载地址:http://jjuwi.baihongyu.com/

你可能感兴趣的文章
C++类中的static的用法
查看>>
vector 释放内存 swap
查看>>
在linux下新增一块硬盘的操作。(包含大于2T的硬盘在linux下挂载操作)
查看>>
对SIGPIPE等软中断信号的处理方式
查看>>
在QT中增加makefile编译宏的方法
查看>>
在32位系统中使用fseek和lseek或fwrite、write写大文件时,最大只能写2G左右的解决办法
查看>>
动态库提示file too short的错误。
查看>>
PS结构-提取数据帧
查看>>
各类文件头信息
查看>>
Linux系统下处理 broken pipe的问题
查看>>
在centos上安装smb并使用
查看>>
在redhat/centos下源码安装gcc的方法
查看>>
Linux下NTP服务器端配置
查看>>
通过load值查服务器问题
查看>>
TCP/IP协议栈概述及各层包头分析
查看>>
编译后的汇编语言程序
查看>>
整理华为C/C++编码规范
查看>>
解决在epoll中accept接收端口会漏处理的问题. 直到新的socket消息到达,epoll_wait才响应去接收socket端口数据的问题
查看>>
epoll_create, epoll_ctl和epoll_wait
查看>>
在centos下安装git
查看>>