上一篇写的采用tail -F的方式采集数据，但对于远程的客户端实现需要借助其他软件或服务，如centos 6.4默认自带的rsyslog。下述为配置：

[root@laiym ~]# cd /usr/local/flume/

[root@laiym ~]# vim syslog-es.conf

#文件名称为syslog-es.conf

#本机ip为192.168.1.159

#定义sources,channel和sinks的名称

agent.sources = syslog

agent.sinks = elasticsearch

agent.channels = memoryChannel 

#日志过滤暂时没有做，按个人需求将日志过滤

#配置source的详情

agent.sources.syslog.type = syslogudp

agent.sources.syslog.port = 514

agent.sources.syslog.host = 192.168.1.159

agent.sources.syslog.eventSize = 10000000

agent.sources.syslog.interceptors=i1 i2

agent.sources.syslog.interceptors.i1.type=regex_extractor

agent.sources.syslog.interceptors.i1.regex=\(.+\)\\[\\d+\\]\\:.+for\\s+\(.+\)\\s+from\\s+\(.+\)\\s+port\\s+\(\\d+\)\\s

agent.sources.syslog.interceptors.i1.serializers = s1s2 s3 s4

agent.sources.syslog.interceptors.i1.serializers.s1.name= service

agent.sources.syslog.interceptors.i1.serializers.s2.name= user

agent.sources.syslog.interceptors.i1.serializers.s3.name= src

agent.sources.syslog.interceptors.i1.serializers.s4.name= src_port

#agent.sources.syslog.interceptors.i2.type = timestamp

agent.sources.syslog.interceptors.i2.type =org.apache.flume.interceptor.EventTimestampInterceptor$Builder

agent.sources.syslog.interceptors.i2.preserveExisting= false

agent.sources.syslog.interceptors.i2.dateFormatField =time

agent.sources.syslog.interceptors.i2.dateFormat = MMMdd HH:mm:ss

#agent.sources.syslog.interceptors.i3.type=regex_filter

#agent.sources.syslog.interceptors.i3.regex=

#agent.sources.syslog.interceptors.i3.type=org.apache.flume.interceptor.HostInterceptor$Builder

#agent.sources.syslog.interceptors.i3.hostHeader =host

 

#配置channel的详情

agent.channels.memoryChannel.type = memory

agent.channels.channel1.capacity = 1000000

agent.channels.channel1.transactionCapacity = 5000

#agentes.channels.channel1.keep-alive = 10

 

#配置sink的详情

agent.sinks.elasticsearch.type=org.apache.flume.sink.elasticsearch.ElasticSearchSink

agent.sinks.elasticsearch.batchSize=100

agent.sinks.elasticsearch.hostNames=127.0.0.1:9300

agent.sinks.elasticsearch.indexName=linux_syslog

agent.sinks.elasticsearch.indexType=message

agent.sinks.elasticsearch.clusterName=elasticsearch

agent.sinks.elasticsearch.serializer=org.apache.flume.sink.elasticsearch.ElasticSearchLogStashEventSerializer

 

#配置source、sink和channel的详情 

agent.sources.syslog.channels = memoryChannel

agent.sinks.elasticsearch.channel = memoryChannel

下述为splunk02客户端的rsyslog配置

[root@splunk02 ~]# vim /etc/rsyslog.conf

在46行添加authpriv.* @192.168.1.159:514

[root@splunk02 ~]# service rsyslog restart

启动时打开INFO日志和console日志，查看启动状态。

[root@laiym ~]# cd /usr/local/flume/

[root@laiym flume]# ./bin/flume-ng agent -c ./conf/ -f./conf/syslog-es.conf -n agent -Dflume.root.logger=INFO,console 

 

验证一下，在kibana中创建索引 linux_syslog* 如下图字段也解析出来了。


ok，完成。下一次测试flume拦截器正则匹配多种日志格式的常用字段。

# elasticsearch # flume
Logo
天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

deck.gl TripsLayer 出租车轨迹动画示例实战：从示例运行到着色器原理

TripsLayer 是 deck.gl 中用于渲染**随时间流动的轨迹动画**（如出租车行程、物流路径、迁徙路线）的核心图层。本文以仓库中的最小独立示例 [examples/website/trips](https://link.gitcode.com/i/1442af8f442f4cff39ff546e050fceb5) 为骨架，带你完成从安装依赖、启动应用、理解曼哈顿出租车数据格式，到深入

avatar 天工造物局

Foundry Anvil 中 eth_simulateV1 的 Blob 交易与 Blob Gas 字段规范化：原理、实现与测试验证

本篇技术指南以 [anvil-simulate-blob-transactions.md](https://link.gitcode.com/i/3d2ebe227262de169335eb290af80da8) 这条 changelog 条目为起点，深入剖析 Foundry Anvil 对 `eth_simulateV1` RPC 返回结果中 blob（EIP-4844）交易与 blob gas

avatar 天工造物局

LMCache CLI 实战：用 `lmcache kvcache clear` 管理运行中服务的 KV Cache 状态

本文是一份针对 LMCache 官方 CLI 命令 `lmcache kvcache` 的完整技术指南。该命令用于在**运行中的 LMCache 服务（MP HTTP server）**上管理 KV cache 状态，当前提供 `clear` 子命令，用于清空 L1（CPU 内存）层中缓存的全部 KV 数据。读完本文，你将掌握该命令的完整参数体系、退出码语义、终端/JSON/静默三种输出模式，并能

avatar 天工造物局