本篇教程探讨了大数据技术之flume把数据写入kafka，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。

使用flume把数据写入kafka，需要改变flume配置文件中的sinks属性

 进入flume安装文件的conf下创建一个 .properties 文件 这里创建 c.properties，并对其进行配置 

ak.sources = mysourceak.channels = mychannelak.sinks = mysinkak.sources.mysource.type = spooldirak.sources.mysource.channels = mychannelak.sources.mysource.spoolDir =/tmp/logsak.sinks.mysink.channel = mychannelak.sinks.mysink.channel = mychannelak.sinks.mysink.type = org.apache.flume.sink.kafka.KafkaSinkak.sinks.mysink.kafka.topic = flume-dataak.sinks.mysink.kafka.bootstrap.servers = localhost:9092ak.sinks.mysink.kafka.flumeBatchSize = 20ak.sinks.mysink.kafka.producer.acks = 1ak.sinks.mysink.kafka.producer.linger.ms = 1ak.sinks.mysink.kafka.producer.compression.type = snappyak.channels.mychannel.type = memoryak.channels.mychannel.capacity = 10000ak.channels.mychannel.transactionCapacity = 100

配置完之后进入flume安装目录启动flume

bin/flume-ng agent --conf conf  --conf-file conf/c.properties --name ak -Dflume.root.logger=DEBUG,console

进入kafka安装目录启动kafka

//先启动 Zookeeperbin/zookeeper-server-start.sh -daemon config/zookeeper.properties//在启动 kafkabin/kafka-server-start.sh -daemon config/server.properties

创建toplic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic flume-data

新建一个窗口开启消费者等待数据

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic flume-data --from-beginning

上面的flume 配置的是监听 /tmp/logs中的数据，所以我们新建一个文件复制到/tmp/logs中

新建test文件 里面写点数据

hadoop ni haohello javahello flumehello kafka

把test复制到/tmp/logs中

去消费者窗口查看可以看到

[chs@master kafka_2.11-1.1.0]$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic flume-data --from-beginninghadoop ni hao hadoop ni haohello javahello flumehello kafka

OK成功

本文由职坐标整理发布，学习更多的大数据技术相关知识，请关注职坐标大技术云计算大技术技术频道！