本篇教程探讨了大数据技术 ZooKeeper+Mesos/Kafka Clusters配置和启动方法步骤，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。

<

zookeeper
1) cp /vagrant/zookeeper-3.5.2-alpha.tar.gz ~2) cd zookeeper-3.5.2-alpha3) mkdir data4) mkdir datalog5) cd data6) touch myid7) echo 1 > myid8) more myid9) cd ..10) cd conf11) cp zoo_sample.cfg zoo.cfg12) vi zoo.cfg13) update as below
dataDir=/home/vagrant/zookeeper-3.4.8/datadataLogDir=/home/vagrant/zookeeper-3.4.8/datalog# the port at which the clients will connectclientPort=2181
server.1=192.168.1.10:2888:3888server.2=192.168.1.11:2888:3888server.3=192.168.1.12:2888:3888
14) sudo vi /etc/hosts192.168.1.10 Mesos01192.168.1.11 Slave01192.168.1.12 Slave02
15) bash bin/zkServer.sh start/status/stop
Mesos for zookeeper
# 切换到源码目录$ cd build
# 启动 mesos 主控端(请确保 目录存在，且权限合适)$ sudo ./bin/mesos-master.sh --zk=zk://192.168.1.10:2181,192.168.1.11:2181,192.168.1.12:2181/mesos --quorum=1 --work_dir=/var/lib/mesos  --hostname=Mesos01$ sudo ./bin/mesos-master.sh --zk=zk://192.168.1.10:2181,192.168.1.11:2181,192.168.1.12:2181/mesos --quorum=1 --work_dir=/var/lib/mesos  --hostname=Slave01$ sudo ./bin/mesos-master.sh --zk=zk://192.168.1.10:2181,192.168.1.11:2181,192.168.1.12:2181/mesos --quorum=1 --work_dir=/var/lib/mesos  --hostname=Slave02
# 启动 被控$ sudo ./bin/mesos-slave.sh --master=zk://192.168.1.10:2181,192.168.1.11:2181,192.168.1.12:2181/mesos --work_dir=/var/lib/mesos
# 访问 mesos页面$ //192.168.1.10:5050
# 运行 C++ 框架 (运行任务成功后会退出)$ ./src/test-framework --master=zk://192.168.1.10:2181,192.168.1.11:2181,192.168.1.12:2181/mesos
# 运行Java 框架 (运行任务成功后会退出) $ ./src/examples/java/test-framework zk://192.168.1.10:2181,192.168.1.11:2181,192.168.1.12:2181/mesos
# 运行 Python 框架 (运行任务成功后会退出)$ ./src/examples/python/test-framework zk://192.168.1.10:2181,192.168.1.11:2181,192.168.1.12:2181/mesos
 
Kafka for zookeeper
1) vi $KAFKA_HOME/config/server.properties
broker.id=0/1/2  port=9092host.name=Mesos01/Slave01/Slave02advertised.host.name=Mesos01/Slave01/Slave02...  num.partitions=2  ...  zookeeper.connect=192.168.1.10:2182,192.168.1.11:2182,192.168.1.12:2182
2) 启动kafka服务, 在zk1,zk2,zk3上分别运行：bin/kafka-server-start.sh config/server.properties
3) 新建一个TOPIC(replication-factor=num of brokers)bin/kafka-topics.sh --create --topic test --replication-factor 3 --partitions 2 --zookeeper 192.168.1.10:2182列出已有的topics:$ bin/kafka-topics.sh --list --zookeeper 192.168.1.10:2182
4)假设我们在zk2上，开一个终端，发送消息至kafka（zk2模拟producer）$ bin/kafka-console-producer.sh --broker-list 192.168.1.10:9092 --sync --topic test在发送消息的终端输入：Hello Kafka
5)假设我们在zk3上，开一个终端，显示消息的消费（zk3模拟consumer）$ bin/kafka-console-consumer.sh --zookeeper 192.168.1.10:2182 --topic test --from-beginning在消费消息的终端显示：Hello Kafka
 
   

本文由职坐标整理发布，学习更多的大数据技术相关知识，请关注职坐标大技术云计算大技术技术频道！