Installation en cluster

Configuration multi-broker

Création des fichiers de configuration

# cd /opt/kafka/latest/config
# cp server.properties server1.properties
# cp server.properties server2.properties

Modification minimale des fichiers de configuration

config/server-1.properties:
    broker.id=1
    listeners=PLAINTEXT://:9093
    log.dirs=/tmp/kafka-logs-1

config/server-2.properties:
    broker.id=2
    listeners=PLAINTEXT://:9094
    log.dirs=/tmp/kafka-logs-2

Démarrage des brokers

# kafka-server-start.sh config/server-1.properties &
# kafka-server-start.sh config/server-2.properties &

Création d'un topic

# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

Vérification du topic

# kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

Notre ancien topic existe-t-il encore ?

# kafka-topics.sh --describe --zookeeper localhost:2181 --topic testing

Fault tolerance

Que se passe-t-il si on arrête le server1 ?

# ps aux | grep server1
# kill -9 <pid>

# kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic