Clickstream Projesi

divolte and apacke kafka streams with.md

Clickstream Projesi için kurulum adımları

Kafka'nın ayağa kaldırılması

git clone [email protected]:Landoop/fast-data-dev.git
cd fast-data-dev

docker run — rm -it \
	-p 2181:2181 -p 3030:3030 -p 8081:8081 \
	-p 8082:8082 -p 8083:8083 -p 9092:9092 \
	-e ADV_HOST=192.168.1.102 \
	landoop/fast-data-dev

veya docker-compose.yml

version: '2'
services:
    kafka:
        image: landoop/fast-data-dev
        ports:
            - 2181:2181
            - 3030:3030
            - 8081:8081
            - 8082:8082
            - 8083:8083
            - 9092:9092
        environment:
            - ADV_HOST=192.168.1.102

Not:

• ADV_HOST kısmı çok önemli, kafka kurarken de buraya dikkat etmelisiniz. Dışarıdan erişeceğiniz biçimde bu alanı tanımlayın. Mesela fqdn değil de direk IP vermek gibi.

• —rm olduğundan her açılışta container silinir ve data kaybı yaşarsınız!

Yeni bir tab ile Divolte ayağa kaldıralım

git clone [email protected]:volkan/docker-divolte.git
cd docker-divolte

docker-compose up

• .env dosyasında kafka ip ve port bilgisini güncelleyebilirsiniz.

Yeni bir tab ile, java consumer ile avro datasını json'a dönüştürüp başka bir topic'e atıyoruz

git clone [email protected]:volkan/divolte-kafka-streams.git
cd divolte-kafka-streams

mvn clean package
java -jar target/divolte-kafka-streams-1.0-SNAPSHOT-jar-with-dependencies.jar

Not: Ben java consumer'i docker ile ayağa kaldırdım. supervisord yerine iyi bir alternatif olabilir. Seçim sizin.

Ayrıca kafka ip nizi verip projeyi öyle build etmelisiniz ilgili satır sonrasında "mvn clean package"

Divolte için kafka da topic create ediyoruz

0.11.0.0-> bin/kafka-topics  --create --zookeeper 192.168.1.102:2181 --replication-factor 1 --partitions 1 --topic divolte-data
Created topic "divolte-data".

Topic'i consume ediyoruz

0.11.0.0-> bin/kafka-console-consumer --bootstrap-server 192.168.1.102:9092 --topic divolte-data --from-beginning

Java consumer doğru çalışıyor mu datayı yeni Topic'e atıyor mu kontrol ediyoruz

0.11.0.0-> bin/kafka-console-consumer --bootstrap-server 192.168.1.102:9092 --topic divolte-json --from-beginning