Osnove Kafke - tečaj 42.000 rub. iz izobraževalnega centra IBS, usposabljanje 24 ur, datum: 4. december 2023.
Miscellanea / / November 29, 2023
Zajete teme:
1. Pregled (teorija – 1 ura)
Kaj je Kafka.
Primeri uspešne in neuspešne uporabe Kafke.
Kafka in baza podatkov: podobnosti in razlike.
Kafka in čakalna vrsta sporočil: podobnosti in razlike.
Shranjevalna arhitektura Kafka: posredniki, teme, particije, segmenti, replike.
Kafkina arhitektura gruče: Zookeeper, particioniranje, glavna in podrejena replikacijska vozlišča, ISR.
Odjemalci in API-ji.
2. Postavitev grozda (vaja – 1 ura)
Praksa 2.1: Izvajanje gruče Kafka z uporabo Dockerja.
Namestitev programa Zookeeper.
Namestitev posrednikov Kafka.
3. Razvoj aplikacij v Javi (teorija – 2,5 ure, praksa – 2,5 ure)
Kafka Producer API: Osnove.
Praksa 3.1: Pošiljanje enega sporočila.
Praksa 3.2: Pošiljanje več sporočil.
Praksa 3.3: Pošiljanje več sporočil z eksplicitnim razdelitvijo.
Praksa 3.4: Pošiljanje sporočil brez ključev.
Kafka Consumer API: osnove, potrošniške skupine.
Praksa 3.5: En prejemnik.
Praksa 3.6: Več prejemnikov v eni skupini.
Dodatne funkcije: Paketi, Ponovitve, Idempotenca, Transakcije, Ponovno uravnoteženje potrošniških skupin.
Praksa 3.7: Pošiljatelj brez paketov in ponovitev.
Praksa 3.8: Idempotentni pošiljatelj.
Praksa 3.9: Transakcijski pošiljatelj.
Praksa 3.10: Pošiljanje in prejemanje v transakciji.
Praksa 3.11: Prejemanje-obdelava-pošiljanje v transakciji.
4. Zunanji dostop do grozda Kafka (teorija – 2 uri, praksa – 2 uri)
Varnost: SSL, SASL, Kerberos.
REST Proxy: pošiljanje in prejemanje sporočil v formatih JSON, binary in Avro.
Praksa 4.1: Dostop prek proxyja REST.
Register shem: register shem.
Praksa 4.2: Uporaba proxyja REST z registrom sheme.
5. Vzdrževanje in spremljanje (teorija – 1 ura, praksa – 1 ura)
Postavitev grozda za različne namene.
Zookeeper: konfiguracija, samostojni in kvorumski način, CLI.
Praksa 5.1: Spremljanje Kafkinega grozda s Prometheusom.
6. Več sklopov (teorija – 1 ura, praksa – 1 ura)
Zakaj morda potrebujete več gruč v Kafki?
MirrorMakerAccess.
Praksa 6.1: Uporaba programa MirrorMaker za sinhronizacijo gruč.
Replikator sotočja.
7. Kafka Connect (teorija – 2 uri, praksa – 2 uri)
Arhitektura Kafka Connect.
Ponori podatkov Kafka Connect.
Praksa 7.1: Sprejemnik datotek FileStream.
Praksa 7.2: Sprejemnik JDBC.
Kafka Povežite vire podatkov.
Praksa 7.3: Vir FileStream.
Praksa 7.4: Izvor JDBC.
8. Osnove Kafkovih tokov (teorija – 2 uri, praksa – 2 uri)
Kafka Streams: DSL, API, StreamBuilder, izdelava in implementacija topologije.
Predstavitev 8.1: Implementacija topologije Streams.
Predstavitev 8.2: Gradnja aplikacije Streams z uporabo StreamBuilderja.
Naprava Kafka Streams: večnitnost, več primerkov in opravil.
Podatkovne sheme v Kafki: serializacija v sheme JSON, sheme Avro, register shem, razvoj sheme.
Predstavitev 8.3: Uporaba shem JSON.
Obdelava s spremljanjem stanja: State Store, toleranca napak za State Stores.
KTable: Tokovi posodabljanja podatkov, predpomnjenje, hitrost iskanja, združevanje.
Okna v tokovih: časovni žigi, lebdenje, skakanje, seja.
Povezava: tok v tok, KTable v KTable, tok v KTable.