Okvir Apache Spark za razvijalce: napredna raven - tečaj 41.500 rub. iz izobraževalnega centra IBS, usposabljanje 24 ur, datum 26. november 2023.
Miscellanea / / December 05, 2023
Usposabljanje zagotavlja podrobno razumevanje notranje strukture in delovanja ogrodja Apache Spark – tako Spark Core (RDD), Spark SQL, Spark Streaming in Spark Structured Streaming. Upoštevani so mehanizmi za zagon komponent gruče Spark pod nadzorom različnih upravljavcev gruče, upravljanje dodeljevanja virov (predvsem pomnilnika) in mehanizmi dela razporejevalcev. Podrobno so raziskane prednosti formata notranje predstavitve Tungsten in delovanje optimizatorja Catalyst.
Zajete teme:
Notranja arhitektura Spark, izvajalno okolje Spark
Nastavitev konteksta Spark, SparkConf
Notranjost RDD, logična postavitev
Najboljše prakse za programiranje z RDD
Fizični načrt: delo, faze, naloge
Načrtovalci in izvedba prostorskega načrta
Nastavitev pomnilnika, serializacija, predpomnjenje, zbiranje smeti
API vira podatkov, notranja predstavitev podatkov Tungsten, formati datotek
Optimizator katalizatorja
Microbatch Spark Streaming: sprejemanje in oddajanje podatkov
Strukturirano pretakanje: sprejemanje in distribucija podatkov