Podatkovni inženir - tečaj 89.000 rub. iz Otusa, usposabljanje 4 mesece, datum 30.11.2023.
Miscellanea / / December 03, 2023
Kaj vam bo dal ta tečaj?
- Razumevanje ključnih načinov za integracijo, obdelavo in shranjevanje velikih podatkov
- Sposobnost dela s komponentami ekosistema Hadoop, porazdeljenim shranjevanjem in rešitvami v oblaku
- Praktične veščine pri razvoju podatkovnih storitev, izložb in aplikacij
- Poznavanje principov organizacije spremljanja, orkestracije, testiranja
Tečaj je naslovljen razvijalci, skrbniki DBMS in vsi, ki želijo izpopolniti svojo strokovno raven, osvojiti nova orodja in se ukvarjati z zanimivimi nalogami na področju dela s podatki.
Po študiju Data Engineering boste postali iskan strokovnjak, ki:
- uvaja, prilagaja in optimizira orodja za obdelavo podatkov
- prilagaja nabore podatkov za nadaljnje delo in analitiko
- ustvarja storitve, ki uporabljajo rezultate obdelave velike količine podatkov
- odgovoren za podatkovno arhitekturo v podjetju
Realne študije primerov: primeri implementacij, uporabe orodja, optimizacija delovanja, težave, napake in uporabljeni rezultati
Zelo praktična usmerjenost:
Med tečajem bomo postopno ustvarili delujoč izdelek, ki bo reševal aplikativne probleme
Celostna slika izzivov in nalog sodobnega poslovanja ter vloga podatkovnega inženirja pri njihovem reševanju
Povpraševanje med delodajalci
40 delodajalcev je že pripravljenih diplomante poklicati na razgovor
6
tečajiPodatkovni inženir pri Wildberries, govornik tečaja DE Junior. Več kot 7 let v IT
Diplomiral na Državni univerzi v Voronežu z odliko. Trenutno študent na magistrskem programu HSE »Sistemsko in programsko inženirstvo«. Delovne izkušnje - 2 leti dela kot podatkovni analitik in podatkovni inženir. Zdaj dela s 5 priljubljenimi bazami podatkov, razvija se v Pythonu in hitro razvija svoje sposobnosti. Pripravljen deliti svoje izkušnje.
1
dobroAnalitiko v podjetju razvija že več kot 10 let. Med dosežki: - izgradnja lastnega celovitega sistema spletne analitike; - izgradnja analitičnega skladišča na osnovi MPP Vertica; - organizacija obdelave podatkov na osnovi Spark, Kafka, HDFS; -...
Analitiko v podjetju razvija že več kot 10 let. Med dosežki: - Izgradnja lastnega sistema za spletno analitiko od konca do konca, - Izgradnja analitičnega skladišča na osnovi MPP Vertica, - Organizacija obdelave podatkov na osnovi Spark, Kafka, HDFS;- Gradnja procesov za delo s podatki, vključno s kakovostjo podatkov;- Izdelava več internih orodij za delo in strukturiranje metapodatkov (Katalog podatkov);- Izgradnja sistema korporativnega poročanja, tudi v realnem času - Več kot 5 let skrbi za dvig podatkovne pismenosti v podjetju, izvaja različna izobraževanja o delu s podatki, orodja, SQL; Razvil je tudi več vodij analitike, ki zdaj delajo v velikih podjetjih. Glavni poudarek je na razumevanju poslovnih problemov pri delu s podatki in njihovem reševanju.
1
dobroVodja oddelka, Sberbank 8 let izkušenj na področju industrijskega razvoja, vključno z izdelavo in vzdrževanjem spletnih aplikacij tako v velikih podjetjih kot v startupih. 3 leta razvoja porazdeljenih sistemov za velike državne...
Vodja oddelka, Sberbank 8 let izkušenj na področju industrijskega razvoja, vključno z izdelavo in vzdrževanjem spletnih aplikacij tako v velikih podjetjih kot v startupih. 3 leta razvoja porazdeljenih sistemov za velike državne odjemalce. Izvedel tri projekte iz nič, od prototipa do pripravljenosti za industrijsko uporabo. Trenutno se ukvarja s celovitim razvojem za notranje stranke v banki, rešuje probleme, povezane z analizo podatkov in inženiringom. Izkušnje s programiranjem v Java, Scala, Python, Javascript. Širok spekter poklicnih interesov, od gradnje porazdeljenih sistemov do napovedne analitike in analize namena. Izobrazba: diploma iz UrFU poimenovana po. B.N. Jelcin "Informacijske tehnologije".
Podatkovna arhitektura
-Tema 1.Podatkovni inženir. Naloge, veščine, orodja, potrebe trga
-Tema 2.Arhitektura analitičnih aplikacij: osnovne komponente in principi
-Tema 3. Lokalne rešitve / rešitve v oblaku
-Tema 4. Avtomatizacija in orkestracija cevovoda – 1
-Tema 5. Avtomatizacija in orkestracija cevovoda – 2
Data Lake
-Tema 6. Porazdeljeni datotečni sistemi. HDFS/S3
-Tema 7. SQL dostop do Hadoop. Apache Hive/Presto
-Tema 8. Formati za shranjevanje podatkov in njihove značilnosti
-Tema 9. Analiza daljinskega upravljanja za 1 primer
-Tema 10. Čakalne vrste sporočil. Pregled Kafke.
-Tema 11. Prenos podatkov iz zunanjih sistemov
-Tema 12. Apache Spark – 1
-Tema 13. Apache Spark – 2
DWH
-Tema 14. Analitični DBMS. baze podatkov MPP
-Tema 15. Modeliranje DWH – 1. dbt osnove
-Tema 16. Modeliranje DWH – 2. Podatkovni trezor 2.0
-Tema 17. Prakse DevOps v analitičnih aplikacijah. CI+CD
-Tema 18. Analiza daljinskega upravljanja za primer 2
-Tema 19. Kakovost podatkov. Upravljanje kakovosti podatkov
-Tema 20. Uvedba rešitve BI
-Tema 21. Spremljanje / Metapodatki
NoSQL/NewSQL
-Tema 22. NoSQL Storage. Širok stolpec in ključ-vrednost
-Tema 23. NoSQL Storage. Dokumentno usmerjen
-Tema 24.ELK
-Tema 25.ClickHouse
-Tema 26. Analiza daljinskega upravljanja za primer 3
MLOps
-Tema 27. Organizacija in pakiranje kode
-Tema 28. Arhitektura Docker in REST
-Tema 29.MLFlow + DVC
-Tema 30. Razporeditev modelov
-Tema 31. Analiza daljinskega upravljanja za primer 4
-Tema 32. Analiza daljinskega upravljanja za primer 5
Diplomski projekt
-Tema 33. Izbira teme in organizacija projektnega dela
-Tema 34. Posvetovanje
-Tema 35. Zaščita