Data Engineer from zero to Junior - brezplačen tečaj iz Skillboxa, usposabljanje, Datum: 29. november 2023.
Miscellanea / / November 30, 2023
Za začetnike
Naučite se Pythona in SQL od začetka. Naučite se zbirati, analizirati in obdelovati podatke. Rešite težave na podlagi resničnih primerov in jih dodajte v svoj portfelj. Kariero v podatkovnem inženirstvu lahko začnete med študijem.
Za programerje
Izboljšajte svoje znanje SQL za delo z bazami podatkov. Šli boste skozi celotno pot podatkovnega inženirja od zbiranja neobdelanih podatkov do uvajanja modela. Izkušnje s programiranjem vam bodo pomagale hitro razumeti nov poklic in zamenjati področje.
Za začetnike analitike
Naučite se vseh stopenj dela s podatki. Naučite se zbirati informacije iz različnih virov, zgraditi arhitekturo za njihovo shranjevanje in vizualizirati poročila. Samostojno boste lahko pripravili podatke za nadaljnjo analizo.
Avtor tečaja strojnega učenja. Višji podatkovni znanstvenik, vodja ekipe pri SberData, Sber. 5+ let v poklicu
Govornik tečaja, direktor raziskav in razvoja, UBIC Tech. Več kot 15 let izkušenj v razvoju
Podatkovni znanstvenik pri Sberbank, matematik v računalniškem centru Ruske akademije znanosti. Blok "Osnove matematike za znanost o podatkih". Več kot 4 leta izkušenj s poučevanjem višje matematike
Prva stopnja: osnovno usposabljanje
Seznanite se z glavnimi področji podatkovne znanosti, usposobite in implementirajte svoj prvi model ML. Pridobite osnovno znanje matematike, statistike in teorije verjetnosti. Vse to vam bo pomagalo razumeti osnovna načela dela s podatki. Povprečni čas dokončanja je 6 mesecev.
Uvod v podatkovno znanost
Šli boste skozi vse faze dela s podatki. Naučite se prepoznati težave, zbrati poslovne zahteve. Prenesli boste podatke iz različnih virov, opravili raziskovalno analizo in pripravili nabor podatkov za nadaljnjo uporabo. Usposobite in implementirajte že pripravljen model ML, preizkusite se kot produktni in marketinški analitik. Naučite se oblikovati in testirati hipoteze. Obvladajte osnovna orodja za delo: Python, SQL, Excel, Power Bi, Airflow.
Osnovna matematika za podatkovno znanost
Pridobite osnovno znanje matematike za delo s strojnim učenjem. Razumeli boste, kaj so aproksimacija, interpolacija, funkcije, regresije, matrike in vektorji. Naučite se delati z matematičnimi entitetami v knjižnici SymPy Python.
Osnove statistike in teorije verjetnosti
Razumeli boste principe dela z naključnimi spremenljivkami in dogodki. Seznanite se z nekaterimi vrstami porazdelitev in statističnih testov, ki so uporabni pri konstruiranju modelov in testiranju hipotez.
Možnost pripravništva
Za pridobitev pripravništva zadostujejo osnovna znanja in veščine – študij lahko nadaljujete na tečaju in hkrati v podjetju.
Druga stopnja: Data Engineer Junior
Naučite se zbirati zapletene nize podatkov, pripravljati predstavitve in graditi cevovode za delo, uvajati projekte DS iz nič in testirati kodo. Pripravljeni boste na delo kot Junior Data Engineer. Povprečni čas dokončanja je 6 mesecev.
Uvodni blok
Ugotovite, kaj počne podatkovni inženir, kakšno vlogo igra v projektu Data Science in kakšne so njegove poklicne poti. Razumeli boste, kako je tečaj strukturiran in katere teme boste preučevali.
SQL
Naučite se manipulirati s podatki v obstoječih tabelah, izvajati operacije vstavljanja, brisanja in posodabljanja. Podatke iz baze lahko shranjujete v različnih formatih. Spoznajte funkcije oken in osnove priprave podatkovnih vitrin z uporabo SQL. Naučite se zagotoviti pravilen vnos informacij v načinu transakcije. Lahko boste prebrali in razumeli dnevnik transakcij. Naučite se, kaj so indeksi in arhitektura indeksov ter kje se uporabljajo. Naučite se tehnik za pospešitev poizvedb.
Python. LVL 2
Razmislite o tipih podatkov, kako jih je mogoče pretvoriti in kako Python in SQL delujeta skupaj – pridobivanje podatkov iz baze podatkov, delo s podatki in izvajanje poizvedb. Naučite se osnovnih konceptov podatkovnih shem JSON in XML. Lahko boste konfigurirali razhroščevanje aplikacij, pisali teste, anonimizirali in šifrirali podatke.
Knjižnice za Python
Izvedeli boste, kaj so knjižnice za delo z grafi, nadzorovano učenje, vizualizacija metrik in viri podatkovnih nizov. Naučite se uporabljati Python in knjižnice za delo s podatki. Lahko nadaljujete z učenjem Pand.
Zračni tok
Preglejte ključne koncepte in prakse za delo z Airflow. Naučite se osnov arhitekture in interoperabilnosti od uporabniškega vmesnika do CLI. Zgradite svoj prvi podatkovni cevovod.
Osnove Spark
Master Spark: naučite se, s katerimi računalniškimi viri deluje, kako shranjuje podatke ter deluje s pomnilnikom in diskom. Postavite svojo prvo lokalno stojnico. Naučite se osnov RDD: osnovni pojmi, delo z viri, dejanja. Naučite se delati z API-jem Dataframe. Naučite se težav z zmogljivostjo in optimizacijo pri uporabi Dataframe, podatkovnih virov in vrst, dela z veljavnimi/neveljavnimi podatki, obravnavanja napak, UDF, interakcije s Pythonom in SQL.
Osnove algoritmov strojnega učenja
Razumeli boste glavne vrste modelov strojnega učenja, ključne izraze in definicije. Naučite se regresijskih algoritmov in algoritmov združevanja v gruče.
Razporeditev
Naučite se glavnih stopenj priprave modela za uvedbo, pristopov k izgradnji API-ja in načinov za obravnavanje napak in odpravljanje napak v aplikacijah. Lahko boste odpravili težave pri uvajanju in obvladali osnovna orodja za razmetavanje. Spoznajte ključne procese bash: pisanje skriptov, delo s spremenljivkami ter urejevalnika besedila sed in awk.
Končni projekti
Po opravljeni prvi stopnji pripravite uvodni projekt. Na koncu tečaja boste predstavili svoje zaključno delo.
Uvod v podatkovno znanost
Svoje novo znanje utrdite na posameznem projektu – prešli boste od nalaganja podatkov do implementacije modela. Rešite težave podatkovnega inženirja, inženirja ML in analitika podatkov, da se odločite za svojo specializacijo.
Podatkovni inženir
Zaključni projekt na stopnji Junior. Izvedite kohortno analizo in prenesite reference za API. Izdelajte nadzorne plošče na podlagi prejetih podatkov.
Bonus tečaji
Kariera razvijalca: Zaposlitev in razvoj
Naučili se boste izbrati primerno prosto delovno mesto, se pripraviti na razgovor in se pogajati z delodajalcem. Hitro boste lahko dobili položaj, ki bo ustrezal vašim pričakovanjem in sposobnostim.
Sistem za nadzor različic Git
Naučite se spreminjati kodo različice, ustvarjati in upravljati repozitorije, veje in razreševati konflikte različic. Naučite se uporabnih pravil za delo z Gitom.
Angleščina za IT strokovnjake
Pridobite jezikovno znanje, ki vam bo pomagalo opraviti razgovor s tujim podjetjem in udobno komunicirati v mešanih skupinah.