Analiza podatkov v Pythonu in bazah podatkov (SQL) - brezplačen tečaj RANEPA, usposabljanje, Datum: 6. marec 2023.

instagram viewer

Python

Kako vse to deluje? Funkcije Pythona.
Zakaj vsi uporabljajo Python? Primerjava z drugimi programskimi jeziki. Kako pisati programe? Prednosti Pythona. Kako uporabljati Python pri opravilih: obdelava besedil, delo s slikami, pisanje robotov za zaloge, zagon botov za klepet. Vnos in izhod v Pythonu. Imena v Pythonu. Osnovne operacije. Nadzor poteka izvajanja programa (pogojni konstrukti). Primeri preprostih programov.

Cikli. Črte. Metode nizov.
Zanka s predpogojem. Stavki Prekini in Nadaljuj. Za zanko Struktura in dolžina črte. Črtni element in kako rezati črte. Pridobivanje podniza iz niza. Prehod črte. Oddelki.

Tuples. Seznami. funkcijski zemljevid. Generator seznama naključnih vrednosti.
Zakaj so potrebne tuple? Delo s seznamom. Elementi seznama. Natisnite seznam. Pravilno kopiranje seznamov. Značilnosti uporabe funkcije zemljevida. Kaj so generatorji naključnih vrednosti? Kup. Operacije z množicami. Frozenset. Slovarji. metoda pridobivanja Prehod po slovarju.

Funkcije. Uporaba matematičnih funkcij. Obseg in izključitev.
Kako pravilno zapisati funkcije. Preprosti algoritmi. Pisanje prvih funkcij. Kako dodati matematiko. Priporočila za pisanje lastnih funkcij. Kako obsegi delujejo. Globalne spremenljivke. Vrnitev več vrednosti iz funkcije. Izjeme.

Delo z datotekami. Matrike. Vrste razvrščanja
Kaj lahko storite z datotekami? Odpiranje in zapiranje datotek. Branje in pisanje besedilnih datotek. Matrike. Polnjenje matrik. Vnašanje matrik vrstico za vrstico. Bralne in pisalne matrice. Razvrščanje mehurčkov. Analiza algoritma. Več različic rešitve.

Pregled knjižnice NumPy. Delo s funkcijami NumPy. Knjižnica SciPY.
Knjižnice Python in njihova namestitev. Osnovni podatkovni tipi NumPy. Numerične funkcije. Delo z nizi. Operacije z nizi. Dvodimenzionalni nizi. Matrike. Osnovne funkcije knjižnice SciPy.

Pregled knjižnice Pandas. Osnovna analitika.
Namestitev knjižnice. Ustvarjanje predmeta serije. Indeksiranje DataFrame. Mize. Branje in pisanje datotek. Indeksiranje. Vzorčenje podatkov. Operacije z vrsticami in stolpci. Delo z NaN. Razvrščanje.

Vizualizacije podatkov. Praktični primeri
Preučevanje novih podatkov, predprocesiranje, vizualizacija podatkov, iskanje povezav med značilnostmi, priprava podatkov za usposabljanje in izdelava modelov napovedovanja kreditnega tveganja. Pridobitev modela, ki odgovarja na vprašanje: izdati ali ne izdati posojila.

Avtomatizacija rutinskih opravil. Praktični primeri
Analiza praktičnih primerov avtomatizacije nalog, povezanih s pridobivanjem agregiranih informacij iz več virov (datoteke Excel) ali interneta.

Pregled metod strojnega učenja, ki se uporabljajo za analizo podatkov. Praktični primeri
Praktični primer prepoznavanja osnovnih značilnosti in njihove interpretacije v problemu nadzorovanega učenja.

Vmesno modulno ocenjevanje
Vmesno certificiranje poteka v obliki testa (računalniško testiranje). Vzorec tipične testne zgradbe:

Katero funkcijo Python lahko uporabite, da ugotovite vrsto spremenljivke?

• hwoami
• vrsta
• tip
• je

Kateri obseg števil bo ustvarjen v naslednji kodi: obseg (9, 3, -2)

• 9 8 7 6 5 4 4
• 9 7 5 3
• 9 7 5
• 11 9 8 7 6 5 4

Kaj vam omogoča izvajanje delčka kode v seznamu?

• Delček kode: print(math.sqrt(2))
• prikaz števila 2 iz matematične knjižnice
• povezovanje matematične knjižnice
• kvadriranje matematičnega števila
• prikazuje kvadratni koren iz dva

SQL

Shranjevanje in celovitost podatkov.
Shranjevanje podatkov: podatkovne datoteke, dnevniki, ravni RAID, Tempdb. Odnosi v bazah podatkov, eden proti enemu, eden proti mnogim, mnogi proti mnogim. Celovitost podatkov: PRIMARNI KLJUČ, PREVERITE, UNIKATNI in TUJI KLJUČ. Normalizacija tabel.

Izdelava baze podatkov in tabel.
Arhitektura DBMS: logična (tabele in tip podatkov, ključi, indeksi, pogledi, sklopi, omejitve, pravila, privzete vrednosti) in fizična raven (datoteke in skupine datotek, strani). Izdelava baze podatkov. Tipi podatkov polja tabele: Natančna števila, nizi znakov Unicode, približna števila, binarni podatki, datum in čas, drugi tipi podatkov, nizi znakov. Ustvarjanje tabel. Kam napisati prošnje?

Indeksi. Diagrami.
Indeksi: gručasti, negručni, edinstvena identifikacija, filtriran, columnstore, zgoščeni, negručni, pomnilniško optimiziran indeks. Diagrami ER: diagrami baze podatkov, vozlišče baze podatkov. DML in najpogostejši operatorji SQL: SELECT, INSERT, UPDATE, DELETE. Pomen edinstvenih dejavnikov.

Zahteve. Zunanji priključki.
Poizvedbe na eni mizi. Vzorčenje brez ponovitev. Poizvedbe na več tabelah. Zunanji spoji: LEVO, DESNO ali POLNO.

Agregatne funkcije. Podpoizvedbe.
Podpoizvedbe: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Združevanje podatkov: IZBERI ZDRUŽI. Združevalne funkcije: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Pogoji za agregatne funkcije.

Uporabne funkcije.
Še nekaj o operaterjih. Industrijska zahteva. Uporabne funkcije: SQRT, RAND, CONCAT, numerične in nizovne funkcije. Prednost operacije in pretvorba vrste: CAST, CONVERT.

Transakcije. Zastopanje.
Ena zahteva na štiri načine. Transakcije: koncept transakcij - atomičnost, doslednost, izolacija, trajnost, upravljanje transakcij - COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Vzporedni dostop do podatkov: problemi umazanega, neponovljivega branja, fantomi. Pogledi: indeksirani, particionirani, sistemski.

Spremenljivke in zanke.
Začetek programiranja. Spremenljivke: DECLARE, SET, SELECT. Struktura kode. Operatorji za opis podatkov: CREATE, DROP, ALTER itd. Operatorji za obdelavo podatkov: INSERT, DELETE, SELECT, UPDATE itd. Operatorji za nastavitev pravic dostopa do podatkovne baze: GRANT / REVOKE, LOCK / UNLOCK, SET LOCK MODE Operatorji za zaščito, obnovitev podatkov in drugi operaterji. Cikli: WHILE.

Shranjeni postopki in funkcije.
Začasne mize. Transact-SQL kazalci, strežnik, odjemalec. Vrste kazalcev: enosmerni, statični, Keyset, dinamični. Shranjene procedure in funkcije: CREATE PROCEDURE, CREATE PROC.

Sprožilci. Izjeme.
Transportni trak HF. Sproži: AFTER, INSTEADOF. Izjeme: RAZEN. Dinamični SQL z uporabo ključne besede in shranjene procedure: IZVEDI TAKOJ.

DBMS. Baze podatkov NoSQL.
Transakcije v programiranju/DBMS/SQL. Kako se izvajajo zahteve. Kako izboljšati zmogljivost poizvedb. Baza podatkov NoSQL in njene prednosti.

Vmesno modulno ocenjevanje
Vmesno certificiranje poteka v obliki testa (računalniško testiranje). Vzorec tipične testne zgradbe:

Katera vrsta podatkov o polju je vrsta ŠTEVILO?

• vrvica
• številčno
• dvojiško

Kateri ukaz SQL poizveduje po podatkih?

• SPREMINJATI
• IZBERI
• OD

Kaj je transakcija?

• to je skupina operacij, ki jih izvaja DBMS
• je skupina operacij, ki ima lastnosti ACID
• to je operacija izvajanja ukaza SQL