Microsoft Azuren kymmenvuotinen taival näyttää suuntaa myös Data Platform -asiantuntijoille, arkkitehdeille sekä BI-asiantuntijoille, sillä yhä useampi yritys siirtyy on-premise-tekniikoista pilviteknologioiden käyttöön tai käyttää näitä rinnakkain. Näille ammattiryhmille on suunnattu Microsoftin toimesta oma rooli: Azure Data Engineer. Rooliin liittyvät opinnot tähtäävät Azure Data Engineer Associate -sertifiointiin ja sisältävät runsaan asiasisällön lisäksi paljon käytännön harjoituksia tukemaan päivittäistä asiantuntijan työtä.
Azure Data Engineer on pilvitietovarastojen rakentaja ja datan hallinnoija
Esimerkkinä toimii vaikkapa paperitehdas, jossa koneet jylläävät valtavan määrän dataa. Seurantamonitoreissa on reaaliaikaisia koontinäyttöjä, joissa koko tietomassa on koostettu reaaliaikaisiksi Power BI -tilastograafeiksi poikkeamien havaitsemiseksi helposti ja nopeasti. Datavirrat on valmistellut Azure Data Engineer, joka myös siirtää ja käsittelee eräluonteista dataa tyypillisesti Azure Data Lakessa, josta data voidaan siirtää vaikkapa Azure-tietovarastoon. Myös Data Scientist voi mukavasti hyödyntää Data Lakessa olevaa dataa mm. Databricksin avulla.
Senior-konsultti Pekka Korhonen kuvaa Azure Data Engineer -roolin mukaista työnkuvaa:
“Azure Data Engineer käsittelee ja siirtää dataa: tyypillisesti strukturoitua tai strukturoimatonta big dataa, joka voi olla on-premise ympäristöstä siirrettäviä tiedostoja tai vaikkapa sovelluksilta tai IOT-laitteilta tulevaa reaaliaikaista tietoa. Tietoja voidaan analysoida myös täysin reaaliaikaisesti esimerkiksi Stream Analyticsillä ja Power BI:lla tai säilöä tieto Data Lakeen tai tietokantoihin kuten CosmosDB:hen, Azure SQL:ään tai Synapse Analyticsiin (ent. Azure DW). Dataa voidaan myös analysoida ja muokata eri vaiheissa Databricksillä, joka on myös oiva Data Scientistin työkalu.“
Azure Data Engineer
- hallitsee data-alustojen (Data Platform) hyödyntämisen, datan siirtämisen, orkestroinnin ja suojaamisen ja huolehtii, että data on saatavilla
- tekee tietovarastolatauksia ja toimittaa suuria määriä tietoa mm. AI-mallien tekijöille (AI-insinööreille) ja Data Scientistien käsiteltäväksi
- osaa tunnistaa, mitkä teknologiat ovat kustannustehokkaita missäkin tilanteessa ja miten niitä kannattaa käyttää
- hyödyntää moderneja data warehouseja, rakentaa tietovaraston Azureen sekä käsittelee siellä big dataa. Tämän hetken tärkeimmät tavat tallettaa ja käsitellä big dataa Azuressa ovat Databricks, Data Lake, Data Factory, CosmosDB ja Azure SQL Data Warehouse, Azure SQL Database / Instance ja Stream Analytics
- tekee ETL/ELT-prosessien mukaisia datan siirtoja ja latauksia.
Kouluttaudu ja sertifoidu Azure Data Engineer -rooliin
Azure Data Engineer -koulutus ja sertifiointi sopii erityisesti sinulle, jos omaat jo tietokantaosaamista ja organisaatiosi tai asiakkaasi on siirtymässä pilveen. Haastavuudeltaan koulutus on keskivaikea – eli perusteet tulee olla hyvin hallussa. Sertifioinnin suorittamiseen suosittelemme kursseja
- DP-200T01-A Implementing an Azure Data Solution
Tällä kurssilla opit Azuren eri data-alustojen hyödyntämisestä, datan siirtämisestä, orkestroinnista, suojaamisesta, sekä perustekniikoista.
- DP-201T01 Designing an Azure Data Solution
Kurssi on jatkoa kurssille DP-200T01 Implementing an Azure Data Solution ja sillä opit suunnittelemaan Azure Data Platform -alustan palveluita.
Kysyimme Pekka Korhoselta, minkälaista osaamista pitää olla sertifiointitenttiin mennessä:
“Sertifiointitestiin mennessäsi sinulla tulee olla hallussa Azuren perusteet, jotka voit oppia esimerkiksi Azure Fundamentals -koulutuksessa. Edistyneempänä osaamisena sinulla tulee olla käsitys datan hallinnasta (tietokantapohjainen osaaminen). Sertifiointitestin voi suorittaa myös ilman kursseja, jos sinulla on vuosien käytännön kokemus ja pohjatiedot kunnossa.”
Kurssit sisältävät runsaan asiasisällön lisäksi hands-on-harjoituksia tukemaan käytännön tekemistä ja sertifioinnin suorittamista. Lisäharjoituksina Github-labrat auttavat saamaan laajemman kuvan Azure-palveluista.
“Kurssi oli täynnä asiaa sekä hands-on-harjoitusten tekemistä, mikä oli oleellista tämän kurssin sisällölle. Kouluttajan ammattitaito oli tietojen sekä kouluttamisen osalta erinomainen”, kommentoi Pekan DP-200T01-A Implementing an Azure Data Solution -kurssille osallistunut asiantuntija.
Kurssilla käytyjen moduulien ja käytännön osaamisen lisäksi sertifiointiin valmistaudutaan lisämateriaaleilla itsenäisesti opiskellen. Sertifiointiin vaaditaan pohjalle myös jonkin verran käytännön osaamista, sekä yhteensä noin kahden viikon aikapanostusta itseopiskeluna. On hyvä, että oppiminen tapahtuu pidemmällä aikavälillä, jotta oppimaansa voi soveltaa käytännön työssä.
Azure Data Engineer -rooliin valmentavat kurssit sisältävät perusteet käytettävistä tekniikoista. Kursseilla käymme läpi, miten sertifiointitestiin kannattaa valmistautua. Räätälöidyissä asiakaskohtaisissa koulutuksissa voidaan järjestää myös erillinen testipreppauspäivä.
“Suorittamalla sertifioinnin osoitat asiakkaillesi, organisaatiollesi, itsellesi, sekä myös tulevalle työnantajalle Azure Data Platform -osaamisesi”, painottaa Pekka.
Azure Data Engineer -rooli – mistä aloittaa?
- Ovatko pohjatietosi hallussa? Suorita Azure Fundamentals -koulutus ja sertifioidu.
- Ilmoittaudu kurssille DP-200T01-A Implementing an Azure Data Solution (Helsinki tai kurssilive).
- Ilmoittaudu kurssille DP-201T01 Designing an Azure Data Solution (Helsinki tai kurssilive).
- Tee kursseihin kuuluva maksuton harjoitustesti, joka valmentaa varsinaiseen sertifiointitestiin. Saat ohjeet testin tekemiseen kurssilla.
- Varaa Sovelton testikeskuksesta aika sertifiointitestiin Azure Data Engineer Associate
Kouluttajan tausta
Azure Data Engineer -rooliin asiantuntijoita kouluttava Pekka Korhonen on pitkän kokemuksen omaava SQL Server-, SQL- ja Business Intelligence -tekniikoiden asiantuntija, arkkitehti, kouluttaja ja konsultti. Pidettyjä kursseja Pekalle on kertynyt jo yli tuhat! “Erityisesti arvostin kouluttajan rauhallista tahtia. Opetustaidot siis täysi kymppi! Seuraaminen oli helppoa ja muistiinpanojakin ehti tehdä”, eräs asiantuntija kuvaa Pekan opetustaitoja.
