CO PRZYNIESIE ROK DLA INŻYNIERÓW DANYCH
Jeśli lubisz sobie poczytać, to jest ciekawy artykuł o tym, co może być w nowym roku. Próba przewidzenia czy coś się zmieni w naszej pracy.
- Będziemy więcej czasu spędzać z FinOps i optymalizacją kosztów
- Pogłębi się specjalizacja
- Pojęcie data mesh będzie coraz powszechniejszy
- Modele ML mają odnosić coraz to nowe sukcesy
- Granica pomiędzy hurtowniami i Data Lake zacznie się zacierać
Reszta ze szczegółami w artykule.
Whats-next-for-data-engineering-in-2023
DANE GEO
Jeśli miałeś styczność z danymi geograficznymi, a zapewne miałeś, to zawsze warto pogłębić wiedzę. Jeśli nie, to warto być pro aktywnym i się dokształcić. O’Reilly wydał nową książkę w Listopadzie na ten temat.
Python for Geospatial Data Analysis
SQL DLA POCZĄTKUJĄCYCH
Jeśli nie znasz SQL lub chciałbyś poznać podstawy, to 06 Luty 2023 O’Reilly prowadzi krótkie szkolenie. Jeśli nie jest dla Ciebie, to możesz się podzielić z kimś, komu się przyda.
Writing-better-sql-in-90-minutes
PORÓWNANIE HURTOWNI DANYCH
Firma Fivetran porównała 5 największych rozwiązań w chmurze dla hurtowni danych. Która jest szybsza a może tańsza ?
- Amazon Redshift
- Snowflake
- Google BigQuery
- Databricks
- Azure Synapse
Jeśli chcesz wiedzieć, która z nich wypadła najlepiej to pobierz ich raport. Muszę przyznać, że takiego wyniku nie do końca się spodziewałem.
GALERIA NOTATNIKÓW
Nie wiem, czy wiesz, ale Databricks utrzymuje galerię notatników z przydatnym kodem. Może uda ci się znaleść coś dla siebie i rozwiąże to jakiś twój problem. Polecam sprawdzić, może znajdziesz tam przykład i oszczędzisz sporo czasu.
Na tej samej stronie znajdziesz Solution Accelerators, czyli gotowe w pełni działające rozwiązania. Jeśli pracujesz nad jakimś PoC lub nie wiesz jak zaprojektować konkretne zadanie, to możesz skorzystać z gotowca. To może znacznie przyspieszyć twoją pracę. Może się czymś zainspirujesz.