Wybór odpowiedniego typu compute w Databricks to jedna z kluczowych decyzji wpływających na koszt, wydajność i wygodę pracy. Nic tak nie frustruje jak gapienie się na monitor w oczekiwaniu wyników. ☹️W tym wydaniu rozkładamy na czynniki pierwsze wszystkie opcje klastrów w Azure Databricks — od Serverless, SQL Warehouse Classic i Pro po Standard Job Compute.Serverless Compute — … [Więcej ...] oDatabricks Klastry
Engineering
Dobre praktyki
Zebrałem taką krótka listę dobrych praktyk. Żeby o nich nie zapomnieć i mieć ściągawkę na przyszłość. Są to ogólne zasady, które będą lepiej już gorzej pasować do większości scenariuszy. Aczkolwiek musisz pamiętać, że czasami występują odstępstwa od reguły. Jak zwykle w życiu trzeba dokładnie przemyśleć każdą decyzję. Planowanie Proces planowania na piśmie: Nie muszę … [Więcej ...] oDobre praktyki
7 rzeczy które musi umieć inżynier danych
Co robi inżynier Danych W największym skrócie inżynier Danych jest odpowiedzialny za przygotowanie i integrację danych. Dane trzeba przygotować do użycia bo surowe raczej są w słabej formie. A integracja to połączenie danych z wielu źródeł i form. Skąd biorą się dane w twojej firmie? Na samym początku źródła są ludzie, którzy te dane generują. Są to … [Więcej ...] o7 rzeczy które musi umieć inżynier danych
Co przysienie rok 2022 dla Inżyniera Danych – 7 trendów
1. Cloud Jeśli jeszcze nie jesteście w temacie to niewątpliwie musisz pomyśleć o chmurze. Staje się ona nieodzowną częścią naszego świata IT. Coraz więcej firm myśli i zaczyna coraz mocniej cisnąć w chmurę. Oczywiście on-premises nie zniknie z pola widzenia i jeśli firma ma już jakieś rozwiązanie lokalnie, to zapewne będzie go utrzymywać. Obserwując rynek i nasze projekty … [Więcej ...] oCo przysienie rok 2022 dla Inżyniera Danych – 7 trendów
Big data, czy wiesz kiedy użyć tej technologii?
Jeśli zadałeś sobie pytanie, "big data co to?", to jesteś w dobrym miejscu. Postaram się wyjaśnić do czego służy ta technologia, i kiedy użyć tego zestawu narzędzi. Ten prosty model, powinien Ci pozwolić dobrać optymalną technologię, pasującą do twojego problemu. Big Data przetłumaczone z angielskiego oznacza dosłownie "duże dane" po polsku lepiej by brzmiało "dużo danych" … [Więcej ...] oBig data, czy wiesz kiedy użyć tej technologii?
10 Blogów dla Inżyniera Danych, Które Warto Śledzić w 2021.
jaceklaskowski.gitbooks.io Jacek Laskowski jest programistą z wieloletnim stażem i dużym bagażem doświadczeń, który dzieli się wiedzą i za to go lubimy. Jacek napisał i wciąż pisze wspaniałą książkę o Sparku. Książka jest w wersji elektronicznej, dzięki temu jest dostępna online i łatwa w przeszukiwaniu. Jest to zestawianie dokumentacji z przykładami. Znajdziesz tam … [Więcej ...] o10 Blogów dla Inżyniera Danych, Które Warto Śledzić w 2021.
Czy Data Lakehouse pożre Hurtownię Danych?
Nadeszły nowe czasy i pojawił się nowy predator Data Lakehouse. Hurtownie danych są bardzo dojrzałym rozwiązaniem, jakie jest stosowane w wielu organizacjach na całym świecie. Przez wiele lat świat BI żył w bazach relacyjnych. Wszystkie dane z całej organizacji były łączone i wymodelowane tak, aby zarządzający mogli szybko znaleźć odpowiedź na podstawowe pytania. Jaka … [Więcej ...] oCzy Data Lakehouse pożre Hurtownię Danych?
Jak oszczędziłem 8000 zł klientowi i nie użyłem Azure Data Factory
Pewnego pięknego dnia rozpoczął się sprint. Miałem bojowe zadanie do wykonania, mianowicie przekopiować trochę danych z jednego kontenera w blobie do drugiego. Żeby być precyzyjnym około 15 TB. Jest to już znacząca ilość danych i wymaga przemyślenia jak wykonać tę operację. Dane dotyczyły kilku źródeł danych, było ich 5. Każde z tych danych miały inną charakterystykę, trochę … [Więcej ...] oJak oszczędziłem 8000 zł klientowi i nie użyłem Azure Data Factory
Hurtownia danych 22 wieku, czyli jak podbić świat BI
Model hurtowni danych Chciałbym się podzielić notatkami o tworzeniu super nowoczesnej hurtowni danych, jaką możemy postawić w Azure. Jest to model architektury promowany przez Microsoft, jest on prosty we wdrożeniu i utrzymaniu. Dzięki jego prostocie taką hurtownię danych będziesz mógł go łatwo sprzedać biznesowi i szybko dostarczyć dużo wartości dla firmy. Trzeba … [Więcej ...] oHurtownia danych 22 wieku, czyli jak podbić świat BI