Witam na blogu cegładanych!
Materiały dla inżyniera danych w Azure
Ten blog jest stworzyłem po to by dzielić się wiedzą i pokazać jak wygląda przetwarzanie danych w Azure. Najważniejsze tematy to Spark/Databricks/Lakehouse.
Darmowe materiały do pobrania
Przygotowałem dla Ciebie ebooka, w którym zebrałem ważne informacje o Apache Spark. To pozwoli Ci poznać filar technologii Big Data.
Ostatnie wpisy
Jak efektywnie korzystać z Databricks Assistant – 5 sprawdzonych praktyk
Databricks Assistant to twój osobisty pomocnik w Databricks oczywiście jest AI, jak wszystko dzisiaj 😁. znacząco zwiększa produktywność pracy. Co potrafi Wygenerować kod Python i SQL Autouzupełnianie kodu…
Czytaj Dalej Jak efektywnie korzystać z Databricks Assistant – 5 sprawdzonych praktyk
Jakość danych w Databricks DQX
Jak sprawdzić jakość danych w Databricks i to zautomatyzować. Nie martw się jest nowe narzędzie od Databricks i bardzo Ci pomoże w kontroli jakości. Bardzo ważny temat wchodzący…
Jak Spark robi join?
Nie znam rozwiązania gdzie nie trzeba połączyć jakiś tabel. Możesz pracować przy różnych modelach architektonicznych takich jak Lakehouse czy Warehouse bądź innym cudzie technologii. W każdym przypadku pracując…
Lista narzędzi AI dla każdego inżyniera, które warto znać
Skoro ten świat pożerany jest przez AI, to warto mieć pod ręką trochę narzędzi. Każdego dnia przybywa ich coraz więcej, i chcę rzucać się na każde, ale obserwuje.…
Czytaj Dalej Lista narzędzi AI dla każdego inżyniera, które warto znać
Kilka pomysłów na konfigurację Databricks
W wielu przypadkach ładowania danych w procesie ETL będziesz potrzebował/ła sparametryzować proces zasilania. Prawie każdy pipeline wymaga jakiś parametrów, np. nazwa tabeli, nazwa środowiska (dev, test, prod) ect..…
Dobre praktyki
Zebrałem taką krótka listę dobrych praktyk. Żeby o nich nie zapomnieć i mieć ściągawkę na przyszłość. Są to ogólne zasady, które będą lepiej już gorzej pasować do większości…