Newsletter

JSONMuszę przyznać, że json to mój ulubiony plik. Jeszcze się na nim nie zawiodłem. Aż tu trafiłem na taki artykuł gdzie autor krytykuje jsona. 😮No i bardzo dobrze bo konstruktywna krytyka jest ważna podkreśla słabe strony. Słowo klucz to kontekst jest bardzo ważny, ja json używam głównie do trzymania konfiguracji i do tego sprawdza się świetnie. Ale jeśli zmienimy kontekst na … [Więcej ...] oCzy JSON to samo zło

W tym wydaniu:Databricks $$$$ firma się bogaciAI EngineeringDatabricks CostsKonfiguracjeVS Code Updates DATABRICKS $$$$$Chodzą plotki, że Databricks zdobył trochę dodatkowych środków na rozwój. Zastrzyk gotówki na pewno się przyda w walce ze Snowflake i MS Fabric. Ja jestem z tego zadowolony, bo to naprawdę solidne narzędzie i jest coraz bardziej wypasione. Databricks … [Więcej ...] oVS Code nowości AI 

Dzisiaj trochę inny newsletter, w formie wpisu, ostatnio trochę musiałem optymalizować, a przynajmniej przypomnieć sobie jak działa pamięć wykonawcy. Mam nadzieję, że te notatki przydadzą ci się.  Dwa podstawowe problemy z jakimi się często spotykam związane są z osiągami jakie jestem w stanie uzyskać w Spark. Tobie też może się to przydarzyć jeśli już się nie … [Więcej ...] oCo pamięta wykonawca (executor🧠)

PYTHON NA STERYDACH - POLARSW ostatnim wydaniu pisałem o Pandas UDF w kontekście typów danych. Jeden z czytelników dał mi znać o ciekawej bibliotece z super szybkim Pytonem. 🐍 (tutaj powinien wrzucić ikonę Monty Python ale takiej nie ma więc wrzucam poniżej zdjęcie, jeśli lubisz angielski humor to się uśmiejesz, Polecam 😁)Jak piszą na Github: Polars: Blazingly fast DataFrames … [Więcej ...] oParametryzacja SQL i coś o przyszłości ⌚

BARDZO DUŻE DANEOstatnio w projekcie głowimy się jak zasilić tabele Feature Store w Databricksach. Nie byłoby w tym nic trudnego gdyby nie olbrzymia ilość kolumn. Na wejściu mamy cirka 4000 kolumn (100 tabel), a do każdej kolumny musimy doliczyć po 20-30 statystyk - jak się domyślasz docelowo będzie sporo. Taka ciekawostka - testowałem ile Feature Table jest w stanie wytrzymać … [Więcej ...] oAnaliza danych po angielsku czyli OpenAI w Databricks 🔤

MICROSOFT 365 COPILOTMicrosoft wypuszcza Copilota dla klientów korporacyjnych. Jest on częścią pakietu Office 365 i będzie dostępny od 1 Listopada. Nie jest to ten, który napisze za Ciebie kod. Niemniej jednak nowa funkcjonalność może do czegoś się przydać. Będzie w Wordzie Exelu i Outlook i nie tylko, może będzie za nas pisał nudne emaile. 😁Microsoft 365 CopilotMS-012 Prepare … [Więcej ...] oCopilot tym razem w Office 365 🖋️

ARCHITEKTURA MEDALIONOWAW każdej dziedzinie podstawy są ważne, a podstawą budowy Lakehouse  jest podział środowisk na 3 kategorie Bronze Silver Gold. Jeśli się z tym nie zetknąłeś, to warto wiedzieć co dzieje się w każdej z tych warstw?Polecam coś poczytać na ten temat. Medallion architecturePart 4 medallion architecture … [Więcej ...] oAI napisze kod za ciebie⌨️

OPTYMALIZACJA Jak wiesz optymalizacja jest ważnym elementem pracy z Big Data. Poniżej kilka tipów od czego zacząć.1. Skalowanie partycji:Domyślna wartość spark.sql.shuffle.partitions (200) nie jest optymalna dla przetwarzania dużych ilości danych (> 20GB). Rekomendacje dotyczące partycji do wymieszania (shuffle): Rozmiar partycji do wymieszania … [Więcej ...] oOstra konkurencja dla Databricks🏅

NOWOŚCI W DATABRICKS Pojawiły się dwie ciekawe nowości w Databricks. Coś dla developerów. Notatniki coraz bardziej przypominają IDE.1. Możliwość korzystania z plików w Repo takich jak .py, .csv, .txt czy log filesAutomatycznie uzupełnia segmenty kodu podczas ich wpisywaniaZwijanie koduOdpalić skrypt pythona2. Wsparcie dla .ipynb Jupyter notebooks (preview)Możesz stworzyć nowy … [Więcej ...] oCiekawostki od Cegladanych 🗞️

JAK ZACZĄĆ Z PYSPARKIEMPython jest narzędziem numer 1, jeśli chodzi o świat analityki. W połączeniu z Apache Spark tworzy niebywałe narzędzie pozwalające na podbój świata 😁W poniższym linku znajdziesz notatnik z przykładami, pozwoli Ci poznać funkcjonalność PySpark.Podstawy PySparka CZY SPARK OBSŁUŻY EXCELTaka ciekawostka, z mojego punktu widzenie to raczej rzadki case, … [Więcej ...] oCzy Spark obsłuży Excela?🤔