| JAK WYBRAĆ TECHNOLOGIĘ W AZURE Przy nauce Azure dobrze jest wiedzieć jak dobrać odpowiednią usługę dopasowaną do problemu. Sam nie raz zetknąłem się z nieodpowiednim użyciem narzędzi. Na szczęście jest pomocna dłoń, poniżej link do infografiki, która podpowie Ci jak dobrać narzędzia i czym się kierować. To bardzo przydatna checklista. Azure Technology Guidance.pdf |
| CZY TO KONIEC BIG DATATrafiłem na bardzo ciekawy artykuł człowieka, który był jednym z inżynierów tworzących Google BigQuery. Ma bardzo ciekawą obserwację dotyczącą Big Data. A właściwie to brak dużych danych w większości firm. Tak na prawdę analizuje się garstkę świeżych danych.Z moich obserwacji ma to sens, a czy ty się z tym zgodzisz?Główne punkty:Większość firm nie ma tak dużo danych.Obliczenia są znacznie mniejsze niż kompletna ilość danych.Klienci z dużą ilością danych analizują tylko ich część.Częściej analizowane są dane świeże niż stare.Dane to koszty i zobowiązanie. Big Data is dead DATABRICKS i VS CODE Jeśli pracujesz w Azure to pewnie zetknąłeś się z Visual Studio Code – to bardzo fajne narzędzie. Teraz ma nowy plugin do Databricksów.Dzięki niemu możesz się bezpiecznie podłączyć do środowiska Databricks, klastra, danych. Możesz uruchomić lokalny plik na klastrze. Do tej pory mogłeś to zrobić w Databricks Connect.VS Code Databricks extensionDatabricks Connect |
 |
| SSIS DOSTĘPNE W SYNAPSE ANALYTICS SSIS to narzędzie do przetwarzania i integracji danych, które jest wbudowane w ekosystem SQL Server. Zasila tysiące hurtowni danych na świecie opartych o SQL Server. Jako inżynier danych możesz się z nim zetknąć jeśli pracujesz on-premise lub podczas migracji do chmury.Azure-SSIS Integration Runtime jest teraz ogólnodostępne w Azure Synapse Analytics. Do tej pory mogłeś go użyć tylko w Azure Data Factory. Jego możliwości to:Uruchamianie pakietów w katalogu SSIS (SSISDB) hostowanego przez serwer Azure SQL Database/Managed Instance.Uruchamianie pakietów zdeployowanych do Azure Files. Azure-SSIS Integration Runtime in Azure SynapseSQL Server Integration Services |
| NOWOŚĆI W AZURE DATA FACTORY Każdy inżynier danych pracujący w Azure musi znać ADF, czyli główne narzędzie do integracji danych. Jeśli nie wiesz co to jest to koniecznie się z nim zapoznaj. Poniżej link to fajnego nagrania. Ja go używam bardzo często chociaż nie zawsze jest bardzo efektywny, o tym artykuły (linki poniżej). Azure Data Factory TutorialAzure Data Factory January 2023 Monthly UpdateJak oszczędzilem 8000-zl klientowi i nie użyłem ADF11 rzeczy których należy unikać przy pracy z Azure Data Factory |