| W tym wydaniu: Databricks $$$$ firma się bogaci AI Engineering Databricks Costs Konfiguracje VS Code Updates |
| DATABRICKS $$$$$ Chodzą plotki, że Databricks zdobył trochę dodatkowych środków na rozwój. Zastrzyk gotówki na pewno się przyda w walce ze Snowflake i MS Fabric. Ja jestem z tego zadowolony, bo to naprawdę solidne narzędzie i jest coraz bardziej wypasione. Databricks vs. Snowflake vs. Microsoft FabricDatabricks Raises Money – 55 Billion Dollar Valuation |
| AI EENGINEERING AI to nowy gorący trend, a jak już jesteśmy trendy 🧙♂️ – ja staram się być, nawet ostatnio kupiłem sobie sweter świąteczny 🎅 Jak AI jest trendy to może i Engineering też jest, i jeśli się to połączy to wyjdzie AI Engineering czyli jeszcze bardziej trendy. Oto lista co taki trendy inżynierek powinien umieć żeby być modnym. Jako inżynierowie będziemy coraz bliżej implementacji AI/ML więc warto być przygotowanym. 1. Inżynieria promptów Zarządzanie zależnościami promptów między agentami i współdzielonym stanemOpracowywanie zbiorów testowych do oceny promptów 2. Rozwój oprogramowania Stosowanie najlepszych praktyk inżynierii oprogramowaniaWdrażanie zasad DevOpsBudowanie solidnych i skalowalnych systemów 3. Zarządzanie infrastrukturą i danymi Wdrażanie i zarządzanie systemami AIZrozumienie i praca ze specjalistycznymi systemami przechowywania, takimi jak Vector DBCzyszczenie i przetwarzanie danychIntegracja różnych źródeł danych w aplikacjach AI 4. MLOps dostosowane do systemów AI (AgentOps) Konfiguracja obserwacji dla systemów AIZarządzanie śledzeniem i wersjonowaniem promptów 5. Wiedza interdyscyplinarna Inżynierii uczenia maszynowegoInżynierii oprogramowania 7. Znajomość biznesu i konsulting Doradzać firmom jak najlepiej wykorzystać modele językowe (LLM)Oceniać, gdzie rozwiązania AI są naprawdę potrzebne i korzystne. What is AI Engineering |
| DATABRICKS COSTS Jeśli spędzasz sporo czasu na spotkaniach gdzie dyskutowane są koszty, to zapewne spędzasz sporo czasu szukając i optymalizując Sparka. Często koncentrujemy się tylko na Sparku, a przyczyna może być w samych Databricksach.Może klastry są źle dobrane, za słabe albo za mocneMoże sam pipeline nie jest optymalny, robisz coś szeregowo zamiast równolegle. Zawsze warto spojrzeć na problem z wielu kątów, żeby o czymś oczywistym nie zapomnieć. Tutaj ważny jest monitoring, w czym pomaga Databricks i ulepsza rozwiązania żeby pomóc ogarnąć koszty. Polecam zapoznać się z katalogiem system schema billing. Jeśli tego nie widzisz to poproś admina żeby włączył. Tam możesz dokładnie sprawdzić na co poszła kasa. How to effectively mange azure Databricks Costs |
| KONFIGURACJEBardzo ważnym elementem każdego pipelina są konfiguracje. W wielu przypadkach będziesz potrzebował podejmować decyzje podczas przepływu danych. Skąd te informacje muszą płynąć. I tutaj wkraczają parametry i konfiguracje. Poniżej link do wpisu gdzie przedstawiam gdzie i jak można trzymać konfiguracje. Daj znać czy któraś z tych metod jest do wykorzystania w twoim projekcie. Kilka pomysłów na konfigurację Databricks |
| VISUAL STUDIO CODE UPDATES Jest kilka ciekawych zmian w VS Code i warto się z nimi zapoznać, dzięki nim twoja produktywność może się zwiększyć. Używam copilota i jestem zadowolony i wdzięczny, że mam takiego asystenta, który za mnie bugi pisze 😍 żartuje oczywiście. Mam nadzieję, że będzie jeszcze lepszy. Copilot Edits – mogę edytować zmiany w kilku plikach, pytanie czy będę w stanie ogarnąć tyle zmian. 😁Copilot Chat in Secondary Side Bar – chat z copilotem może być cały czas otwarty, więc pomoc jest cały czas w zasięgu ręki. Multiple GitHub accounts – VS Code pozwoli na zalogowanie do kilku kont GitHub jednocześnie, fajnie jak pracujesz na kilku projektach.Copilot code reviews – ta funkcjonalność jest w preview ale pomoże z code review, może nie będzie taki surowy jak ludzie z zespołu 😲Docstrings with Pylance – generowanie docstring dla klas lub metod (jest w ustawieniach eksperymentalnych)Preview settings indicator – w ustawieniach możesz podejrzeć które funkcje są w preview, a które eksperymentalne. October 2024 (version 1.95) |