Hejto.pl
Dodaj post

Wpisz coś do wyszukania (minimum 2 znaki)

#machinelearning

Fanatyk

w Hydepark

53

Poprzednią pracę znalazłem przez Hejto. Po roku niestety się rozstaliśmy (zmiany priorytetów w firmie i przesunięcie kasy na inne działy) ale może uda się ponownie:

Zacząłem magistra z matematyki ze specjalizacją w analizie danych. Mam prawie 3 lata doświadczenia jako data engineer i ML developer.

Przez poprzedni rok wykonywałem obowiązki praktycznie każdej roli jaka jest w data science:

-Ogarniałem dane żeby je potem przeanalizować

-Analizowałem je

-Przygotowywałem raporty, wizualizacje, rekomendacje

-Zbierałem dane do uczenia modeli ML

-Uczyłem modele ML

-Oceniałem i dokumentowałem modele ML

-Dotrenowywałem istniejące

A oprócz tego byłem python developerem i pracowałem z chmurą.

Znacie kogoś kto by był mną zainteresowany? Najlepiej praca zdalna, a finansowo się dogadamy. Mam większe CV, ale na hejto chce skrótowo

Fenomen0

Powodzenia! Z ciekawości sprawdziłem czy mamy coś u nas. Niby jest coś z Data and Analytics, ale chyba bardziej od strony zarządzania platformą na której to działa.

Pokaż więcej komentarzy (5)

GURU

w Hydepark

30

https://arxiv.org/abs/2504.13126 Ja wiem, że ten temat niewielu zainteresuje, więc nawet tagi przyciąłem, żeby nie spamować zbytnio. Mnie za to interesuje bardzo 😁.
Artykuł proponuje nową metodę symulacji przepływów turbulentnych opartą na ML. Wykorzystuje hybrydową architekturę U-Net i operatora Fouriera (Fourier to był gość, gdzie się nie obrócisz w AI/ML to się nań natykasz), co pozwala na szybsze i dokładniejsze przewidywanie turbulencji nad przeszkodami. Model łączy zalety sieci konwolucyjnych i operatorów Fouriera, dając lepsze wyniki niż choćby LES (Large Eddy Simulation) i to mniejszym kosztem. Model dobrze radzi sobie z różnymi warunkami początkowymi i kształtami przeszkód - a to bynajmniej nie standard.

Gruba ryba3

@ataxbras tomek, uspokoj sie
az mi sie mechanika plynow przypomniala ze studiow i sie niedobrze zrobilo... 😒

Pokaż więcej komentarzy (8)

Fanatyk

w Hydepark

5

Pytanie do ogarniających ludzi
Dopiero wczoraj ogarnąłem podstawy PyTorch na tyle, żeby zrobić prosty model do klasyfikacji danych ze zbioru MNIST.
Ogólnie coś tam matematyki i ML ogarniam (wcześniej używałem tensorflow), więc to nie jest też tak że wczoraj sie nauczyłem co to jest ML.

Trafiłem na pracę Microsoftu o modelu do czytaniu struktury tabel ze zdjęć https://arxiv.org/pdf/2208.04921
Problem w tym że model nie został nigdzie opublikowany, ogólnie niewiele znalazłem na ten temat poza pracami naukowymi od tych samych ludzi.

Wg waszej oceny, jak bardzo możliwe odtworzenie tego modelu, i uzyskanie chociaż zbliżonej skuteczności?
Znalazłem nowszą, bardziej rozbudowaną wersje tej samej pracy https://arxiv.org/pdf/2303.11615 w które jest jakby więcej szczegółów. Niestety moja wiedza jest zbyt skromna żeby po przeczytaniu ocenić na podstawie tej pracy czy uda mi sie to powtórzyć

GURU8
Fanatyk2

@ataxbras trafiłem na to, ale wcześniej sie mu nie przyglądalem. Rozumiem że to jest coś do wykrywania wielu obiektów (nieznanej ilości) ze zdjęcia, na przykład linii które wyciągam w module SegRETR split module, do wykrywania linii?

GURU8

@redve Tak. Głębiej w strukturę, zwyczajnie ustawiasz matching pod określone FFT i robisz segmentację. Linii, komórek, itp. Jest gdzieś tego paper.

Pokaż więcej komentarzy (3)

Fenomen

w Hydepark

3

Tomki, chce sobie kupić nowy kąkuter, głównie do obrazów i video AI. Teraz pytanie, czy procesor od AMD będzie bez większych problemów działał? Karte biorę od NVidia. Na teraz używam comfyui

Osobistość1

@Jadlem-rogale Generalnie to różnice między procesorami nie są aż tak istotne i zauważalne jak różnice między kartami graficznymi. O co mi chodzi dokładnie? No że procesor wsadzisz do kompa i będzie działał, jeden szybciej drugi wolniej ale generalnie nie licząc obsługi jakiś kosmicznych technologii to większość funkcjonalności jest taka sama i głównie różnią się szybkością i kulturą pracy (o ile nie mają wad fabrycznych xD).

Nie ma czegoś takiego jak przy kartach graficznych, że sterowniki różnią się znacząco, albo że np jeden system operacyjny działa gorzej na którymś procesorze jak to w wypadku Linuxa i kart Nvidii. Nie ma też np takich różnic jak obsługa jakiś funkcjonalności AI, RT, NVENC i innych. Ofc Intel ma tam jakiś swój enkoder video itp ale i tak teraz to raczej będzie się enkodować video na kartach, zwłaszcza po spopularyzowaniu AV1.

Wiadomo zawsze była wojenka Intel vs AMD ale tak naprawdę to w tym wypadku zawsze najlepiej kierować się po prostu opłacalnością i jakością. Kupiłem kompa we wrześniu i wziąłem AMD bo teraz jest lepsze i bardziej zaufane, jak kilka lat temu kupowałem kompa to procek był od Intela bo się bardziej opłacał i tyle.

Generalnie teraz to raczej wszyscy biorą AMD bo jak wiadomo Intel jest w czarnej d⁎⁎ie, dopiero co mieli aferę z niestabilnością i wadami fabrycznymi procków plus najnowsza premiera była nieudana. Ale też z tego powodu procesory AMD poszły cenowo w górę. Więc jak chcesz oszczędzić to możesz próbować Intela xD, te wolniejsze procki raczej są bez wad fabrycznych bo to tyczyło się tylko tych najszybszych modeli. A co do AI na prockach AMD to od dłuższego czasu korzystam np z Whispera do transkrypcji audio i działa znakomicie na samym procku. Ale ogólnie wszystkie rzeczy AI robi się teraz na kartach więc nie ma znaczenia jaki masz procesor póki nie będzie jakiś zbyt wolny żeby nie ograniczał karty.

Pokaż więcej komentarzy (2)

Fanatyk

w Hydepark

4


polecicie jakieś źródła gdzie zajrzeć, żeby nauczyć się dopierać lepiej parametry przy tworzeniu modeli do NLP?
Obecnie tworzę model który ma z tekstu wyciągnąć dane takie jak data rozpoczęcia czy data zakończenia, i ćwiczę go pod Named Entity Recognition. Używam Spacy.

No chyba że to w całości eksperymentowanie metodą prób i błędów, to wtedy może uda się dobrać te parametry algorytmem genetycznym?

Fanatyk

w Programowanie

24

Python jest obecnie najczęściej używanym językiem w serwisie GitHub!

Sztuczna inteligencja wprowadziła Pythona do czołówki języków programowania w 2024 roku.

Wiąże się to ze wzrostem liczby programistów "data science" oraz "machine learning" na świecie, przez co Python wyprzedził JavaScript jako najpopularniejszy język programowania na GitHubie.

Źródło: https://github.blog/news-insights/octoverse/octoverse-2024/

Autorytet3

Ja nie uznaje za język coś, gdzie bloki się robi intendami i można pisać bez średników, brrr (⁠╯⁠°⁠□⁠°⁠）⁠╯⁠︵⁠ ⁠┻⁠━⁠┻

Fanatyk4

@AureliaNova - a ja uznaję tak i tak - przecież i tak kod we wszystkich językach się formatuje wcięciami dla lepszej czytelności 🤷
Poza tym przeszedłem przez wszystkie popularne języki programowania i jak trzeba jestem w stanie w nich napisać całkiem skomplikowane rzeczy - bo języki programowania to tylko narzędzia - głupio by było ich nie używać gdy ma to największy sens do danego zadania :slightly_smiling_face:

Autorytet2

@koszotorobur ja wiem, tylko sobie śmieszkuję. Na pewno kwestia przyzwyczajenia.
Ale moment, gdy mi apka nie chciała się kompilować, bo miałem niespójne wcięcia i musiałem w kilkunastu plikach zamieniać spacje na tab, ostatecznie przekreslił go w moich oczach :P

Lider0

@AureliaNova tyś niewinny jak nieobsrana łąka xD

<stdio.h> 
void sum(int a, int b) 
{ 
if( 
printf ("Enter a number: "), 
scanf ("%d", &a),  
printf ("Enter another number: "), 
scanf ("%d", &b), 
printf("Sum is %d\\n", a+b) 
) {} 
} 
int main(int argc, char argv) 
{ 
if(sum(0, 0), 0) {} 
}
Autorytet4

@Felonious_Gru no i skończyły mi się żarty. To anegdotka - na labkach w polibudzie prowadzący nam opowiedział, że mają kolegę, który potrafił pisać i czytać taki kod. I kiedyś nawet wrzucał ręcznie na żywo poprawki wprowadzając je bitami do mikroprocesora. Od tego czasu bali się z nim zostawać sami w jednym pokoju 🙃

Gruba ryba3

No i bomba, bo to świetny język, a popularność nadaje trakcji rozwojowi, bo i pieniążki się znajdują dla fundacji. Jest starszy niż Java, a wiele osób myśli, że to świeży język, bo długo był w cieniu.

Pokaż więcej komentarzy (31)

Osobistość

w e/acc

8

Krótkie podsumowanie Google i/o 2024 i wyjaśnienie, dlaczego mnie złościło i dlaczego uważam, że było ogromnym rozczarowaniem.

W linku oryginalna treść angielska, poniżej tłumaczenie. Moim zdaniem dobre podsumowanie sytuacji Google i tego jak się prezentują w tych przełomowych czasach. Jeśli nie zmieni się polityka i nie będą mieć dobrego pomysłu, to w tyle będą coraz bardziej i bardziej. To nie przypadek

Osobistość

w Sztuczna inteligencja

0

Czy ktoś zna jakiś fork SD który umożliwia użycie multi-gpu do inferencji?

Nie chodzi mi o dzielenie batcha pomiędzy GPU bo to chyba potrafi StableSwarmUI tylko o generowanie jednego obrazu równolegle na >1 GPU.

     

Fenomen1

@NrmvY Nie jestem pewien czy to w ogóle da się zrobić. Firmy nie bawiłyby się w mega układy gdyby można było to zwyczajnie podzielić na kilka mniejszych

Pokaż więcej komentarzy (2)

Mocarz

w Hydepark

1

Teraz mamy super serwerownie, do odpalenia GPT 4, później będzie można go odpalić na byle laptopie, przez co sztuczna inteligencja bardzo się rozmnoży i upowszechni, a w dalekiej przyszłości będziemy mieli możliwość łatwego przeobrażania dowolnego przedmiotu w inteligentny, tak że sztuczna inteligencja będzie się sama rozmnażała w ten sposób.

Pokaż więcej komentarzy (2)

Mocarz

w Hydepark

2

Czy już używamy AI do zrozumienia DNA? Wyobrażam sobie że AI pozna jak działa DNA i AI będzie modyfikowało DNA naszych dzieci, zgodnie z wytycznymi przekazanymi jej na czat GPT. ;D
To by było totalnie nieprzewidywalne kombo. xD

Pokaż więcej komentarzy (2)

Mocarz

w AI

10

AI i obserwacja ziemi z kosmosu – Aleksandra Radecka – Politechnika Warszawska

Rozmowa z Aleksandrą Radecką z Politechniki Warszawskiej, podcast Nieliniowy Poruszone takie tematy jak: – wielkość branży związanej ze zdjęciami satelitarnymi – ciekawe wykorzystanie zdjęć satelitarnych w finansach – jak zostać specjalistą od obserwacji ziemi (z kosmosu) – czy

Lider

w Sztuczna inteligencja

1

https://newatlas.com/good-thinking/facial-recognition-clothes/

Jak ja gardzę firmami co produkują ubrania które pokonują "facial recognition". Jak przykład z tego obrazka gdzie rzekomo algorytm zgłupieje, bo zobaczy na rynku głównym miasta żyrafę. Beka, genialne, maskowanie jak w dżungli! Tylko to k⁎⁎wa nic a nic nie działa, bo najłatwiej wyszkolić algorytm na śledzenie mord i olanie wszystkiego innego. O ile chaotyczne kolorki mogą pomóc, bo algorytm od razu nie zobaczy 2 nóg i 2 rąk żeby potwierdzić głowę jak szuka kształtów to większość ogarnie twarz bez problemu, a stojąc na chodniku nawet taka pokraka się będzie odcinać.

 

Pokaż więcej komentarzy (2)

Mocarz

w Hydepark

8

Przewężenia API dla AI dla lepszego zrozumienia AI
Pofragmentowanie i zaizolowanie AI, zmuszenie jej do komunikacji przez bardzo wąskie otypowane i zrozumiałe przez człowieka API.
Nawet jeśli te przewężenia byłby ustalane przez AI, to byłyby w pełni wyjaśniane i opisane i stałe dla określonych zadań.
w ten sposób, uzyskamy bezpieczniejsze AI, które wiemy co robi, nie jest całkowitą czarną skrzynką, nie może robić co chce, jest ograniczone i określone.
Przykład z AI chwytającym, rozbitym na AI badające parametry chwytanego przedmiotu, oraz AI określające jak chwycić. Te dwa AI komunikują się wąskim otypowanym i zrozumiałym API, dzięki czemu jedno AI nie robi wszystkiego, oraz jest bardziej zrozumiałe co taki system wielu odrębnych AI robi.
Nadal nie znamy i nie rozumiemy algorytmów, ale wiemy co takie AI robi, jeśli poda błędne dane, które spowodują np. zgniecenie przedmiotu, to wiemy który parametr API był błędnie określony. Możemy rozbijać AI na drobniejsze kroki, aż człowiekowi to wystarczy do poczucia bezpieczeństwa.

UWAGA!

Gruba ryba1

Ciekawe

Fenomen0

@jimmy_gonzale i poręczne. Ale też taka hybrydowa struktura neuronowo-algorytmiczna będzie chyba trochę bardziej skomplikowana w implementacji na hardware.

Gruba ryba0

@dsol17 jestem totalnym laikiem w dziedzinie AI ale jako wyrobnik informatyk jestem wstanie trochę zrozumieć. Rozumiem koncept, zdefiniowanie API pomiędzy różnymi bytami AI. Taka mam rozkminę: Czy to nie ograniczy rozwoju tego konkretnego bytu(zbioru)?
Po drugiej stawiając właśnie "nieograniczone" AI, które "szybciej" i się nauczy, mając nieograniczony, lub mniej, dostęp do danych? Będzie, nie wiem, "sprytniejsze", szybciej pozna słabości przeciwnika. Ma to w ogóle sens? 🤔

Fenomen2

@jimmy_gonzale No nie jestem też ekspertem - TYM BARDZIEJ nie jestem,bo nawet nie pracuję w IT ale rozumiem o co biega.

Po drugiej stawiając właśnie "nieograniczone" AI, które "szybciej" i się nauczy, mając nieograniczony, lub mniej, dostęp do danych?

OP pisze "pofragmentowane" (złe użycie tego słowa czy dobre ?). Czyli zamiast nieograniczonego AI @fewtoast proponuje - o ile dobrze rozumiem -moduły AI pospinane ze sobą w większy system przez ograniczone API. Coś jak zespół/zespoły wyspecjalizowanych ludzi w korpo zamiast łączącego wszystkie ich cechy "supermózgu". Zamiast wymiany informacji każdy z każdym - tylko formalnie za aprobatą "kierownika" którego rolę pełni API - w ściśle określonych sprawach.

Taka mam rozkminę: Czy to nie ograniczy rozwoju tego konkretnego bytu(zbioru)?

Tak,zgadza się bardzo ograniczy w kwestiach interdyscyplinarnych obcinając przepływ informacji i jej "zrozumienie" itp. Ale o to tu poniekąd chodzi.

Fenomen1

@jimmy_gonzale Tylko jeszcze ci tak dodam (sorry za poprawki do tego co pisałem powyżej by the way) jest problem
z tym podejściem. Problem polega na tym,że tak,teoretycznie można to porozdzielać za pomocą API ale to raczej przed trenowaniem sieci,to jest konieczne na etapie projektowym. Wytrenowanej sieci nie podzielisz już tym sposobem który podał OP na kawałki dla zrobienia jej diagnostyki - to nie jest raczej sposób na zrobienie AI "wiwisekcji".

Co najwyżej podsieć robiącą nie to co trzeba możesz od nowa przeprojektować podzielić na kilka mniejszych + API i robić kolejną iterację próby rozwiązania podproblemu. Daje to potencjalnie kontrolę,daje to potencjalnie rozwiązanie problemów ale pod względem kosztów to będzie dużo droższe niż trenowanie pojednynczego modelu AI a wyniki będą tu gorsze.

Gruba ryba0

@dsol17 muszę to przemyśleć;) Dla mnie to nauka o czarnej dziurze. Totalnie olałem zrozumienie implementacji, uczenia, struktur AI. Za stary trochę się czuje.

Fenomen1

@jimmy_gonzale Specyfika wdrażania to jest trudna,ale sieć neuronowa ma imitować ludzki układ nerwowy - tylko robi to dużo gorzej,to nie jest jakieś rocket science w kwestii zrozumienia podstaw jak to działa,to jest pamiętanie lekcji z biologii i historyjki o Iwanie Pawłowie i jego śliniących się psach.

No i trzeba coś kumać jak działa elektronika(ale bardzo mało,nie musisz umieć zlutowac nawet jednego obwodu)

Sieć neuronowa to jest po prostu rodzaj "samoprogramującego się w czasie rzeczywistym (cały czas - a w komputerach przez czas uczenia przynajmniej) bardzo złożonego obwodu/układu elektronicznego". Niby czegoś takiego "nie ma" w elektronice (no przynajmniej do odkrycia memrystorów nie było) ale to jest bardzo intuicyjne - nasze umysły na czymś nieco podobnym działają.

Zaprogramowanie AI na sieciach neuronowych - o to już nieco co innego nawet z odpowiednimi narzędziami,tu trzeba konkretniejszej wiedzy programistycznej.

Ale koncepcyjnie to neuron opiera się w uproszczeniu o tą zasadę co memrystor:
https://forumakademickie.pl/badania/memrystory-zamiast-synaps/
Podobnie jak neuron "sztuczna synapsa" w hardware opiera się na reakcjach chemicznych i odkładaniu się jonów.
W informatyce rozwiązano ten szczegół niematerialnie - "wagą" sygnału na połączeniach - ale ta waga jest odpowiednik oporu elektrycznego dla sygnału. Oczywiście sztuczne neurony mają jeden projekt,a normalnych neuronów w mózgu są różne rodzaje itd itp ale zasada po inżyniersku jest ta sama.

Największy problem z sieciami neuronowymi to to,że ta waga może sie zmieniać z czasem, i w przypadku sieci neuronowych komputerowych - masz ich przeuczenie,a w przypadku większości prostych memrystorów - największą wrażliwość masz nie po tej stronie osi czasowej co trzeba.

Memrystory – sztuczne synapsySztuczny mózg zamiast klasycznego komputera? Tak może wyglądać przyszłość – twierdzą naukowcy z Akademii Górniczo-Hutniczej w Krakowie, którzy prowadzą interdyscyplinarne badania nad technologiami inspirowanymi naturą. Pracują nad udoskonaleniem memrystorów, które stanowią sztuczny odpowiednik synaps.Forum Akademickie
Pokaż więcej komentarzy (11)

Inspirator

w Hydepark

4

Udało mi się upolować H200, najnowszą kartę NVdii do machine learningu xddd

Normalnie kosztuje setki tysięcy dolarów, a tu używka sie trafiła za kilkaset dolców xddddd

pewnie idiota nie wiedział co sprzedaje xd

  

Pokaż więcej komentarzy (6)