#datascience

Poprzednią pracę znalazłem przez Hejto. Po roku niestety się rozstaliśmy (zmiany priorytetów w firmie i przesunięcie kasy na inne działy) ale może uda się ponownie:

Zacząłem magistra z matematyki ze specjalizacją w analizie danych. Mam prawie 3 lata doświadczenia jako data engineer i ML developer.

Przez poprzedni rok wykonywałem obowiązki praktycznie każdej roli jaka jest w data science:

-Ogarniałem dane żeby je potem przeanalizować

-Analizowałem je

-Przygotowywałem raporty, wizualizacje, rekomendacje

-Zbierałem dane do uczenia modeli ML

-Uczyłem modele ML

-Oceniałem i dokumentowałem modele ML

-Dotrenowywałem istniejące

A oprócz tego byłem python developerem i pracowałem z chmurą.

Znacie kogoś kto by był mną zainteresowany? Najlepiej praca zdalna, a finansowo się dogadamy. Mam większe CV, ale na hejto chce skrótowo

#programowanie #datascience #machinelearning #pracbaza #praca #pracait

Miałem dziś dyskusję na temat operacji zmiennoprzecinkowych. Większości i tak to nie zainteresuje (stąd tagi), ale to dosyć ciekawy temat. I właściwie wszystkie problemy w tej dziedzinie mają jakieś rozwiązania.
Proszę: https://docs.oracle.com/cd/E19957-01/806-3568/ncg_goldberg.html

#matematyka #informatyka #datascience

Pytanie do ogarniających ludzi #machinelearning #uczeniemaszynowe #sztucznainteligencja #datascience
Dopiero wczoraj ogarnąłem podstawy PyTorch na tyle, żeby zrobić prosty model do klasyfikacji danych ze zbioru MNIST.
Ogólnie coś tam matematyki i ML ogarniam (wcześniej używałem tensorflow), więc to nie jest też tak że wczoraj sie nauczyłem co to jest ML.

Trafiłem na pracę Microsoftu o modelu do czytaniu struktury tabel ze zdjęć https://arxiv.org/pdf/2208.04921
Problem w tym że model nie został nigdzie opublikowany, ogólnie niewiele znalazłem na ten temat poza pracami naukowymi od tych samych ludzi.

Wg waszej oceny, jak bardzo możliwe odtworzenie tego modelu, i uzyskanie chociaż zbliżonej skuteczności?
Znalazłem nowszą, bardziej rozbudowaną wersje tej samej pracy https://arxiv.org/pdf/2303.11615 w które jest jakby więcej szczegółów. Niestety moja wiedza jest zbyt skromna żeby po przeczytaniu ocenić na podstawie tej pracy czy uda mi sie to powtórzyć

#sztucznainteligencja #datascience
wielki sukces, udało mi sie wytrenować pierwszy model z wykorzystaniem karty graficznej.
Jako że w PC mam procesor oraz kartę graficzną od AMD to wszystkie treningi robiłem na ryzenie 5 2600.
Dostałem z pracy laptopa z rtx 3060, i w końcu udało mi się go zmusić do działania.
Czas treningu:
01:16m / batch -> 00:14m / batch

W sumie, spodziewałem się większej różnicy

#datascience #analizadanych

Czego używacie do tworzenia wykresów i diagramów?
Do wykresów do tej pory używałem excela i bibliotek z pythona, a diagramy rysuję od wczoraj i używałem jakiś darmowych edytorów UML online.

Są to jednak umiarkowanie wygodne rozwiązania, i myślę czy jest coś lepszego, działającego pod #linux
Najistotniejsze jest żeby dało się wyekstraktować rysunek do wrzucenia na notion

#budownictwo #datascience
Potrzebuję jak najwięcej rysunków budowlanych podobnych do tego, bo potrzebuję samych tabelek technicznych z tego (robię analizę danych, na jakim procencie rysunków jest np. nr uprawnień projektanta etc.)

Wiecie gdzie znajdę ich większe ilości?

Czy to co zrobiłem, można określić jako data pipeline?

Miałem jedną stronę, która miała w sumie na sobie 1600 linków.
Było to rozmieszczone na podstronach, gdzie każda miała 50 linków (więc trzeba było 32 razy przejść na nową stronę żeby zobaczyć wszystkie linki). Problem w tym że te linki to było zdjęcie albo film, i nie dało się wyekstraktować samych filmów.

Zrobiłem 3 skrypty w pythonie:
-pierwszy wyciągnął z każdej z tych podstron wszystkie linki, i umieścił je w jednym pliku
-drugi skrypt wziął dane z tego pliku, wszedł pod każdy link, sprawdził które z podstron zawierają filmy, i zapisał linki do pobrania filmów do kolejnego pliku
-Trzeci skrypt po prostu pobrał wszystkie filmy i umieścił je w jednym folderze

Wydaje mi sie że to jest pipeline, bo każdy kolejny skrypt posiłkował się wynikiem wykonania poprzedniego skryptu.

Do CV chyba tego nie wpisze co prawda, bo filmy które wyciągałem są z gatunku postów #jaszczomp i rekruter może sie krzywo patrzeć ( ͡° ͜ʖ ͡°)

Do samego zadania użyłem pythona i modułów requerts, threading oraz BeautifulSoup4. Czy jest do tego inne narzędzie, którego mógłbym sie nauczyć żeby sie przydało w pracy data engineera?
#datascience #programowanie

#pracbaza
takq teraz czytam wpis na hejto że linkedin jest do wyjebania.
Gdzie w takim razie szukacie pracy?
Nofluffjobs, justjoin.it i czyjesteldorado.pl tylko znam

Jako data engineer, data scientist albo zwykły kodojebca
#datascience #programowanie

Czy waszym zdaniem to jest dobry opis, i dobre skillsy do CV jako data engineer?
#pracbaza #datascience

Python jest obecnie najczęściej używanym językiem w serwisie GitHub!

Sztuczna inteligencja wprowadziła Pythona do czołówki języków programowania w 2024 roku.

Wiąże się to ze wzrostem liczby programistów "data science" oraz "machine learning" na świecie, przez co Python wyprzedził JavaScript jako najpopularniejszy język programowania na GitHubie.

Źródło: https://github.blog/news-insights/octoverse/octoverse-2024/

#programowanie #python #programista15k #sztucznainteligencja #machinelearning #datascience #github

Kombinacje 4 cyfrowych PINów

#ciekawostki #datascience #statystyka #nauka #matematyka #technologia

#pracbaza #datascience
No więc wracamy do rozważania bezpłatnych staży, bo na płatną pozycje nikt mnie nie dopuści...
#zalesie

Znacie kogoś kto potrzebuje pracownika przy analizie danych?
Jestem pod koniec licencjatu z matematyki (obrona ma być we wrześniu, praca jest o proceduralnym tworzeniu treści w grach). Głównie zajmuje sie statystyką, rachunkiem prawdopodobieństwa, oraz algorytmiką (rzeczy około programowania). Studiowałem takie zagadnienia jak procesy stochastyczne, rachunek Ito, jednorodne łańcuchy Markova, oraz zagadnienia pomocne przy tworzeniu modeli (takie jak teoria grafów, czy algebra liniowa i abstrakcyjna). Tworzyłem analizy techniczne wraz z dopasowaniem modelu do cen akcji na giełdzie, a następnie przeprowadzenie analizy ex ante i ex post. Wyznaczałem też współczynniki determinacji modelu. Na studiach też uczyłem się używania algorytmów genetycznych do optymalizacji zadań, tak samo jak tworzyłem sieci neuronowe oraz modele regresji wielorakiej

Mam zaplecze jeżeli chodzi o bycie zwykłym programistą. Tworzyłem skrypty w pythonie, gry w c++, serwery TCP w ruście, czy aplikacje mobilną w C# Xamarin. Jestem nawet autorem pluginu do neovima stworzonego w Lua który zebrał jakieś gwiazdki na githubie. Do tego kilka mniejszych kontrybucji do kodu open source. Selfhostuję usługi na prywatnym serwerze, więc podstawowe zarządzanie linuxem też mam opanowane (abstrachując od używania linuxa na desktopie od dzieciństwa w sumie)

Same dane zwykle analizuję używając kodu w pythonie lub arkuszy excela, a raporty tworzę w Latexu. Do pokazywania danych zwykle używam wykresów matplotliba albo seaborna.

Chcę pokazać że mam wiedzę, i że sobie poradzę z analizą danych. Porozsyłałem troche cv ale ciężko żeby ktoś dał szansę osobie bez doświadczenia stricte w analizie. Jeżeli chodzi o doświadczenie komercyjne w ogóle, to mam 1.5 roku doświadczenia jako junior data governance engineer gdzie głównie developowałem skrypty w pythonie do obsługi rest API, czy programy do szukania zepsutych plików w środowisku online wykorzystując selenium.

Podrzucam githuba na którym są moje pomniejsze kontrybucje. Reszte projektów mam na własnym serwerze gita
https://github.com/redve-dev

#pracbaza #datascience #niewiemjaktootagowac #matematyka

Spróbowałem zrobić kalkulator który oblicza ile mniej więcej pieniędzy nam ubyło z portfela z powodu inflacji w 2023 (można łatwo zmodyfikować arkusz żeby był dla dowolnego miesiąca, można też wpisać inflację ukrytą).

Wyliczyłem to w następujący sposób:
Jeżeli inflacja w danym miesiącu wynosi np 16.6% w skali roku, to oznacza że gdyby przez 12 miesięcy pieniądze traciły na wartości tyle ile straciły w tym miesiącu, to w skali roku stracilibyśmy 16.6% pieniędzy z początkowego miesiąca.
Tym samym po roku te pieniądze są warte (1-0.166=0.834), a biorąc poprawkę na to że są to straty po 12 takich samych miesiącach, to stracone pieniądze w tym miesiącu są pierwiastkiem 12 stopnia z 0.834

W każdym miesiącu sumaryczne straty wyliczam w następujący sposób:
Zakładam że oszczędności to przychody-wydatki. Jako "wartość oszczędności względem pierwotnej kwoty" liczę oszczędności z obecnego miesiąca + dotychczasowe oszczędności, i całość mnożę przez straty z tego miesiąca.

Zakładałem przy tworzeniu tego szablonu że w każdym miesiącu uda się coś zaoszczędzić. Nie jestem pewien czy model będzie sie poprawnie zachowywał, jeżeli w jakimś miesiącu wydatki przekroczą przychody (np. kupimy samochód na który oszczędzaliśmy od dawna). Sprawdzając pobieżnie wydaje mi się że jest dobrze. Podrzucam wam arkusz jakby ktoś chciał sie pobawić, albo znalazł błąd.

Podrzucam link jakby ktoś chciał pobrać
https://docs.google.com/spreadsheets/d/10jh0JPqZvoBRwt9dF1QSozKUEaKS_39N/edit?usp=sharing&ouid=107715318295966714274&rtpof=true&sd=true

#datascience #pieniadze i nie wiem czy #gospodarka

#programowanie
Od jakiego stanowiska można zająć karierę w #datascience ?
Mam licencjat z matematyki (a raczej we wrześniu powinienem mieć, bo wtedy sie bronie), a do tego póki co 1.5 roku komercyjnego expa w korpo, ale jako zwykły dev w data governence, to nie wiem czy ktoś na to spojrzy.

Na data scientista każdy wymaga kilku lat expa z AI, czy z samą analizą
#pracbaza

#programowanie #pracbaza #datascience
Czy wpisując do CV moje projekty, jest sens wpisywać prace zaliczeniowe ze studiów?
Konkretniej te prace to:
-Analiza techniczna cen akcji na giełdzie + próba przewidzenia danych w przyszłości. Z analizą ad hoc, ze sprawdzaniem założeń hipotez, z analizą ad hoc i post hoc
-Licencjat w którym opisuję metody proceduralnego tworzenia światów w grach od strony matematycznej
-Wyznaczenie najkrótszej drogi pomiędzy miastami z użyciem algorytmu genetycznego

Ewentualnie zrobić w projektach jakąś jedną rubrykę gdzie opiszę zbiorczo te 3 projekty

#matematyka #informatyka #datascience #programowanie
Mój wykładowca od procesów stochastycznych powiedział że procesy stochastyczne i procesy Wienera są użyteczne w pracy z komputerami i z analizą danych. Może mi ktoś podać praktyczny przykład?
Przykładowo, umiem policzyć na kartce prawdopodobieństwo
P(W1 - W3 > W2 | W2 > 0) gdzie Wn jest 1 wymiarowym procesem Wienera o rozkładzie normalnym z (mu = 0, var = n)
i dostać konkretną liczbę która może oceniać np. prawdopodobieństwo na to że bitcoin przebije jakiś próg, żeby wchodzić w trade-y które są "pewniaczkiem", ale to wydaje się zdecydowanie za proste (na poziomie licencjatu uczyliby mnie tajnego sposobu na shackowanie rynku, który gdyby działał to każdy by go używał?).

Czy umiałby mi ktoś podać przykład praktycznego zadania z zastosowaniem takich procesów stochastycznych, a zwłaszcza procesu Wienera? Do tego fajnie by było podać interpretację i zastosowanie całki Ito.

Taguję #finanse bo w nich też się tego używa podobno

#programowanie #datascience #matematyka
Mam na studiach zajęcia z projektu zespołowego (mamy coś zrobić w grupie 4 studentów).
Prowadzący nam podsunął żeby zrobić coś z algorytmami genetycznymi.
Umówiliśmy sie ze ekipą że przez tydzień poprzeglądamy literature na ten temat, i sprawdzimy czy jest to coś co damy radę ogarnąć.
Temat wydaje sie w miare łatwy, i nawet zrobiłem prosty program który wykorzystuje algorytm genetyczny (narazie tylko do szukania ekstremów funkcji 1 i 2 zmiennych, i faktycznie umie je dobrze przybliżać nie wiedząc jaki wzór ma funkcja), i tu pojawia się pytanie:

znacie jakiś praktyczny projekt który by wykorzystywał taki algorytm?
Nie musi być skomplikowany, ale zwykłe szukanie ekstremum funkcji zadanej znanym wzorem jest dosyć nudne.
Chce zrobić coś, co nie będzie nudne przy pracy, tylko faktycznie będzie można poobserwać jakieś ciekawe rezultaty

EDIT: Pytam sie o coś na czym można fajnie zaprezentować taki algorytm

#heheszki #datascience

:innocent: (:smiling_imp:)
#datascience #programowanie #heheszki