Hejto.pl
Dodaj post

Wpisz coś do wyszukania (minimum 2 znaki)

Wpis użytkownika letsscrape w Hydepark

Kompan

w Hydepark

12

Cześć Wszystkim!

Prowadzimy firmę zajmującą się pisaniem scraperów i pobieraniem danych z internetu.

Chcielibyśmy Wam pokazać jak wygląda nasza praca na przykładzie scrapowania danych ze Steam'a!

Ostatnio zrobiliśmy mały zarys pracy oraz napisaliśmy scrapowanie tagów:

:point_right: https://letsscrape.com/posty/steam-store-scraper-wstep/

Dzisiaj zajmiemy się analizą i rozgryzaniem kodu Steam'a.

Brzmi fajnie, lecz post jest dosyć ciężki i skomplikowany.

Z drugiej jednak strony pokazujemy jak wygląda praca z namierzaniem danych i próbami ekstrakcji ich. Oczywiście można uprościć ten kod korzystając z np. Selenium, ale jak poprzednio pisaliśmy sęk w tym, aby scraper był szybki i zużywał jak najmniej zasobów. Dlatego zostajemy przy HttpClient mimo, że wymaga to więcej pracy od nas.

:point_right: https://letsscrape.com/posty/rozgryzamy-kod-steama/

Zapraszamy do lektury!

Komentarze, pytania, uwagi (krytyczne) oraz PIORUNY mile widziane! :relaxed:

Komentarze (8)

Kompan0

Zapraszamy wszystkich do zapoznania się z nowym postem! :smiley: https://www.hejto.pl/wpis/czesc-wszystkim-to-znowu-my-wink-prowadzimy-firme-zajmujaca-sie-pisaniem-scraper

Cześć Wszystkim! To znowu my! :wink: Prowadzimy firmę - letsscrape - Hejto.plCześć Wszystkim! To znowu my! :wink: Prowadzimy firmę zajmującą się pisaniem scraperów i pobieraniem danych z internetu. Chcielibyśmy Wam pokazać jak wygląda nasza praca na przykładzie scrapowania danych ze Steam'a! Ostatnio zajmowaliśmy się rozgryzaniem kodu Steama o czym możecieHejto.pl
Zawodowiec2

Scrapowanie nie podchodzi czasami pod celowe bombardowanie serwerów zapytaniami? Jak to wygląda pod względem prawnym?

Kompan1

@nazwa_uzytkownika zależy jak się zorganizuje scrapowanie. Zawsze można sie przyczepić ale generalnie jak to się robi z głową to jest wszystko OK

Tytan2

@nazwa_uzytkownika

https://informatykzakladowy.pl/nieliczni-fani-portalu-albicla/-3975

wspomniany już LinkedIn koncertowo przewalił sprawę w sądzie. Scrapowanie publicznie dostępnych danych (w tym profili na Albicli) jest w pełni legalne i nie różni się niczym od ręcznego odwiedzania profili. Zupełnie inną sprawą byłoby gdyby scraping spowodował niedostępność usługi i to już mogłoby być potraktowane jako atak DoS i tutaj Albicla miałaby w sądzie pole do popisu.
Nieliczni fani portalu AlbiclaPo półtora roku od ostatniego artykułu wracamy do Albicli, by sprawdzić, jak dziś wygląda popularność tej sieci społecznościowejInformatyk Zakładowy
Debiutant1

Scrapowanie danych często wymaga takiej analizy i zabawy w detektywa ale daje to satysfakcję.
Czasami trzeba używać Selenium jak na stronie dużo danych doładowywanych jest dynamicznie albo są zabezpieczenia antybotowe.

Kompan1

@szoz świetnie to określiłes "w detektywa", dokładnie tak jest! najlepsza zabawa jest właśnie z zabezpieczeniami antybotowymi 😉 "pokonanie" jakiegoś rozwiązania, z którego duże sajty korzystają daje rzeczywiście satysfakcję!

Wirtuoz0

Strona wam coś ucina na starcie napis

Kompan0

@rayros ach te mobilki, dzieki za zwrócenie uwagi :smiley: