Hejto.pl
Dodaj post

Wpisz coś do wyszukania (minimum 2 znaki)

Wpis użytkownika wombatDaiquiri w Programowanie

Gruba ryba

w Programowanie

8

myślę że to pewien krok milowy w ramach - mam wygodny workflow do dodawania nowych źródeł i zakończyłem scraper contentu z (posty + komentarze)

1. IDE, w którym edytuję kod. Ja używam Goland, bo jak zaczynałem pracować to darmowe narzędzia do go były ciągłą walką.
2. test który odpalam, żeby stworzył plik out.html
3. hot-reloadowane out.html (hot reload zapewnia IDE, ale pewnie da się to zrobić jakimś standardowym narzędziem w linuxie xD
4. treść nad parsowaniem której pracuję

teraz muszę jeszcze wymyślić jak dodać referencje między contentem oraz jak zrobić dociąganie danych o autorach. A potem to już masówka - wp, onet, rp, wykop, hejto, wszystko może być źródłem treści

Komentarze (5)

Fanatyk3

@wombatDaiquiri - jako, że mam zrobienie takiego scrapera za sobą to możesz wrzucać wszystko w bazę SQL (ja używałem SQLite a później PostgeSQL) i mieć różne tabele gdzie indeksem jest ID posta (to co wygląda jak UUID). Ja mam osobne tabele do wpisów, tagów, komentarzy i potem robię JOIN w zapytaniu SQL po właśnie tym ID.

Gruba ryba1

@koszotorobur zgadza się, agregator treści. Bardzo Ci dziękuję za wykresy, staram się estymować ile miejsca będę potrzebował.

Fanatyk2

@wombatDaiquiri - masz tu dane - ilość postów i ilość komentarzy na dzień - dane za okres marzec - październik włącznie.

Fanatyk2

@wombatDaiquiri - to robisz agregator treści z różnych portali?
A ruch mogę ocenić jedynie po ilości dodanych wpisów i komentarzy - gdyż nie mam dostępu do ilości wyświetleń - zaraz Ci te dane podam.

Gruba ryba0

@koszotorobur mój pomysł jest trochę inny. Ja chcę sprowadzić wszystkie newsy do jednolitego „contentu” a potem sam sobie wyświetlać z różnych stronek w ramach jednej apki. Jeśli można spytać - ile tu jest realnie ruchu dziennego?