Scrapping portalu społecznościowego

[Trevort 0]

Cześć

 

Pierwszy temat więc nie wiem czy dobry dział. Z góry przepraszam.

Pytanie odnośnie scrapowania różnych stron internetowych.

 

Czy scrapowanie jest legalne? Mam za zadanie stworzyć system rekomendacyjny i do tego potrzebuję pobrać ( w celach naukowych ) następujące rzeczy ze strony:

 

-tytuł

-czas przewidywany na czytanie

-lajki //opcjonalne

-inne linki do artykułów proponowanych

-artykuł // przetwarzany od razu po pobraniu i przetwarzany, po czym usuwany.

 

Jak sprawa się ma w przypadku stron takich jak onet.pl? Mają robots.txt zezwalające na wszystko, ale nie mogłem znaleźć nic w Zasadach korzystania z usług odnośnie tego tematu. Dodatkowo za dużo nic nie rozumiem jeżeli chodzi o jakiekolwiek akty prawne.

 

Całe zadanie i pobrane dane są przeznaczone w 100 % do pracy naukowej ( praca inżynierska ) i nie będą nikomu udostępniane.

Dodam, że wszystkie odpowiedzi które dotychczas znalazłem były albo dwuznaczne, albo w postaci dwóch wykluczających się komentarzy jeden pod drugim.

 

PS pytanie 2:

Wiem że na np. medium.com mają robots.txt i w Terms of Use określają, że nie można crawlować, ale jak się to ma do reali prawnychw Polsce? Czy mogę np pobrać 20k artykułów i dodać 20 k cytacji?

[209458 739]

Po polsku citation to "cytowanie", a nie cytacja

 

A co do aspektu prawnego - ja jako zupełny laik nie widzę przeciwwskazań, a już zwłaszcza jeżeli strona nie wymaga zakładania konta i akceptacji regulaminu (typu Onet). Trzeba uważać na dwie kwestie:

1. Prawo autorskie do treści. Ale rozumiem, że nie chcesz treści trzymać u siebie na stałe i potem rozpowszechniać.

2. "Zakłócenie działania systemu informatycznego". Zbyt intensywnym crawlowaniem możesz zajechać serwer, warto dodać jakieś sensowne opóźnienia między zapytaniami albo limity operacji na minutę itp.

[ShadowMan 1197]

"Cytacja". dobre, czegoś takiego jeszcze nie słyszałem.