Roboty oblegają stronę
Strona 1 z 3 123 OstatniOstatni
Wyniki 1 do 10 z 29

Temat: Roboty oblegają stronę

  1. #1
    Nowicjusz
    Dołączył
    12-01-2010
    Wpisy
    24
    Punkty
    10

    Domyślny Roboty oblegają stronę

    Od 5 dni mam non stop około 100-120 robotów indeksujących. To że zawyżają statystyki to nic ale martwi mnie po co tyle czasu indeksują. Zmiany w robots.txt nic nie dały jak również to http://www.cenobitz.com/portal/helpd...andex-htaccess

    Czy macie jakieś pomysły na pozbycie się ich?

  2. Pani Reklamowa
    Pani Reklamowa jest aktywna
    Avatar Panny Google

    Dołączył
    19-08-2010
    Skąd
    Internet
    Postów
    milion
    Pochwał
    setki
  3. #2
    Senior moje awatar
    Dołączył
    08-01-2008
    Skąd
    Silesia
    Wpisy
    6 057
    Punkty
    188

    Domyślny

    Dodaj odpowiednnie wpisy w htaccess. Nie pytaj jakie wpisy - wygoogluj je.
    Webdeveloper do usług ;)

  4. #3
    Nowicjusz
    Dołączył
    12-01-2010
    Wpisy
    24
    Punkty
    10

    Domyślny

    Nic nowego nie mogę znaleźć, to poniżej dodałem do htaccess ale to nic nie dało.

    Macie coś sprawdzonego? dzisiaj było nawet 780 robotów


    Kod:
    <Limit GET POST>
     #The next line modified by DenyIP
     order allow,deny
     #The next line modified by DenyIP
     #deny from all
     allow from all
     </Limit>
     <Limit PUT DELETE>
     order deny,allow
     deny from all
     </Limit>
     
     <Files 403.shtml>
     order allow,deny
     allow from all
     </Files>
     
     SetEnvIfNoCase User-Agent .*Twiceler.* bad_bot
     SetEnvIfNoCase User-Agent .*VoilaBot BETA 1.2.* bad_bot
     SetEnvIfNoCase User-Agent .*libwww-perl/5.805.* bad_bot
     SetEnvIfNoCase User-Agent .*Java/1.5.0_11.* bad_bot
     SetEnvIfNoCase User-Agent .*Sogou web spider/3.0.* bad_bot
     SetEnvIfNoCase User-Agent .*psbot.* bad_bot
     SetEnvIfNoCase User-Agent .*Exabot.* bad_bot
     SetEnvIfNoCase User-Agent .*Charlotte/1.0b.* bad_bot
     SetEnvIfNoCase User-Agent .*boitho.com-dc.* bad_bot
     SetEnvIfNoCase User-Agent .*ajSitemap.* bad_bot
     SetEnvIfNoCase User-Agent .*bot/1.0.* bad_bot
     SetEnvIfNoCase User-Agent .*panscient.com.* bad_bot
     SetEnvIfNoCase User-Agent .*Java/1.6.0_11.* bad_bot
     SetEnvIfNoCase User-Agent .*WebDataCentreBot/1.0.* bad_bot
     SetEnvIfNoCase User-Agent .*Java.* bad_bot
     SetEnvIfNoCase User-Agent .*SapphireWebCrawler.* bad_bot
     SetEnvIfNoCase User-Agent .*Yandex.* bad_bot
     SetEnvIfNoCase User-Agent .*Baiduspider.* bad_bot
     SetEnvIfNoCase User-Agent .*Rankivabot.* bad_bot
     SetEnvIfNoCase User-Agent .*DBLBot/1.0.* bad_bot
     
     order allow,deny
     deny from env=bad_bot

  5. #4
    Senior moje awatar
    Dołączył
    08-01-2008
    Skąd
    Silesia
    Wpisy
    6 057
    Punkty
    188

    Domyślny

    Ta lista powinna byc 3 razy dłuższa - jest taka na necie.
    Webdeveloper do usług ;)

  6. #5
    Nowicjusz
    Dołączył
    12-01-2010
    Wpisy
    24
    Punkty
    10

    Domyślny

    Dodałem kolejne wpisy, roboty dalej są
    Kod:
     ########## Block bad user agents ##########  Blokowanie dostępu "złym robotom", programom site ripper, przeglądarkom ofline i innym "szkodnikom"
     ## The following list may include bots that no longer exist or are not a problem
     ## for your site. The list will always be incomplete and it is therefore wise to
     ## follow discussions on one of the many "security" mailing lists or on a forum
     ## such as http://www.webmasterworld.com/search_engine_spiders/
     ## It is also unwise to rely on this list as your ONLY security mechanism.
     ## Na poniższej liście mogą się znajdować boty, które już nie istnieją albo nie stanowią
     ## problemu dla Twojej witryny. Lista ta nigdy nie będzie kompletna i dlatego rozsądnym jest 
     ## przeglądanie dyskusji na mailingowych listach bezpieczeństwa lub na forach
     ## takich jak http://www.webmasterworld.com/search_engine_spiders/  
     ## Byłoby również wielce nierozsądnym, gdyby polegać na tej liście
     ## jako JEDYNYM mechanizmie zabezpieczającym Twoją witrynę 
     RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
     RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
     RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
     RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
     RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
     RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
     RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
     RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
     RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
     RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
     RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
     RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
     RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
     RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
     RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]
     RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
     RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR]
     RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
     RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
     RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
     RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
     RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
     RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
     RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
     RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
     RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
     RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
     RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
     RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
     RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
     RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
     RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
     RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
     RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
     RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
     RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
     RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
     RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
     RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
     RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
     RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
     RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
     RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
     RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
     RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
     RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
     RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
     RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
     RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
     RewriteCond %{HTTP_USER_AGENT} ^Zeus
     ## Note: The final RewriteCond must NOT use the [OR] flag.
     
     ## Return 403 Forbidden error.
     RewriteRule .* - [F]

  7. #6
    Senior moje awatar
    Dołączył
    08-01-2008
    Skąd
    Silesia
    Wpisy
    6 057
    Punkty
    188

    Domyślny

    Poszukaj robala w kodzie strony.
    Webdeveloper do usług ;)

  8. #7
    Senior Gall Anonim awatar
    Dołączył
    19-10-2010
    Wpisy
    6 947
    Punkty
    447

    Domyślny

    Kurcze - daj blokadę wszystkiego poza google boot

  9. #8
    Nowicjusz
    Dołączył
    12-01-2010
    Wpisy
    24
    Punkty
    10

    Domyślny

    Dzięki za pomysły, ale dalej nie potrafię się ich pozbyć
    Cytat Wysłane przez Gall Anonim Zobacz wiadomość
    Kurcze - daj blokadę wszystkiego poza google boot
    Mam zablokowane w robots.txt Natomiast w htaccess nie wiem jak

    Przeskanowałem kod fajnym skanerem i jest czysty - tu skaner http://vscan.novirusthanks.org/

  10. #9
    Senior moje awatar
    Dołączył
    08-01-2008
    Skąd
    Silesia
    Wpisy
    6 057
    Punkty
    188

    Domyślny

    Skaner powinien być zainstalowany na serwerze, na którym masz hosting, to raz.
    Dwa, zainstaluj sobie dobry skaner na komputerze i zainstalują dobrą przeglądarkę, potem skonfiguruj, żeby bllokowało Ci strony, z poddejrzanym kodem/podejrzanymi skryptami - używaj na codzień.
    Webdeveloper do usług ;)

  11. #10
    Nowicjusz
    Dołączył
    12-01-2010
    Wpisy
    24
    Punkty
    10

    Domyślny

    Hosting jest na cal.pl więc raczej mają skaner. Na komputerze mam dobry antywirus i czasami on blokuje przypadkowe strony w sieci - o mojej nic nie zgłasza. Więc sądzę że to nie problem z robakiem. Ale dzięki za pomysł.
    Pomyliłem działy - moja wersja to 1.5.26

Strona 1 z 3 123 OstatniOstatni

Podobne tematy

  1. Użytkownicy - roboty?
    przez pablonia na forum Administracja - ogólne
    Odpowiedzi: 1
    Ostatni post/autor: 23-08-2010, 12:52
  2. Templatka własnej roboty problem
    przez dontoff na forum Instalacje (Joomla!, składników)
    Odpowiedzi: 12
    Ostatni post/autor: 24-02-2010, 10:01
  3. Poproszę o test [minuta roboty]
    przez mirage_x na forum Różne
    Odpowiedzi: 4
    Ostatni post/autor: 19-07-2008, 13:47
  4. roboty ?
    przez butek na forum Sprawy bezpieczeństwa Joomla!
    Odpowiedzi: 4
    Ostatni post/autor: 25-03-2008, 08:56
  5. Jak zabezpieczyć stronę ogłoszeniową przed spamem generowanym przez roboty?
    przez kaszczor na forum Administracja składnikami
    Odpowiedzi: 0
    Ostatni post/autor: 20-12-2007, 13:41

Reguły pisania

  • Nie możesz zakładać nowych tematów
  • Nie możesz dodawać wypowiedzi
  • Nie możesz dodawać załączników
  • Nie możesz poprawiać swoich postów
  •