Obciążenie serwera
Strona 1 z 2 12 OstatniOstatni
Wyniki 1 do 10 z 16

Temat: Obciążenie serwera

  1. #1
    Debiutant
    Dołączył
    28-03-2009
    Wpisy
    5
    Punkty
    10

    Domyślny Obciążenie serwera

    Witam

    Po jakims czasie dostalem sygnal od administracji ze wiszące na katalogach boty powoduja obciązenie serwera:

    Strona zostala zablokowana za obciazanie znaczne serwera przez odwolania typu
    216.129.119.18 - - [15/May/2009:18:28:11 +0200] "GET /katalog-firm/tag/webdesign_cms.html HTTP/1.0" 403 617 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)"
    216.129.119.18 - - [15/May/2009:18:30:24 +0200] "GET /katalog-firm/tag/sterowniki-programowalne.html HTTP/1.0" 403 628 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)"
    66.249.72.111 - - [15/May/2009:18:30:45 +0200] "GET /katalog-firm/budownictwo/rolety-markizy-zaluzje/octavus-s.c.html HTTP/1.1" 403 684 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    216.129.119.18 - - [15/May/2009:18:32:32 +0200] "GET /katalog-firm/tag/przewozy-osob-szczecin.html HTTP/1.0" 403 626 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)"
    66.249.72.111 - - [15/May/2009:18:34:10 +0200] "GET /katalog-firm/uslugi/uslugi-inne/jubiler-t.-cerbinski.html HTTP/1.1" 403 677 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    216.129.119.18 - - [15/May/2009:18:34:34 +0200] "GET /katalog-firm/tag/hi-fi.html HTTP/1.0" 403 609 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)"
    66.249.72.111 - - [15/May/2009:18:34:59 +0200] "GET /katalog-firm/budownictwo/budownictwo-inne/grys-studio.html HTTP/1.1" 403 678 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    62.69.209.29 - - [15/May/2009:18:35:43 +0200] "GET /forum-katalogu/ HTTP/1.1" 403 635 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; pl; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10"
    72.30.79.49 - - [15/May/2009:18:37:03 +0200] "GET /katalog-firm/tag/gabinet.html HTTP/1.0" 403 611 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)"
    62.69.209.29 - - [15/May/2009:18:37:33 +0200] "GET /katalog-firm HTTP/1.1" 403 632 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; pl; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10"
    66.249.72.111 - - [15/May/2009:18:39:30 +0200] "GET /katalog-firm/produkcja/wyoby-z-tworzyw-sztucznych/solveere.html HTTP/1.1" 403 683 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    72.30.79.49 - - [15/May/2009:18:39:59 +0200] "GET /forum-katalogu-19.html HTTP/1.0" 403 604 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)"


    wiszace boty na katalogach jakis

    Czy mozna ten problem rozwiazac przez blokade tych botow w htaccess???

    Pozdrawiam

  2. Pani Reklamowa
    Pani Reklamowa jest aktywna
    Avatar Panny Google

    Dołączył
    19-08-2010
    Skąd
    Internet
    Postów
    milion
    Pochwał
    setki
  3. #2
    Senior PeFik awatar
    Dołączył
    18-02-2007
    Skąd
    Miasto Stu Mostów
    Wpisy
    5 465
    Punkty
    241

    Domyślny

    WWW: http://www.webowe.pl/htaccess-podstawy-czesc-i/


    Blokowanie dostępu
    Aby zablokować np. upierdliwego internautę albo uciążliwą wyszukiwarkę/bota wystarczy wprowadzić w pliku .htaccess następujący wpis:
    Deny from XXX.XXX.XXX.XXX
    gdzie zamiast ciągu XXX.XXX.XXX.XXX należy wpisać adres IP, który chcemy zablokować.
    Współautor bloga o systemie Joomla! -> blog.elimu.pl < oraz kilku książek i artykułów o tym CMS.

  4. #3
    Debiutant
    Dołączył
    28-03-2009
    Wpisy
    5
    Punkty
    10

    Domyślny

    w ktorym miejscu htaccess nalezy wpisywac te funkcje?? Wklepalem tez
    RewriteEngine On
    RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
    RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
    RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
    RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
    RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
    RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
    RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
    RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
    RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
    RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
    RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
    RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
    RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
    RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
    RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
    RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
    RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
    RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
    RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
    RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
    RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
    RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
    RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
    RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
    RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
    RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
    RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
    RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
    RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
    RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
    RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
    RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
    RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
    RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
    RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
    RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Zeus
    RewriteRule ^.* - [F,L]
    ale w dowolnym miejscu w pliku htaccess. Czy zeby dzialalo to trzeba konkretnie w ktoryms miejscu np na koncu ???

  5. #4
    Senior PeFik awatar
    Dołączył
    18-02-2007
    Skąd
    Miasto Stu Mostów
    Wpisy
    5 465
    Punkty
    241

    Domyślny

    w dowolnym, byle nie komentowanym
    Współautor bloga o systemie Joomla! -> blog.elimu.pl < oraz kilku książek i artykułów o tym CMS.

  6. #5
    Debiutant
    Dołączył
    28-03-2009
    Wpisy
    5
    Punkty
    10

    Domyślny

    dziekuje bardzo za pomoc

  7. #6
    Nowicjusz
    Dołączył
    04-11-2009
    Wpisy
    21
    Punkty
    10

    Domyślny

    Witam

    Też mam z nim problem. Tyle, że w JoomlaStats nie potrafię sprawdzić jego IP. Można wpisać
    Deny from http://www.cuil.com/twiceler/robot.html Czy musi być IP?

  8. #7
    Senior zwiastun awatar
    Dołączył
    20-09-2005
    Wpisy
    27 315
    Punkty
    1142

    Domyślny

    można
    Korzystaj i ciesz się!
    ===============
    Zwiastun
    Biblioteka Elektronicznej Dokumentacji Joomla!

  9. #8
    Nowicjusz
    Dołączył
    04-11-2009
    Wpisy
    21
    Punkty
    10

    Domyślny

    Mój htaccess wygląda tak

    RewriteEngine On

    ########## Begin - Rewrite rules to block out some common exploits
    ## If you experience problems on your site block out the operations listed below
    ## This attempts to block the most common type of exploit `attempts` to Joomla!
    #
    # Block out any script trying to set a mosConfig value through the URL
    RewriteCond %{QUERY_STRING} mosConfig_[a-zA-Z_]{1,21}(=|\%3D) [OR]
    # Block out any script trying to base64_encode crap to send via URL
    RewriteCond %{QUERY_STRING} base64_encode.*\(.*\) [OR]
    # Block out any script that includes a ********** tag in URL
    RewriteCond %{QUERY_STRING} (\<|%3C).*script.*(\>|%3E) [NC,OR]
    # Block out any script trying to set a PHP GLOBALS variable via URL
    RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
    # Block out any script trying to modify a _REQUEST variable via URL
    RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
    # Send all blocked request to homepage with 403 Forbidden error!
    RewriteRule ^(.*)$ index.php [F,L]
    #
    ########## End - Rewrite rules to block out some common exploits

    # Uncomment following line if your webserver's URL
    # is not directly related to physical file paths.
    # Update Your Joomla! Directory (just / for root)

    # RewriteBase /


    ########## Begin - Joomla! core SEF Section
    #
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteCond %{REQUEST_URI} !^/index.php
    RewriteCond %{REQUEST_URI} (/|\.php|\.html|\.htm|\.feed|\.pdf|\.raw|/[^.]*)$ [NC]
    RewriteRule (.*) index.php
    RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization},L]
    #
    ########## End - Joomla! core SEF Section
    w którym miejscu i i jak to wpisać??

  10. #9
    Senior zwiastun awatar
    Dołączył
    20-09-2005
    Wpisy
    27 315
    Punkty
    1142

    Domyślny

    Na www.pomoc.joomla (i nie tylko) jet materiał o .htaccess. PeFik juz odpisywał. Może trochę samodzielności?
    Korzystaj i ciesz się!
    ===============
    Zwiastun
    Biblioteka Elektronicznej Dokumentacji Joomla!

  11. #10
    Nowicjusz
    Dołączył
    04-11-2009
    Wpisy
    21
    Punkty
    10

    Domyślny

    ok, poczytałem

    W katalogu głównym mam dwa htaccess jeden z rozszerzeniem txt, drugi bez rozszerzenia, ale daje tez się otworzyć notatnikiem. Edytowałem ten z txt.

    Wprowadziłem wpisdeny from all
    allow from 38.99.13.124 - to jest ten Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)

    tylko pytanie w którym miejscu dałem to na samym końcu, zaraz po
    ########## End - Joomla! core SEF Section
    Czy teraz będzie blokować mi tego bota?


Strona 1 z 2 12 OstatniOstatni

Reguły pisania

  • Nie możesz zakładać nowych tematów
  • Nie możesz dodawać wypowiedzi
  • Nie możesz dodawać załączników
  • Nie możesz poprawiać swoich postów
  •