PDA

Zobacz pełną wersję : Obciążenie serwera



Gregorov
01-06-2009, 21:01
Witam

Po jakims czasie dostalem sygnal od administracji ze wiszące na katalogach boty powoduja obciązenie serwera:



Strona zostala zablokowana za obciazanie znaczne serwera przez odwolania typu
216.129.119.18 - - [15/May/2009:18:28:11 +0200] "GET /katalog-firm/tag/webdesign_cms.html HTTP/1.0" 403 617 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)"
216.129.119.18 - - [15/May/2009:18:30:24 +0200] "GET /katalog-firm/tag/sterowniki-programowalne.html HTTP/1.0" 403 628 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)"
66.249.72.111 - - [15/May/2009:18:30:45 +0200] "GET /katalog-firm/budownictwo/rolety-markizy-zaluzje/octavus-s.c.html HTTP/1.1" 403 684 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
216.129.119.18 - - [15/May/2009:18:32:32 +0200] "GET /katalog-firm/tag/przewozy-osob-szczecin.html HTTP/1.0" 403 626 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)"
66.249.72.111 - - [15/May/2009:18:34:10 +0200] "GET /katalog-firm/uslugi/uslugi-inne/jubiler-t.-cerbinski.html HTTP/1.1" 403 677 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
216.129.119.18 - - [15/May/2009:18:34:34 +0200] "GET /katalog-firm/tag/hi-fi.html HTTP/1.0" 403 609 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)"
66.249.72.111 - - [15/May/2009:18:34:59 +0200] "GET /katalog-firm/budownictwo/budownictwo-inne/grys-studio.html HTTP/1.1" 403 678 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
62.69.209.29 - - [15/May/2009:18:35:43 +0200] "GET /forum-katalogu/ HTTP/1.1" 403 635 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; pl; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10"
72.30.79.49 - - [15/May/2009:18:37:03 +0200] "GET /katalog-firm/tag/gabinet.html HTTP/1.0" 403 611 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)"
62.69.209.29 - - [15/May/2009:18:37:33 +0200] "GET /katalog-firm HTTP/1.1" 403 632 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; pl; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10"
66.249.72.111 - - [15/May/2009:18:39:30 +0200] "GET /katalog-firm/produkcja/wyoby-z-tworzyw-sztucznych/solveere.html HTTP/1.1" 403 683 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
72.30.79.49 - - [15/May/2009:18:39:59 +0200] "GET /forum-katalogu-19.html HTTP/1.0" 403 604 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)"


wiszace boty na katalogach jakis



Czy mozna ten problem rozwiazac przez blokade tych botow w htaccess???

Pozdrawiam

PeFik
01-06-2009, 22:17
WWW: http://www.webowe.pl/htaccess-podstawy-czesc-i/


Blokowanie dostępu
Aby zablokować np. upierdliwego internautę albo uciążliwą wyszukiwarkę/bota wystarczy wprowadzić w pliku .htaccess następujący wpis:
Deny from XXX.XXX.XXX.XXX
gdzie zamiast ciągu XXX.XXX.XXX.XXX należy wpisać adres IP, który chcemy zablokować.

Gregorov
02-06-2009, 10:57
w ktorym miejscu htaccess nalezy wpisywac te funkcje?? Wklepalem tez
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule ^.* - [F,L]
ale w dowolnym miejscu w pliku htaccess. Czy zeby dzialalo to trzeba konkretnie w ktoryms miejscu np na koncu ???

PeFik
02-06-2009, 12:22
w dowolnym, byle nie komentowanym

Gregorov
02-06-2009, 12:40
dziekuje bardzo za pomoc

fotopole
15-11-2009, 02:16
Witam

Też mam z nim problem. Tyle, że w JoomlaStats nie potrafię sprawdzić jego IP. Można wpisać
Deny from http://www.cuil.com/twiceler/robot.html Czy musi być IP?

zwiastun
15-11-2009, 13:34
można

fotopole
15-11-2009, 13:48
Mój htaccess wygląda tak


RewriteEngine On

########## Begin - Rewrite rules to block out some common exploits
## If you experience problems on your site block out the operations listed below
## This attempts to block the most common type of exploit `attempts` to Joomla!
#
# Block out any script trying to set a mosConfig value through the URL
RewriteCond %{QUERY_STRING} mosConfig_[a-zA-Z_]{1,21}(=|\%3D) [OR]
# Block out any script trying to base64_encode crap to send via URL
RewriteCond %{QUERY_STRING} base64_encode.*\(.*\) [OR]
# Block out any script that includes a ********** tag in URL
RewriteCond %{QUERY_STRING} (\<|%3C).*script.*(\>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Send all blocked request to homepage with 403 Forbidden error!
RewriteRule ^(.*)$ index.php [F,L]
#
########## End - Rewrite rules to block out some common exploits

# Uncomment following line if your webserver's URL
# is not directly related to physical file paths.
# Update Your Joomla! Directory (just / for root)

# RewriteBase /


########## Begin - Joomla! core SEF Section
#
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !^/index.php
RewriteCond %{REQUEST_URI} (/|\.php|\.html|\.htm|\.feed|\.pdf|\.raw|/[^.]*)$ [NC]
RewriteRule (.*) index.php
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization},L]
#
########## End - Joomla! core SEF Section

w którym miejscu i i jak to wpisać??

zwiastun
15-11-2009, 13:57
Na www.pomoc.joomla (i nie tylko) jet materiał o .htaccess. PeFik juz odpisywał. Może trochę samodzielności?

fotopole
15-11-2009, 14:31
ok, poczytałem

W katalogu głównym mam dwa htaccess jeden z rozszerzeniem txt, drugi bez rozszerzenia, ale daje tez się otworzyć notatnikiem. Edytowałem ten z txt.

Wprowadziłem wpisdeny from all
allow from 38.99.13.124 - to jest ten Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)

tylko pytanie w którym miejscu dałem to na samym końcu, zaraz po
########## End - Joomla! core SEF Section

Czy teraz będzie blokować mi tego bota?

zwiastun
15-11-2009, 14:35
chyba jednak nie doczytałeś z należną uwagą. Ten z rozszerzeniem .txt to htaccess.txt, do wykorzystania, żeby samemu nie tworzyć od podstaw. ale jak wskazuje nazwa jest to plik htaccess.txt a nie .htaccess

fotopole
15-11-2009, 14:47
ok, czyli mam edytować ten bez txt? Wygląda tak:


DirectoryIndex index.php
RewriteEngine On
RewriteBase /

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !^/index.php
RewriteCond %{REQUEST_URI} (/|\.php|\.html|\.htm|\.feed|\.pdf|\.raw|/[^.]*)$ [NC]
RewriteRule (.*) index.php
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization},L]

########## Begin - Rewrite rules to block out some common exploits
## If you experience problems on your site block out the operations listed below
## This attempts to block the most common type of exploit `attempts` to Joomla!
#
# Block out any script trying to set a mosConfig value through the URL
RewriteCond %{QUERY_STRING} mosConfig_[a-zA-Z_]{1,21}(=|\%3D) [OR]
# Block out any script trying to base64_encode crap to send via URL
RewriteCond %{QUERY_STRING} base64_encode.*\(.*\) [OR]
# Block out any script that includes a ********** tag in URL
RewriteCond %{QUERY_STRING} (\<|%3C).*script.*(\>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Send all blocked request to homepage with 403 Forbidden error!
RewriteRule ^(.*)$ index.php [F,L]
#
########## End - Rewrite rules to block out some common exploits


w którym miejscu mam wpisać

deny from all
allow from 38.99.13.124 ??

zwiastun
15-11-2009, 14:53
Czy to naprawdę takie trudne?
Czy to naprawdę trzeba pokazywać paluszkiem?

http://www.pomoc.joomla.pl/content/view/441/51/

fotopole
15-11-2009, 14:59
Po prostu nie chcę czegoś zepsuć, aby mi strona potem nie chodziła.

zwiastun
15-11-2009, 15:07
Strach ma wielkie oczy!
W artykule, do którego dałem odnośnik (w innych także),
* jest informacja, że znak # to znak komentarza, a więc, że wiersze rozpoczynające się od tego znaku nie są interpretowane
* jest przetłumaczony fragment pliku .htaccess, z którego łatwo się domyślec, że po komentarzu następują czasem nieskomentowane wiersze ustawień
* jest też uwaga, że wpisanie nieprawidłowych ustawień spowoduje błąd

Wpiszesz źle, to poprawisz - cała filozofia!

fotopole
15-11-2009, 15:50
teraz mój plik wygląda tak:



DirectoryIndex index.php
RewriteEngine On
RewriteBase /

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !^/index.php
RewriteCond %{REQUEST_URI} (/|\.php|\.html|\.htm|\.feed|\.pdf|\.raw|/[^.]*)$ [NC]
RewriteRule (.*) index.php
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization},L]

########## Begin - Rewrite rules to block out some common exploits
## If you experience problems on your site block out the operations listed below
## This attempts to block the most common type of exploit `attempts` to Joomla!
#
# Block out any script trying to set a mosConfig value through the URL
RewriteCond %{QUERY_STRING} mosConfig_[a-zA-Z_]{1,21}(=|\%3D) [OR]
# Block out any script trying to base64_encode crap to send via URL
RewriteCond %{QUERY_STRING} base64_encode.*\(.*\) [OR]
# Block out any script that includes a ********** tag in URL
RewriteCond %{QUERY_STRING} (\<|%3C).*script.*(\>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Send all blocked request to homepage with 403 Forbidden error!
RewriteRule ^(.*)$ index.php [F,L]
Order Allow,Deny
Allow from all
Deny from 38.99.13.124
Deny from 38.99.44.102
Deny from 38.99.44.103
Deny from 38.99.44.105
Deny from 64.1.215.164
Deny from 67.218.116.162
Deny from 67.218.116.164
Deny from 78.46.51.83
Deny from 173.29.75.122
Deny from 208.36.144.8
Deny from 216.129.119.10
Deny from 216.129.119.11
Deny from 216.129.119.40
Deny from 216.129.119.41
Deny from 216.129.119.42
Deny from 216.129.119.43
Deny from 216.129.119.44

#
########## End - Rewrite rules to block out some common exploits
Czy w tej chwili będą blokowanie te wszystkie IP? To są IP tego bota Twiceler-0.9 http://www.cuil.com/twiceler/robot.html

A może lepiej wpisać
Order Allow,Deny
Allow from all
Deny from http://www.cuil.com/twiceler/robot.html , bo widzę, że i tak mnie ten bot odwiedza - sukcesywnie co ok.9 minut.
??