Zobacz pełną wersję : Przeciążenie procesora na kei.pl
Thunder1000
12-05-2011, 08:06
Witam Posiadam konto na kei.pl, jak można wyczytać w specyfikacji podstawowych kont hostingowych posiadają one ograniczenie w postaci max 5% wykorzystania procesora w ciągu doby.
Moja strona to www.portal-ochrony.pl
Ostatnio przekraczałem ten próg o 0,5% - 4% było to dla mnie o tyle dziwne ponieważ statystyki odwiedzin ani nie wzrosły znacząco, a nawet w niektórych dniach spadły. Dlaczego się tak działo? Podejrzewam nowe moduły na stronie głównej które wyświetlają informacje, artykuły i produkty ponieważ wzrost zużycia procesora rozpoczął się od momentu zainstalowania tychże modułów (Lof ArticlesSlideShow Module).
No i cóż trzeba było zacząć kombinować nad inwestycją w pakiet "luna" na kei.pl (większe zużycie serwera nawet do 50%) wydatek spory... ale ku mojemu zaskoczeniu statystyki zużycia serwera znowu spadły do 3,5% no może 4% po tym jak zainstalowałem dodatek "wibiya"... pasek u dołu ekranu, razem z nim byłem zmuszony do zainstalowania dodatku o nazwie "SC jQuery" który wgrywa daną bibliotekę automatycznie...
I tutaj moje pytanie. Czy dodatek "SC jQuery" mógł spowodować obniżenie zużycia serwera? Dodam że moduł Lof ArticlesSlideShow Module i Wibiya korzystają z biblioteki jQuery.
Witam to w sumie bardzo małe przekroczenie, ja robię od 3 mc 70-80 % ;-)
obciążenie najprawdopodobniej spowodowały boty, proponuję zablokować całą Azję i wchód, u mnie pomogo
Thunder1000
13-05-2011, 14:20
W jaki sposób wykonać taką blokadę w joomli?
Podaję ci końcówkę mojego pliku .htaccess
########## End - Joomla! core SEF Section
<Files 403.shtml>
order allow,deny
allow from all
</Files>
deny from 222.0.0.0/8
deny from 110.0.0.0/8
deny from 111.0.0.0/8
deny from 112.0.0.0/5
deny from 120.0.0.0/6
deny from 124.0.0.0/8
deny from 125.0.0.0/8
deny from 147.0.0.0/8
deny from 169.208.0.0
deny from 175.0.0.0/8
deny from 180.0.0.0/8
deny from 182.0.0.0/8
deny from 183.0.0.0/8
deny from 202.0.0.0/8
deny from 203.0.0.0/8
deny from 210.0.0.0/8
deny from 211.0.0.0/8
deny from 218.0.0.0/8
deny from 219.0.0.0/8
deny from 220.0.0.0/8
deny from 221.0.0.0/8
Jeszcze polecam to:
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Twiceler [OR]
RewriteCond %{HTTP_USER_AGENT} ^Yandex [OR]
RewriteCond %{HTTP_USER_AGENT} ^msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^psbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^crawl [OR]
RewriteCond %{HTTP_USER_AGENT} ^slurp [OR]
RewriteCond %{HTTP_USER_AGENT} ^Yahoo
RewriteRule .* - [F]
Thunder1000
19-05-2011, 14:25
Dzięki za odpowiedź
Dodałem to co jest tutaj http://wiki.joomla.pl/Jak_u%C5%BCywaj%C4%85c_.htaccess_udost%C4%99pnia%C 4%87_i_blokowa%C4%87_po%C5%82%C4%85czenia_z_okre%C 5%9Blonego_IP%3F
czyli to
########## Start – Blokowanie połączeń z określonych adresów IP
Order allow,
deny Allow from all
########## Koniec – Blokowanie połączeń z określonych adresów IPplus
deny from 213.219.122
deny from 195.150.77.248
deny from 212.68.215.87
deny from 85.17.1.117
deny from 80.237.211.8
deny from 72.37.212.106
deny from 195.150.77.248
deny from 212.68.215.87
deny from 87.101.65.166
deny from 213.238.83.202
deny from 217.76.116.186
deny from 83.21.16.227
deny from 83.15.0
deny from 79.163.225.105
deny from 85.112.193.38
deny from 85.112.193
deny from 83.15.0.51
deny from 77.70
deny from 77.70.106.4
deny from 77.70.106.72
deny from 89.79.112.149
deny from 89.77.2.35
deny from 89.77.2.35Plus te twoje
Czy tak to może zostać i jest dobrze??
a co mi da wklejenie kodu...
RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^Twiceler [OR] RewriteCond %{HTTP_USER_AGENT} ^Yandex [OR] RewriteCond %{HTTP_USER_AGENT} ^msnbot [OR] RewriteCond %{HTTP_USER_AGENT} ^psbot [OR] RewriteCond %{HTTP_USER_AGENT} ^crawl [OR] RewriteCond %{HTTP_USER_AGENT} ^slurp [OR] RewriteCond %{HTTP_USER_AGENT} ^Yahoo RewriteRule .* - [F]
To blokuje konkretne roboty które się "przedstawiają" , można zablokować je w robot.txt, ale poza google botem inne tego raczej nie respektują.
Thunder1000
19-05-2011, 16:21
A czy masz jakieś uwagi co do IP które wstawiłem powyżej
Myślę że skoro te adresy są joomla wiki to warto też je dodać
Thunder1000
20-05-2011, 10:49
Po wpisaniu kodu do blokowania botów nic to nie zmieniło... tzn
pojawiają mi się nadal takie boty jak:
Yandex bot (mozilla/5.0 (compatible; yandexbot/3.0; +http://yandex.com/bots))
Inktomi Slurp (mozilla/5.0 (compatible; yahoo! slurp; http://help.yahoo.com/help/us/y)
Speedy Spider (mozilla/5.0 (windows; u; windows nt 5.1; en-us) speedy spider (http://)
Nutch (aghaven/nutch-1.2)
Unknown Bot (mozilla/5.0 (compatible; ezooms/1.0; ezooms.bot@gmail.com))
Unknown Bot (mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
No i Google ale to wolałbym zostawić
hm... kurde ciekawe, u mnie to działa nie widziałam u siebie tych robotów od lat
Thunder1000
21-05-2011, 11:29
A może być przyczyną to że inaczej się nazywają tzn.
ty napisałaś Yandex i slurp a u mnie są Yandex bot i Inktomi Slurp?
---------- Post dodany o 08:29 ---------- Poprzedni post był o 08:04 ----------
Czy powodem może być to że mój plik nazywa się htaccess.txt a nie .htaccess z tym że jeśli nazwę go .htaccess to wyskakuje mi błąd...
[500] Internal Server Error : Wewnętrzny błąd serwera
---------- Post dodany o 11:02 ---------- Poprzedni post był o 08:29 ----------
Wykonałem nawet instrukcje zawartą tutaj http://wiki.joomla.pl/index.php/Jak_zmieni%C4%87_nazw%C4%99_pliku_htaccess.txt_na_ .htaccess%3F
i nic dalej błąd 500
---------- Post dodany o 11:29 ---------- Poprzedni post był o 11:02 ----------
heheh sam sobie odpwiadam no ale to też pomoc i działam a nie czekam
a więc
udało mi się ale tylko w ten sposób że zmieniłem istniejący plik htaccess.txt na .htaccess i wszystko jest ok do momentu gdy dodałem tówj kod z blokowanie botów np msnbot ponieważ jak go wstawie to nadal wyskakuje błąd 500
mjmartino
21-05-2011, 14:49
Może problem leży w software którym edytujesz plik htaccess ; >
Thunder1000
21-05-2011, 16:32
gedit - linux ubuntu
Wstawiłem taki kod do .htaccess
<Limit GET POST>
#The next line modified by DenyIP
order allow,deny
#The next line modified by DenyIP
#deny from all
allow from all
</Limit>
<Limit PUT DELETE>
order deny,allow
deny from all
</Limit>
<Files 403.shtml>
order allow,deny
allow from all
</Files>
SetEnvIfNoCase User-Agent .*Yandex.* bad_bot
SetEnvIfNoCase User-Agent .*Baiduspider.* bad_bot
SetEnvIfNoCase User-Agent .*msnbot.* bad_bot
SetEnvIfNoCase User-Agent .*slurp.* bad_bot
SetEnvIfNoCase User-Agent .*MJ12bot.* bad_bot
order allow,deny
deny from env=bad_bot
allow from all
Co o nim sądzicie... czy oprócz blokowania botów powoduje inne niewidoczne dla mnie komplikacje?
Dodam że po dodaniu powyższego kodu botów nie ma. Tylko nie wiem czy ten kod coś nie psuje?
A może być przyczyną to że inaczej się nazywają tzn.
ty napisałaś Yandex i slurp a u mnie są Yandex bot i Inktomi Slurp?
---------- Post dodany o 08:29 ---------- Poprzedni post był o 08:04 ----------
Czy powodem może być to że mój plik nazywa się htaccess.txt a nie .htaccess z tym że jeśli nazwę go .htaccess to wyskakuje mi błąd...
[500] Internal Server Error : Wewnętrzny błąd serwera
---------- Post dodany o 11:02 ---------- Poprzedni post był o 08:29 ----------
Wykonałem nawet instrukcje zawartą tutaj http://wiki.joomla.pl/index.php/Jak_zmieni%C4%87_nazw%C4%99_pliku_htaccess.txt_na_ .htaccess%3F
i nic dalej błąd 500
---------- Post dodany o 11:29 ---------- Poprzedni post był o 11:02 ----------
heheh sam sobie odpwiadam no ale to też pomoc i działam a nie czekam
a więc
udało mi się ale tylko w ten sposób że zmieniłem istniejący plik htaccess.txt na .htaccess i wszystko jest ok do momentu gdy dodałem tówj kod z blokowanie botów np msnbot ponieważ jak go wstawie to nadal wyskakuje błąd 500
to jest podstawowy błąd musi być .htaccess inaczej w życiu ten kod nie zadziała, cała reszta pliku jest zgodna z wytycznymi i musi działać, jesli nie działa pisz do admina swojego hostingu
Thunder1000
22-05-2011, 10:47
Vioka a co sądzisz o kodzie który jest powyżej... bo boty nie wchodzą?
I reasumując dodałem też IP i teraz końcówka kodu w pliku .htaccess wygląda tak
########## End - Joomla! core SEF Section
<Limit GET POST>
#The next line modified by DenyIP
order allow,deny
#The next line modified by DenyIP
#deny from all
allow from all
</Limit>
<Limit PUT DELETE>
order deny,allow
deny from all
</Limit>
<Files 403.shtml>
order allow,deny
allow from all
</Files>
SetEnvIfNoCase User-Agent .*Yandex.* bad_bot
SetEnvIfNoCase User-Agent .*Baiduspider.* bad_bot
SetEnvIfNoCase User-Agent .*msnbot.* bad_bot
SetEnvIfNoCase User-Agent .*slurp.* bad_bot
SetEnvIfNoCase User-Agent .*MJ12bot.* bad_bot
deny from 222.0.0.0/8
deny from 110.0.0.0/8
deny from 111.0.0.0/8
deny from 112.0.0.0/5
deny from 120.0.0.0/6
deny from 124.0.0.0/8
deny from 125.0.0.0/8
deny from 147.0.0.0/8
deny from 169.208.0.0
deny from 175.0.0.0/8
deny from 180.0.0.0/8
deny from 182.0.0.0/8
deny from 183.0.0.0/8
deny from 202.0.0.0/8
deny from 203.0.0.0/8
deny from 210.0.0.0/8
deny from 211.0.0.0/8
deny from 218.0.0.0/8
deny from 219.0.0.0/8
deny from 220.0.0.0/8
deny from 221.0.0.0/8
deny from 213.219.122
deny from 195.150.77.248
deny from 212.68.215.87
deny from 85.17.1.117
deny from 80.237.211.8
deny from 72.37.212.106
deny from 195.150.77.248
deny from 212.68.215.87
deny from 87.101.65.166
deny from 213.238.83.202
deny from 217.76.116.186
deny from 83.21.16.227
deny from 83.15.0
deny from 79.163.225.105
deny from 85.112.193.38
deny from 85.112.193
deny from 83.15.0.51
deny from 77.70
deny from 77.70.106.4
deny from 77.70.106.72
deny from 89.79.112.149
deny from 89.77.2.35
deny from 89.77.2.35
order allow,deny
deny from env=bad_bot
allow from all
Strona wyświetla się poprawnie... czy możesz mi powiedzieć czy ten kod jest poprawny i czy oprócz blokowania botów i tzw niepożądanych krajów nie powoduje innych nie porządnych dla mnie problemów ze stroną?
sstanczuk
31-03-2012, 18:19
Czy długa lista zablokowanych adresów ip w pliku .htaccess ma jakikolwiek wpływ na obciążenia CPU ?
mjmartino
31-03-2012, 21:09
Czy długa lista zablokowanych adresów ip w pliku .htaccess ma jakikolwiek wpływ na obciążenia CPU ?
Pewnie jakiś tam wpływ ma ;) mam znacznie dłuższa listę deny from ;) i nie miałem problemów z przeciążeniem.
Poza tym trochę odgrzewany kotlet ;)
Nowy temat zakładaj na następny raz ;) a nie podpinaj się pod czyjś.
sstanczuk
31-03-2012, 21:32
Nie ma co otwierać kolejnego wątku skoro mam podobmy problem na serwerze kei.pl i mam problem z punktami CPU.
Od poniedziałku będę walczył z optymalizacją i jeszcze się pewnie odezwę, ale dziękuję za odpowiedź.
Ja mam podobny problem ale na serwerze w nazwa.pl
Niżej screen z obciążenia serwera i bazy danych.
6593
W logach wyskakuje mi sporo botów gogli, msn, sporadycznie yandex (te ostatnie poblokowałem w .htaccess i niewiele to dało).
Zastanawiam się czy to nie któryś z komponentów tak szaleje.
Niestety nie wiem jak z logów serwera wyczytać który to.
Dla ścisłości nazwa.pl okresliła tylko, który konkretny portal na joomli na moim serwerze generuje tak duży ruch.
Zastanawiam się czy nie jest to przypadkiem openx, którego wykorzystuję do reklam (wrzucone są one na zewnętrznym serwerze openx-a i moduł ciągnie je na stronę)
Na razie z racji zobowiązań wyłączyć go nie mogę do końca miesiąca by sprawdzić czy to nie on przypadkiem.
W logach pojawia się sporo wywołań galerii (datso) ale to chyba normalne.
mjmartino
25-04-2013, 09:27
Jak masz jakieś komponenty do zbierania statystyk to go wyłącz ;)
Jak masz jakieś komponenty do zbierania statystyk to go wyłącz ;)
Mam tylko goglowskie statystyki. Miałem włączone statystyki w slide show ale już wyłączyłem.
Czy roboty zablokowane w htaccess mogą pominąć ten plik? Pojawiają mi się wciąż w logach serwera mimo blokady.
vBulletin® v4.2.5, Prawa przedruku © 2024 vBulletin Solutions, Inc. Wszystkie prawa zastrzeżone.
Tłumaczenie: Polskie Centrum Joomla!