PDA

Zobacz pełną wersję : Atak Googlebota



Tor_
15-09-2011, 12:07
Witam wszystkich

Od czterech dni Wejścia z Googlebota dziwnie rosną :
11 września - 1239
12 września - 2877
13 września - 4607
14 września - 4386

Joomla 1.5 x ma wlaczone cache .Moje pytanie czy wystarczy przyblokować (czasowo)
User-agent: *
Disallow: /cache/

Aby zatrzymać ta "lawinę" z Googlebota która "zjada" cale CPU procka na serwerze :hmm:

Czy lepiej przyblokować konkretne linki .Wiem po których chodzi ok 15 linków

Gall Anonim
15-09-2011, 12:12
No to się lepiej zastanów co spowodowało tą reakcję.
Instalowałeś forum?
Instalowałeś joomsef na istniejącej dość długo witrynie?
Robiłeś migrcję z 1.0 do 1.5.x lub z 1.5.x do 1.6/1.7?
Zainstalowałeś chat?
Zainstalowałeś nową templatkę (Framework)?
Albo co jeszcze innego Zrobiłeś?

Tor_
15-09-2011, 12:25
Dobre pytanie Ale to nie takie proste. Odpowiedz NIC Wiem brzmi bez sensu .Serwis jest aktualizowany każdego dnia przybywa srednio 8-10 podstron i ok 40-80 zdjęć
Przybyl 1:mostreadrecenti 1:mod_vnz_popularnews_slide.Już wylączylem .Po za tym kompletni nic .11.09 Wszystko bylo ok.zuzycie proca 1.530% i kolejnych 2 dniach skoczylo na prawie 8 %! Koszmar .

Gall Anonim
15-09-2011, 12:38
AAA - czy to nie jest przypadkiem tak że zabawa zaczęła się 12.09.2011 około 14.30 ?
A hostingodawca to nazwa.pl?

Tor_
15-09-2011, 12:55
Nie wiem czy można podawać tutaj konkretne nazwy.Zarzadalem udostępnienia logowania na serwer w czasie rzeczywistym koniecznie chcilem zobaczyc to "gigantyczne obciazenie" No cóż odmówili .... Wiem że moga robic waly Nie mialem z nimi wczesniej klopotow tego typu .Pliki stoja u nich coś ok 8 miechów.Mialem kopie serwisu z przed 4 dni zainstalowalem ja na innym hostingu w celu porownania (oczywiscie bez ruchu na stronie) O dziwo spokój.

Ale na temat:co najlepiej przyblokować aby zatrzymać Googlebota na parę dni i zobaczyć czy rzeczywiście on generuje taki ruch na stronie.I jak brak dostepu wplynie na obciażenie

Gall Anonim
15-09-2011, 13:02
No to jasne.
Czas się zgadza, miejsce prawdopodobnie też, usługa to serwer wirtualny, albo activ, albo pro.
Bodajże właśnie wówczas miałem problem - tam była całkiem niezła awaria - może to konsekwencja?

neo_fox
15-09-2011, 13:16
Ja bym raczej się zastanowił dlaczego marne 5000 odwiedzin serwer na łopatki kładzie zamiast się martwić dlaczego Google cię tak często odwiedza.
Normalnie to się ludzi cieszą z tego powodu :podstep:

Tor_
15-09-2011, 13:24
Wiem o czym mówisz .Widziałem to :) ciekawa sprawa oczywiście ich text na tamta chwilę "nic się nie dzieje". Teraz mydlą mi oczy ruchem boota od Googla.Robiłem na tej domenie dużo cięższe rzeczy i procek ani drgnął .

Ale dalej nie chcesz mi pomóc .Jak przyblokować konkretne strony dla robotów ?

neo_fox
15-09-2011, 13:26
Polecam: http://www.robotstxt.org/robotstxt.html

Tor_
15-09-2011, 13:30
neo_fox .Chodzi tylko o ustalenie co się naprawdę stało ? I czy to rzeczywiście roboty narobiły takiego zamieszania .Tak jakby niby wcześniej ich tam nie było .Bez sensu .Strona i tak jest na pierwszym miejscu w google i ma stałych odwiedzających .Chwilowe zatrzymanie robotów nie zaszkodzi jej

Wiem jaka jest zasada blokowania folderów i plików .Ale o ile mnie pamięć nie myli to joomla przechowuje strony w bazie danych .Jak w takim układzie zatrzymać konkretną stronę ?

BuzzY
16-09-2011, 13:39
Możesz to zrobić za pomocą htaccessa masz jeszcze kilka IPków z pająkami które szperają. Blokuje to podanym adresom całkowity dostęp do strony.

Order Allow,Deny
Allow from all

Deny from 12.148.209.196
Deny from 12.175.0.35
Deny from 12.222.95.33
Deny from 128.208.4.118
Deny from 128.255.244.87
Deny from 128.84.98.173
Deny from 129.44.123.12
Deny from 137.118.240.180
Deny from 140.247.60.123
Deny from 141.156.149.234
Deny from 141.156.35.62
Deny from 146.203.20.245
Deny from 157.130.53.242
Deny from 193.95.111.138
Deny from 194.102.56.130
Deny from 195.222.1.154
Deny from 195.251.235.67
Deny from 195.9.126.226
Deny from 198.64.149.243
Deny from 200.69.248.64
Deny from 203.124.153.237
Deny from 203.199.124.111
Deny from 204.92.59.152
Deny from 205.225.207.186
Deny from 205.225.207.190
Deny from 206.145.80.235
Deny from 206.169.2.194
Deny from 207.164.34.59
Deny from 208.179.49.21
Deny from 209.120.234.
Deny from 209.152.43.249
Deny from 209.167.50.22
Deny from 209.234.157.107
Deny from 210.200.105.
Deny from 211.152.14.
Deny from 211.157.8.44
Deny from 211.99.
Deny from 213.186.38.67
Deny from 213.252.152.13
Deny from 213.42.2.
Deny from 213.56.44.118
Deny from 216.157.225.36
Deny from 216.185.57.
Deny from 216.46.79.46
Deny from 216.74.173.209
Deny from 217.162.212.174
Deny from 217.171.172.7
Deny from 217.22.62.69
Deny from 217.227.37.62
Deny from 217.37.100.141
Deny from 217.43.212.22
Deny from 217.73.165.40
Deny from 218.13.195.230
Deny from 218.30.13.176
Deny from 218.93.5.48
Deny from 218.93.6.227
Deny from 218.93.7.43
Deny from 219.129.179.
Deny from 220.73.165.76
Deny from 24.107.14.244
Deny from 24.126.19.6
Deny from 24.136.55.144
Deny from 24.153.151.50
Deny from 24.153.151.51
Deny from 24.161.201.195
Deny from 24.173.210.90
Deny from 24.173.79.238
Deny from 24.194.153.236
Deny from 24.243.39.114
Deny from 24.248.74.254
Deny from 4.43.126.10
Deny from 61.173.9.203
Deny from 61.177.
Deny from 61.177.77.168
Deny from 61.178.85.117
Deny from 62.119.133.
Deny from 62.177.137.205
Deny from 62.194.0.71
Deny from 62.194.118.54
Deny from 62.194.67.18
Deny from 62.194.7.89
Deny from 62.194.86.81
Deny from 62.252.192.11
Deny from 62.254.128.7
Deny from 63.231.82.207
Deny from 64.140.49.67
Deny from 64.140.49.68
Deny from 64.140.49.69
Deny from 64.231.195.107
Deny from 64.56.225.45
Deny from 64.81.88.11
Deny from 65.172.164.2
Deny from 65.93.130.29
Deny from 65.95.158.205
Deny from 65.95.33.209
Deny from 66.119.128.66
Deny from 66.183.223.233
Deny from 66.21.128.30
Deny from 66.214.102.7
Deny from 66.215.16.3
Deny from 66.27.146.58
Deny from 66.68.64.207
Deny from 66.96.238.245
Deny from 66.98.136.28
Deny from 67.113.198.63
Deny from 67.68.196.209
Deny from 67.84.9.127
Deny from 67.96.63.103
Deny from 67.96.63.116
Deny from 68.109.140.254
Deny from 68.192.120.178
Deny from 68.36.192.74
Deny from 68.39.132.160
Deny from 68.7.115.241
Deny from 69.15.60.42
Deny from 69.162.182.209
Deny from 69.28.130.229
Deny from 69.28.130.230
Deny from 69.28.130.231
Deny from 69.31.79.226
Deny from 69.44.60.201
Deny from 69.46.135.17
Deny from 69.48.94.231
Deny from 80.129.214.179
Deny from 80.218.77.179
Deny from 81.186.53.253
Deny from 81.199.83.26
Deny from 81.57.110.146
Deny from 82.166.132.
Deny from 82.166.132.74
Deny from 82.193.64.21
Deny from 82.195.131.177
Deny from 83.116.38.172

Tor_
16-09-2011, 14:03
Czyli lista podejrzanych pająków .Na ile jest aktualna ?.No waśnie może to wcale nie google chodziły po moich stronach :zagubiony: