Obciążenie procesora

[robertinog]

Witam
Mam pytanie mam uruchomioną stronę www.cyfra.info.pl na CMS Jommla 1.7.3 i dostawca hostingu pisze mi na meila informacje o obciążeniu zbyt dużym procesora na ich serwerze czym to może być spowodowane
Z góry serdecznie dziękuje

[palyga007]

a masz zainstalowany jakiś niestandardowy dodatek/moduł/komponent?
np. jakieś statystyki etc.

[nikszal]

Ja widzę moduł statystyk jvcounter. Na kiepskim serwerze mogą rzeczywiście zbyt mocno obciążać procesor.

Jednak jeśli już dostawca KEI twierdzi o zbyt dużym obciążeniu, to niech powie 'b' i określi skrypt, który tak im muli.

[moje]

Zamień statystyki na te od googla.

[palyga007]

@nikszal

Hej :)

Kurcze nie wiem jak nie zauważyłem tego "cudeńka" przecież oczy może wybić.

[nikszal]

Hey palyga007

Ja odpaliłem u siebie j4age statistics i mój hostingodawca nie skarży się. Widocznie wiele zależy od maszyn, a nie od skryptów.

[robertinog]

Mam dołożony skrypt Piwik

[Veno]

a napisali Ci ktory skrypt tak obciaza ten procesor ? Jesli NIE, to napisz do obslugi klienta czy pomocy technicznej niech dokladnie sprecyzuja Co i Jak.

[robertinog]

Niestety jeszcze nie dzisiaj do nich dzwoniłem a czy sama joomla moż aż tak bardzo obciążać ten ich serwer

[nikszal]

Wyłącz te statystyki i czekaj na kolejnego maila od KEI.

[palyga007]

Nie.
ja obstawiam na statystyki, o których wspomniał @nikszal czyli jvcounter

[Veno]

Jesli czysta Joomla za bardzo obciaza ich serwer to radze zmienic uslugodawce ! Co to w ogole za firma ?

[nikszal]

Wyłącz te statystyki i czekaj na kolejnego maila od KEI.
Nie bardzo rozumiem, po co Ci jeszcze Piwik do już zainstalowanego modułu i pluginu jvcounter.
Socjologiem jesteś czy pracownikiem GUS-u?

[robertinog]

Dobra wywaliłem na razie skrypt piwika, zobaczymy co będzie dalej

[Veno]

A nie prosciej po prostu napisac do obslugi klienta zeby wskazali skrypt ktory obciaza im ten serwer ? W zwiazku z czym uzyskasz dokladne informacje co i jak. Przynajmniej ja bym tak zrobil :)

[robertinog]

Coś takiego mi napisali

Jednocześnie informujemy, iż analizy naszych specjalistów wskazują, że za znaczną większość przekroczeń odpowiadają tzw. ?roboty sieciowe? indeksujące zawartość stron WWW. Jedną z możliwości zabezpieczenia się przed ich działaniem jest przygotowanie stosownego pliku robots.txt (zawierającego reguły dla robotów wchodzących na stronę) i umieszczenie go na serwerze w katalogu głównym domeny. Więcej informacji na: http://www.google.com/support/webmasters/bin/answer.py?answer=156449 http://www.robotstxt.org/robotstxt.html

[moje]

Lepiej będzie utworzyć sitemap.xml, o wszystkim poczytasz tutaj (sitemaps.org/pl) i dodać odpowiednie wpis do htcaccess, który będzie miał za zadanie blokować złe boty (exploity).

[robertinog]

A czy można do tego użyć modułu Xmap

[moje]

Czytałeś o sitemap/robots? To nie jest element strony tylko informacja dla botów.

[Veno]

Zrob jak radza koledzy, wejdz na strone sitemaps.org/pl, poczytaj! potem http://www.sitemaps.org/pl/protocol.html, poczytaj ! Zrobisz i powinno pomoc !

[robertinog]

Witam
Wracam do tematu wyłączone są już wszystkie statystyki Pan z obsługi napisał cytuje"

Największe obciążenie na Państwa pakiecie generuje serwis w domenie 'cyfra.info.pl' z logów wynika, że przekroczenie zostało dokonane poprzez skrypty serwisu, zauważyłem także, że wywołań robotów jest bardzo mało. Szczegóły w załączniku.
Wejść na stronę dziennie jest około 1000 i Proponują jakiś serwer virtualny
Co w takiej sytuacji?
Z góry dziękuje


Log z dnia: 2011.11.24
------------------------
Wywolan: 36726
Czas procesora: 2654317 ms (srednio 72 ms na wywolanie)
Obciazenie referencyjne: 5.59%
Obciazenie przez roboty indeksujace: 436 ms (0.0164%) 0.00% ref.
-----Obciazenie w zaleznosci od typu wywolania-----
GET 2652315 99.9% - 5.58% ref. (Wywolan 36677 , srednio 72 ms, maksymalne 1150 ms )
POST 1099 0.0414% - 0.00% ref. (Wywolan 43 , srednio 25 ms, maksymalne 142 ms )
HEAD 874 0.0329% - 0.00% ref. (Wywolan 1 , srednio 874 ms, maksymalne 874 ms )
OPTIONS 29 0.00109% - 0.00% ref. (Wywolan 5 , srednio 5 ms, maksymalne 21 ms )

-----Obciazenie w zaleznosci od robota indeksujacego-----
bingbot 320 0.0121% - 0.00% ref. (Wywolan 27 , srednio 11 ms)
msnbot 89 0.00335% - 0.00% ref. (Wywolan 6 , srednio 14 ms)
Googlebot 23 0.000867% - 0.00% ref. (Wywolan 2 , srednio 11 ms)
Baiduspider 2 7.53e-05% - 0.00% ref. (Wywolan 1 , srednio 2 ms)
YandexBot 2 7.53e-05% - 0.00% ref. (Wywolan 1 , srednio 2 ms)

-----Obciazenie w zaleznosci od kodu zwroconego przez wywolanie-----
200 2491048 93.8% - 5.24% ref. (Wywolan 33988 , srednio 73 ms, maksymalne 1150 ms )
500 143991 5.42% - 0.30% ref. (Wywolan 345 , srednio 417 ms, maksymalne 637 ms )
404 16773 0.632% - 0.04% ref. (Wywolan 1749 , srednio 9 ms, maksymalne 144 ms )
304 1552 0.0585% - 0.00% ref. (Wywolan 583 , srednio 2 ms, maksymalne 21 ms )
303 678 0.0255% - 0.00% ref. (Wywolan 11 , srednio 61 ms, maksymalne 142 ms )
206 254 0.00957% - 0.00% ref. (Wywolan 49 , srednio 5 ms, maksymalne 21 ms )
301 21 0.000791% - 0.00% ref. (Wywolan 1 , srednio 21 ms, maksymalne 21 ms )

-----Obciazenie w zaleznosci od adresu IP-----
62.21.53.95 27319 1.03% - 0.06% ref. (Wywolan 209 , srednio 130 ms, maksymalne 410 ms )
31.63.131.108 26773 1.01% - 0.06% ref. (Wywolan 100 , srednio 267 ms, maksymalne 977 ms )
46.77.27.191 23251 0.876% - 0.05% ref. (Wywolan 89 , srednio 261 ms, maksymalne 996 ms )
85.202.104.216 23077 0.869% - 0.05% ref. (Wywolan 89 , srednio 259 ms, maksymalne 1147 ms )
31.128.3.26 22080 0.832% - 0.05% ref. (Wywolan 82 , srednio 269 ms, maksymalne 1007 ms )
188.47.28.237 21659 0.816% - 0.05% ref. (Wywolan 73 , srednio 296 ms, maksymalne 969 ms )
83.10.177.135 19893 0.749% - 0.04% ref. (Wywolan 88 , srednio 226 ms, maksymalne 1021 ms )
178.36.8.178 17810 0.671% - 0.04% ref. (Wywolan 123 , srednio 144 ms, maksymalne 988 ms )
83.3.160.218 17515 0.66% - 0.04% ref. (Wywolan 76 , srednio 230 ms, maksymalne 1000 ms )
83.15.207.2 17395 0.655% - 0.04% ref. (Wywolan 72 , srednio 241 ms, maksymalne 1005 ms )
178.42.158.254 16011 0.603% - 0.03% ref. (Wywolan 74 , srednio 216 ms, maksymalne 958 ms )
83.0.207.21 15945 0.601% - 0.03% ref. (Wywolan 110 , srednio 144 ms, maksymalne 1087 ms )
83.26.26.137 15925 0.6% - 0.03% ref. (Wywolan 77 , srednio 206 ms, maksymalne 978 ms )
79.190.123.202 15471 0.583% - 0.03% ref. (Wywolan 84 , srednio 184 ms, maksymalne 945 ms )
78.9.44.250 13689 0.516% - 0.03% ref. (Wywolan 68 , srednio 201 ms, maksymalne 1049 ms )
82.143.144.195 13165 0.496% - 0.03% ref. (Wywolan 100 , srednio 131 ms, maksymalne 1066 ms )
85.219.186.111 12503 0.471% - 0.03% ref. (Wywolan 84 , srednio 148 ms, maksymalne 1029 ms )
95.108.86.191 12107 0.456% - 0.03% ref. (Wywolan 71 , srednio 170 ms, maksymalne 991 ms )
85.221.141.207 11961 0.451% - 0.03% ref. (Wywolan 75 , srednio 159 ms, maksymalne 975 ms )
77.114.118.79 11780 0.444% - 0.02% ref. (Wywolan 149 , srednio 79 ms, maksymalne 412 ms )

-----Obciazenie w zaleznosci od skryptu (wywolania zawierajace parametry)-----
/ 260557 9.82% 0.55% (Wywolan 304 , srednio 857 ms, maksymalne 1058 ms )
/plugins/content/sige/plugin_sige/showthumb.php 101001 3.81% 0.21% (Wywolan 801 , srednio 126 ms, maksymalne 213 ms )
/administrator/index.php 1917 0.0722% 0.00% (Wywolan 18 , srednio 106 ms, maksymalne 146 ms )
/piwik/libs/jquery/jquery.js 4 0.000151% 0.00% (Wywolan 2 , srednio 2 ms, maksymalne 2 ms )
/piwik/plugins/Login/templates/login.css 4 0.000151% 0.00% (Wywolan 2 , srednio 2 ms, maksymalne 2 ms )

-----Obciazenie w zaleznosci od pojedynczego wywolania-----
/index.php/pakiety/canal-start.html 1042 0.0393%
/index.php 470 0.0177%
/index.php/pakiety/kompakt.html 412 0.0155%
/index.php/serwis.html 383 0.0144%
/index.php/pakiety/prestiz-hd.html 373 0.0141%
/index.php/dekodery.html 372 0.014%
/index.php/hd.html 370 0.0139%
/index.php/promocje/ofertahd.html 369 0.0139%
/index.php/uslugi.html 369 0.0139%
/index.php/pakiety/super-premium-hbo.html 364 0.0137%
/index.php/football.html 361 0.0136%
/index.php/pakiety/canal-kompakt.html 360 0.0136%
/index.php/pakiety/canal-optimum.html 356 0.0134%
/index.php/kontakt.html 355 0.0134%
/index.php/promocje/fulhd.html 355 0.0134%
/index.php/nba-live.html 352 0.0133%
/index.php/promocje/superpremiumhbo.html 344 0.013%
/index.php/vod.html 342 0.0129%
/index.php/promocje/przejeciowa.html 341 0.0128%
/?pl_pakiety,3 338 0.0127%

-----Obciazenie w zaleznosci od wywolania-----
/ 1219794 46% (Wywolan 1674 , srednio 728 ms, maksymalne 1131 ms )
/?pl_pakiety,3 260557 9.82% (Wywolan 304 , srednio 857 ms, maksymalne 1058 ms )
/index.php/news.html 82399 3.1% (Wywolan 95 , srednio 867 ms, maksymalne 1089 ms )
/index.php/multirom.html 72064 2.71% (Wywolan 85 , srednio 847 ms, maksymalne 1150 ms )
/index.php/dekodery.html 69496 2.62% (Wywolan 83 , srednio 837 ms, maksymalne 1044 ms )
/index.php/bez-umowy.html 67107 2.53% (Wywolan 79 , srednio 849 ms, maksymalne 1026 ms )
/index.php/kontakt.html 59003 2.22% (Wywolan 68 , srednio 867 ms, maksymalne 1021 ms )
/index.php/promocje/superpremiumhbo.html 46036 1.73% (Wywolan 58 , srednio 793 ms, maksymalne 1147 ms )
/index.php/pakiety/super-premium-hbo.html 40952 1.54% (Wywolan 50 , srednio 819 ms, maksymalne 1132 ms )
/index.php/instal.html 38710 1.46% (Wywolan 46 , srednio 841 ms, maksymalne 1023 ms )
/index.php/pakiety.html 38370 1.45% (Wywolan 44 , srednio 872 ms, maksymalne 1118 ms )
/index.php/promocje/przejeciowa.html 34795 1.31% (Wywolan 42 , srednio 828 ms, maksymalne 1071 ms )
/index.php/pakiety/optimum.html 30524 1.15% (Wywolan 35 , srednio 872 ms, maksymalne 1032 ms )
/index.php/canal-hbo.html 28965 1.09% (Wywolan 35 , srednio 827 ms, maksymalne 1005 ms )
/index.php/pakiety/kompakt.html 28357 1.07% (Wywolan 32 , srednio 886 ms, maksymalne 1021 ms )
/index.php/promocje/canalhd.html 27645 1.04% (Wywolan 36 , srednio 767 ms, maksymalne 1070 ms )
/index.php/pakiety/start.html 26526 0.999% (Wywolan 31 , srednio 855 ms, maksymalne 1004 ms )
/index.php/hd.html 26126 0.984% (Wywolan 31 , srednio 842 ms, maksymalne 1056 ms )
/index.php/promocje/fulhd.html

[trzepiz]

Trochę przesadzają chyba :D:D jeśli 1000 odsłon dziennie to dla nich problem - to zmienić dostawcę ..

PS: Page Speed Score: 82/100 - widzę, że były zabiegi poprawiające osiągi witryny. Zostało tylko dodanie do htaccess dłuższego czasu Expires dla JS, jpg i innych obrazów.




########## Begin - Optimal default expiration time

<IfModule mod_expires.c>
# Enable expiration control
ExpiresActive On

# Default expiration: 3 hour after request
ExpiresDefault "now plus 3 hour"

# CSS and JS expiration: 1 week after request
ExpiresByType text/css "now plus 1 week"
ExpiresByType application/javascript "now plus 1 week"
ExpiresByType application/x-javascript "now plus 1 week"

# Image files expiration: 1 month after request
ExpiresByType image/bmp "now plus 1 month"
ExpiresByType image/gif "now plus 1 month"
ExpiresByType image/jpg "now plus 1 month"
ExpiresByType image/jpeg "now plus 1 month"
ExpiresByType image/jp2 "now plus 1 month"
ExpiresByType image/pipeg "now plus 1 month"
ExpiresByType image/png "now plus 1 month"
ExpiresByType image/svg+xml "now plus 1 month"
ExpiresByType image/tiff "now plus 1 month"
ExpiresByType image/vnd.microsoft.icon "now plus 1 month"
ExpiresByType image/x-icon "now plus 1 month"
ExpiresByType image/ico "now plus 1 month"
ExpiresByType image/icon "now plus 1 month"
ExpiresByType text/ico "now plus 1 month"
ExpiresByType application/ico "now plus 1 month"
ExpiresByType image/vnd.wap.wbmp "now plus 1 month"
ExpiresByType application/vnd.wap.wbxml "now plus 1 month"
ExpiresByType application/smil "now plus 1 month"


</IfModule>

[robertinog]

Właśnie rozmawiałem z nazwa.pl i na 14 dni mogę wypróbować na ich serwerze
Maksymalna liczba żądań do serwera WWW w ciągu doby 1 500 000 czy ten parametr bo taki mia podali na nazwa.pl to jest to samo co: ten parametr z moich logów Wywołań: 36726, jeśli chodzi o przyspieszenie strony to doinstalowałem pliczek do cachewania
Z góry dziekuje

[trzepiz]

Maksymalna liczba żądań do serwera WWW w ciągu doby 1 500 000 czy ten parametr bo taki mia podali na nazwa.pl to jest to samo co: ten parametr z moich logów Wywołań: 36726

właśnie dlatego napisałem, że czas uciekać i szukać innego dostawcy :)

[Veno]

Właśnie rozmawiałem z nazwa.pl i na 14 dni mogę wypróbować na ich serwerze

wielu hostingodawcow daje okres probny :)

[robertinog]

Witam
Mam pytanie ponieważ przenoszę serwis joomla 1.7.3 na okres testowy i przy imporcie bazy jest problem
Your browser sent a request that this server could not understand.
Podaje wersję Mysql na kei.pl 5.1.55 natomiast na nazwa.pl jest Mysql 5.0.90 wielkość bazy 3MB, na nazwa.pl pisze że plik nie może mieć więcej niż 1MB.
Pytanie czy to jest problem wielkości pliku czy różnych wersji mysql, a swoją drogą czy baza 3MB nie jest za duża.
Z góry serdecznie dziękuje

[trzepiz]

Mam pytanie ponieważ przenoszę serwis joomla 1.7.3
A jak przenosisz ?? Metoda ręczna - czy przy pomocy komponentu Akeeba Backup i kickstart.php ?


Mysql na kei.pl 5.1.55 natomiast na nazwa.pl jest Mysql 5.0.90
Nie mam teraz jak sprawdzić - ale to faktycznie może być problem.

[robertinog]

Normalnie export a potem import bazy przecież Akeeba Backup nie archiwizuje bazy mysql

[trzepiz]

przecież Akeeba Backup nie archiwizuje bazy mysql

A kto ci tak powiedział ?? Czy kiedykolwiek próbowałeś wykonać kopię Akeeba Backup ? :) Koniecznie sobie to sprawdź .. Ja osobiście się przyznam, że od momentu kiedy poznałem Akeeba to nie robię już ręcznie kopii - no chyba, że sytuacja tego wymaga.

a tutaj trochę dokumentacji: https://www.akeebabackup.com/documentation.html

[robertinog]

Witam
Mam pytanie okazuje się że jednak jest problem z bazą mysql. Mam teraz pytanie czy można zrobić kopię Akeeba Backup i ponownie postawić serwer od nowa ale na nowej bazie mysql.
Już chyba wiem skąd takie obciążania były na serwerze kei.pl wszystko to przez bazę mysql, przypomniałem sobie że kiedy tworzyłem ten serwis na joomla to po uruchomieniu go, zacząłem na drugiej domenie stawiać drugi tylko że zapomniałem do niego stworzyć nową bazę i wtedy się to ponakładało oczywiście to moja wina.
Testowałem export i import i zauważyłem że niema jakiegoś wielkiego problemu z exportem i importem bazy mysql.
Z góry serdecznie dziękuje

[trzepiz]

Podczas odtwarzania z kopii (Akeeba Backup) masz możliwość wpisania nowych danych do bazy - więc nie widzę problemu. Jak już przeprowadzić import to zajrzyj do bazy (phpMyAdmin) czy masz w niej tylko tabele od Twojej strony (poznasz po przedrostku tabel) resztę możesz usunąć.

[robertinog]

Witam
Więc przeniosłem stronę na nazwa.pl i w stattystykach widzę że niema problemu z obciążeniem.
Mam natomiast inny problem jak się wpisze w google.pl słowo kluczowe i google znajdzie moją stronę to niestety jest tylko sam adres niema opisu metadanych. Niewiem czy to jest spowodowane tym że miałem plik robots.txt zablokowany na wszystkie roboty, czy jest to jakiś inny problem.
Adres witryny cyfra.info.pl słowa kluczowe np cyfra plus
Z góry dziękuje

---------- Post dodany 01-12-2011 o 16:11 ---------- Poprzedni post był 30-11-2011 o 17:06 ----------

Witam
Serwer już jest na nazwa.pl ale niestety jest inny problem
Przekroczony jest pewien parametr
Liczba wierszy pobranych z baz danych liczona na serwer w ciągu doby przekoroczyła 100 mln
Ilość danych przesłanych z/do baz danych przekroczyła 10GB
Czy można coś z tym zrobić to się chyba tyczy bazy mysql
Z góry dziękuje

[trzepiz]

Liczba wierszy pobranych z baz danych liczona na serwer w ciągu doby przekoroczyła 100 mln

w ciągu doby ?? i ty mówisz o : cyfra.info.pl ??

Ja nie wiem jak wygenerowałeś 100mln na bazie danych ... przy tak prostej witrynie. Czy na 100% masz podłączoną jedną witrynę pod jedną bazę ?
Czy ty w ogóle masz włączone cachowanie ?


Czy można coś z tym zrobić
A możesz mi powiedzieć czy gdziekolwiek takie dane były zawarte w umowie ?? Skąd te limity?

[palyga007]

Kolego to wychodzi "uśredniając" ok 1200 zapytań na sekundę.

Wypis wszystkich komponentów, jeśli to możliwe to poproś o raport, które zapytania wywoływane są najczęściej.

[trzepiz]

W ogóle co ty masz indexowane w Google ?? Większość co "404" .. --->
http://www.google.pl/#sclient=psy-ab&hl=pl&safe=off&site=&source=hp&q=site:http%3A%2F%2Fcyfra.info.pl%2F&pbx=1&oq=site:http%3A%2F%2Fcyfra.info.pl%2F&aq=f&aqi=g4&aql=&gs_sm=e&gs_upl=1126l2052l0l2188l6l5l0l0l0l0l612l1217l2-1.1.0.1l3l0&bav=on.2,or.r_gc.r_pw.r_cp.,cf.osb&fp=f637c022ba68996f&biw=1680&bih=909

[robertinog]

Witam
Wiem że strona jest banalnie prosta do bazy mam podłączoną tylko jedną stronę cachowanie mam wyłączone
Powyłączałem już wszystko co można było wyłączyć

[robertinog]

Witam
Problem został rozwiązany te wszystkie obciążenia na nazwa.pl dotyczące bazy
czyli:
Liczba wierszy pobranych z baz danych liczona na serwer w ciągu doby przekoroczyła 100 mln
Ilość danych przesłanych z/do baz danych przekroczyła 10GB
Czy można coś z tym zrobić to się chyba tyczy bazy mysql
Generował dodatek zwany JVCounter wyłączyłem i teraz jest dużo poniżej 10GB
Chciałem serdecznie wszystkim podziękować za zaangażowanie i pomoc
Jeszcze raz z góry serdecznie dziękuje
Temat do zamknięcia

[palyga007]

@robertinog
A przeczytaj sobie pierwszy post @nikszal w tym temacie.