ilość danych przesłanych z/do baz danych

[strategist]

Problem z przekraczaniem parametru bezpieczeństwa występuje na państwa stronie

"Maksymalna ilość danych przesłanych z/do baz danych liczona na serwer w ciągu
doby 10 GB" a u pana jest 17
.
Zalozylem juz indexy na bazie danych, wlaczylem cach, wylaczylem wszystkie statystyki, i w .htaccess
.
php_value session.save_path '/sciexka /...session'
php_value session.auto_start 0
Mam joomla 1.0.15
Co moge zrobic by to zoptymalizowac jeszcze by zejsc do 10

[zwiastun]

Raczej nic. Zmienić umowę na hosting.

[keran]

zmniejszyć ilość zapytań wyłączając mniej ważne moduły
zmniejszyć ilość zapytań edytując ich kod (optymalizacja zapytań)
zmienić serwer na lepszy
mozesz tez sprawdzic czy jakis debilny robot spamowy nie generuje ci ruchu typu twenga (w przypadku sklepow)

[strategist]

no to mało optymistyczna odpowiedz... oczywiscie nie stac mnie na serwer dedykowany, a nikt nie chce polecic jakiegos normalnego serwera.... hmmm :(

[strategist]

zmniejszyć ilość zapytań wyłączając mniej ważne moduły
zmniejszyć ilość zapytań edytując ich kod (optymalizacja zapytań)
zmienić serwer na lepszy
mozesz tez sprawdzic czy jakis debilny robot spamowy nie generuje ci ruchu typu twenga (w przypadku sklepow)

poza modułami migawki i nowosci nic nie mam, reszta to content i reklamy, zdjeci bardzo malo, sklepu nie mam ;-) a jak serwer?

[hesar]

ale to ruch do jednej bazy generuje ci 17GB transferu?

generlanie jak na jedna baze to raczej duzo, taki ruch mozna wygenerowac przy baaaardzooo duzej ilosci odwiedzin i duzej ilosci danych w bazie :/
moze daloby sie zmneijszyc zawartosc bazy, ograniczyc ilosc danych pobieranych z bazy, moze zoptymalizowac niektore tabele (wymaga to duuuuzeego wysilku i kupe czasu poswieconego na analize bazy)

[zwiastun]

Aż macie refleks! Musiałem usunąć 14 wiadomości pogaduszki, zanim zdecydowaliście się na GG. Mam nadzieję, że jak się uda, to chociaż opis rozwiązania będzie. Case study. :)

[strategist]

na poczatek dzieki za pomoc hesar.
Jak dobrze zauwazył miałe tabele w bazie z innym przyrostkiem niz jos i je wywalilem, serwer nadal działa ;-)
Dodatkowo zalozylem kolejne indexy ponizej zalaczam mam nadzieje ze o te chodzilo, strona tez nadal chodzi zobaczymy co na to dostawca hostingu
ALTER TABLE `jos_content`
MODIFY COLUMN `introtext` MEDIUMTEXT,
MODIFY COLUMN `fulltext` MEDIUMTEXT,
MODIFY COLUMN `images` TEXT,
MODIFY COLUMN `urls` TEXT,
MODIFY COLUMN `attribs` TEXT,
MODIFY COLUMN `metakey` TEXT,
MODIFY COLUMN `metadesc` TEXT;

ALTER TABLE ``jos_sections`
MODIFY COLUMN `description` TEXT,
MODIFY COLUMN `params` TEXT;

ALTER TABLE `jos_categories`
MODIFY COLUMN `description` TEXT,
MODIFY COLUMN `params` TEXT;

[hesar]

informacja do wszystkich - zakldanie duzej ilosci indeksow nie jest zlotym rozwiazaniem na wszelkie problemy z baza
najpierw trzeba zastanowic sie czy jest taka potrzeba i czy zalozenie indeksu przyniesie efekt

[strategist]

no to sie pospieszylem a jak je teraz usunac?

[Łukasz Razor]

Podpinam się pod temat dostałem takiego maila od netarta. Pomocy!

Informuję, że Państwa serwer przekracza parametr bezpieczeństwa.

Platforma hostingowa współdzieli zasoby sprzętowe serwera między wielu
użytkowników, którym NetArt gwarantuje jednakowo wysoką jakość
świadczonych usług. Przekroczony został parametr bezpieczeństwa

"Maksymalna ilość danych przesłanych z/do baz danych liczona na serwer
w ciągu doby".

Poniższe zapytanie jednorazowo pobiera masę danych z bazy:

SELECT a.id, a.title, a.title_alias, a.introtext, a.fulltext, a.sectionid, a.state, a.catid, a.created, a.created_by, a.created_by_alias, a.modified, a.modified_by, a.checked_out, a.checked_out_time, a.publish_up, a.publish_down, a.images, a.attribs, a.urls, a.metakey, a.metadesc, a.access, CASE WHEN CHAR_LENGTH(a.alias) THEN CONCAT_WS(':', a.id, a.alias) ELSE a.id END as slug, CASE WHEN CHAR_LENGTH(cc.alias) THEN CONCAT_WS(":", cc.id, cc.alias) ELSE cc.id END as catslug, CHAR_LENGTH( a.`fulltext` ) AS readmore, u.name AS author, u.usertype, g.name AS groups, cc.title AS category, s.title AS section, s.ordering AS s_ordering, cc.ordering AS cc_ordering, a.ordering AS a_ordering, f.ordering AS f_ordering FROM jos_content AS a INNER JOIN jos_content_frontpage AS f ON f.content_id = a.id LEFT JOIN jos_categories AS cc ON cc.id = a.catid LEFT JOIN jos_sections AS s ON s.id = a.sectionid LEFT JOIN jos_users AS u ON u.id = a.created_by LEFT JOIN jos_groups AS g ON a.access = g.id !
WHERE 1 AND a.access <= 1 AND a.state = 1 AND (( cc.published = 1 AND s.published = 1 ) OR ( a.catid = 0 AND a.sectionid = 0 ) ) AND ( a.publish_up = '0000-00-00 00:00:00' OR a.publish_up <= '2009-03-27 12:20:53' ) AND ( a.publish_down = '0000-00-00 00:00:00' OR a.publish_down >= '2009-03-27 12:20:53' ) ORDER BY f.ordering

Jak to pozmieniać nie wiem dlaczego to tyle pobiera przed przenosinami byłem na słabiutkim serwerze i nie generowało takiej ilości plików. Fakt że witryna jest popularna ale nie wiem o co u chodzi?

[stasio]

na moje netart obniża transfery i obniża jakość usług...

co mogę doradzić...

Jesli ktoś używa SEF nieche sprawdzi ilosc wierszy w tabeli odpowiadającej adresom....
zauważyłem ze niektóre skrypty typu sh404 czy opensef tworzą z automatycznie adresy np
index.php?option=com_content&task=view&id=1&Itemid=9
index.php?option=com_content&task=view&id=1&Itemid=19
index.php?option=com_content&task=view&id=1&Itemid=3
index.php?option=com_content&task=view&id=1&Itemid=5
index.php?option=com_content&task=view&id=1&Itemid=22
tworząc odnośnik do zwykłego start.html lub /

ja np do samej strony startowej miałem 9tyś linków w bazie warto użyć ignorowania Itemid u urlacha lub usuwanie ich automatycznie.

Z net artu doatłem też takie info, przeczyszenie bazy pomogło....

[ppilus]

Kiedyś podobnego maila dostałem z home.pl
Po usunięciu tysięcy wpisów JoomlaStats problem rozwiązany no i zauważalnie lepszy czas wczytywania stron.

[Łukasz Razor]

Kiedyś podobnego maila dostałem z home.pl
Po usunięciu tysięcy wpisów JoomlaStats problem rozwiązany no i zauważalnie lepszy czas wczytywania stron.

Problem w tym, że ja nie mam zainstalowanego modułu joomlastas

[stasio]

a może masz cos co zbiera dane zewnętrzne? np ktoś nbierze od ciebei kanał rss a mysql zapisuje ip komputera...

[Łukasz Razor]

a może masz cos co zbiera dane zewnętrzne? np ktoś nbierze od ciebei kanał rss a mysql zapisuje ip komputera...

To niestety nie to szukam dalej......

[Łukasz Razor]

na moje netart obniża transfery i obniża jakość usług...

co mogę doradzić...

Jesli ktoś używa SEF nieche sprawdzi ilosc wierszy w tabeli odpowiadającej adresom....
zauważyłem ze niektóre skrypty typu sh404 czy opensef tworzą z automatycznie adresy np
index.php?option=com_content&task=view&id=1&Itemid=9
index.php?option=com_content&task=view&id=1&Itemid=19
index.php?option=com_content&task=view&id=1&Itemid=3
index.php?option=com_content&task=view&id=1&Itemid=5
index.php?option=com_content&task=view&id=1&Itemid=22
tworząc odnośnik do zwykłego start.html lub /

ja np do samej strony startowej miałem 9tyś linków w bazie warto użyć ignorowania Itemid u urlacha lub usuwanie ich automatycznie.

Z net artu doatłem też takie info, przeczyszenie bazy pomogło....


Stasio mam prośbę napisz mi gdzie tego ****************ć, który rekord albo który plik to jest bo tego wyczaić nie mogę (pierwsze w mysql a drugie na ftp). Wpadłem na pomysł ze winą moze byc to ze mialem zainstalowanego User trace to rozpoznawania IP to w cholere zapisywalo tych IP ale wątpie ze to to.

[strategist]

a masz jakies liczniki odwiedzin czy powłaczane statystki na stronie?
duzo masz artykołów na stronie?

[Łukasz Razor]

Mam licznik właśnie go wyłączyłem. Newsów było 8 nic to nie dało włączyłem znowu na 14 bo to nie od tego. To chyba będzie to badziewie do IP. Wykasowałem o 12 w nocy zobaczymy statystyki. Kurde nie wiem co sie skopało na serwerze netlooka nie miałem takich problemów. Tu po przenosinach dołożyłem 3 rzeczy To do User Trace do IP panel do banowania, Shoutbox i chyba tyle. I teraz pobiera 30 GB zapytań. To jest niemożliwe żeby tyle ssało. jak Ktoś ma jakiś pomysł to 1653185 moje GG.

[Łukasz Razor]

Wyłączenie liczników nie wiele dało. fakt faktem, że zmniejszył się przepływ informacji z 34 GB do 17 ale to wciąż dużo za mało. Teraz wyłączyłem Shoutboxa bo to może być to. Sprawdziłem baze i jest w niej ponad 12 tyś newsów. Czy jest możliwe, aby serwer za każdym wejściem na stronę wczytywał całe archiwum? Prosiłbym o rady bo nazwa dała mi 7 dni na usunięcie problemu i pozostało mi już tylko 4 albo nawet 3:( mój portal to www.boxingnews.pl (http://www.boxingnews.pl) . Jeszcze zapytam przy okzaji czy jeżeli to będzie wina newsów a nie chciałbym tracić archiwum, czy jeżeli zrobię dodatkową zakładkę Archiwum i tam przeniosę praktycznie wszystko to czy nie będzie tego wczytywać i zmniejszy się przepływ?

[stasio]

zaraz zaraz.... 34GB danych z bazy masz w ciągu dnia? czy ogólnie? bo widze ze sporo mediów masz na stronie obrazki itd... :|

[Łukasz Razor]

W ciągu jednego dnia mam ruch z bazy do serwera i z powrotem 34 GB! a ma być max 10 ! Zagadaj do mnie na gg 1653185

[Łukasz Razor]

W zakładce Komponenty-Kategorie mam takie info :

Warning: mysql_num_rows(): supplied argument is not a valid MySQL result resource in /home/boxingnews/ftp/libraries/joomla/database/database/mysql.php on line 344

Warning: mysql_num_rows(): supplied argument is not a valid MySQL result resource in /home/boxingnews/ftp/libraries/joomla/database/database/mysql.php on line 344

Co to ??

[Łukasz Razor]

No więc panowie przyczyną tak dużego transferu okazał się Shoutbox Ajax który miałem zainstalowany. Wystarczyło go wyłaczyć ściaganie danych spadło o 90%. To tyle także uważajcie na to badziewie bo mimo, że ładnie wygląda potrafi narobić niezłego spustoszenia na serwwerze.

[stasio]

:) super :)

[strategist]

no niestety wszystkie fajerwerki maja swoje minusy. ja mam strone www.ebrzuszek.pl mialem to samo choc prawie wszystko wylaczylem nadal mialem ponad 10 gb myslalem ze to juz problem ruchu 120 000 uu miesiecznie, ale podzielilem serwis na kilka baz danych i teraz jest ok z 17 Gb spadlo do 3 i tak nie musze miec dedyka. ale w ostatnim czasie nazwa tez miala jakis porblem z serwerami bo mi jednego dnia pokazywalo 13 gb a drugiego dnia za ten sam dzien bylo juz 3gb transferu

[Łukasz Razor]

Za wcześnie wam napisałem, żę naprawiłem problem. W momencie przywrócenia licznika oraz wyłaczenia pamięcyi podręcznej problem pojawił się ponownie. Już nie mam do tego siły teraz wychodzi, że to chyba licznik. Na wszelki wypadek włączyłem podręcznąi zobacze efekty jeżeli to licznik to możecie mi doradzićtaki, który nie będzie mi powodował takich hitów. Ja nie wiem co z tym serwerem nazwa.pl wcześniej miałem słąbszy i mniej znany i nie było takich jaj.

[stasio]

moze uzyj do tego celu innych rzeczy skryptów zewnętrznych niz komponentów joomli... istat jest dobry do monitorowania strony... ja mam nie narzekam na nich

[hesar]

ja tam polece google analitics - uzywam na kilkunastu stronach i sprawdza sie wysmienicie lacznie z latwiejszym generowaniem graficznych raportow dl aklientow (nie obciaza bazy a jedyna jego wada to taka ze przy problemach z polaczeniem z serwerem google zamula troche strone)

[Łukasz Razor]

kurde no wróciłem do punktu wyjścia! Panowie pomocy!

http://zapodaj.net/dc2266c972c4.jpg.html

[pawlikp100]

Moja rada to przeniesienie strony do home.pl (osobiście tak zrobiłem - a mój problem związany był z wiecznym przekraczaniem parametru bezpieczeństwa dotyczącego ilości zapytań do bazy danych w przeciągu godziny) Odpukać narazie na home.pl nie mam problemów z jakimi napotkałem się w Netart - a pieniądze te same.