Googlebot nie indeksuje strony - kontra: Narzędzia dla webmasterów
Strona 1 z 2 12 OstatniOstatni
Wyniki 1 do 10 z 20

Temat: Googlebot nie indeksuje strony - kontra: Narzędzia dla webmasterów

  1. #1
    Nowicjusz pitlab awatar
    Dołączył
    07-01-2011
    Skąd
    Warszawa
    Wpisy
    22
    Punkty
    12

    Domyślny Googlebot nie indeksuje strony - kontra: Narzędzia dla webmasterów

    Witajcie

    Mam stronę http://www.pitlab.pl/ i jej angielskojęzyczną wersję http://www.pitlab.com/. Wersja polska istnieje pod tym adresem od wielu lat. Do zeszłego roku strona była napisana ręcznie w HTMLu. W minionym roku przesiadłem się na efektywniejszą i znacznie lepiej wyglądającą Joomlę, jednak od tej pory mam problem z indeksacją strony przez Google.
    Poszczególne strony starej wersji są przekierowane na nowe wpisami w .htaccess (przekierowanie 301). Strona jest dodana do indeksowania w "Narzędziach dla webmasterów", jest zrobiona mapa i z 39 zgłoszonych adresów w indeksie sieciowym jest 0. Próbowałem mapy w pliku tekstowym, teraz od 3 tygodni mam mapę zrobioną w Xmap i dalej nic. Googlebot jest na stronie prawie codziennie i co najmniej od miesiąca nie pojawił się na nowej wersji strony. Ani razu nie widziałem robota w JoomlaStats (inne roboty są, głównie majestic i bing po kilka razy dziennie). Przegladając logi serwera widzę że chodzi po starej zawartości i mimo przekierowań przez dłuższy czas nie dodał nowej wersji strony do indeksu. Mam masę linków zewnętrznych z całego świata i nic...

    Intryguje mnie jedna rzecz i prosłbym o sprawdzenie jak to jest u Was:
    W "Diagnostyce" "Narzędzi dla webmasterów" jest test "Pobierz jako Googlebot". Strony zwracają status "Sukces" ale resultat jest taki:

    Kod:
    HTTP/1.1 200 OK
    Date: Wed, 02 Feb 2011 08:41:11 GMT
    Server: Apache
    X-Powered-By: PHP/5.2.14
    P3P: CP="NOI ADM DEV PSAi COM NAV OUR OTRo STP IND DEM"
    Set-Cookie: 1b924c6f98e27fbf05292827f4164eff=490c0e3652b133a4a5e8ec786657e679; path=/
    Content-Length: 0
    Connection: close
    Content-Type: text/html
    Intryguje mnie to Content-Lenght: 0
    Mam wrażenie że coś jest ze stroną nie tak i robot traktuje ją jakby nic tam nie było.
    Jak to wygląda u Was?

    Dodam tylko że templatkę zrobiłem samodzielnie w Artisterze - może tutaj jest problem?

    Problem rozwiązany - patrz list #15 na drugiej stronie wątku.
    Ostanio edytowane przez pitlab : 18-02-2011 21:50 Powód: Znalazłem rozwiązanie :-)

  2. Pani Reklamowa
    Pani Reklamowa jest aktywna
    Avatar Panny Google

    Dołączył
    19-08-2010
    Skąd
    Internet
    Postów
    milion
    Pochwał
    setki
  3. #2
    Nowicjusz pitlab awatar
    Dołączył
    07-01-2011
    Skąd
    Warszawa
    Wpisy
    22
    Punkty
    12

    Domyślny

    Szukam dalej. Znalazłem fajną stronę http://www.botsvsbrowsers.com gdzie można testować jak poszczególne roboty widzą naszą stronę. Strona swoją drogą przydaje się do testowania zabezpieczeń w .htaccess przed niechcianymi robotami.
    Gdy wyświetlam swoją stronę widzianą przez googlebota to dostaję komunikat podobny do tego z listu wyżej. Graficznie wyglada to tak:

    Pusty ekran, rozmiar treści 0 bajtów.

    Zauważyłem że oglądając stronę googla widzę w oknie stronę jak w przeglądarce i to mnie natchnęło. Na szybko podgląd strony napisanej w HTMLu:

    Teraz jest treść, rozmiar 3kb. Taką stronę robot może zaindeksować.

    Przypomniało mi się że mam na serwerze starą stronę w Joomli przeznaczoną do testów. Wrzucam jej adres i jest widoczna:


    Próbuję zaleźć przyczynę braku czytelności strony dla robota.
    W pierwszej kolejności przetestowałem pliki .htaccess podmieniając plik z jednego katalogu plikiem z drugiego - to nie one są przyczyną problemów
    Plik robots.txt też nie jest winny (skasowałem i nadal jest źle).
    Pozostaje przetestowanie wszystkich komponentów i ustawień. Poza treścią artykułów wyrównałem już chyba wszystkie różnice w zainstalowanych komponentach. Siedzę już kilka godzin, porównuję i bez rezultatu.

    Może macie większe doświadczenie lub lepsze narzędzia. Spróbujcie zerknąć proszę co może być przyczyną.
    Strony robocze: http://www.pitlab.pl/ oraz http://www.pitlab.com nie są widoczne dla robota.
    Ostanio edytowane przez pitlab : 01-06-2011 19:30

  4. #3
    Wiarus mjmartino awatar
    Dołączył
    03-12-2007
    Skąd
    Będzin /k Katowic
    Wpisy
    2 751
    Punkty
    212

    Domyślny

    http://www.pitlab.pl/
    <meta name="generator" content="Experimental site generator" />
    http://www.pitlab.pl/jo/
    <meta name="generator" content="Joomla! 1.5 - Open Source Content Management" />

    Szukaj przyczyny dlaczego masz Experimental site generator .. może jakiś plugin instalowałeś do czegoś ? bo wątpię że sobie sam to zmieniłeś ;>
    ================================
    Administracja Joomla, Nowości, Artykuły Pomocne Administratorom, Usługi
    >>> https://joomlaguru.pl <<<
    Szkoła Joomla Guru (Kursy Online)
    >>> https://szkola.joomlaguru.pl <<<
    ================================

  5. #4
    Nowicjusz pitlab awatar
    Dołączył
    07-01-2011
    Skąd
    Warszawa
    Wpisy
    22
    Punkty
    12

    Domyślny

    Cytat Wysłane przez mjmartino Zobacz wiadomość
    <meta name="generator" content="Experimental site generator" />
    To akurat zmieniłem ręcznie podmieniając napis w źródłach: libraries/joomla/document/document.php .
    Gdzieś wyczytałem że ludzie miewają problemy z botami logującymi się do systemu i ktoś zalecał wyrzucenie tego metatagu aby ukryć nazwę generatora. Wyrzucić nie potrafiłem, wiec zmieniłem nazwę.
    Właśnie przed chwilą ujednoliciłem wszystkie wersje aby zeznawały że zostały wygenerowane przez "Experimental site generator" i tam gdzie działało działa nadal.

    ps. To była jedyna ręcznie robiona zmiana (jaką pamiętam). Kiedyś mogłem grzebać w wersji działającej, umieszczonej w podkatalogu /jo/. To jest historycznie pierwsza instalacja Joomli. Na niej się uczyłem, testowałem komponenty itp. Natomiast dwie robocze wersje zostały zainstalowane od zera gdy już wiedziałem czego chcę. Świadome, czyste instalacje bez robienia śmietnika.

  6. #5
    Wiarus mjmartino awatar
    Dołączył
    03-12-2007
    Skąd
    Będzin /k Katowic
    Wpisy
    2 751
    Punkty
    212

    Domyślny

    W narzędziach webmastera w google masz coś jak diagnostyka kiedy strona była odwiedzana oraz jak widzi ja BOT
    Więc sprawdź najpierw co google CI pisze
    Bo na moje oko jest poprawnie ;)
    ================================
    Administracja Joomla, Nowości, Artykuły Pomocne Administratorom, Usługi
    >>> https://joomlaguru.pl <<<
    Szkoła Joomla Guru (Kursy Online)
    >>> https://szkola.joomlaguru.pl <<<
    ================================

  7. #6
    Nowicjusz pitlab awatar
    Dołączył
    07-01-2011
    Skąd
    Warszawa
    Wpisy
    22
    Punkty
    12

    Domyślny

    Opisałem to w pierwszym liście w tym wątku. Wszystko to co napisałem tydzień temu jest nadal aktualne.
    Robot jest obecny w domenie, strona .pl ma nawet page rank=3, ale widzi tylko forum i resztki starej zawartości (95% starych stron jest przekierowane na nową zawartość w Joomli).
    Gdy wylistuję w googlach: "site:www.pitlab.pl" to widzę stare strony w HTMLu + pliki i dokumenty na serwerze + forum. Nie ma nic z nowej wersji a jest ona trzeci miesiąc na serwerze, są wskazane mapy, zrobione przekierowania, robot codziennie po tym biega.

    Zauważyłem jeszcze po innych robotach, że jeżeli inny robot wczyta stronę w postaci widocznej to w widzę jego obecność w JoomlaStats, natomiast jeżeli to co widzi robot jest pustą stronę o statusie 200, OK i zerowym rozmiarze strony, wtedy statystyka nie widzi obecności robota. Googlebota jeszcze moje statystyki nie widziały. Kilkanaście innych robotów widzą bez problemu.

  8. #7
    Bywalec loocek awatar
    Dołączył
    10-06-2009
    Skąd
    KrakOFF
    Wpisy
    209
    Punkty
    19

    Domyślny

    3 miesiące dla Wuja to czasem marna chwila
    Ale już coś powinno się ruszać. Myślę, że chodzi o duplikowanie treści, a Ty masz kilka duplikatów. Proponuję usunąć starą wersję html i próbną Joomla! "pitlab.pl/jo".
    No i czy witryna jest zweryfikowana przez wuja??

  9. #8
    Nowicjusz pitlab awatar
    Dołączył
    07-01-2011
    Skąd
    Warszawa
    Wpisy
    22
    Punkty
    12

    Domyślny

    Stara wersja jest usunięta a w plikach HTML zamiast dotychczasowej zawartości jest coś takiego:
    Kod:
    <script language=javascript>
       setTimeout('redirect()',3000); 
       function redirect() 
       { 
          location.href='http://www.pitlab.com/skyassistant-variometer.html'; 
       } 
    </script>
    Potem jeszcze dodatkowo zrobiłem przekierowanie w .htaccess wyglądające tak:

    Kod:
    RewriteRule ^wario_lang_en\.html$ http://www.pitlab.com/skyassistant-languages.html [R=301,L]
    tak więc przeglądarka nie zobaczy starego pliku na serwerze (z wyjątkiem kilku staroci, których nie ma na nowej stronie). Generalnie to działa. Jak wpisuje adres starego pliku to pokazuje się nowy.
    Wersja robocza jest zabezpieczona wpisem w robots.txt:
    Kod:
    User-agent: *
    Disallow: *
    Witryna oczywiście zweryfikowana już daaawno temu, jeszcze w zeszłym roku.
    O ile strona .com jest nowa i tam robot gości zauważalnie rzadziej, to .pl jest mocno zakorzeniona starą treścią i jestem przekonany ze gdyby tylko robot widział treść, to zaindeksował by ją w ciągu tygodnia.
    Tak więc w tej chwili kluczowe jest znalezienie przyczyny dlaczego robot pomimo braku błędu nie widzi treści.

  10. #9
    Wiarus mjmartino awatar
    Dołączył
    03-12-2007
    Skąd
    Będzin /k Katowic
    Wpisy
    2 751
    Punkty
    212

    Domyślny

    No dobrze wejdź na narzedzią tam masz diagnostyka i tam masz pobierz jako GOGLEBOT! skoro twierdzisz że google nie widzi strony to tam tym bardziej nie powinieś jej widzieć Pozatym boty nie widzą jako taka grafiki jak tam wyżej w symulatorze ;) tylko czysty tekst i kodowanie.
    Poza tym albo htaccess albo js nic ci nie da dublowanie. Generalnie nawet wystarczy sam wpis że główna jest przekierowana a gogle już będzie wiedział że zmieniłeś adres i powoli zacznie indexacje na nowo z tym że szybciej niż jak by to była nowa strona.
    Poza tym masz coś takiego jak błędy indexowania co Ci w nich pisze ?
    ================================
    Administracja Joomla, Nowości, Artykuły Pomocne Administratorom, Usługi
    >>> https://joomlaguru.pl <<<
    Szkoła Joomla Guru (Kursy Online)
    >>> https://szkola.joomlaguru.pl <<<
    ================================

  11. #10
    Nowicjusz pitlab awatar
    Dołączył
    07-01-2011
    Skąd
    Warszawa
    Wpisy
    22
    Punkty
    12

    Domyślny

    Cytat Wysłane przez mjmartino Zobacz wiadomość
    No dobrze wejdź na narzedzią tam masz diagnostyka i tam masz pobierz jako GOGLEBOT! skoro twierdzisz że google nie widzi strony to tam tym bardziej nie powinieś jej widzieć Pozatym boty nie widzą jako taka grafiki jak tam wyżej w symulatorze ;) tylko czysty tekst i kodowanie.
    Strony robocze w domenach www.pitlab.pl i www.pitlab.com robot widzi z zerową zawartością. Testowałem kilkanaście stron w obu domenach - wszędzie jest tak samo:
    Kod:
    HTTP/1.1 200 OK
    Date: Mon, 31 Jan 2011 20:26:37 GMT
    Server: Apache
    X-Powered-By: PHP/5.2.14
    P3P: CP="NOI ADM DEV PSAi COM NAV OUR OTRo STP IND DEM"
    Set-Cookie: 1b924c6f98e27fbf05292827f4164eff=8374e39d76e5ed4cd74db6463ec46c1b; path=/
    Content-Length: 0
    Connection: close
    Content-Type: text/html
    Zupełnie analogicznie jak narzędzie ze strony http://www.botsvsbrowsers.com. Tam też strony w tych domenach czytają się z zerową zawartością.
    Oczywiście zgadzam się że robot nie powinien widzieć grafiki tylko tekst, ale wydaje mi się że coś powinien widzieć. Sprawdzałem też jak roboty widzą obce strony w Joomli. Okazuje się że widzą tak samo jak moją testową. Z oczywistych względów nie mogę zobaczyć jak obca strona w Joomli jest widziana w narzędziach dla webmasterów. Prosiłem o to w pierwszym liście, ale nikt mi nie odpowiedział. To byłby jakiś punkt odniesienia. Nie mając tych danych szukam jakichkolwiek innych narzędzi.

    Przed chwilą dodałem do narzędzi webmastera jeszcze stronę testową www.pitlab.pl/jo tyle że ona była do tej pory blokowana przez plik robots.txt i na obecną chwilę nie mogę jej zobaczyć w narzędziach dla webmasterów, bo dostają komunikat: "Odrzucone przez plik robots.txt". Zezwoliłem na jej indeksowanie, ale musze poczekać do następnej wizyty robota żeby ponownie odczytał plik robots.txt. Nie wiem tylko czy to nie będzie strzał w stopę, bo nie chcę aby robot zaindeksował mi tą witrynę, ona ma służyć tylko do testów.

    Cytat Wysłane przez mjmartino Zobacz wiadomość
    Poza tym albo htaccess albo js nic ci nie da dublowanie. Generalnie nawet wystarczy sam wpis że główna jest przekierowana a gogle już będzie wiedział że zmieniłeś adres i powoli zacznie indexacje na nowo z tym że szybciej niż jak by to była nowa strona.
    To od jakiego czasu jest jasne. Sztuczkę z javascriptem znałem od kilku lat i to dałem w pierwszej kolejności a metodę przekierowania w .htaccess poznałem w tym roku. Wiem że metoda z .htaccess jest efektywniejsza, ale to tak jak z antykoncepcją: podwójne zabezpieczenie zwiększa pewność osiągnięcia celu, na wypadek gdybym o czymś zapomniał, lub coś przeoczył. :-)


    Cytat Wysłane przez mjmartino Zobacz wiadomość
    Poza tym masz coś takiego jak błędy indexowania co Ci w nich pisze ?
    Tego niestety jest sporo. Przez jakiś czas jesienią minionego roku była postawiona wersja eksperymentalna (ta w podkatalogu /jo) a w domenie.com była wersja polska i te strony nie były zabezpieczone przed indeksowaniem. Tam było testowane wiele konfiguracji i komponentów, w tym strona dwujęzyczna(PL,EN). Gdy zorientowałem się że w Google robi się śmietnik pełen nieistniejących rzeczy zablokowałem wersje testowe plikiem robots.txt a roboty, które nie chciały słuchać się tego pliku dodatkowo blokuję przez .htaccess.

    Teraz od kilku tygodni systematycznie usuwam te zaindeksowane strony z indeksu. Prawie codziennie coś przybywa i usuwam to przez "Dostęp dla robotów" -> "Usuń adres URL". Tak wiec wszystko jest czyszczone na bieżąco i mam wrażenie że zmniejsza się ilość pojawiania nowych błędów czyli powoli wychodzę na prostą.
    Ostanio edytowane przez pitlab : 10-02-2011 10:15

Strona 1 z 2 12 OstatniOstatni

Podobne tematy

  1. Google Narzędzia dla webmasterów
    przez ppp45 na forum Administracja Joomla!
    Odpowiedzi: 5
    Ostatni post/autor: 13-08-2011, 16:07
  2. googlebot odwiedza strone ale jej nie indeksuje
    przez filis na forum Administracja - ogólne
    Odpowiedzi: 4
    Ostatni post/autor: 04-03-2010, 16:43
  3. Agora - narzędzia forum
    przez DobleYou na forum Administracja składnikami
    Odpowiedzi: 1
    Ostatni post/autor: 28-11-2009, 21:36
  4. Narzędzia projektantów
    przez zwiastun na forum Wygląd, szablony
    Odpowiedzi: 3
    Ostatni post/autor: 16-11-2009, 19:58
  5. Poszukuję narzędzia do artykułów i menu
    przez CartaginaFOX na forum Administracja Joomla!
    Odpowiedzi: 0
    Ostatni post/autor: 29-05-2009, 21:25

Reguły pisania

  • Nie możesz zakładać nowych tematów
  • Nie możesz dodawać wypowiedzi
  • Nie możesz dodawać załączników
  • Nie możesz poprawiać swoich postów
  •