Nieprzyjazne URL-e indexowane przez google bota.

[cubase]

Oparłem stronę na schemacie przypisywania pozycji menu do każdego artykułu. Chciałem miec możliwośc przypisania szablonu do widoku otwartego artykułu i przypisania dowolnego modułu do dowolnego artykułu.
Dzięki temu tez mogłem zastosować proste URL bez info o kategorii czy ID artykułu np www strona pl /jakis-tam-tytul-artykulu wszystko było ok, google indexowało chętnie takie proste url, lecz wczoraj zauważyłem, że zamiast takeigo ładnego url zaindeksowało cos takiego: www strona pl /component /content / article?id=25:jakis-tytul-jakiegos-artykulu zamiast prostego url. Skąd to się wzięło i co zrobić, żeby ukryć to dla wyszukiwarek, żeby widziały tylko ładne proste url ustalone dzieki przypisaniu pozycji. Dodam jeszcze że gdy otwiera się przy takim url nie ma juz przypisanego szablonu. Prosze o pomoc

[cubase]

...znalazłem przed chwilą w logach serwera, że google bot miał problem z odnalezieniem robot.txt - umieściłem go w złym miejscu. Poczekam na wizytę bota, i jeśli się potwierdzi, że to było przyczyną wrócę zamknąć temat.

[cubase]

Przed chwilą sprawdziłem logi serwera, google bot przeleciał przez url i wyniki są juz git. Podstawa problemu to błąd z robots.txt albo błędna lokalizacja albo inny problem zwiazany z blednymi wytycznymi w samym pliku ( najlepiej nie kombinować, użyć stockowy plik z joomla - wystarczy zapisac z koncowka txt i wszystko). Gdy już jednak problem sie pojawi to nr 1 - poprawić błędy z robots.txt, sprawdzic w google search console czy nie ma problemow. nastepnie w google search console w parametrach url wpisac parametr component ( lub inny wystepujacy w niechcianym url ) i ustawic jako zaweza - nie wyswietlac usunac z wynikow. Nastepnie zabieg, aby przyspieszyc ponowna indexacje przez bota - usunac w tym samym narzędziu niechciany URL ( tam jest taka funkcja usun tymczasowo z wynikow, wbijamy url ktorego nie chcemy widziec w wynikach google ). Dla swietego spokoju zgłosiłem jeszcze pownowna indexacje do google ale wydaje mi sie, że to miało najmniejsze znaczenie w przyspieszeniu procesu ponownej wizyty bota w tym obszarze. Bądźcie mądrzy, nie popełniajcie cudzych błędów. Pozdro!

[cubase]

Odświeżam temat, google nadal indexuje url-e z parametrami: www.strona.pl/component/content/article?id=5:tytul-artykulu, indexuje również wersje www.strona.pl/tytuł-artykułu ale chciałbym aby w indexach były tylko pożądane odnośniki. Czy ktos z was ma na to sposób?
mój plik robots.txt wyglada tak:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /component/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Sitemap: https://strona.pl/sitemap.xml

Dodam, że w google search console zablokowane sa parametry w url-ach typu id i nadal nic, tzn indexuje takie kwiatki: www.strona.pl/component/content/article?id=5:tytul-artykulu

[Jac]

Dodaj w robots.txt

Disallow: /component/content/article?id=5:tytul-artykulu
Noindex: /component/content/article?id=5:tytul-artykulu

Tylko musisz doczytać, co Google na stosowanie Noindex w pliku robots.txt. Nie jestem teraz pewien, czy bierze to pod uwagę, czy nie.

Trochę lektury:

http://tools.seobook.com/robots-txt/
https://moz.com/learn/seo/robotstxt

[cubase]

Dodaj w robots.txt

Kod:
Disallow: /component/content/article?id=5:tytul-artykulu
Noindex: /component/content/article?id=5:tytul-artykulu
Tylko musisz doczytać, co Google na stosowanie Noindex w pliku robots.txt. Nie jestem teraz pewien, czy bierze to pod uwagę, czy nie.

To każdy artykuł musiałbym w ten sposób blokować, musi być inne wyjście

[Jola]

Powodem powstawania takich adresów jest brak Itemid w linku.
Tego typu linki mogą być generowane przez różne rozszerzenia, często moduły.
Na tym forum ten temat był wielokrotnie poruszany.

[cubase]

Powodem powstawania takich adresów jest brak Itemid w linku.
Tego typu linki mogą być generowane przez różne rozszerzenia, często moduły.
Na tym forum ten temat był wielokrotnie poruszany.

Dzięki za odpowiedź. Znalazłem wpis na ten temat na forum, odnośnie Itemid. Jednak dotyczy on starej wersji Joomla, sugestie ustawień jakie tam podano nie istnieją w 3.6.5. Ponad to nie wiem czy to istotne, ale wszystkie artykuły są podpięte pod osobne "niewidoczne" menu ( w celu podpinania dowolnych modułów i szablonów do różnych artykułów ).

[cubase]

witam,
Dziękuję za sugestie sprawdzenia forum w poszukiwaniu wielokrotnie poruszanego tematu. Owszem temat poruszany, lecz w żadnym wątku NIE BYŁ rozwiązany.
linki z /component/content/ w indexie google nie mają nic wspólnego z robots.txt, itemid, podwójnymi linkami, strukturą menu, kategorii czy innymi głupotami sugerowanymi przez nawet najlepszych na tym forum. Powód indexowania takich linków przez google jest banalny, chętnie pomogę na priv, pozdrawiam.

[Jac]

@cubase, chyba nie czytałeś ze zrozumieniem. Podałem Tobie sposób na zablokowanie tego typu linków, żeby nie indeksowały się w Google.

Skoro twoim zdaniem problem indeksowania tego typu adresów URL jest banalny i znasz rzekome rozwiązanie, to podziel się tym na publicznym forum, a nie robisz teraz z tego tajemnicę.