/Componets i Zablokowane zasoby w Google Search Console

[Lunapolis]

Witam,

Jak ogarnąć robots.txt?

Korzystam z Jsitemap Pro i wygenerowałem mapę, dodałem ją do pliku robots.txt . W pliku mam regułę: Dissallow: /components, która odpowiada za blokowanie stron (test wskazuje) które są w mapie strony. Dodanie reguł zezwalających na korzystanie ze ścieżki, którą pokazuje Google np .css i js. np /components/com_k2/css jest w konflikcie z zabronionym /components. Identyczna sytuacja jest z /modules. Zezwolenie na indeksowanie /components i /modules powoduje indeksowanie wszystkiego co tylko joomla i moduły tworzą, w setkach stron. Usuwanie URL w takich ilościach jest pracochłonne.

W efekcie Google pokazuje na site: wiele niepotrzebnych stron ( np z results12, 24, etc) a "nie dostrzega" tych z mapy strony. Muszę robić coś źle. Próbowałem doczytać, ale co czytam o robots.txt to aby pozwalać na indeksację zdjęć etc.

Czy zatem /components i /modules powinny być Dissallow? Jeżeli tak, to jak odblokować zablokowane zasoby. Oczywiście próbowałem dodawać "Pobierz jako Google" i prześlij do indexu, ale problem raczej narasta. Czy powinienem zostawić ustawienia z Dissallow /components i /modules i przesłać wszystkie strony do Indeksu z Zablokowane Zasoby czy też jest jakaś opcja aby wyszukiwarka zaczeła indeksować to co zgłosiłem w mapie, jest opatrzone follow i jest ładnie zoptymalizowane a ląduje w "Zablokowanych zasobach"?

Jak ktoś miał podobne doświadczenia lub wie jak pomóc, to proszę o info.

pozdrawiam

[mjmartino]

Zerknij na mój wpis na ten temat (https://mjmartino.eu/home/biografia/item/221-jak-mnie-widzi-robot-googla.html)
Mógłbym ci podać gotowe rozwiązanie ale wówczas nici z nauki ;)

[Lunapolis]

Dzięki, jakieś swiatełko w tunelu. Artykuł faktycznie lepszy niż większość odpowiedników. Sprawdzę pluginy. Dodałem w zasadzie jedną regułę:

Disallow: /*?*

aby uniknać duplikowania treści z linków NON-SEF.

Jeżeli możesz, rzuć okiem na aktualną wersję reguł w Robots.txt . (wyciąłem górę i mapę) Google search console pokazuje ostrzeżenia, żółtą ikonkę przy: Dissallow: /components

Allow, dodałem wszystkie ścieźki pokazane w w Zablokowane zasoby.

Pytanie czy coś trzeba jeszcze poprawić aby Google nie indeksowało niepotrzebnych stron oraz jak usunąć konflikt z Dissallow: /components.
Czy mogą być reguły Dissallow: /components jednocześnie z Allow /components jak tutaj: Allow: /components/com_jcomments/js

Wielkie dzięki że odpisałeś, męczyło mnie to trochę ;)


User-agent: *Allow: /*.js*
Allow: /*.css*
Allow: /*.png*
Allow: /*.jpg*
Allow: /*.gif*
Allow: /modules/mod_bootstrapmegamenu/js
Allow: /modules/mod_bootstrapmegamenu/assets
Allow: /modules/mod_bootstrapmegamenu
Allow: /plugins/system/jcemediabox/themes/standard/css
Allow: /plugins/system/jcemediabox/js/
Allow: /plugins/system/jcemediabox/css
Allow: /components/com_k2/css
Allow: /components/com_jcomments/libraries
Allow: /components/com_jcomments/tpl
Allow: /components/com_jcomments/js
Allow: /components/com_virtuemart/assets/
Allow: /modules/mod_virtuemart_cart/assets/
Allow: /modules/mod_jo_vm_responsive_grid_gallery
Allow: /plugins/system/jcemediabox/themes/standard/tooltip.html
Allow: /plugins/system/jcemediabox/themes/standard/popup.html
Allow: /modules/mod_bootstrapmegamenu/assets/slicknav.css
Allow: /modules/mod_bootstrapmegamenu/assets/superfish.css
Allow: /modules/mod_bootstrapmegamenu/js/superfish.js
Allow: /modules/mod_bootstrapmegamenu/assets/superfish.css

Disallow: /*?*
Disallow: /administrator/

Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Dissallow: /components
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/


Disallow: /tmp/

pozdrawiam

[mjmartino]

Mogą być reguły Allow jak i Disallow
Dodaj sobie jeszcze te dwa wpisy bo widzę że używasz k2 :)

Allow: /media/k2/items/cache/
Allow: /media/k2/items/assets/

[Lunapolis]

OK thx, dodam, pobserwuję kilka tygodni. W razie czego się odezwę ;).
Powinno być lepiej.

Nie wiem tylko dlaczego GSC pokazuje na regule Dissallow: /components ostrzeżenie na zółto.
Dedukowałem że są reguły i allow i dossalow na tym katalogu.

Pozdrawiam