Witam,

Jak ogarnąć robots.txt?

Korzystam z Jsitemap Pro i wygenerowałem mapę, dodałem ją do pliku robots.txt . W pliku mam regułę: Dissallow: /components, która odpowiada za blokowanie stron (test wskazuje) które są w mapie strony. Dodanie reguł zezwalających na korzystanie ze ścieżki, którą pokazuje Google np .css i js. np /components/com_k2/css jest w konflikcie z zabronionym /components. Identyczna sytuacja jest z /modules. Zezwolenie na indeksowanie /components i /modules powoduje indeksowanie wszystkiego co tylko joomla i moduły tworzą, w setkach stron. Usuwanie URL w takich ilościach jest pracochłonne.

W efekcie Google pokazuje na site: wiele niepotrzebnych stron ( np z results12, 24, etc) a "nie dostrzega" tych z mapy strony. Muszę robić coś źle. Próbowałem doczytać, ale co czytam o robots.txt to aby pozwalać na indeksację zdjęć etc.

Czy zatem /components i /modules powinny być Dissallow? Jeżeli tak, to jak odblokować zablokowane zasoby. Oczywiście próbowałem dodawać "Pobierz jako Google" i prześlij do indexu, ale problem raczej narasta. Czy powinienem zostawić ustawienia z Dissallow /components i /modules i przesłać wszystkie strony do Indeksu z Zablokowane Zasoby czy też jest jakaś opcja aby wyszukiwarka zaczeła indeksować to co zgłosiłem w mapie, jest opatrzone follow i jest ładnie zoptymalizowane a ląduje w "Zablokowanych zasobach"?

Jak ktoś miał podobne doświadczenia lub wie jak pomóc, to proszę o info.

pozdrawiam