Wreszcie znalazłem przyczynę braku indeksowania strony przez Googlebota. Problemem była zainstalowana mapa pokazująca lokalizację gości na stronie: "Visitors Google Map - Pro" a konkretnie jej agent, który ma za zadanie zbierać IP użytkowników i zamieniać na lokalizację na mapie. Komponent sam w sobie fajny i efektowny, ale całkowicie blokuje Googlebota. Gdy wyłączyłem komponent to narzędzie http://www.botsvsbrowsers.com widzi moją stronę http://www.pitlab.com/ lub http://www.pitlab.pl/ . Analogicznie strony są widziane "Narzędziach dla webmasterów". Teraz robot widzi ponad 6kB strony. Początek wyglada tak:
Kod:
HTTP/1.1 200 OK
Date: Fri, 18 Feb 2011 17:59:24 GMT
Server: Apache
Set-Cookie: f32fea14c8eb1c0a333976e35d09c918=268e88531c68c6c1be3d7947eaa3ce85; path=/
P3P: CP="NOI ADM DEV PSAi COM NAV OUR OTRo STP IND DEM"
Expires: Mon, 1 Jan 2001 00:00:00 GMT
Last-Modified: Fri, 18 Feb 2011 17:59:36 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Content-Encoding: gzip
Vary: Accept-Encoding
Content-Length: 6825
Keep-Alive: timeout=15, max=100
Connection: Keep-Alive
Content-Type: text/html; charset=utf-8

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en-gb" lang="en-gb" >
<head>
   <base href="http://www.pitlab.com/" />
Celowo wklejam kawałek kodu, bo mnie tego brakowało - nie miałem z czym porównać swojej strony a wszyscy mówili że jest OK a jednak nie było. Nie traktujcie tego proszę jako złośliwość czy prztyczek w Waszą stronę. Po prostu karmię Googla tak żeby potomni mieli szansę znaleźć rozwiązanie gdy będą w podobnej sytuacji.
Mnie kosztowało to dwa tygodnie poszukiwań i przesiadka na nowy serwer. Mimo wszystko warto było szukać, bo to czego się nauczyłem w tym czasie, to moje.

Błąd już zgłosiłem u producenta. Zobaczymy jak się wykaże.
Jako ciekawostkę dodam że nie mogłem znaleźć w wyszukiwarce strony producenta podając pełną nazwę programu. On też ma tą mapę zainstalowaną na stronie i Googlebot omijał go szerokim łukiem stąd nieobecność w SERPach.