Jakiś czas temu zdarzył mi się przypadek, że nowo postawione fora oparte o skrypt PunBB nie chciały mi się zindeksować. Problem dotyczył skryptu w wersji 1.3 oraz kilku domen, dlatego stwierdziłem, że coś musi być nie tak. Po 4 tygodniach oczekiwania przystąpiłem do działania.

Pozaglądałem w logi, dokładnie przejrzałem skrypt, przetestowałem serwisy narzędziami SEO i nic. W końcu wróciłem do logów i w moje oczy rzucił się taki wynik:

6.249.65.37 - - [18/Dec/2009:10:14:43 +0100] "GET /robot.txt HTTP/1.1" 503 622 "-"
"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Okazało się, że skrypt zwraca nagłówek 503 dla plików które nie istnieją, zamiast wysłać nagłówek 404. Jako, że nie wrzuciłem na serwer pliku robots.txt nagłówek taki był też zwracany dla tego pliku. Robot Google widząc że robots.txt zwraca błąd 503 nie przechodził do dalszej indeksacji strony, tylko “odchodził” i wracał po kilku dniach (wtedy napotykał na ten sam problem). Po poprawie skryptu Punbb w tydzień strony już były w indeksie.

Jak rozwiązać problem indeksowana w Punbb?

Zmian należy dokonać w pliku functions.php w liniach 2760 oraz 2978. W domyślnym pliku mamy w nich zapis:

header('HTTP/1.1 503 Service Temporarily Unavailable');

Podmieniamy na:

header('HTTP/1.1 404 Not Found');

I powinno wszystko grać

Podsumowując, widać, że Googlebot bierze sobie “do serca” co w pliku robots.txt się znajduje i sprawdza go dokładnie. Uważajmy zatem na głupie błędy – w tym właśnie nagłówki zwracane przez serwer/skrypt.