Noindex

Co to jest Noindex?

Noindex to dyrektywa, którą dodajemy do strony HTML aby powiedzieć Google’owi aby nie dodawał tej strony do swojego indeksu wyszukiwania. Strona będzie nadal dostępna dla użytkowników którzy ją odwiedzą bezpośrednio, ale nie pojawi się w wynikach wyszukiwania Google’a. W branży adult SEO, noindex jest ważnym narzędziem do zarządzania widocznością naszych stron i ochrony naszej reputacji przed stronami które nie chcemy aby były widoczne publicznie w wynikach wyszukiwania, ale chcemy je zachować dla użytkowników zalogowanych czy dla wewnętrznych celów.

Noindex może być wdrożony na dwa sposoby: za pomocą meta tagu w sekcji head strony HTML, lub za pomocą nagłówka HTTP. Meta tag wygląda tak: `<meta name="robots" content="noindex">`. Nagłówek HTTP to: `X-Robots-Tag: noindex`. Oba podejścia działają, jednak meta tag jest bardziej powszechny i łatwiejszy do implementacji na większości platform. Możesz również używać `noindex, follow` aby powiedzieć Google’owi aby nie indeksował stronę, ale podążał za linkami na niej.

Implementacja noindex’u jest jednym z najważniejszych narzędzi do zarządzania crawl budget’em i kontroli tego jak Google widzieć naszą domenę.

Praktyczne zastosowanie noindex

W naszych kampaniach adult SEO, używamy noindex dla kilku kategorii stron. Po pierwsze, dla stron archiwów i starszych treści które mają już sporo czasu i nie generują znaczącego ruchu. Gdy mamy tysiące artykułów które są relevantne historycznie ale już nie przyciągają użytkowników, czasami je noindex’ujemy aby oszczędzić crawl budget dla bardziej ważnych stron.

Po drugie, dla stron duplikatów. Czasami ze względu na strukturę systemu, mamy kilka wersji tej samej strony – z parametrami, z różnymi sortowaniami, z filtrowaniem. Zamiast usuwać te strony, możemy je noindex’ować. Google będzie śledzić linki na nich ale nie będzie ich indeksować i wyświetlać w wynikach. To lepsze podejście niż usuwanie bo zachowuje strukturę strony.

Po trzecie, dla stron tymczasowych lub testowych. Jeśli pracujemy nad nową sekcją strony czy testujemy nowe rzeczy, możemy umieścić noindex na tych stronach aby przypadkowo nie trafiły do indeksu Google’a. To zapobiega wyświetlaniu niedokończonych lub błędnych stron w wynikach wyszukiwania.

Po czwarte, dla stron z wrażliwą zawartością którą chcemy aby była dostępna tylko dla zalogowanych użytkowników. Możemy noindex’ować te strony aby nie pojawiały się w wynikach wyszukiwania, ale były dostępne dla użytkowników z odpowiednim dostępem. W branży adult, możemy mieć sekcje dla premium members – noindex’owanie ich ochrania prywatność treści.

Noindex a crawl budget

Jednym z głównych powodów używania noindex jest oszczędzanie crawl budget. Crawl budget to liczba stron którą Google skanuje na naszej domenie w danym dniu. Dla małych domen, ten budżet jest ograniczony – Google może skanować tylko 50 stron dziennie. Dla dużych domen może to być tysiące. Jeśli mamy wiele stron które nie chcemy indeksować, możemy je noindex’ować aby Google marnował mniej czasu na ich skanowanie i więcej czasu na skanowaniu ważnych stron.

W branży adult gdzie czasami mamy tysiące stron z dynamiczną zawartością generowaną proceduralno (tauschy tausands variations strony), zarządzanie crawl budget jest krytyczne. Jeśli Google marnuje czas na skanowaniu stron które nie chcemy indeksować, to mniej czasu poświęca stronom które chcemy indeksować. To może prowadzić do zbyt powolnego odkrywania nowych treści i aktualizacji istniejących stron.

Stosujemy kombinację podejść – noindex dla stron które naprawdę nie chcemy indeksować, robots.txt dla zapobiegania skanowaniu stron które naprawdę nie powinny być skanowane, oraz sitemap XML aby wskazać Google’owi które strony powinno skanować w pierwszej kolejności.

Monitorowanie noindex w praktyce

W naszych praktykach adult SEO, regularnie sprawdzamy które strony mają noindex. Google Search Console pokazuje nam dokładnie które strony są zablokowane przed indeksacją ze względu na noindex. Czasami strony które ustawiliśmy na noindex, mają duży ruch z linków bezpośrednich czy social media. Jeśli strona ma ruch, może powinienem rozważyć usunięcie noindex i pozwolić jej być indeksowaną.

Czasami też zauważymy że strona którą chcemy indeksować, ma noindex. Może to być przypadkowe – np. przypadkowo dodane przez system przy aktualizacji strony. Kiedy to odkrywamy, szybko usuwamy noindex i informujemy Google’a aby re-indeksował stronę poprzez Google Search Console, klikając "Request indexing".

Ważne jest dokumentowanie powodów dla których każda strona ma noindex. To pomaga nam zrozumieć decyzje w przyszłości i zapobiega przypadkowym błędom. W branży adult gdzie strony mogą się zmieniać i ewoluować, ta dokumentacja jest cenna dla długoterminowego sukcesu.

Różnica między noindex a robots.txt

Ważne jest zrozumienie różnicy między noindex a robots.txt blocking. Noindex pozwala Google’owi skanować stronę ale nie indeksować jej – to znaczy że Google zobaczy linki na stronie i przejdzie je. Robots.txt blocking mówi Google’owi aby nie skanował strony w ogóle. Ta różnica jest ważna.

Ogólnie rzecz biorąc, jeśli chcesz aby linki na stronie były śledzzone, używaj noindex. Jeśli chcesz aby Google kompletnie ignorował stronę, użyj robots.txt blocking. Jednak robots.txt blocking ma wadę – jeśli inne strony linkują do zablokowanej strony, Google może wciąż je indeksować (tylko bez crawlowania jej zawartości).

Noindex vs. Usunięcie strony

Czasami musimy zdecydować czy noindex’ować stronę czy ją całkowicie usunąć. Noindex oznacza że strona nadal istnieje i jest dostępna dla użytkowników ale nie pojawi się w wynikach wyszukiwania. Usunięcie oznacza że strona zostaje całkowicie usunięta z serwera (409 status code).

Czasami noindex jest lepszą opcją. Jeśli strona ma backlinki które wskazują na nią, poprzez noindex zachowujemy tę stronę dostępną dla użytkowników którzy przychodzą z zewnętrznych stron. W branży adult gdzie czasami backlinki mogą być cenne, usuwanie stron może być mniej optymalnym wyborem.

Jednak czasami musisz całkowicie usunąć stronę – jeśli na niej nic nie ma wartościowego, jeśli jest to zawartość którą naprawdę chcemy ukryć, jeśli strona ma błędy czy problemy techniczne. W tych przypadkach usunięcie jest lepszą opcją niż noindex. Zalecamy rozważne podejście do każdej strony – czy powinna być indeksowana, czy noindex’owana, czy całkowicie usunięta.