Първо решаваме кои страници изобщо трябва да се индексират
Не всеки URL има място в Google. Login, клиентски портал, internal search, тестови параметри и технически API routes не трябва да влизат в sitemap само защото са достъпни през браузър.
Списъкът с indexable страници трябва да съвпада с реалната информационна архитектура: услуги, категории, case studies, полезни статии и контактни страници, които имат самостоятелна стойност.
Robots.txt не е заместител на noindex и authentication
Robots.txt управлява crawling, но не е security слой. Частна страница трябва да бъде защитена с authentication. Страница, която не искаме в резултатите, но трябва да може да бъде обходена, се управлява с подходящ robots meta/noindex според сценария.
За production проверяваме robots файла с реалния домейн и се уверяваме, че staging правила като Disallow: / не са останали след launch.
Sitemap съдържа само canonical 200 OK URL адреси
XML sitemap не е архив на всичко, което някога е съществувало. В него поставяме URL адресите, които искаме търсачката да открива и индексира. Redirect-и, 404, noindex и дублирани параметризирани адреси не трябва да присъстват.
lastmod има стойност само когато отразява реална значима промяна. Ако автоматично го сменяме при всеки build, подаваме шум вместо полезен сигнал.
Canonical, title и description се проверяват върху rendered HTML
Важно е не какво пише в source файла, а какво получава crawler-ът. Правим crawl на production hostname и проверяваме дали всяка важна страница има self-referencing canonical към правилния HTTPS домейн и уникален title.
Descriptions не гарантират конкретен snippet, но са полезна част от контрола върху темата и посланието. Дублирани generic descriptions са сигнал, че страниците вероятно не са достатъчно разграничени.
Internal linking определя кое смятаме за важно
Sitemap помага за discovery, но вътрешните връзки показват архитектурата. Основните услуги трябва да са достъпни от navigation или логични hub pages, а статии и case studies трябва да сочат към релевантни commercial pages.
Проверяваме и anchor текста. 'Научете повече' навсякъде пропуска възможност да се даде контекст както на потребителя, така и на crawler-а.
След launch: Search Console, а не паника
След публикуване подаваме sitemap в Search Console и използваме URL Inspection за малък брой приоритетни landing pages. След това оставяме Google да обходи сайта естествено и следим coverage и crawl проблемите.
Не изпращаме ръчно всяка статия поотделно. Ако сайтът има ясна архитектура, sitemap, internal links и нормална crawlability, системното discovery е по-важно от натискането на Request indexing десетки пъти.
- Начална страница и основни service hubs.
- Най-важните high-intent landing pages.
- Нови страници, които нямат външни сигнали още.
- URL-и след важна canonical/indexing корекция.