Как улучшить краулинговый бюджет | Статьи SEOnews

Как улучшить краулинговый бюджет | Статьи SEOnews
Екатерина Ленева SEO-аналитик KINETICA В образцовом мире количество страничек сайта, которое обязано быть в индексе, одинаково количеству страничек самого сайта. Но так не посещает. Еще почаще краулинговый бюджет расходуется на ветхие и невостребованные странички, наиболее главные остаются незамеченными роботами не попадают в выдачу. 

Оптимизация краулингового бюджета нужна, чтоб не расходовать его впустую, а привлечь сканирующих ботов на главные и нужные разделы и странички, исключить весь мусор из индекса. 

В первой доли статьи рассказывали, как посчитать краулинговый бюджет, а в данной остановимся на советах, которые посодействуют предотвратить или ликвидировать технические оплошности на сайте. Это улучшает краулинговый бюджет и позитивно воздействует на ваши позиции в выдаче. 

Наращивайте ссылочную массу 

Обратные ссылки, которые водят на наш сайт с иных источников, подсобляют установить доверие с поисковыми системами и улучшить авторитет странички, что приводит к увеличению авторитетности сайта. 

Это один из самых главных причин для SEO-продвижения. Наличие у странички обратных ссылок покажет поисковой системе, что сайту доверяют. Поисковый бот будет почаще навещать эти странички, и бюджет сканирования возрастет. 

Получить ссылки с иных страничек можнож различными методами. Вот самые знаменитые: 

  • покупать ссылки на биржах; 
  • развивать крауд-маркетинг – располагать ссылки на форумах и блогах. 

Ежели речь о крауд-маркетинге, ссылки необходимо располагать лишь на трастовых сайтах, которым доверяют поисковики. Делать это необходимо как можнож наиболее природно – без анкора. И даже ежели юзеру кажется, что анкорная ссылка смотрится наиболее природно, увы, поисковые системы считают напротив – они оценивают безанкорные ссылки. 

Образцы положительного и отрицательного применения крауд-маркетинга на тематическом форуме 

Мы в KINETICA придерживаемся всепригодной формулы анкор-листа: 20% анкорных ссылок и 80% безанкорных. На проектах стараемся сводить безанкорные ссылки к минимуму, миксуя их с брендовыми и анкорами-ключевиками. 

Повысьте скорость сайта, чтоб убыстрить проверку страничек роботами 

Чем прытче загружается сайт, тем прытче его просканирует бот. Это воздействует на количество обработанных URL – оно возрастет. Краулинговый бюджет, обычно, меняется прямо пропорционально медли, истраченному на одну страничку. 

Скорость сайта можнож проверить в Google PageSpeed Insights. Сервис подскажет конкретные события, которые можнож предпринять для роста скорости загрузки. 

На одном из наших проектов мы нашли, что бот расходовал на проверку одной странички 6 секунд. Это достаточно много. Напомним, юзер накрывает страничку спустя приблизительно 3 секунды. Мы устремляемся уменьшить это время до 2 секунд. 

В Google PageSpeed Insights низкие результаты были по 2 показателям из 6: сервис отметил великий вес изображений и неподходящий формат – jpeg заместо webp и avif. 

Мы детально углубились в вопросец и узнали: часть карточек продуктов индексировалась, а часть нет из-за того, что в каждой из их было от 5 изображений. Количество фото, их вес и формат затрудняли ботам сканирование. 

Чтоб прирастить скорость загрузки, мы употребляли ускоренные странички. А для прыткой загрузки картинок мы их сжали и конвертировали, потом сохранили их в соотношении 0,25х, 0,5х, 0,75х, 1х, а потом настроили теги для выдачи рисунки в согласовании с размером экрана устройства. 

Спустя полтора месяца мы отметили, что все карточки продуктов начали индексироваться в поисковиках. Бот начал расходовать на проверку одной странички 2 секунды. А потому что на сайте теснее присутствовало много полезного контента, отвечающего запросам юзеров, это вместе с ускорением загрузки воздействовало на краулинговый бюджет – он возрос в 3 раза. 

Избавьтесь от проблемных кодов ответа, чтоб не расходовать время ботов на их проверку 

Ежели контент находится на страничке, код ответа будет 200 («ОК») . Ежели нужна переадресация на иную страничку, код будет 301 («Перейти сюда вместо») . Эти коды числятся образцовыми, потому что водят бота к полезному контенту. 

Но есть и проблемные коды, которые не демонстрируют контент, а просто расходуют время бота. К ним относятся: 

1. 302 редирект – контент временно недоступен, но непременно покажется. К примеру, летом вы убрали раздел с шубами и пуховиками. А бот все лето будет стучаться к вам на сайт в ожидании (как Хатико) контента на этих страничках. 

Ежели на вашем сайте есть странички с кодом ответа 302, советуем проверить их и настроить на 301 редирект. С течением времени 301 закончат сканироваться и заменятся на целевые, и бот не будет каждый разов проверять страничку в ожидании контента. 

2. 404 код – страничка не найдена. По факту это колоченные ссылки, от которых надобно избавляться. Бот будет временами навещать эти странички, ведь ему дается сигнал, что, вероятно, страничка покажется позднее. 

3. 500 код – сервер недоступен. Это явный признак плохого ресурса, на который бот будет заходить все реже для сканирования. 

Такие коды расходуют время краулера на определение их ответа. Это приводит к тому, что на обход подходящих страничек у бота не хватает медли. 

А еще советуем удалить негодные странички с сайта. Проверить их наличие можнож в Яндекс Вебмастере. Сервис посчитает страничку негодной, ежели она является дублем, не содержит видимый боту контент или контент просто не нужен. 

Заходим в «Индексирование» -> «Странички в поиске» -> «Исключенные». 

Потом обретаем в перечне показатель «Негодная или маловостребованная страница». На проекте по продвижению интернет-магазина одежды и обуви он оказался 3,77%. Это хороший итог и представлен он был, в главном, колоченными ссылками (код 404) , которые мы потом удалили. 

Ежели ваш показатель от 20%, советуем колотить тревогу – вероятно, к колоченным ссылкам добавятся дубли страничек и тайный контент. Когда четверть сайта представляет из себя негодные странички, боты могут утратить к нему доверие. Необходимо как можнож быстрее выявить предпосылки и ликвидировать их, чтоб не утрачивать в индексации.  

Актуализируйте robots и sitemap, чтоб бот сообразил структуру сайта 

Robots и sitemap – это xml-файлы, которые подсобляют поисковым ботам верно просканировать сайт и лучше понять его структуру: 

  1. В файле robots.txt накрывают мусорные странички, дубли, странички пагинации. Боты усвоют, что не надо расходовать на их проверку время. Так мы сэкономим краулинговый бюджет. 
  2. В файле sitemap прописывают все странички сайта, которые необходимо проиндексировать. Он носит рекомендательный нрав и дает понять боту ценность по сканированию. 

На одном из проектов, который зашел к нам на аудит, мы нашли полное неимение robots и sitemap. Сканирование и индексация сайта проходили чрезвычайно медлительно и неэффективно из-за переезда с 1-го домена на иной и великого количества редиректов. Юзерам это было незначительно, а боты пробовали исследовать все странички, расходуя на это бюджет. 

Опосля внедрения robots и sitemap количество обращений роботов к сайту со 100 подросло до 300. Краулинговый бюджет возрос в 3 раза, отчего улучшилось сканирование сайта в целом. 

Удалите цепочки редиректов 

Редиректы остаются хорошим решением заморочек с переадресацией: 

  1. При наличии дублей страничек предоставляют понять боту, на какую страничку смотреть. Ежели ранее бот регистрировал по одному запросу две странички, то сейчас он будет знать, что есть одна трафиковая страничка, а все другие переехали на нее. 
  2. Поможет выслать бота или юзера на действующую страницу. Актуально, ежели мы удалили страничку с оплошностями (код 404) , но с превосходными поведенческими факторами и которую глядели боты. Так мы бережём трафик на подходящей нам страничке. 

Но бот при получении редиректа 301 пройдет по всем URL в цепочке и израсходует ваш краулинговый бюджет. Объясняем – бот увидит первую ссылку, а вторую – опосля перехода на нее. И лишь опосля этого перейдет на страничку с правильным URL. 

Цепочка редиректов запутает бота не дозволит ему сходу попасть на подходящую страничку. Повторимся, речь тут конкретно о нескольких страничках с кодом 301, но не о одном редиректе. 

На скрине видно 3 странички на сайте: две фиолетовых – две странички с редиректом, одна зеленоватая – окончательная страничка. Шаг 2 на скрине излишний и отбирает время бота во время сканирования 

А представьте, что таковых цепочек будет много – юзеру это не приметно, но бот будет принуждён переходить от ссылки к ссылке, чтоб отыскать подходящую страничку. 

Мы в KINETICA настраиваем редиректы так, чтоб они высылали бота сходу на релевантную страничку. Другими словами не создаем цепочки, а используем код 301 лишь один разов перед окончательным URL. Кроме этого мы убираем все ссылки с сайта на страничку с кодом 301. 

Удалили цепочку редиректов, оставив перед целевой страничкой лишь одну с кодом 301 

С течением времени странички редиректов уходят из поля зрения поисковиков и индексируются лишь окончательные URL. Это дозволяет сохранить краулинговый бюджет. 

Настройте перелинковку на главные странички сайта 

При сканировании и индексировании сайта бот почаще всего дает предпочтение страничкам, которые имеют вес. Чтоб его создать, необходимо настраивать перелинковку меж страничками.  

Мы используем неповторимые и разнородные анкоры с ключевиками и прибавляем ссылки на странички, подходящие теме. По нашему опыту, наилучшее число внутренних ссылок на страничку – от 7 штук.  

Грамотная структура увеличивает значимость страничек, обращая ссылочный вес в подходящий раздел при поддержки перелинковки. Краулерам это подсобляет выискать нужные странички без излишнего расходования бюджета, а юзеру – живо добиться подходящую страничку. Это улучшает юзабилити сайта и поведенческие метрики, что будет сигналом для ПС к увеличению бюджета. 

Разместите заголовок Last-Modified, чтоб поведать ботам о конфигурациях на странице 

Заголовок Last-Modified извещает браузеру юзера или боту ПС информацию о дате и медли заключительного конфигурации текущей странички. 

Ах так он смотрится: 

Шаблон Last-Modified: <день недели>, <число> <название месяца> <год> <час>:<минута>:<секунда> GMT 

Пример Last-Modified: Thu, 19 May 2022 13:23:00 GMT 

Оптимизация краулингового бюджета в данном варианте происходит за счет того, что бот вначале осмысливает, какие странички добавлялись не так давно или редактировались. И заместо того, чтоб обходить весь сайт, индексация происходит точечно. Это необыкновенно главно для страничек с великим количеством страничек.  

При прибавлении заголовка ускоряется загрузка странички и снижается перегрузка на сервер, а означает, веско ускоряется скорость индексации странички. 

Определите главную страничку и склейте дубли, чтоб бот просканировал страничку с великим трафиком 

Во время сканирования бот может отыскать дубли страничек – одну и ту же страничку под различными URL-адресами. В окончательном счете он даст предпочтение одной из их. 

Казалось бы, все превосходно, но пока следует сканирование и индексация сайта, на дубли расходуется краулинговый бюджет. Ежели таковых страничек немножко, это не критично. Но для больших страничек наличие дублей может приметно сказаться на скорости индексации. К тому же, бот может сам выбрать в качестве главной страничку, которую нам продвигать не надо. 

На проекте по продвижению светового оборудования мы определили пул дублей страничек. К одним и этим же товарам юзер мог дойти различными маршрутами. К примеру, к определенному светильнику – через категорию светильников или через категорию брендов. Другими словами продукт один, а карточки различные. 

Мы определили странички, которые посреди дублей приносили больше трафика и сделали их главными. На другие же поставили атрибут rel="canonical" с адресом главной странички. 

Склейка дублей дозволила сохранить число страничек в индексе, при всем этом не навредить репутации сайта великим количеством неуникального контента. 

Поправьте оставшиеся недостатки технической оптимизации 

Недостатки внутренней оптимизации могут быть некритичны для малого сайта, но с ростом их количества и масштаба сайта они будут творить делему – расходовать время поискового бота и усугублять индексацию сайта. Их необходимо ликвидировать. 

Избавьтесь от цикличных ссылок, чтоб не вводить в заблуждение пользователей 

Цикличная ссылка – та, что ссылается сама на себя. К примеру, вы находитесь на страничке с белоснежной футболкой -> чуток ниже вам предоставляют перейти на страничку с иной белоснежной футболкой -> вы переходите и попадаете на бывшую страничку и никакой иной футболки не видите. 

Во-1-х, это вводит в заблуждение юзера и сердит его, потому что он расходует свое время на поиск. Во-2-х, это приводит к растрате ссылочного веса и расходу краулингового бюджета. 

Для великих страничек это является критическим моментом, потому что может значительно воздействовать на скорость обхода и индексирование страничек. 

Почаще всего циклические ссылки встречаются в хлебных крошках – навигационной цепочке, когда ее хвост кончается активной ссылкой на текущую страничку. Так делать не надо – цикличную ссылку необходимо убрать. 

На фразе «в Европу» отсутствует цикличная ссылка, потому страничка не ссылается сама на себя – это правильно 

Проставьте ссылки на потерянные странички, чтоб юзеры и боты смогли вас найти 

Потерянные страницы – это странички, на которые невероятно попасть через внутренние ссылки. Из-за этого юзеры и боты не сумеют их отыскать. 

Наглядно они смотрятся так: 

 

При обнаружении таковых страничек проанализируйте их: 

  • если потерянная страничка нужна, проставьте на нее ссылки и передайте тем самым внутренний вес с сайта; 
  • если потерянная страничка не нужна, удалите ее. 

Удалите висящие узлы, чтоб не утрачивать ссылочный вес страниц 

Висящий узел – это страничка без исходящих ссылок. Она воспринимает ссылочный вес, но никуда его не дает. Вы будто видите на сайте перечень со статьями на различные темы, переходите на эти странички и доходите до странички, с которой никуда не перейти. 

Юзеру в данном варианте просто неловко – чтоб возвратиться на предыдущую страничку, ему придется надавить клавишу «назад» или зайти в поиск. А бот в данном варианте окажется в тупике, ведь ему некуда переходить со странички, а надавить на клавишу «назад» он не может. 

Почаще всего висящие узлы не представляют суровой трудности, но необходимо проанализировать нрав таковой странички и по способности внести корректировки: 

  • если на страничке содержится контент, который не поместился на главную страницу, удалите висящий узел, вполне перенеся контент на главную страничку; 
  • если на страничке содержится подходящий контент, добавьте на нее наружные ссылки на главные разделы сайта. 

Наглядно они смотрятся так: 

Приготовьтесь к постоянной оптимизации

Поддержание технической оптимизации сайта – процесс безграничный, потому надобно быть готовым непрерывно вносить правки и отслеживать улучшения. 

Ловите наш чек-лист технической оптимизации и используйте его в работе. Это воздействует на краулинговый бюджет и последующее ранжирование вашего сайта.

Статьи

Добавить комментарий

Нам важно знать ваше мнение. Оставьте свой отзыв или ответ

Комментариев 0

Обновления на форуме