Причин возникновения дублей страниц множество. Так, например, современные системы управления сайтами не всегда совершенны и могут сами провоцировать создание дублирующихся страниц (из-за программных ошибок). Нередко дубли появляются в связи с человеческим фактором, например, когда один и тот же текст дважды выкладывается на разные страницы. Например, в интернет-магазинах.

Основная проблема в том, что дубли страниц крайне сложно обнаружить до того, как они попали в индекс поисковых систем. Однако после того, как они там оказались, события могут разворачиваться не в вашу пользу, в частности:

  1. Поисковые системы могут решить, что дубли страниц являются более релевантными запросу, чем оригиналы. Это может привести к исключению последних из индекса поисковых систем, что отрицательно скажется на продвижении сайта. Например, пользователь ищет пылесос и попадает на страницу-дубль с этим товаром. Пробыв там некоторое время, он все-таки совершает покупку. В итоге позиции основной страницы сайта в выдаче поисковых систем ухудшатся, а позиции дубля улучшатся. В результате могут происходить такие колебания в выдаче, когда, например, сегодня находится одна страница сайта (на 8-й позиции), завтра — другая, но уже на 50-м месте, а потом только одна из них будет в ТОП 100 или вовсе ни одной.
  2. Ухудшается индексация сайта. Если сайт состоит из большого количества страниц, каждая из которых имеет один или даже несколько дублей, объем ресурса существенно увеличивается. Это может привести к тому, что роботы поисковых систем проиндексируют дубли, но не проиндексируют оригиналы страниц из-за лимита на индексацию.
  3. Ресурс может потерять внешнюю ссылочную массу. Если у вас на сайте представлены уникальные услуги или товары, не исключено, что кто-то порекомендует их своим знакомым на собственном ресурсе и поделится ссылкой. Если человек был на странице-дубле, то сошлется именно на нее. В результате нужная страница не получит дополнительную ссылочную массу.
  4. Сайт может попасть под фильтр за некачественный контент из-за того, что содержит неуникальный контент.

Битые ссылки

Битые ссылки — это ссылки, ведущие на страницы сайта с кодом ответа сервера 404, т. е. на несуществующие страницы (документы, изображения).

Битые ссылки

Пользователь, кликая по ссылке, хочет получить определенную информацию, но в некоторых случаях он может перейти на страницу с 404-й ошибкой. Даже если эта страница будет красиво оформлена, его ожидания в любом случае не будут удовлетворены. Поэтому важно следить за состоянием сайта и избегать битых ссылок. В этом случае доверие пользователей и поисковых систем к сайту вырастет, что благоприятно скажется на продвижении ресурса.

Среди причин возникновения на сайте битых ссылок можно выделить следующие:

  1. Удаление старых страниц/элементов. На сайте могут находиться ссылки на уже удаленные элементы, например, старые прайс-листы, отдельные страницы, PDF-документы и пр. Если пользователь перейдет по ним, ему откроется несуществующая страница.
  2. Изменения на внешних ресурсах, на которые ведет ссылка с вашего сайта. Например, вы разместили ссылку на внешний сайт, а он со временем изменил доменное имя, структуру или удалил страницу, на которую вы ссылались.
  3. Автоматическое обновление данных. Если на вашем сайте автоматически обновляются данные, агрегируемые с внешних источников (например, товары в интернет-магазине синхронизируются со складским программным обеспечением в 1С), ссылки могут устаревать, поэтому необходимо следить за их актуальностью. Желательно делать это системно: даже небольшой сбой в алгоритме обновления может привести к отрицательным последствиям.
  4. Редизайн сайта. При переработке сайта зачастую возникает необходимость переноса информации на новый сайт. Даже если вы ответственно подходите к делу, всегда есть вероятность не заметить ссылку на страницу, которой больше не существует.

Исключить причины появления на сайте битых ссылок достаточно сложно, поэтому необходимо регулярно проверять ресурс на их наличие и своевременно их устранять. При обнаружении битой ссылки необходимо:

Малоинформативные страницы

Отсутствие достаточного количества информации на странице ведет к тому, что она плохо ранжируется или вовсе не будет проиндексирована роботами поисковых систем. Такие страницы рекомендуется своевременно выявлять. Один из простых и доступных методов поиска малоинформативных страниц (за исключением ручной проверки всего меню сайта) — воспользоваться программами для аудита внутренней структуры сайта, например, Xenu Link Sleuth1 или Screaming Frog Seo Spider2, позволяющими отсортировать документы по размеру.

Если найденные малоинформативные страницы важны (являются продвигаемыми), добавьте на них уникальный контент для придания им ценности с точки зрения пользователей, тогда и роботы поисковых систем с большей вероятностью проиндексируют их. Если же найденные страницы неактуальны, запретите их индексацию или вовсе снимите с публикации.

Некорректная настройка Last-Modifed

Last-Modifed — это параметр, который указывает дату последнего изменения страницы. Его необходимо корректно настраивать, чтобы показать роботу поисковой системы, насколько контент, размещенный на странице, актуален, требуется ли его переиндексация.

Last-Modifed влияет на скорость индексации, т. к. роботы реагируют на дату последнего изменения страницы, проверяя только обновленные страницы и не тратя ресурсы на индексацию старых. Если параметр настроен неверно (например, дата установлена на сервере по умолчанию — 1.01.1900), роботы могут не проиндексировать внесенные изменения.

Некорректная настройка Last-Modifed может существенно увеличить время, необходимое для улучшения позиций в выдаче поисковых систем. Чтобы этого избежать, проверьте актуальность данных о дате последней модификации страниц. Это можно сделать через сервис last-modifed.com.

Last-Modifed не найден Last-Modifed найден

Если вы являетесь пользователем WordPress, для настройки Last-Modifed установите соответствующий плагин, предназначенный для настройки этого параметра, например, Add Headers, If Modifed Since или If Modifed Since Header.

Скорость загрузки страниц

Наряду с валидностью ресурса, его кроссбраузерностью, оперативностью ответа сервера, скорость загрузки страниц является одним из ключевых показателей технического состояния сайта.

По данным, представленным на конференции Google Think Performance 2016, примерно 20% пользователей уходят с сайта, не дождавшись его загрузки, если она занимает более 3 секунд. Если ресурс загружается 7 секунд, доля ушедших отказов вырастает вдвое — до 40%.

Скорость загрузки страниц необходимо контролировать, так как:

Скорость загрузки сайта может снижаться по ряду причин:

  1. Время отклика сервера и его загруженность. Под временем отклика понимается время получения ответа на запросы клиента от сервера. Время отклика напрямую влияет на скорость загрузки веб-страниц, поэтому важно его постоянно контролировать. Увеличение времени отклика может свидетельствовать о различных технических работах, проводимых на сервере, его перегрузке. Мониторить это можно, например, с помощью сервиса Host-Tracker.
  2. Неоптимизированные изображения. Для улучшения визуальной составляющей страниц многие владельцы сайтов используют фотографии и картинки высокого разрешения, однако для увеличения скорости загрузки их необходимо оптимизировать.

    Оптимизация изображений производится вручную. Для этого можно уменьшить их размер согласно рекомендациям сервиса PageSpeed Insights. Также можно вставлять в текст небольшие кликабельные изображения, которые раскрываются в полном объеме при клике по ним. Можно использовать различные плагины для CMS, когда при загрузке страницы подгружаются компактные изображения, а уже при клике по ним пользователь видит их в полном размере. Таким образом на первоначальное отображение страницы тратится гораздо меньше времени

  3. Неоптимизированные скрипты. Так как считывание страницы браузером происходит сверху вниз, каждый встроенный скрипт, как правило, требует времени для обработки, после чего считывание страницы продолжится. Важно оптимизировать все скрипты, чтобы они не мешали скорости индексации сайта. Конкретные рекомендации можно получить опять же из сервиса PageSpeed Insights.
  4. Большой объем HTML- и CSS-кода. Рекомендуется максимально его сократить, например, удалить пробелы и переносы строк в кодах HTML и CSS. Однако это уже задача для веб-разработчиков.

Чек-лист

Для повышения скорости загрузки страниц необходимо:

Вирусы

При недостаточной защите сайта на нем могут присутствовать вирусы. Не исключены случаи взлома ресурсов. Зачастую владельцы сайтов не задумываются о том, что их ресурсам могут нанести вред, пока это не коснется их напрямую.

Как понять, что сайт взломали:

При обнаружении на сайте признаков взлома и подозрительных страниц, похожих на дорвеи (страницы, созданные исключительно для перенаправления посетителей сайта на другой ресурс), вы получите сообщение в сервисе Яндекс.Вебмастер или Google Webmaster, содержащее список этих страниц и советы по устранению уязвимостей.

Мы рассмотрели основные технические ошибки, мешающие индексации сайта и его ранжированию. Их необходимо выявить и устранить прежде, чем приступать к следующему этапу продвижения. Стоит отметить, что ни один сайт не застрахован от возникновения новых ошибок, поэтому техническую оптимизацию рекомендуется проводить по мере добавления страниц или изменения старых. Если у вас недостаточно для этого времени и/или ресурсов, Вы можете заказать данную услугу у нас.