20 инструментов для проверки ссылочной массы сайта

Проверка сайта на битые ссылки с помощью Xenu

Существует множество онлайн-сервисов и программ, предоставляемых услуги проверки ссылочной массы. Для поиска битых ссылок я использую  программу Xenu. Несмотря на заброшенность проекта, который не обновляется уже несколько лет, Xenu отлично справляется с возложенными на неё задачами. О других задачах, которые можно решить с помощью этой программы, мы поговорим в следующих статьях. Вот мои настройки для Xenu:

Для запуска проверки нажимаем File -> Check Url либо нажав на иконку чистого листа в панели инструментов программы. После того, как Xenu проверит ссылки, сортируем результат по статусу. Вот такую картину я увидел, проверив один из наших с Александрой сайтов

Как мы видим, красным отмечены ссылки, к которым программа не смогла достучаться. Среди них есть и служебные страницы админ части WordPress. Если они закрыты от индексации, ничего страшного в этом нет. Нас же интересуют ссылки, которые ведут на несуществующие посторонние ресурсы.

Посмотреть более детальную информацию о битой ссылке можно нажав правой клавишей на ней и выбрав пункт «Url properties». Таким образом, мы можем увидеть информацию о местоположении ссылки на нашем сайте, куда ведёт эта ссылка и какой title используется.

Обращаю внимание, не все ссылки, которые подсвечиваются красным — битые. Если статус «not found» или «no such host», то это действительно битые ссылки

Другие же статусы лучше проверить. Возможно, робот при проверке просто не дождался ответа от ресурса, либо используется перенаправление и т.д.

Все битые ссылки, которые были обнаружены, нужно удалить или изменить. Делать придётся это вручную. В случаях, если битая ссылка  возникла в результате ошибки при написании адреса, нужно её исправить.

Поиск и удаление битых ссылок на WordPress

Выше описанный метод универсальный. Но если вы пользуетесь WordPress, то справиться с представленной задачей можно намного проще. Для поиска, удаления или изменения битых ссылок мы можем использовать соответствующие плагины. Я бы рекомендовал плагин Broken Link Checker. Установка стандартная, быстро и качественно находит битые ссылки и тут же даёт возможность их исправить. Единственное, хотелось бы сразу предупредить Вас, что плагин любит кушать и без того ограниченные ресурсы. Поэтому, я рекомендую периодически включать данный инструмент для поиска соответственных проблем. Проверку достаточно делать раз в месяц. Это снизит нагрузку на ресурс и даст ясную картину состояния исходящих ссылок.

Как искать неработающие ссылки

Находить битые ссылки на сайте можно по-разному. Далее мы подробно расскажем о тех способах, которые не требуют платного софта и гарантируют максимально точную проверку. В обзор включены 100% бесплатные инструменты — без триалов, ограничений по количеству проверок и без урезанного функционала.

Яндекс.Вебмастер

Проверить сайт на битые ссылки можно в Яндекс.Вебмастере. Для этого нужно открыть панель управления и перейти в разделы «Индексирование» — «Статистика обхода».

Далее, переключиться на вкладку «Все страницы», в фильтре «Код ответа» выбрать 404 Not Found и нажать «Применить».

Список проблемных ссылок можно выгрузить в формате XLS или CSV таблиц.

Google Search Console

Аналогичную процедуру можно провести с помощью Google Search Console. Здесь работает следующий алгоритм действий. Заходим в панель управления, переходим в разделы «Индекс» — «Покрытие», и во вкладке «Ошибки» получаем развернутый отчет о текущих недочетах на сайте.

Xenu Link Sleuth

Проверенный инструмент для эффективного поиска битых ссылок. Xenu Link Sleuth — это полностью бесплатная программа, устанавливаемая на ПК. По функциональным возможностям она является полноценным аналогом таких популярных коммерческих анализаторов как Netpeak Spider или Screaming Frog SEO Spider.

Несмотря на то, что Xenu не обновляется с 2010 года, она по-прежнему ценится многими специалистами как многофункциональный инструмент для всестороннего аудита внутренней структуры сайта. Помимо поиска неработающих ссылок с ее помощью можно решать много других SEO-задач:

  • автоматически генерировать Sitemap;
  • находить страницы с большой задержкой отдачи;
  • фильтровать документы с неуникальными тайтлами;
  • искать страницы с большим уровнем вложенности;
  • смотреть статистику внутренних и внешних ссылок по конкретной странице;
  • искать картинки с непрописанным атрибутом alt, оптимизируя изображения на сайте.

При всех своих возможностях программа предельно проста в освоении. Из относительных недостатков — устанавливается только на Windows.

LinkChecker

Ссылочный валидатор со свободной GPL-лицензией. Инструмент доступен в виде десктопной программы. С его помощью можно проверить ссылки как на отдельных страницах, так и полностью просканировать весь сайт. В отличие от Xenu Link Sleuth этот софт можно использовать не только на Windows, но и на Linux или MacOS. Из недостатков: придется потратить время на то, чтобы разобраться с инсталляцией и понять, как работает программа. Интерфейс на английском.

Screaming Frog SEO Spider

SEO фрог – это известный каждому оптимизатору инструмент для проведения анализа сайта. Программа устанавливается на компьютер, бесплатная версия имеет ограничение на 500 проверяемых урлов. Отлично подходит для владельцев сайтов, которые занимаются самостоятельным продвижением собственного проекта. В случае больших команд обязательно необходима покупка лицензии.

Brokenlinkcheck

Среди онлайн-инструментов для поиска битых ссылок лучшим из решений, пожалуй, является сервис www.brokenlinkcheck.com. Сразу отметим, что это условно бесплатный инструмент, но с весьма привлекательными условиями пользования. Free-версия предусматривает бесплатную проверку 3000 страниц сайта без ограничений в количестве сканируемых ссылок. Для использования инструмента на потоке такого лимита окажется недостаточно, но он отлично подойдет тем, кто хочет провести единоразовый аудит собственного проекта.

Сервис максимально прост, понятен и не требует регистрации. Все что нужно — ввести адрес интересующего сайта и запустить сканирование. Алгоритм подготовит развернутый отчет, в котором будет представлена информация не только по внутренним, но и внешним URL. Валидатор с высокой точностью определит битые ссылки и покажет, где именно находятся проблемные элементы в вашем HTML-коде.

Broken Link Checker — плагин для WordPress

Разговор о ссылочных валидаторах был бы неполным без затрагивания темы плагинов для WordPress. Лучшим бесплатным решением в этом вопросе единогласно считают модуль Broken Link Checker. Он не самый простой в освоении, но потратить время на то, чтобы разобраться в нем — точно стоит, если вы владелец сайта на WordPress. Основное назначение плагина поиск и отслеживание битых ссылок. Он сканирует весь контент на сайте, включая комментарии, блогроллы, содержимое пользовательских полей и т.д., уведомляя о наличии выявленных проблем в панели управления или по почте. Помимо этого плагин обнаруживает недоступные изображения и ошибочные редиректы. Редактировать битые ссылки можно прямо из панели модуля, что значительно ускоряет работу.

Как удалить битые ссылки с сайта?

Лучше всего не рабочую ссылку заменить на новую — это будет самый оптимальный вариант. Можно конечно настроить 301 редирект (перенаправление со старого адреса на новый). Этот вариант с редиректом подойдет только в тех случаях, когда нет возможности заменить на рабочую.

Если вы редактировали страницу (запись) и изменили ее адрес, то вордпресс сам сделает для этой записи (страницы) перенаправление. Так же в этом вам может помочь многофункциональный SEO плагин, в нем есть функция 301 редиректа и много различных фишек по оптимизации сайта.

А в моем случае, ссылки, которые шли через домен freedominlife, их нужно заменить на новые или удалить вообще.

Чем опасны битые ссылки для сайта

Среди вебмастеров бытует мнение, что битые ссылки негативно сказываются на продвижении проекта. Многие утверждают, что они могут выступать сигналом для поисковых роботов о том, что на сайте много некачественного и устаревшего контента. Официальных же данных, подтверждающих эти мнения, нет.

Также некоторые сеошники считают, что из-за таких ссылок расходуется краулинговый бюджет. Другими словами, это лимиты по количеству URL-адресов сайта, которые сканирует поисковая система. Но представитель Google Джон Мюллер развеял этот миф, когда сказал, что ошибки 404 никак не сказываются на ранжировании проектов.

Единственное, что можно с уверенностью сказать — битые ссылки влияют на поведение пользователей. Например, посетитель заинтересован в прочтении статьи, переходит по ссылке, а ему выдает 404 ошибку. В таком случае, он быстро принимает решение: вернутся назад, воспользоваться поиском/меню или уйти с сайта. Чаще всего, посетители выбирают самый простой вариант.

Основная опасность мертвых ссылок — ухудшение поведенческих факторов, которые принимают участие в ранжировании.

Способы поиска битых ссылок внутри сайта

1. Сканер Netpeak Spider

Существует простой бесплатный сканнер сайта — «Netpeak Spider». Его даже не нужно устанавливать на компьютер, т.к. это одиночный .exe файл (приложение). Просто запускаете его, вбиваете свой URL и нажимаете сканировать. Он пробежится по всем страницам и выдаст следующую информацию:

  • коды ответов страниц;
  • адрес страницы;
  • входящие ссылки на страницу;
  • Покажет мета тег Description;
  • Покажет мета тег <title>;
  • Покажет ключевые слова;

Можно выделить совпадающие заголовки. То есть найти совпадающие дубли.

Можно отсортировать ссылки по количеству ссылок ведущих на каждую страницу. Сразу станет понятно сколько страниц ссылается на какую-то конкретную. Это нужно для тех, кто хочет равномерно распределить вес по сайту.

Из минусов этой программы: отсутствует проверка внешних ссылок.

2. Панель Яндекс Вебмастера/Google WebMaster

В панелях Яндекс и Google вебмастер есть специальные разделы, где показываются битые ссылки. Единственным минусом этого способа является то, что частота обновления низкая. Плюс здесь можно проверять только свои сайты.

Например, в панели Яндекс Вебмастера нужно открыть нужный сайт, далее «исключенные страницы»:

Нажимаем на «HTTP-статус: Ресурс не найден (404)» и попадаем на список битых ссылок:

Видно, что дата последней проверки очень сильно запаздывает от актуальной даты (на полгода и даже год).

В панеле Google Вебмастер всё аналогично: откройте нужный сайт и выберите: «Диагностика» – «Ошибки сканирования».

3. Онлайн сервис Broken Link Check

Broken Link Check проверяет не только внутренние ссылки, но еще и внешние. Проверка отнимает длительное время.

Для владельцев сайтов на WordPress есть возможность скачать плагин Broken Link Checker.

4. Xenu Link Sleuth

Пользоваться программой очень просто. Открываете ее, далее в меню выбираете Check Url:

Вбиваете URL и нажимаете проверка:

Программа Xenu проверить внешние и внутренние ссылки на их доступность. После проверки будет написано количество входящих и исходящих ссылок с каждой страницы.

Кстати, с помощью этой программы можно создавать xml карту сайту.

Поиск с помощью плагина для WordPress, который называется Broken Link Checker

Те, кто имеет сайт на WordPress счастливчики, так как для поиска есть замечательный плагин Broken Link Checker. Скачать его можно по адресу wordpress.org/plugins/broken-link-checker/changelog

Как скачаете, установите его и активируйте через админку WordPress. После этого он начнет сразу же работать и искать на вашем ресурсе проблемные ссылки.

Для того чтобы посмотреть что плагин нашел, зайдите в админку, нажмите на «Настройки» и выберите «Проверка ссылок». После этого перед вами появится окно с информацией по поиску.

Во вкладке «Look For Links In» можно задать настройки поиска. То есть показать плагину, в каких документах ему необходимо производить поиск.. Во вкладке «Which Links To Check» указать, ссылки с каких объектов будут искаться, а также прописать ключевые слова, и плагин не будет производить поиск среди ссылок, которые содержат ключевые слово. Вкладка «Дополнительно» служит для того, чтобы задать порог загруженности сервера, при превышении  он остановит свою работу.

Для того чтобы посмотреть найденные битые ссылки, нужно в админке нажать на «Инструменты» и выбрать «Неправильные ссылки». Если такие будут, то он вам их покажет. У меня ,как видно, их нету, так как я  уже их исправил. Когда писал статью, я одновременно проверял ресурс на битые линки и сразу же их удалял.

Если же у вас плагин найдет битые ссылки, то  сразу же в этом разделе можете посмотреть адрес на котором она находится, можно отредактировать или удалить. Все делается через плагин, что очень удобно в плане экономии времени. Не нужно рыть весь сайт. В этом как мне кажется и есть главное преимущества этого плагина, так как поиск, редактирование и удаление происходит через него.

Линкбилдинг, как отдельная часть SEO

С увеличением количества сайтов, конкуренция в поисковой выдаче естественно растет. И каждому новому сайту необходимо все больше усилий вкладывать в получение обратных ссылок

Не важно, как хорош ваш продукт, услуга, текст, если об этом не знают другие. Работа на современном рынке предполагает, что хороший продукт включает технологию его вывода на рынок по умолчанию

Таким образом, выросла и такая отдельная сфера SEO, как линкбилдинг. Первые создатели контента в вебе размещали ссылки друг на друга исходя из естественного желания поделится с читателями полезной информацией. Теперь линкбилдинг – это большая стратегия, для реализации которой владельцу сайта нужно уделить массу времени и/или денег.

Хорошей метафорой здесь будет возникновение такого понятия как «нетворкинг». В небольшом поселении, где все друг друга знают, упоминание других людей в разговоре является естественной частью беседы. В большом мегаполисе, взаимодействия людей носят немного другой характер. Количество профессиональных сфер, в которых люди задействованы – больше, количество взаимодействий с незнакомыми людьми – больше, и конкуренция также выше. Чтобы эффективно взаимодействовать с другими людьми необходимо уметь находить специалистов в определенной нише и строить с ними отношения. Ничего не напоминает? Именно. Линкбилдинг – это и есть нетворкинг. И если вы умеете легко налаживать контакты с людьми в офлайне, то вам будет намного проще понять как строить обратные ссылки в онлайне. Интересные кейсы по продвижению сайтов внешними ссылками можно посмотреть на сайте блога .

Чем грозит наличие битых ссылок на сайте

Все мы стараемся максимально качественно и полно провести оптимизацию подопечных ресурсов. Это и понятно, ведь чем меньше проблем, тем качественнее сайт будет выглядеть в глазах поисковых систем. Даже небольшое число битых ссылок может сыграть злую шутку с владельцем ресурса. Робот может посчитать, что владелец не следит за ресурсом, не проводится модерация и т.д., что в свою очередь чревато наложением определённых санкций.

Если же говорить о живых посетителях, то они навряд ли будут довольны контентом с битой ссылкой

Особенно, если эта ссылка на скачивание, более развернутое описание материала, изображение с важной информацией и др. Именно по этой причине и поисковые системы так негативно относятся к битым ссылкам

Ведь главная задача для них — предоставить конечному пользователю наиболее качественный ответ на вопрос.

Откуда берутся битые ссылки?

Битые ссылки — это ссылки, ведущие на несуществующие страницы, которые отдают ошибку 404. Они бывают двух типов — внешние (ссылающиеся на неработающие страницы других ресурсов) и внутренние (существующие на разных страницах одного сайта).

Повторимся, битые ссылки естественны для экосистемы интернета. Отдельные страницы и целые сайты периодически удаляются, и ссылки на них превращаются в код ответа 404

В умеренном количестве это принимается во внимание поисковыми краулерами и не чревато проблемами с SEO, а для пользователей сгладить негативный эффект от 404-х страниц всегда можно при помощи кастомного дизайна с юмором и забавным оформлением

Куда большую опасность для поискового продвижения представляет резкое увеличение числа битых линков. Такой «взрыв», обычно, касается только внутренних ссылок и происходит по нескольким причинам:

Ошибки при глобальной реорганизации сайта. Проведение редизайна с изменением структуры сайта, переформатирование каталога, перенос проекта на новый домен или переезд на HTTPS-протокол, — все эти мероприятия связаны с изменением URL-адресов страниц. Без грамотной постраничной настройки 301-х редиректов (перенаправлений со старых страниц на новые) неизбежен «взрыв» битых ссылок.

Удаление разделов сайта или отдельных документов. Подобный сценарий типичен для онлайн-магазинов, у которых структура пребывает в постоянной динамике — появляются новые товарные группы, разделы и подразделы, а старые удаляются. При этом ссылки на пропавшие страницы остаются в других разделах сайта.

Программные ошибки CMS. Массовое увеличение битых ссылок нередко происходит в результате сбоев в модулях системы управления контентом. Также причиной может становиться человеческий фактор, когда вебмастер по неосмотрительности или недостаточной компетенции генерирует множество некорректных URL-адресов.

Сервисы чтобы найти битые ссылки на сайте

Кроме программ есть онлайн-сервисы, которые анализируют ссылки сайта. Следующие четыре сервиса, предназначенные найти битые ссылки на сайте, скорее, для информации, чем для рекомендации. На контрольном сайте они нашли 1-2 битые ссылки, что никак нельзя назвать даже удовлетворительным.

  • Free Link Checker (ссылка)
  • Broken Link Checker (ссылка). Анализ только сайтов http.
  • Checklink (ссылка). Инструмент известного валидатора W3, не оправдал надежды.
  • Linktiger (ссылка). Платный сервер с 15 дневным бесплатным триалом и массой настроек параметров для проверок сайта. Проверить работу сервиса можно после несколько путаной регистрации.

Проверка внешних битых ссылок

Если внутренние ссылки можно легко найти с помощью панели для вебмастеров от Google и «Яндекс», то с внешними линками ситуация обстоит иначе. Для их поиска придется прибегнуть к специальным сервисам. Самые популярные инструменты:

Broken Link Checker.

Сервис или плагин для WordPress, который находит неработающие внешние и внутренние ссылки. С его помощью вы увидите источник и сможете сразу же решить проблему.

Xenu Link Sleuth.

Бесплатный софт с достаточным набором функций, хоть и несколько устаревший.

Screaming Frog SEO Spider.

Позволяет проверить 500 URL адресов бесплатно. Если сайт с огромным количеством страниц, придется платить за их анализ.

Badlinks.ru.

Недорогой online-сервис. Проверка стоит от 50 рублей. Сумма зависит от частоты анализа и количества страниц.

Поиск в Google Вебмастер

Как и в случае с Яндекс.Вебмастер, ваш сайт должен быть добавлен и в Google Вебмастер.

1. Заходим в Гугл Вебмастер, и выбираем сайт, где производим поиск.

2. В правом меню жмем на «Сканирование», потом на «Ошибки сканирования» и в конце выбираем вкладку «Не найдено».

3. Во вкладке «Не найдено» и находятся ,по мнению, гугла битые ссылки. У меня их, как видно, пять штук. Помните, что Google показывает не только внутренние линки, но и внешние, так сказать все в одной кучи, в отличие от Яндекса, которые группирует внешние и внутренние линки отдельно.

4. Для того чтобы узнать какие же страницы ссылаются на удаленную страницу, нужно кликнуть по адресу, и в открывающемся окне выбрать «Ссылающиеся домены» и перед вами появится список, где гугл нашел линки, которые ссылаются на несуществующую страницу.

Ну а дальше дело за вами. Находим их, удаляем или же редактируем.

Почему битые ссылки опасны для сайта

Во-первых, нужно понять, что такое битые ссылки вообще. Как правило, это те линки, которые ведут на страницу с 404-й ошибкой. Вы можете прямо сейчас зайти на свой ресурс, ввести после домена любую белиберду – и, вуаля, страничка с цифрой 404 тут как тут.

Страница кастомная. Каждый вебмастер пишет здесь то, что хочет. У Василия, как видите, здесь нет упоминаний о номере ошибки. Зато есть линк на карту сайта и блок с популярными постами. Хорошее решение, которое может минимизировать негативную реакцию пользователя, попавшего на такую страницу.

Теперь представьте, что вы только что написали статью. ВордПресс автоматически поставил там линк по тайтлу, а вы забыли это изменить и опубликовали материал.

Как быть? Друзья ваших гостей тоже хотят почитать статью, но все, что они видят при переходе, – Ошибка 404: страница не найдена. Они думают, что статья удалена и быстро покидают ваш сайт. Все метрики и роботы поисковых систем считают это за отказы и плохие поведенческие факторы. Если таких случаев будет слишком много, то поисковики начнут понижать ваш ресурс в выдаче.

Решение здесь само напрашивается: нужно сделать редирект, т. е. перенаправление на верную статью. Пользователь будет заходить по старой ссылке, а его тотчас будет перекидывать на ту самую статью, даже если изменился адрес.

Сейчас WordPress умеет проделывать это автоматически. Но работает это далеко не во всех случаях, поэтому может понадобиться дополнительная диагностика. О ней мы и поговорим далее.

Плагин для WordPress

Если ваш сайт или блог работает на движке WordPress, то можно воспользоваться плагинами, которые предназначены для поиска битых ссылок. Одним из самых популярных плагинов является Broken Link Checker. При необходимости изменить настройки, выберите в консоли команду Настройки — Проверка ссылок. Как правило, я не изменяю настройки плагина. Если на вашем сайте много неактивных ссылок (текст ссылки присутствует, но по щелчку ничего не происходит), то имеет смысл отслеживать «битость» и таких ссылок. Чтобы это было возможно, на вкладке Which Links To Check, ставим галочку на против пункта Plaintext URLs (Текстовые URL-адреса).

В настройках Link types (типы ссылок) поставьте галочку около пункта Plaintext URLs

По мере сканирования сайта, Broken Link Checke, будет сообщать результаты. Чтобы увидеть найденные ошибки, выполняем команду Инструменты — Неправильные ссылки.

Для просмотра результатов сканирования, выполняем команду «Инструменты — Неправильные ссылки»

В отчете, в разделе «Неправильные» , битые исходящие и внутренние ссылки, помечены разными значками.

Битые исходящие ссылки помечаются жёлтыми значками, битые внутренние ссылки — красными (кликабельно)

Нет необходимости гадать, на какой странице находится битая ссылка, так как источник уже указан в таблице (колонка «Источник»). Смело можно удалять ссылки типа http://none, http://одноклассники, http://нет сайта. Как правило, подобные ссылки, оставляют компьютерные чайники — у них нет сайта, но они, оставляя комментарии, пытаются заполнить поле «Сайт», которое не является обязательным для заполнения.

В сайтах некоторых тематик, рассчитанных на чайников, следует скрывать поле «Сайт» в форме комментариев, дабы не усложнять жизнь пользователям и себе.

Чтобы удалить ссылку, можно навести на неё курсор и в появившемся меню выбрать команду Удалить ссылку.

Если вы уверены, что ссылку можно безболезненно удалить, щелкните «Удалить ссылку»

Обратите внимание, что данная ссылка была добавлена с комментарием. Ссылка была удалена, но комментарий остался, т.е

ничего ценного не удалилось.

В некоторых случаях, особенно если речь идет о внутренних ссылках, необходимо не удалять ссылку, а отредактировать её. Для этого выбираем команду Редактировать URL. Если есть сомнения по поводу того, что делать с ссылок, то следует навести курсор на ссылку в колонке «Источник» и выбрать команду Перейти.

Если есть сомнения, то лучше просмотреть страницу, на которой размещена битая ссылка

Посмотрев, где именно размещена ссылка, можно принять окончательное решение — удалить или изменить ссылку.

Большим плюсом плагина Broken Link Checke, в сравнении с Xenu,  является то, что он в состоянии обнаружить видео YouTube на вашем сайте, которое не работает.

На строительном сайте, Broken Link Checker обнаружил 6 роликов YouTube, которые не воспроизводятся

Как правило, видео перестает отображаться по той причине, что она удалено с YouTube.

Видео не производится на сайте, так как она было удалено с YouTube

В конкретном случае, необходимо заменить код неработающих роликов, так от этого зависят поведенческие факторы.

Управляемые формы. Итоги в динамических списках

Многие задаются вопросами расчета итогов динамических списков в управляемых формах. Здесь мы не будем претендовать на академичность, оставим споры, что мол это не нужно, что это все равно что считать бородатых мужиков на движущемся эскалаторе, что это дополнительная нагрузка. Все это понимают, Кто не понимает — поймет на практике. Поэтому основываемся на… «снегопад, снегопад, если женщина просит…» или «..а мня плевать — мне очень хочется..»
Я попытался решить практические проблемы при расчете и выводе итогов.
В приложении примеры расчета итогов в иерархическом справочнике и журнале документов.

1 стартмани