Внутренняя оптимизация сайта – с нуля до совершенства

Внутренняя оптимизация сайта – это полный рабочий день SEO-специалиста, чем он занимается 90% времени:

• устранение ошибок и оптимизация кода;
• удаление дублей страниц и контента;
• подбор ключевых слов по релевантности и частотности;
• работа над удобством сайта для пользователей и конверсиями.

Здесь мы перечислили лишь малую часть.

Без внутренней оптимизации невозможно пробиться в ТОП поисковой выдачи, особенно в конкурентной тематике. Поэтому запаситесь терпением, прочитайте статью до конца и проверьте ваш сайт по всем пунктам.

Техническая оптимизация

Начнем с разбора технических ошибок. Для высокого ранжирования и быстрой индексации продвигаемых страниц нужно соответствовать 12 основным пунктам технической оптимизации.

Чек лист:

1. Корректный robots.txt и sitemap.xml.
2. Отсутствуют дубли.
3. Страницы пагинации используют rel=”canonical”.
4. Отсутствуют дубли мета-информации.
5. Отсутствуют дубли заголовков h1.
6. Оформлена 404 страница.
7. Равное количество документов в индексе Яндекс и Google.
8. Редиректы отрабатывают корректно, циклические и цепочки отсутствуют.
9. Настроены ЧПУ URL-адреса.
10. Внедрена микроразметка schema.org.
11. Высокая скорость загрузки сайта.
12. Сайт корректно отображается на всех устройствах и в браузерах.

Настройка robots.txt и sitemap.xml

С помощью служебных файлов robots и sitemap мы отдаем директивы/подсказываем поисковым роботам, какие страницы следует обходить, а какие нет.

Основная задача при настройке файла роботс – закрыть от индексации служебные файлы, параметры и все лишнее (поиск, корзина, страница авторизации и т.д.)

Основные директивы:

1. «User-agent:» – указывает для какого робота задана инструкция;
2. «Allow:» – разрешить обход;
3. «Disallow:» – запретить обход;
4. «Host:» – главное зеркало сайта;
5. «Sitemap:» – местонахождение карты сайта;
6. «Clean-param:» – запрещает к индексированию параметры;
7. «Crawl-delay:» – задает промежуток между обходом страниц роботами.

Более подробно читайте в официальной справке Яндекс и Google.

Если в robots.txt прописаны строки:

User-Agent: * Disallow: /

То сайт закрыт от индексации поисковыми системами. Для начала продвижения удалите данную строку — "Disallow: /"

Таким же важным служебным файлом, особенно для крупных сайтов с большим количеством страниц, выступает sitemap.xml или карта сайта.

Каждый сайт имеет определенный суточный лимит на обход поисковым роботом – краулинговый бюджет. Для более грамотного его распределения требуется составить маршрут для робота, в котором первыми на очереди указываются более приоритетные страницы.

Например, в структуре интернет-магазина более высокий приоритет отдается категориям, а только потом карточкам товаров.

Карта сайта помогает ускорить процесс индексации, систематизируя маршрут робота по сайту, тем самым давая наиболее важным страницам попадать в индекс первыми.

Составлять sitemap.xml вручную необязательно. Для этого существуют готовые модули в CMS-системах.

Устранение дублей

Разделим этот блок внутренней оптимизации сайта на 3 основных части.

Устраняем дубли страниц

Сайт должен быть доступен только по главному зеркалу, и все остальные зеркала должны переадресовывать пользователя на него. Аналогично и со внутренними разделами – каждая страница сайта должна иметь один URL, участвующий в поиске. Предположим, главное зеркало вашего сайта – https://studiobit.ru/ . И во всех ситуациях, которые описаны ниже, в итоге должен открываться именно этот URL.

Диагностика проблемы:

• добавьте www в адрес сайта;

• удалите закрывающий слэш;

• откройте по протоколу http;

• на главной странице пропишите после закрывающего слэша index.php/index.html.

При открытии каждого из перечисленных вариантов должно происходить перенаправление на корректный URL-адрес. Если этого не происходит – вам необходимо настроить правила редиректов в файле htaccess. Для этого рекомендуем обратиться к программисту.

Удаление технических дублей осложнено тем, что их достаточно сложно обнаружить вручную. Для поиска вам понадобятся: Яндекс.Вебмастер/Google Search Console, Screaming Frog SEO Spider либо аналоги.

Для обнаружения через Вебмастер:

• перейдите по ссылке https://webmaster.yandex.ru/ и откройте интересующий ресурс;
• перейдите по пути Индексирование – Страницы в поиске – Исключенные;

• выставьте статус “Дубль”.

Для анализа через Screaming Frog SEO Spider введите домен сайта в строку и запустите процесс.

Программа обойдет все URL-адреса сайта и выведет их на экране со статусами индексации и кодами ответа сервера.

Если на вашем сайте присутствуют параметрические ссылки вида «domain.ru/videokamery-i-ekshn-kamery-2287/ekshn-kamery-2288/f/brand=gopro/?reff=menu_main&qu...», дублирующие другие страницы сайта – закройте их с помощью директивы «Disallow» в robots.txt. В данном случае, выглядеть это будет так – Disallow: /*?reff=menu

Аналогичное решение актуально и с UTM метками, несмотря на существующую информацию, что Яндекс не распознает их как дубли, рекомендуется также закрыть директивой «Disallow».

Дубли пагинации

URL-адреса формата «domain.ru/catalog/?PAGEN_2» также воспринимаются поисковиками как дубли. Формируются они при использовании элементов постраничной навигации на сайте (каталог товаров, блог). Пример:

Но, так как данные дубли содержат уникальные карточки товаров, закрывать их от обхода поисковыми роботами не рекомендуется.

Для решения проблемы укажите канонический URL, приоритетный для индексации путем добавления в код тега link rel=”canonical”. В качестве канонической всегда указывайте основную страницу раздела. Данная мера поможет избежать проблем с индексацией элементов на страницах пагинации и устранить дубли.

Уникализируем мета информацию

Уникальные для каждой страницы и отвечающие ее содержанию мета-теги title и description являются важным фактором внутренней оптимизации и ранжирования в ПС.

Для выявления дублей используем специализированный софт.

Нас интересуют адреса с отсутствующей и дублирующейся метой. Переходим на них и прописываем уникальные title и description для каждой.

На каждой странице должен быть только один заголовок h1

Нарушение иерархии заголовков и дублирование заголовка первого уровня (h1) обнаруживается через софт:

После чего необходимо перейти на данные URL и убрать дублирующиеся участки текста, заключенные в теге h1.

Для анализа кода через встроенные инструменты браузера воспользуйтесь комбинацией клавиш “ctrl+shift+i”, находясь на странице любого сайта.

В режиме просмотра кода вы сможете прямо в окне браузера проанализировать и выявить ошибки в оформлении заголовков.

Оформите 404 страницу

Когда вы открываете сайт, в этот момент браузер отправляет запрос на сервер, на котором расположен сайт и в ответ получает код состояния.

• 1xx – информационный ответ;
• 2xx – соединение успешно;
• 3хх – редирект;
• 4хх – ошибка на стороне клиента;
• 5хх – ошибка сервера.

Рассмотрим самые распространенные. Если страница доступна и все хорошо – ответ 200 OK, если она недоступна по технической причине на стороне сайта, либо неправильно введен адрес в строке браузера – 404 Not Found.

Страница 404 должна быть корректно настроена для выполнения 2 важных функций:

• оповещения пользователя об ошибке и фокусировке его внимания на других разделах сайта;
• избавления сайта от пустых страниц и дублей в индексе поисковых систем.

Если поисковый робот при посещении пустой или несуществующей страницы не получит в ответ код 404, она будет проиндексирована и учтена как дубль, относительно такого же бесконечного количества пустышек. Впоследствии это негативно скажется на результатах в SEO.

Оформите отбивку 404 ошибки при посещении несуществующих страниц на сайте и обеспечьте корректный код ответа сервера. Для проверки перейдите на неправильный адрес – в результате должна отобразиться 404 ошибка. Код ответа сервера можете проверить здесь – https://www.bertal.ru/

Проверьте индексацию сайта в Яндекс и Google

Большая часть действий по внутренней SEO оптимизации направлена на настройку оперативной индексации продвигаемых страниц и исключения из индекса ненужных.

Google и Яндекс при обработке поисковой базы и последующем ранжировании документов находящихся в ней руководствуются совершенно разными факторами.

Соответственно, качество каждого документа оценивается абсолютно по-разному.

Проверить индексацию можно быстрым и бесплатным способом.

Проверка через оператор

Введите в строку поиска обеих поисковых систем команду вида site:domain.ru;

И получите все страницы, находящиеся в базе данных поисковой системы.

Разница между количеством проиндексированных страниц в Яндекс и Google не должна различаться более чем на 10%. Если разница весомая – проанализируйте какие индексируются одним поисковиком, но отсутствуют у другого.

Настройте редиректы правильно

• Redirect 301 – переезд страницы на новый адрес на постоянной основе, при этом передаются все ссылочные параметры старой;
• Redirect 302 – временный редирект для проведения технических работ по оформлению страницы.

301 редирект применяется когда необходимо:

• переехать со старого домена на новый;
• изменить URL (перенести ее в другой раздел или категорию);
• перенести сайт на безопасный https протокол;
• изменить URL на ЧПУ (человекопонятные).

302 редирект следует применять, если хотите временно перенаправить трафик и впоследствии снова актуализировать старый адрес, во всех остальных случаях используйте редирект 301.

Проблемы неправильной настройки редиректов

Большое количество редиректов приносят “дискомфорт” поисковым роботам, т.к. при посещении страниц их постоянно перекидывает на другие, что расходует краулинговый бюджет и мешает обходить новые URL в плановом режиме.

Особняком стоят следующие ошибки:

Цепочка редиректов – ситуация, когда редирект 301 настроен последовательно на нескольких страницах. То есть с domain.ru/category-1/ редиректит на domain.ru/category-2/ и далее на domain.ru/category-3/.

Циклический редирект – бесконечное обращение браузера к одному или нескольким адресам, в результате которого его вращает по кругу между страницами с кодом ответа 301. В случае ошибки со стороны сервера, характеризуется ошибкой 310.

Исключите появление подобных ошибок с помощью инструмента проверки статуса https://www.bertal.ru/ и Screaming Frog SEO Spider/NetPeak Spider – обратите внимание на все адреса с кодом ответа сервера 301 в отчете.

Приведите URL на сайте в формат ЧПУ

ЧПУ – человекопонятный формат URL-адресов. Например, https://studiobit.ru/sozdanie-saytov/ имеет ЧПУ формат, в отличие от "www.sayt.ru/mgyio137"

Такие адреса помогают пользователям лучше понимать содержание конечной страницы, а в SEO – добиться более высоких позиций в ранжировании, для этого вшивайте в ЧПУ главный ключевой запрос.

Переезд со старых URL на ЧПУ следует выполнять с помощью 301 редиректа.

Микроразметка на всех страницах сайта

Микроразметка – это семантическая разметка элементов сайта дополнительными тегами и атрибутами, которые помогают поисковым роботам лучше понять содержимое документа. То есть – с разметкой данных робот конкретно понимает, где указана цена, где фото, а где хлебная крошка.

Какая от этого выгода вам?

• улучшенный, расширенный сниппет в поисковой выдаче;
• увеличение CTR (количества кликов из поиска).

В результате внедрения микроразметки сниппет будет выводиться в расширенном формате.

• для карточек товара – с ценой, фотографией и рейтингом пользователей;
• для информационных статей – с изображением, датой размещения, оценкой пользователей.

Также микроразметку можно нанести на контактные данные организации, изображения, видеоролики, навигационную цепочку, логотип компании, блок вопросов и ответов.

Подробная инструкция по работе с семантической разметкой от Яндекс и Google.

Увеличьте скорость загрузки

Увеличение скорости загрузки страниц – важный пункт внутренней сео-оптимизации сайта, т.к. скорость влияет на поведенческие факторы и конверсию, а также является фактором ранжирования в SEO. Выход нового алгоритма Google «Core Web Vitals», отвечающего за оценку сигналов скорости и удобства страниц, назначен на май 2021 г. и может негативно сказаться на ресурсах не достигающих требуемых значений. Учитывать данный фактор лучше всего в ходе разработки сайта.

Для анализа вашего ресурса используйте сервис https://developers.google.com/speed/pagespeed/insights/

В отчете инструмент формирует индекс скорости мобильной и десктопной версий страницы, а также оценку основных показателей загрузки сайта.

Ниже вы найдете список рекомендаций:

Как увеличить скорость загрузки?

1. Сократите вес страниц

Тяжелая страница, с большим количеством Java-скриптов, CSS и HTML элементов загружается долго. Уменьшите размер HTML кода, а также удалите неиспользуемые CSS и JavaScript, либо упростите текущий код с помощью веб-разработчиков.

2. Оптимизируйте изображения

Вес фотографий на сайте не должен превышать 100КБ. Используйте формат JPEG для публикации изображений, сжимайте картинки вручную, либо с помощью специализированных сервисов, например – https://compressor.io/

3. Воспользуйтесь функцией отложенной загрузки изображений

Внедрение данной методики вместо одновременной загрузки вместе со страницей отсрочит загрузку изображений до того момента, пока они не окажутся в поле зрения пользователя. Lazy load доступен в виде готового решения на большинстве современных CMS, таких, как 1С-Битрикс и Wordpress.

4. Используйте внешние платформы для видеозаписей

Видеоконтент имеет высокую ценность для содержательности страницы, но и сильно тормозит скорость ее загрузки. Размещайте видео на внешних видеохостингах, таких, как Youtube и публикуйте его код уже на сайте.

Проверьте адаптивность и кроссбраузерность

Сайт должен корректно отображаться во всех современных браузерах и разрешениях экранов.

Проверить сайт на адаптивность можно с помощью встроенного инструмента Google Mobile Friendly. Сервис http://browsershots.org/ поможет с оценкой кроссбраузерности.

Верстка не должна “ехать”, а материал сохранять читабельность при открытии с любого устройства – декстопа, планшета или смартфона.

Визуально протестировать адаптивность верстки можно с помощью инструмента разработчика внутри браузера (комбинация ctrl+shift+i). Далее можно имитировать любое современное мобильное устройство, либо выбрать режим свободной регулировки разрешения.

Работа со структурой и запросами

В этом блоке внутренней оптимизации сайта будут рассмотрены основные моменты в работе с семантическим ядром, структурой сайта и наполнением страниц ключевыми словами.

Сбор семантического ядра

Семантическое ядро – список слов (ключевых фраз), характеризующих тематику сайта, продвигаемые им товары и услуги. Или проще – фразы, по которым вы хотите чтобы люди переходили на ваш сайт из поиска.

Семантика сайта может содержать 100.000+ запросов в зависимости от тематики. Они делятся на высокочастотные (наиболее конкурентные), среднечастотные и низкочастотные. На основе семантического ядра запросов и их частотности составляется стратегия продвижения, строится структура сайта, а также подготавливается контент для сайта и внутренней оптимизации страниц ключевыми словами.

Процесс сбора семантики строится следующим образом:

1. Определение базовых запросов.

Для формирования списка маркерных (наиболее высокочастотных) запросов проанализируйте основных конкурентов, какие запросы они используют в продвижении. Собрать данные для аналитики можно с помощью различных SEO-инструментов – Megaindex, KeysSo, Serpstat и многих других.

Также воспользуйтесь сервисом ручного сбора статистики Яндекс Вордстат.

2. Сбор семантического ядра.

Сбор семантического ядра на основе маркерных запросов с помощью программы KeyCollector или использование готовой базы ключевых слов Букварикс.

3. Чистка от нецелевых фраз.

Собранная сервисами семантика имеет большое количество ненужных ключевых слов. Произвести чистку вручную по списку – очень трудоемкий процесс. Используйте внутренние инструменты KeyCollector: Анализ неявных дублей, Стоп-слова, Анализ групп, Фильтры по словам и частотностям.

4. Кластеризация.

Чистовую семантику необходимо разбить по кластерам (группам). Каждый кластер продвигается на отдельной посадочной странице. Формируются группы на основе пересечения запросов в ТОПе выдачи выбранной поисковой системы. Для кластеризации используйте софт: KeyAssort, SeRanking, KeyCollector и др.

Разработка структуры

Структура сайта должна быть логичной и понятной для пользователя и содержать посадочные страницы под все группы запросов из семантики для продвижения в поисковых системах.

Перед началом работ по созданию структуры необходимо провести конкурентный анализ. Выпишите, как устроена структура у наиболее успешных представителей отрасли, какая иерархия разделов соблюдается у них.

После приступайте к проработке семантического ядра. Каждый кластер семантики необходимо вынести в отдельную посадочную страницу.

В результате должна сформироваться древовидная иерархия страниц, где вышестоящая – отвечает более высокочастотным запросам, нижестоящая – низкочастотным.

Грамотная внутренняя оптимизация структуры заключается в объединении наработок успешных конкурентов и семантического ядра с полным  охватом запросов вашей тематики.

Для построения структуры рекомендуем программу XMind.

Оптимизация страниц и контента

Каждая страница сайта должна соответствовать группе ключей из семантики, полностью отвечать на запрос пользователя, иметь полезный и уникальный контент.

Что необходимо:

Проверить контент на уникальность.

Рекомендуемый порог – от 90%. Инструмент для проверки – https://text.ru/

SEO-оптимизировать страницы

Означает провести внутреннюю оптимизацию под алгоритмы поисковых систем для более высокого ранжирования документов.

Добавить вхождения ключевых фраз в тело документа

Используйте ключевые слова из соответствующего кластера семантического ядра. Проведите анализ конкурентов в ТОПе выдачи по запросу, посмотрите какие ключи используются при продвижении сайтов.

1. Самый высокочастотный запрос, отражающий главную тему страницы используйте как заголовок h1.
2. Структурируйте текст с помощью заголовков h2 - h6.
3. Склоняйте, разбавляйте вхождения ключей для избежания переспама.
4. Располагайте ключевые фразы равномерно по документу.
5. Не пытайтесь вписать все возможные ключи на одну страницу.

Для проверки основных SEO-параметров текста используйте https://text.ru/seo

Показатели водности текста и заспамленности не должны превышать 15% и 59% соответственно.

Прописать мета-информацию

Теги title и description используются поисковыми роботами для определения содержания страницы, ее интента.

1. Тег title – краткое описание содержания. Длина не должна превышать 90 символов, желательно использовать самый частотный ключ в начале тега в максимально точном вхождении.
2. Тег description – развернутое описание содержания, используется поисковиками при формировании сниппета на поисковой выдаче. Должен быть уникальным от title. Не должен превышать длины в 250 символов, содержать ключевое слово максимально близко к началу, УТП и призыв к действию.

Тег keywords наименее важен для ранжирования документа. Для экономии времени лучше отказаться от его заполнения.

Настройка перелинковки

Ссылочная связь между разделами упрощает навигацию пользователей по сайту, а также увеличивает вес для поисковых систем страниц, на которые идет наибольшее количество входящих ссылок.

1. Настройте отображение навигационной цепочки (хлебных крошек).

С помощью хлебных крошек оптимизируется передача ссылочного веса от дочерних разделов к родительским, а также упрощается процесс серфинга по сайту для пользователя.

2. Используйте контекстные ссылки в статьях.

С их помощью связывайте статью с близкими по тематике либо коммерческими разделами. Вписывайте в анкоры главные ключевые слова страницы, на которую ведет линк.

3. Перелинковка карточками товаров.

Для перелинковки в рамках интернет-магазина внедряйте блоки похожих товаров и рекомендаций.

Для расчета параметра Page Weight используйте сервисы Screaming Frog SEO Spider, NetPeak SEO Spider, SeRanking и т.д.

Удобство и юзабилити

Удобство пользователя при использовании ресурса определяет процент конверсии, влияющий на продажи и уровень поведенческих факторов, влияющий на ранжирование в поисковых системах.

Основные работы по внутренней оптимизации юзабилити сайта:

• повысить скорость загрузки страниц;
• обеспечить корректное отображение контента на всех устройствах и во всех браузерах;
• разработать логичную структуру разделов и удобную навигацию;
• создать современный UX/UI дизайн;
• сделать формы обратной связи и корзину понятными и удобными.

Для анализа поведенческих факторов и уровня удобства применяйте стандартный отчет Яндекс Метрики. Обратите внимание на показатели отказов, времени на сайте и глубины просмотра. Сделайте постраничный анализ.

Для анализа поведения на конкретных страницах воспользуйтесь «Картами» и «Вебвизором».

Улучшение коммерческих факторов

Коммерческие факторы влияют на ранжирование страниц по коммерческим запросам и указывают поисковой системе на полноту предоставленной информации покупателю об организации, ее продуктах и услугах.

Чек-лист коммерческих факторов:

1. Указаны все способы связи – телефоны, e-mail, мессенджеры.
2. Раздел “Контакты” со всеми адресами компании, способами связи и реквизитами.
3. Раздел “О компании”.
4. Ссылки на социальные сети.
5. Рубрика вопрос-ответ (FAQ).
6. Формы заявки содержат политику обработки персональных данных.
7. Регион и график работы (можно указать в подвале сайта и обязательно в рзделе “Контакты”).
8. Онлайн консультант (Jivosite, CarrotQuest и т.д).
9. Информация о способах оплаты и доставки.
10. Наличие цены на товары и услуги.
11. Аккаунты компании в Яндекс Справочнике и Google My Business.
12. Кнопки “Купить”/“Заказать”.
13. Отзывы от покупателей.
14. Акционные предложения и скидки.
15. Реализован фильтр товаров.

Внедрите все вышеуказанные пункты, если вы продвигаете сайт по продаже услуг или интернет-магазин.

Чек-лист по внешней оптимизации сайта

Техническая оптимизация:

1. Корректный robots.txt и sitemap.xml.
2. Отсутствуют дубли.
3. Страницы пагинации используют rel=”canonical”.
4. Отсутствуют дубли мета-информации.
5. Отсутствуют дубли заголовков h1.
6. Оформлена 404 страница.
7. Равное количество страниц в индексе Яндекс и Google.
8. Редиректы отрабатывают корректно, циклические и цепочки отсутствуют.
9. Настроены ЧПУ URL-адреса.
10. Внедрена микроразметка schema.org.
11. Высокая скорость загрузки сайта.
12. Сайт корректно отображается на всех устройствах и в браузерах.

Семантика, структура, ключевые слова, контент:

1. Собрано обширное семантическое ядро целевых запросов.
2. Разработана и внедрена структура с посадочными страницами под все группы запросов.
3. Контент уникальный, полезный и интересный посетителям.
4. Страницы оптимизированы ключевыми словами и содержат мета-теги title, description.

Юзабилити и удобство:

1. Современный UX/UI дизайн.
2. Удобная навигация и структура, достичь желаемого результата можно в 3 клика.
3. Высокая скорость загрузки.
4. Корректное отображение на всех устройствах и разрешениях.
5. Удобные и понятные формы обратной связи и корзина.

Итог

Во многие технические аспекты мы сильно не углублялись, так как расписать все SEO в рамках одной статьи невозможно. Используйте этот материал как чек-лист для проверки своего сайта на соответствие требованиям Яндекс и Google.

Мы продолжим публиковать полезные материалы по SEO продвижению в нашем блоге, чтобы помочь вам лучше понять как устроен процесс продвижения сайта в ТОП поиска.

Бесплатно проконсультируем по вашему вопросу – звоните или оставляйте заявку через любую форму, будем рады помочь.