Бытовая техника

Использование файла Sitemap. Добавляем файл Sitemap в Яндекс.Вебмастер и Google Search Console (нюансы и ошибки) Где находится файл sitemap

Изначально думал написать простой и легкий «пост выходного дня» об одной интересной штуке, которую недавно заметил в Google Search Console. Оказывается сейчас в панелях вебмастеров Яндекс и Google имеется автоматическая проверка ошибок в XML картах сайта. Раньше, помнится, для подобных целей использовались специальные сервисы, но теперь все стало гораздо проще.

В статье найдете не только описание ошибок, которые с их помощью можно отслеживать, я также решил дополнительно рассказать о том как добавить файл Sitemap в Яндекс Вебмастер и Google Search Console. Ничего сверх грандиозного не открою, но, возможно, кто-то упустил этот момент + новичкам пригодится. Содержание:

  • + полезные линки.
  • (в т.ч. поиск ошибок).

1. Создаем XML Sitemap

Если в вашем веб-проекте еще нет карты сайта, обязательно сделайте ее — это крайне полезная фишка при (особенно в новых ресурсах). Хочу заметить, что в данном случае речь идет о специальном формате XML (для поисковиков), а не о HTML (посетителям). Механизм работы зависит от используемого вами движка, вот несколько статей по теме:

  • Делаем (обзоры плагинов).
  • — парочка сервисов для любых ресурсов.
  • (в том числе рассмотрена и XML).
  • Хитрых хак создания Sitemap в Blogspot блоге .

Sitemap: http://имя_домена/sitemap.xml

Вообще встречал информацию, что поисковые системы самостоятельно умеют находить XML карту сайта, если она располагается по стандартному адресу, но в принципе, лучше все же загрузить ее в панели инструментов.

2. Добавляем Sitemap в Гугл (Search Console)

Раньше данная панелька называлась Webmasters Tools да и выглядела она совсем по другому. Сейчас это более функциональный инструмент. Алгоритм действий следующий:

  • Регистрируетесь в Search Console (если у вас уже есть гугл аккаунт, то и доступ в систему также будет);
  • Подключаете туда свой проект и подтверждаете права.
  • Для выполнения задачи добавления Sitemap XML переходим в раздел «Сканирование» — «Файлы Sitemaps».

На этой странице собрана вся информация по вашей карте сайта + вы можете добавить новую (2) или же увидеть наличие ошибок в текущих (3).

В Google Search Console поддерживаются вложенные Sitemap`ы — такая штука есть, например, в плагине Yoast SEO. Модуль при этом генерирует адрес: http://ваш_домен/sitemap_index.xml .

Теоретически вы можете добавить файл Sitemap в Googe Search Console только один (основной), а остальные объекты автоматически подхватятся. При этом на странице панельки будет отображаться только sitemap.xml , а при клике на него перейдете в подразделы.

Кстати, если будете грузить по отдельности все XML файлы (основной и подпункты), то общее число ссылок приплюсуется:

Вероятно, пока что в консоли нет инструмента для различения повторений или это просто такой формат отображения общего числа записей, или глюк.

Что касается ошибок в карте сайта

Если имеются какие-то проблемы с добавленным Sitemap XML то в панели увидите соответствующие обозначения (иконка восклицательного знача и запись в графе «Проблемы»). Кроме того, на странице конкретного файла карты сайта также будут предупреждения.

В случае на скриншоте вы можете видеть запись о том, что какое-то правило robots.txt не позволяет индексировать некоторые адреса блога. Такие вещи нужно исправлять, а после отправить файл на повторную проверку — кнопка «Тест».

В другом проекте у меня попалась ситуация похуже — карта сайта отдавала :(Это же вообще нонсенс. Причем нужный модуль был активирован, а я был полностью уверен, что все работает. Обнаружил проблему только после того как добавил Sitemap в вебмастерскую панель. Поэтому данная процедура достаточно важна, и занимает всего пару минут.

3. Загружаем Sitemap в Яндекс

Что касается то здесь после регистрации, добавления сайта и подтверждения на него прав, нужно перейти в раздел «Индексирование» — «Файлы Sitemap».

На странице имеется автоопределение карты из Robots.txt + сможете добавить свои файлы. Панелька также поддерживает вложенность. Если что-то пошло не так, отобразится запись об ошибке. В скриншоте выше проблемы связаны с тегом image:image в , который Яндекс не понимает. В Wordpres есть модули, устраняющие этот косяк, но, в принципе, он ни на что особо не влияет. Я лично оставляю все, как есть.

До того как добавить Sitemap в Яндекс.Вебмастер вы можете просто запустить быструю ее проверку. Этот инструмент доступен в разделе «Инструменты» — «Анализ Sitemap».

Итого

Как я уже говорил выше, советую потратить 5-10 минут дабы добавить файл Sitemap в Яндекс и Гугл. Если у вашего проекта его еще нет, обязательно создайте. Данный процесс как и использование поможет улучшить индексацию ресурса, а также позволит найти ошибки, о которых вы могли не знать. Ситуации бывают разные, например, обновляли CMS и забыли подключить модуль карты сайта, или тот самостоятельно начал глючить — когда Sitemap начинает отдавать 404 ошибку, это совсем не круто.

Пост, конечно, больше для новичков, но надеюсь вам также пригодилось. Если есть что дополнить, пишите ниже.

Что такое карта сайта

Содержимое любого веб-ресурса рано или поздно будет проиндексировано поисковыми системами. А как сделать так, чтобы этот процесс происходил побыстрее?

Один из наиболее эффективных способов – использование так называемой карты сайта (Sitemap ).

Карта сайта (Sitemap ) – это xml -файл с информацией для поисковых систем о страницах веб-ресурса, которые подлежат индексации. Sitemap помогает поисковикам определить местонахождение объектов веб-ресурса, время их последнего обновления, частоту обновления, приоритетность.

Формат протокола Sitemap состоит из XML -тегов.

В файле необходимо использовать кодировку UTF-8 .

Атрибуты XML -тегов Sitemap

– обязательный атрибут. Инкапсулирует этот файл и указывает стандарт текущего протокола;

– обязательный атрибут. Родительский тег для каждой записи URL . Остальные теги являются дочерними для этого тега;

– обязательный атрибут. URL страницы; должен начинаться с префикса (например, http:// ) и заканчиваться косой чертой, если ваш веб-сервер требует этого. Длина этого значения не должна превышать 2048 символов;

– необязательный атрибут. Дата последнего изменения файла; должна быть в формате W3C Datetime . Этот формат позволяет при необходимости опустить сегмент времени и использовать формат ГГГГ-ММ-ДД;

– необязательный атрибут. Вероятная частота изменения этой страницы. Это значение предоставляет общую информацию для поисковых систем и может не соответствовать частоте сканирования этой страницы. Допустимые значения: always , hourly , daily , weekly , monthly , yearly , never ;

– необязательный атрибут. Приоритетность URL относительно других URL на вашем сайте. Допустимый диапазон значений – от 0,0 до 1,0. Это значение не влияет на процедуру сравнения ваших страниц со страницами на других сайтах – оно только позволяет указать поисковым системам, какие страницы, по вашему мнению, более важны для сканеров (приоритет, который вы назначили странице, не влияет на положение ваших URL на страницах результатов той или иной поисковой системы). Приоритет страницы по умолчанию – 0,5.

Пример XML -файла Sitemap

(необязательные теги выделены ):

http://сайт/

2010-04-19

daily

0.8


http://сайт/aldan.htm
2009-10-03
monthly

0.5

http://сайт/aldan-weather.htm

2010-04-15

weekly

0.5

Если ваш сайт содержит много веб-страниц, вы можете опустить необязательные атрибуты (это позволит значительно уменьшить размеры файла Sitemap ):

http://сайт/

http://сайт/aldan.htm

http://сайт/aldan-weather.htm

Использование файлов индекса Sitemap

Файл Sitemap должен содержать не более 50000 URL , при этом его размер не должен превышать 10МБ .

При необходимости файл Sitemap можно сжать с помощью архиватора gzip , чтобы уменьшить требования к пропускной способности канала.

Если необходимо перечислить более 50000 URL , следует создать несколько файлов Sitemap . При этом необходимо перечислить каждый из этих файлов в файле индекса Sitemap . В файле индекса Sitemap может быть перечислено не более 50000 файлов Sitemap . Размер этого файла не должен превышать 10МБ .

Как создать карту сайта

Для создания карты сайта можно воспользоваться так называемыми генераторами Sitemap , а можно всё сделать самому:

– откройте Блокнот ;

– соблюдая правила протокола Sitemap , заполните файл Sitemap ;

– в соответствующее текстовое поле введите имя файла (например, sitemap.xml );

– в выпадающем списке Тип файла выберите Все файлы (*.*) ;

– в выпадающем списке Кодировка выберите UTF-8 , нажмите Сохранить ;

– закачайте Sitemap в корневую директорию вашего сайта.

Уведомления для сканеров поисковиков о наличии и месторасположении файла Sitemap

После того, как файл Sitemap создан и размещен на веб-сервере, необходимо сообщить о его местонахождении поисковым системам, поддерживающим этот протокол. Это можно сделать следующими способами:

Передача файла Sitemap с помощью веб-интерфейса поисковой системы

Чтобы отправить файл Sitemap напрямую в поисковую систему, которая предоставляет возможность получать информацию о статусе и ошибках обработки, обратитесь к справочной системе поисковика.

Например, передать

Из этой статьи вы узнаете, как создать файл Sitemap и предоставить к нему доступ роботам Google.

Создание и отправка файлов Sitemap

Форматы файлов Sitemap

Google поддерживает несколько форматов файлов Sitemap, описанных ниже. Во всех форматах следует использовать стандартный протокол . Google в настоящее время не учитывает атрибут В файлах Sitemap.

Для всех форматов действуют следующие ограничения: файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Если объем файла или количество перечисленных в нем адресов превышают эти лимиты, разбейте его на несколько частей. Вы можете создать файл индекса Sitemap , перечислив в нем все файлы Sitemap, и отправить их в Google все сразу.

Пример URL, в котором содержится символ, не относящийся к кодировке ASCII (ü), а также символ, требующий экранирования (&):
http://www.example.com/ümlat.html&q=name
Тот же URL в кодировке ISO-8859-1 (для размещения на сервере, использующем эту кодировку) и с примененным экранированием:
http://www.example.com/%FCmlat.html&q=name
Тот же URL в кодировке UTF-8 (для размещения на сервере, использующем эту кодировку) и с примененным экранированием:
Тот же URL с экранированной последовательностью вместо символа амперсанда:
http://www.example.com/%C3%BCmlat.html&q=name

  • Помните, что мы не гарантируем сканирование каждого URL в файле Sitemap. Такие файлы лишь помогают Google определить, какие страницы вы считаете важными.
  • Значения priority и changefreq игнорируются, поэтому их не нужно добавлять.
  • Google считывает значение lastmod , но только если оно указано корректно.
  • Как сделать файл Sitemap доступным для Google

    Файл Sitemap анализируется только при первом его обнаружении, а не при каждом сканировании сайта. Чтобы файл был обработан повторно, вам необходимо сообщить нам о том, что данные в нем изменились. Это делается с помощью запроса ping. Не добавляйте несколько раз одинаковые файлы Sitemap и не отправляйте запросы ping, если в файл не вносились изменения и он не новый.

    Предоставить роботам Google доступ к файлу Sitemap можно несколькими способами:

    • Отправьте его в Google с помощью специального инструмента в Search Console
    • Вставьте в любом месте файла robots.txt строку, указывающую на расположение файла Sitemap:
      Sitemap: http://example.com/sitemap_location.xml
    • Воспользуйтесь запросом ping. Отправьте HTTP-запрос GET:
      http://www.google.com/ping?sitemap=<polniy_url_faila_sitemap >
      Пример:
      http://www.google.com/ping?sitemap=https://example.com/sitemap.xml

    Файл sitemap.xml, так же, как и обычная карта сайта представляет из себя набор страниц, оформленных в XML-теги. С помощью данного файла, поисковые системы понимают, какие страницы вашего сайта следует индексировать в первую очередь.

    Обычная HTML карта сайта:

    Карта сайта в формате XML:

    У каждого варианта есть свои плюсы и минусы. Ключевое преимущество карты сайта в формате XML — исключение возможности размытия статического веса страниц внутри сайта.

    В этой статье я расскажу вам как составить корректный файл Sitemap.xml.

    Если вы уже знаете все про составление Sitemap, сразу переходите к последней главе, которая называется «Фишки».

    1. Директивы файла sitemap.xml

    Существуют 3 обязательных директивы, которые должны быть заполнены в любом случае, это теги:

    • < urlset>
    • < url>
    • < loc>

    А также 3 необязательных тега:

    • < lastmod>
    • < changefreq>
    • < priority>

    Вот памятка по расшифровке каждого тега из официального сайта http://www.sitemaps.org/ru/protocol.html :

    Атрибут

    Статус

    Описание

    обязательный

    Инкапсулирует этот файл и указывает стандарт текущего протокола.

    обязательный

    Родительский тег для каждого URL-адреса. Остальные теги подчинены этому тегу.

    обязательный

    Сам URL-адрес страницы. Всегда начинается с префикса (например, HTTP) и заканчиваться косой чертой (если сервер вашего сайта требует этого).

    Внимание: длина URL-адреса не должна превышать 2048 символов.

    необязательный

    Дата последнего изменения файла. Указывается строго в формате W3C Datetime. Он позволяет при необходимости не учитывать сегмент времени и использовать формат ГГГГ-ММ-ДД.

    необязательный

    Позволяет указать как часто меняется информация на странице.

    Это значение устанавливается приблизительно.

    Допустимые значения:

    • always
    • hourly
    • daily
    • weekly
    • monthly
    • yearly
    • never

    Если страница изменяется каждый раз, когда ее открывают — используем значение «always» (всегда). Если это архивная страница — ставьте never (никогда).

    Учтите, что этот атрибут служит для поискового робота подсказкой, а не правилом. Поэтому зависимости между ним и реальной частотой посещения страницы поисковым роботом нелинейная.

    необязательный

    Позволяет указать приоритет одних страниц вашего сайта перед другими.

    Диапазон значений — от 0,0 до 1,0.

    По умолчанию каждой странице отдается приоритет 0,5.

    Значение атрибута работает для сравнения приоритета страниц только внутри вашего сайта. То есть оно не влияет на сравнение вашего сайта с сайтами конкурентами в поисковой сети. Более того, выставлять всем страницам максимальный приоритет тоже бессмысленно. Потому что тогда значения будут одинаковыми для робота и атрибут просто не сработает. Так что не ищите лазеек, а указывайте объективные приоритеты для страниц.

    Сохраните эту памятку. Она обязательно пригодится вам в первое время. Стоит отметить еще один плюс XML-карты сайта - это гибкость. Гибкость заключается в сочетании разных необязательных директив.

    Теперь, когда у вас есть ясность, что такое XML-карта сайта и вы узнали основные директивы этого файла, можно перейти к его составлению.

    2. Составление файла sitemap.xml

    Составлять карту сайта можно 3 способами:

    • Вручную;
    • Автоматически, с помощью специальных сервисов;
    • Автоматически, с помощью готовых решений в виде плагинов к CMS и т.п.

    Процесс приготовления карты сайта следующий:

    • Составляем карту сайта одним из способов, перечисленных выше;
    • Проверяем на валидность с помощью сервисов поисковых систем (https://webmaster.yandex.ru/sitemaptest.xml);
    • Размещаем файл на сайте;
    • Указываем путь к карте сайта для поисковых роботов в файле robots.txt (Кстати, есть отдельная статья о том, );
    • Указываем Sitemap в панели вебмастеров Яндекс и Google.

    Итак, как составлять файл карты сайта?

    Разберем пример составления файла вручную. Если вы хотите добавить в карту сайта 5 страниц вашего сайта:

    Вот так должна выглядеть карта сайта в формате XML:

    http://site.ru/url-o_kompanii/

    http://site.ru/url-uslugi/

    http://site.ru/url-produkty/

    http://site.ru/url-dostavka/

    http://site.ru/url-kontakty/

    При необходимости добавляем необязательные теги из памятки, которую я привел выше. Дополнительные теги прописываются в контейнере , после указания URL-адреса страницы в теге . Например:

    http://site.ru/

    2005-01-01

    monthly

    0.8

    Приведенный выше код, указывает поисковой системе, что страница http://site.ru/

    в последний раз изменилась 1 января 2005 года. Обновляется с частотой раз в месяц. И приоритет у данной страницы 0.8 (максимально возможный 1).

    Особенно удобен функционал подсветки парных тегов.

    Сервисы для генерации Sitemap

    В случае, если на вашем сайте много полезных страниц и вы не хотите тратить время на составление файла вручную, то вам помогут следующие сервисы:

    Таких сервисов много. Я использую https://www.xml-sitemaps.com/ .

    Поясню вкратце все настройки:

    Плагины для CMS

    Существует огромное количество плагинов и готовых решений для систем управления сайтов. Например:

    Плагин

    Валидность

    После составления карты сайта нужно проверить ее на наличие ошибок. Для проверки используйте сервис https://webmaster.yandex.ru/sitemaptest.xml

    После успешной проверки заливаем наш файл на сайт.

    Расположение файла

    В отличие от файла robots.txt, файл sitemap.xml может располагаться в любом месте вашего сайта. Например, в корневой папке сайта файл будет доступен по следующему адресу:

    Если вы разместили файл в папке /files/, то он будет доступен по такому адресу:

    После успешной загрузки файла, обязательно укажите поисковым роботам как найти этот файл. Делается это очень просто. В файле robots.txt () в директиве Sitemap пропишите полный адрес к файлу. Например, файл robots.txt может выглядеть следующим образом:

    Важно! В отличии от robots.txt файлов Sitemap может быть несколько. В таком случае необходимо указывать в robots и вебмастерах полный адрес ко всем файлам Sitemap.

    Search Console и панель Яндекс.Вебмастера

    Остался последний этап. Указать путь к карте сайта в панелях вебмастеров поисковых систем.

    • Настройка индексирования
    • Файлы Sitemap
    • «Проверить» и «Добавить»

    Следует отметить ограничения в XML-карте сайта:

    • В одном файле можно указать не более 50000 URL-адресов
    • Вес файла не более 10 мегабайт (поисковые системы не индексируют документы, превышающие размер в 10 мегабайт). При необходимости файл можно сжать с помощью архиватора.gzip.
    • Кодировка файла только в UTF-8

    На этом основные этапы завершены. Следуйте всем описанным простым правилам и ошибок у вас не будет. Вторая часть статьи посвящена более детальной настройке, тонкостям и особенностям sitemap.xml эти знания потребуются вам для составления профессиональной карты сайта для интернет-магазинов.

    3. Группировка файлов Sitemap

    В случае превышения лимита в 50000 URL-адресов, нужно использовать вложенную структуру и создать группу из нескольких Sitemap. То есть создавать карты сайта в карте сайта!

    Для обычного сайта (не крупного портала или интернет-магазина) такой объем страниц редкость, поэтому группировку Sitemap большинство SEO-специалистов используют для удобства, например, для группировки страниц товаров или разделов.

    Синтаксис выглядит следующим образом:

    http://site.ru/sitemap1.xml.gz

    2004-10-01T18:23:17+00:00

    http://site.ru/sitemap2.xml.gz

    2005-01-01

    Определение XML-тегов:

    Атрибут


    Описание

    обязательный

    Инкапсулирует информацию о всех файлах Sitemap в этом файле.

    обязательный

    Инкапсулирует информацию об отдельном файле Sitemap.

    обязательный

    Указывает местоположение файла Sitemap.

    необязательно

    Указывает время изменения соответствующего файла Sitemap. Робот использует эту информацию, чтобы понять в каких файлах Sitemap произошли изменения. Косвенно, этот тег позволяет роботу быстрее обнаружить новые страницы сайта.

    Таким образом составляется сгруппированная карта сайта. Все остальные процедуры те же, что описаны выше. Не забываем указывать в файле robots.txt, в директиве Sitemap, корректную ссылку на ваш файл.

    4. Исследование

    В конце 2014 года я провел небольшое исследование по анализу эффективности наличия на сайте файла sitemap.xml.

    Наблюдалась проблема индексации товарной группы на сайте интернет-магазина (товаров порядка 10000). При этом, ничего не препятствовало их индексации. Был составлен файл карты сайта, состоящий только из ссылок на товары сайта. Карта сайта обновлялась автоматически. За 2 месяца в индексную базу поисковой системы Яндекс попало более 70% URL-адресов. Большая доля страниц, попавших в индекс, это страницы из карты сайта. Отмечу, что в данный период не проводились другие мероприятия по ускорению индексации сайта (например, простановка ссылок).

    Вот сами результаты:

    Вывод: карта сайта до сих пор влияет на индексацию вашего сайта. Необходимо регулярно обновлять и актуализировать данный файл.

    5. Фишки

    Чтобы статья не получилась скучной для опытных SEO-специалистов, предлагаю вам ознакомиться со следующими «фишками».

    Картиночный сайтмап

    Для привлечения дополнительного трафика из поисковых систем (возможно не совсем конверсионного) вы можете составить дополнительный Sitemap для картинок.

    Синтаксис для картиночной карты сайта выглядит так:

    xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">

    http://example.com/primer.html

    http://example.com/kartinka.jpg

    http://example.com/photo.jpg

    Памятка по XML-тегам:

    Обязательно?

    Описание

    Содержит всю информацию об одном изображении. Каждый URL (тег ) может включать до 1000 тегов .

    URL изображения.

    В отдельных случаях домен URL изображения может отличаться от домена, используемого основным сайтом. Если оба домена подтверждены в Search Console, проблем при этом не возникнет. Но если картинки размещены с помощью системы управления контентом, например, сервиса Google Сайты, вам необходимо подтвердить сайт хостинга в Search Console. Кроме того, файл robots.txt не должен запрещать сканирование содержания, которое необходимо индексировать.

    Подпись к изображению.

    Место съемки. Например, Поронайск, о. Сахалин .

    Название изображения.

    URL лицензии изображения.

    Лайфхак для тех, кто дочитал

    Многие SEO-специалисты генерируют файлы Sitemap один раз на старте проекта. Дальше про карту сайта забывают. Проиндексировались страницы — хорошо. Нет — а что поделать?! Новые страницы вообще забывают вносить в sitemap.

    В ходе своего исследования я выяснил, что наиболее удобным способом решения этой проблемы является отдельный файл sitemap.xml, в котором будут только те страницы сайта, которые еще не попали в индекс.

    И именно это позволило вогнать в индекс Яндекса более 70% новых URL-адресов.

    В этом путеводителе мы рассмотрим следующие вопросы:

    Что такое Sitemap ?

    Это файл, который содержит в себе перечень ссылок на все важные страницы сайта. То есть, этот документ направляет поисковые системы на основной контент на сайте.

    Для чего нужна карта сайта

    Сайтмап нужен, если у сайта есть проблемы с индексацией, которые вызваны:
    1) большим количеством страниц;
    2) отсутствием ссылок (внутренних или внешних) на страницы;
    3) глубокой вложенностью на сайте (запутанной структурой).

    HTML vs XML-карта сайта

    Карты сайта бывают следующих типов:

    • HTML;

    Самое простое объяснение разницы между этими форматами в том, что XML-карта в первую очередь предназначена для поисковых систем, а HTML – для пользователей.

    HTML-карта – это всего лишь общий обзор сайта, содержит только информацию и страницы, которые нужно видеть пользователям. Если вы находитесь на сайте и ищете определённый раздел, при переходе на Sitemap HTML легко его найдёте. Несмотря на то, что такой тип карт сайта ориентирован на пользователя, он также может помочь вашему ранжированию в поисковых системах. Это одно из свидетельств того, что вы заботитесь об удобстве сайта для пользователя.

    При составлении HTML-карты сайта важно учитывать:

    1. Структурированное содержание.

    Карта сайта должна быть понятна и удобна для восприятия пользователя. Желательно, чтобы она включала в себя разделы, категории, подкатегории и т. д.

    2. Анкоры ссылок.

    Протокол XML-карты сайта предназначен для поисковых роботов. XML-файл содержит в себе информацию о том, когда последний раз обновлялся URL-адрес, насколько это важно и как часто происходят изменения.

    Обычно Sitemap состоит из следующих XML-тегов:

    Обязательные:
    – определяет стандарт протокола и инкапсулирует этот файл.
    – содержит в себе информацию о URL-адресе (является родительским тегом).
    – содержит абсолютный URL-адрес.

    Необязательные:
    – указывает дату последнего изменения файла.
    – указывает частоту смены файла.
    – указывает на значимость документа на сайте. Диапазон значений: от 0,1 до 1,0 (по умолчанию 0,5).

    Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.

    Другие форматы Sitemap

    Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:

    Для Google:
    — RSS, mRSS и Atom 1.0;
    RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
    — Сайты Google.
    Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.

    Для Google и Яндекс:
    — текстовый формат (TXT).
    Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.

    Требования Google и Яндекса к файлам Sitemap

    1. Используйте кодировку UTF-8.
    2. Максимальное количество URL – 50 000.
    3. Ссылки в сайтмапе должны быть на том же домене, что и файл.

    4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
    5. Ответ сервера при обращении к файлу должен быть 200 ОК.
    6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).

    1. Максимальный размер – 10 МБ.
    2. Поддерживает кириллические URL.

    1. Максимальный размер – 50 МБ.
    2. Поддерживает только цифры и латинские буквы.

    Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.

    Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.

    Как создать XML Sitemap

    1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.

    2. Определить, какой формат файла будете использовать.

    3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.

    Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке .

    Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:

    1. Парсим сайт.

    2. Переходим в раздел «Сайты» => «Генерировать Sitemap».

    3. Сохраняем в нужном нам формате.

    4. Карта сайта готова.

    Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator .

    Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.

    Исключить ненужные страницы можно и с помощью регулярных выражений.

    Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.

    Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.

    Обязательные:
    – аналогично тегу содержит в себе URL изображения и дополнительную информацию.
    – URL изображения.

    Необязательные:
    – подпись к изображению.
    – место съёмки фотографии.
    – название изображения.
    – URL-лицензии изображения.

    Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.

    Плюсы добавления XML-тегов для видео:

    1) даёт понять Google, какой контент на сайте;
    2) даёт возможность предоставить детальное описание к файлу;
    3) станет доступным для поиска в Google Видео;
    4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).

    Карта сайта для видеофайлов состоит из следующих обязательных элементов:

    – содержит URL-адрес страницы, на которой размещено видео; если на одной странице размещено более одного видео, не нужно каждый раз создавать тег , достаточно в одном теге несколько раз прописать для каждого видео на странице.
    – включает в себя всю информацию о видео.
    – URL к миниатюрному изображению (заставке) к видео. Рекомендованные размеры: от 160×90 пикселей до 1920×1080. Форматы изображения: .jpg, .png, or. gif
    – заголовок, который должен совпадать с названием страницы, на которой отображается видео.
    – описание видео. Должно соответствовать с метаописаниями страницы. Максимальное количество символов – 2048.

    Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.

    Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google .

    Где разместить карту сайта

    Распространённые заблуждения о Sitemap

    Так как у многих этот файл вызывает трудности и является «тёмным лесом», возникают определённые мифы в отношении карт сайта. Рассмотрим некоторые из них:

    – «Включение URL-адреса в файл Sitemap для XML гарантирует, что он будет проиндексирован».
    Нет. Важно отметить, что XML-файлы Sitemap – это только рекомендации. Карта сайта XML не гарантирует индексацию поисковыми системами страниц, указанных в файле.

    – «Если я удалю URL из XML-карты, он будет удалён из индекса».
    Нет. Карта сайта XML не исключает индексацию страниц, не включённых в карту сайта XML.

    – «XML-файлы Sitemap трудно создавать и поддерживать»
    Нет. Небольшие сайты могут легко создавать и размещать собственные XML-файлы вручную, используя приведённые выше примеры в качестве руководства по форматированию. Для более крупных сайтов и сайтов, которые изменяются чаще, плагины или модули, доступные для большинства CMS, могут автоматизировать обновление XML-файлов.

    Заключение

    Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.

    Подписаться на рассылку