Дублированный контент: руководство по его поиску и устранению

Если вы изо всех сил пытаетесь увеличить поисковый трафик своего веб-сайта, вам сначала необходимо найти и исправить проблемы с дублированием контента на вашем веб-сайте.

Дублированный или скопированный контент появляется в Интернете в нескольких местах. Если вы всегда будете находить и исправлять эти проблемы с контентом на своем сайте, вы определенно сможете добиться более высокого рейтинга и выдающийся пользовательский опыт.

Итак, в этой статье мы рассмотрим, что это такое, как вы можете найти этот проблемный контент на вашем веб-сайте (и за его пределами) и как легко исправить эти проблемы с контентом.

Вам интересно узнать больше? Давайте углубимся в детали.

Содержание:

Проблемы с дублирующимся контентом: как их найти и исправить в 2024 году
Как найти похожий контент на своем сайте?
Что НЕ считается дублированным или плагиатным контентом?
- Контент в мобильной версии
- Переведенный контент
Часто задаваемые вопросы о решении проблем с дублированием или идентичным содержимым
Последние мысли

Проблемы с дублирующимся контентом: как их найти и исправить в 2024 году

Что такое дублированный контент?

Он содержит похожий (или точно такой же) контент на нескольких страницах. Это может быть внутри вашего веб-сайта (из-за технических проблем на вашем сайте) или за его пределами (из-за того, что другие люди копируют ваш контент).

Нет смысла оставлять этот тип проблемного контента на вашем веб-сайте, потому что он не добавляет никакой ценности ни аудитории вашего веб-сайта, ни поисковым роботам.

Наличие нескольких веб-сайтов с почти одинаковым текстом может сбить с толку поисковых роботов Google, которые выбирают только один из множества повторяющихся сайтов для ранжирования.

Здесь вы можете использовать канонические URL-адреса, чтобы избежать проблем, вызванных идентичным или «дублирующимся» контентом, появляющимся на нескольких URL-адресах (подробнее об этом каноническом теге далее в той же статье).

Таким образом, всегда следите за дублированием контента на вашем веб-сайте, если вы хотите улучшить свой рейтинг в поисковых системах и обеспечить лучший опыт для ваших читателей.

Как возникает идентичный контент?

Две основные причины могут объяснить появление такого контента на вашем сайте.

Технические причины
Контент, скопированный вручную

Давайте кратко обсудим две вышеупомянутые причины, чтобы лучше понять этот тип контента.

Технические проблемы : даже если вы не копируете и не вставляете контент с других веб-сайтов, а пишете исходный контент в своем блоге или на веб-сайте, проблемы с контентом все равно могут возникать.

Да, это правда. Это связано с техническими проблемами на вашем сайте. Если вам интересно, что это такое и как это может произойти, читайте дальше.

Итак, давайте рассмотрим некоторые технические проблемы, которые могут привести к проблемам с контентом на вашем веб-сайте.

HTTP и HTTPS (убедитесь, что все страницы вашего сайта загружаются в версии https, эта проблема возникает, если вы неправильно устанавливаете SSL-сертификаты)
www и без www (убедитесь, что весь контент на вашем сайте загружается либо с www, либо без www)
Настройки и фасетная навигация (фасетная навигация может быть полезна для пользователей, но отрицательно влияет на SEO вашего сайта)
Идентификаторы сеанса
Разбиение на страницы (вы должны использовать теги rel=prev и rel=next для правильной обработки страниц этого типа и обязательно ознакомьтесь с этим Статья в журнале поисковой системы чтобы узнать больше об управлении разбивкой на страницы вашего веб-сайта).
Скраперы (сайт-скрейпер — это просто веб-сайт, который копирует контент с других веб-сайтов с помощью парсинга, избегайте подобных вещей любой ценой).
Разные языковые версии (если ваш сайт многоязычный, т. е. предлагает контент более чем на одном языке, обязательно используйте Hreflang правильно).

Старайтесь избегать вышеупомянутых технических проблем на своем веб-сайте, и вы будете в безопасности от всех этих проблем с контентом.

Контент, скопированный вручную : Другая важная причина может заключаться в том, что вы копируете контент других людей или другие веб-сайты копируют ваш контент и публикуют его как свой собственный.

Поэтому вам нужно следить за скопированным вручную контентом и следить за тем, чтобы вы не использовали другой контент, поскольку он не добавляет никакой ценности для вашей аудитории. Аналогичным образом, если вы обнаружите, что кто-то копирует ваш контент, отправьте им электронное письмо (посетив их веб-сайт или связавшись с ними через социальные сети), чтобы удалить его.

Если нет, вы можете просто подать жалобу DMCA, и это сработает как шарм (подробнее об этом позже в той же статье).

Это плохо для SEO?

Знаете ли вы это или нет, «штрафа за дублирование контента» не существует.

Знаете ли вы, 29% страниц будут иметь проблемы с дублированием контента или подобное в инете?

Согласно исследованию Raven Tools, вот несколько интересных статистических данных о дублированном контенте в блогах.

29% страниц имеют дублированный контент
22% заголовков страниц дублировались
на 20% страниц было мало слов
17% метаописаний были дублированы

Таким образом, очевидно, что дублирование содержимого веб-сайта не приводит к штрафным санкциям вашего сайта в результатах поиска Google.

Почему, ты мне скажешь?

Причина проста: Google достаточно умен, чтобы знать первоисточник контента. Google пытается определить исходный источник контента и отображать его в результатах поиска, а не дублировать или копировать контент.

Но это не означает копирование и вставку статей с других сайтов.

Вот несколько причин, по которым вам никогда не следует использовать этот тип контента, особенно если он получен с других веб-сайтов.

Другие владельцы блогов могут легко узнать, кто копирует их контент, используя такие инструменты, как Copyscape, или просто выполнив поиск части их контента в Google. Если кто-то узнает, что вы копируете их контент, он попросит вас удалить его. Если вы не ответите, он может легко снять это с помощью DMCA. Таким образом, вы не сможете легко уйти, если скопируете другой контент.
Копирование чужого контента не повышает ценность для читателей вашего сайта. Если вы не повышаете ценность аудитории своего веб-сайта, вы никогда не добьетесь успеха.
Копирование чужого контента неэтично. Если вы действительно хотите зарабатывать деньги на ведении блога, вам нужно избегать этих неэтичных практик, потому что они могут напрямую повлиять на ваш авторитет в Интернете.
Прежде всего, как мы упоминали ранее, Google достаточно умен, чтобы знать первоисточник контента, поэтому, очевидно, он дает более высокий рейтинг первоисточнику, а не веб-сайтам, которые копируют чужой контент. Это так просто.

Как найти похожий контент на своем сайте?

До сих пор мы объясняли, что такое дублированный контент блога, как это происходит и почему его следует избегать. Теперь поговорим о самом главном: как найти дублирующийся контент на вашем сайте.

Опять же, есть два способа найти этот тип контента.

Один из них — поиск идентичного контента на собственном сайте (чаще всего это происходит по техническим причинам).
Другой — поиск дублированного или скопированного контента за пределами вашего сайта.

Давайте посмотрим, как вы можете найти этот тип контента в этих двух случаях.

Найдите идентичный контент на своем сайте

Поиск аналогичного контента на вашем веб-сайте должен быть вашей основной задачей, так как в большинстве случаев это связано с техническими проблемами, как обсуждалось выше, такими как переход на https-версию и загрузка определенных страниц в http, использование www-версии или нет. www и тд…

Помимо этих технических проблем, есть еще несколько способов борьбы со спамом на вашем сайте.

Ищите повторяющиеся заголовки и метаописания на вашем сайте.

Знаете вы это или нет, старая версия Google Search Console была лучше. Он предлагал опцию «Улучшения HTML», которая помогала вам легко находить повторяющиеся заголовки и метаописания. С момента появления новой версии Google Search Console эта функция была удалена.

Но вот оно: есть еще один удивительный инструмент под названием Визуальное SEO который вы можете использовать для просмотра всего вашего веб-сайта, чтобы легко найти любые проблемы с заголовками страниц, метаописаниями и тегами H1.

Вот как это выглядит;

Как вы можете видеть выше, этот инструмент поможет вам найти массу вещей на вашем сайте, в том числе;

Страницы с отсутствующими тегами title
Дублирование тегов заголовков
Страницы с отсутствующими метаописаниями
Дублирование метаописаний
Дублирование тегов H1
Короткие теги заголовков
Длинные теги заголовков
Короткие или длинные мета-описания и т. д.

Это даст вам обзор вашего веб-сайта и любые существенные повторяющиеся проблемы, которые вы можете легко исправить, чтобы предотвратить такие проблемы с контентом на вашем сайте.

Проверка контента вручную с помощью поиска Google

Самый простой способ найти похожий контент — выполнить ручной поиск в Google.

Обязательно найдите статью или страницу, которую хотите проверить на плагиат.

Затем скопируйте фрагмент или абзац с этой страницы или записи в блоге (который, как вы думаете, скопируют другие) и вставьте этот фрагмент в поиск Google, используя кавычки («).

Google мгновенно выдает вам список результатов, если этот текстовый фрагмент имеет похожее содержание. В противном случае вы не получите никаких результатов поиска (это означает, что для этого фрагмента текста не было найдено идентичного контента).

Найдите идентичный контент за пределами вашего сайта

В предыдущем разделе мы объяснили, как найти похожий контент на вашем сайте. Теперь давайте посмотрим, как вы можете найти спам-контент за пределами вашего контента, что означает, что вы ищете скопированный контент на своем веб-сайте.

Здесь вы должны использовать инструменты проверки на плагиат, потому что не всегда есть возможность использовать Google вручную для проверки скопированного содержимого.

При этом вот 3 лучших инструмента, позволяющих легко определить, копируют ли контент другие веб-сайты или нет.

1. Копискейп

Хотя существует множество средств проверки контента, Copyscape — один из лучших инструментов для проверки дублирующегося контента или спама.

Это работает отлично. Вы просто нуждаетесь в вас зайди на их сайт и введите URL своего сайта. Вот и все, он будет искать по всей сети все сайты с контентом, похожим на ваш. Он также покажет вам количество скопированного текста, а также выделенный текст.

2. Проверка грамматики на плагиат

Grammarly — один из самых популярных инструментов для редактирования грамматики, а также его можно использовать в качестве средства проверки на плагиат (вы можете делать это даже в их бесплатной версии).

Инструмент Grammarly упрощает обнаружение плагиата, поскольку он использует базы данных ProQuest и более 16 миллиардов веб-страниц для поиска скопированного контента.

Просто перейдите на эту страницу и введите блоки текста с вашего веб-сайта или загрузите файл, чтобы увидеть, есть ли другие копии в Интернете.

Преимущество этого инструмента заключается в том, что он выделяет отрывки, требующие цитирования, и предоставляет вам ресурсы, необходимые для правильной ссылки на ваши источники.

3. Плагиат

Это еще один бесплатный инструмент для проверки на плагиат, который работает как шарм, чтобы найти дублированный контент и скопированный контент. Лучшее в использовании этого инструмента то, что он поддерживает более 190 языков по всему миру!

Все, что вам нужно сделать, это скопировать и вставить некоторый контент с вашего веб-сайта и нажать «Проверить на наличие дубликатов или скопированного контента» (при выборе предпочтительной поисковой системы, например Google или Bing), и инструмент автоматически начнет поиск скопированных статей с тем же текст.

Как легко исправить повторяющиеся или похожие проблемы с контентом

До сих пор мы видели, как вы можете найти идентичный контент как на своем веб-сайте, так и за его пределами.

Теперь давайте посмотрим, как вы можете легко исправить эти проблемы с контентом.

Удалить скопированный контент из Google

Лучший способ удалить повторяющийся контент из поиска Google — отправить юридический запрос в Google.

Google предоставляет в ваше распоряжение инструмент, который позволяет вам подать юридический запрос на удаление дублированного (или защищенного авторским правом) контента из поиска Google.

Вот как это выглядит;

Вы увидите несколько служб Google (выберите в зависимости от того, где отображается ваш контент), чтобы вы могли отправить запрос на удаление. Эти услуги заключаются в следующем;

YouTube (используйте этот вариант, если кто-то использует ваши видео, не указывая ваше авторство)
Поиск изображений (с использованием ваших изображений без указания вашего авторства)
Google Мой бизнес
Поиск в Интернете (вы можете искать скопированный контент или контент, защищенный авторским правом, чтобы удалить такой контент из поиска Google)
Платформа для блоггеров и т. д.

Вы также можете специально использовать " удаление, защищенное авторским правом (авторские права удалены) от Google.

Просто проверьте эту ссылку подать уведомление DMCA (Закон о защите авторских прав в цифровую эпоху).

Как вы можете видеть выше, вы можете указать точный URL-адрес, где можно просмотреть пример работы, защищенной авторским правом. Эта информация будет использоваться командой для проверки того, что работа отображается на страницах, которые вы запрашиваете для удаления.

Вы также должны предоставить URL-адрес предположительно нарушающего авторские права материала, который вы требуете удалить.

Вот и все. В течение нескольких дней (обычно около десяти дней) весь скопированный контент будет удален из поиска Google.

Несколько простых способов исправить проблемы с дублированием или похожим контентом

Вот некоторые из самых простых и эффективных способов исправить проблемы с дублированием или копированием контента на вашем веб-сайте.

Использовать 22 стратегии партнерского маркетинга и советы, как заработать больше денег

Один из самых простых и эффективных способов борьбы с скопированным контентом (или даже тонкими страницами) на вашем сайте — это использовать переадресацию 301.

301 переадресация просто сообщает поисковым системам, таким как Google, что конкретный URL-адрес был навсегда перемещен в новое место (новый URL-адрес). 301 редиректы включают URL-адрес, на который был перемещен ресурс.

Есть множество WordPress плагины и вы можете использовать бесплатный и простой плагин, например плагин Simple 301 Redirects для перенаправления дублирующихся или низкокачественных URL-адресов на вашем сайте на другие релевантные, но качественные страницы вашего сайта. Вы также можете использовать плагины Yoast SEO или Rank Math для этих перенаправлений. Проблема решена !

Используйте канонический тег

Канонический тег (называемый «rel=canonical») — это просто способ сообщить поисковым системам, таким как Google, что определенный URL-адрес на вашем веб-сайте представляет собой основную копию страницы. Таким образом, Google будет ранжировать только эту конкретную страницу, даже если найдет другие страницы с похожим содержанием на вашем сайте.

Если вы не можете избавиться от всех этих повторяющихся URL-адресов, у вас всегда есть возможность перенаправить их на уникальный URL-адрес.

Вам нужно будет добавить дополнительный тег в заголовок дублирующей страницы, чтобы поисковые системы, такие как Google, направляли весь трафик на основную статью.

Другими словами, канонический URL-адрес помогает избежать проблем с дублированием или копированием контента на вашем веб-сайте независимо от контента.

Настроить канонический тег чрезвычайно просто, если вы используете Плагин Wordpress Yoast SEO.

Le Плагин Wordpress Yoast SEO позволяет легко изменить канонический URL-адрес нескольких типов страниц в настройках плагина.

Быстрая заметка : Используйте канонический тег плагина Yoast SEO только в том случае, если вы хотите изменить канонический URL-адрес на нечто отличное от URL-адреса текущей страницы.

Обязательно ознакомьтесь с этим подробным руководством по использованию тега canonical на Сайт Йоста где вы найдете все подробности об использовании этого тега.

Будьте последовательны с вашими внутренними ссылками

Мы все знаем о важности внутренних ссылок. Если вы хотите улучшить навигацию на своем веб-сайте, увеличить глубину ссылок, передать ссылочный вес другим страницам вашего сайта или повысить рейтинг, внутренние ссылки могут действительно помочь.

Но вот что делать. Вы должны следовать своим внутренним практикам ссылок, чтобы избежать проблем с дублированием контента.

Например, не ссылайтесь на http://www.example.com/page/, http://www.example.com/page и http://www.example.com/page/index.htm.

Вы также можете использовать консоль поиска, чтобы сообщить Google, как вы предпочитаете индексировать свой сайт. Другими словами, вы можете указать Google предпочтительный домен (например, https://www.example.com или http://example.com).

Поэтому решите, хотите ли вы индексировать страницы своего веб-сайта с www или без www из Google Search Console.

Используйте аудит сайта Semrush

Semrush — один из лучших инструментов для SEO который может помочь вам во всем: от исследования ключевых слов до анализа обратных ссылок. Но главная причина, по которой мы упоминаем Semrush на этой конкретной странице, заключается в том, что он предлагает замечательную функцию под названием «аудит сайта», которая помогает вам находить и устранять все технические проблемы и проблемы сайта. SEO на вашем сайте.

К ним относятся;

Легко оптимизируйте внутренние и внешние ссылки
Добавляйте метатеги везде, где они отсутствуют (включая теги заголовков, метаописание, теги alt изображения).
Легко найти дубликаты страниц контента
Поиск и исправление проблем с hreflang, и этот список можно продолжить.

Используйте разные резюме

Как блоггеры, мы часто зависим от широкого спектра платформ для продвижения наших последних сообщений в блогах, в том числе;

Форумы
Сайты социальных сетей
Сайты для размещения сообщений в блогах
Каталоги блогов и т. д.

Ключевым моментом здесь является НЕ использовать одно и то же резюме для ваших сообщений в блоге на всех этих платформах. Вместо этого создавайте уникальные записи или резюме везде, где вы продвигаете свой пост в блоге, чтобы избежать таких проблем с контентом.

Также обязательно избегайте пустых страниц на своем сайте. Например, не публикуйте страницы, для которых у вас еще нет контента. Если вы создаете такие страницы, обязательно используйте тег noindex, чтобы они не индексировались в результатах поиска Google.

Что НЕ считается дублированным или плагиатным контентом?

В некоторых случаях такая же копия (точный текст) доступна в Интернете, но она вообще НЕ считается дубликатом или похожим контентом. Так что же это за случаи, когда контент не считается дубликатом? Вот несколько.

Контент в мобильной версии

Существует множество сайтов, которые используют мобильные версии контента своего веб-сайта. Наличие одинакового контента (включая посты, страницы, продукты и т. д.) на вашем веб-сайте и в мобильной версии вашего сайта не считается копией контента.

Google достаточно умен, чтобы различать две версии (настольную и мобильную) одного и того же веб-сайта. Поэтому он не считает их плагиатом, поэтому вы можете безопасно создавать мобильную версию своего сайта. То же самое касается AMP-страниц.

Переведенный контент

Есть несколько веб-сайтов, которые переводят свой контент на несколько языков, и переведенный контент НЕ считается дублирующимся контентом или спамом (хотя контекст буквально тот же).

За что ? Давайте посмотрим, что именно Google думает о дублирующемся контенте. Google определил дублированный контент как «значительные блоки контента внутри домена или между доменами, которые полностью совпадают или существенно похожи на другой контент».

Другими словами, переведенный контент НЕ является дубликатом или идентичным контентом, поскольку он не соответствует другому контенту.

Другие источники:

Часто задаваемые вопросы о решении проблем с дублированием или идентичным содержимым

Вот список некоторых важных вопросов о дублирующемся контенте или спаме на вашем веб-сайте.

Наказывается ли дублированный контент?

Нет, штраф за дублирование или копирование контента не предусмотрен.

Если вам интересно, вот что Гугл говорит о штраф за содержание.

Наличие дублированного контента на сайте не является основанием для принятия мер на этом сайте, за исключением случаев, когда создается впечатление, что цель дублированного контента состоит в том, чтобы ввести в заблуждение и манипулировать результатами поисковых систем. Если ваш сайт страдает от подобных проблем с контентом, а вы не следуете приведенным выше советам, мы проделаем хорошую работу по выбору версии контента для отображения в наших результатах поиска.

Мы настоятельно рекомендуем вам выявлять и устранять эти проблемы с контентом, потому что поисковые системы, такие как Google, не знают, какие страницы ранжировать, если ваш сайт содержит дублированный контент (из-за технических проблем, упомянутых ранее в статье).

Вот почему так важно найти и исправить все эти проблемы с контентом на вашем веб-сайте, если вы хотите улучшить свой органический рейтинг.

Как проверить контент на плагиат онлайн?

В Интернете доступно множество инструментов для проверки на плагиат, которые вы можете использовать, чтобы легко определить, скопировал ли кто-то содержимое вашего веб-сайта или нет.

Copyscape
Quetext
Юничек
Plagium
Grammarly

Вышеуказанные инструменты бесплатны (некоторые из них также имеют премиум-версии, которые предлагают более высокие лимиты и более быструю обработку проверки контента), поэтому используйте их всякий раз, когда вы сомневаетесь, что кто-то скопировал ваш контент.

Влияют ли повторяющиеся заголовки страниц на SEO?

Конечно да. Вам следует любой ценой избегать дублирования заголовков страниц, потому что заголовки ваших страниц (мета-заголовки) очень важны для рейтинга вашей страницы в результатах обычного поиска.

Обязательно выполните быстрый поиск в Google названия, которое вы собираетесь использовать для своих сообщений или страниц в блоге. Это позволит избежать повторения или использования тех же названий страниц, что и на других веб-сайтах. Используйте инструменты генератора заголовков, чтобы легко найти массу идей для заголовков.

Также не забудьте создать уникальное и оригинальное мета-описание для каждого поста в блоге и каждой страницы, которую вы публикуете и индексируете в поиске Google. Используйте плагины, такие как Yoast SEO, для создания уникальных заголовков страниц с мета-описанием вместо того, чтобы позволять Google выбирать случайные резюме текста вашей статьи.

Может ли дублироваться контент в результатах поиска Google?

Прошли те времена, когда несколько авторитетных сайтов получали более высокие рейтинги, размещая контент с других сайтов. Сегодня Google уделяет меньше внимания этим сайтам с дублирующимся контентом.

Давайте процитируем рекомендации Google по оценке качества поиска от марта 2017 года.

Самая низкая оценка уместна, если все или практически все ОК (основное содержимое) страницы копируется с минимальными затратами времени, усилий, опыта, ручного курирования или добавленной ценности для пользователей или вообще без них. Эти страницы должны ранжироваться на самом низком уровне, даже если страница отдает должное содержанию другого источника.

Как видите, дублированный контент не имеет приоритета при ранжировании. Поэтому обязательно сосредоточьтесь на создании оригинального, высококачественного и уникального контента, чтобы получить более высокий рейтинг.

Как Google определяет основную версию дублированного контента?

Это интересный вопрос.

По словам известного спикера по SEO Дэна Петровича, «если в Интернете есть несколько экземпляров одного и того же документа, URL-адрес с наивысшим авторитетом становится канонической версией. Остальные считаются дубликатами.

И вот! Вам не нужно беспокоиться о том, оценивает ли Google ваш контент или нет, если вы не копируете чужой контент.

Последние мысли

Самый распространенный миф о контенте заключается в том, что «Google наказывает сайты за дублированный или скопированный контент». Это не совсем так, но такой тип контента может навредить пользовательский опыт ваш веб-сайт, и вы никогда не знаете, когда Google начнет наказывать сайты с дублирующимся контентом.

Как говорится, «предотвратить лучше, чем лечить», поэтому всегда лучше устранять эти проблемы, и выше мы говорили о некоторых передовых методах поиска и устранения этих проблем с контентом на вашем веб-сайте.

Постарайтесь найти и исправить эти проблемы на своем веб-сайте как можно скорее и всегда следите за дублирующимся или похожим контентом для лучшего поиска и взаимодействия с пользователем.

У вас есть еще вопросы? Дайте нам знать ваши мысли в комментариях.

Дублированный контент: как легко найти и исправить в 2024 году