содержание скребка (он же веб-скрапинг, сбор веб-данных, интеллектуальный анализ веб-данных и т. д.) - это процедура копирования данных с веб-сайта. «Скребки» (дворники) контент - это люди или программное обеспечение, которые копируют данные. Очистка веб-страниц - неплохая вещь.
Фактически, все веб-браузеры являются скребками контента. Есть много законных целей для выполнения парсинга контента, например, индексация веб-сайтов для поисковых систем.
Смотрите нашу статью на Как запретить Google индексировать ваш блог WordPress
Реальная проблема в том, вредны ли скребки контента на вашем сайте. Конкуренты могут хотеть украсть ваш контент и опубликуйте это как принадлежащее им. Если вы можете отличить законных пользователей от плохих парней, у вас больше шансов защитить себя. Эта статья объясняет основы веб-скребинга, а также некоторые способы избавления от него (или хотя бы уменьшить их важность).
Но раньше, если вы никогда не устанавливали WordPress, откройте для себя Как установить WordPress блог в 7 шага et Как найти, установить и активировать WordPress тему на своем блоге
Тогда вернемся к тому, почему мы здесь.
Типы скребок контента
Сканеры контента могут загружать данные разными способами. Важно знать различные методы и технологии, которые они используют. Способы варьируются от низкотехнологичных (человек вручную копировать и вставлять содержимое) для сложных роботов (автоматизированное программное обеспечение, способное моделировать человеческую деятельность в браузере). Вот краткое изложение того, что вам, возможно, придется сделать:
- Spiders: Веб-сканирование - важная часть работы парсеров контента. Как паук Googlebot начнется с выбора одной веб-страницы и перейдет от ссылки к ссылке для загрузки веб-страниц.
- скрипты: Вы можете использовать Linux Shell для создания парсеров контента со скриптами, такими как GNU Wget, для загрузки контента.
- HTML скребок: они похожи на сценарии оболочки. Этот тип скребка очень распространен. Он работает, получая HTML-структуру веб-сайта для поиска данных.
- Экраны просмотра: Очиститель экрана - это программа, которая собирает данные с веб-сайта, имитируя поведение человека, который использует компьютер для просмотра веб-страниц.
- человек копия: Здесь человек вручную копирует контент с вашего сайта. Если вы когда-либо писали в Интернете, вы могли заметить, что плагиат распространен. Когда первоначальная лесть утихает, реальность, что кто-то получает прибыль от вашей работы, подходит.
Есть несколько способов сделать то же самое. Перечисленные выше категории скреперов не являются исчерпывающим списком. Кроме того, категории во многом пересекаются.
Читайте также нашу статью о Как и почему качественный аудит вашего контента
Как защитить свой блог
1. Ограничение скорости и блокировка
Вы можете бороться с множеством ботов, сначала обнаружив проблему. Для автоматизированного робота характерно спам на вашем сервере с исключительно большим количеством запросов. Регулирование скорости, как следует из названия, ограничивает запросы сервера от отдельного клиента путем установки правила.
Вы можете делать такие вещи, как измерять миллисекунды между запросами. Если взаимодействие с вашим сайтом происходит слишком быстро, значит, это бот. После этого заблокировать этот IP-адрес. Вы можете заблокировать IP-адреса по ряду критериев, в том числе по стране происхождения.
2. Регистрация и подключение
Регистрация и вход - это популярный способ уберечь контент от посторонних глаз. Вы можете препятствовать продвижению роботов. Все, что вам нужно сделать, это сделать доступ к вашему контенту условным при наличии соединения. Здесь применяются основы безопасности входа в систему. Имейте в виду, что страницы, требующие регистрации и входа, не будут индексироваться поисковыми системами.
3. Honeypots и ложные данные
В информатике «приманки» - это виртуальные операции. Вы собираете потенциальных злоумышленников, устанавливая ловушки с помощью приманки для обнаружения трафика от парсеров контента. Есть бесконечное количество способов сделать это.
Например, вы можете добавить невидимую ссылку на свою веб-страницу. Затем создайте алгоритм, который блокирует IP-адрес клиента, который перешел по ссылке. Более сложные приманки может быть сложно настроить и поддерживать. Хорошей новостью является то, что существует множество проектов Honeypot с открытым исходным кодом. Посмотри на это великое список крутых приманок на github.
4. Используйте капчу
Капча означает " Полностью испытание Automated Public Turing сказать компьютеров и людей в основном, тест, чтобы определить разницу между людьми и роботами. Капчи могут быть скучными, но они также полезны. Вы можете использовать a, чтобы заблокировать области, на которые, по вашему мнению, может нацелиться бот, например, кнопку электронной почты на вашем Контактная форма. В WordPress есть много хороших плагинов Captcha, в том числе « Защитный код Из джетпака.
Откройте для себя также несколько премиальных плагинов WordPress
Вы можете использовать другие WordPress плагины чтобы придать современный вид и оптимизировать обработку вашего блога или веб-сайта.
Мы предлагаем вам несколько премиальных плагинов WordPress, которые помогут вам сделать это.
1. Полоса для Arforms
ARForms имеет новое расширение, которое принимает платежи через платежный шлюз Stripe. Он называется «ARForms Stripe». Последний объединяет входные данные формы и платежи в единый процесс.
вы можете клиенты счета с динамическим количеством сразу после отправки формы ARForms.
Читайте также нашу статью о Как пользоваться полоской на WooCommerce и Easy Digital Download
Вам просто нужно создать форму с помощью ARForms, настроить ее с помощью Stripe, и все готово! Вы можете установить оплату по Stripe в кратчайшие сроки.
скачать | Демонстрация | веб-хостинг
2. Социальный поток AX
Если вы хотите отображать несколько каналов в социальных сетях на вашем сайтетогда плагин WordPress Социальный Совет позволит вам сделать это, предоставив вам шесть способов просмотра активности в вашей учетной записи. Вы также получите поддержку 17 социальных сетей и несколько настраиваемых макетов.
Среди его функций: 6 различных режимов отображения ленты, поддержка подавляющего большинства социальных сетей, полностью адаптивный макет, поддержка рекламных баннеров, Многоязычная поддержка, менеджер тем, подробная документация и т. д.
скачать | Демонстрация | веб-хостинг
3. Интерактивные карты мира
Интерактивные карты мира помогут вам создать столько карт геолокации, сколько вы хотите, континентов, стран или регионов… и это с интерактивными и цветными маркерами.
Он совместим с последними версиями WordPress и идеально подходит для Плагин Visual Composer.
Откройте для себя Плагины 8 WordPress для настройки внешнего вида вашего сайта
Благодаря интерактивным картам мира вы сможете отображать несколько типов регионов, таких как: карта всего мира, континент или субконтинент, страна и многое другое.
скачать | Демонстрация | веб-хостинг
Другие рекомендуемые ресурсы
Мы также приглашаем вас ознакомиться с указанными ниже ресурсами, чтобы получить дополнительную информацию о вашем веб-сайте и блоге.
- Какие технологии (платформы), чтобы использовать для вашего блога?
- 5 советов по улучшению безопасности блога на WordPress
- Как добавить задание на WordPress
- Является ли WordPress надежным программным обеспечением?
Заключение
Вуаля! Это все, что нужно сделать в этом руководстве. Я надеюсь, что оно поможет вам составить практичный список дел для эффективной защиты вашего WordPress блог. не стесняйтесь поделитесь советом с друзьями в социальных сетях.
Однако вы также сможете ознакомиться с нашими Ressources, если вам нужно больше элементов для реализации ваших проектов создания интернет-сайтов, обратитесь к нашему руководству по Создание блога на WordPress.
А пока расскажите о своем Комментарии и предложения в специальном разделе.
...
