Блокировка поисковых ботов

Тема в разделе "Анонимность", создана пользователем zero0-0day, 21 янв 2013.

  1. zero0-0day
    zero0-0day Новичок
    Симпатии:
    0
    Какие способы блокировки поисковых ботов (помимо тривиальных robots.txt и .htaccess) существуют.
    Вопрос возник после того как поисковый бот google проиндексировал сайт в обход robots.txt и .htaccess.
     
    21 янв 2013
  2. Хулиган
    Хулиган Команда форума Продвинутый
    Симпатии:
    152
    не мог он обойти блокировку .htaccess
    подсети поисковиков забаньте, как вариант
     
    21 янв 2013
  3. zero0-0day
    zero0-0day Новичок
    Симпатии:
    0
    Где-то слышал об определении ботов, путем определения размера открываемого окна браузера. То есть если окно открывается iframe то индексируется бот. Только не могу найти что-то эту статью...
     
    21 янв 2013
  4. Хулиган
    Хулиган Команда форума Продвинутый
    Симпатии:
    152
    покажите .htaccess
     
    21 янв 2013
  5. zero0-0day
    zero0-0day Новичок
    Симпатии:
    0
    RewriteEngine on
    RewriteBase /
    RewriteCond %{HTTP_USER_AGENT} ^ Googlebot [OR]
    RewriteCond %{HTTP_USER_AGENT} ^ Yandex
    RewriteRule ^.*$ - [F]

    Не нашел команды абсолютного запрета всех ботов для .htaccess
     
    21 янв 2013
  6. Хулиган
    Хулиган Команда форума Продвинутый
    Симпатии:
    152
    RewriteEngine On
    RewriteCond %{HTTP_USER_AGENT} (google|yandex) [OR]
    RewriteCond %{HTTP_REFERER} (google|yandex)
    RewriteRule ^.*$ - [F,L]
     
    21 янв 2013
  7. zero0-0day
    zero0-0day Новичок
    Симпатии:
    0
    А есть команда запрета всех ботов для .htaccess или каждого по отдельности придется исключать?
     
    21 янв 2013
  8. Хулиган
    Хулиган Команда форума Продвинутый
    Симпатии:
    152
    каждого
    вариант с блокировкой всех кроме указанных ип не подходит?
     
    21 янв 2013
  9. Mei
    Mei Guest
    оО а вот это странно, гугль такого себе не позволяет, если в роботс все правильно прописано. А вот Yahoo вполне может проигнорировать правила. Ну, кроме .htaccess, разумеется

    zero0-0day, тут посмотри список ботов и подробности к ним. Может не все актуально, хз, их много
     
    21 янв 2013
Загрузка...