Правильные белые списки для google/yandex ботов

Типичное решение для этой задачи — посмотреть логи и взять от туда ip поисковых роботов, либо ещё хуже- найти список адресов в интернетах. Но это ошибочный путь, потому что адреса серверов меняются, и нам придётся постоянно следить за актуальностью списка.

[Continue reading]