User-Agent – это больше чем просто название вашего броузера. Сегодня мы поговорим об этом замечательном поле протокола HTTP. На самом деле это поле несколько более полезно, чем вам может показаться на первый взгляд. Мы рассмотрим два интересных момента относительно этого поля.

Момент первый. Обход авторизации на сайтах.

Все на большем количестве сайтов требуется регистрация или даже плата, для получения полного доступа к их контенту. Но заметьте – поисковик Google знает об их контенте, без регистрации и платы! Да и не только Google. В чем секрет? Почему обычные пользователи должны регистрироваться, или платить за то, что поисковый гугл бот получает за так? Причина этого проста: каждый сайт хочет использовать поисковые системы для увеличения посещаемости, а для этого боты этих поисковых систем должны иметь доступ к информации, которая может заинтересовать пользователей.
Многие сайты при их посещении проверяют, какой браузер у клиента. Это делается довольно просто – при заходе на страницу браузер передает на сервер свое имя, в виде небольшой текстовой строки (см. примеры в конце абзаца). Получить эту строку довольно просто, вот пример из скрипта на perl:
my $browser=$ENV{'HTTP_USER_AGENT'};# - строка содержит название браузера
Так вот, если клиент идентифицируется сайтом как, к примеру, поисковый бот google, то его пропускают без регистрации и платы во все разделы (за исключением описанных в файле robots.txt – но это учитывает сам бот (или не учитывает :-)))). Ну или почти во все…
А если клиент идентифицируется как Мозила, IE, Opera или еще что-нибудь, то с него требуют регистрацию, плату, признание их лицензий и т.п
Что делать? И кто виноват? Известный русский вопрос… Кто виноват? Виновата жажда денег, и это не исправить, но так как жажда халявы также сильна в людях, то мы будем прикидываться google ботами, и все.
Для того чтобы это сделать можно использовать одну из этих программ: