Прокси берут из бесплатных списков, вставляют в парсер или в браузер, и дальше возможны три исхода: работает, не работает, или работает, но данные утекли. Третий исход самый неприятный, потому что внешне неотличим от первого.
Разберём, что можно проверить самостоятельно и что из этого реально о чём-то говорит.
Сначала о главном: бесплатный прокси видит ваш трафик
Это не предостережение из вежливости, это устройство протокола. Прокси — посредник, через которого проходят ваши запросы. Что именно он видит, зависит от протокола:
По HTTP он видит всё. Адреса страниц, содержимое форм, введённые пароли, заголовки, куки. Не «может перехватить при желании», а видит по построению: он и есть тот, кто передаёт эти данные дальше.
По HTTPS содержимое зашифровано, и прокси видит только имя сайта и объём обмена. Это уже терпимо, но при одном условии: соединение должно остаться сквозным.
Главная опасность — подмена сертификата. Если браузер ругается на сертификат при работе через прокси, соединение расшифровывается посредником. Именно так и выглядит перехват. Ругань браузера в этом случае не «помеха, которую надо обойти», а единственное предупреждение, которое вы получите.
Отсюда правило, от которого не стоит отступать: через бесплатный прокси не входят в почту, банк и рабочие системы. Он годится для задач, где утекать нечему: собрать открытые данные, посмотреть выдачу другой страны, проверить, как сайт выглядит снаружи.
Проверка первая: адрес вообще отвечает
Самое простое и самое бесполезное поодиночке.
curl -x http://176.111.37.216:39811 -m 10 https://ifconfig.meЕсли вернулся IP-адрес — прокси жив и запрос через него прошёл. Если curl: (28) — не ответил за десять секунд, и в списке он уже мусор.
Списки бесплатных прокси на три четверти состоят из мёртвых адресов: их собирают один раз и не перепроверяют. Поэтому список с живой проверкой отличается от обычного не длиной, а тем, что каждый адрес в нём отвечал несколько минут назад.
Проверка вторая: какой IP видит сайт
Важно не то, что прокси ответил, а то, чей адрес увидит сайт на другом конце.
curl -x http://ПРОКСИ https://ifconfig.meВернулся адрес прокси — работает. Вернулся ваш собственный — прокси не подменяет адрес, и смысла в нём нет.
Проверка третья: анонимность
Это то, что отличает прокси от прокси сильнее всего, и то, что чаще всего понимают неправильно.
| Тип | Что видит сайт |
|---|---|
| Прозрачный | ваш настоящий IP в заголовках |
| Анонимный | что вы под прокси, но не ваш адрес |
| Элитный | обычного посетителя |
Прозрачный прокси не скрывает вас. Он передаёт ваш настоящий адрес в заголовке X-Forwarded-For. Сайт видит и прокси, и вас. Для обхода ограничения по стране такой годится, для анонимности — нет.
Проверяется одним запросом:
curl -x http://ПРОКСИ http://httpbin.org/headersЕсли в ответе есть X-Forwarded-For с вашим адресом — прокси прозрачный, как бы он ни назывался в списке.
Практическая деталь: в бесплатных списках прозрачные составляют большинство. В нашем на момент написания из полусотни живых адресов элитных не было ни одного — и это нормальное состояние бесплатных прокси, а не особенность списка.
Проверка четвёртая: отклик и стабильность
Время отклика в списке — это мгновенный снимок. Адрес с откликом 130 мс может через минуту отвечать за 3 секунды: бесплатным прокси пользуются десятки людей одновременно.
Поэтому смотрите не на число, а на порядок величины. До 500 мс — рабочий вариант. Больше секунды — парсер будет спотыкаться. И проверяйте повторно перед долгой задачей, а не один раз в начале.
Что со всем этим делать
| Задача | Подойдёт ли бесплатный прокси |
|---|---|
| Собрать открытые данные с сайта | Да |
| Посмотреть выдачу другой страны | Да |
| Проверить доступность сайта снаружи | Да |
| Войти в почту или банк | Категорически нет |
| Рабочие системы, документы | Нет |
| Постоянная нагрузка, важная задача | Нет, нужен платный |
Короткий вывод: бесплатный прокси — инструмент для задач, где нечему утекать. Проверить его работоспособность можно за минуту четырьмя командами. Проверить его добросовестность нельзя никак — поэтому и не давайте ему ничего, чем не готовы поделиться с незнакомым человеком.