Пишем простой асинхронный парсер

Многие разработчики типового говнософта, ориентированного на работу с вебом, зачастую используют потоки для того, чтобы получить выигрыш в скорости. Данный подход, конечно, обладает своими плюсами, но все же не является оптимальным, например, с точки зрения потребляемых ресурсов системы (особенно когда речь идет о потребителях, любящих ставить сразу "тыщу потоков").
Альтернативным и общеизвестным способом ускорения работы софта является асинхронная модель, то есть модель, при которой все вызовы методов являются неблокирующими. В данной статье я рассмотрю простой пример, который будет использовать асинхронные веб-запросы.
В качестве примера будет написан парсер идентификаторов приложений с Android Market, который пригодится в готовящейся статье, посвященной добычи трафика с маркета. Для простоты будем использовать модуль AnyEvent, он упрощает реализацию асинхронной событийной модели. Итак, приступим.
Читать далее «Пишем простой асинхронный парсер»

Forum Detector 1.0 beta

Forum Detector - это скрипт, написанный на php, который поможет вам определить, что за форум установлен на интересующем вас сайте. Если конкретнее, то скрипт умеет:
- определять тип форума (на данный момент поддерживается распознавание IPB, phpBB, vBulletin, MyBB)
- определять версию форума по разным критериям
- определять возможные уязвимости форума и предлагать подходящие для них эксплойты
- определять ТиЦ и PR сайта
- есть поддержка прокси, socks5, прокси с авторизацией, socks5 с авторизацией

Скачать скрипт в zip

UPD 16.04.09: исправлен косяк при работе с проксями.

(c) dx

Парсер+брутфорс (часть №1)

Часто замечаю на форумах просьбы дать инвайт/аккаунт к какому-нибудь ресурсу, причем многие ресурсы не обладают никакой защитой от перебора пароля. Скрипт для сбора логинов с ресурса (если это возможно) и последующего перебора пишется минут за 10. Непонятно что людям мешает взять и самостоятельно набрать аккаунтов к необходимому ресурсу, ибо в гугле встречается довольно много простых примеров использования потоков и выполнения запросов к серверу.

Парсер (в качестве примера для сайта torrents.ru, полный код парсера приведен в конце статьи):
Для начала разберемся откуда можно набрать список логинов.
Читать далее «Парсер+брутфорс (часть №1)»