Программа(бот) на HTTP запросах

Дано: есть 2 популярных расширения Хрома: Stylish и Frigate. Кроме своих основных задач они также собирают информацию о посещении пользователем сайтов в Интернете.

Нужно:

1. Проанализировать HTTP запросы от этих приложений, узнать все необходимые параметры, которые передаются(куки, IP, рефер, id и тд)

2. Написать программу на Зеннопостере или Питоне или другими средствами, которая будет отправлять такие запросы, якобы мы посещаем сайты.

Продумать защиту от антифрода(прокси, куки, id) Т.е. нам нужно сэмулировать нужное количество посещений сайтов и чтобы расширение не задетектило, что это бот.

В настройках программы:

Задаем сайты и кол-во запросов в день на конкретный сайт. Сайтов будет несколько, браться в работу должны рандомно.

В помощь:

При переходе на любую страницу (даже на https), расширение Stylish в фоне начинает отправлять данные на url h___s://userstylesapi.com/tic/stats. Выглядит это так:

Параметр e в FormData содержит дважды завернутые в Base64 данные:

ZG0xMFBUTW1iR0YyUFRJeEpuZDJQVEVtWjNJOU1pNHdMamttY0hobFBURm5aamhwTjJnNU5qVTVOekZ4ZERob05tTTVham
c0T0hCME5DWnpiblU5Sm1kd1BXaDBkSEJ6SlROQkpUSkdKVEpHZFhObGNuTjBlV3hsY3k1dmNtY2x
Na1p6ZEhsc1pYTWxNa1ppY205M2MyVWxNa1p1WlhkbGMzUXRjM1I1YkdWekptTm9QVGttWkdrOVlUTmxNMlV5WVRneA==

vmt=3&lav=21&wv=1&gr=2.0.9&pxe=1gf8i7h965971qt8h6c9j888pt4&snu=&gp=https%3A%2F%2Fuserstyles.org
%2Fstyles%2Fbrowse%2Fnewest-styles&ch=9&di=a3e3e2a81

Таким образом при каждом клике передается информация по посещаемым URL.

Теперь о Frigate:

При переходе на любую страницу на два URL (интересно, почему на два) отправляются следующие данные:

Параметр e в FormData содержит дважды завернутые в Base64 данные:

Y3oweE9ERTBKbTFrUFRJeEpuQnBaRDFzWW5keE1FeHBTVW8xZFhFeWFEY21jMlZ6Y3owMU56TXpNVF
l6TWpVeU1EazJOemd3TURBbWMzVmlQV05vY205dFpTWnhQV2gwZEhCekpUTkJMeTltY21rdFoyRjB
aUzV2Y21jdmNuVXZKbWh5WldabGNtVnlQV2gwZEhCekpUTkJMeTkzZDNjdVoyOXZaM
nhsTG5KMUx5WndjbVYyUFdoMGRIQnpKVE5CTHk5bWNta3RaMkYwWlM1dmNtY3ZjblV2S
m5SdGRqMDBNREUxSm5SdFpqMHhMakU9

s=1814&md=21&pid=lbwq0LiIJ5uq2h7&sess=573316325209678000
&sub=chrome&q=https%3A//fri-gate.org/ru/&hreferer=https%3A//www.google.ru/
&prev=https%3A//fri-gate.org/ru/&tmv=4015&tmf=1.1

Кстати, в расширении friGate Light такого функционала нет…