- Browser Automation Studio
- How it works?
- A problem
- Use BAS to solve it
- Repeat your activity only once more
- Tweak it
- Appearance
- Toolbar
- Scenario panel
- Browser manipulation
- Browser Automation Studio is packed with all of the cutting-edge features you want and need :
- BAS is especially optomized for creating standalone apps that can be shared or sold. You can create standalone bots for free, but premium version adds custom features like protecting your project, or customizing intarface.
- Want to become a BAS professional?
- Browser automation studio mac os
- Browser automation studio mac os
- Оптимизация скорости работы редактора сценария.
- Оптимизация работы системы ресурсов.
- Совместимость с сервисами от Google.
- Обмен опытом BAS (Browser Automation Studio)
- Все записи Записи сообщества Поиск Анна Малышева запись закреплена Xevil+Xrumer скидка официальная 40% до 31 октября! Забрал купон? Напиши в личку, получишь новую базу на 250 млн. доменов! Список купонов: OCT21-40-211031-g2vltv7xc89isw07 Показать полностью. OCT21-40-211031-g2vltv7xswq82dlk OCT21-40-211031-g2vltv7xhsp8zjpa OCT21-40-211031-g2vltv7xkkb3ovcp OCT21-40-211031-g2vltv7xkkxu1h8z Еще купоны в telegrame @xxcoupons Xevil может работать в связке со сторонним софтом (для разгадывания графических капч и recapcha): KeyCollector, A-Parser, ZennoPoster, HumanEmulator, BrowserAutomationStudio, GSA SER, AllSubmitter, X-Parser Light, FastTrust. Источник Browser automation studio mac os В новой версии был осуществлен переход на новый браузерный движок. Это означает, что архитектура проекта значительно изменилась, теперь автоматизация браузера работает так: В начале работы потока в фоне запускается экземпляр браузера. Данный экземпляр ничем не уступает обычному браузеру и не имеет тех ограничений, что раньше. Браузер управляется BAS с помощью стабильного протокола поддерживаемого Google. Действия BAS по работе с браузером не изменились. Что получают наши пользователи? Такую автоматизацию очень сложно обнаружить. Можно делать это по косвенным признакам, таким как: повторение одних и тех же действий, неправдоподобные паузы между действиями, и т. д. Но сделать это отсутствию какого-то функционала уже крайне проблематично, а система смены отпечатков затрудняет сбор информации об оборудовании. Старые проекты BAS легко портировать. Несмотря на то, что внутри софта поменялось очень многое, кое что было и совсем переписано с нуля, портировать старый проект просто. В некоторых случаях достаточно открыть его в новой версии, есть небольшие исключения, они описаны ниже. Новые возможности. Новая система управления браузером дает также и возможности добавить новые фичи. Некоторые уже добавлены сейчас, некоторые мы надеемся добавить позже. Поддержка расширений. В новой версии появилась возможность подключать расширения браузера. Для этого нужно: Скачать расширение с помощью этой утилиты. При сохранении нужно выбрать zip. Разархивировать в любую папку. Указать эту папку в действии «Настройки Браузера». К сожалению пока работа с интерфейсом расширения не поддерживается. Планируется реализовать это в следующих версиях. Обновление версии браузера в будущем. Очень важным фактором аутентичности браузера является наличие всех методов, классов, констант javascript. Иначе говоря, если версия движка старая — это можно обнаружить. Чтобы избежать этого, планируется обновлять браузер достаточно часто. В идеале, это будет делаться каждый месяц вместе с обновлением Chrome. Для обеспечения постоянных обновлений было написаны тесты для действий по работе с браузером(это делал @GhostZ), была добавлена подробная документация по каждому патчу, улучшены инструменты для внедрения патчей, в ближайшее время будут написаны тесты для изменения отпечатков. Переход на новый движок так же поможет в этом деле. Багов автоматизации при обновлении версии браузера в нем ожидается значительно меньше. Тест piхеlscan. Многие наши пользователи спрашивали об этом тесте, сейчас BAS успешно его проходит, для этого: Нужно сменить отпечаток с помощью сервиса FingerprintSwitcher. Разрешить получать данные canvas и webgl в действии «Настройки Браузера» ИЛИ использовать PerfectCanvas На момент написания статьи в тесте есть баг. Обычный браузер определяется как фреймворк для автоматизации, скрин. Происходит так потому, что совсем недавно свойство navigator.webdriver в обычном Chrome поменяло значение с undefined на false и тест не успели обновить. В данном случае, BAS также определяется как фреймворк для автоматизации, так же как и обычный Chrome. Еще один момент, при использовании прокси в данном тесте, нужно иметь резидентский ip. В новой версии «родные» данные canvas не являются уникальными, это можно проверить на странице https://browserleaks.com/canvas Оптимизации в работе CPU. Дополнительная нагрузка на процессор по сравнению с обычным Chrome может возникать при постоянной передаче изображения из браузера в BAS. Снизить ее оказалось совсем не простой задачей, для этого был переписан протокол передачи данных. Оригинальная версия тратила время на сжатие данные и передачу их по websocket, этот подход давал просто неприличные результаты при большой частоте кадров. Новый протокол помог, но решение все еще не было совершенным. Поэтому был добавлен адаптивное снижение частоты кадров. Если пользователь активирует браузер — fps повышается, при сворачивании браузера, он снова падает. Данный метод помогает значительно снижать нагрузку в многопотоке, а также не является опасным для выполнения скриптов, поскольку оптимизация не затрагивает никакой другой части браузера кроме передачи изображения. Если хотите узнать больше, рекомендую ознакомиться с видео https://www.youtube.com/watch?v=GHYMfwFJiHY&t=1279s Оптимизация использования жесткого диска. Размер профилей был значительно уменьшен по сравнению с обычным браузером. Отключен Crashpad. Отключена метрика браузера. Используется для получения сведений об удобстве использования браузера. В файл chrome_command_line.txt добавлены флаги запрещающие некоторые виды кеша. Это можно отключить отредактировав файл. Размер профилей сказался позитивно не только на количестве используемого дискового пространства, но и на времени запуска потока. Widevine В новой версии widevine нужно включать в настройках, либо в действии «Настройки Браузера». К сожалению, лицензирование BAS не произведено, поэтому сайты вроде spotify воспроизводить контент не будут. Действие «Яваскрипт» Добавлено новое действие «Яваскрипт», как и старое, оно может выполнять код в контексте браузера, но делает это намного качественней: Добавлена работа с переменными BAS. Ожидание асинхронных действий. Получение информации об исключениях. Большинство работы сделал @Oyasumi-Punpun Старое действие продолжит работать, но теперь оно считается устаревшим. Установка referrer. Установка referrer теперь производится через действие «Загрузить» или «Добавить вкладку». Это нужно учитывать при портировании проекта. Смайлики. В новой версии добавлена поддержка смайликов при вводе текста. Такой метод ввода все равно не является достоверным, потому что смайликов нет на клавиатуре, а следовательно события keyup, keydown и keypress не эмулируются. Наличие смайликов в ресурсах проекта не позволит скомпилировать проект с защитой. Ввод символов состоящих из 4 байт еще не реализован, сюда относятся флаги стран. Новые факторы отпечатка. Для новой версии были добавлены новые факторы отпечатка. База еще не успела обновиться, поэтому рекомендуется использовать отпечатки не старше 2 недель. Обновления модулей. Были добавлены новые модули «Строка» и «SQL». Первый расширяет возможности BAS по работе со строками, есть действия для форматирования, редактирования, поиска строк, а также для парсинга текста. Второй — позволяет работать с популярными SQL базами данных: mysql, mariadb, postgres, sqlite, mssql. Есть возможность выполнять примитивные действия не вникая в синтаксис, а также выполнять произвольные запросы к базе. Спасибо @GhostZ за модули. Ограничения новой версии. Некоторые вещи мы сделать не успели. Drag and Drop не поддерживается. Это значит что ползунок громкости в видео плеере перетащить можно, но перетащить файл в браузер пока нет. Запись http запросов пока не работает https://i.imgur.com/P1JxkxC.png. Отображение элементов select пока не работает https://i.imgur.com/ZkDmTBy.png. Но само значение элемента выбрать можно. HTTP аутентификация пока не работает. Отображение разных типов курсоров пока не работает https://i.imgur.com/fVAHclk.png Инструменты разработчика открываются в системном браузере в отдельном окне. Открыть инструменты разработчика для конкретного элемента пока невозможно. Это не самые важные вещи, поэтому откладывать выпуск версии до их завершения нецелесообразно. Тем не менее, все они будут исправлены в будущих релизах. Достижение максимальной аутентичности. Если сайту все равно удается обнаружить новую версию BAS и вы уверены, что дело не в прокси, не в номере телефона, последовательности действий, а именно в браузере, то вот список действий, которые необходимо предпринять: Убедитесь, что в хроме в режиме инкогнито или с новым профилем проблема повторяется. Отключите модуль AjaxReCaptcha2. Увы, его можно обнаружить. Отключите защиту canvas, webgl либо используйте PerfectCanvas. Попробуйте выполнить действия в режиме ручного управления(без автоматизации). Если ничего не помогло, используйте алгоритм в этой теме https://community.bablosoft.com/topic/12198/. Как портировать старый проект. Для этого нужно открыть старый проект в новой версии и внести такие изменения: Все действия Установить заголовок с параметром Referer нужно заменить на действия Загрузить либо «Добавить вкладку». Пересоздать действия: Сброс , Установить Значение Комбобокса , Установить Индекс Комбобокса , Выбрать Случайный Элемент Из Комбобокса , Предыдущая Страница , Добавить вкладку , Проверить Существование Нужно помнить, что формат cookies и профилей изменился. Если проект полагается на использование профилей старого формата, их нужно обновить. Дальнейшее развитие проекта. Планы по дальнейшему развитию браузера следующие: Обновить версию браузера до 90. Развивать инструменты ускоряющие обновление. Вернуть возможности, которые не были перенесены в новую версию. Добавить взаимодействие с интерфейсом расширений, в том числе и автоматизацию. Адаптировать PerfectCanvas для webgl, разрешить сбор данных в индивидуальном порядке. План может меняться со временем. В видео многие особенности новой версии показаны детальней https://www.youtube.com/watch?v=GHYMfwFJiHY. !ВАЖНО Обладатели 32-битной версии Windows не смогут обновиться в автоматическом порядке. После скачивания произойдет краш. Новую версию нужно перекачать. Для 64-битной версии проблем не будет. Патч 24.0.3 В нем мы постарались исправить основные критические ошибки найденные пользователями. Исправлены ошибки в работе некоторых сайтов. Стрим на twitch мог прерваться с ошибкой 3000 на некоторых прокси и только при выборе автоматического качества. Страница входа в аккаунт epic games store не загружалась полностью. Эти проблемы исправлены. Но для авторизации в EGS нужно включить канвас/использовать отпечатки и отключить AjaxRecaptcha2. Данные фиксы носят универсальный характер и применимы не только к этим сайтам. Исправлены ошибки в работе с ssl. Ошибка «This site can’t provide a secure connection» больше не должна появляться. Нам удалось воспроизвести проблему, но только одним определенным образом. Если проблема появляется и после апдейта, нужно предоставить подробные шаги для воспроизведения и прокси. Частота обновления кадров по умолчанию установлена в 30. Это значительно снижает нагрузку на CPU. На самом деле теперь новая версия в многопоточном режиме стала потреблять меньше времени CPU чем прошлая и даже меньше чем обычный Chrome. Спасибо одному из наших пользователей за идею. Этот код очень сильно зависит от железа. Если на вашем мониторе фикс не работает, обратитесь к @Fox с описанием проблемы. Улучшение антидетекта. Защита imреrva, которая определяла BAS при смене прокси теперь так не делает. Смена прокси на лету. Исправлены проблемы прошлой версии по смене прокси без перезагрузки браузера. Теперь действие «Прокси» стало работать на 3 секунды дольше. Отключены предустановленные расширения. При наличии определенных значений в реестре, в новые профили создаваемые BAS могут добавляться расширения установленные на ПК пользователя. Этот момент исправлен. Улучшен режим плавного запуска потоков. Теперь поток считается запущенным только когда когда запущен и вспомогательный процесс BAS и реальный браузер, а не только вспомогательный процесс, как было раньше. Эти значения нужны для работы системы плавного запуска потоков. Ранее количество одновременно запускаемых браузеров было 1, теперь оно стало 3. Это значение можно менять в настройках. Модификация заголовков для всех запросов. Стандартные методы изменения заголовков, таких как User-Agent и Accept-Language, не меняют их для всех запросов. Это позволяет легко обнаружить браузеры, которые полагаются только на эти методы. В BAS был добавлен механизм, который позволяет осуществить замену для абсолютно всех запросов. Он действует похожим образом на то, как туннелирование работает для прокси, только в этом случае речь идет о заголовках. Ниже скриншот, на котором видно, что замене подвергаются даже внутренние запросы Chrome: Очень большая просьба не судить, о том, заменяются ли заголовки ли нет по инструментам разработчика. Патч 24.0.5 Оптимизация. Появилась возможность установить максимальный FPS. Это можно сделать в настройках или через действие «Настройки Браузера». Уменьшение частоты кадров может быть полезным для снижения нагрузки на сайтах с анимацией. По умолчанию значение установлено в 30. Раньше, при создании нового профиля, браузер выполнял несколько ресурсоемких задач. Это приводило к сильной кратковременной нагрузке на CPU. Сейчас это исправлено. Нагрузка при старте потока снизилась. Исправления багов. Теперь BAS работает корректно на сервере после отключения RDP сессии. Исправлена потеря фокуса при работе BAS в фоне. Исправлен ввод диакритических символов и символов с зажатым правым Alt. Исправлено получение селекторов на некоторых сайтах. Исправлены некоторые другие причины, которые приводили к ошибке ERR_SSL_PROTOCOL_ERROR. Патч 24.0.7 В данном патче было добавлено множество фиксов касающихся производительности. Оптимизации подверглась нагрузка практически на все типы ресурсов ПК. Были отключены множество функций интенсивно потребляющих время процессора: разнообразные метрики, некоторые функции crashpad, постоянные проверки виртуальных дисплеев, получение hwid, родительский контроль и другое. Функционал, который влияет на работоспособность браузера мы не убирали. Эти патчи позволяют снизить нагрузку при создании профиля в среднем на 10% процентов. Убрана проверка контрольных сумм для внутренних расширений и мониторинг этих файлов. Память. Размер области памяти выделяемый на передачу изображения теперь динамический. Это позволило снизить объем потребляемой памяти, особенно для экземпляров браузера с маленьким разрешением. Исправлена ошибка, когда размер доступной физической памяти на машине мог определяться неточно. Жесткий диск. Был добавлен механизм кеширования профилей. Для того чтобы создать профиль, браузеру необходимо инициализировать каждый файл расположенный в папке профиля. Это улучшение позволяет копировать файлы профиля, а не создавать их каждый раз заново. Новый функционал касается и временных профилей, которые создаются каждый раз при запуске нового потока. Его можно отключить в настройках. Список модулей BAS кешируется чтобы не читать их при старте каждого потока. Плавный запуск и остановка браузеров. Был доработан механизм плавного запуска браузеров. Теперь ограничения на минимальный размер загруженности процессора должны соблюдаться на протяжении некоторого времени. Иначе говоря, браузер можно запустить только если процессор не был сильно занять на протяжении последних нескольких секунд. Несколько браузеров теперь нельзя запустить в одно мгновение, перед следующим запуском должен пройти небольшой интервал времени. Это позволяет избежать больших скачков нагрузки на CPU. Остановка браузеров теперь тоже происходит плавно, сразу все браузеры не будут остановлены одновременно. Такое поведение могло приводить к зависанию системы на несколько секунд. При остановке браузера учитывается где расположен профиль. Если он находится во временной папке, происходит аварийная остановка процесса, это быстрее, но может привести к потерям данных профиля. Если профиль не является временным, остановка происходит корректно. Изменить параметры плавного запуска можно в настройках. Зависание системы. Исправлено зависание системы при работе в несколько десятков потоков после открытия диспетчера задач. Спасибо пользователю, который указал на этот баг. При нехватке оперативной памяти разнообразные компоненты браузера начинают ее освобождать или проводить другие действия. Это тоже может приводить к зависанию системы когда объем свободной памяти уменьшается. После апдейта браузер будет считать, что памяти достаточно, даже если это не так. Патч 24.0.8 Аутентичность браузера. Улучшен алгоритм скрытия переменных в браузере. Исправлены некоторые проблемы с обнаружением BAS в режиме записи. Модуль AjaxRecaptcha2 может быть обнаружен. Опасный код перемещен в модуль ReCaptcha, который отключен по умолчанию. Если старые проекты работают с рекапча, его необходимо включить здесь https://i.imgur.com/IJfINN5.png Улучшения работы редактора. Исправлена работа с любыми действиями, которые перезагружают редактор. Например, «Сброс» или «Создать или переключиться на локальный профиль». Эти улучшения касаются только режима записи. Точка выполнения больше не сбрасывается, а скрипт может корректно продолжить работу: Перемещения точки выполнения больше не сбрасывает стек вызовов, состояние цикла и т. д. Исправления. Исправлена работа вкладок на некоторых сайтах. В прошлых версиях при активации перетаскивания браузер зависал. Сейчас это исправлено. Полноценная поддержка перетаскивания будет добавлена после следующего обновления версии браузера. BAS умеет туннелировать UDP протокол. Но не все socks5 прокси это поддерживают. QUIC — протокол основан на UDP разработан и используется преимущественно Google. Это может приводить к некоторым проблемам там где он используется. Например, на сайтах с рекламой Google могут наблюдаться фризы, страницы могут загружаться не полностью. Для решения данной проблемы в BAS по умолчанию теперь отключен QUIC. Рекомендуется убедиться, что ваши прокси поддерживают UDP и включить QUIC если это так. Сделать это можно в настройках или в действии «Настройки Браузера». Источник
- Browser automation studio mac os
- Поддержка расширений.
- Обновление версии браузера в будущем.
- Тест piхеlscan.
- Оптимизации в работе CPU.
- Оптимизация использования жесткого диска.
- Widevine
- Действие «Яваскрипт»
- Установка referrer.
- Смайлики.
- Новые факторы отпечатка.
- Обновления модулей.
- Ограничения новой версии.
- Достижение максимальной аутентичности.
- Как портировать старый проект.
- Дальнейшее развитие проекта.
- Патч 24.0.3
- Исправлены ошибки в работе некоторых сайтов.
- Исправлены ошибки в работе с ssl.
- Частота обновления кадров по умолчанию установлена в 30.
- Улучшение антидетекта.
- Смена прокси на лету.
- Отключены предустановленные расширения.
- Улучшен режим плавного запуска потоков.
- Модификация заголовков для всех запросов.
- Патч 24.0.5
- Оптимизация.
- Исправления багов.
- Патч 24.0.7
- Память.
- Жесткий диск.
- Плавный запуск и остановка браузеров.
- Зависание системы.
- Патч 24.0.8
- Аутентичность браузера.
- Улучшения работы редактора.
- Исправления.
Browser Automation Studio
* No programming skills required. Create script in visual constructor.
How it works?
A problem
Suppose you have a browser activity which you need to repeat continuously. Doing it manually is so tedious.
Use BAS to solve it
Download BAS, it is free and easy to install
Repeat your activity only once more
Do your workflow in BAS browser, it looks very similar to other browsers. You actions will be recorded and saved as a project.
Tweak it
Set thread number, replace input data with user interface.
Now you can replay your project. Make standalone executable and share, or schedule it and start when you want.
Appearance
Toolbar
This panel contains all available functionality grouped by modules. Open required module and select action there. Search is also available.
Scenario panel
It contains your script — a set of actions organized in a visually convenient form.
Browser manipulation
Interact with browser, your actions will be recorded automatically. Alternatively, add actions manually.
Browser Automation Studio is packed with all of the cutting-edge features you want and need :
You can create standalone application and send to customer or publish online with several clicks.
Has video tutorials, wiki and big community. Tested on many projects.
You can fork and add new features by yourself. Examine how BAS works.
Sell your scripts in our shop. Earn with no initial investment.
Use a variety of visual components to create a script.
Set thread number to make your script run in multithreading mode.
Use javascript to empower your scripts. Node.js and NPM modules are also supported.
BAS uses special technology, which saves your money on any website, that has recaptcha 2.0. Version 3.0 is also supported.
Integration with captcha solving services: 2captcha, rucaptcha, anti-captcha.
Use software to solve captchas for free!
Activate phone module included.
Use software to solve captchas for free!
Activate phone module included.
BAS uses Chrome engine to emulate browser. Humanlike mouse movements and keyboard emulation.
It supports a variety of methods — changing Canvas fingerprint, WebGL, Audio, and other.
Increase speed of your scripts by using HTTP client.
It supports a variety of methods — changing Canvas fingerprint, WebGL, Audio, and other.
Increase speed of your scripts by using HTTP client.
Create user interface using a resource system. Premium users have the ability to create an interface using web technologies (HTML, javascript).
This feature may come in handy if you want to store some data, for example, if you want to create an account manager.
Set a schedule for your projects in just a few clicks. Get execution information for each task.
Receiving and sending email with BAS is easy.
Modular system allows you to extend BAS functionality. You can create your own modules with visual components.
BAS is especially optomized for creating standalone apps that can be shared or sold. You can create standalone bots for free, but premium version adds custom features like protecting your project, or customizing intarface.
Want to become a BAS professional?
This video course will help you both to understand BAS basics, as well as more complex topics, such as: multithreading, resource system, element searching, etc.
We offer support by email or skype for premium users (messages only). It includes recommendations on how to implement particular task and resolving technical issues.
Источник
Browser automation studio mac os
This repository is not updated regularly, if you want actual source code, check out premium version https://bablosoft.com/shop/BASPremium
Browser Automation Studio
BrowserAutomationStudio is a solution that allows you to quickly create applications using browser, http client, email client, and other libraries. Programming skills are not required. Main application types: creation of posters, spammers, parsers, uploaders, apps for the social networks.
Projects compiled with BAS are standalone executables and does not require any other software installed on your PC(including BAS).
Software operates like macro recorder: all actions that a user makes are recorded and can be played or edited afterwards.
BrowserAutomationStudio supports arbitrary javascript execution.
Here is how main window look like:
This is compiled script user interface:
Visual editor to generate javascript expression:
Account manager:
Источник
Browser automation studio mac os
Данная версия содержит три довольно больших изменения.
Оптимизация скорости работы редактора сценария.
Некоторые пользователи работают с большими проектами, которые содержат десятки тысяч действий. Раньше отзывчивость интерфейса в таких больших проектах терялась. После обновления, время выполнения любых задач, будь то удаление, копирование действий, создание новых или любых других значительно уменьшилось.
Чтобы достичь этого, интерфейс редактора сценария был частично переписан, было внесено больше 20 больших изменений, вот некоторые из них:
- BAS перерисовывает только те действия, которые были изменены.
- Добавлено несколько уровней кеша для генерации кода функции. Теперь как код для целых участков скрипта, так и отдельных действий может быть использован повторно.
- Оптимизирована система отправки сообщения об изменениях в проекте.
Вот время требуемое на удаление одного действия в проекте размером около 10 мб до обновления:
В случае если количество действий в одной функции больше тысячи, все-таки возможны подвисания. Тогда рекомендуется перенести часть действий в другие функции. Это связано с тем, что браузеру трудно перерисовывать столько элементов. Данную проблему можно решить показывая только видимые действия, и динамически загружая/удаляя остальные. Планируется реализовать это в будущем.
Оптимизация работы системы ресурсов.
BAS избавился от долгих загрузок проектов с большим количеством ресурсов. На самом деле, время загрузки теперь не зависит от их количества и происходит практически мгновенно.
Чтобы достичь этого пришлось переписать некоторые компоненты системы ресурсов. Теперь вместо настоящих элементов интерфейса создаются виртуальные, а настоящие создаются только тогда, когда это нужно.
Время запуска проектов тоже значительно сократилось, но сделать его мгновенным к сожалению не получилось. Это связано с тем, что при запуске все-таки нужно рисовать какое-то количество контролов.
Совместимость с сервисами от Google.
В последнее время при попытке входа в Gmail аккаунт, сайт выдавал сообщение о необходимости смены браузера. И хотя это можно было обойти сменив юзер агент на отличный от хрома, все-таки хотелось иметь более подходящее решение. Сейчас это исправлено. Изменения также касаются регистрации аккаунтов. Например, аккаунт на видео был зарегистрирован именно через BAS.
Для того, чтобы достичь этого пришлось разобрать антибот защиту от Google. В рамках этой задачи был:
- Составлен список методов для верификации подлинности браузера используемый сайтом на стороне клиента.
- Созданы утилиты для обновления этого списка. Это позволит быстро адаптироваться если список методов будет пополняться.
Изменения касаются не только сервисов гугл, но могут и позитивно сказаться на работу с другими сайтами.
Версия FingerprintManager также была обновлена.
Это только часть обещанных изменений, остальные будут в следующей версии, немного позже. После этого, как обещал, будет серия апдейтов по аутентичности браузера.
@support Отличные новости! Спасибо!! Проекты запускаются действительно очень быстро.
Плюсую новость зачетная.
У меня M2-SSD топовый дорогой итак быстро грузил проект, а шас вообще улет )))
Оптимизация работы системы ресурсов.
Источник
Обмен опытом BAS (Browser Automation Studio)
Сообщество создано с целью обмена опытом использования программного обеспечения для автоматизации действий в браузере — BAS (Browser Automation Studio).
Свой вопрос можно задать на открытой стене, возможно, кто-то вам поможет.
Обмен опытом BAS (Browser Automation Studio) запись закреплена
Подборка полезных сервисов для BLACK SEO
1) Сайт для подбора ключевых слов, проверки конкурентности запроса и многое другое ➜ https://vk.cc/c288MW
2) Бот в телеграмме для моментального загона ссылок в индекс гугла, и прочее ➜ https://vk.cc/c288Qv
3) Сервис для накрутки поисковых подсказок во всех ПС, топ тема для привлечения трафика ➜ https://vk.cc/c288Du
4) Хостинг, сервера, домены. Всё тут ➜ https://vk.cc/c5ovXQ
PS. Этим пользуюсь сам регулярно, и всем советую.
- Все записи
- Записи сообщества
- Поиск
Анна Малышева запись закреплена
Xevil+Xrumer скидка официальная 40% до 31 октября!
Забрал купон? Напиши в личку, получишь новую базу на 250 млн. доменов!
Список купонов:
OCT21-40-211031-g2vltv7xc89isw07
Показать полностью.
OCT21-40-211031-g2vltv7xswq82dlk
OCT21-40-211031-g2vltv7xhsp8zjpa
OCT21-40-211031-g2vltv7xkkb3ovcp
OCT21-40-211031-g2vltv7xkkxu1h8z
Еще купоны в telegrame @xxcoupons
Xevil может работать в связке со сторонним софтом (для разгадывания графических капч и recapcha):
KeyCollector, A-Parser, ZennoPoster, HumanEmulator, BrowserAutomationStudio, GSA SER, AllSubmitter, X-Parser Light, FastTrust.
Источник
Browser automation studio mac os
В новой версии был осуществлен переход на новый браузерный движок. Это означает, что архитектура проекта значительно изменилась, теперь автоматизация браузера работает так:
- В начале работы потока в фоне запускается экземпляр браузера.
- Данный экземпляр ничем не уступает обычному браузеру и не имеет тех ограничений, что раньше.
- Браузер управляется BAS с помощью стабильного протокола поддерживаемого Google.
- Действия BAS по работе с браузером не изменились.
Что получают наши пользователи?
Такую автоматизацию очень сложно обнаружить. Можно делать это по косвенным признакам, таким как: повторение одних и тех же действий, неправдоподобные паузы между действиями, и т. д. Но сделать это отсутствию какого-то функционала уже крайне проблематично, а система смены отпечатков затрудняет сбор информации об оборудовании.
Старые проекты BAS легко портировать. Несмотря на то, что внутри софта поменялось очень многое, кое что было и совсем переписано с нуля, портировать старый проект просто. В некоторых случаях достаточно открыть его в новой версии, есть небольшие исключения, они описаны ниже.
Новые возможности. Новая система управления браузером дает также и возможности добавить новые фичи. Некоторые уже добавлены сейчас, некоторые мы надеемся добавить позже.
Поддержка расширений.
В новой версии появилась возможность подключать расширения браузера. Для этого нужно:
- Скачать расширение с помощью этой утилиты. При сохранении нужно выбрать zip.
- Разархивировать в любую папку.
- Указать эту папку в действии «Настройки Браузера».
К сожалению пока работа с интерфейсом расширения не поддерживается. Планируется реализовать это в следующих версиях.
Обновление версии браузера в будущем.
Очень важным фактором аутентичности браузера является наличие всех методов, классов, констант javascript. Иначе говоря, если версия движка старая — это можно обнаружить. Чтобы избежать этого, планируется обновлять браузер достаточно часто. В идеале, это будет делаться каждый месяц вместе с обновлением Chrome.
Для обеспечения постоянных обновлений было написаны тесты для действий по работе с браузером(это делал @GhostZ), была добавлена подробная документация по каждому патчу, улучшены инструменты для внедрения патчей, в ближайшее время будут написаны тесты для изменения отпечатков.
Переход на новый движок так же поможет в этом деле. Багов автоматизации при обновлении версии браузера в нем ожидается значительно меньше.
Тест piхеlscan.
Многие наши пользователи спрашивали об этом тесте, сейчас BAS успешно его проходит, для этого:
- Нужно сменить отпечаток с помощью сервиса FingerprintSwitcher.
- Разрешить получать данные canvas и webgl в действии «Настройки Браузера» ИЛИ использовать PerfectCanvas
На момент написания статьи в тесте есть баг. Обычный браузер определяется как фреймворк для автоматизации, скрин. Происходит так потому, что совсем недавно свойство navigator.webdriver в обычном Chrome поменяло значение с undefined на false и тест не успели обновить. В данном случае, BAS также определяется как фреймворк для автоматизации, так же как и обычный Chrome.
Еще один момент, при использовании прокси в данном тесте, нужно иметь резидентский ip.
В новой версии «родные» данные canvas не являются уникальными, это можно проверить на странице https://browserleaks.com/canvas
Оптимизации в работе CPU.
Дополнительная нагрузка на процессор по сравнению с обычным Chrome может возникать при постоянной передаче изображения из браузера в BAS. Снизить ее оказалось совсем не простой задачей, для этого был переписан протокол передачи данных. Оригинальная версия тратила время на сжатие данные и передачу их по websocket, этот подход давал просто неприличные результаты при большой частоте кадров.
Новый протокол помог, но решение все еще не было совершенным. Поэтому был добавлен адаптивное снижение частоты кадров. Если пользователь активирует браузер — fps повышается, при сворачивании браузера, он снова падает. Данный метод помогает значительно снижать нагрузку в многопотоке, а также не является опасным для выполнения скриптов, поскольку оптимизация не затрагивает никакой другой части браузера кроме передачи изображения.
Если хотите узнать больше, рекомендую ознакомиться с видео https://www.youtube.com/watch?v=GHYMfwFJiHY&t=1279s
Оптимизация использования жесткого диска.
Размер профилей был значительно уменьшен по сравнению с обычным браузером.
- Отключен Crashpad.
- Отключена метрика браузера. Используется для получения сведений об удобстве использования браузера.
- В файл chrome_command_line.txt добавлены флаги запрещающие некоторые виды кеша. Это можно отключить отредактировав файл.
Размер профилей сказался позитивно не только на количестве используемого дискового пространства, но и на времени запуска потока.
Widevine
В новой версии widevine нужно включать в настройках, либо в действии «Настройки Браузера». К сожалению, лицензирование BAS не произведено, поэтому сайты вроде spotify воспроизводить контент не будут.
Действие «Яваскрипт»
Добавлено новое действие «Яваскрипт», как и старое, оно может выполнять код в контексте браузера, но делает это намного качественней:
- Добавлена работа с переменными BAS.
- Ожидание асинхронных действий.
- Получение информации об исключениях.
Большинство работы сделал @Oyasumi-Punpun
Старое действие продолжит работать, но теперь оно считается устаревшим.
Установка referrer.
Установка referrer теперь производится через действие «Загрузить» или «Добавить вкладку». Это нужно учитывать при портировании проекта.
Смайлики.
В новой версии добавлена поддержка смайликов при вводе текста. Такой метод ввода все равно не является достоверным, потому что смайликов нет на клавиатуре, а следовательно события keyup, keydown и keypress не эмулируются.
Наличие смайликов в ресурсах проекта не позволит скомпилировать проект с защитой.
Ввод символов состоящих из 4 байт еще не реализован, сюда относятся флаги стран.
Новые факторы отпечатка.
Для новой версии были добавлены новые факторы отпечатка. База еще не успела обновиться, поэтому рекомендуется использовать отпечатки не старше 2 недель.
Обновления модулей.
Были добавлены новые модули «Строка» и «SQL». Первый расширяет возможности BAS по работе со строками, есть действия для форматирования, редактирования, поиска строк, а также для парсинга текста. Второй — позволяет работать с популярными SQL базами данных: mysql, mariadb, postgres, sqlite, mssql. Есть возможность выполнять примитивные действия не вникая в синтаксис, а также выполнять произвольные запросы к базе.
Спасибо @GhostZ за модули.
Ограничения новой версии.
Некоторые вещи мы сделать не успели.
- Drag and Drop не поддерживается. Это значит что ползунок громкости в видео плеере перетащить можно, но перетащить файл в браузер пока нет.
- Запись http запросов пока не работает https://i.imgur.com/P1JxkxC.png.
- Отображение элементов select пока не работает https://i.imgur.com/ZkDmTBy.png. Но само значение элемента выбрать можно.
- HTTP аутентификация пока не работает.
- Отображение разных типов курсоров пока не работает https://i.imgur.com/fVAHclk.png
- Инструменты разработчика открываются в системном браузере в отдельном окне.
- Открыть инструменты разработчика для конкретного элемента пока невозможно.
Это не самые важные вещи, поэтому откладывать выпуск версии до их завершения нецелесообразно. Тем не менее, все они будут исправлены в будущих релизах.
Достижение максимальной аутентичности.
Если сайту все равно удается обнаружить новую версию BAS и вы уверены, что дело не в прокси, не в номере телефона, последовательности действий, а именно в браузере, то вот список действий, которые необходимо предпринять:
- Убедитесь, что в хроме в режиме инкогнито или с новым профилем проблема повторяется.
- Отключите модуль AjaxReCaptcha2. Увы, его можно обнаружить.
- Отключите защиту canvas, webgl либо используйте PerfectCanvas.
- Попробуйте выполнить действия в режиме ручного управления(без автоматизации).
Если ничего не помогло, используйте алгоритм в этой теме https://community.bablosoft.com/topic/12198/.
Как портировать старый проект.
Для этого нужно открыть старый проект в новой версии и внести такие изменения:
- Все действия Установить заголовок с параметром Referer нужно заменить на действия Загрузить либо «Добавить вкладку».
- Пересоздать действия: Сброс , Установить Значение Комбобокса , Установить Индекс Комбобокса , Выбрать Случайный Элемент Из Комбобокса , Предыдущая Страница , Добавить вкладку , Проверить Существование
Нужно помнить, что формат cookies и профилей изменился. Если проект полагается на использование профилей старого формата, их нужно обновить.
Дальнейшее развитие проекта.
Планы по дальнейшему развитию браузера следующие:
- Обновить версию браузера до 90. Развивать инструменты ускоряющие обновление.
- Вернуть возможности, которые не были перенесены в новую версию. Добавить взаимодействие с интерфейсом расширений, в том числе и автоматизацию.
- Адаптировать PerfectCanvas для webgl, разрешить сбор данных в индивидуальном порядке.
План может меняться со временем.
В видео многие особенности новой версии показаны детальней https://www.youtube.com/watch?v=GHYMfwFJiHY.
!ВАЖНО Обладатели 32-битной версии Windows не смогут обновиться в автоматическом порядке. После скачивания произойдет краш. Новую версию нужно перекачать. Для 64-битной версии проблем не будет.
Патч 24.0.3
В нем мы постарались исправить основные критические ошибки найденные пользователями.
Исправлены ошибки в работе некоторых сайтов.
Стрим на twitch мог прерваться с ошибкой 3000 на некоторых прокси и только при выборе автоматического качества.
Страница входа в аккаунт epic games store не загружалась полностью.
Эти проблемы исправлены. Но для авторизации в EGS нужно включить канвас/использовать отпечатки и отключить AjaxRecaptcha2.
Данные фиксы носят универсальный характер и применимы не только к этим сайтам.
Исправлены ошибки в работе с ssl.
Ошибка «This site can’t provide a secure connection» больше не должна появляться.
Нам удалось воспроизвести проблему, но только одним определенным образом.
Если проблема появляется и после апдейта, нужно предоставить подробные шаги для воспроизведения и прокси.
Частота обновления кадров по умолчанию установлена в 30.
Это значительно снижает нагрузку на CPU.
На самом деле теперь новая версия в многопоточном режиме стала потреблять меньше времени CPU чем прошлая и даже меньше чем обычный Chrome.
Спасибо одному из наших пользователей за идею.
Этот код очень сильно зависит от железа. Если на вашем мониторе фикс не работает, обратитесь к @Fox с описанием проблемы.
Улучшение антидетекта.
Защита imреrva, которая определяла BAS при смене прокси теперь так не делает.
Смена прокси на лету.
Исправлены проблемы прошлой версии по смене прокси без перезагрузки браузера. Теперь действие «Прокси» стало работать на 3 секунды дольше.
Отключены предустановленные расширения.
При наличии определенных значений в реестре, в новые профили создаваемые BAS могут добавляться расширения установленные на ПК пользователя.
Этот момент исправлен.
Улучшен режим плавного запуска потоков.
Теперь поток считается запущенным только когда когда запущен и вспомогательный процесс BAS и реальный браузер, а не только вспомогательный процесс, как было раньше.
Эти значения нужны для работы системы плавного запуска потоков.
Ранее количество одновременно запускаемых браузеров было 1, теперь оно стало 3. Это значение можно менять в настройках.
Модификация заголовков для всех запросов.
Стандартные методы изменения заголовков, таких как User-Agent и Accept-Language, не меняют их для всех запросов.
Это позволяет легко обнаружить браузеры, которые полагаются только на эти методы.
В BAS был добавлен механизм, который позволяет осуществить замену для абсолютно всех запросов.
Он действует похожим образом на то, как туннелирование работает для прокси, только в этом случае речь идет о заголовках.
Ниже скриншот, на котором видно, что замене подвергаются даже внутренние запросы Chrome:
Очень большая просьба не судить, о том, заменяются ли заголовки ли нет по инструментам разработчика.
Патч 24.0.5
Оптимизация.
Появилась возможность установить максимальный FPS. Это можно сделать в настройках или через действие «Настройки Браузера». Уменьшение частоты кадров может быть полезным для снижения нагрузки на сайтах с анимацией.
По умолчанию значение установлено в 30.
Раньше, при создании нового профиля, браузер выполнял несколько ресурсоемких задач. Это приводило к сильной кратковременной нагрузке на CPU. Сейчас это исправлено. Нагрузка при старте потока снизилась.
Исправления багов.
- Теперь BAS работает корректно на сервере после отключения RDP сессии.
- Исправлена потеря фокуса при работе BAS в фоне.
- Исправлен ввод диакритических символов и символов с зажатым правым Alt.
- Исправлено получение селекторов на некоторых сайтах.
- Исправлены некоторые другие причины, которые приводили к ошибке ERR_SSL_PROTOCOL_ERROR.
Патч 24.0.7
В данном патче было добавлено множество фиксов касающихся производительности. Оптимизации подверглась нагрузка практически на все типы ресурсов ПК.
Были отключены множество функций интенсивно потребляющих время процессора: разнообразные метрики, некоторые функции crashpad, постоянные проверки виртуальных дисплеев, получение hwid, родительский контроль и другое.
Функционал, который влияет на работоспособность браузера мы не убирали. Эти патчи позволяют снизить нагрузку при создании профиля в среднем на 10% процентов.
Убрана проверка контрольных сумм для внутренних расширений и мониторинг этих файлов.
Память.
Размер области памяти выделяемый на передачу изображения теперь динамический. Это позволило снизить объем потребляемой памяти, особенно для экземпляров браузера с маленьким разрешением.
Исправлена ошибка, когда размер доступной физической памяти на машине мог определяться неточно.
Жесткий диск.
Был добавлен механизм кеширования профилей. Для того чтобы создать профиль, браузеру необходимо инициализировать каждый файл расположенный в папке профиля. Это улучшение позволяет копировать файлы профиля, а не создавать их каждый раз заново. Новый функционал касается и временных профилей, которые создаются каждый раз при запуске нового потока. Его можно отключить в настройках.
Список модулей BAS кешируется чтобы не читать их при старте каждого потока.
Плавный запуск и остановка браузеров.
Был доработан механизм плавного запуска браузеров. Теперь ограничения на минимальный размер загруженности процессора должны соблюдаться на протяжении некоторого времени. Иначе говоря, браузер можно запустить только если процессор не был сильно занять на протяжении последних нескольких секунд.
Несколько браузеров теперь нельзя запустить в одно мгновение, перед следующим запуском должен пройти небольшой интервал времени. Это позволяет избежать больших скачков нагрузки на CPU.
Остановка браузеров теперь тоже происходит плавно, сразу все браузеры не будут остановлены одновременно. Такое поведение могло приводить к зависанию системы на несколько секунд.
При остановке браузера учитывается где расположен профиль. Если он находится во временной папке, происходит аварийная остановка процесса, это быстрее, но может привести к потерям данных профиля. Если профиль не является временным, остановка происходит корректно.
Изменить параметры плавного запуска можно в настройках.
Зависание системы.
Исправлено зависание системы при работе в несколько десятков потоков после открытия диспетчера задач. Спасибо пользователю, который указал на этот баг.
При нехватке оперативной памяти разнообразные компоненты браузера начинают ее освобождать или проводить другие действия. Это тоже может приводить к зависанию системы когда объем свободной памяти уменьшается. После апдейта браузер будет считать, что памяти достаточно, даже если это не так.
Патч 24.0.8
Аутентичность браузера.
Улучшен алгоритм скрытия переменных в браузере.
Исправлены некоторые проблемы с обнаружением BAS в режиме записи.
Модуль AjaxRecaptcha2 может быть обнаружен. Опасный код перемещен в модуль ReCaptcha, который отключен по умолчанию.
Если старые проекты работают с рекапча, его необходимо включить здесь https://i.imgur.com/IJfINN5.png
Улучшения работы редактора.
Исправлена работа с любыми действиями, которые перезагружают редактор. Например, «Сброс» или «Создать или переключиться на локальный профиль». Эти улучшения касаются только режима записи.
Точка выполнения больше не сбрасывается, а скрипт может корректно продолжить работу:
Перемещения точки выполнения больше не сбрасывает стек вызовов, состояние цикла и т. д.
Исправления.
Исправлена работа вкладок на некоторых сайтах.
В прошлых версиях при активации перетаскивания браузер зависал. Сейчас это исправлено. Полноценная поддержка перетаскивания будет добавлена после следующего обновления версии браузера.
BAS умеет туннелировать UDP протокол. Но не все socks5 прокси это поддерживают. QUIC — протокол основан на UDP разработан и используется преимущественно Google. Это может приводить к некоторым проблемам там где он используется. Например, на сайтах с рекламой Google могут наблюдаться фризы, страницы могут загружаться не полностью.
Для решения данной проблемы в BAS по умолчанию теперь отключен QUIC. Рекомендуется убедиться, что ваши прокси поддерживают UDP и включить QUIC если это так. Сделать это можно в настройках или в действии «Настройки Браузера».
Источник