Метрики и группировки
User agent
User agent — это заголовок, который браузер, программа или приложение передают серверу при любом заходе на сайт. В user agent содержится как правило название браузера, его версия, движок на основе которого сделан браузер, операционная система и её версия. Так же user agent может содержать название и модель мобильного устройства, на котором он запущен и некоторую другую информацию. То есть это визитная карточка браузера.
Проблема в том, что эту визитную карточку очень легко подделать — с помощью расширений или даже просто в DevTools. Практически в любом языке программирования есть возможность при обращении к серверу передать в user agent любую информацию. Поэтому к user agent надо относиться с осторожностью.
В норме браузер не врёт о себе. Есть разумеется исключения, вроде тех же расширений, которые помогают изменить user agent, или мобильных браузеров или приложений, в которых зашит неизменный user agent, потому что разработчики ленятся его менять. Но такие случаи можно игнорировать — они либо единичны, либо их можно добавить в исключения.
Другое дело, когда переданная информация не соответствует тому, что мы узнали о браузере в результате проверки, и этот паттерн превалирует на срезе — по user agent мы видим разнообразие браузеров, а анализ показывает, что это всё заходы с одного и того же браузера.
Поэтому user agent является «ненадёжным расказчиком» и к информации, которую мы добываем из него надо относиться со здоровой долей скептицизма.
Метрики
Метрики — это параметры, которые позволяют ответить на вопрос «сколько?». Сколько было заходов на сайт? Сколько из них было совершено ботами, а сколько живыми пользователями?
Общие метрики
| Название | Название | Описание |
|---|---|---|
| Hits | Переходы | Общее количество проверок |
| Unique users | Уники | Количество уникальных пользователей, подсчитанное на основе IP, user agent и client hints. |
| Good | Хорошие переходы | Количество проверок, по результату которых переход оказался не ботовым, не подозрительным и не тех. потерей. |
| Tech. losses | Тех. потери | Количество переходов, которые мы не смогли проверить. Причины — браузеры с отключённым JS, устаревшие браузеры и пр. |
Недействительные переходы (IVT)
Недействительный трафик состоит из ботового и мошеннического трафика.
Бот — это программа или автоматизированный скрипт, который запрашивает веб-контент (включая цифровую рекламу) без участия пользователя. Это может быть например браузер на заражённом компьютере, являющимся частью ботнета. Или написанный программистом скрипт, который обходит сайты с какой-то целью.
Мошеннический трафик — трафик, который генерят живые люди, которые путём обмана запрашивают веб-контент (включая цифровую рекламу) сами того не зная.
| Название | Название | Описание |
|---|---|---|
| BV total | Всего IVT | Количество переходов, совершённых ботами или спровоцированных мошенниками. |
| Crawler | Crawler | Легитимные боты, которые честно заявляют о своей ботовости через user agent. Это могут быть боты поисковых систем, индексирующие веб; боты соц. сетей и пр. Не смотря на то, что они не имеют злых намерений, они не могут совершить конверсию и не являются целевой аудиторий, поэтому должны быть проигнорированы. |
| Spoofing | Подмена UA | Боты, чей user agent не соответствует реальной версии браузера и / или операционной системы. |
| Automated | Автоматизация | Боты, использующие headless-браузеры или инструменты автоматизации вроде Selenium. Изначальная цель таких решений — автоматизированное тестирование программного обеспечения, сайтов, приложений и пр. Потом ботоводы поняли, что их так же можно использовать для скликивания ссылок, накручивания просмотров и т. д. и взяли в свой инвентарь. |
| Incorrect requests | Плохие запросы | При анализе мы увидели, что показ пришёл из невидимого элемента. Например, пользователь кликнул на какой-то ссылке, но этот клик попал в невидимый iframe, который был расположен поверх ссылки. То есть показ засчитается, но реальный пользователь не видел рекламы и не знал куда он кликает.
Или мы увидели показ был инициирован не пользователем, а скриптом помимо воли пользователя. |
| Bad reputation IP | Ботовые IP | IP, с которых приходят только тех. потери. Например, кто-то поднял в датацентре сервер, и с помощью CURL, или другой тулзы для http-запросов (а они есть во всех языках программирования) парсит страницы, а потом прокликивает рекламные ссылки с помощью того же CURL. |
| Blocked hits | Заблокированные переходы | Переходы, которые были заблокированы с соответствии с настройками интеграции. |
Подозрительные переходы (SV, suspicious visits)
Мы видим в результатах анализа что-то подозрительное, но этого не хватает чтобы со всей уверенностью утверждать, что перед нами бот. Возможные причины — у пользователя установлено безобидное расширение, которые однако как-то аффектит наши проверки. Или пользователь заходит через VPN.
Подозрительные переходы требуют индивидуального подхода, чтобы например по конверсиям решить куда отнести подозрительный трафик — в фродовый или хороший.
| Название | Название | Описание |
|---|---|---|
| SV total | SV total | Количество подозрительных переходов. |
| Proxy | Прокси | Пользователи, заходящие с VPN, proxy или Tor. Это живые клики, но они идут с нецелевых гео. Если вы закупаете трафик с конкретного гео, а на нём много прокси, значит трафик плохой. |
| Suspicion of spoofing | Подозрение на подмену user agent | Мы подозреваем, что в браузере используются техники подмены user agent. Если эта метрика мала, значит не о чем возноваться. Если же её процент высок и вы не закупаете какой-то специфичный мобильный трафик, то есть повод призадуматься. |
| Suspicion of automated | Подозрение на автоматизацию | Мы подозреваем, что в браузере используются инструменты автоматизации. |
| Suspicion of fraud | Подозрение на мошенничество | Другие виды подозрительной активности, например слишком широкий экран — это может быть как результатом плохой вёрстки, так и попыткой скрыть рекламу за пределами экрана. |
Особенности (Feature)
Некоторые особенности браузеров, детектируемые нами.
| Название | Название | Описание |
|---|---|---|
| AdBlock | AdBlock | Установлен в браузере пользователя AdBlock или нет. Обратите внимание — мы проверяем только наличие AdBlock, включён он или выключен не проверяется. |
| Is mobile | Мобильное устройство | Проверка по характерным признакам (не по user agent) является устройство мобильным (смартфоны, планшеты) или нет (десктоп, телевизоры). |
| WebView | WebView | Количество визитов с Chrome WebView. Chrome WebView — это сильно урезанная по функционалу разновидность мобильного Chrome, которая используется в прилах для просмотра веб-страниц, а так же многие мобильные браузеры для Андроида — это кастомизированные WebView. Большая часть WebView не умеют показывать пуши. Поэтому если на push-трафике большой процент WebView значит, возможно, трафик плохой. |
| IFrame | IFrame | Количество визитов осуществлённых через iframe. Тег <iframe> — это HTML-элемент, позволяющий встраивать в страницу отдельный, законченный HTML-документ, то есть другую веб-страницу. |
| Push notifications | Пуши | Количество визитов с браузеров, поддерживающих пуши. |
Поведенческий анализ
Метрики, основанные на анализе того, как пользователь вёл себя на странице.
| Название | Описание |
|---|---|
| Видимость страницы | Количество визитов, во время которых страница получала фокус, то есть была открыта не в фоне, а в активной вкладке браузера. |
| Активность на странице | Количество визитов, во время которых была хотя бы минимальная активность на странице. Под активностью понимаются клики, тачи, скроллы, движения мышкой. |
| Принятие страницы | Количество визитов, во время которых время от открытия страницы до её закрытия превышало 15 секунд. |
Группировки
Группировки — это параметры, которые позволяют ответить на вопрос «какие?». Из каких стран были переходы? Какие браузеры использовали пользователи?
Время
| Название | Название | Описание |
|---|---|---|
| Hour | Час | Группирует статистику по часам. |
| Day | День | Группирует статистику по дням. |
| Week | Неделя | Группирует статистику по неделям. |
| Month | Месяц | Группирует статистику по месяцам. Максимальный период, который можно выбрать — два месяца. |
Метки
| Название | Название | Описание |
|---|---|---|
| Integration | Интеграция | Интеграция в Kaminari. |
| Bot type | Тип бота | Группировка по типам ботов. |
| Referer | Реферер | URL страницы, с которой пользователь попал на страницу. |
| Sub1..Sub7 | Sub1..Sub7 | Метки, установленные клиентом. |
Гео
| Название | Название | Описание |
|---|---|---|
| Language | Язык | Предпочитаемый язык пользователя, то есть язык UI, установленный в настройках браузера. |
| Timezone | Часовой пояс | Данные о часовом поясе пользователя, полученные из IP. |
| Country | Страна | Данные о стране, полученные из IP. |
| City | Город | Данные о городе, полученные из IP. |
| Provider | Интернет-провайдер | Данные об интернет-провайдере, полученные из IP. |
| IP | IP | IP без последнего октета, то есть в конце всегда будут нули, например: 192.168.1.00. |
Девайс
| Название | Название | Описание |
|---|---|---|
| Real browser engine | Настоящий движок браузера | Все современные браузеры делаются на базе трёх опенсорсных движков:
Так же есть 3 старых неподдерживаемых движка, которые до сих пор встречаются в сети в виде Internet Explorer, в MS Edge до 18 версии и в Опере до 12 версии. Мы умеем определять по характерным признакам все 6 движков, а так же умеем определять конкретную версию движка. В Движок браузера мы и пишем эти данные. |
| Real OS | Настоящая ОС | Настоящая ОС, без версии. |
| Browser from UA | Браузер из UA | Название браузера и его версия, взятые из user agent. |
| OS from UA | ОС из UA | Операционная система и её версия, взятые из user agent. |
| Device from UA | Устройство из UA | Производитель мобильного устройства, полученный из user-agent. |
| Device type from UA | Тип устройства из UA | Тип устройства (десктоп, смартфон, умный телевизор и пр.), полученный из user-agent. |
| Connection type | Тип соединения | Тип соединения, которое устройство использует для связи с сетью (блютус, вай-фай, мобильный интернет). |
Экран
| Название | Название | Описание |
|---|---|---|
| Screen width | Ширина экрана | Ширина экрана в пикселях. |
| Screen height | Высота экрана | Высота экрана в пикселях. |
| Screen orientation | Ориентация экрана | Ориентация экрана актуальна для мобильных устройств — портретная, вверх ногами, повёрнуто влево, повёрнуто вправо. |
| Pixel density | Плотность пикселей | Сколько экранных пикселей будет использовано для отрисовки одного CSS-пикселя, то есть фактически это разрешение экрана. |