Метрики и группировки
User agent
User agent — это заголовок, который браузер, программа или приложение передают серверу при любом заходе на сайт. В user agent содержится как правило название браузера, его версия, движок на основе которого сделан браузер, операционная система и её версия. Так же user agent может содержать название и модель мобильного устройства, на котором он запущен и некоторую другую информацию. То есть это визитная карточка браузера.
Проблема в том, что эту визитную карточку очень легко подделать — с помощью расширений или даже просто в DevTools. Практически в любом языке программирования есть возможность при обращении к серверу передать в user agent любую информацию. Поэтому к user agent надо относиться с осторожностью.
В норме браузер не врёт о себе. Есть разумеется исключения, вроде тех же расширений, которые помогают изменить user agent, или мобильных браузеров или приложений, в которых зашит неизменный user agent, потому что разработчики ленятся его менять. Но такие случаи можно игнорировать — они либо единичны, либо их можно добавить в исключения.
Другое дело, когда переданная информация не соответствует тому, что мы узнали о браузере в результате проверки, и этот паттерн превалирует на срезе — по user agent мы видим разнообразие браузеров, а анализ показывает, что это всё заходы с одного и того же браузера.
Поэтому user agent является «ненадёжным расказчиком» и к информации, которую мы добываем из него надо относиться со здоровой долей скептицизма.
Метрики
Метрики — это параметры, которые позволяют ответить на вопрос «сколько?». Сколько было заходов на сайт? Сколько из них было совершено ботами, а сколько живыми пользователями?
Общие метрики
| Название | Название | Описание |
|---|---|---|
| Hits | Переходы | Общее количество проверок |
| Unique users | Уники | Количество уникальных пользователей, подсчитанное на основе IP, user agent и client hints. |
| Good | Хорошие переходы | Количество проверок, по результату которых переход оказался не ботовым, не подозрительным и не тех. потерей. |
| Tech. losses | Тех. потери | Количество переходов, которые мы не смогли проверить. Причины — браузеры с отключённым JS, устаревшие браузеры и пр. |
Недействительные переходы (IVT)
Недействительный трафик состоит из ботового и мошеннического трафика.
Бот — это программа или автоматизированный скрипт, который запрашивает веб-контент (включая цифровую рекламу) без участия пользователя. Это может быть например браузер на заражённом компьютере, являющимся частью ботнета. Или написанный программистом скрипт, который обходит сайты с какой-то целью.
Мошеннический трафик — трафик, который генерят живые люди, которые путём обмана запрашивают веб-контент (включая цифровую рекламу) сами того не зная.
| Название | Название | Описание |
|---|---|---|
| BV total | Всего IVT | Количество переходов, совершённых ботами или спровоцированных мошенниками. |
| Crawler | Crawler | Легитимные боты, которые честно заявляют о своей ботовости через user agent. Это могут быть боты поисковых систем, индексирующие веб; боты соц. сетей и пр. Не смотря на то, что они не имеют злых намерений, они не могут совершить конверсию и не являются целевой аудиторий, поэтому должны быть проигнорированы. |
| Spoofing | Подмена UA | Боты, чей user agent не соответствует реальной версии браузера и / или операционной системы. |
| Automated | Автоматизация | Боты, использующие headless-браузеры или инструменты автоматизации вроде Selenium. Изначальная цель таких решений — автоматизированное тестирование программного обеспечения, сайтов, приложений и пр. Потом ботоводы поняли, что их так же можно использовать для скликивания ссылок, накручивания просмотров и т. д. и взяли в свой инвентарь. |
| Incorrect requests | Плохие запросы | При анализе мы увидели, что показ пришёл из невидимого элемента. Например, пользователь кликнул на какой-то ссылке, но этот клик попал в невидимый iframe, который был расположен поверх ссылки. То есть показ засчитается, но реальный пользователь не видел рекламы и не знал куда он кликает.
Или мы увидели показ был инициирован не пользователем, а скриптом помимо воли пользователя. |
| Bad reputation IP | Ботовые IP | IP, с которых приходят только тех. потери. Например, кто-то поднял в датацентре сервер, и с помощью CURL, или другой тулзы для http-запросов (а они есть во всех языках программирования) парсит страницы, а потом прокликивает рекламные ссылки с помощью того же CURL. |
| Blocked hits | Заблокированные переходы | Переходы, которые были заблокированы с соответствии с настройками интеграции. |
Подозрительные переходы (SV, suspicious visits)
Мы видим в результатах анализа что-то подозрительное, но этого не хватает чтобы со всей уверенностью утверждать, что перед нами бот. Возможные причины — у пользователя установлено безобидное расширение, которые однако как-то аффектит наши проверки. Или пользователь заходит через VPN.
Подозрительные переходы требуют индивидуального подхода, чтобы например по конверсиям решить куда отнести подозрительный трафик — в фродовый или хороший.
| Название | Название | Описание |
|---|---|---|
| SV total | SV total | Количество подозрительных переходов. |
| Proxy | Прокси | Пользователи, заходящие с VPN, proxy или Tor. Это живые клики, но они идут с нецелевых гео. Если вы закупаете трафик с конкретного гео, а на нём много прокси, значит трафик плохой. |
| Suspicion of spoofing | Подозрение на подмену user agent | Мы подозреваем, что в браузере используются техники подмены user agent. Если эта метрика мала, значит не о чем возноваться. Если же её процент высок и вы не закупаете какой-то специфичный мобильный трафик, то есть повод призадуматься. |
| Suspicion of automated | Подозрение на автоматизацию | Мы подозреваем, что в браузере используются инструменты автоматизации. |
| Suspicion of fraud | Подозрение на мошенничество | Другие виды подозрительной активности, например слишком широкий экран — это может быть как результатом плохой вёрстки, так и попыткой скрыть рекламу за пределами экрана. |
Viewability
Viewability is an assessment of the quality of ad creative display (banner, native, or video): whether it was actually rendered and seen by the user, how long it stayed in the visible zone, and how the user watched the video. Technically, Viewability runs inside the same script as antifraud: the user is checked for fraud first, then the fact and quality of the creative impression are recorded. Below are all Viewability metrics, grouped into three categories: display quality (Viewability), engagement (Attention), and viewing depth (Video consumption). Most metrics are counted per impression; rate metrics are calculated in aggregate and shown as percentages (0–100%).
Viewability — display quality
Metrics in this group record whether the creative was rendered in the browser and whether the impression met the MRC viewability standard.
| Name | Description |
|---|---|
| Rendered impression | The creative was rendered in the DOM (banner or native) or the video player was loaded (video). Base indicator: the creative actually reached the user's browser. |
| Viewable impression | A viewable impression per the MRC standard: at least 50% of the creative pixels were in the visible zone for at least 1 second (banner) or at least 2 seconds (video). |
| Viewable rate | Share of viewable impressions: Viewable impressions / Rendered impressions, in percent (0–100%). |
| % In view | Share of visible creative pixels, time-weighted over the impression session, in percent (0–100%). |
Attention
Engagement metrics measure how long the creative or page stayed in the user's focus.
| Name | Description |
|---|---|
| Viewable time | Time the creative was in a viewable state, in seconds. |
| Dwell time | Total time on the page from open to close, including time when the tab was inactive, in seconds. |
| In focus time | Time while the browser tab was active. The counter stops when the user switches to another tab or app. In seconds. |
Video consumption
Viewing-depth metrics apply to video creatives and show how much of the video the user watched.
| Name | Description |
|---|---|
| Video start | Playback of the video started. |
| Video 25% | The user reached 25% of the video duration. |
| Video 50% | The user reached 50% of the video duration. |
| Video 75% | The user reached 75% of the video duration. |
| Video 100% | The user watched the video to the end (Video Completion). |
| Video completion rate | Share of full completions: Completions / Video starts, in percent (0–100%). |
| Time in view | Time the video played while in a viewable state, in seconds. |
| Muted | Sound status at playback start: with sound or muted. |
| Autoplay | How playback started: autoplay or user-initiated. |
| Video audible time | Total seconds the video played with sound and volume above 0. |
Особенности (Feature)
Некоторые особенности браузеров, детектируемые нами.
| Название | Название | Описание |
|---|---|---|
| AdBlock | AdBlock | Установлен в браузере пользователя AdBlock или нет. Обратите внимание — мы проверяем только наличие AdBlock, включён он или выключен не проверяется. |
| Is mobile | Мобильное устройство | Проверка по характерным признакам (не по user agent) является устройство мобильным (смартфоны, планшеты) или нет (десктоп, телевизоры). |
| WebView | WebView | Количество визитов с Chrome WebView. Chrome WebView — это сильно урезанная по функционалу разновидность мобильного Chrome, которая используется в прилах для просмотра веб-страниц, а так же многие мобильные браузеры для Андроида — это кастомизированные WebView. Большая часть WebView не умеют показывать пуши. Поэтому если на push-трафике большой процент WebView значит, возможно, трафик плохой. |
| IFrame | IFrame | Количество визитов осуществлённых через iframe. Тег <iframe> — это HTML-элемент, позволяющий встраивать в страницу отдельный, законченный HTML-документ, то есть другую веб-страницу. |
| Push notifications | Пуши | Количество визитов с браузеров, поддерживающих пуши. |
| Hidden Page | Скрытая страница | Показывает открылась ли рекламная страница в скрытой вкладке (popunder) — True; в активной — False. Действия за пределами браузера (например, выбор приложений на смартфоне) не фиксируются как скрытая страница. Метрика отслеживает только состояние вкладок в браузере. |
Behavioral analysis
Metrics based on the analysis of how the user behaved on the page.
| Название | Описание |
|---|---|
| Видимость страницы | Количество визитов, во время которых страница получала фокус, то есть была открыта не в фоне, а в активной вкладке браузера. |
| Активность на странице | Количество визитов, во время которых была хотя бы минимальная активность на странице. Под активностью понимаются клики, тачи, скроллы, движения мышкой. |
| Принятие страницы | Количество визитов, во время которых время от открытия страницы до её закрытия превышало 15 секунд. |
Группировки
Группировки — это параметры, которые позволяют ответить на вопрос «какие?». Из каких стран были переходы? Какие браузеры использовали пользователи?
Время
| Название | Название | Описание |
|---|---|---|
| Hour | Час | Группирует статистику по часам. |
| Day | День | Группирует статистику по дням. |
| Week | Неделя | Группирует статистику по неделям. |
| Month | Месяц | Группирует статистику по месяцам. Максимальный период, который можно выбрать — два месяца. |
Метки
| Название | Название | Описание |
|---|---|---|
| Integration | Интеграция | Интеграция в Kaminari. |
| Bot type | Тип бота | Группировка по типам ботов. |
| Referer | Реферер | URL страницы, с которой пользователь попал на страницу. |
| Sub1..Sub7 | Sub1..Sub7 | Метки, установленные клиентом. |
Гео
| Название | Название | Описание |
|---|---|---|
| Language | Язык | Предпочитаемый язык пользователя, то есть язык UI, установленный в настройках браузера. |
| Timezone | Часовой пояс | Данные о часовом поясе пользователя, полученные из IP. |
| Country | Страна | Данные о стране, полученные из IP. |
| City | Город | Данные о городе, полученные из IP. |
| Provider | Интернет-провайдер | Данные об интернет-провайдере, полученные из IP. |
| IP | IP | IP без последнего октета, то есть в конце всегда будут нули, например: 192.168.1.00. |
Девайс
| Название | Название | Описание |
|---|---|---|
| Real browser engine | Настоящий движок браузера | Все современные браузеры делаются на базе трёх опенсорсных движков:
Так же есть 3 старых неподдерживаемых движка, которые до сих пор встречаются в сети в виде Internet Explorer, в MS Edge до 18 версии и в Опере до 12 версии. Мы умеем определять по характерным признакам все 6 движков, а так же умеем определять конкретную версию движка. В Движок браузера мы и пишем эти данные. |
| Real OS | Настоящая ОС | Настоящая ОС, без версии. |
| Browser from UA | Браузер из UA | Название браузера и его версия, взятые из user agent. |
| OS from UA | ОС из UA | Операционная система и её версия, взятые из user agent. |
| Device from UA | Устройство из UA | Производитель мобильного устройства, полученный из user-agent. |
| Device type from UA | Тип устройства из UA | Тип устройства (десктоп, смартфон, умный телевизор и пр.), полученный из user-agent. |
| Android app | Android приложение | Название Android-приложения, из которого пришёл клик. |
| Connection type | Тип соединения | Тип соединения, которое устройство использует для связи с сетью (блютус, вай-фай, мобильный интернет). |
Screen
| Name | Description |
|---|---|
| Screen width | Screen width in pixels. |
| Screen height | Screen height in pixels. |
| Screen orientation | Screen orientation is relevant for mobile devices - portrait, upside-down, turned left, turned right. |
| Pixel density | How many screen pixels will be used to render one CSS pixel, i.e. this is actually the screen resolution. |