Metrics and groups: Difference between revisions

From Wiki Kaminari Click
Line 11: Line 11:


== Метрики ==
== Метрики ==
Метрики — это параметры, которые позволяют ответить на вопрос «сколько?». Сколько было заходов на сайт? Сколько из них было совершено ботами, а сколько живыми пользователями?


=== Общие метрики ===
{| class="wikitable"
{| class="wikitable"
|-
|-
Line 22: Line 24:
| Unique users || Уники || Количество уникальных пользователей, подсчитанное на основе IP и user agent
| Unique users || Уники || Количество уникальных пользователей, подсчитанное на основе IP и user agent
|-
|-
| Good || Хорошие переходы || Количество проверок, по результат которых переход оказался не ботовым, не подозрительным и не тех. потерей.
| Good || Хорошие переходы || Количество проверок, по результату которых переход оказался не ботовым, не подозрительным и не тех. потерей.
|-
|-
| Tech. losses || Тех. потери || Количество переходов, которые мы не смогли проверить. Причины — браузеры с отключённым JS, устаревшие браузеры и пр.
| Tech. losses || Тех. потери || Количество переходов, которые мы не смогли проверить. Причины — браузеры с отключённым JS, устаревшие браузеры и пр.
Line 28: Line 30:


=== Боты (BV, bot visits) ===
=== Боты (BV, bot visits) ===
Программа или автоматизированный скрипт, который запрашивает веб-контент (включая цифровую рекламу) без участия пользователя.
Бот — это программа или автоматизированный скрипт, который запрашивает веб-контент (включая цифровую рекламу) без участия пользователя. Это может быть например браузер на заражённом компьютере, являющимся частью ботнета. Или написанный программистом скрипт, который обходит сайты с какой-то целью.


{| class="wikitable"
{| class="wikitable"
Line 34: Line 36:
! Название !! Название !! Описание
! Название !! Название !! Описание
|-
|-
| BV total || BV total || Количество переходов, совершённых ботами
| BV total || BV total || Количество переходов, совершённых ботами всех типов.
|-
|-
| Crawler || Crawler || Легитимные боты — поисковики, боты соц. сетей и пр.
| Crawler || Crawler || Легитимные боты, которые честно заявляют о своей ботовости через user agent. Это могут быть боты поисковых систем, индексирующие веб; боты соц. сетей и пр. Не смотря на то, что они не имеют злых намерений, они не могут совершить конверсию и не являются целевой аудиторий, поэтому должны быть проигнорированы.
|-
|-
| Spoofing || Подмена UA || Боты, чей user agent не соответствует реальной версии браузера и / или операционной системы.
| Spoofing || Подмена UA || Боты, чей user agent не соответствует реальной версии браузера и / или операционной системы.
|-
|-
| Automated || Автоматизация || Боты, использующие инструменты автоматизации или headless-браузеры.
| Automated || Автоматизация || Боты, использующие headless-браузеры или инструменты автоматизации вроде Selenium. Изначальная цель таких решений — автоматизированное тестирование программного обеспечения, сайтов, приложений и пр. Потом ботоводы поняли, что их так же можно использовать для скликивания ссылок, накручивания просмотров и т. д. и взяли в свой инвентарь.
|-
|-
| iFrame || iFrame || Для увеличения показов реклама располагается на сайте в маленьких или незаметных элементах.
| iFrame || iFrame || При анализе мы увидели, что страница располагается на сайте в маленьком или незаметном элементе. То есть показ засчитается, но реальный пользователь не увидит, к примеру, рекламу и не сможет никогда перейти по ней.
|}
|}


=== Подозрительные визиты (SV, suspicious visits) ===
=== Подозрительные переходы (SV, suspicious visits) ===
Описание.
Мы видим в результатах анализа что-то подозрительное, но этого не хватает чтобы со всей уверенностью утверждать, что перед нами бот. Возможные причины — у пользователя установлено безобидное расширение, которые однако как-то аффектит наши проверки. Или пользователь заходит через VPN.
 
Подозрительные переходы требуют индивидуального подхода, чтобы например по конверсиям решить куда отнести подозрительный трафик — в фродовый или хороший.


{| class="wikitable"
{| class="wikitable"
Line 52: Line 56:
! Название !! Название !! Описание
! Название !! Название !! Описание
|-
|-
| SV total || SV total || Количество переходов, совершённых ботами
| SV total || SV total || Количество подозрительных переходов.
|-
|-
| Proxy || Прокси || Пользователи, заходящие с VPN, proxy или Tor. Это живые клики, но они идут с нецелевых гео.
| Proxy || Прокси || Пользователи, заходящие с VPN, proxy или Tor. Это живые клики, но они идут с нецелевых гео. Если вы закупаете трафик с конкретного гео, а на нём много прокси, значит трафик плохой.
|-
|-
| Suspicion of spoofing || Подозрение на подмену user agent || Возможно в браузере используются техники подмены user agent.
| Suspicion of spoofing || Подозрение на подмену user agent || Мы подозреваем, что в браузере используются техники подмены user agent. Если эта метрика мала, значит не о чем возноваться. Если же её процент высок и вы не закупаете какой-то специфичный мобильный трафик, то есть повод призадуматься.
|-
|-
| Suspicion of automated || Подозрение на автоматизацию || Возможно в браузере используются инструменты автоматизации.
| Suspicion of automated || Подозрение на автоматизацию || Мы подозреваем, что в браузере используются инструменты автоматизации.
|-
|-
| Suspicion of fraud || Подозрение на мошенничество || Другие виды подозрительной активности.
| Suspicion of fraud || Подозрение на мошенничество || Другие виды подозрительной активности, например слишком широкий экран — это может быть как результатом плохой вёрстки, так и попыткой скрыть рекламу за пределами экрана.
|}
|}


=== Особенности (Feature) ===
=== Особенности (Feature) ===
Описание.
Некоторые особенности браузеров, детектируемые нами.


{| class="wikitable"
{| class="wikitable"
Line 70: Line 74:
! Название !! Название !! Описание
! Название !! Название !! Описание
|-
|-
| AdBlock || AdBlock || Количество переходов, совершённых ботами
| AdBlock || AdBlock || Установлен в браузере пользователя AdBlock или нет. Обратите внимание — мы проверяем только наличие AdBlock, включён он или выключен не проверяется.
|-
|-
| Is mobile || Мобильное устройство || Пользователи, заходящие с VPN, proxy или Tor. Это живые клики, но они идут с нецелевых гео.
| Is mobile || Мобильное устройство || Проверка по характерным признакам является устройство мобильным или нет (смартфоны, планшеты). Не используется user agent.
|-
|-
| WebView || WebView || Возможно в браузере используются техники подмены user agent.
| WebView || WebView || Количество визитов с Chrome WebView (сильно урезанная по функционалу разновидность мобильного Chrome, которая используется в прилах для просмотра веб-страниц, а так же многие мобильные браузеры для Андроида — это кастомизированные вебвью). Например, WebView не умеют показывать пуши. Поэтому если на push-трафике большой процент WebView значит трафик плохой.
|}
|}

Revision as of 14:02, 22 March 2023

User agent

User agent — это заголовок, который браузер, программа или приложение передают серверу при любом заходе на сайт. В user agent содержится как правило название браузера, его версия, движок на основе которого сделан браузер, операционная система и её версия. Так же user agent может содержать название и модель мобильного устройства, на котором он запущен и некоторую другую информацию. То есть это визитная карточка браузера.

Проблема в том, что эту визитную карточку очень легко подделать — с помощью расширений или даже просто в DevTools. Практически в любом языке программирования есть возможность при обращении к серверу передать в user agent любую информацию. Поэтому к user agent надо относиться с осторожностью.

В норме браузер не врёт о себе. Есть разумеется исключения, вроде тех же расширений, которые помогают изменить user agent, или мобильных браузеров или приложений, в которых зашит неизменный user agent, потому что разработчики ленятся его менять. Но такие случаи можно игнорировать — они либо единичны, либо их можно добавить в исключения.

Другое дело, когда переданная информация не соответствует тому, что мы узнали о браузере в результате проверки, и этот паттерн превалирует на срезе — по user agent мы видим разнообразие браузеров, а анализ показывает, что это всё заходы с одного и того же браузера.

Поэтому user agent является «ненадёжным расказчиком» и к информации, которую мы добываем из него надо относиться со здоровой долей скептицизма.

Метрики

Метрики — это параметры, которые позволяют ответить на вопрос «сколько?». Сколько было заходов на сайт? Сколько из них было совершено ботами, а сколько живыми пользователями?

Общие метрики

Название Название Описание
Hits Переходы Общее количество проверок
Unique hits Уникальные переходы Общее количество уникальных проверок (то есть без учёта дублей, которые могут возникнуть в результате повторных обращений, например, из кэша браузера)
Unique users Уники Количество уникальных пользователей, подсчитанное на основе IP и user agent
Good Хорошие переходы Количество проверок, по результату которых переход оказался не ботовым, не подозрительным и не тех. потерей.
Tech. losses Тех. потери Количество переходов, которые мы не смогли проверить. Причины — браузеры с отключённым JS, устаревшие браузеры и пр.

Боты (BV, bot visits)

Бот — это программа или автоматизированный скрипт, который запрашивает веб-контент (включая цифровую рекламу) без участия пользователя. Это может быть например браузер на заражённом компьютере, являющимся частью ботнета. Или написанный программистом скрипт, который обходит сайты с какой-то целью.

Название Название Описание
BV total BV total Количество переходов, совершённых ботами всех типов.
Crawler Crawler Легитимные боты, которые честно заявляют о своей ботовости через user agent. Это могут быть боты поисковых систем, индексирующие веб; боты соц. сетей и пр. Не смотря на то, что они не имеют злых намерений, они не могут совершить конверсию и не являются целевой аудиторий, поэтому должны быть проигнорированы.
Spoofing Подмена UA Боты, чей user agent не соответствует реальной версии браузера и / или операционной системы.
Automated Автоматизация Боты, использующие headless-браузеры или инструменты автоматизации вроде Selenium. Изначальная цель таких решений — автоматизированное тестирование программного обеспечения, сайтов, приложений и пр. Потом ботоводы поняли, что их так же можно использовать для скликивания ссылок, накручивания просмотров и т. д. и взяли в свой инвентарь.
iFrame iFrame При анализе мы увидели, что страница располагается на сайте в маленьком или незаметном элементе. То есть показ засчитается, но реальный пользователь не увидит, к примеру, рекламу и не сможет никогда перейти по ней.

Подозрительные переходы (SV, suspicious visits)

Мы видим в результатах анализа что-то подозрительное, но этого не хватает чтобы со всей уверенностью утверждать, что перед нами бот. Возможные причины — у пользователя установлено безобидное расширение, которые однако как-то аффектит наши проверки. Или пользователь заходит через VPN.

Подозрительные переходы требуют индивидуального подхода, чтобы например по конверсиям решить куда отнести подозрительный трафик — в фродовый или хороший.

Название Название Описание
SV total SV total Количество подозрительных переходов.
Proxy Прокси Пользователи, заходящие с VPN, proxy или Tor. Это живые клики, но они идут с нецелевых гео. Если вы закупаете трафик с конкретного гео, а на нём много прокси, значит трафик плохой.
Suspicion of spoofing Подозрение на подмену user agent Мы подозреваем, что в браузере используются техники подмены user agent. Если эта метрика мала, значит не о чем возноваться. Если же её процент высок и вы не закупаете какой-то специфичный мобильный трафик, то есть повод призадуматься.
Suspicion of automated Подозрение на автоматизацию Мы подозреваем, что в браузере используются инструменты автоматизации.
Suspicion of fraud Подозрение на мошенничество Другие виды подозрительной активности, например слишком широкий экран — это может быть как результатом плохой вёрстки, так и попыткой скрыть рекламу за пределами экрана.

Особенности (Feature)

Некоторые особенности браузеров, детектируемые нами.

Название Название Описание
AdBlock AdBlock Установлен в браузере пользователя AdBlock или нет. Обратите внимание — мы проверяем только наличие AdBlock, включён он или выключен не проверяется.
Is mobile Мобильное устройство Проверка по характерным признакам является устройство мобильным или нет (смартфоны, планшеты). Не используется user agent.
WebView WebView Количество визитов с Chrome WebView (сильно урезанная по функционалу разновидность мобильного Chrome, которая используется в прилах для просмотра веб-страниц, а так же многие мобильные браузеры для Андроида — это кастомизированные вебвью). Например, WebView не умеют показывать пуши. Поэтому если на push-трафике большой процент WebView значит трафик плохой.