Metrics and groups: Difference between revisions

From Wiki Kaminari Click
No edit summary
Line 1: Line 1:
[[Metrics and groups en|English version]]
[[Metrics and groups|Версия на русском языке]]
 
<translate>
== User agent ==
== User agent ==
User agent — это заголовок, который браузер, программа или приложение передают серверу при любом заходе на сайт. В user agent содержится как правило название браузера, его версия, движок на основе которого сделан браузер, операционная система и её версия. Так же user agent может содержать название и модель мобильного устройства, на котором он запущен и некоторую другую информацию. То есть это визитная карточка браузера.  
User agent is a header that a browser, program, or application sends to a server when accessing a website. The user agent typically contains the browser name, its version, the engine on which the browser is based, the operating system and its version. The user agent can also contain the name and model of the mobile device on which it is running and some other information. In other words, it is a browser's business card.


Проблема в том, что эту визитную карточку очень легко подделать — с помощью расширений или даже просто в DevTools. Практически в любом языке программирования есть возможность при обращении к серверу передать в user agent любую информацию. Поэтому к user agent надо относиться с осторожностью.
The problem is that this business card is very easy to fake - using extensions or even just in DevTools. Almost any programming language has the ability to pass any information to the user agent when accessing a server. Therefore, user agents should be treated with caution.


В норме браузер не врёт о себе. Есть разумеется исключения, вроде тех же расширений, которые помогают изменить user agent, или мобильных браузеров или приложений, в которых зашит неизменный user agent, потому что разработчики ленятся его менять. Но такие случаи можно игнорировать — они либо единичны, либо их можно добавить в исключения.
Normally, the browser does not lie about itself. There are, of course, exceptions, such as extensions that help change the user agent, or mobile browsers or applications in which an unchanged user agent is embedded because developers are too lazy to change it. But such cases can be ignored - they are either isolated or can be added to the exceptions.


Другое дело, когда переданная информация не соответствует тому, что мы узнали о браузере в результате проверки, и этот паттерн превалирует на срезе — по user agent мы видим разнообразие браузеров, а анализ показывает, что это всё заходы с одного и того же браузера.
It's another matter when the transmitted information does not match what we learned about the browser as a result of checking, and this pattern prevails on a slice - through the user agent, we see a variety of browsers, but the analysis shows that these are all accesses from the same browser.


Поэтому user agent является «ненадёжным расказчиком» и к информации, которую мы добываем из него надо относиться со здоровой долей скептицизма.
Therefore, the user agent is an "unreliable storyteller" and the information we obtain from it should be treated with a healthy dose of skepticism.


== Метрики ==
== Metrics ==
Метрики — это параметры, которые позволяют ответить на вопрос «сколько?». Сколько было заходов на сайт? Сколько из них было совершено ботами, а сколько живыми пользователями?
Metrics are parameters that allow you to answer the question 'how much?' How many visits did the website have? How many of them were made by bots, and how many by real users?


=== Общие метрики ===
=== General metrics ===
{| class="wikitable"
{| class="wikitable"
|-
|-
! Название !! Название !! Описание
! Name !! Description
|-
|-
| Hits || Переходы || Общее количество проверок
| Hits || Total number of checks.
|-
|-
| Unique users || Уники || Количество уникальных пользователей, подсчитанное на основе IP и user agent
| Unique users || Number of unique users counted based on IP and user agent.
|-
|-
| Good || Хорошие переходы || Количество проверок, по результату которых переход оказался не ботовым, не подозрительным и не тех. потерей.
| Good || Number of checks resulting in non-bot, non-suspicious, and non-technical loss traffic.
|-
|-
| Tech. losses || Тех. потери || Количество переходов, которые мы не смогли проверить. Причины — браузеры с отключённым JS, устаревшие браузеры и пр.
| Tech. losses || Number of clicks that we couldn't verify. Reasons include browsers with disabled JS, outdated browsers, etc.
|}
|}


=== Боты (BV, bot visits) ===
=== Bot visits (BV) ===
Бот — это программа или автоматизированный скрипт, который запрашивает веб-контент (включая цифровую рекламу) без участия пользователя. Это может быть например браузер на заражённом компьютере, являющимся частью ботнета. Или написанный программистом скрипт, который обходит сайты с какой-то целью.
A bot is a program or automated script that requests web content (including digital advertising) without user involvement. It could be, for example, a browser on an infected computer that is part of a botnet, or a script written by a programmer that scrapes websites for some purpose.


{| class="wikitable"
{| class="wikitable"
|-
|-
! Название !! Название !! Описание
! Name !! Description
|-
|-
| BV total || BV total || Количество переходов, совершённых ботами всех типов.
| BV total || Number of clicks made by bots of all types.
|-
|-
| Crawler || Crawler || Легитимные боты, которые честно заявляют о своей ботовости через user agent. Это могут быть боты поисковых систем, индексирующие веб; боты соц. сетей и пр. Не смотря на то, что они не имеют злых намерений, они не могут совершить конверсию и не являются целевой аудиторий, поэтому должны быть проигнорированы.
| Crawler || Legitimate bots that honestly declare their botness through the user agent. These could be search engine bots indexing the web, social media bots, etc. Despite not having malicious intent, they cannot convert and are not the target audience, so they should be ignored.
|-
|-
| Spoofing || Подмена UA || Боты, чей user agent не соответствует реальной версии браузера и / или операционной системы.
| Spoofing || Bots whose user agent does not match the actual browser version and/or operating system.
|-
|-
| Automated || Автоматизация || Боты, использующие headless-браузеры или инструменты автоматизации вроде Selenium. Изначальная цель таких решений — автоматизированное тестирование программного обеспечения, сайтов, приложений и пр. Потом ботоводы поняли, что их так же можно использовать для скликивания ссылок, накручивания просмотров и т. д. и взяли в свой инвентарь.
| Automated || Bots using headless browsers or automation tools like Selenium. The original purpose of such solutions is to automate software, website, application testing, etc. Then bot operators realized they could also use them for click fraud, view fraud, etc., and added them to their inventory.
|-
|-
| iFrame || iFrame || При анализе мы увидели, что страница располагается на сайте в маленьком или незаметном элементе. То есть показ засчитается, но реальный пользователь не увидит, к примеру, рекламу и не сможет никогда перейти по ней.
| iFrame || During the analysis, we found that the page is located on the site in a small or inconspicuous element. That is, the impression will be counted, but the real user will not see, for example, the ad and will never be able to click on it.
|}
|}


=== Подозрительные переходы (SV, suspicious visits) ===
=== Suspicious visits (SV) ===
Мы видим в результатах анализа что-то подозрительное, но этого не хватает чтобы со всей уверенностью утверждать, что перед нами бот. Возможные причины — у пользователя установлено безобидное расширение, которые однако как-то аффектит наши проверки. Или пользователь заходит через VPN.  
We see something suspicious in the analysis results, but it is not enough to confidently state that it is a bot. Possible reasons include the user having a harmless extension that somehow affects our checks, or the user accessing through a VPN.


Подозрительные переходы требуют индивидуального подхода, чтобы например по конверсиям решить куда отнести подозрительный трафик — в фродовый или хороший.
Suspicious clicks require an individual approach, for example, to determine where to attribute suspicious traffic based on conversions - to fraudulent or good traffic.


{| class="wikitable"
{| class="wikitable"
|-
|-
! Название !! Название !! Описание
! Name !! Description
|-
|-
| SV total || SV total || Количество подозрительных переходов.
| SV total || Number of suspicious clicks.
|-
|-
| Proxy || Прокси || Пользователи, заходящие с VPN, proxy или Tor. Это живые клики, но они идут с нецелевых гео. Если вы закупаете трафик с конкретного гео, а на нём много прокси, значит трафик плохой.
| Proxy || Users accessing through VPN, proxy, or Tor. These are live clicks, but they come from non-targeted geo. If you are buying traffic from a specific geo, and there are a lot of proxies on it, then the traffic is bad.
|-
|-
| Suspicion of spoofing || Подозрение на подмену user agent || Мы подозреваем, что в браузере используются техники подмены user agent. Если эта метрика мала, значит не о чем возноваться. Если же её процент высок и вы не закупаете какой-то специфичный мобильный трафик, то есть повод призадуматься.
| Suspicion of spoofing || We suspect that user agent spoofing techniques are being used in the browser. If this metric is low, there is nothing to worry about. But if its percentage is high and you are not buying any specific mobile traffic, then there is a reason to think about it.
|-
|-
| Suspicion of automated || Подозрение на автоматизацию || Мы подозреваем, что в браузере используются инструменты автоматизации.
| Suspicion of automated || We suspect that automation tools are being used in the browser.
|-
|-
| Suspicion of fraud || Подозрение на мошенничество || Другие виды подозрительной активности, например слишком широкий экран — это может быть как результатом плохой вёрстки, так и попыткой скрыть рекламу за пределами экрана.
| Suspicion of fraud || Other types of suspicious activity, such as a too-wide screen, can be the result of poor layout or an attempt to hide ads outside the screen.
|}
|}


=== Особенности (Feature) ===
=== Feature ===
Некоторые особенности браузеров, детектируемые нами.
Some browser features that we detect.


{| class="wikitable"
{| class="wikitable"
|-
|-
! Название !! Название !! Описание
! Name !! Description
|-
|-
| AdBlock || AdBlock || Установлен в браузере пользователя AdBlock или нет. Обратите внимание — мы проверяем только наличие AdBlock, включён он или выключен не проверяется.
| AdBlock || Whether AdBlock is installed in the user's browser or not. Note that we only check for the presence of AdBlock; whether it is turned on or off is not checked.
|-
|-
| Is mobile || Мобильное устройство || Проверка по характерным признакам (не по user agent) является устройство мобильным (смартфоны, планшеты) или нет (десктоп, телевизоры).
| Is mobile || Checking by characteristic features (not by user agent) whether the device is mobile (smartphones, tablets) or not (desktops, TVs).
|-
|-
| WebView || WebView || Количество визитов с Chrome WebView. Chrome WebView — это сильно урезанная по функционалу разновидность мобильного Chrome, которая используется в прилах для просмотра веб-страниц, а так же многие мобильные браузеры для Андроида — это кастомизированные WebView. Большая часть WebView не умеют показывать пуши. Поэтому если на push-трафике большой процент WebView значит, возможно, трафик плохой.
| WebView || Number of visits with Chrome WebView. Chrome WebView is a greatly reduced functionality version of mobile Chrome that is used in apps to view web pages, as well as many mobile browsers for Android, which are customized WebView. Most WebViews cannot display pushes. Therefore, if there is a high percentage of WebView on push traffic, the traffic may be bad.
|-
|-
| IFrame || IFrame || Количество визитов осуществлённых через iframe. Тег <iframe> — это HTML-элемент, позволяющий встраивать в страницу отдельный, законченный HTML-документ, то есть другую веб-страницу.
| IFrame || Number of visits made via iframe. <iframe> tag HTML element represents a nested browsing context, embedding another HTML page into the current one.
|-
|-
| Push notifications || Пуши || Количество визитов с браузеров, поддерживающих пуши.
| Push notifications || Number of visits from browsers that support push notifications.
|}
|}


== Группировки ==
== Groups ==
Группировки — это параметры, которые позволяют ответить на вопрос «какие?». Из каких стран были переходы? Какие браузеры использовали пользователи?
Groups are parameters that allow you to answer the question "which?". From which countries were the clicks? Which browsers did users use?


=== Время ===
=== Time ===
{| class="wikitable"
{| class="wikitable"
|-
|-
! Название !! Название !! Описание
! Name !! Description
|-
|-
| Hour || Час || Группирует статистику по часам.
| Hour || Groups statistics by hours.
|-
|-
| Day || День || Группирует статистику по дням.
| Day || Groups statistics by days.
|-
|-
| Week || Неделя || Группирует статистику по неделям.
| Week || Groups statistics by weeks.
|-
|-
| Month || Месяц || Группирует статистику по месяцам. Максимальный период, который можно выбрать — два месяца.
| Month || Groups statistics by months. The maximum period that can be selected is two months.
|}
|}


=== Метки ===
=== Tags ===
{| class="wikitable"
{| class="wikitable"
|-
|-
! Название !! Название !! Описание
! Name !! Description
|-
|-
| Integration || Интеграция || Интеграция в Kaminari.
| Integration || Kaminari integration ID.
|-
|-
| Bot type || Тип бота || Группировка по типам ботов.
| Bot type || Grouping by bot types.
|-
|-
| Referer || Реферер || URL страницы, с которой пользователь попал на страницу.
| Referer || URL of the page from which the user landed on the page.
|-
|-
| Sub1..Sub7 || Sub1..Sub7 || Метки, установленные клиентом.
| Sub1..Sub7 || Tags set by the client.
|}
|}


=== Гео ===
=== Geo ===
{| class="wikitable"
{| class="wikitable"
|-
|-
! Название !! Название !! Описание
! Name !! Description
|-
|-
| Language || Язык || Предпочитаемый язык пользователя, то есть язык UI, установленный в настройках браузера.
| Language || User's preferred language, i.e. UI language set in the browser settings.
|-
|-
| Timezone || Часовой пояс || Часовой пояс браузера, фактически часовой пояс операционной системы пользователя.
| Timezone || Browser time zone, actually the user's operating system time zone.
|-
|-
| Country || Страна || Данные о стране, полученные из IP.
| Country || Country data obtained from IP address.
|-
|-
| City || Город || Данные о городе, полученные из IP.
| City || City data obtained from IP address.
|-
|-
| Provider || Интернет-провайдер || Данные об интернет-провайдере, полученные из IP.
| Provider || Internet service provider data obtained from IP address.
|}
|}


=== Девайс ===
=== Device ===
{| class="wikitable"
{| class="wikitable"
|-
|-
! Название !! Название !! Описание
! Name !! Description
|-
|-
| Browser || Браузер || Название браузера и его версия, взятые из user agent.
| Browser || Browser name and version taken from user agent.
|-
|-
| Browser engine || Движок браузера || Все современные браузеры делаются на базе трёх опенсорсных движков:
| Browser engine || All modern browsers are based on three open-source engines:
# Blink (Хром, Хромиум, Яндекс-браузер, Самсунг-браузер, современные Опера и MS Edge, большинство браузеров для Андроида);
# Blink (Chrome, Chromium, Yandex Browser, Samsung Browser, modern Opera and MS Edge, most Android browsers);
# WebKit (Safari; версии Хрома, Яндекс-браузера, Firefox и пр. для iOS; браузеры в PlayStation);
# WebKit ((Safari; versions of Chrome, Yandex Browser, Firefox, etc. for iOS; browsers in PlayStation);
# Gecko (Firefox).
# Gecko (Firefox).
Так же есть 3 старых неподдерживаемых движка, которые до сих пор встречаются в сети в виде Internet Explorer, в MS Edge до 18 версии и в Опере до 12 версии.
There are also three old unsupported engines that are still present on the internet in the form of Internet Explorer, in MS Edge up to version 18 and in Opera up to version 12.  
Мы умеем определять по характерным признакам все 6 движков, а так же умеем определять конкретную версию движка. В Движок браузера мы и пишем эти данные.
We can determine all 6 engines by their characteristic features, as well as determine the specific version of the engine. It is the browser engine that we write this data to.
|-
|-
| OS || ОС || Операционная система и её версия, взятые из user agent.
| OS || Operating system and its version taken from user agent.
|-
|-
| Real OS || Настоящая ОС || Настоящая ОС, без версии.
| Real OS || The current OS without version.
|-
|-
| Device || Устройство || Производитель мобильного устройства, полученный из user-agent.
| Device || Mobile device manufacturer obtained from user agent.
|-
|-
| Device type || Тип устройства || Тип устройства (десктоп, смартфон, умный телевизор и пр.), полученный из user-agent.
| Device type || Device type (desktop, smartphone, smart TV, etc.) obtained from user agent.
|-
|-
| Connection type || Тип соединения || Тип соединения, которое устройство использует для связи с сетью (блютус, вай-фай, мобильный интернет).
| Connection type || The type of connection that the device uses to connect to the network (Bluetooth, Wi-Fi, mobile internet).
|}
|}


=== Экран ===
=== Screen ===
{| class="wikitable"
{| class="wikitable"
|-
|-
! Название !! Название !! Описание
! Name !! Description
|-
|-
| Screen width || Ширина экрана || Ширина экрана в пикселях.
| Screen width || Screen width in pixels.
|-
|-
| Screen height || Высота экрана || Высота экрана в пикселях.
| Screen height || Screen height in pixels.
|-
|-
| Screen orientation || Ориентация экрана || Ориентация экрана актуальна для мобильных устройств — портретная, вверх ногами, повёрнуто влево, повёрнуто вправо.
| Screen orientation || Screen orientation is relevant for mobile devices - portrait, upside-down, turned left, turned right.
|-
|-
| Pixel density || Плотность пикселей || Сколько экранных пикселей будет использовано для отрисовки одного CSS-пикселя, то есть фактически это разрешение экрана.
| Pixel density || How many screen pixels will be used to render one CSS pixel, i.e. this is actually the screen resolution.
|}
|}
</translate>

Revision as of 10:02, 18 September 2023

Версия на русском языке

User agent

User agent is a header that a browser, program, or application sends to a server when accessing a website. The user agent typically contains the browser name, its version, the engine on which the browser is based, the operating system and its version. The user agent can also contain the name and model of the mobile device on which it is running and some other information. In other words, it is a browser's business card.

The problem is that this business card is very easy to fake - using extensions or even just in DevTools. Almost any programming language has the ability to pass any information to the user agent when accessing a server. Therefore, user agents should be treated with caution.

Normally, the browser does not lie about itself. There are, of course, exceptions, such as extensions that help change the user agent, or mobile browsers or applications in which an unchanged user agent is embedded because developers are too lazy to change it. But such cases can be ignored - they are either isolated or can be added to the exceptions.

It's another matter when the transmitted information does not match what we learned about the browser as a result of checking, and this pattern prevails on a slice - through the user agent, we see a variety of browsers, but the analysis shows that these are all accesses from the same browser.

Therefore, the user agent is an "unreliable storyteller" and the information we obtain from it should be treated with a healthy dose of skepticism.

Metrics

Metrics are parameters that allow you to answer the question 'how much?' How many visits did the website have? How many of them were made by bots, and how many by real users?

General metrics

Name Description
Hits Total number of checks.
Unique users Number of unique users counted based on IP and user agent.
Good Number of checks resulting in non-bot, non-suspicious, and non-technical loss traffic.
Tech. losses Number of clicks that we couldn't verify. Reasons include browsers with disabled JS, outdated browsers, etc.

Bot visits (BV)

A bot is a program or automated script that requests web content (including digital advertising) without user involvement. It could be, for example, a browser on an infected computer that is part of a botnet, or a script written by a programmer that scrapes websites for some purpose.

Name Description
BV total Number of clicks made by bots of all types.
Crawler Legitimate bots that honestly declare their botness through the user agent. These could be search engine bots indexing the web, social media bots, etc. Despite not having malicious intent, they cannot convert and are not the target audience, so they should be ignored.
Spoofing Bots whose user agent does not match the actual browser version and/or operating system.
Automated Bots using headless browsers or automation tools like Selenium. The original purpose of such solutions is to automate software, website, application testing, etc. Then bot operators realized they could also use them for click fraud, view fraud, etc., and added them to their inventory.
iFrame During the analysis, we found that the page is located on the site in a small or inconspicuous element. That is, the impression will be counted, but the real user will not see, for example, the ad and will never be able to click on it.

Suspicious visits (SV)

We see something suspicious in the analysis results, but it is not enough to confidently state that it is a bot. Possible reasons include the user having a harmless extension that somehow affects our checks, or the user accessing through a VPN.

Suspicious clicks require an individual approach, for example, to determine where to attribute suspicious traffic based on conversions - to fraudulent or good traffic.

Name Description
SV total Number of suspicious clicks.
Proxy Users accessing through VPN, proxy, or Tor. These are live clicks, but they come from non-targeted geo. If you are buying traffic from a specific geo, and there are a lot of proxies on it, then the traffic is bad.
Suspicion of spoofing We suspect that user agent spoofing techniques are being used in the browser. If this metric is low, there is nothing to worry about. But if its percentage is high and you are not buying any specific mobile traffic, then there is a reason to think about it.
Suspicion of automated We suspect that automation tools are being used in the browser.
Suspicion of fraud Other types of suspicious activity, such as a too-wide screen, can be the result of poor layout or an attempt to hide ads outside the screen.

Feature

Some browser features that we detect.

Name Description
AdBlock Whether AdBlock is installed in the user's browser or not. Note that we only check for the presence of AdBlock; whether it is turned on or off is not checked.
Is mobile Checking by characteristic features (not by user agent) whether the device is mobile (smartphones, tablets) or not (desktops, TVs).
WebView Number of visits with Chrome WebView. Chrome WebView is a greatly reduced functionality version of mobile Chrome that is used in apps to view web pages, as well as many mobile browsers for Android, which are customized WebView. Most WebViews cannot display pushes. Therefore, if there is a high percentage of WebView on push traffic, the traffic may be bad.
IFrame Number of visits made via iframe. <iframe> tag HTML element represents a nested browsing context, embedding another HTML page into the current one.
Push notifications Number of visits from browsers that support push notifications.

Groups

Groups are parameters that allow you to answer the question "which?". From which countries were the clicks? Which browsers did users use?

Time

Name Description
Hour Groups statistics by hours.
Day Groups statistics by days.
Week Groups statistics by weeks.
Month Groups statistics by months. The maximum period that can be selected is two months.

Tags

Name Description
Integration Kaminari integration ID.
Bot type Grouping by bot types.
Referer URL of the page from which the user landed on the page.
Sub1..Sub7 Tags set by the client.

Geo

Name Description
Language User's preferred language, i.e. UI language set in the browser settings.
Timezone Browser time zone, actually the user's operating system time zone.
Country Country data obtained from IP address.
City City data obtained from IP address.
Provider Internet service provider data obtained from IP address.

Device

Name Description
Browser Browser name and version taken from user agent.
Browser engine All modern browsers are based on three open-source engines:
  1. Blink (Chrome, Chromium, Yandex Browser, Samsung Browser, modern Opera and MS Edge, most Android browsers);
  2. WebKit ((Safari; versions of Chrome, Yandex Browser, Firefox, etc. for iOS; browsers in PlayStation);
  3. Gecko (Firefox).

There are also three old unsupported engines that are still present on the internet in the form of Internet Explorer, in MS Edge up to version 18 and in Opera up to version 12. We can determine all 6 engines by their characteristic features, as well as determine the specific version of the engine. It is the browser engine that we write this data to.

OS Operating system and its version taken from user agent.
Real OS The current OS without version.
Device Mobile device manufacturer obtained from user agent.
Device type Device type (desktop, smartphone, smart TV, etc.) obtained from user agent.
Connection type The type of connection that the device uses to connect to the network (Bluetooth, Wi-Fi, mobile internet).

Screen

Name Description
Screen width Screen width in pixels.
Screen height Screen height in pixels.
Screen orientation Screen orientation is relevant for mobile devices - portrait, upside-down, turned left, turned right.
Pixel density How many screen pixels will be used to render one CSS pixel, i.e. this is actually the screen resolution.