Как понять, каким числам на дашборде можно верить

Одна страница дашборда, один провайдер данных, один момент обновления. Два числа: сколько человек установили расширение и какое место оно занимает в рейтинге. Первое при повторном чтении стабильно повторяется. Второе может измениться на тысячу позиций между двумя чтениями одного и того же дня.

Я бы и дальше не знал об этом, если бы не начал хранить одну строку на каждое чтение, а не на каждый день. Это звучит как мелкое изменение в учёте. Оно оказалось главным выводом.

Как я это обнаружил

Раньше я записывал метрики раз в день: второе чтение перезаписывало первое, и расхождение исчезало бесшумно. Теперь каждая проверка создаёт отдельную запись. И расхождение превратилось в число — в измерение точности источника.

Место в рейтинге за один и тот же уже завершённый день показало мне на разных чтениях разницу в 1 063, 1 070 и 900 позиций. И это за три разных дня. То есть провайдер пересчитывает рейтинг задним числом, и мои повторные чтения одного итогового дня не совпадают.

А количество установок за тот же период вело себя иначе: шесть чтений одного дня дали 39, два чтения следующего дня — 40. Каждое итоговое число было воспроизводимо. День к дню ряд двигался то вверх, то вниз, но это уже другое свойство — не стабильность чтения, а монотонность ряда.

Один источник, одна страница, одни и те же моменты времени. Одно поле воспроизводимо, другое — нет.

Что это меняет в практике

Появилось правило чтения, которого у меня не было: движение рейтинга больше чем на тысячу позиций ничего не говорит. Не прогресс, не падение, не повод для комментария.

До этого я писал заметки о движениях на несколько сотен мест, как будто они что-то значат. Они не значили ничего. Это был шум в поле, точность которого я никогда не измерял.

И это показало, на какое число стоит опираться. То, что важно для бизнеса — установки, — оказалось воспроизводимым. Это просто везение. И могло быть наоборот.

Неудобное число

Раз я советую показывать только надёжные метрики, вот моя.

Сорок установок, затем тридцать девять, затем снова сорок. Раньше я цитировал это как «тридцать девять, потом сорок» — выглядело, будто пришёл один пользователь. Но в логе есть более ранняя запись: за два дня до этого было сорок. Итого за три дня: минус один, потом плюс один. Чистый сдвиг — ноль, а не один.

И это на фоне того, что за этот период я опубликовал девять страниц за день, потом одиннадцать за следующий, плюс всё, что было раньше.

Не думаю, что это уже приговор подходу: большая часть страниц пролежала первые часы вне поисковых индексов. Но я не собираюсь подавать стабильное измерение как обнадёживающее. Честное резюме: публикации работают, установки не сдвинулись, и про второе я знаю, как оно измеряется.

Обобщение

Раньше я оценивал провайдера данных с одной стороны: надёжный или нет. Это неправильная единица.

Надёжность — свойство поля, а не источника. Одна и та же страница показывает вам колонку, вычисленную из данных, которые провайдер держит напрямую, и колонку, пересчитываемую из рейтинга, который меняется по мере поступления чужих данных. Ничто на странице их не отличает. Оба числа набраны одним шрифтом.

Единственный способ отличить — прочитать одно и то же значение дважды и посмотреть, согласуется ли оно с собой. Это стоит одного лишнего чтения и одной строки в файле.

Не пытайтесь интерпретировать тренд, пока не знаете разброс. Сначала шум, потом всё остальное.

Поэтому практика такая: для каждого числа, на основе которого вы принимаете решения, храните одну строку на чтение, а не на период. И смотрите на расхождения до того, как смотрите на тренд. Расхождение — это ваша погрешность, и без неё тренд читать нельзя.

И одно предостережение, которое мне пришлось применять к себе дважды. Когда расхождение небольшое, а тренд льстит, хочется оставить тренд и отмахнуться от расхождения. Правильный порядок обратный: сначала установите шум, потом посмотрите, что через него видно.

Таблица: что это значит на примере

Источник не бывает надёжным или ненадёжным. Каждая его колонка — отдельно, и только повторные чтения покажут, какая из них какая.