Пушыстый (_winnie) wrote,
Пушыстый
_winnie

Метрики

Предположим, что мы сделали на сайте какое-то изменение, и теперь меряем насколько это понравилось пользователям. Например, сколько времени они играли в игрульку (долго - это хорошо) или сколько времени они искали курс нужной валюты (быстро - это хорошо).

Получаем гистограммы, изображенные ниже, старый сайт красным, новый сайт - синим. По X-оси - степень удовлетворения, по Y-оси - количество пользователей.

Какой график лучше для пользователей? Вроде средняя удовлетворённость повысилась? И удовлетворённость даже стала предсказуемей (stdev меньше)? А хрен его знает. Приходится применять здравый смысл. С одной стороны, теперь нет негодующих пользователей. С другой - нет пользователей, которые в диком восторге от сайта. Если у сайта нет более простой метрики типа "степень монетизации", то без здравого смысла и этического выбора автора не обойтись.



Как при этом всё-таки иметь возможность автоматической приёмки фичи, если распределение метрики качества такое, как будто оно делает продукт лучше для всех?

Надо смотреть не на среднее, а на все квантили, напр. через 10 процентов. Если все квантили подросли - значит, можно выкатывать фичу без этических вздохостраданий. Если же какие-то уменьшились, а какие-то подросли - надо думать, кому мы делаем хуже и кому лучше.
Tags: antropology, soft-dev
Subscribe
  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 34 comments