?

Log in

No account? Create an account
nyaload

Журнал Пушыстого

Журнал Пушыстого

Previous Entry Share Next Entry
Метрики
nyaload
_winnie
Предположим, что мы сделали на сайте какое-то изменение, и теперь меряем насколько это понравилось пользователям. Например, сколько времени они играли в игрульку (долго - это хорошо) или сколько времени они искали курс нужной валюты (быстро - это хорошо).

Получаем гистограммы, изображенные ниже, старый сайт красным, новый сайт - синим. По X-оси - степень удовлетворения, по Y-оси - количество пользователей.

Какой график лучше для пользователей? Вроде средняя удовлетворённость повысилась? И удовлетворённость даже стала предсказуемей (stdev меньше)? А хрен его знает. Приходится применять здравый смысл. С одной стороны, теперь нет негодующих пользователей. С другой - нет пользователей, которые в диком восторге от сайта. Если у сайта нет более простой метрики типа "степень монетизации", то без здравого смысла и этического выбора автора не обойтись.



Как при этом всё-таки иметь возможность автоматической приёмки фичи, если распределение метрики качества такое, как будто оно делает продукт лучше для всех?

Надо смотреть не на среднее, а на все квантили, напр. через 10 процентов. Если все квантили подросли - значит, можно выкатывать фичу без этических вздохостраданий. Если же какие-то уменьшились, а какие-то подросли - надо думать, кому мы делаем хуже и кому лучше.


  • 1
Я тебе больше скажу, нескалярную функцию вообще не стоит оптимизировать. ;)

Но всё-такиж это надо как-то делать, что бы не получился совсем отстой :)

Изредка, но есть волшебные изменения которые делают лучше всем. Например, правильный учет персональных предпочтений (вам vim или Visual Studio?). Или уменьшение лага сервера.



Уменьшение лага - это скалярная метрика.
Насчёт "вам vim или Visual Studio?", который делает лучше всем - хороший наброс, на твёрдую четвёрку. Щас кааак полетит из вентилятора. :)

Это когда те кто хотят vim - используют vim, а те кто хотят VS - используют VS.

Лаг в данном случае - это пример фичи, влияние на "удовлетворённость" которой мы считаем. Типа "при уменьшении лага в два раза - люди оставляют положительные отзывы на 3% чаще"

Если измененная фича - это основная функция сайта, то лучше красный график. Если второстепенная - то лучше синий.

+100, лучший ответ в треде.

И будет она оптимизировать сферических коней в вакууме. Ну прям как в "микро экономике". :)

Угу. Тыкаем пальцем. Попали в нужную точку - о, да это потому, что мы с головой подошли, не хухры-мухры! Попали в небо - э, да это они просто без головы подошли! :)

"Все там нормально получается, если с головой подойти" - это просто определение для "с головой подойти". Такая себе тавтология.


смотреть на квинтили - это проинтегрировать твой график, нет?

тогда про твой график можно сказать, что в нижних квинтилях старый набрал больше, а начиная с левой части синего пика везде больше новый. что дальше? и почему это лучше, чем распределение? имхо распределение информативнее

По распределению нельзя понять, верно ли что "второй график однозначно лучше", а по квантилям - можно.



  • 1