Существует множество исследований того, как производительность веб-сайтов влияет на бизнес. И это хорошо, ведь всегда есть возможность сослаться на те или иные статистические данные, ведя речь о веб-производительности.

К несчастью, люди часто совершают две распространенные ошибки, интерпретируя результаты исследований, и делают неверные выводы. Ошибки эти заключаются в инвертировании статистических данных и изменении масштаба. Эти две ошибки могут стать причинами проблем потому, что они могут исказить ваши выводы и привести к некорректным ожиданиям по поводу применяемых к сайту методик для оптимизации производительности. В этой статье попытаемся подробно рассмотреть каждую из проблем.

Инверсия статистических данных

Первая ошибка при интерпретации статистики по производительности заключается в том, что зачастую люди пытаются перевести отрицательные значения в положительные. Это происходит потому, что очень много статистики приводится именно по отрицательным данным. Обычно это представляет собой что-то вроде “Определенное негативное явление приводит к тому, что некоторое позитивное явления перестает происходить”. Например, увеличение времени загрузки страницы на 1 секунду вызывает сокращение числа просмотров на 11%. Или 57% посетителей сайта покинут его после 3 секунд ожидания загрузки.

К сожалению, люди иногда делают вывод, что, раз увеличение времени загрузки страницы на 1 секунду вызывает сокращение числа просмотров на 11%, то сокращение времени загрузки на 1 секунду увеличит число просмотров на 11%. Но это неверно. При уменьшении времени загрузки страницы сайта на 1 секунду получим ли мы прирост в количестве просмотров на 11%? Может быть, но может быть, что и нет. Возможно, прирост составит 15%, а возможно, что и 5%. Данные исследования не отвечают на этот вопрос, потому что не этот вопрос был предметом исследования.

Данные, из которых были получены статистические результаты, гласят, что “если ваш сайт загружается на 1 секунду дольше определенного базового уровня, вы получите на 11% меньше просмотров”. Данные о том, работает ли обратное утверждение, не исследовались. Хотя такое утверждение и кажется логичным, оно не обязательно будет иметь место на практике.

Теперь постараемся понять, почему люди переводят отрицательные статистические данные о веб-производительности в положительное русло. В отрицательной статистике слишком много негатива! Она немедленно заставляет читателя относиться к производительности как к какому-то малоприятному наподобие налога. “Если я не сделаю этого, ждать проблем”. И это становится не тем, что вы хотите сделать. Это то, что вам придется сделать во избежании проблем. Но никому не нравится думать о проблемах. Решение здесь есть: публиковать больше данных о положительных результатах.

Изменение масштаба статистических данных

Вторая ошибка, часто встречающаяся в рассуждениях о веб-производительности, заключается в том, что люди пытаются масштабировать ее. Иными словами, это выглядит так: “если 1-секундное промедление равняется 11-процентному сокращению количества просмотров, то 2-секундное промедление должно привести к 22-процентному сокращению числа просмотров”. Или даже хуже, когда люди совершают обе ошибки одновременно, конвертируя отрицательные данные в положительные, а затем масштабируя их. Это приводит к таким заключениям, как “ускорение загрузки на 2 секунды увеличит число просмотров на 22%”. Однако это не соответствует реальности!

Идея масштабирования статистики, касающейся веб-производительности, в принципе неверна, хотя, на первый взгляд, и кажется логичной. Во-первых, поведенческая статистика редко имеет линейную зависимость. К тому же, у вас всего одна переменная. Вы не сможете определить, как изменятся результаты или на сколько. Является ли зависимость между показателями линейной, или экспоненциальной, или логарифмической? Вы этого не знаете , что еще важнее, не сможете узнaть, не имея на руках данных из оригинального исследования. На самом деле, инвертирование статистики является частным случаем масштабирования и является неправильным по тем же причинам.

Выводы
Существует две основные ошибки, совершаемые людьми при использовании статистических данных о производительности веб-сайтов: изменение отрицательных значений показателей на положительные и изменение масштабов статистической информации. В этом вопросе легко попасть в ловушку, так как подобные изменения кажутся логичными. Тем не менее, стоит избегать их любой ценой. Допуская эти ошибки, вы искажаете саму суть исследований. Принятие последующих решений на основании искаженной статистики ведет компанию к провалу.

Перевод.
Автор оригинальной статьи Billy Hoffman.

Метки: