Если вы всё ещё верите в них, самое время начать сомневаться.
Термин бенчмарк в широком понимании подразумевает специальный эталонный тест (англ. benchmark — эталон) для измерения эффективности различных систем и формирования шкалы оценки для их последующего сравнения.
Сначала появились компьютерные бенчмарки, но с распространением смартфонов возникла необходимость и в мобильных аналогах. Одним из первых стал китайский AnTuTu, позже добавились «младшие» версии известных компьютерных тестов 3DMark, PCMark, Geekbench. Все они, помимо подробных сведений о смартфоне, позволяют оценить производительность процессора, видеочипа, памяти, накопителя, а также протестировать другие компоненты.
Результаты общих тестов обычно представлены в виде абстрактных баллов, которые иронично называют «попугаями» — с отсылкой к старому мультфильму, где удава измеряли в птицах, мартышках и слонах.
Однако всё меньше пользователей и экспертов доверяют бенчмаркам. Сейчас они почти утратили свою актуальность, и вот почему.
Производительность смартфонов выровнялась
Развитие мобильных чипсетов привело к достижению так называемого порога достаточности, и теперь почти любые смартфоны обеспечивают необходимую производительность для повседневных задач вроде проверки социальных сетей, просмотра видео, работы с мессенджерами и браузером.
Как следствие, устройства одной ценовой категории работают плюс-минус одинаково быстро. Более того, даже между среднебюджетными смартфонами и флагманами разница в быстродействии почти незаметна для обычного человека.
А если говорить о сравнении топовых устройств, то различия едва ли уловимы — производители давно упёрлись в тот предел мощности, когда последующее наращивание уже не даёт ощутимых изменений.
Бенчмарки не оценивают реальное быстродействие
Плавность работы измерить никак нельзя, поэтому производители, особенно китайские бренды, упорно продолжают хвастаться рекордами в AnTuTu прямо на презентации новинок — да ещё с фанфарами и звуковым эффектом взрыва.
Тесты не учитывают производительность в реальной жизни
Существенный недостаток большинства бенчмарков в том, что процесс тестирования длится всего несколько минут и не отражает условий реальной эксплуатации. Бенчмарки выполняются на стерильных устройствах с пустым накопителем, без установленных приложений и фоновых процессов.
Не учитывается не только нагрев при длительной работе, но и «замусоренность» памяти, падение производительности под влиянием постоянной активности сервисов Google и китайских аналогов, а также естественная деградация аккумулятора, способная влиять на производительность процессора.
Идеальные результаты, полученные единожды, не гарантируют такие же через несколько недель или месяцев, не говоря уже о более длинных дистанциях в 2–3 года.
То же самое относится и к автономности, которая важна не менее, чем быстродействие. Краткосрочные непрерывные тесты аккумуляторов совершенно не объективны, поскольку не учитывают индивидуальные привычки пользователей, разные режимы работы и постепенное химическое старение батареи.
Производители оптимизируют устройства под бенчмарки
Повальное увлечение тестами привело к тому, что бренды стали хитрить. Они добавляют алгоритмы, которые распознают запуск популярных бенчмарков и переключают смартфоны в режим максимального быстродействия для достижения лучших результатов любой ценой. В реальной жизни их, разумеется, никогда не будет.
В тестах временно повышается тактовая частота процессора, отключаются или снижаются температурные ограничения, а процесс бенчмарка получает максимальный приоритет перед системными или обычными приложениями.
Ещё в 2013-м Samsung уличили в оптимизации работы смартфона Galaxy S4 в тестах: они разблокировали недоступную в обычной жизни частоту графического процессора и улучшили тем самым результаты на 11%. Китайские компании давно переняли этот опыт.
Маркетологи тоже не гнушаются подтасовкой фактов. Часто в рекламных кампаниях используют лишь выгодные, громкие показатели, а не столь впечатляющие опускаются. Та же Apple на презентациях сопоставляет мощность новых устройств с абстрактными смартфонами «других производителей». Либо сравнивает свой флагман не с предыдущим, а со старшим на два-три поколения, чтобы показать прирост производительности в три, а то и в пять раз.
Что дальше будет с бенчмарками
Вероятно, время безоговорочного доверия бенчмаркам подходит к концу. И хотя тесты по-прежнему дают определённую информацию о технических характеристиках, очевидно, что они не способны спрогнозировать реальный пользовательский опыт.
Гораздо релевантнее становятся полноценные тесты в разных сценариях повседневной эксплуатации на протяжении недель и месяцев, которые проводят техноблогеры, а также отзывы реальных владельцев. В отрыве от этого бенчмарки не значат почти ничего. Только комплексный подход позволит оценить возможности смартфона.
А как вы относитесь к бенчмаркам? Расскажите в комментариях!
