Почему бенчмарки 3DMark, Geekbench, AnTuTuTu и другие – бесполезны и несправедливы

Многие люди, в том числе производители смартфонов, используют приложения бенчмарки в качестве индикатора производительности, но на самом деле версия бенчмарка в Play Store может не показать истинную производительность устройства.

Ряд производителей ослабляют троттлинг во время тестирований

Когда выпускается новый смартфон или чипсет, как фанаты смартфонов, так и производители пытаются измерить его результаты с помощью AnTuTu, 3DMark, Geekbench и т. д.

Однако, к сожалению, производители смартфонов идут на хитрости, чтобы повысить оценки получаемые с бенчмарков, поэтому сейчас невозможно говорить о честном сравнении.

Еще больше беспокоит то, что многие обозреватели не подозревают о манипуляциях производителя, поэтому анализируют производительность и тепловые характеристики устройства на основе результатов, которые отличаются от реальных условий использования, что иногда приводит к неверным выводам.

Некоторые обозреватели принимают тот факт, что бенчмарки не показывают реальных показателей, пеняя на несовершенные алгоритмы бенчмарков, хотя на самом деле это именно производители, кто пытается смухлевать.

Эта статья наглядно покажет вам, как производители манипулируют результатами с бенчмарков.

Можно добиться правды, используя другие имена пакетов

За последние 70+ устройств, которые я использовал и тестировал на бенчмарках, было обнаружено, что следующие производители меняют тактовую частоту процессора/графического процессора и управление температорой только во время тестирования.

• Black Shark
• Infinix
• Meizu
• realme (Snapdragon)
• realme / OnePlus (MediaTek)
• REDMAGIC
• vivo
• Xiaomi

…Почти все китайские производители бустят производительность только для бенчмарк приложений.

ASUS ROG Phone 6 автоматически включает режим X (режим производительности) и уведомляет вас о запуске тестового приложения.

Режим X меняет настройки термо регулирования, которые отличаются от поведения в обычных приложений, но об этом уведомляется заранее, и это можно отключить вручную.

Что касается Realme, у Realme GT Neo 3 было замечено повышение тактовой частоты процессора до верхнего предела.

Обнаружив, что имя пакета запущенного приложения является бенчмарком, ОС вышеуказанного производителя устанавливает верхний предел тактовой частоты процессора и при этом отключает троттлинг, то есть тепловое регулирование.

И наоборот, если имя пакета отличается от бенчмарка, оно будет обрабатываться так же, как обычное приложение, с троттлингом и остальными прелестями реальной жизни.

В Android имя пакета можно легко изменить путем декомпиляции APK, поэтому, если у вас есть APK, который отличается только именем пакета, вы получите настоящие результаты тестов без читов производителя.

Я загрузил модифицированные APK-файлы Geekbench, 3DМарк, PCMark сюда.

Geekbench — это версия, замаскированная под Genshin, опубликованная разработчиком.

1. Установите версию из Play Store
2. Установите модифицированную версию из приведенных выше
3. Сначала запустите тест с помощью модифицированной версии
4. Дайте температуре смартфона остыть и измерьте результат с помощью версии бенчмарка из Play Store

Если оценка из версии Play Store явно выше, значит вы поймали производителя за ушки.

Проверьте тактовую частоту процессора с помощью приложения, которое может отображать тактовую частоту процессора в режиме поверх всех окон, например Cpu Float, и если она фиксируется на одном уровне или легко достигает максимума при открытии версии дистрибутива Play Store, то, возможно, они бустят частоты и не троттлят их, то есть не понижают при перегреве.

Если экранчик с мониторингом частот (оверлей) пропадает, включите «Разрешить оверлей» или что-то вроде «Разрешить наложение окон» в настройках разработчика. Если оверлей исчезает при активации функции буста, значит почти наверняка они читят с частотами.

Различия в результатах с повышением производительности и без него

Теперь давайте посмотрим, какую разницу имеют версия из Play Store и переименованная версия пакета на одном и том же устройстве.

Начнем с vivo X90 Pro+ с Snapdragon 8 Gen 2.

Экстремальный стресс-тест Wild Life в 3DMark с модифицированным названием пакета (слева) показал результат от 3741 до 2436, с повышением температуры с 23°C до 37°C (увеличение на 14°C) и расходом заряда батареи на 11%.

Версия из Play Store (справа) показала стабильность 95,4%, максимальную температуру 49°C и потребление 16%, что далеко от результатов модифицированной версии бенчмарка (на самом деле той же обычной версии, просто с измененным именем пакета).

Глядя на результаты бенчмарка из Play Store, можно прийти к ошибочному выводу, что vivo обеспечивает высокую 3D производительность на постоянной основе, но выделяет больше тепла и потребляет больше заряда батареи.

Фактически, после 30 минут игры в Genshin в самом высоком качестве результаты показывают средний ФПС 60 при энергопотреблении 77,61 мВт на FPS и максимальной температуре батареи около 33°C. Результаты аналогичны модифицированной версии 3DMark.

Поэтому можно сделать вывод, что анализировать 3D-производительность и характеристики тепловыделения устройства с помощью бенчмарка из Play Store – бессмысленно.

Далее – Xiaomi MIX Fold 2.

В случае с Xiaomi MIX Fold 2, они просто отключили троттлинг, в результате чего устройство нагрелось почти до 50°C, что было расценено как перегрев, и тест завершился в середине процесса.

Это действительно глупый метод буста, который должен увеличить оценку в тесте, но в конечном итоге даже не проходит его. При этом модифицированная версия бенчмарка без проблем завершила тестирование с максимальной температурой 42°C.

Почему применять специальные настройки производительности и теплорегуляции только во время бенчмарка это плохо?

UL Solutions, разработчик 3DMark и PCMark, такие манипляции называет нарушением условий пользования, поскольку они вводят пользователей в заблуждение. Поэтому когда некоторые производители оправдываются «Это игровой смартфон, поэтому он должен обеспечивать максимальные результаты по производительности» или «Другие производители тоже так делают», это даже не аргумент, поскольку является нарушением условий тестирования.

Помимо так называемого «повышения производительности», благодаря которому цифры выглядят хорошо, существуют также манипуляции с «троттлингом», когда тепловое регулирование смартфона изменяется или вовсе отключается на время проведения теста в бенчмарке.

Все это делает результаты с бенчмарков бессмысленными. Бенчмарки предназначены не для измерения теоретической максимальной производительности смартфона, а для сравнения его производительности в тех же условиях, что и при использовании других приложений.

Какой смысл в производительности смартфона на настройках, которые не используются смартфоном в реальной жизни? Ведь если бы управление частотами и температурой было таким, как при проведении бенчмарков, телефон бы просто не выжил на долгой дистанции, у него был бы гораздо меньший ресурс износа (из-за перегрева компонентов), он бы ломался гораздо чаще и имел бы значительно меньшее время автономной работы.

Было бы неплохо, если бы производители прекратили свои махинации с бенчмарками, но пока есть люди, которые довольны или огорчены показателями с AnTuTu, политика повышения производительности для бенчмарков никогда не изменится.

Даже если широкая общественность не сможет избежать обмана, я надеюсь, что обзорщики на сайтах социальных сетей, в блогах, коммерческих СМИ и т. д. обратят внимание на то, являются ли полученные ими результаты тестов справедливыми или нет, и являются ли они действительно полезными данными.

Как говорится: «Цифры не лгут, но лжецы используют цифры».