Как обмануть бенчмарк или почему не стоит полагаться на результаты тестирования?

quadrant_cheat

Программное обеспечение для тестирования аппаратных средств, будь то мобильное устройство или комплектующие для ПК позволяет оценить показатели производительности того или иного железа. Однако, глядя на результаты, мы полагаемся на честность людей, которые проводили тестирование, а они не всегда, в силу тех или иных причин, выполняют тесты должным образом, искусственно завышая или, наоборот, занижая показатели того или иного девайса. Поэтому доверять всевозможным скриншотам или видеороликам с результатами тестирования следует лишь косвенно, в основном опираясь на визуальное восприятие скорости работы девайса. Объясним почему…жульничать с результатами в различных тестовых пакетах достаточно просто, поскольку они мало чем отличаются от Android-приложений, которые опытные хакеры «пачками» взламывают ежедневно. Хотите узнать как?

Прежде всего, для этого необходим смартфон с открытым root-доступом. Имеются и другие способы получения «липовых» результатов на «закрытых» смартфонах, которые связаны с изменением кода самого тестового приложения, однако наиболее простым и действенным методом является root-доступ. При этом, обязательным условием является работающий под root режим adb.

Загружаем тестовый пакет Quadrant с Android Market, а также любое из множества доступных на «маркете» диспетчеров задач, которые умеют закрывать приложения. Также стоит позаботиться о наличии утилиты SetCPU, двух рук, персонального компьютера и полном отсутствии совести.

Устанавливаем все перечисленные выше приложения и перезагружаем смартфон. Ждем от 5 до 10 минут для окончания всех операций синхронизации и сканирования, после чего запускаем Quadrant и получаем «реальные» результаты тестирования.

Подключаем смартфон к ПК, входим в оболочку и после получения root-доступа вводим следующую команду:

mount -t tmpfs tmpfs /data/data/com.aurorasoftworks.quadrant.ui.standard

Убедитесь, что ввели именно так, как написано выше. Смысл данной команды прост. Как известно, самым главным «бутылочным горлышком» при оценке производительности любого смартфона являются операции ввода-вывода, поэтому для увеличения показаний в Quadrant мы просто переносим все данные для тестирования с карты памяти в оперативную память, которая работает в разы быстрее накопителя.

После перезагрузки, используя утилиту SetCPU, разгоняем процессор смартфона до максимально возможной частоты. Такой режим работы быстро истощит аккумулятор смартфона, но этот фактор для нас не главный. Далее при помощи диспетчера задач завершаем работу всех фоновых процессов, чтобы максимально высвободить ресурсы процессора и оперативной памяти.

Запускаем Quadrant и несколько раз тестируем производительность, попутно делая скриншоты. Как видим, обмануть тест совсем несложно. Естественно еще большего результата можно добиться, внеся изменения в само тестовое приложение, откорректировав математическую модель обработки результатов, но даже приведенный пример доказывает, что доверять результатам тестов, которые провели не вы сами не стоит.

Добавить комментарий

Войти с помощью: 

Ваш e-mail не будет опубликован.