Есть ли смысл в бенчмарках? [Технологии]

Бенчмарки раньше

Для начала нам потребуется чуть глубже окунуться в историю, а именно — вернуться в «доандроидную эру», когда одной из наиболее популярных операционных систем на рынке сенсорных КПК и коммуникаторов была Windows Mobile.

Для примера возьмём HTC Wallaby, выпущенный в 2002 году. В нём стоял процессор на архитектуре ARMv4 с тактовой частотой 206 МГц, 32 МБ оперативной и столько же постоянной памяти, а также qVGA-матрица с разрешением 320х240 пикселей. Спустя шесть лет последний смартфон P-серии от тайваньской компании, HTC Touch Diamond, оснащён ARMv6 процессором с частотой 528 МГц, 256 МБ оперативной памяти, 192 МБ постоянной памяти (плюс 4 ГБ флэш-памяти) и VGA-дисплеем (640х480 пикселей).



То есть, рост технических характеристик хоть и был, но происходил медленно, не вынуждая владельцев коммуникаторов бежать за новым гаджетом каждый год. Конечно, за это время в гаджетах появились Wi-Fi, Bluetooth, GPS и 3G, но все актуальные программы и игры в течение нескольких лет без проблем работали на большинстве устройств. Понятно, что бенчмарки в такой ситуации интересовали разве что энтузиастов.



И сегодня подобную идеологию можно наблюдать в отношении продукции Apple: сносную работу большинства программ можно ожидать на iPhone двух- и даже трёхлетней давности. Хотя под iOS и существует ряд бенчмарков, из-за ограниченности модельного ряда они используются преимущественно для сравнения производительности новых и старых устройств.



С появлением Android всё стало совершенно иначе: в короткий срок эта операционная система стала очень популярной, и на рынок вышли десятки, а потом и сотни устройств от разных производителей — с разной «начинкой» и разной оптимизацией. Многие разработчики стали создавать приложения, ориентируясь на технические возможности флагманов — и вскоре владельцы недорогих устройств столкнулись с недостаточной производительностью своих гаджетов.

Проблемы были не только со сторонними программами, но даже с самой ОС. Стабильностью и высокой скоростью работы даже на производительном «железе» Android тогда не блистал. Именно в это время и стали приобретать популярность бенчмарки, которые заранее могли многое сказать будущему владельцу о производительности выбранного аппарата.



В какой-то момент их авторитет дошёл до того, что некоторые производители стали обманывать тесты, задавая максимальный разгон процессора при запуске определённых программ.

Бенчмарки сейчас

В настоящее время для платформы Android существуют десятки различных синтетических тестов. Среди них особо выделяются AnTuTu — самый популярный бенчмарк общей производительности устройств, 3DMark — игровой производительности и GFXBench, который в основном тестирует тоже производительность в играх, но более частные случаи — например, тесселяцию и качество рендеринга.



Мы до сих пор радуемся, когда наш новый смартфон бьёт рекорд в каком-нибудь бенчмарке, и огорчаемся, когда он «не дотянул», но многие, особенно владельцы топовых гаджетов, начинают признавать, что цифры в тестах несут всё меньше полезной информации. Действительно, большая ли разница в аппаратах, один из которых набрал в AnTuTu 80000 баллов, а другой — 100000? Практически никакой: оба смартфона будут работать крайне быстро, справляться с «тяжёлыми» задачами и запускать любые игры, причём не только сейчас, но и ближайшие два-три года.

Если на начальном этапе развития Android разница в производительности смартфонов была заметной, а разработчики выпускали приложения и игры, для которых рабочая мощь большинства гаджетов была недостаточной, то загрузить современный аппарат на все сто процентов могут разве что сами бенчмарки. Узкое место сегодня не в производительности — несмотря на все старания по оптимизации энергоэффективности, с самыми требовательными программами гаджеты способны работать быстро и плавно, только недолго.

На графике, составленном ресурсом Android Authority, показано изменение производительности смартфонов по результатам бенчмарка GeekBench с 2009 по 2015 год. График наглядно показывает, что производительность гаджетов при однопотоковом тестировании росла плавно, а резкие скачки графика при многопотоковом тестировании обусловлены, в первую очередь, увеличением в смартфонах количества ядер. Но, несмотря на это, с 2014 года (а для iOS — с 2013 года) даже многопотоковая производительность стала расти намного медленнее.



Предпосылок для дальнейшего взрывного роста производительности устройств под Android не наблюдается. Основная причина довольно банальна — обычным пользователям просто не нужны настолько мощные устройства: их потенциал нельзя использовать, но приходится оплачивать. Количество ядер в смартфонах уже достигло восьми, и планируемый выпуск чипсетов с ещё бо́льшим их числом выглядит скорее как победа над здравым смыслом, чем реальный технологический прорыв. Прочими способами достичь заметного увеличения производительности тоже вряд ли получится: современные процессоры выполняются по 14-нм техпроцессу, и дальнейшее уменьшение его масштаба даётся всё труднее — это признаёт даже Intel. Ну а прорывных решений насущного вопроса энергоэффективности ожидать, вроде бы, неоткуда.

Что касается iOS, то компания Apple поступила довольно грамотно: в то время как у производителей Android-устройств практически исчерпаны возможности роста производительности, «яблочной» компании достаточно добавить в свои чипсеты парочку вычислительных ядер, чтобы пользователи увидели заметный прирост мощности. Напомним, что в самом современном процессоре Apple, A9X, всего два ядра.

Бенчмарки в будущем

Какая судьба ждёт бенчмарки в ближайшем будущем? Сохранят ли они популярность, или о них постепенно забудут? На взгляд автора, наиболее вероятен «средний» вариант, когда бенчмарки будут интересовать в первую очередь энтузиастов, выжимающих из своих гаджетов все возможности. Что касается обычных пользователей, то уже сейчас на результаты синтетических тестов смотрят, в основном, при выборе бюджетных или среднесегментых аппаратов. В топовых смартфонах, даже при разнице в 20–30 тысяч бенчмарковых баллов, разницу в производительности на реальных задачах ощутить невозможно. Замедление роста производительности смартфонов постепенно сотрёт границу между топовым и средним сегментами, сделает мощные аппараты доступнее и, вполне возможно, уже через несколько лет мы снова будем выбирать гаджеты по дизайну и фирменным «фишкам», а не по количеству баллов в бенчмарках.