JBenchmark

JBenchmark — серия тестов производительности (бенчмарков) для платформы Java ME, разработанных венгерской компанией Kishonti Informatics LP. В настоящее время (2008) доступно 9 пакетов тестов для различных подсистем телефона. Большинство тестов бесплатны в базовой версии, позволяющей увидеть результат только после отправления его на сайт производителя теста.

JBenchmark
Логотип программы JBenchmark
Скриншот программы JBenchmark
Кадр из теста JBenchmark HD (исполнялся на Sun WTK)
Тип тест производительности
Разработчик Kishonti Informatics LP
Написана на Java ME (CLDC/MIDP)
Операционная система Кроссплатформенное программное обеспечение
Лицензия несколько вариантов использования
Сайт web.archive.org/web/2008…

С помощью этих вкладов пользователей на сайте ведется база результатов тестирования телефонов[1]. Для обычных пользователей эта база, возможно, более полезна, чем сами тесты — в ней содержатся данные о производительности, а также о программном и аппаратном обеспечении более чем 1500 устройств. Большая часть данных открыта, но часть доступна только по платной подписке [2].

Особенности править

Все ранние тесты (JBenchmark 1.0, JBenchmark 2.0, JBenchmark 3D, JBenchmark HD) доступны по следующей модели. Сами тесты доступны для скачивания и использования бесплатно. После выполнения теста можно увидеть результат. При желании этот результат можно послать на сайт JBenchmark, где он, после модерации, попадет в общую базу данных.

В сентябре 2006 года вышел JBenchmark Pro. Этот набор, в отличие от предыдущих, представлял собой не один скачиваемый Мидлет, а множество (86 штук) тестов производительности различных подсистем телефона. Пользователь может выбрать нужные ему тесты и собрать из них особый Мидлет. В это приложение также включается система диагностики Java ME, которая собирает информацию о доступных JSR и других возможностях платформы.

Однако важным нововведением JBenchmark Pro является то, что данные после тестирования становятся доступны не сразу, их необходимо сначала загрузить в базу, и только после подтверждения с сайта результат выводится на экран. Однако при наличии особой платной (корпоративной) подписки есть возможность получить мидлет, работающий как ранние тесты, т. е выдающий результат сразу на экран[3].

На основе механизма JBenchmark Pro построено и большинство более поздних наборов тестов (JBenchmark ACE, JBenchmark Net, JBenchmark SVG). Однако JBenchmark 239 в настоящее время (июль 2008) доступен только как Corporate Edition.

С января 2008 года стала доступна дополнительная возможность: за особую платную подписку можно получить доступ к закрытой части базы данных устройств, а также к некоторым дополнительным услугам сайта[2].

Наборы тестов править

JBenchmark 1.0 править

JBenchmark 1.0 был первым набором тестов, выпущенным компанией, продуктом, который принес ей мировую известность. Он базировался на MIDP 1.0 и поэтому работал практически на любом телефоне. Однако, тесты были направлены на измерение возможностей телефонов того времени, поэтому в настоящее время этот набор может считаться устаревшим.

Содержит в себе 5 простых тестов, направленных на измерение скорости работы различных типов приложений. Каждый из тестов выполняется в течение 10 секунд. Количество кадров которое успеет отрисоваться за это время, и является результатом теста. Полный результат JBenchmark 1.0 — сумма результатов всех пяти тестов[4].

Тесты:

  • Text drawing — экран заполняется текстовыми строками случайного цвета и размера
  • 2D shapes — рисует множество двумерных графических фигур различной формы
  • 3D shapes — базовыми средствами двухмерной графики MIDP 1.0 рисует вращаюшийся куб
  • Fill rate — заполненяет экран небольшими прямоугольниками случайного цвета с целью измерить скорость заполнения графического буфера большим объемом данных
  • Animation — вращающееся изображение земного шара (последовательная отрисовка частей PNG файла)

JBenchmark 2.0 править

В феврале 2004 года вышла новая версия теста — JBenchmark 2.0, базирующаяся на MIDP 2.0[5]. Этот более требовательный к аппаратуре набор, также как и JBenchmark 1.0, содержит в себе 5 тестов:

  • Image manipulation — манипулирование содержимым и отрисовка растрового изображения (используется изображение Моны Лизы)
  • Text drawing — по экрану прокручивается кусок текста из книги
  • Gaming scene — попытка в плане графики воспроизвести поведение типичной двухмерной компьютерной игры для телефона
  • 3D transformation — как и в аналогичном тесте JBenchmark 1.0, попытка сэмулировать трёхмерную графику базовыми средствами MIDP, без использования специализированных JSR. Отображается вращающаяся шахматная фигура — конь.
  • User interface speed — измеряет скорость работы интерфейса приложения, построенного на стандартных элементах управления MIDP

JBenchmark 3D править

В феврале 2005 года компания Kishonti Informatics выпустила третий тест графической подсистемы Java ME, на этот раз для необязательного стандарта трехмерной графики (JSR-184). Как заявляется[6], набор тестов пытается создать нагрузку на графическую подсистему аналогичную таким играм как 3D-шутер.

Содержит 4 теста:

  • Triangle throughput — для измерения максимально возможного отображения нетекстурированных треугольников в секунду
  • Texturing performance — для измерения скорости текстурирования
  • Low Quality — воспроизводит кадры типичного (по мнению Kishonti Informatics) 3D-шутера для низкопроизводительных устройств
  • High Quality — трехмерная игра в расчете на наиболее высокопроизводительные (на момент выхода набора тестов) устройства

JBenchmark HD править

JBenchmark HD вышел в январе 2006 года и предназначался для тестирования наиболее производительных в то время Java ME устройств. Как и JBenchmark 3D, воспроизводит нагрузку на графическую подсистему, создаваемую 3D-шутерами, основывающимися на стандарте трёхмерной графики JSR-184. Однако тесты нового набора намного требовательней к аппаратуре.

Но главным отличием от JBenchmark 3D является то, что проверяется не только скорость, но и качество отрисовки. Кроме того, появилась возможность загрузить снимок экрана на сайт. Таким образом, при просмотре базы данных, находящейся в свободном доступе, можно узнать не только результаты тестов, но и визуально сравнить изображения, получаемые на различных телефонах.

JBenchmark Pro [7] править

Jbenchmark Pro вышел в сентябре 2006 года. Это первый набор, выполненный по новой модели распространения (см. Особенности).

Большой набор тестов по всем подсистемам (включает 86 тестов). Тесты разбиты на следующие группы:

  • User Experience — призван симулировать деятельность, непосредственно влияющую на субъевтивное представление пользователя о скорости работы телефона (скорость запуска приложений, скорость работы камеры, скорость файловой системы)
  • CPU — набор тестов, которые не привязаны к особым подсистемам, а написаны так, чтобы их производительность зависела только от скорости центрального процессора и эффективности виртуальной машины Java
  • 2D Graphics — тесты двухмерной графической подсистемы (стандартные средства MIDP)
  • 3D Graphics — тесты трёхмерной графической подсистемы (M3G)
  • Composite — тесты разработаны так, чтобы нагружать несколько подсистем одновременно, получив, таким образом, нагрузку аналогичную приложениям из реального мира
  • 3D Low Level — нагружают подсистемы трёхмерной графики на низком уровне. Разработаны для определения «узких мест» в реализации M3G. Поскольку эти тесты предназначены главным образом для производителей устройств, результаты низкоуровневых тестов доступны только на платной основе, и не учитываются при вычислении итогового результата JBehchmark Pro

JBenchmark ACE[8] править

Тест производительности ARM процессора. На основе набора статистических данных, пытается определить тип и частоту процессора, выполняя Java код (поскольку нет стандартного способа получить эту информацию в Java). Вышел в январе 2007 года.

В отличие от остальных наборов JBenchmark, этот тест поддерживает не только MIDP, но и DoJa Java ME профиль.

JBenchmark 239[9] править

Набор тестов трехмерной графики на основе низкоуровнего API JSR-239. Вышел в январе 2007 года.

JBenchmark Net[10] править

Тест производительности сетевого соединения. Вышел в мае 2007 года.

JBenchmark SVG править

Набор тестов векторной графики SVG (на основе API JSR-226).

Распространенность править

Приложения серии Jbenchmark являются весьма известными тестами производительности для платформы Java ME. Он признается производителями [11][12][13], а также используется как основной тест при оценке производительности Java ME платформы телефонов в обзорах на профильных сайтах, например iXBT.com, Mobile-review.com, 3dnews.ru.

Примечания править

  1. Результаты различных JBenchmark Архивировано 10 июля 2008 года.
  2. 1 2 JBenchmark Data Sevices Архивировано 11 июля 2008 года.
  3. JBenchmark Pro Editions Архивировано 16 сентября 2008 года.
  4. Описание JBenchmark 1.0 Архивировано 16 июня 2008 года.
  5. Пресс-релиз JBenchmark 2.0 Архивировано 11 июня 2008 года.
  6. Пресс-релиз JBenchmark 3D Архивировано 20 августа 2008 года.
  7. пресс-релиз JBenchmark Pro Архивировано 20 августа 2008 года.
  8. Пресс-релиз JBenchmark ACE Архивировано 11 июля 2008 года.
  9. пресс-релиз JBenchmark 239 Архивировано 20 августа 2008 года.
  10. пресс-релиз JBenchmark Net Архивировано 20 августа 2008 года.
  11. Архивированная копия. Дата обращения: 9 июля 2008. Архивировано из оригинала 15 ноября 2006 года.
  12. пресс-релиз Palm, см. упоминание JBenchmark (недоступная ссылка)
  13. Советы по оптимизации [[Java ME]] от [[Sun Microsystems]]. См. Performance Metrics. Дата обращения: 9 июля 2008. Архивировано 23 января 2008 года.