R:Измерение времени выполнения выражений - История изменений

Артём Клевцов: Загрузка 2693-time-measure.wiki

2014-05-28T14:45:01Z

Загрузка 2693-time-measure.wiki

Внесённые изменения

Артём Клевцов: Загрузка файла 2693-time-measure.wiki

2014-05-28T01:35:32Z

Загрузка файла 2693-time-measure.wiki

Внесённые изменения

Артём Клевцов: Загрузка файла 2693-time-measure.wiki

2014-05-28T01:34:10Z

Загрузка файла 2693-time-measure.wiki

Внесённые изменения

Артём Клевцов: /* Пакет {{r-package|rbenchmark}}> */

2014-02-27T14:19:50Z

‎Пакет {{r-package|rbenchmark}}>

Артём Клевцов в 14:19, 27 февраля 2014

2014-02-27T14:19:36Z

Артём Клевцов в 03:49, 20 февраля 2014

2014-02-20T03:49:52Z

Внесённые изменения

Артём Клевцов в 14:24, 19 февраля 2014

2014-02-19T14:24:29Z

Артём Клевцов: /* Функция system.time */

2014-02-19T14:24:11Z

‎Функция system.time

Артём Клевцов в 14:10, 19 февраля 2014

2014-02-19T14:10:45Z

Внесённые изменения

Артём Клевцов в 13:20, 17 февраля 2014

2014-02-17T13:20:23Z

Внесённые изменения

@@ Строка 89: / Строка 89: @@
 Вместо подобных решений можно использовать специальные пакеты, предназначенные для измерения производительности кода, в частности, пакеты {{r-package|rbenchmark}} и {{r-package|microbenchmark}}. Основной принцип работы этих пакетов заключается в многократном выполнении выражений и расчёта ряда интегральных показателей, в частности, суммы, среднего значения или медианы времени выполнения всех попыток.
-== Пакет {{r-package|rbenchmark}}> ==
+== Пакет {{r-package|rbenchmark}} ==
 Основа пакета {{r-package|rbenchmark}} - функция <code>benchmark()</code>. Данная функция работает следующим образом: указанные в качестве аргументов выражения выполняются заданное количество раз (по умолчанию 100) и вычисляется время, затраченное на выполнение всех попыток. В качестве аргументов функции <code>benchmark()</code> необходимо передать выражения или функции, а также количество повторений, передаваемых аргументом replications<ref>Анализ функции <code>benchmark()</code> показал, что, данная функция использует <code>system.time()</code> и <code>replicate()</code>, рассмотренные в предыдущем разделе.</ref>.

@@ Строка 10: / Строка 10: @@
 == Функция <code>system.time</code> ==
-Самый простой инструмент для измерения времени выполнения кода - функция <code>system.time()</code> из пакета <code>base</code>. В качестве аргумента функция <code>system.time()</code> принимает выражения и возвращает время выполнения данного выражения. Измерим время выполнения функции <code>Sys.sleep()</code>, которая останавливает выполнение кода на заданный интервал времени (в секундах):
+Самый простой инструмент для измерения времени выполнения кода - функция <code>system.time()</code> из пакета {{r-package|base|core=true}}. В качестве аргумента функция <code>system.time()</code> принимает выражения и возвращает время выполнения данного выражения. Измерим время выполнения функции <code>Sys.sleep()</code>, которая останавливает выполнение кода на заданный интервал времени (в секундах):
 {{r-code|code=
@@ Строка 87: / Строка 87: @@
 В примере выше мы взяли только значения <code>elapsed</code> и рассчитали медиану <ref>Медиана является более устойчивой мерой центральной тенденции при асимметрии распределения, что, как правило, характерно для измерения времени.</ref>.
-Вместо подобных решений можно использовать специальные пакеты, предназначенные для измерения производительности кода, в частности, пакеты <code>rbenchmark</code> и <code>microbenchmark</code>. Основной принцип работы этих пакетов заключается в многократном выполнении выражений и расчёта ряда интегральных показателей, в частности, суммы, среднего значения или медианы времени выполнения всех попыток.
+Вместо подобных решений можно использовать специальные пакеты, предназначенные для измерения производительности кода, в частности, пакеты {{r-package|rbenchmark}} и {{r-package|microbenchmark}}. Основной принцип работы этих пакетов заключается в многократном выполнении выражений и расчёта ряда интегральных показателей, в частности, суммы, среднего значения или медианы времени выполнения всех попыток.
-== Пакет <code>rbenchmark</code> ==
+== Пакет {{r-package|rbenchmark}}> ==
-Основа пакета <code>rbenchmark</code> - функция <code>benchmark()</code>. Данная функция работает следующим образом: указанные в качестве аргументов выражения выполняются заданное количество раз (по умолчанию 100) и вычисляется время, затраченное на выполнение всех попыток. В качестве аргументов функции <code>benchmark()</code> необходимо передать выражения или функции, а также количество повторений, передаваемых аргументом replications<ref>Анализ функции <code>benchmark()</code> показал, что, данная функция использует <code>system.time()</code> и <code>replicate()</code>, рассмотренные в предыдущем разделе.</ref>.
+Основа пакета {{r-package|rbenchmark}} - функция <code>benchmark()</code>. Данная функция работает следующим образом: указанные в качестве аргументов выражения выполняются заданное количество раз (по умолчанию 100) и вычисляется время, затраченное на выполнение всех попыток. В качестве аргументов функции <code>benchmark()</code> необходимо передать выражения или функции, а также количество повторений, передаваемых аргументом replications<ref>Анализ функции <code>benchmark()</code> показал, что, данная функция использует <code>system.time()</code> и <code>replicate()</code>, рассмотренные в предыдущем разделе.</ref>.
 Для примера возьмём несколько способов расчёта среднего арифметического для сгенерированного массива данных.
@@ Строка 138: / Строка 138: @@
 }}
-Теперь, подключив пакет rbenchmark, мы можем сравнить время работы каждого из выбранных нами способов вычисления средних по столбцам:
+Теперь, подключив пакет {{r-package|rbenchmark}}, мы можем сравнить время работы каждого из выбранных нами способов вычисления средних по столбцам:
 {{r-code|code=
@@ Строка 181: / Строка 181: @@
 }}
-== Пакет <code>microbenchmark</code> ==
+== Пакет {{r-package|microbenchmark}} ==
-Функция <code>microbenchmark()</code> одноименного пакета работает сходным с функцией <code>benchmark()</code> образом, но предоставляет более гибкие средства по управлению процессом выполнения выражений<ref>Но в отличии от функции benchmark() использует собственную реализацию измерения времени выполнения и организацию повторных испытаний.</ref>. Особенностями реализованных в пакете <code>microbenchmark</code> являются:
+Функция <code>microbenchmark()</code> одноименного пакета работает сходным с функцией <code>benchmark()</code> образом, но предоставляет более гибкие средства по управлению процессом выполнения выражений<ref>Но в отличии от функции benchmark() использует собственную реализацию измерения времени выполнения и организацию повторных испытаний.</ref>. Особенностями реализованных в пакете {{r-package|microbenchmark}} являются:
 * Возможность измерения времени выполнения выражения вплоть до наносекунд;
@@ Строка 241: / Строка 241: @@
 Умножение на <math>10^{-6}</math> --- это перевод в миллисекунды. Чтобы получить секунды, нужно, соответственно, умножить на <math>10^{-9}</math>.
-Помимо настройки формата вывода, выбора показателей, наличие информации о времени выполнения выражения в каждой попытке позволяет визуализировать результаты оценки времени выполнения выражения. Например, с помощью функции <code>autoplot()</code> из пакета <code>ggplot2</code>, можно получить следующий график:
+Помимо настройки формата вывода, выбора показателей, наличие информации о времени выполнения выражения в каждой попытке позволяет визуализировать результаты оценки времени выполнения выражения. Например, с помощью функции <code>autoplot()</code> из пакета {{r-package|ggplot2}}, можно получить следующий график:
 {{r-code|code=

@@ Строка 89: / Строка 89: @@
 Для примера возьмём несколько способов расчёта среднего арифметического для сгенерированного массива данных.
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> x <- replicate(10, rnorm(10^6L))
 > x <- replicate(10, rnorm(10^6L))
 </nowiki>
 }}
@@ Строка 96: / Строка 95: @@
 Использованные нами способы - функции векторизованных вычислений (<code>apply()</code>, <code>vapply()</code>), стандартный цикл и специальная функция вычисления средних по столбцам <code>ColMeans()</code>. Представим эти способы в виде самостоятельных функций для удобства их вызова при работе с <code>benchmark()</code>:
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>colMeansApply <- function(x) {
 colMeansApply <- function(x) {
    apply(x, 2, mean)
+}
@@ Строка 126: / Строка 124: @@
 Убедимся, что функции возвращают одинаковый результат. Сделать это можно с помощью функций <code>identical()</code> или <code>all.equal()</code>:
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> identical(colMeansApply(x), colMeansVapply(x), colMeansLoop(x), colMeansLoopVec(x), colMeans(x))
 > identical(colMeansApply(x), colMeansVapply(x), colMeansLoop(x), colMeansLoopVec(x), colMeans(x))
 [1] TRUE
 </nowiki>
@@ Строка 134: / Строка 131: @@
 Теперь, подключив пакет rbenchmark, мы можем сравнить время работы каждого из выбранных нами способов вычисления средних по столбцам:
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> library(rbenchmark)
 > library(rbenchmark)
 > benchmark(colMeansApply(x), colMeansVapply(x), colMeansLoop(x),
 +           colMeansLoopVec(x), colMeans(x), replications = 100)
@@ Строка 153: / Строка 149: @@
 Для более удобного просмотра можно отфильтровать вывод функции <code>benchmark()</code> с помощью аргумента <code>columns</code>. Также может быть полезен аргумент <code>order</code>, позволяющий отсортировать вывод по любому из столбцов. Для примера зададим набор показателей, которые мы хотим включить в таблицу (в данном случае это «test», «replications», «elapsed», «relative»), и отсортируем выдачу по столбцу «elapsed» по возрастанию значений:
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> benchmark(colMeansApply(x), colMeansVapply(x), colMeansLoop(x), colMeansLoopVec(x), colMeans(x),
 > benchmark(colMeansApply(x), colMeansVapply(x), colMeansLoop(x), colMeansLoopVec(x), colMeans(x),
 +           replications = 100, order = "relative",
 +           columns = c("test", "replications", "elapsed", "relative"))
@@ Строка 169: / Строка 164: @@
 Чтобы не указывать нужные столбцы каждый раз, когда используется функция <code>benchmark()</code>, можно закрепить заданный формат выдачи результатов (далее используется именно такой формат вывода, с сортировкой по столбцу «relative»). Для этого следует воспользоваться функцией <code>formals()</code>:
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> formals(benchmark)$columns <- c("test", "replications", "elapsed", "relative")
 > formals(benchmark)$columns <- c("test", "replications", "elapsed", "relative")
 > formals(benchmark)$order <- "relative"
 </nowiki>
@@ Строка 187: / Строка 181: @@
 В таблице ниже представлено время выполнения пяти функций вычисления среднего значения из предыдущего примера, полученное с помощью функции <code>microbenchmark()</code>:
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> res <- microbenchmark(colMeansApply(x), colMeansVapply(x), colMeansLoop(x),
 > res <- microbenchmark(colMeansApply(x), colMeansVapply(x), colMeansLoop(x),
 +                       colMeansLoopVec(x), colMeans(x), times = 100)
 > print(res, unit = "ms", order = "median")
@@ Строка 205: / Строка 198: @@
 Вся полученная информация о попытках применения функций вычисления средних записана в отдельную переменную <code>res</code>. С помощью функции <code>str()</code> можно увидеть структуру переменной:
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> str(res)
 > str(res)
 Classes ‘microbenchmark’ and 'data.frame':	500 obs. of  2 variables:
   $ expr: Factor w/ 5 levels "colMeansApply(x)",..: 4 2 1 1 1 3 3 5 5 1 ...
@@ Строка 215: / Строка 207: @@
 Переменная <code>res</code>, как можно увидеть в выводе функции <code>str()</code>, представляет собой список (list) и включает в себя две переменные: <code>expr</code> (выражение) и <code>time</code> (время выполнения). На основе этой информации и рассчитываются описательные статистики, приведённые в примере применения функции <code>microbenchmark()</code>. Наличие исходных данных о каждой попытке позволяет самостоятельно выбирать, рассчитывать и сравнивать предпочтитаемые показатели. Например, расчет медианного времени выполнения попытки и общего времени выполнения всех попыток для каждого выражения выглядит следующим образом:
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> aggregate(time ~ expr, data = res, function(x) median(x) * 10^-6L)
 > aggregate(time ~ expr, data = res, function(x) median(x) * 10^-6L)
                  expr   time
    colMeansApply(x) 132.24
@@ Строка 237: / Строка 228: @@
 Помимо настройки формата вывода, выбора показателей, наличие информации о времени выполнения выражения в каждой попытке позволяет визуализировать результаты оценки времени выполнения выражения. Например, с помощью функции <code>autoplot()</code> из пакета <code>ggplot2</code>, можно получить следующий график:
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> library(ggplot2)
 > library(ggplot2)
 > autoplot(res)
 </nowiki>
@@ Строка 247: / Строка 237: @@
 Ещё один довольно интересный способ графического представления результатов измерения скорости выполнения кода с помощью функции <code>qplot()</code> представлен ниже:
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> qplot(y = time, data = res, colour = expr)
 > qplot(y = time, data = res, colour = expr)
 </nowiki>
 }}
@@ Строка 256: / Строка 245: @@
 Так же можно, если возникнет необходимость, оценить статистическую значимость различий во времени выполнения выражений. Благодаря тому, что в переменной <code>res</code> хранятся данные о времени выполнения каждой попытки из заданного числа, становится возможным использование статистических критериев. Выбор  критерия - на усмотрение аналитика, в примере ниже использовался параметрический критерий сравнения групп t-Стьюдента с поправкой уровня статистической значимости Холма для множественных сравнений:
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> pairwise.t.test(res$time, res$expr)
 > pairwise.t.test(res$time, res$expr)
 	Pairwise comparisons using t tests with pooled SD

@@ Строка 12: / Строка 12: @@
 Самый простой инструмент для измерения времени выполнения кода - функция <code>system.time()</code> из пакета <code>base</code>. В качестве аргумента функция <code>system.time()</code> принимает выражения и возвращает время выполнения данного выражения. Измерим время выполнения функции <code>Sys.sleep()</code>, которая останавливает выполнение кода на заданный интервал времени (в секундах):
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> system.time(Sys.sleep(1))
 > system.time(Sys.sleep(1))
 пользователь      система       прошло
 .003        0.004        1.000
@@ Строка 23: / Строка 22: @@
 Приведём ещё один пример. Сравним время вычисления встроенной в R функции <code>mean()</code> и среднего, вычисленного по формуле <math>\frac{1}{n}\sum_{i=1}^{n}x_{i}</math>. на сгенерированном массиве нормально распределенных значений:
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> x <- rnorm(10^7L)
 > x <- rnorm(10^7L)
 > system.time(mean(x))
 пользователь      система       прошло
@@ Строка 45: / Строка 43: @@
 Проиллюстрируем вышесказанное на примере:
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> replicate(10, system.time(mean(x))[["elapsed"]])
 > replicate(10, system.time(mean(x))[["elapsed"]])
   [1] 0.024 0.020 0.019 0.018 0.017 0.016 0.015 0.015 0.015 0.015
 </nowiki>
@@ Строка 55: / Строка 52: @@
 Базовый пакет позволяет реализовать процедуру многократного повторения выражения функции как минимум двумя способами. Первый - функция <code>replicate()</code>. Приведенное выше сопоставление времени выполнения двух выражений при использовании функции <code>replicate()</code> будет выглядеть следующим образом:
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> system.time(replicate(100, mean(x)))
 > system.time(replicate(100, mean(x)))
 пользователь      система       прошло
 .580        0.000        1.586
@@ Строка 67: / Строка 63: @@
 Тот же самый эффект можно получить и с помощью обычного цикла <code>for()</code>:
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> system.time(for (i in seq_len(100)) mean(x))
 > system.time(for (i in seq_len(100)) mean(x))
 пользователь      система       прошло
 .583        0.000        1.590
@@ Строка 79: / Строка 74: @@
 Можно также использовать описательные статистики в сочетании с множественными повторениями:
-{{r-code|code=<nowiki>
+{{r-code|code=<nowiki>> median(replicate(100, system.time(mean(x))[["elapsed"]]))
 > median(replicate(100, system.time(mean(x))[["elapsed"]]))
 [1] 0.0155
 </nowiki>