R:Оптимизация/Импорт данных - История изменений

Артём Клевцов: Загрузка 2814-import-data.wiki

2014-05-28T14:45:02Z

Загрузка 2814-import-data.wiki

Внесённые изменения

Артём Клевцов: /* Формат RData/Rds */

2014-04-08T02:19:09Z

‎Формат RData/Rds

Артём Клевцов: /* Функция read.table */

2014-04-08T02:17:33Z

‎Функция read.table

Артём Клевцов в 01:57, 8 апреля 2014

2014-04-08T01:57:03Z

Артём Клевцов: /* Функция scan */

2014-04-07T14:31:23Z

‎Функция scan

Артём Клевцов: /* Функция scan */

2014-04-07T14:30:46Z

‎Функция scan

Артём Клевцов: /* Функция fread */

2014-04-07T14:21:54Z

‎Функция fread

Артём Клевцов: /* Формат RData/Rds */

2014-04-07T14:10:03Z

‎Формат RData/Rds

Артём Клевцов: /* Формат RData/Rds */

2014-04-07T13:55:19Z

‎Формат RData/Rds

Артём Клевцов: /* Формат RData/Rds */

2014-04-07T13:48:54Z

‎Формат RData/Rds

@@ Строка 202: / Строка 202: @@
 [1] 60.77</nowiki>}}
-Теперь сравним скорость чтения данных с помощью функций <code>read.table()</code>, <code>fread()</code> и <code>load()</code>:
+Теперь сравним скорость чтения данных с помощью функций <code>read.table()</code>, <code>fread()</code> и <code>readRDS()</code>:
 {{r-code|code=<nowiki>> microbenchmark(defaults = read.csv(tmp.csv, header = TRUE),

@@ Строка 17: / Строка 17: @@
 Создадим таблицу данных содержащую <math>10^{6}</math> строк и 6 столбцов:
-{{r-code|code=<nowiki>> set.seed(123) # начальная точка для генератора случайных чисел для воспроизводимости результатов
+{{r-code|code=<nowiki>> set.seed(123) # начальная точка генератора случайных чисел для воспроизводимости результатов
 > N <- 10^6L # задаём количество наблюдений
 > DF <- data.frame(a = sample(1:10^3L, N, replace = TRUE),

← Предыдущая		Версия 01:57, 8 апреля 2014
Строка 1:		Строка 1:
		+	{{CC-BY-4.0\|author=автором Артём Клевцов}}
		+
		+	{{Pkg-req-notice}}
		+
	При обработке данных большого объёма имеет смысл импортировать только ту часть данных, которая непосредственно участвует в обработке. Это целесообразно как с точки зрения расхода оперативной памяти, так и скорости выполнения операций поиска, сортировки и фильтрации данных.		При обработке данных большого объёма имеет смысл импортировать только ту часть данных, которая непосредственно участвует в обработке. Это целесообразно как с точки зрения расхода оперативной памяти, так и скорости выполнения операций поиска, сортировки и фильтрации данных.

@@ Строка 117: / Строка 117: @@
 Percent of run time represented: 100%</nowiki>}}
-В данном выводе хорошо видно, что большую часть времени затрачено на чтение файла с помощью функции <code>scan()</code>. Мы задались вопросом: а возможно ли получить результат, идентичный функции <code>read.table()</code>, пользуясь только функцией и <code>scan()</code> и приведёт ли это к увеличению производительности. После некоторых экспериментов нам подобрать команду, приводящую к нужному результату:
+В данном выводе хорошо видно, что большую часть времени затрачено на чтение файла с помощью функции <code>scan()</code>. Мы задались вопросом: а возможно ли получить результат, идентичный функции <code>read.table()</code>, пользуясь только функцией <code>scan()</code> и приведёт ли это к увеличению производительности. После некоторых экспериментов нам подобрать команду, приводящую к нужному результату:
 {{r-code|code=<nowiki>data.frame(scan(tmp.csv, what = list(a = integer(0), b = integer(0), c = character(0), d = numeric(0), e = numeric(0), f = numeric(0)),

@@ Строка 93: / Строка 93: @@
 === Функция <code>scan</code> ===
-Проведя [[R:Профилирование кода|профилирование]] выполнения функции <code>read.table()</code> мы получили следующие результаты:
+Проведя [[R:Профилирование кода|профилирование]] выполнения функции <code>read.table()</code>, мы получили следующие результаты:
 {{r-code|code=<nowiki>> tmp.log <- tempfile(pattern = "prof-", fileext = ".log")

← Предыдущая		Версия 14:21, 7 апреля 2014
Строка 161:		Строка 161:

	Таким образом, функция <code>fread()</code> является более быстрым и более удобным (за счёт автоматического определения входных параметров) инструментом по сравнению со штатной функцией <code>read.table()</code> (даже при использовании оптимальных параметров).		Таким образом, функция <code>fread()</code> является более быстрым и более удобным (за счёт автоматического определения входных параметров) инструментом по сравнению со штатной функцией <code>read.table()</code> (даже при использовании оптимальных параметров).
		+
		+	Приведём ещё один интересный факт. Попытка оптимизировать аргументы для функции <code>fread()</code> по аналогии с <code>read.table()</code> не привела к каким либо значимым изменениям, что свидетельствует о высокой оптимизации алгоритмов, задействованных в функции <code>fread()</code>.
		+
		+	{{r-code\|code=<nowiki>> microbenchmark(defaults = fread(tmp.csv),
		+	+ ompimize = fread(tmp.csv, sep = ",", header = TRUE, nrows = N,
		+	+ colClasses = c("integer", "integer", "factor", "numeric", "numeric", "numeric")))
		+	Unit: milliseconds
		+	expr min lq median uq max neval
		+	defaults 520.9 521.5 522.4 527.1 562.7 100
		+	ompimize 520.9 521.3 521.9 525.7 538.3 100</nowiki>}}

	== Формат RData/Rds ==		== Формат RData/Rds ==

@@ Строка 197: / Строка 197: @@
 Unit: milliseconds
       expr    min     lq median     uq    max neval
-  defaults 4326.8 4708.3 6109.1 6977.2 8516.5   100
+  defaults 4089.3 4624.9 6280.1 6853.5 8857.3   100
-  ompimize 2832.1 2851.0 2935.6 3175.3 3529.0   100
+  ompimize 2827.4 2842.8 3007.3 3217.6 3496.3   100
-     fread  521.1  524.5  534.2  537.4  927.6   100
+     fread  521.1  522.8  525.3  533.5  943.1   100
-   readRDS  173.5  174.2  174.4  176.4  480.8   100</nowiki>}}
+   readRDS  173.5  173.6  174.8  179.7  458.9   100</nowiki>}}
 Отметим, что запись и чтение производилась в файловую систему [http://ru.wikipedia.org/wiki/Tmpfs tmpfs], размещённую непосредственно в оперативной памяти.

@@ Строка 211: / Строка 211: @@
 * Возможность сохранять любые объекты: функции, векторы, таблицы данных, матрицы, списки.
-Среди минусов модно отметить:
+Среди минусов можно отметить:
 * Возможность использования данного формата исключительно в среде R.

@@ Строка 169: / Строка 169: @@
 {{r-code|code=<nowiki>> tmp.csv <- tempfile(fileext = "csv")
-> tmp.RData <- tempfile(fileext = "RData")
+> ttmp.Rds <- tempfile(fileext = "Rds")
-> microbenchmark(text = write.table(DF, file = tmp.csv, sep = ";", row.names = FALSE),
+> microbenchmark(text = write.csv(DF, tmp.csv, row.names = FALSE),
-+                binary = save(DF, file = tmp.RData))
++                binary = saveRDS(DF, tmp.Rds))
 Unit: seconds
     expr   min    lq median    uq   max neval
-    text 4.658 4.737  4.755 4.825 5.526   100
+    text 4.651 4.702  4.727 4.756 4.837   100
-  binary 2.202 2.203  2.205 2.210 2.248   100</nowiki>}}
+  binary 2.461 2.496  2.501 2.506 2.548   100</nowiki>}}
 Размеры полученных файлов в мегабайтах:
-{{r-code|code=<nowiki>> file.info(tmp.RData)$size / 1024^2
+{{r-code|code=<nowiki>> file.info(tmp.Rds)$size / 1024^2
-[1] 25
+[1] 24.5
 > file.info(tmp.csv)$size / 1024^2
 [1] 60.77</nowiki>}}
@@ Строка 186: / Строка 190: @@
 Теперь сравним скорость чтения данных с помощью функций <code>read.table()</code>, <code>fread()</code> и <code>load()</code>:
-{{r-code|code=<nowiki>> microbenchmark(defaults = read.table(tmp.csv, sep = ";", header = TRUE),
+{{r-code|code=<nowiki>> microbenchmark(defaults = read.csv(tmp.csv, header = TRUE),
-+                ompimize = read.table(tmp.csv, sep = ";", header = TRUE, nrows = N, comment.char = "",
++                ompimize = read.csv(tmp.csv, header = TRUE, nrows = N, comment.char = "",
 +                                      colClasses = c("integer", "integer", "factor", "numeric", "numeric", "numeric")),
 +                fread = fread(tmp.csv),
-+                load = load(tmp.RData))
++                readRDS = readRDS(tmp.Rds))
 Unit: milliseconds
       expr    min     lq median     uq    max neval
-  defaults 3940.6 4032.5 4067.2 4155.4 4903.4   100
+  defaults 4326.8 4708.3 6109.1 6977.2 8516.5   100
-  ompimize 2847.8 2923.3 2929.5 2941.6 3632.5   100
+  ompimize 2832.1 2851.0 2935.6 3175.3 3529.0   100
-     fread  533.1  534.6  535.1  536.3 1220.1   100
+     fread  521.1  524.5  534.2  537.4  927.6   100
-     load  177.1  177.2  177.2  177.6  268.6   100</nowiki>}}
+  readRDS  173.5  174.2  174.4  176.4  480.8   100</nowiki>}}
 Отметим, что запись и чтение производилась в файловую систему [http://ru.wikipedia.org/wiki/Tmpfs tmpfs], размещённую непосредственно в оперативной памяти.
@@ Строка 204: / Строка 208: @@
 * Скорость записи превышает скорость записи в текстовый формат;
 * Скорость чтения значительно превышает скорость чтения текстового формата;
-* Размер полученного файла значительного меньше текстового формата<ref>Начиная с версии 2.10 функция <code>read.table()</code> может также читать сжатые gz, xz, bzip файлы. Но даже при максимальной степени сжатия размер сжатого csv-файла едва приближается к размеру RData-файла. При этом скорость чтения сжатого csv-файла приблизтельно такая же как при чтении несжатого csv-файла.</ref>.
+* Размер полученного файла значительного меньше текстового формата<ref>Начиная с версии 2.10 функция <code>read.table()</code> может также читать сжатые gz, xz, bzip файлы. Но даже при максимальной степени сжатия размер сжатого csv-файла едва приближается к размеру RData-файла. При этом скорость чтения сжатого csv-файла приблизительно такая же как при чтении несжатого csv-файла.</ref>;
 Среди минусов модно отметить: