R:Оптимизация/Импорт данных
При обработке данных большого объёма имеет смысл импортировать только ту часть данных, которая непосредственно участвует в обработке. Это целесообразно как с точки зрения расхода оперативной памяти, так и скорости выполнения операций поиска, сортировки и фильтрации данных.
Импорт CSV
Функция read.table()
Наиболее распространённым форматом данных для импорта в R является формат CSV. Для импорта файлов CSV в R предусмотрена функция read.table() и функци-обёртка (wrapper) read.csv(). С точки зрения скорости работы, параметры функции read.table(), заданные по умолчанию, не являются оптимальными. Приведём несколько рекомендаций по использованию функции read.table():
- указать тип переменных, содержащихся в таблице с помощью аргумента
colClasses; - указать количество импортируемых строк с помощью аргумента
nrows; - отключить поиск комментариев с помощью аргумента
comment.char = "".
Создадим таблицу данных содержащую [math]10^{5}[/math] строк и 6 столбцов:
<syntaxhighlight lang="r">> N <- 10^5L # задаём количество наблюдений > DF <- data.frame(a = sample(1:10^3L, N, replace = TRUE), b = sample(1:10^3L, N, replace = TRUE), c = sample(LETTERS[1:10], N, replace = TRUE), e = rnorm(N), d = rnorm(N, 100, 15), f = runif(N, 0, 10^3L)) </syntaxhighlight>
Рассмотрим таблицу более подробно. Начало таблицы:
<syntaxhighlight lang="r"> head(DF) a b c e d f 1 719 104 C -1.8785 87.22 400.5 2 551 448 H 0.5608 101.14 208.4 3 865 236 I 0.5967 117.80 622.5 4 879 411 B -0.6442 120.39 979.9 5 66 229 E -0.5443 111.78 901.3 6 867 579 I -1.3212 104.93 178.3</syntaxhighlight>
Структура данных:
<syntaxhighlight lang="r">> str(DF) 'data.frame': 1000000 obs. of 6 variables: $ a: int 719 551 865 879 66 867 344 786 898 933 ... $ b: int 104 448 236 411 229 579 718 221 68 275 ... $ c: Factor w/ 10 levels "A","B","C","D",..: 3 8 9 2 5 9 3 6 10 7 ... $ e: num -1.878 0.561 0.597 -0.644 -0.544 ... $ d: num 87.2 101.1 117.8 120.4 111.8 ... $ f: num 400 208 623 980 901 ...</syntaxhighlight>
Типы переменных:
<syntaxhighlight lang="r">> sapply(DF, class) a b c e d f "integer" "integer" "factor" "numeric" "numeric" "numeric"</syntaxhighlight>
Размер объекта в оперативной памяти:
<syntaxhighlight lang="r">> print(object.size(DF), units = "auto") 34.3 Mb</syntaxhighlight>
Сохраним таблицу в csv-файл следующими командами:
<syntaxhighlight lang="r">> tmp.csv <- tempfile(fileext=".csv") # генерируем имя и путь для временного файла > write.table(DF, tmp.csv, sep = ";", row.names = FALSE, quote = FALSE)</syntaxhighlight>
Размер полученного файла составил:
<syntaxhighlight lang="r">> file.info(tmp.csv)$size # размер файла в байтах [1] 61724411 > file.info(tmp.csv)$size / 1024^2 # размер файла в мегабайтах [1] 58.86</syntaxhighlight>
Теперь мы можем сравнить производительность функции read.table() с параметрами по умолчанию и парамтерами, рекомендованными для увеличения производительности данной функции. Для этого нам понадобится пакет microbenchmark.
