replyr — сокращение от REmote PLYing of big data for R (удаленная обработка больших данных в R).
Почему стоит попробовать replyr? Потому что он позволяет применять стандартные рабочие подходы к удаленным данным (базы данных или Spark).
Можно работать так же, как и с локальным data.frame. replyr предоставляет такие возможности:
- Обобщение данных:
replyr_summary(). - Объединение таблиц:
replyr_union_all(). - Связывание таблиц по строкам:
replyr_bind_rows(). - Использование функций разделения, объединения, комбинирования (
dplyr::do()):replyr_split(),replyr::gapply(). - Аггрегирование/распределение:
replyr_moveValuesToRows()/replyr_moveValuesToColumns(). - Отслеживание промежуточных результатов.
- Контроллер объединений.
Скорее всего, вы всё это делаете с данными локально, поэтому такие возможности сделают работу со Spark и sparklyr гораздо легче.
replyr — продукт коллективного опыта использования R в прикладных решениях для многих клиентов, сбора обратной связи и исправления недостатков.
Примеры ниже.
Читать полностью »