R语言如何并行处理[parallel package][向量化操作并行优化]

使用数据，长下面这样：

方法：使用parallel包，并行向量化处理，进一步提升原先向量化处理速度。

start <- Sys.time()experiment_step1 <- apply(dtc_small_modify, 1, decompose)end <- Sys.time()print(end-start)

原始运行时间：3.083114 分

使用parallel包后

library(parallel) #并行处理包cl.cores <- detectCores(logical = F) #计算电脑核心数cl <- makeCluster(cl.cores) # 初始化要使用的核心数start <- Sys.time()results <- parApply(cl=cl, dtc_small_modify, 1, decompose) # apply的并行版本stopCluster(cl) # 关闭并行模式end <- Sys.time()print(end-start)

并行后，运行时间：55.5877 秒，相较原先，速度提升了将近四倍！

Tips：上述是对向量化（Vectorization）apply类的并行处理。对于apply的并行处理，必须使用par开头的对应apply.列表如下：

parLapply(cl = NULL, X, fun, …, chunk.size = NULL)

parSapply(cl = NULL, X, FUN, …, simplify = TRUE, USE.NAMES = TRUE, chunk.size = NULL)

parApply(cl = NULL, X, MARGIN, FUN, …, chunk.size = NULL)

parRapply(cl = NULL, x, FUN, …, chunk.size = NULL)

parCapply(cl = NULL, x, FUN, …, chunk.size = NULL)

parLapplyLB(cl = NULL, X, fun, …, chunk.size = NULL)

parSapplyLB(cl = NULL, X, FUN, …, simplify = TRUE, USE.NAMES = TRUE, chunk.size = NULL)

使用apply类向量化操作后，常常产生大规模列表，可能需要将列表转成一个完整的大数据框。

res.df <- do.call(rbind,results) # 按行整合结果df <- as.data.frame(res.df) #转成数据框

Tips：上面的do.call函数简单说明

END

如果觉得《R语言如何并行处理[parallel package][向量化操作并行优化]》对你有帮助，请点赞、收藏，并留下你的观点哦！