R语言高性能编程，三

一、使用并行计算加倍提升性能

1、数据并行 VS 任务并行

实现数据并行的算法

scoket 并行性

注意并行计算时间并不与执行任务的计算资源数目成正比(计算机核心)，amdahl定律：并行代码的速度受限于串行执行的部分，包括并行性带来的开销

在非windows系统中，parallel支持分叉集群(交叉法)，新的work进程会从父R进程分叉出来，并拷贝数据。好处是不需要显示的创建和销毁集群

实现任务并行的算法

2、计算机集群并行执行多个任务

只有基于socket的集群可以做到这一点，因为进程不可能被分叉到另外一台机器。由于计算机集群必须通过网络通信，所以网络的带宽和延迟对整个集群的性能

非常重要。所以在多个物理机的情况下 ，应该把所有节点部署在同一个网段内更合理

3、共享内存并行性 VS 分布式内存并行性

分布式内存并行性中 每个进程都有自己堵路的内存空间，换句话说，每个进程都要有自己的数据拷贝，即使这些进程处理的是相同的数据。

这样的话在单个计算机的多个进程运行并行代码，这会导致极大的冗余。交叉集群没这个问题，socker集群，创建了新的R实例，所以每个worker都有数据拷贝。

共享内存并行性 所有的worker进程共享单份数据拷贝。虽然parallel 包不支持共享内存并行性，但是可以通过调整数据结构来支持，bigmemory中的big.matrix对象的cran包

一定要注意避免竞争条件，即worker进程读写相同内存位置，由于协调不当导致冲突和程序错误。

4、优化并行的可能

主要障碍就是master和worker之间的数据传递和拷贝。

1、就是使用共享内存并行性

2、数据压缩

3、将数据保存在每个worker节点，只保留中间节点的数据通信 类似于MR

二、将数据处理交给数据库系统

一个很大的数据集存储在数据库中，将所有的数据抽取到R里面是不现实的

1、将数据抽取到R VS 在数据库中处理数据

从关系型数据库中使用sql进行数据预处理

dplyr 和 pivotalR 可以将R表达式转化为SQL

2、在数据库中运行统计和机器学习算法

madlib 想postgresql 添加了高级统计功能，不支持windows，只需一个简单的数据库规则，即可在数据库端计算，将计算结果加载到windows

3、使用列式数据库提升性能

这种方式目前并不太适合我们的业务

4、使用数据库阵列最大化科学计算的性能

针对多维模型是运用

三、展开联想，R和大数据

HDFS 存储数据，按块存储（128M），默认3个副本，保证了高度可用性

MR 数据并行的方式处理hdfs上的数据，和第八点很像，但是MR的优势是数据已经存储在worker节点上而不需要每次运行任务的时候分发

但是，每次读取需要从硬盘获取数据，然后在写回磁盘。所以完成计算时间超过了读写数据的开销以及运行hadoop集群的开销。

具体不在细说，因为大数据的生态体系已经很大了，不是一个人一两天可以说清楚的。

使用Rhadoop分析HDFS数据

使用rmr2函数读取文件make.input.format(),还可以读取原生文本，json，hadoop序列化文件，hbase我，hive，pig。

除了rhdfs和rmr2外，还有

plyrmr：mr上的plyr功能

rhbase：提供处理rhbase数据的函数

ravro：读写avro格式的数据

到这里已经全部介绍完了高性能编程的核心知识。

关于海量数据，在R无论如何优化也R满足不了的情况，比如针对我们的业务 高考单卷种500W 考生 单科目 * 100个小题 5亿离线数据量 ，再加上历次共有几十亿数据量。

这时个人觉得再用R优化，增加硬件性能也是指标不治本的情况，上大数据吧，我们应该形成自己的数据仓库，存放历史数据，形成产品，这样才能做大，做强！

PS：当时选用R就是为了解决像DIF、信度、测量标准误差、相关系数等方面的算法问题，抛弃R，如何解决算法问题呢。在算法不能拆分的情况下，如何分布式计算相关系数？

sparkR？ 还有别的什么办法吗？