rdd的特点

rdd的特点如下：

　　1、RDD是Spark提供的核心抽象，全称为ResillientDistributedDataset，即弹性分布式数据集。

　　2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以被并行操作。

　　3、RDD通常通过Hadoop上的文件，即HDFS文件或者Hive表，来进行创建；有时也可以通过应用程序中的集合来创建。

　　4、RDD最重要的特性就是，提供了容错性，可以自动从节点失败中恢复过来。即如果某个节点上的RDDpartition，因为节点故障，导致数据丢了，那么RDD会自动通过自己的数据来源重新计算该partition。这一切对使用者是透明的。

　　5、RDD的数据默认情况下存放在内存中的，但是在内存资源不足时，Spark会自动将RDD数据写入磁盘。

　　

生活可以是甜的，也可以是苦的，但不能是没味的；你可以胜利，也可以失败，但你不能屈服；如果你为了人家的一句话就大发脾气，或者是飘飘若仙，你的.心其实是在跟着别人的话走。把自己的快乐托付在别人随便的一句话上面，是很愚蠢的一回事；学校教给我们对任何人、任何事都要认真；可是生活却告诉我们对任何人，任何事都不能认真。

本站声明：本站部分文章来自网络，由用户上传分享，如若内容侵犯了您的合法权益，可联系我们进行处理。文章仅供大家学习与参考,不**本站立场。

 

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z