distinct算子对源RDD进行去重后返回一个新的RDD

题目

distinct算子对源RDD进行去重后返回一个新的RDD

相似考题

1.RDD的union函数会将两个RDD元素合并成一个并且去处重复元素。()此题为判断题(对，错)。

2.以下哪个函数可以对RDD进行排序()。A.sortByB.intersectionC.filterD.distinct

3.SparkStreming中()函数可以通过对源DStream的每RDD应用RDD－to－RDD函数返回一个新的DStream,这可以用来在DStream做任意RDD操作。A.transB.reduceC.joinD.cogroup

4.RDD的flatMap操作是将函数应用于RDD之中的每一个元素,将返回的迭代器数组、列表等中的所有元素构成新的RDD。()此题为判断题(对，错)。

参考答案和解析
正确答案:正确
更多“distinct算子对源RDD进行去重后返回一个新的RDD”相关问题

  • 第1题：

    请问RDD的()操作把RDD所有元素转换成数组并返回到Driver端。

    A.zip

    B.join

    C.combineByKey

    D.collect


    正确答案：D

  • 第2题：

    PairRDD中groupBy(func)func返回key,传入的RDD的各个元素根据这个key进行分组。()

    此题为判断题(对，错)。


    正确答案：正确

  • 第3题：

    reduceByKey算子在一个（K，V）的RDD上调用，返回一个（K，V）的RDD，使用指定的reduce函数，将相同key的值聚合到一起


    正确答案:正确

  • 第4题：

    mapPartitions算子类似于map，但独立地在RDD的每一个分片上运行，因此在类型为T的RDD上运行时，func的函数类型必须是Iterator[T]=>Iterator[U]


    正确答案:正确

  • 第5题：

    interSection算子对源RDD和参数RDD求交集后返回一个新的RDD


    正确答案:正确

  • 第6题：

    union算子对源RDD和参数RDD求并集后返回一个新的RDD


    正确答案:正确

  • 第7题：

    以下关于rdd的说法中，正确的是哪些（）

    • A、rdd是由一系列partition够成的
    • B、rdd之间都是独立的，没有依赖
    • C、算子作用在partition上
    • D、每个rdd都会提供一批最优的计算位置

    正确答案:A,C,D

  • 第8题：

    spring中关于bean的说法正确的是（）

    • A、rdd是由一组partition够成的
    • B、rdd之间都是独立的，没有依赖
    • C、算子作用在partition上
    • D、每个rdd都会提供一批最优的计算位置

    正确答案:A,C,D

  • 第9题：

    sortByKey算子在一个（K，V）的RDD上调用，K必须实现Ordered接口，返回一个按照key进行排序的（K，V）的RDD


    正确答案:正确

  • 第10题：

    cogroup算子在类型为（K，V）和（K，W）的RDD上调用，返回一个（K，（Iterable，Iterable））类型的RDD


    正确答案:正确

  • 第11题：

    以下对list的操作distinct说法正确的vart=List（1，8，3，5，5）println（t.distinct）（）

    • A、distinct为去重操作，返回一个新的结果为List（1，8，3，5）
    • B、distinct为去重操作，返回的是在原基础的列表List（1，8，3，5）
    • C、List为可变列表，没有这个distinct方法返回，编译出现错误的是一个新的去重的新的可变列表List
    • D、List为可变列表，返回的是一个新的去重的新的可变列表List（1，8，3，5）

    正确答案:A

  • 第12题：

    ( 难度：中等)关于spark中RDD说法错误的是：
    A.宽依赖指的是多个子RDD的分区会依赖同一个父RDD的分区，关系是一对多
    B.窄依赖指的是每一个父RDD的分区最多被子RDD的一个分区使用，是一对一的
    C.宽依赖中会有shuffle的产生
    D.窄依赖中会有shuffle的产生

    答案:D

  • 第13题：

    以下哪个函数可以对RDD进行去重()。

    A.sortBy

    B.intersection

    C.filter

    D.distinct


    正确答案：D

  • 第14题：

    groupByKey算子在一个（K，V）的RDD上调用，返回一个（K，Iterator[V]）的RDD


    正确答案:正确

  • 第15题：

    以下属于spark启动后进程的是（）

    • A、rdd是由一系列的partition组成的
    • B、原子性
    • C、算子作用在partition上
    • D、每个rdd都会提供一批最优的计算位置

    正确答案:A,B

  • 第16题：

    count算子返回RDD的元素个数


    正确答案:正确

  • 第17题：

    map算子返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成


    正确答案:正确

  • 第18题：

    以下关于rdd的特性说法错误的是（）

    • A、rdd是仅仅由一组partition够成的
    • B、rdd之间都是独立的，没有依赖
    • C、算子作用在partition上
    • D、每个rdd都会提供一批最优的计算位置

    正确答案:A,B

  • 第19题：

    join算子在类型为（K，V）和（K，W）的RDD上调用，返回一个相同key对应的所有元素对在一起的（K，（V，W））的RDD


    正确答案:正确

  • 第20题：

    以下选项中是persist算子在源码中具有哪些参数的是（）

    • A、rdd是由一系列partition够成的
    • B、rdd之间都是独立的，没有依赖
    • C、算子作用在partition上
    • D、每个rdd都会提供一批最优的计算位置

    正确答案:A,B,C

  • 第21题：

    以下哪些是rdd的特性（）

    • A、cache算子是persist算子的一个子集
    • B、persist算子是cache算子的一个子集
    • C、persist算子包含cache算子
    • D、cache算子包含persist算子

    正确答案:A,C,D

  • 第22题：

    filter算子返回一个新的RDD，该RDD由经过函数计算后返回值为true的输入元素组成


    正确答案:正确

  • 第23题：

    判断题
    RDD可以从Hadoop兼容的文件系统生成，生成之后可以通过调用RDD的算子对RDD的数据进行部分更新。
    A

    对

    B

    错


    正确答案： 错
    解析： 暂无解析

相关内容