失眠网 > 大数据开发工程师面试题（20.04.14）

大数据开发工程师面试题（20.04.14）

时间：2023-02-18 07:06:26

概述

本篇博客将收集总结一些，本博主面试大数据开发工程师岗位遇到的面试题，虽然不一定高频，但是也算经验之谈，希望对各位有所帮助。

一

`1.什么是Spark RDD`

RDD：弹性分布式数据集 (Resilient Distributed DataSet)。

Spark 中最基本的数据抽象是 RDD。

创建RDD方法两种： 1.Driver并行化现有的Scala集合 2.引用外部存储系统

`2.Spark算子有哪些`

转换算子：map、filter、flatMap、mapPartition、mapPartitionwithIndex、coalesce、repartition、union、join、 cogroup、reduceByKey、aggregateByKey(部分即可)

动作算子：reduce、collect 、first、take 、aggregate、countByKey、foreach（部分即可）

所有的转换算子都是lazy执行的，只有在动作算子触发的时候任务才会被提交，这个时候转换算子才会真正去执行。转换算子的返回值是RDD、而动作算子的返回值可以是Unit、Array，一个任务中只能有一个动作算子，但是允许有多个转换算子。

`3.Spark 有几种部署方式`

①.Local: 运行在一台机器上，通常是练手或者测试环境。

②.Standalone:构建一个基于Mster+Slaves的资源调度集群，Spark任务提交给Master运行。是Spark自身的一个调度系统。

③.Yarn: Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。

④.Mesos：国内大环境比较少用。

`4.什么是kafka 架构`

kafka: 开源的流处理平台，该平台提供了消息的订阅与发布的消息队列，一般用作系统间解耦、异步通信、削峰填谷等作用。

`5.hive出现reduce端OOM，怎么检查问题`

这种情况一般是数据倾斜造成的,这时去查找聚合算子，修改该算子。

数据倾斜只会发生在shuffle过程中。这里给大家罗列一些常用的并且可能会触发shuffle操作的算子：distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartition等。出现数据倾斜时，可能就是你的代码中使用了这些算子中的某一个所导致的。