文章目录
一,自我介绍二,问答阶段三,代码阶段四,反问五,总结背景:今年金三银四,看着大家都在疯狂找实习offer,不甘落后的我也信心满满(毫无把握)的去字节面试(现在想想真是胆大,都还没学扎实)
一,自我介绍
二,问答阶段
shuffle阶段详细介绍回答环形缓冲区,分区排序,溢写磁盘,reduce再抽取归并等等计算单元和实际block存储单元不在一个机器节点上,这样会带来大量的IO操作,Hadoop如何解决
数据不用移动,移动计算逻辑,本地化策略实际中有哪几种数据倾斜
回答的是group by,order by,其实没有回答好,面试官还给我讲解,太好了null值特别多,且需要保留怎么处理
单独处理一个大表和一个小表之间关联,数据倾斜怎么解决
map join两个大表之间关联,其中一张表有3个key(已知这3个key)对应另一张表,分别一万条,十万条,百万条关联,其他的数据平均是1千条的关联,如何处理这种倾斜
这个没有思路,面试官说已经知道了哪些key倾斜,通过打散的形式将百万、十万、一万的拆分处理基于上面那个问题,就想临时将它跑过去,不想做特殊处理,怎么办
也没思路,面试官说将内存调大两句话去概述一下维度建模是什么
将数据抽象为事实和维度事实表理论上分哪几种啊
事务事实表和快照事实表
三,代码阶段
SQL题1
relation表结构
说明:都是自增长且唯一,微博的关注关系表
示例
求互相关注的关系对
不能用join ,union all ,子查询
可以用having,group by
selectcase when from_user_id>to_user_id then to_user_id else from_user_id end as from_user_id1,case when from_user_id>to_user_id then from_user_id else to_user_id end as to_user_id1fromrelationgroup by case when from_user_id>to_user_id then to_user_id else from_user_id end,case when from_user_id>to_user_id then from_user_id else to_user_id endhaving count(concat(from_user_id1,to_user_id1))=2
这个题没想出来,唉
SQL题2
bind表结构
求每个user_id最早绑定的bind_obj以及绑定时间
selectuser_id,split(min_date_bind_obj,"_")[1] bind_obj,split(min_date_bind_obj,"_")[0] datefrom(selectuser_id,min(concat(date,"_",bind_obj)) min_date_bind_objfrombindgroup by user_id)t1
SQL题2
登陆日志login表结构
示例
每个用户连续登陆最大天数,开始时间和结束时间
selectuser_id,min_login_date,max_login_date,max(login_days) max_login_daysfrom(selectuser_id,sub_time,max(login_date) max_login_date,min(login_date) min_login_date,count(login_date) login_daysfrom(selectuser_id,login_date,date_sub(login_date,rank) sub_timefrom(selectuser_id,login_date,(row_number() over(partition by user_id order by login_date))-1 rankfromlogin)t1)t2group by user_id,sub_time)t3group byuser_id,max_login_date,min_login_date
四,反问
部门对实习生要求
上海和北京区别
五,总结
通过这次面试直接发现了自己的薄弱点,基础不牢,地动山摇,诚不欺我也,也幸亏面试官一直在引导我,否则根本不可能通过一面,对于大数据组件了解不够,对于原理和实践也不够。
我是dyson不只是吹风机,若是对大数据-数据仓库技术感兴趣的可以加我沟通交流,一起进步。VX:daijun1211
ps:若文章侵权、触犯隐私请联系作者删除,谢谢~~
如果觉得《字节跳动【数据仓库工程师】日常实习面经-----一面》对你有帮助,请点赞、收藏,并留下你的观点哦!