1. 在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?
笔者在一家成立于1885年的全球性跨国银行,用大数据处理的业务包括:分析出洗黑钱的用户,根据用户的存款和消费数据给用户信用评分,贷款的时候给出相应额度。
大数据实现的价值:
全球性洗黑钱会使市场失去公平,比如贩毒、恐怖组织把来历不明的钱洗白。大数据能分析出这些行为,阻止危险行为的进行。给用户信用评级,能让给银行提供风险晴雨表,让信用好的用户更快得到贷款。在金融借贷中,如何识别出高风险用户,要求其提供更多抵押、支付更高利息、调整更低的额度,甚至拒绝贷款,从而降低金融机构的风险。事实上,金融行业已经沉淀了大量的历史数据,利用这些数据进行计算,可以得到用户特征和风险指数的曲线(即风控模型)。当新用户申请贷款的时候,将该用户特征带入曲线进行计算,就可以得到该用户的风险指数,进而自动给出该用户的贷款策略。
2. 分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?
INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pvJOIN user uON (pv.userid = u.userid);
Page_view 表和 user 表结构与数据示例如下:
MapReduce 的输出流程图如下:
第一张表
Map 输入:
key是偏移量,不重要。
value 就是一行记录。key 是 userId,value是<来源于哪张表id,pageId>
Map 输出:
输出结果:key
是userId,value
是<来源于哪张表id, pageId>
第二张表
Map 输出:
key是偏移量,不重要。
value 就是一行记录。key 是 userId,<user表的id,age>
Map 输出:
输出结果:key
是userId,value
是<来源于哪张表id, age>
Shuffle Sort:相同的key放在一起。
Reduce 输入:
每张表相同的key要进行join操作,最后把结果输出。
key就是Map输出的<来源于哪张表id, pageId>, <来源于哪张表id, age> , values就是userId组成的list。
Reduce 输出:
key是Map输出的<来源于哪张表id, pageId>, <来源于哪张表id, age>,result就是pageId访问的和。
如果觉得《极客大学架构师训练营 大数据 GFS MapReduce BigTable Hadoop HDFS Yarn HiveQL 第12次作业》对你有帮助,请点赞、收藏,并留下你的观点哦!