失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > “云原生” “大数据” “云计算”的结合——阿里云的云原生大数据计算服务MaxCompute

“云原生” “大数据” “云计算”的结合——阿里云的云原生大数据计算服务MaxCompute

时间:2019-05-10 22:12:31

相关推荐

“云原生” “大数据” “云计算”的结合——阿里云的云原生大数据计算服务MaxCompute

前言:在讨论“云原生大数据计算服务”之前,我们先将这个名词进行拆分,分别讨论一下“云原生”、“大数据”、“计算服务”,从而理解为什么需要将它们进行结合。

1、“云原生”、“大数据”、“云计算”的结合

云原生: 云原生的关键技术“容器化”可以将服务封装成细颗粒度的容器,由于容器具有细颗粒度的特点,可以很方便地调度,从而可以实现Serverless。Serverless可以在需要提供计算服务时,再生成足够的数量容器的实例,容器可以保持在一个极低的数量甚至于无。云原生具有弹性负载、低成本、高效的特点。大数据: “传统”的大数据平台Hadoop、spark是一种分布式系统,它们的架构不符合云原生的架构,所以不支持云原生的特性。计算服务: “计算服务”说明MaxCompute是一种云计算的SaaS(Software as a Service),可以消除自建平台的资源扩展性和弹性的限制,同时可以减小用户运维的投入。云计算具有按需供给、按量付费的优势。

通过“云原生”、“大数据”、“云计算”等技术的结合,MaxCompute继承了弹性负载、低成本投入、高效计算的特性。

2、MaxCompute给我们带来的启示

从阿里云提供的MaxCompute官方说明文档上看,它只明确提到了集成的是Spark的计算引擎,但是没有说明它的系统架构。如果我们想设计一个类似的大数据计算平台,可以使用哪些开源技术进行替代。下面给出技术选型的参考:

云原生:kubernetes(提供容器化特性)、knative(提供Serverless特性)大数据:Spark(大数据计算)、HDFS(大数据存储)应用服务:Echarts(数据可视化)、Python机器学习三方库……

如果觉得《“云原生” “大数据” “云计算”的结合——阿里云的云原生大数据计算服务MaxCompute》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。