本文试图帮助各位读者用好各类“共享、开源”的学习工具以及学习渠道,躲过各类新手容易误入的“深坑”,以最小时间成本和经济成本,优质地完成目标技术的学习和掌握。
本文首先分析了时代背景,继而对目前大数据领域的人才梯队进行了划分,最后给出了大数据/人工智能人才从菜鸟到高手的进阶指南。
一、背景铺垫
“技术爆炸”以及“共享开源”是这个时代最有特色的标签,笔者认为二者是互为因果且紧密联系的,首先在“技术爆炸”的时代,对于走在技术发展最前沿的研究团队来说,“技术变现”的最好手段就是“共享开源”。反观互联网、移动互联发展成熟之前,信息是十分闭塞的,某项技术创新一旦出现就需要第一时间注册专利,技术需要靠政府来保护,而技术变现的唯一途径就是出卖专利或者组织生产形成产品。
现如今互联网及移动互联已经发展的十分成熟,新的信息会以极低的成本在极短的时间内传遍世界的每个角落,所以处在技术前沿的研究团队仅需要在第一时间将自己的工作成果上传到“arxiv”或者“github”之类中立的共享、开源网站,便会立即得到全球舆论的共同保护,这样的力度要远远强于某个国家的专利保护。
随后,只要新技术确有应用价值或者学术价值,那么各类资本巨头、科技大鳄以及相关的各类组织便会排着队上门送出丰厚的offer,对于前沿团队来说,技术变现的时间点要远远早于技术产品化的时间点。
其次,因为“技术爆炸”总有新的技术等待着前沿团队去研究发现,所以前沿团队保持领先的最好方法不是捂着现有成果不放,而是尽快“共享开源”实现变现,然后投入到新的研究工作中。
最后,“共享开源”也在很大程度上促进了“技术爆炸”,无论任何技术、科技的长足发展都需要一个庞大人才体系来支撑,反观历史上的各个时期,分享知识、培养人才的渠道主要是“学校”,这一渠道不但形式单一而且往往具备相当的门槛,会将相当一部分“有志青年”挡在门外。
而在如今这个时代,知识传播最快速的渠道是互联网,由于“共享开源”,世界上最优质的教育资源以及最先进的学术、技术理念忽然间没有了任何门槛,面向全部个体无差别开放,结果就是只要某一技术、科技领域有了很大的突破并具备广阔的应用前景(如大数据、人工智能),那么相应的人才梯队会在短时间内自动补齐跟上。
站在大数据学术前沿的研究团队只需要一往无前地开拓疆域,其后的人才梯队随即会自动开展“新技术论证”及“技术产品化”等“保障”工作,保障这一技术领域及相关行业的健康发展,来进一步促进资源向金字塔尖的前沿团队汇聚,支撑其开拓工作。
大家将上文提到的人才梯队划分为:菜鸟筑基、初入江湖、登堂入室以及华山论剑四个等级:
菜鸟筑基:本阶段的人才以大数据基础理论的学习为主,尚不能胜任真实的项目或者工作;
初入江湖:本阶段的人才已经具备了初步的大数据实践的能力,建议通过实践(做项目、打比赛等)来更好地带动学习;
登堂入室:本阶段的人才需具备大数据科研论文的调研、阅读和理解能力,能够成功地将论文中的算法进行复现;
华山论剑:本阶段的人才能够独立地开展大数据新技术的研究工作,具有发表原创性论文的能力。
下文将针对处于不同阶段的大数据人才,给出不同的修炼、升级建议。
二、菜鸟筑基
1. 最好的资源往往是公开的
读过背景铺垫后相信已经不需笔者再解释为什么最好的资源往往是公开的,在此直接给出一些获取高质量资源的渠道。首先推荐国外的三个网站,分别是“Coursera”、“Arxiv”以及“Github”。
Coursera是全球顶尖的在线学习网站,由业内极具学术造诣及分享精神的大咖创办。Coursera上的课程相对比较基础,应该是“小白”起飞最好的平台,在这里推荐吴恩达(Andrew Ng)开设的“机器学习”以及“深度学习”。对于国内学生来说最大的问题可能就是英语了,在这里需要明确一点,如果各位想要成为真正的高手,那么英语是永远绕不过去的坎,业内最新、最好的资料无一例外都是英文,即便是来自国内的顶尖高手在发论文时都不会选择用中文。
其实对于绝大多数人,英语并不应该被当作一门“学科”来学习,而应该被当作“工具”来用。具体的做法也没有捷径,就是看到不懂的单词立即查,单词不用刻意去记忆,下次遇到不会就再查一次,一切以快速弄懂句子含义为目标。
Arxiv以及Github是各位读者未来会特别常用的两个网站/工具,Arxiv上有最新最全的共享论文,论文中会对各类算法进行详尽的阐释,Github上有最新最好的开源代码,这些代码往往是对某种算法的实现,具体的使用方法网上有许多教程,在此不做展开。
读者可以简单的理解为Arxiv是修炼内功的地方,而Github是修炼外功的地方。只练内功不练外功是无法解决实际问题的,但只练外功不练内功又往往毫无威力,一定要内外兼修。最后再向大家介绍一个神奇的网站名叫“gitxiv”,会帮助各位找到论文与代码的对应关系。
2. 不要看书、不要看书、不要看书
一门学科怎么入门呢?菜鸟在面对这个问题时,最容易踩入的“深坑”就是找一本权威的书来从头学起,一旦踏入此坑,轻则荒废自己数周时间,重则对某一门学科彻底失望终生。首先好书本来就不多,往往可遇不可求。其次即便遇到好书,为了保证学术性,书中用语往往“严谨”但难懂,且会从学科的早期历史为读者打下“坚实基础”,讲到最近的技术手段时又戛然而止。最后,就算读者倾尽数月之功力,坚持读完了,笔者可以用血淋林的亲身实践告诉你,书中前半部分的内容一般人肯定会忘的。
当然也有特殊情况,如果各位已经确定了自己的研究方向,并且有高人/导师指点,给出了相应领域内必读好书的名录,这一类书还是值得一看的。不过在看的时候也要注意,不要纠结于某些细节问题,看不懂的地方可以先记下来,这类细节往往会在各位后面实践过程中的具体场景下恍然大悟。
正确的做法一句话就可以概括,好书是用来查的而不是用来啃的,什么时候来查呢?下文会逐步解答。
3. 找对好基友,连滚带爬往前走
现在已经不是一个单打独斗,凭着跌落断崖后找到一本秘籍闭关几年就能横扫天下的时代了,无论是像Hinton(推翻了BP算法的BP算法之父)这样的泰斗,还是像何凯明(发best paper像一般人发paper一样容易的神奇学霸)这样的新秀,都处在各自非常靠谱的团队中与小伙伴们共同探索。好基友不需要多,有一两个真正靠谱的就已经足够,至于队友的重要性后文会慢慢阐释。
菜鸟筑基这部分最后要给出的建议就是,千万不要在这个阶段停留太久,不要等“准备好了”再去着手实践,因为这里的“准备好了”往往包含菜鸟的不自信,不去进一步提升自己是永远准备不“好”的。一般情况下,想做“计算机视觉”或者“自然语言处理”等偏AI方向的同学在完成吴恩达的《深度学习》课程后,想做“数据挖掘”的同学在完成吴恩达的《机器学习》课程后,就可以选择相应的实践项目准备进入下一阶段了。
那么大家该选择什么实践手段呢?最佳的情况是有大神带队做真实项目,但是这样的机会往往可遇而不可求,在此不展开讨论。普罗大众型的办法是参加一个大数据比赛项目,现在国内的“阿里天池”以及国外的“Kaggle”都是开放式的大数据比赛平台,平台上会有各种组织发布的各类真实项目供大家实践、比赛。读到这里各位心里可能还存有很大的疑问:“就算学会了基本课程,在没有人带的情况下能上手实践吗?”,下文将陆续回答如何“连滚带爬”的进行实践。
三、初入江湖
1. 找到一个最高的baseline
这里的“baseline”可以理解为前人已经做出成果,当自己恰好需要去做相同工作时的参照。对于上文提到的情况,如果有大神带队进行实践的话,那么带队大神此前的实践经验就成为了全体小队成员的“baseline”。那对于没有“大神”资源的广大读者是否有更通用的解决办法呢?答案是肯定的。如果读者目前对于一类问题无从下手,例如刚刚学完“深度学习”的课程,但是不知道如何去做“自然语言处理”类的项目,最好的办法是利用好国内的“万方”以及“知网”这样的论文查询平台,去查询相关领域国内普通高校的学位论文,这样的论文绝大部分都是中文并且会在论文中介绍大量的基础背景知识,正好满足了大家的需求。
如果是对某一技术方的特定知识点不明所以,例如在做“自然语言处理”方向的项目,但却不太了解“LSTM”,则可以利用好国内的诸如“知乎”、“简书”以及“CSDN”这类的知识分享网站,只要不是太新的理论,都可以找到相应的博文或者解答。使用上述两类渠道的共同技巧是,多搜几篇文章对比着看。同一个概念或者技术,一篇文章很难全面描述清楚,并且由于文章作者不同,解释问题的出发点也不尽相同,所以如果各位遇到看不懂某篇文章的情况时,不用急躁,接着看下一篇文章就好。另外,前文提到的“好书”在这里就可以用来查了,读者会发现原来想记都记不住的知识点,只要“查”完并且“用”过,那么一般想忘都忘不掉。
这里对baseline所谓“高”的定义是,越接近学术前沿,实践效果越好,就认为越“高”。一般情况下,可参照的成果越“高”,中文文献就越少。
文章写到这里不知是否回答了上一章节提出的疑问,上一章节提到的“连滚带爬”指的就是大家在选定某一实践方向后,根据实践的最终成果再回过头来对大家的相关知识进行“查漏补缺”的过程。这样的学习过程,目标性更强,参与者完全有针对性的去学习,学到的东西可以立即实践,从而避免“学过就忘”的尴尬。
2. 合理追求quick win
笔者曾经仔细地研究过为什么女生逛街会“不知疲倦”,得到的答案是,女生每逛一家店铺,看看店铺中的鞋子/衣服/包包就能得到一定的兴奋点,在得到一个兴奋点后就想着直奔下一个兴奋点。类比到大家做项目/打比赛的过程中,大家需要为自己的团队设置这样的“兴奋点”,让团队成员都能够享受到“quick win”的快感,来支持大家继续推进。
而取得“quick win”的关键是要将手中的工作/任务合理划分成若干“稍微努力一下就能达到”的子任务,这中间的细节过于复杂,在此就不展开讨论。一个teamleader需要做的最重要的事,就是帮助团队合理划分任务而不断取得“quick win”,一个人只要具备这样的能力,无论技术高低都能够团结一批志同道合的小伙伴。
3. 你最大的动力往往来自DDL(Deadline)
有那么一句成功学的佳句是“每天叫醒偶的不是闹钟而是梦想”,这句话听起来很励志,但对于90%的人来说就是胡扯,大家回首望去发现每天叫醒大家的往往是“上班迟到后被扣的工资”或者是“晚到实验室后老板的杀气”,这就是现实,听起来很残酷但是大家完全可以利用好它。具体到大家的升级以及项目推进中,能让大家不断向前的最大动力往往是“在DDL前无法完成任务后小伙伴们的鄙视”以及“完成quick win后带来的成就感”。
做好这一点除了上一小节提到的要合理划分任务之外,最重要的就是有一个靠谱的teamleader不断的进行推进(push),每到既定节点后雷打不动的推进。最后要啰嗦一句,根据马斯洛需求层次理论,梦想应该属于模型顶层的“自偶实现需求”,如果一个人可以被“梦想”叫醒,那么这个人的其他需求应该已经被很好的满足了,所以偶在这里真诚的祝福大家终有一天可以在早晨被自己的“梦想”叫醒。
四、登堂入室及华山论剑
如果有一天各位发现自己在工作实践中,需要不断地关注最前沿的论文,并且需要不断地尝试复现论文中的算法来用于实践,那么要恭喜各位已经跨入了大数据/人工智能领域高手的行列了。登堂入室与华山论剑两个阶段的区分不是特别明显,因为论文读得多了,总会有些自己的新想法,这些想法经过实验验证后就可以去发论文。反过来,即便你发表过前沿论文也还是需要继续跟进其他论文。
1. 朋友圈决定了你人生的高度
在这一小节的开始,笔者首先要端出一碗毒鸡汤,即便是在这个“开源、共享”的时代,学术/技术资源的分布还是极度不平均的,并且这样的不平均会越来越明显。究其原因有两个,第一个原因可以援引在清华17级研究生开学典礼上某校领导的一句话来阐释—-“最有效果的研究手段就是与相当水平的同行当面交流”,翻译一下就是高手越多的地方就越容易产生高手,这会导致高端人才分布的越发不平均。
另外,做学术前沿研究的经济成本是很高的,国内某顶尖AI公司全球研发工作一个月的电费开销就能达到千万级别。即使是普通的AI项目,服务器、GPU的成本也会导致普通的研究人员根本无法找到充足的经费来支持自己的研究。
喝完毒鸡汤也要来一些正能量,虽然资源分布不平均了,但人才通道仍然是开放的,只不过门槛越来越高而已,偶身边就有毕业四五年后,也能够一边工作一边复习考上清华研究生,最终接触到前沿科学研究的例子。数据派就是一个汇聚了清华顶尖大数据/人工智能资源的开放组织,有心的小伙伴可以点击“阅读原文”加入组织~(主编现在可以把刀放下了,这波广告打的笔者自己也有些猝不及防)
2. 选择永远比努力更重要
这个标题听起来又像是一碗“毒鸡汤”,但这就是血淋林的生活带给笔者的经验。笔者见过某个算法团队自己闷头搞了几个月研究毫无进展,经过大神点播后一个月内完工的情况。
下面举一个更戏剧性的例子,自然语言处理曾经在20世纪70年代左右有过界限分明的两个学派之间的激烈交锋,一拨是希望通过语法规则来做语音识别的“规则派”,另一拨是基于统计方法的“统计派”,这两拨从事相同领域研究的学者竟然分别召开自己的学术会议,即便出席同一大会竟然也要分场开小会。
到了20世纪90年代“统计派”的识别率已经达到了90%以上,而“规则派”仅有不到70%,胜负已分(吴军老师的《数学之美》一书中对这段历史进行了详尽有趣的阐述)。但试问如果有一名博士生在20世纪70年代将自己学术方向定为“规则派”,到了20世纪90年代的时候他该做何感想?
到了“登堂入室”这个阶段之后,做好选择显得尤为重要,这样的选择不仅仅限于学术方向,也涵盖例如“做学术”还是“做产业”等等更广义的范围。一个可以参考的经验是,如果人生的重大决策失误,基本要用五年来挽回,大家要考虑清楚自己有几个这样的五年。
3. 唯一的限制往往是自己的妥协
看看本小节的标题,读者可能会觉得本文这下要以“毒鸡汤”收尾了。但其实在这里“妥协”并不是一个贬义词,笔者认为它起码是个中性词。从某种意义上讲,每个人最终都会达到某种“妥协”,而不妥协就意味着背后存在与现状不匹配的野心或者欲望,什么时候野心和欲望跟现实匹配了,也就一定会“妥协”。这就是华山论剑的秘密,每个能站在顶峰的人都必定抱着某种超乎常人的野心或者欲望,当然这里的野心或者欲望是广义的,也同样指对于学术的追求。
最后,“毒鸡汤”不负众望的要出现了,根据笔者的观察,每个人的“妥协点”并不是自己设定的,一般情况下自己也无法影响,所以每个人最终要走到的高度往往是确定的。
但从笔者的角度看来,并不觉得站在华山之巅就一定是好的,真正的“好”是能够坦然接受自己的“妥协点”,并且能够在自己的“妥协点”安安心心、高高兴兴的工作和生活下去,这才是最具智慧的选择。
在阿里云上买了应用镜像Wordpress?
当然要的,而且还需要在阿里云备案中心提交工信部ICP备案,否则你网站是无法开通在大陆服务器上的。
域名购买建议就上 会自动跳转阿里云域名购买中心,选择一个自己觉得不错的.com/.net域名都可以,然后购买一款阿里云虚拟主机,比如弹性托管 /hosting/elastic 考虑到学生经济承受力有限,就选择第一款最便宜的就够了:
不过有个问题,一般镜像都是需要安装在ECS上的,偶提供的这个方法适合于你懂一点WordPress的安装知识,需要你上WordPress官网下载最新版WordPress:/latest.zip 解压缩以后通过FTP上传到空间,然后配置wp-config.php,对接mysql数据库,然后通过网址访问安装WordPress即可。
普通网站的建设费用和维护费用是多少?
建网站的大致流程如下:
先注册域名,域名就像你的家庭地址一样,用户要浏览你的网站,只要在浏览器里输入相应域名就能直达网站。选择域名的三大原则是方便输入、容易记住、有实际意义,一般是以品牌或网站名称的拼音作为域名比较好,现在的域名后缀五花八门,建议还是以com、cn、net为宜。有心仪的域名越早注册好,避免被别人抢注。域名按年收费,一般是100元左右一年,价格每年可能调整。
然后就是网站建设了,现在一般的网站建设都是模板化了,专业名称叫CMS建站系统。这种建站方式优点是建站快、价格美丽,只需要添加数据,付点使用费就行了。缺点是风格千篇一律,功能固化,网上可能有很多网站跟你的一模一样,只是网站名称不同罢了。想要有自己的风格或功能调整,就需要另外付定制费了。另外一种建站方式是自主开发,适用于大型网站。从建站需求到风格设计,再到功能开发,都是由建站团队量身定制。优点是风格、功能随心所欲,只有想不到,没有做不到。缺点是开发成本高,周期长,价格贵。如果是模板建站一般从几百元到几千元,如果是自主开发,几万块是少不了的,具体要看网站需求跟开发周期了。
再就是购买服务器或空间了,中小型网站一般数据不太多,租用空间合适,大型网站要购买服务器并托管。购买成功后,要进行网站备案,大概需要两周左右,通过备案后就可以上传网站并绑定事先注册好的域名就行了。空间是按年收费,一般是几百到几千;服务器要花钱购买,一般是几万块,还要每年交托管费。
综合来说,模板建站第一年的费用在3000元左右,以后每年只交空间费和域名费,基本在1000元左右。大型网站开发费用在几万和几十万之间(甚至更高),同样每年交服务器托管费和域名费。另外,内容维护如果是找人或外包,需另行付费,基本就是人工工资了;如果是自已维护就没有这方面的开支了。
希望偶的回答能让你满意。
毕业后有哪些工作岗位?
本人从事大数据以及相关行业,从目前大数据实际运用的角度来说一下这个问题。以下是偶整理的近年来大数据相关好岗位以及岗位职责,技能需求需求,供参考
一,大数据开发
从事大数据开发工程师
岗位职责
1、利用Hadoop、Spark等技术在分布式系统上对海量历史数据进行预处理,挖掘用户信
息;
2、参与大数据基础平台的搭建和维护;
3、负责广告投放项目管理平台研发;
4、负责大数据计算处理平台项目研发。
技术要求
1、熟练掌握c++/Java开发,具备扎实的程序设计基本功和学习能力
2、熟悉 Linux,熟悉 shell/perl/python/php 等脚本语言的一种或多种。
3、熟悉传统数据库MySQL。
4、熟悉MapReduce、Storm、Spark、Spark Streaming等大数据开发工具,对源代码
有一定研究者优先;
5、熟悉linux环境,熟悉shell等脚本编程;
6、有大规模数据处理和日志处理经验的优先。
7、有较强的人际沟通、协调能力,具备与技术人员沟通数据需求的能力;
8、具备良好的逻辑分析能力和解决实际问题的能力。
二,大数据运维
从事大数据运维工程师
岗位职责
1、负责大数据平台整体软硬件的日常运维;
2、分析平台运行状态,进行性能优化;
3、负责大数据平台运行故障的分析、定位和解决;
4、负责新技术、新组件的技术探索、测试和应用;
5、支撑运维自动化系统的设计和开发。
岗位要求:
1、 熟悉hadoop生态圈主要开源技术组件及其工作原理,能阅读相关源代码,能顺利阅读英文文档;
2、熟悉软硬件设备、网络原理,有丰富的大数据平台部署、性能优化和运维经验;
3、熟悉Linux,熟悉cacti、ganglia、zabbix等运维软件,熟悉SaltStack、Ansible等自动化软件,有python、java、shell编程基础;
4、工作认真负责,有较强的学习能力、动手能力和分析解决问题的能力;
补充:
熟悉
Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等开源项目,有运维优化经验者优先;
熟悉Linux操作系统的配置、管理及优化;
熟悉Python、Linux、shell,有ETL维护经验、电信行业大数据维护经验者优先
三,数据挖掘
从事数据挖掘工程师
岗位职责
1、对海量数据进行分析,建立数据挖掘算法,利用大数据对产品进行研究和建模,为用户提供评估和预测等功能;
2、参与/负责用户画像、推荐等系统搭建,参与核心产品推荐场景算法的研发和优化;
3、采用先进的数据挖掘和机器学习算法,为公司业务部门提供决策依据;
4、搭建数据挖掘系统和机器学习系统,实现智能平台的自动化流程。
1、具备强悍的编码能力,有扎实的数据结构和算法功底;
2、优秀的学习能力、独立分析问题和解决问题能力;
3、熟悉Linux开发环境,熟悉Python,PHP,Java等语言两种以上;
4、熟悉基本的数据分析方法、数据挖掘、机器学习算法;
5、熟悉SPSS/Modeler/R/Python等至少一种数据挖掘工具;
6、熟悉Hadoop/Spark,有Elasticsearch,Solr,Kafka,Flume等开源项目使用经验
7、有画像、广告、推荐,搜索等算法方向实际工作经验优先
四,BI(商务智能)工程师— (包括数据库开发、BI开发工程师、ETL开发、报表开发、BI咨询顾问)
岗位职责
1、独立负责业务数据收集整理,构建经营分析和报表系统;
2、通过专题分析,对业务问题进行深入分析,为业务的策略、产品优化提供数据支持;
3、 以数据驱动业务为目标,进行数仓研发工作但不局限于数仓;
4、 参与数据仓库ETL设计、开发和优化工作,保证数据准确、稳定、组织合理
岗位要求
1、掌握Oracle、MySQL、ODPS等数据库开发技能,熟练应用开发、数据库原理和常用性能优化和扩展技术;
2、掌握数据仓库建设、熟悉大数据平台操作,离线计算Hive/MR研发、实时计算spark streaming/storm;
3、熟悉ETL逻辑、OLAP设计和数据分析技术(聚类分析、回归分析、决策树等)、数据挖掘相关算法;
4、熟悉Linux系统环境开发,掌握shell、perl、python等至少一种开发语言。
6. 有较强的逻辑/概率思维能力,善于分析、归纳、描述、沟通、和解决问题。
补充(根据企业工具区别)
1、全面熟知数据仓库设计理念、设计方法,熟练掌握Informatica、Kettle、Automation等至少一种ETL工具;
2、熟练掌握SAP BO、MSTR、SmartBI、Cognos、QV等至少一种BI工具;
3、熟悉数据仓库,掌握BI相关工具,如ETL工具(SSIS, SAP DataService)、OLAP工具(SSAS)和前端展示工具(BO CR/Webi)
五,数据可视化
从事可视化工程师
岗位职责
1、负责大数据平台业务逻辑和数据可视化功能,数据可视化组件研发;
2、搭建基础的可视化分析平台,设计数据分析应用的架构,实现实时数据调用与展示;
3、数据相关性分析与根因分析;
4、支持客户需求分析和数据分析。
岗位要求
1、熟练Web前端技术(SVG/HTML5/JavaScriptdeJS等);
2、熟练D3、Echarts、Three.js、WebGL等开源数据可视化库和技术;
3、有Web服务器端编程语言(如Node/Java)开发经验优先;
4、有blender(以及blender game engine)或者unity 3d或unreal engine等开发经验优先
一些BI岗位的详细介绍
BI工程师(开发、咨询、实施)
BI开发工程师
岗位职责
1、执行在框架设计的基础上完成具体组件的概要设计、详细设计编写;
2、完成BI系统具体组件的代码编写、单元测试;
3、参与BI系统报表平台技术架构设计,数据库结构设计;
4、参与BI系统数据仓库的构架、建模和实现。
5、负责向需求方提供数据及业务分析服务,负责整体风控模型的优化,理解并掌握BI报表需求;
岗位要求
1、有数据仓库或统计分析类项目开发经验或较深的理论知识;
2、熟悉Cognos、Webfocus、ireport等数据分析报表开发工具和技术;
3、熟悉Linux/Unix服务器,并了解一些基本的操作命令;
4、至少熟悉Informix/Oracle/SQL Server等数据库中的一种,并在此基础上有过ETL程序或存储过程的开发。
5、能够熟练应用JSP/Servlet/JavaScript等WEB开发技术,熟悉Spring,Struts2和iBATIS等主流的开发框架,熟悉BIRT、JasperReports等开源报表工具;
6、熟悉Linux Shell、Perl等脚本语言,熟悉ORACLE数据库,PL/SQL编程;
7、熟悉BI系统技术框架,熟悉数据采集流程,对数据仓库有比较深入的了解;
8、熟悉行业经营分析系统(BI)架构及实现者优先。
BI咨询顾问
岗位职责
1、分析客户的数据要求;
2、负责Qlikview/Tableau BI项目的实施和报表开发;
3、负责校验数据,保障数据的准确;
4、 负责客户需求收集、分析,梳理业务流程解决方案,项目的拓展支撑;
5、撰写需求规格书及各类相关文档;
6、良好的团队合作、协调、问题处理能力;
岗位要求
1、对BI有系统的认知;
2、熟练使用Qlikview,Tableau等前端工具;
3、熟悉MS SQL Server,熟练运用SQL语言;
4、前端报表偏业务方向需熟悉主流报表工具或新兴前端报表工具Qlikview、Tableau等优先考虑;
6、后台数据处理需熟悉掌握至少一种后台ETL开发工具,例:Informatica powercenter、Datastage、OWB、微软DTS、Kettle等;
7、后台数据建模需熟练掌握至少一种数据挖掘算法和建模方法,了解建模;
8、良好的英文能力,能快速阅读和撰写英文技术文档者优先。
BI实施工程师
岗位职责
1、负责BI项目的需求调研与分析工作;
2、负责BI项目的方案设计、实施或项目管理工作;
3、参与公司BI产品和项目的实施开发工作。
岗位要求
1、良好的数据库基础,精通SQL,深入掌握Oracle或其他数据库,能够进行数据库调优;
3、熟悉ORACLE、MYSQL、SQLSERVER等主流数据库的安装及配置、熟悉SQL语句编写及ETL、BI实施工作;
3、熟悉LINUX操作系统安装及常用命令;
4、熟悉BI基础理论知识,使用过BI相关产品;
5、参与BI相关项目的实施工作;
6、熟悉TOMCAT、JDK等安装及参数配置;
7、具备较强的语言表达能力,能与客户顺畅沟通或产品介绍;
8、具备较强的学习与动手能力,能够适应全国范围内出差;
9、熟悉hadoop大数据及自动化运维工具经验者的待遇从优。
ETL工程师
岗位要求:
具备一般的JAVA应用开发能力;
熟悉Oracle下的分区,表空间, SQL性能调优等操作;
熟悉常用的ETL工具,如:kettle, informatica等;
熟悉常用的报表工具,如:Cognos等。
岗位职责:
负责行业生产交易系统数据仓库开发,存储过程编写,数据模型研究,大数据研究
六,数据分析工程师
岗位职责:
1、进行业务和企业经营行为分析,梳理业务规律和业务需求;
2、将业务需求转化为数据需求,发现数据应用场景,梳理指标体系;
3、使用合适的数据分析工具进行数据分析和模型设计;
4、提出基于数据的结果和分析建议,根据分析结果进行行业研究、评估和预测;
5、编写数据分析报告;
6、完成领导交办的其他工作。
岗位要求
1、本科以上学历,计算机、数学、统计学等相关专业;
2、深刻理解大数据分析原理及相关应用;
3、熟练掌握主流数据库技术;
4、精通数据分析、挖掘工具与方法,如SAS、R、Python、EXCEL等;
5、敏锐的数据观察和分析能力,及时发现和分析其中隐含的变化和问题并给出建议;
6、良好的沟通能力和团队精神,较强的学习能力,能承担一定的工作压力;
互联网是一个快速发展的行业,如果你刚上大学,可能四年出来就会有变化!所以还是注意相关咨询!希望能够帮到你,欢迎关注,讨论
服务器云服务器和虚拟主机有什么区别?
简单的说一下,这3个在某种程度上应该是包容的关系,如下图所示。一般来说1个物理服务器如果放在公有云上,那么可以叫做云服务器,而公有云上的云服务器可以通过虚拟化技术分成多个虚拟主机,以方便不同的客户租用。
服务器的定义一般是指物理服务器或者现在说的裸金属服务器,大家看到的就是一个大大的服务器的实体。在过去没有云服务器和虚拟机的的时候,网站或者企业需要提供什么服务,必须要购买裸金属服务器,然后把服务安装在服务器上。
所以,在很早的过去,部署网络服务,必须要购买实体服务器。
这种方式十分的厚重,价格又昂贵,以至于中小企业或者个人是很难购买部署的。这个时候大的公有云供应商,例如亚马逊和阿里巴巴,他们把物理服务器统一的部署在自己的数据中心,然后企业客户或者个人可以向他们租用服务,这种方式大家就叫云服务器。
所以云服务器是基于云(数据中心)的,可能是公有云(基于互联网)也可能是私有云(基于企业私网)。云只是一个形象的表述。那么公有云或者私有云的服务器,就是云服务器。
云服务器的优势就是对于用户来说选择更灵活,更具有弹性。例如一个客户实际上初期只要租用低性能的服务器,业务量上来后可以弹性扩容成高性能的服务器,这样比客户直接购买一台服务器成本要低的多。而且云服务器由公有云厂家统一维护,对客户来说也更简单
虚拟主机则是通过虚拟化技术,在物理服务器上虚拟出来的多个逻辑的服务器。比如假设一个物理服务是64核的,而用户可能只需要4核就足够了,这个时候可以通过虚拟化技术,将一个物理服务器虚拟出一个4核的逻辑服务器给用户使用
以上就是关于阿里云 php教程以及该如何学习大数据知识的相关回答,有更多疑问可以加微。
如果觉得《阿里云 php教程 该如何学习大数据知识 – PHP基础 – 前端 m.555lu.co wap.php》对你有帮助,请点赞、收藏,并留下你的观点哦!