失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > php mvc框架 教程 大数据主要学习哪些内容 – PHP基础 – 前端 php execl 清除样式

php mvc框架 教程 大数据主要学习哪些内容 – PHP基础 – 前端 php execl 清除样式

时间:2022-10-03 08:31:21

相关推荐

php mvc框架 教程 大数据主要学习哪些内容 – PHP基础 – 前端 php execl 清除样式

偶前面是做的Java后端,后续才转的大数据,所以一些Java开发所需要的东西自己也有学习过,也都是按照正常的路线走的,JavaSE阶段,然后数据库,SSM框架,接着做了一些网上找的项目,之后发现对大数据比较感兴趣,就开始找大数据相关的资料学习,看视频,看博客,敲代码,前期大概花了3-4个月吧(公众号的这些资料就是偶当时看过的),也是一步步艰难走过来的,刚刚开始接触大数据相关的东西时,一度怀疑这么多东西自己能否学得完,是不是能用得到,学完又忘了,忘了又回头看,不过还好,坚持过来了,还好没有放弃,工作也还ok,找的大数据开发岗,待遇也还不错吧。

下面就说一下偶自己从Java开发到大数据开发的曲折学习之路(狗头保命.jpg)。因为偶现在是做大数据相关的工作了,所以Java后端涉及到的一些SSM框架等知识点偶就不介绍了,毕竟后续一段时间也没有做了。自己看过的大数据学习相关的视频+资料大概是200G-300G吧,从Linux->Hadoop->。。。->Spark->项目,还有就是一些面试文档,面经等。一些视频看了两遍或者更多,跟着学,跟着敲代码,做项目,准备面试。涉及到需要学习的东西包括:JavaSE,数据结构与算法(计算机行业必备),MySQL,Redis,ES(数据库这些可以看项目,也可以自己熟练一两个),Linux,Shell(这个可以后期补),Hadoop,Zookeeper,Hive,Flume,Kafka,HBase,Scala(Spark是Scala写的,会Scala做相关的项目会更容易入手),Spark,Flink(这个是找工作时有面试官问过几次liao不liao解,所以找完工作才开始接触学习),相关项目。

编程语言阶段学习

  如果是零基础的话,建议还是从视频开始入门比较好,毕竟一上来就看教材,这样有些代码的来龙去脉可能不是很了解。如果是有一些编程语言基础的话,从视频开始也会更简单,一些for、while循环你都知道了,学起来也会快很多。  JavaSE偶是选择的某马刘意的为主,因为刚刚开始学Java看过一本从《Java从入门到精通》,没什么感觉,后续又在看了某课网的Java初级视频,还是没感觉出来啥(当时就有点怀疑自己了。。。),可能有点没进入状态。  还好后续找了某马刘意老师的JavaSE视频(偶是看的版本,那时候19版还没出),觉得他讲的真的是很好很详细,每个知识点都会有例子,也都会带你敲代码,做测试,可能前面有C语言基础,然后也看过Java的一些语法,所以学起来还是比较顺利,后面的IO流、多线程等知识点时,也有看书看博客,或者看看其他老师的课程,讲解的可能自己比较容易接受就可以,反正都是多尝试(下面会给出视频链接),尽量懂一些,后续可以回头来复习。JavaSE相关的视频,先看一遍,后续有时间建议再看一遍,而且这些经典的视频,看两遍真的是享受。  如果有一定基础了的,JavaSE前面七八天的视频可以加速看,但是不懂的一定要停下开仔细想想,零基础的还是尽量不要加速吧,慢慢来稳些。后面的视频建议还是跟着视频来,尽量不要加速,代码尽量都敲一敲,第一遍基本上一个月到一个半月可以结束。  JavaSE可以说是很基础也很重要的东西,主要重点包括面向对象、集合(List、Map等),IO流,String/StringBuilder/StringBuffer、反射、多线程,这些最好是都要熟悉一些,面试也是重点。  JavaSE之后,如果你是要走前端或后端开发路线的话,可以跟着一些网上的视频继续学习,这里偶就不多做介绍了。

===========分割线,Scala可以后续Spark阶段再接触学习=============

  Scala的学习,Scala是一门多范式 (multi-paradigm) 的编程语言,Scala支持面向对象和函数式编程,最主要的是后续Spark的内容需要用到Scala,所以前面学习了JavaSE,到Spark学习之前,再把Scala学习一波,美滋滋,而且Scala可以和Java进行无缝对接,混合使用,更是爽歪歪。后续Spark学习时基本都是用的Scala,也可能是和Java结合使用,所以Spark之前建议还是先学一波Scala,而且Scala用起来真是很舒服(wordcount一行代码搞定),适合迭代式计算,对数据处理有很大帮助,不过Scala看代码很容易看懂,但是学起来还是挺难的,比如样例类(case class)用起来真是nice,但是隐式转换学起来就相对比较难。学习Scala的建议:1. 学习scala 特有的语法,2. 搞清楚scala和java区别,3. 了解如何规范的使用scala。Scala对学习Spark是很重要的(后面Flink也是要用),虽然现在很多公司还是用Java开发比较多,而且Spark是Scala写的,如果要读源码,会Scala还是很重要的(至少要看得懂代码)。  Scala主要重点包括:隐式转换和隐式参数、模式匹配、函数式编程。这里偶看的是某硅谷韩老师的Scala视频,韩老师讲的真的很不错,五星推荐,哈哈。  也许有人会觉得Python也是需要的,但是学习阶段,可能用Java还是比较多,面试也基本都是问Java相关的内容,所以Python后续工作会用到的话,再看看Python的内容吧。

大数据框架阶段学习

  大数据这方面的知识点自己可以说真的是从零开始的,刚刚开始学那会Linux基本都没用过,心里那个虚啊,而且时间也紧迫,想起来都是一把辛酸泪。  刚刚开始学的时候,看了厦门大学林子雨的《 大数据技术原理与应用》课程,可能这个课程是面对上课的,所以看了一些,感觉对自己帮助不是很大(并不是说课程不好,可能不太适合自己,如果是要了解理论知识,很透彻,但是俺时间紧迫啊),所以就继续在网上找视频,然后发现某硅谷的培训视频很多人去参加,而且知识点也很齐全,大数据相关组件都有讲课,还有一些项目比较好,所以就找了它相关的视频,当时看的是的,所以视频不算旧。  来一张推荐系统架构的图,先看看

  一般来说,Flume+Kafka对数据进行采集聚合传输,一方面Spark对实时数据进行处理,传输给相应的数据处理模块(比如实时数据处理的算法模块,Spark也有提供常见的机器学习算法的程序库),另一方面采集的数据也可以放入数据库(HBase、MongoDB等)中,后续MapReduce对离线数据进行离线处理,数据处理完毕用于后续的使用,数据采集处理的流程大概就是这样。如果是推荐系统,实时推荐会给用户产生实时的推荐结果,让用户进行查阅选择,比如你在界面浏览了或者看了新的物品,然后刷新下界面,可能给你展示的东西就有一些变成跟你刚刚浏览的相关了。离线推荐的话主要是对离线数据进行处理,为物品或种类做出相似的推荐,如果后续用户搜索相应的物品时,给用户展示相应的产品。

  大数据学习路线:Linux -> Hadoop -> Zookeeper -> Hive -> Flume -> Kafka -> HBase -> Scala -> Spark -> 项目 – > Flink( 如果需要学习Storm,在Spark前面学习)

一、Linux(基本操作)

  一般大家使用的都是虚拟机来进行操作,所以要安装VM( Virtual Machine),偶使用的是CentOS,所以VM和CentOS都要跟着安装好,跟着视频操作,一定要动手实践,将一些Linux基本命令熟练掌握,一些VIM编辑器的命令也要会用,做相应的一些配置,使用SecureCRT来做远程登录操作(也可以使用其他的,自己顺手就行)。再强调一遍,基本操作命令尽量熟练一点,如果一下记不住,打印一些常用的,自己看看,多用多实践,慢慢就会用了。还有一些软件包的下载安装卸载等,跟着操作一遍,熟悉下,后续都会使用,Shell编程可以后续补。

二、Hadoop(重点中的重点)

  Hadoop是一个分布式系统基础框架,用于主要解决海量数据的存储和海量数据的分析计算问题,也可以说Hadoop是后续整个集群环境的基础,很多框架的使用都是会依赖于Hadoop。主要是由HDFS、MapReduce、YARN组成。这个部分安装Hadoop,Hadoop的三个主要组成部分是重点,对他们的概念要理解出来,知道他们是做什么的,搭建集群环境,伪分布式模式和完全分布式模式的搭建,重要的是完全分布式的搭建,这些部分一定要自己动手实践,自己搭建集群,仔细仔细再仔细,Hadoop的NameNode,DataNode,YARN的启动关闭命令一定要知道,以及他们的启动关闭顺序要记住,不要搞混。后续视频会有一些案例操作,跟着写代码,做测试,把基本环境都配置好,后续这个集群(完全分布式需要三台虚拟机)要一直使用。

三、Zookeeper

  Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。分布式安装ZK,对ZK有一定的了解就可以了,了解它的应用场景,以及内部原理,跟着做一些操作,基本上有一些了解即可。

四、Hive(重点)

  Hive是基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。Hive的安装,它的数据类型,以及它的数据定义、数据操作有较好的了解,怎么操作表(创建表、删除表,创建什么类型的表,他们有什么不同),怎么操作数据(加载数据,下载数据,对不同的表进行数据操作),对数据的查询一定要进行实践操作,以及对压缩方式和存储格式要有一些了解,用到时不懂也可以去查,最好是能理解清楚。这部分有什么面试可能会问,所以视频后续的面试讲解可以看看,理解清楚。

五、Flume

  Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。对于Flume,对它的组成架构,以及对Flume Agent的内部原理要理解清楚,Source、Channel、Sink一定要知道它们的各种类型以及作用,有哪些拓扑结构是常见常用的,例如一对一,单Source、多Channel、多Sink等,它们有什么作用,要理解清楚。还有一个重点,就是对Flume的配置文件一定要了解清楚,不懂的可以上官网查看案例,对于不同的情况,它的配置文件要做相应的修改,才能对数据进行采集处理,视频中的实践案例一定要跟着做。

六、Kafka(重点)

  Kafka是一个分布式消息队列,用来缓存数据的。比如说实时计算中可以通过Flume+Kafka对数据进行采集处理之后,Spark Streaming再使用Kafka相应的Topic中的数据,用于后续的计算使用。对于Kafka,要理解Kafka的架构,什么是Kafka,为什么需要Kafka,应用场景。基本的命令行操作要掌握,比如怎么创建删除Topic,怎么通过生产者生成数据,消费者怎么消费数据等基本操作,官网也是有一些案例可以查阅的。

七、HBase(重点)

  HBase是一个分布式的、基于列存储的开源数据库。HBase适合存储PB级别的海量数据,也可以说HBase是很适合大数据的存储的,它是基于列式存储数据的,列族下面可以有非常多的列,列族在创建表的时候就必须指定。所以对HBase的数据结构要有一定的理解,特别是RowKey的设计部分(因为面试被问到过,咳咳,所以点一下),对于它的原理要了解,一些基本操作也要都会,比如创建表,对表的操作,基本的API使用等。

八、Spark(重点中的重点)

  Spark是快速、易用、通用的大数据分析引擎。一说到Spark,就有一种哪哪都是重点感觉,哈哈。  Spark的组成可以看下图

  Spark是基于内存计算的,对于数据的处理速度要比MapReduce快很多很多,而且数据挖掘这些都是要对数据做迭代式计算,MapReduce对数据的处理方式也不适合,而Spark是可以进行迭代式计算,很适合数据挖掘等场景。Spark的Spark SQL能够对结构化数据进行处理,Spark SQL的DataFrame或DataSet可以作为分布式SQL查询引擎的作用,可以直接使用Hive上的表,对数据进行处理。Spark Streaming主要用于对应用场景中的实时流数据进行处理,支持多种数据源,DStream是Spark Streaming的基础抽象,由一系列RDD组成,每个RDD中存放着一定时间段的数据,再对数据进行处理,而且是基于内存计算,速度快,所以很适合实时数据的处理。Spark MLlib提供常见的机器学习(ML)功能的程序库。包括分类、回归、聚类、协同过滤等,还提供了模型评估、数据 导入等额外的支持功能。对Spark的核心组件、部署模式(主要是Standalone模式和YARN模式)、通讯架构、任务调度要有一定了解(面试问到了可以说一波),Spark Shuffle要好好理解,还有内存管理要知道,对Spark的内核原理一定要好好理解,不仅面试可能要用,以后工作也是有帮助的。

九、Flink(重点中的重点)

  Flink是一个框架和分布式处理引擎,用于对无界(有开始无结束)和有界(有开始有结束)数据流进行有状态计算。现在主要是阿里系公司使用的比较多,很多公司使用的还是Spark居多,而且Flink基本上都是和Spark很多功能大体上一样的,但是以后Flink和Spark孰强孰弱还有待时间的考验,不过Flink近几年越来越火了这是事实,所以如果有时间有精力的话,可以学一学Flink相关的内容也是很不错的。Spark和Flink主要都是在数据处理方面应用,在数据处理方面的话,离线数据处理:Flink暂时比不上Spark,Spark SQL优点在于可以和Hive进行无缝连接,Spark SQL可以直接使用Hive中的表;Flink暂时做不到这一步,因为官方不支持这一操作,Flink只能将数据读取成自己的表,不能直接使用Hive中的表。对于实时数据的处理:Flink和Spark可以说是平分秋色吧,而且Flink是以事件为驱动对数据进行处理,而Spark是以时间为驱动对数据进行处理,在一些应用场景中,也许Flink的效果比Spark的效果还要好些,因为Flink对数据更加的敏感。比如一秒钟如果触发了成千上万个事件,那么时间驱动型就很难对数据做细致的计算,而事件驱动型可以以事件为单位,一个个事件进行处理,相比而言延迟更低,处理效果更好。现在使用Flink的公司越来越多,有时间学习下,也算是有个准备。

项目阶段

  其实某硅谷的视频里面有很多大数据相关的项目,而且都是文档配代码的,B站上也有视频,学习期间可以跟着视频做两到三个项目,自己理清思路,把项目理解透彻,还是可以学到很多东西的。  根据自己情况,选择两到三个项目重点跟着做,理解透彻一点

大数据项目实战

  某硅谷的视频里面有很多大数据相关的项目,而且都是文档配代码的,学习期间可以跟着视频做两到三个项目,自己理清思路,把项目理解透彻,还是可以学到很多东西的。根据自己情况,选择两到三个项目重点跟着做,理解透彻一点。相关项目文档资料偶已经放到网盘,GongZhongHao回复相应关键字获取领取方式。   相关项目、涉及技术框架及其B站链接(B站链接主要是为了有些小伙伴网盘速度限制,这样就下载文档资料即可)

书籍

  书籍部分直接云盘链接保存即可,这里偶放两张Java开发和大数据开发偶自己的书单(很多,路漫漫,吾将上下而求索~)  Java后端书架:

  大数据书架:

  大概就这些,看完就需要很久了,大部分偶也是需要的时候看相应的部分,所以有时间可以好好看下,不然就需要哪一部分看哪一部分,有助于学习即可。

最后

  大数据开发也是需要编程基础的,并不是学会使用这些框架怎么样就可以了,所以对于编程语言,数据结构与算法,计算机网络这些基础也是要的,这些基础知识也有助于自己以后的发展,如果是应届生校招的话,面试基本上都是JavaSE和数据结构与算法等的知识点,还有大数据组件相关的知识点,以及对项目的理解,这些都是要自己面试前准备好的,多看面经,多找面试题看,面几次,心里有谱了,后续面试就好了。  不管是从事什么样的计算机相关的岗位,编程都是很重要的,数据结构与算法特别重要,还有就是leetcode等编程网站刷题,提升自己的编程思维,后续笔试面试都要要的。  要将一行行代码看做一叠叠rmb,但是一行行代码能不能转换成一叠叠rmb,自己就一定要:坚持,多敲代码;多敲代码,坚持;坚持。 

大龄程序员出路在哪里?

程序员未来前景如何?

一个行业未来的方向如何,要看时代发展的需要和周期,不同的发展方向国家会推出不同的政策。程序员属于科技行业。社会的发展主要有两个工具:生产力和金融。目前国家的2025规划里面大部分都是科技领域,当前的高科技领域IT技术是基础。只有科技才能强国。科技无疑是生产力的主要推动力,所以程序员行业,在AI(人工智能)发展到可以自动编码前都没有问题。金融方面也离不开程序员,比如区块链,互联网金融都得靠程序员。至于大龄程序员的出路在哪里,要看该程序员的年龄,现实和自己的定位。

大龄程序员处理在哪里?

在说大龄之前先说说年轻程序员该干嘛?定位!一定要有清晰的职业规划。一定要问问自己未来打算往哪个方向发展,是做一辈子技术吗?还是有其他想法。如果不清楚可以看看下面的大龄程序员的通常出路,可以借鉴一下。定位清楚了就不会问出路在哪里了,到了大龄的时候出路已经在脚下了。

如果现在已经是大龄了,出路在哪里呢?通常有5个方向。

第一、继续做程序员。如果自己对编程相关的技术有强烈的探索和发展欲望,同时自己也有这方面的天赋和工匠精神可以考虑到了大龄阶段还继续做程序员。国外很多资深的程序员都是越老越吃香。其实这种状态很好,只不过国内的环境和国外多少有点不同,导致很国内程序员不走这条路。这条路看似美好,但人是环境的产物,往往会被现实打败,所以对于这个定位得有一定的心理准备。其实偶觉得走这条路的人多了,偶国的IT技术才能真正有出路。所以偶为走这条路的人点赞。

第二、做管理。到了大龄阶段,要考虑更多的现实问题了。大龄程序员通常已步入中年,自己的身体,精力都无法和年轻的程序员相提并论,激烈的竞争更是让这个劣势雪上加霜。更要命的是上有老下有小,除了工作,生活琐事也需要家庭的顶梁柱来处理。如果不改变方向,会陷入被动,就仿佛走进了一个死胡同,时间越久越不利。此时的大龄程序员通常会在工作中慢慢转到管理岗位。随着工作年限的增加,经验越来越丰富,对所在公司的行业和使用的技术能有一个整体的把握,这一点是后来者所不具备的。所以程序员在工作的过程中要发展这方面的能力。这也是大部分程序员的发展方向之一。

第三、创业。创业也是大部分程序员的出路。不过创业有很大的风险,所以要考虑清楚。通常情况下很多程序员都是在工作的时候接私活或自己开发产品,等私活做多了有了客户或自己的产品做到一定的阶段了就可以自立门户了。还有一种是做自媒体,自媒体最近几年很火,也是未来发展的方向。程序员可以将自己经验传授给其他人,成本低廉适合没有资金的创业者。

第四、转行。有的程序员做到一定的阶段,发现自己有销售的潜力或其他方面的能力,就慢慢转到了其他行业,也能混的风生水起。

第五、家里拆迁或彩票中奖直接财务自由,解甲归田。

其实无论是程序员行业还是其他行业的从业者,清晰的定位都很重要。无论是工作还是人生,否则就会陷入被动。如果你已是某个行业的大龄人员了,就要考虑考虑未来的方向了。

偶也是大龄程序员,以上5种是偶知道的大龄程序员的通常出路。偶自己也在慢慢转型,每天学习,实践,成长。如果你也想跟偶一样每天成长,可以关注偶大家一起成长。

当然,也可能有更多的出路,欢迎留言讨论。

mvc模式用啥软件?

MVC模式将软件系统分层,双剑合璧,JSP负责View显示界面,servlet负责Controller负责转发请求,对请求进行处理。

后端Java怎么和前端HTML交互?

本人计算机专业毕业,从事Java Web研发三年半,偶就以个人的经历来谈谈后端Java怎么和前端HTML交互,由于主要从事Java服务端的研发,对前端HTML的认识有限,个人浅见,一起交流。

刚毕业参加工作时,首先接触到的是Java前端技术是JSP,当时做基础架构方面的工作,有一些管理界面需要研发,而团队的技术线就是JSP+Spring+Duboo+Zookeeper+mysql,偶当然也延续了这一技术线,前后使用了一年左右的JSP,前后端研发都一起搞,包括数据库部署、上线维护等都有所涉及。JSP技术使用Java编程语言编写类XML的tags和scriptlets,来封装产生动态网页的处理逻辑。JSP页面由HTML代码和嵌入其中的Java代码所组成。服务器在页面被客户端请求以后对这些Java代码进行处理,然后将生成的HTML页面返回给客户端的浏览器。随着技术的发展,JSP逐渐被团队淘汰。

积极拥抱变化,是互联网公司或者互联网团队需要做的事情,spring boot + spring cloud的技术线进入了大家的视野。基础架构全面引入spring boot,积极推动微服务的发展成为团队的新课题。在推动spring boot的使用中,发现其支持的thymeleaf模板引擎有诸多的优点,在leader拍板之后,团队的前端技术就由JSP替换为thymeleaf。thymeleaf的优点是静态html嵌入标签属性,浏览器可以直接打开模板文件,便于前后端联调,同时也是springboot官方推荐方案。

技术总是不断发展的,前后端分离,面向接口编程的理念又进入大家的团队。hymeleaf这种前后端一起部署的技术体系已经不能满足大家的要求,为了推动前后端分离和专业的人做专业的事,将功能需求做页面划分,后端和前端定义接口标准,然后依此为契约,同步进行研发。发展到这里,前端的React技术栈又进入了大家团队的视野,由于其前端的技术太过专业,偶当时只是简单的了解了一下,没有深入去学习,就专注于做服务端的接口研发。

引入该理念不久,偶就跳槽后,进入新的公司新的团队,开始使用velocity。对于这个选择,没有更多的理由,融入新的环境新的团队,必须要让自己了解和使用团队的技术线,其性能良好,据说比jsp性能还要好些,但是自己没有做过相关的测试。到目前为止也在使用velocity,但会积极推动团队拥抱新变化,采用新的技术线来做相关的需求,比如freemarker等又成了团队的新的选择。

作者:夕阳雨晴,欢迎关注偶的头条号。偶尔美文,主流Java,为你讲述不一样的码农生活。

自学前端有前途吗?

谢邀。

哈哈哈,题主何出此问?要偶说,学前端简直不要太有前途!

作为一个后端Java程序员,从目前的编程市场的就业情况来看,前端的热度要远远高于后端其他语言。大家可以根据很多招聘网站上窥斑见豹。

在Boss直聘上,搜索web前端,可以看到下面出现的信息列表,很多IT大厂对web前端给出的薪资都是非常不错的,3-5年工作经验就可以达到2万的水平。虽然题主可能觉得开始学习web前端有点稍晚,但是如果现在不开始着手去努力,那么三年后你可能就会后悔今天的选择。

其次,从目前前端众多编程框架的热度来看,

Vue.js

大有一统江湖的趋势。很多企业都尝试用Vue来作为前端的必备技能,并将其应用于自己的项目中去。所以如果学习前端技术必推Vue.js。

作为JavaScript的衍生产品,很多js框架都脱离不了JavaScript的束缚。在Web开发中,素有三剑客之称的JavaScript、HTML、CSS,都是的必备技能,在未来的很长一段时间依然是核心技能。不论是现在还是未来都应该好好掌握。

另外,不论是哪个编程领域,很多技术都是先兴起、然后逐渐趋于平稳,大家可以来看看百度指数对于web前端的搜索统计:

可以看到,目前大部分的和web相关的搜索都呈现上升趋势(橘黄色代表上升),所以,如果现在是呈现上升趋势,那么至少不会在短时间内会急剧下降,一定会呈现一个慢慢稳定的趋势,而且,随着时间的推移,会有很多程序员离开自己的岗位,那么市场就会出现一定的空缺,只要坚持努力,持续在一个领域发展,那么一定会得到不错的成就。

综上,就是关于偶认为学习web前端有没有前途的一点个人见解。希望能够帮助到你。

以上就是关于php mvc框架 教程以及大数据主要学习哪些内容的相关回答,有更多疑问可以加微。

如果觉得《php mvc框架 教程 大数据主要学习哪些内容 – PHP基础 – 前端 php execl 清除样式》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。