一、什么是大数据
大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。中国电子技术标准化研究院12月在《 大数据标准化白皮书V2.0 》 中提及维基百科(Wikipedia)给出的定义是:大数据,或称巨量数据、海量数据、大资料,指的是所涉及的数据量规模巨大到无法通过人工在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。
二、大数据的应用
大数据技术在近年来一直在飞速地发展,目前大部分人对“大数据”的概念理解得不是很透彻。其实,在我们的日常生活中,很多人已经利用“大数据”做了很多事情,这些都是实实在在的“大数据”实例应用。
1. 大型网站Web服务器的日志分析
一个大型网站的Web服务器集群,每5分钟收录的点击日志高达800GB左右,峰值点击每秒达到900万次。每隔5分钟将数据装载到内存中,高速计算网站的热点URL,并将这些信息反馈给前端缓存服务器,以提高缓存命中率。
2. 运营商流量经营分析
每天的流量数据在2TB~5TB左右,拷贝到HDFS上,通过交互式分析引擎框架,能运行几百个复杂的数据清洗和报表业务,总时间比类似硬件配置的小型机集群和DB2快2~3倍。
3. 城市交通卡口视频监控信息的实时分析
采用基于流式 Stream进行全省范围的交通卡口通过视频监控收录的信息进行实时分析、告警和统计(计算实时路况),对全省范围内未年检车辆或套牌车的分析延时在300毫秒左右,可以做出实时告警,所以开车的朋友最好要按时年检。
4. 互联网舆情监控系统
利用先进的云计算搜索平台和倒排索引,舆情监测系统支持
如果觉得《千锋大数据培训专家解答:大数据应用在哪些方面?》对你有帮助,请点赞、收藏,并留下你的观点哦!