数据和大数据的区别

mr的shuffle,mapShuffle数据存到hdfs中是以块进行存储的，每一个块对应一个分片，maptask就是从分片中获取数据的。在某个节点上启动了map Task,map Task读取是通过k-v来读取的,读取的数据会放到环形缓存区，这样做的目的是为了防止IO的访问次数,然后环形缓存区的内存达到一定的阀值的时

两者分别是什么?Apache Hive是一个构建在hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Ha

作者：麒麟本文为36大数据原创，禁止转载。看中国科技企业发展，先看BAT。三家公司各自占据自己的领域，成为了无数小公司叹为仰止的高山，在大数据的领域里，又尤以BAT最为耀眼。在前不久的一次公开会议上，李彦宏、马云、马化腾又对数据的应用产生了公开分歧，三者分别认为数据的价值在于算法、数据量、场景化，这其实是暗合了三家公司