`
- 浏览:
26167 次
- 性别:
- 来自:
深圳
-
优化大数据的处理方法:
1.一般数据大于百万以上的sql语句里面尽量不要用子查询,in,exists等函数;而把它们转换为一条sql。用group,having,和多表连接进行处理,可以提高查询效率。
例子:SELECT COUNT(DISTINCT ismi) goods_sum FROM goods_COMPARE
WHERE ismiIN
(SELECT DISTINCT ismi FROM goods_COMPARE WHERE g_ID IS NOT NULL
AND g_time>= '20120721' and g_time<= '20121025')
AND ismi IN
(SELECT DISTINCT ismi FROM goods_COMPARE WHERE eg_ID IS NOT NULL
AND g_time >= '20120721' and g_time <= '20121025')
AND g_time >= '20120721' and g_time <= '20121025'
SELECT COUNT(*) from (
SELECT DISTINCT ismi goods_sum FROM goods_COMPARE WHERE g_time >= '20120721' and g_time <= '20121025'
group by ismi having Max(eg_ID) IS NOT NULL and max(g_ID ) IS NOT NULL )
2.一般日数据有百万级以上的表,查询特别慢,需要用日期分区或者其他的有规律的字段进行表分区。同时对于查询的比较频繁的字段创建索引。
3.对于以上都不能优化查询速率的,建议用线程先要统计的全部统计出来,用一个前台查询表来查询。
4.用分区和索引也可以增加数据库查询效率。
5.现在一般用分布式集群来解决大数据,还有云计算
分享到:
Global site tag (gtag.js) - Google Analytics
相关推荐
《Hadoop大数据处理》共10章涉及的主题包括大数据处理概论、基于Hadoop的大数据处理框架、MapReduce计算模式、使用HDFS存储大数据、HBase大数据库、大数据的分析处理、Hadoop环境下的数据整合、Hadoop集群的管理与...
第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件...
第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式...
Python大数据处理库 PySpark实战PPT课件
当前,以Hadoop、Spark为代表的大数据处理框架,已经在学术界和工业界被广泛应用于大规模数据的处理和分析.这些大数据处理框架采用分布式架构,使用Java、Scala等面向对象语言编写,在集群节点上以Java虚拟机(JVM)...
《Python大数据处理与分析》教学大纲.pdf《Python大数据处理与分析》教学大纲.pdf《Python大数据处理与分析》教学大纲.pdf《Python大数据处理与分析》教学大纲.pdf《Python大数据处理与分析》教学大纲.pdf《Python大...
大数据处理平台Hadoop Friday, December 23, 2022 大数据分析技术基础教学课件3-大数据处理平台Hadoop全文共27页,当前为第1页。 Hadoop—大数据时代的火种 摩尔定律 1965年4月19日,仙童半导体公司工程师,后来创建...
全书共分四部分(26章),前三部分详细讲解各类数学运算与分析方法,第四部分重点讲解如何应用数学方法进行动态复杂系统分析与大数据处理。其中,第一部分讨论数学、矩阵分析和概率论的主要数据计算方法及结果可视化...
大数据处理思维导图.png
Hadoop大数据处理实战
数据算法Hadoop/Spark大数据处理技巧 源代码 内有部分数据集
Python大数据处理库 PySpark实战-源代码
Hadoop大数据处理讲义-C1.海量数据处理概论
深入理解大数据大数据处理与编程实践 完整版.pdf深入理解大数据大数据处理与编程实践 完整版.pdf
《Python大数据处理与分析》课程教学大纲.doc
大数据处理效率解决方案: 1、认识的大数据 2、大数据处理方法论 3、影响数据处理效率的因素 4、大数据处理案例
大数据处理技术的总结与分析报告.docx
js前端处理excel数据导入,支持大数据处理,自定义分片上传,加载动画
Python大数据处理与分析-习题答案.docx
《数据算法:Hadoop/Spark大数据处理技巧》介绍了很多基本设计模式、优化技术和数据挖掘及机器学习解决方案,以解决生物信息学、基因组学、统计和社交网络分析等领域的很多问题。这还概要介绍了MapReduce、Hadoop和...