侯体宗的博客
  • 首页
  • Hyperf版
  • beego仿版
  • 人生(杂谈)
  • 技术
  • 关于我
  • 更多分类
    • 文件下载
    • 文字修仙
    • 中国象棋ai
    • 群聊
    • 九宫格抽奖
    • 拼图
    • 消消乐
    • 相册

Oracle数据库中基本的查询优化与子查询优化讲解

数据库  /  管理员 发布于 6年前   263

1. 查询条件合理排序

Oracle采用自下而上的顺序解析WHERE字据,从优化性能角度考虑,建议将那些可以过滤掉大量记录行的条件写在WHERE子句的末尾,而将表

之间的连接条件置于其他WHERE子句之前,即对易排查的条件先做判断处理,这样在过滤掉尽可能多的记录后再进行等值连接,可以提高检索效率。

例如:

SELECT empno, ename, job, sal, dept.deptno, dname FROM emp, dept WHERE emp.deptno = dept.deptno AND emp.deptno = 20;

要比下述语句的查询效率高一些:

SELETE empno, ename, job, sal, dept.deptno, dnameFROM emp, deptWHERE emp.deptno = 20 AND emp.deptno = dept.deptno;

2.连接中使用表别名

在进行连接查询时,建议在SQL语句中使用表的别名, 并把别名前缀与每个字段上。这样可以减少解析的时间,并可避免因字段名存在歧义(使用多个

表中出现的同名字段)而导致的语法错误。例如下述语句:

SELECT e.empno, e.ename, e.job, e.sal, e.deptno, d.nameFROM emp e, dept dWHERE e.deptno = d.deptno AND e.deptno = 20;

3.用EXISTS替换DISTINCT

在进行一对多关系的表间连接查询时,如果要剔除结果中的重复行,可以考虑使用EXISTS(结合子查询)替换DISTINCT。

例如:

SELECT deptno, dname FROM dept d WHERE EXIST (SELECT 'y' FROM emp e WHERE e.deptno = d.deptno);

4.用WHERE替换HAVING

由于SELECT语句的执行顺序为:先WHERE子句, 在GROUP BY 子句, 然后SELECT查询, 再后HAVINT子句,最后是ORDER BY子句,因此在进行分组

查询时,如果过滤条件不涉及分组计算,则应该使用WHERE语句替换HAVING指定的过滤条件

例如:

SELECT deptno, avg(sal) FROM empWHERE deptno IN (10, 20)GROUP BY deptno;

效率会高于下面

SELECT deptno, avg(sal) FROM empWHERE deptno IN (10, 20)GROUP BY deptno;

当然, 如果分组查询的过滤条件设计分组计算,就只能在HAVING子句中指定了。

5.子查询优化

1) 在数据量大时,子查询的性能会受到比较大的影响;

2) 在子查询中使用了函数to_char(add_months(to_date(tb.rptdate,'yyyymm'),12),'yyyymm'),对大数据量查询时,执行函数也会对系统产生比较大的影响。

下面来看一个例子:

createor replace procedure Rpt_Dyhgl_year(  rptyear      in varchar2, --年yyyy  --rpttype      in varchar2,  --报表类型,1年报,2季报  ref_cursor      out sys_refcursor --返回游标 ) As  -- 变量声明  。。。。。 begin   delete from YWTJ_RPT_DYHGL_YEAR where RPTYEAR = rptyear and RPTTYPE = '1';   commit;  --查询原始数据  v_sql := 'select rptdate, jcdlb, jcdlbName, sum(nvl(runtime,0)) sumruntime,sum(nvl(buhegeTime,0)) buhegeTime, count(jcdcount) jcdcount,     sum(nvl(tongbiRuntime,0)) tongbiRuntime, sum(nvl(tongbiBhg,0))tongbiBhg from (   select rptdate, runtime,r.chaoshangxian+r.chaoxiaxian buhegeTime, r.objid, 1 jcdcount,     (select runtime fromywtj_rpt_dyhgl_month tb whereto_char(add_months(to_date(tb.rptdate,''yyyymm''),12),''yyyymm'') = r.rptdateand tb.objid = r.objid) tongbiRuntime,     (select chaoshangxian + chaoxiaxian fromywtj_rpt_dyhgl_month tb whereto_char(add_months(to_date(tb.rptdate,''yyyymm''),12),''yyyymm'') = r.rptdateand tb.objid = r.objid) tongbiBhg,     (select jcdlb from jczl_dwjg d whered.objid = r.objid ) jcdlb,     (select jcdlbname from dic_jcdlb wherejcdlbid = (select jcdlb from jczl_dwjg where objid = r.objid)) jcdlbName     from ywtj_rpt_dyhgl_month r where rptdate = :rptYear)   group by rptdate, jcdlb,  jcdlbName    order by rptdate ,jcdlb ';   -- 插入新数据   v_sqlRptInsert := 'Insert IntoYWTJ_RPT_DYHGL_YEAR (RPTYEAR,RPTDATE,RPTTYPE) values(:RPTYEAR,:RPTDATE,:RPTTYPE)';   v_sqlRptUpdate := '';   -- 计算1--12月的当月数据   for rptmonth in 1..12 loop    execute immediate v_sqlRptInsertusing rptyear, rptmonth, '1';    commit;    open v_cur for v_sql using rptyear ||LPAD(rptmonth, 2, '0');    loop      fetch v_cur intov_rptDate,v_jcdlb,v_jcdName,v_sumRuntime,v_sumbuhegeTime,v_jcdCount,v_tongbiRuntime,v_tongbiBhg;      exit when v_cur%notfound;      --计算合格率      。。。。。。      -- 更新当月数据      。。。。。。     end loop;     close v_cur;   end loop;   -- 更新累计数据   。。。。。。   commit;   -- 计算综合合格率   open ref_cursor for select * fromYWTJ_RPT_DYHGL_YEAR r where r.rptyear = rptyear and r.rpttype = 1 order byr.rptdate; end Rpt_Dyhgl_year; 

功能运行正常,查询时间大约30-40秒。

然后,把报表部署到运行环境中后,验证功能时,发现2、3分钟报表没有出来!多次尝试,后来终于出来结果了:940多秒,15分钟多!这样用户肯定是不能接受的!使用pl/sql dev的性能分析对Rpt_Dyhgl_year的执行过程进行分析,发现几乎所有的时间都化在了

fetch v_cur into v_rptDate,v_jcdlb,v_jcdName,v_sumRuntime,v_sumbuhegeTime,v_jcdCount,v_tongbiRuntime,v_tongbiBhg;

(期间把过程转成程序执行,性能分析时发现,主要时间都是由dr.Read()占用,和对过程的分析一致。)

那问题应该是在fetch对应的查询上,把

v_sql :='select rptdate, jcdlb, jcdlbName,sum(nvl(runtime,0)) sumruntime, sum(nvl(buhegeTime,0)) buhegeTime,count(jcdcount) jcdcount,      sum(nvl(tongbiRuntime,0)) tongbiRuntime, sum(nvl(tongbiBhg,0))tongbiBhg from (    select rptdate, runtime,r.chaoshangxian+r.chaoxiaxian buhegeTime, r.objid, 1 jcdcount,      (select runtime fromywtj_rpt_dyhgl_month tb whereto_char(add_months(to_date(tb.rptdate,''yyyymm''),12),''yyyymm'') = r.rptdateand tb.objid = r.objid) tongbiRuntime,      (select chaoshangxian + chaoxiaxian fromywtj_rpt_dyhgl_month tb whereto_char(add_months(to_date(tb.rptdate,''yyyymm''),12),''yyyymm'') = r.rptdateand tb.objid = r.objid) tongbiBhg,      (select jcdlb from jczl_dwjg d whered.objid = r.objid ) jcdlb,      (select jcdlbname from dic_jcdlb wherejcdlbid = (select jcdlb from jczl_dwjg where objid = r.objid)) jcdlbName      from ywtj_rpt_dyhgl_month r where rptdate = :rptYear)    group by rptdate, jcdlb,  jcdlbName     order by rptdate ,jcdlb ';      --① 

单独拿出来执行,大约5.7秒多。
再把其中的子查询:

selectrptdate, runtime, r.chaoshangxian+r.chaoxiaxian buhegeTime, r.objid, 1jcdcount,      (select runtime fromywtj_rpt_dyhgl_month tb whereto_char(add_months(to_date(tb.rptdate,''yyyymm''),12),''yyyymm'') = r.rptdateand tb.objid = r.objid) tongbiRuntime,      (select chaoshangxian + chaoxiaxian fromywtj_rpt_dyhgl_month tb whereto_char(add_months(to_date(tb.rptdate,''yyyymm''),12),''yyyymm'') = r.rptdateand tb.objid = r.objid) tongbiBhg,      (select jcdlb from jczl_dwjg d whered.objid = r.objid ) jcdlb,      (select jcdlbname from dic_jcdlb wherejcdlbid = (select jcdlb from jczl_dwjg where objid = r.objid)) jcdlbName      from ywtj_rpt_dyhgl_month r where rptdate =:rptYear;  --② 

单独拿出来执行,速度很快,但返回的数据量很大。如果再对其循环分析,估计性能也好不到哪去,先行放弃这种尝试。

把查询②中的tongbiRuntime和tongbiBhg两个字段子查询去掉,执行速度更快,同样再把①中的tongbiRuntime和tongbiBhg两个字段子查询去掉,执行速度提高很多,时间约0.157秒。

这样速度就提高了很多,但少了去年同比的数据,那就分成两个查询!按这个思路下来,最后得到的过程如下(只保留主要部分):

createor replace procedure Rpt_Dyhgl_year( --电压合格率-年  v_rptyear      in varchar2, --年yyyy  --rpttype      in varchar2,  --报表类型,1年报,2季报  ref_cursor      out sys_refcursor --返回游标 ) as  -- 变量声明  ....... begin   delete from YWTJ_RPT_DYHGL_YEAR where RPTYEAR = v_rptyear and RPTTYPE = '1';   commit;  --查询原始数据  v_sql := 'select rptdate, jcdlb, jcdlbName, sum(nvl(runtime,0)) sumruntime,sum(nvl(buhegeTime,0)) buhegeTime, count(jcdcount) jcdcount     from ( select rptdate, runtime,r.chaoshangxian+r.chaoxiaxian buhegeTime, r.objid, 1 jcdcount,     (select jcdlb from jczl_dwjg d whered.objid = r.objid ) jcdlb,     (select jcdlbname from dic_jcdlb wherejcdlbid = (select jcdlb from jczl_dwjg where objid = r.objid)) jcdlbName     from ywtj_rpt_dyhgl_month r where rptdate = :rptYear)   group by rptdate, jcdlb,  jcdlbName   order by rptdate ,jcdlb ';   -- 插入新数据   v_sqlRptInsert := 'Insert IntoYWTJ_RPT_DYHGL_YEAR (RPTYEAR,RPTDATE,RPTTYPE) values(:RPTYEAR,:RPTDATE,:RPTTYPE)';   v_sqlRptUpdate := '';    -- 计算1--12月的当月数据   for rptmonth in 1..12 loop    -- 打开游标开始计算合格率    open v_cur for v_sql using v_rptyear||LPAD(rptmonth, 2, '0');    loop      fetch v_cur intov_rptDate,v_jcdlb,v_jcdLbName,v_sumRuntime,v_sumbuhegeTime,v_jcdCount;      exit when v_cur%notfound;      --计算合格率      if v_sumRuntime <> 0 then       v_hgl := (v_sumRuntime-v_sumbuhegeTime)/v_sumRuntime *100;      end if;      -- 更新当月数据      ........     end loop;     close v_cur;    -- 打开游标开始计算同比合格率    open v_cur for v_sql using (v_rptyear-1)|| LPAD(rptmonth, 2, '0');    loop      fetch v_cur into v_rptDate,v_jcdlb,v_jcdLbName,v_sumRuntime,v_sumbuhegeTime,v_jcdCount;      exit when v_cur%notfound;      --计算合格率      if v_sumRuntime <> 0 then       v_hgl := (v_sumRuntime-v_sumbuhegeTime)/v_sumRuntime*100;      end if;      -- 更新同比数据      .........     end loop;     close v_cur;   end loop;    -- 更新累计数据   .........    -- 计算综合合格率   ........    open ref_cursor for select * fromYWTJ_RPT_DYHGL_YEAR r where r.rptyear = v_rptyear and r.rpttype = 1 order byr.rptdate; end Rpt_Dyhgl_year;

 


经验证,执行速度大约在一秒多,也就是说性能从原来的900多秒提高到1秒,提高差不多三个数量级。


  • 上一条:
    整理Oracle数据库中数据查询优化的一些关键点
    下一条:
    使用geotools导入shp文件到Oracle数据库时表名带下划线问题的解决方法
  • 昵称:

    邮箱:

    0条评论 (评论内容有缓存机制,请悉知!)
    最新最热
    • 分类目录
    • 人生(杂谈)
    • 技术
    • linux
    • Java
    • php
    • 框架(架构)
    • 前端
    • ThinkPHP
    • 数据库
    • 微信(小程序)
    • Laravel
    • Redis
    • Docker
    • Go
    • swoole
    • Windows
    • Python
    • 苹果(mac/ios)
    • 相关文章
    • 分库分表的目的、优缺点及具体实现方式介绍(0个评论)
    • DevDB - 在 VS 代码中直接访问数据库(0个评论)
    • 在ubuntu系统中实现mysql数据存储目录迁移流程步骤(0个评论)
    • 在mysql中使用存储过程批量新增测试数据流程步骤(0个评论)
    • php+mysql数据库批量根据条件快速更新、连表更新sql实现(0个评论)
    • 近期文章
    • 在go中实现一个常用的先进先出的缓存淘汰算法示例代码(0个评论)
    • 在go+gin中使用"github.com/skip2/go-qrcode"实现url转二维码功能(0个评论)
    • 在go语言中使用api.geonames.org接口实现根据国际邮政编码获取地址信息功能(1个评论)
    • 在go语言中使用github.com/signintech/gopdf实现生成pdf分页文件功能(0个评论)
    • gmail发邮件报错:534 5.7.9 Application-specific password required...解决方案(0个评论)
    • 欧盟关于强迫劳动的规定的官方举报渠道及官方举报网站(0个评论)
    • 在go语言中使用github.com/signintech/gopdf实现生成pdf文件功能(0个评论)
    • Laravel从Accel获得5700万美元A轮融资(0个评论)
    • 在go + gin中gorm实现指定搜索/区间搜索分页列表功能接口实例(0个评论)
    • 在go语言中实现IP/CIDR的ip和netmask互转及IP段形式互转及ip是否存在IP/CIDR(0个评论)
    • 近期评论
    • 122 在

      学历:一种延缓就业设计,生活需求下的权衡之选中评论 工作几年后,报名考研了,到现在还没认真学习备考,迷茫中。作为一名北漂互联网打工人..
    • 123 在

      Clash for Windows作者删库跑路了,github已404中评论 按理说只要你在国内,所有的流量进出都在监控范围内,不管你怎么隐藏也没用,想搞你分..
    • 原梓番博客 在

      在Laravel框架中使用模型Model分表最简单的方法中评论 好久好久都没看友情链接申请了,今天刚看,已经添加。..
    • 博主 在

      佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 @1111老铁这个不行了,可以看看近期评论的其他文章..
    • 1111 在

      佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 网站不能打开,博主百忙中能否发个APP下载链接,佛跳墙或极光..
    • 2017-06
    • 2017-08
    • 2017-09
    • 2017-10
    • 2017-11
    • 2018-01
    • 2018-05
    • 2018-10
    • 2018-11
    • 2020-02
    • 2020-03
    • 2020-04
    • 2020-05
    • 2020-06
    • 2020-07
    • 2020-08
    • 2020-09
    • 2021-02
    • 2021-04
    • 2021-07
    • 2021-08
    • 2021-11
    • 2021-12
    • 2022-02
    • 2022-03
    • 2022-05
    • 2022-06
    • 2022-07
    • 2022-08
    • 2022-09
    • 2022-10
    • 2022-11
    • 2022-12
    • 2023-01
    • 2023-03
    • 2023-04
    • 2023-05
    • 2023-07
    • 2023-08
    • 2023-10
    • 2023-11
    • 2023-12
    • 2024-01
    • 2024-03
    Top

    Copyright·© 2019 侯体宗版权所有· 粤ICP备20027696号 PHP交流群

    侯体宗的博客