侯体宗的博客
  • 首页
  • Hyperf版
  • beego仿版
  • 人生(杂谈)
  • 技术
  • 关于我
  • 更多分类
    • 文件下载
    • 文字修仙
    • 群聊
    • 九宫格抽奖
    • 拼图
    • 消消乐
    • 相册

oracle大数据表复制备份个人经验

数据库  /  管理员 发布于 2年前   477
前提:
   数据库仓库A(就拿oracle11g为例)中有两个用户user1和user2,现在有user1中有表ldm_table1,且表ldm_table1有数据5千万以上,ldm_table1中的数据是从其他库B(数据源)中抽取过来的,前期业务理解不够或者需求有变,数据有变动需要重新从B中抽取数据到A库表ldm_table1中。
    重新抽取数据前想把原来的ldm_table1中的数据进行备份,备份到用户user2中,以备将来恢复(重新抽取可能出错等原因)。
    前面差不多是废话,可能举例不恰当,反正就是想备份大表(5千万以上记录,我自己这么认为,相对的),或者大表之间数据存在相互拷贝的一些方法。
1.具体备份方法(这里写了16个并行,视情况而定):
create table user2.LDM_table1 nologging parallel (DEGREE 16) AS SELECT * FROM user1.LDM_table1;

2.
truncate table user1.LDM_table1;

3.现在想把user2.LDM_table1中数据再恢复到user1.LDM_table1中,具体sql如下(我们不再create table了,因为user1.LDM_table1已经存在,并且索引什么的都建立了,如果数据没有超过1亿):
  
alter table user1.LDM_table1 nologging;   alter session enable parallel dml;   insert /*+append parallel*/ into user1.LDM_table1 SELECT/*+parallel*/ * FROM user2.LDM_table1;COMMITalter table user1.LDM_table1 logging;;

4.数据再多一些,比如几个亿的,用3中方法有些慢,所以我目前觉得还是用create方法(上述1中提到的)好些。但是采用重新创建表的方法时,需要drop掉原来的表,并且要建立索引,具体sql如下:
  a.采用1中方法,
create table user1.LDM_table1 nologging parallel (DEGREE 16) AS SELECT * FROM user2.LDM_table1;

  b.创建主键(主键创建加并行好像不起作用)
  c.创建索引(这里加了24个并行,视情况)
  
create bitmap index user1.INDEX_LDM_table1_RQ  on user1.LDM_table1 (RQ)parallel 24  local;

  d.如果需要收集统计信息,则执行
    
exec  dbms_stats.gather_table_stats('USER1','LDM_TABLE1,CASCADE=>true,estimate_percent=>10,method_opt=>'for all columns size auto',degree=>16);

5.如果表user1.LDM_table1表存在分区,那么重新恢复可就不是简单create table(上述方法1)就能行的,因为采用上述方法1会丢失分区,所以这时应该用另一种方法,具体sql如下:(注意必须写明各个字段,而字段后面不跟长度类型等)
 
 create table user1.LDM_table1(  aaa,  bbb,  ccc,  ....    )partition by range (N_DM)(  partition P00000000000 values less than (' 5500000')    tablespace TS_DAT_LDM    pctfree 10    initrans 1    maxtrans 255    storage    (      initial 160K      next 1M      minextents 1      maxextents unlimited    ),  partition P 5500000 values less than ('5501000')    tablespace TS_DAT_LDM    pctfree 10    initrans 1    maxtrans 255    storage    (      initial 160K      next 1M      minextents 1      maxextents unlimited    ),  ........)select aaa,bbb,ccc,.....from user2.LDM_table1;
6.有时候需要将表user2.LDM_table1中的部分数据提交到表user1.LDM_table1中,如果采用上述3中的方法会觉得有些慢,可以采用分部提交或者就循环提交,每次提交100万,直至提交完毕,具体sql如下
   --循环提交数据 
declare  cursor cur is    select /*+parallel(16)*/* from user2.LDM_table1;  type rec is table of cur%rowtype;  recs rec;begin  execute immediate 'alter table user1.LDM_table1 nologging';  execute immediate 'alter session enable parallel dml';  open cur;  while (true) loop    fetch cur bulk collect      into recs limit 1000000;    forall i in 1 .. recs.count      insert /*+append parallel(8)*/into user1.LDM_table1 values recs (i);    commit;    exit when cur%notfound;  end loop;  close cur;  execute immediate 'alter table user1.LDM_table1 logging';end;/
7.如果想删除大表user1.LDM_table1中的部分数据,比如从几亿数据中删除1000万,可能采用delete方法比较慢,所以我们可以采用循环删除的方法,具体sql如下:

--循环删除数据
declare  v_cnt NUMBER:=0;BEGIN  LOOP   DELETE FROM user1.LDM_table1 WHERE y_dm LIKE '10025%'    AND ROWNUM<=10000;   v_cnt:=SQL%ROWCOUNT;     COMMIT;   EXIT WHEN v_cnt<=0;  END LOOPEND;/
--加并行快点
declare  v_cnt NUMBER:=0;BEGIN  execute immediate 'alter table user1.LDM_table1 nologging';  execute immediate 'alter session enable parallel dml';  LOOP   DELETE/*+PARALLEL(16)*/ FROM user1.LDM_table1 WHERE y_dm LIKE '10025%'    AND ROWNUM<=10000;   v_cnt:=SQL%ROWCOUNT;     COMMIT;   EXIT WHEN v_cnt<=0;  END LOOPEND;/
8.注意内容
  如果索引很多(一般是超过5个,我觉得),可以考虑先删除索引,后加入数据,最后创建索引
9.自己理解比较少,只能写成这样,欢迎讨论。
  
  
   


  • 上一条:
    oracle自增id小记
    下一条:
    Oracle序列
  • 昵称:

    邮箱:

    0条评论 (评论内容有缓存机制,请悉知!)
    最新最热
    • 分类目录
    • 人生(杂谈)
    • 技术
    • linux
    • Java
    • php
    • 框架(架构)
    • 前端
    • ThinkPHP
    • 数据库
    • 微信(小程序)
    • Laravel
    • Redis
    • Docker
    • Go
    • swoole
    • Windows
    • Python
    • 苹果(mac/ios)
    • 相关文章
    • 在SQL Server数据库中查询慢问题的解决思路及方案(0个评论)
    • 在Sql Server数据库中锁表解锁解决办法(0个评论)
    • 在mysql中GET_LOCK、RELEASE_LOCK锁的使用示例(0个评论)
    • 在mysql数据库中any、some、all逻辑运算符使用浅析(0个评论)
    • mysql数据库SQL优化技巧十一点(0个评论)
    • 近期文章
    • 在Laravel应用程序如何减少代码重复编写(0个评论)
    • 在laravel项目中提高安全性方式推荐:CSP内容安全策略(0个评论)
    • 在go语言中从值中获取常量名称代码示例(0个评论)
    • 在go语言中如何通过名称获得结构字段和值代码示例(0个评论)
    • 在go语言中用JQuery + html2canvas实现拍摄浏览器的屏幕截图示例(0个评论)
    • 人生感悟分享:讲一个大学毕业生到社畜老狗的蜕变心路历程(0个评论)
    • laravel9框架报错Target class... does not exist解决方式(0个评论)
    • Laravel 9.48版本发布(0个评论)
    • Meta高级工程师现身说法:程序员干得越久,代码写得越少?(0个评论)
    • 本站zongscan祝大家除夕快乐,2023有奔头(0个评论)
    • 近期评论
    • 博主 在

      2023年国务院办公厅春节放假通知:1月21日起休7天中评论 @ xiaoB 你只管努力,剩下的叫给天意;天若有情天亦老,..
    • xiaoB 在

      2023年国务院办公厅春节放假通知:1月21日起休7天中评论 会不会春节放假后又阳一次?..
    • BUG4 在

      你翻墙过吗?国内使用vpn翻墙可能会被网警抓,你需了解的事中评论 不是吧?..
    • 博主 在

      go语言+beego框架中获取get,post请求的所有参数中评论 @ t1  直接在router.go文件中配就ok..
    • Jade 在

      如何在MySQL查询中获得当月记录中评论 Dear zongscan.com team, We can skyroc..
    • 2017-06
    • 2017-08
    • 2017-09
    • 2017-10
    • 2017-11
    • 2018-01
    • 2018-05
    • 2018-10
    • 2018-11
    • 2020-02
    • 2020-03
    • 2020-04
    • 2020-05
    • 2020-06
    • 2020-07
    • 2020-08
    • 2020-09
    • 2021-02
    • 2021-04
    • 2021-07
    • 2021-08
    • 2021-11
    • 2021-12
    • 2022-02
    • 2022-03
    • 2022-05
    • 2022-06
    • 2022-07
    • 2022-08
    • 2022-09
    • 2022-10
    • 2022-11
    • 2022-12
    • 2023-01
    Top

    Copyright·© 2019 侯体宗版权所有· 粤ICP备20027696号 PHP交流群

    侯体宗的博客