Oracle如何用单字段或多字段进行查重

最近在整理数据形成信用报告,发现重复的数据真的多,梳理都好久。我就做个笔记把去掉重复数据的方法整理下来。方便我后期查阅。

我将我目前已知的两种去重方法分为:视图去重和表去重。原理就是有无rowid这个字段。

单字段查重

表A:

ID name uscc money
1 张飞 11111 100
2 关羽 22222 100
3 刘备 33333 300
4 马超 44444 400
5 张飞 55555 100
6 马超 44444 400

这时候,我们来进行去重:如果只根据一个字段来去重的话,根据name字段,我们看下重复的有两条数据为‘张飞’和‘马超’

这个时候我们用最简单的方法rowid。通俗易懂

select * from 表A where rowid in(
select max(rowid) from  表A group by NAME)
order by id;
id name uscc money
1 张飞 11111 100
2 关羽 22222 100
3 刘备 33333 300
4 马超 44444 400

这个时候,数据就如上图所示。当name字段一样的时候,取rowid最大的保留。

上面那个是去重语句,下面说下查询表中的重复数据有哪些的语句

select * from 表A t,(select NAME from 表A group by NAME having count(1)>1) x
where t.NAME=x.NAME
order by t.id
id name uscc money
1 张飞 11111 100
4 马超 44444 400
5 张飞 55555 100
6 马超 44444 400

但是呢,有的时候我们使用多张表整合的视图,进行去重,这时候就没有rowid了。我们要怎么去重呢?

select  *  from  (select s.* from
(select t.*,row_number() over (partition by uscc order by uscc) as group_idx
from 表A t ) s
where s.group_idx = 1)

查询结果为:

id name uscc money
1 张飞 11111 100
2 关羽 22222 100
3 刘备 33333 300
4 马超 44444 400

多字段查重

我们取NAME和USCC两个字段进行查重,因为很多时候,数据判断是否重复并不是一个字段就可以了,而且通过两个,甚至是一整条数据是否完全相同进行查重,这时候我们就用下面这个语句

select  *  from  (select s.* from
(select t.*,row_number() over (partition by name,uscc order by name,uscc) as group_idx
from 表A t ) s
where s.group_idx = 1)

查询结果如下:

ID name uscc money
1 张飞 11111 100
2 关羽 22222 100
3 刘备 33333 300
4 马超 44444 400
5 张飞 55555 100

ID=6的‘马超’这条数据进行了去重,因为这个条数据NAME和USCC都重复了,所以只取一条。

好记性不如烂笔头,虽然当时还记得怎么写,但是时间一长,就会忘记,如果没有良好的记录的习惯,下次还会百度找资料,很耽误时间。

转载于:https://www.cnblogs.com/jianshuai520/p/11058003.html

你可能感兴趣的:(Oracle如何用单字段或多字段进行查重)