BI-SQL丨两表差异比较

alt

BOSS:哎,白茶,我们最近新上了一个系统,后续有一些数据要进行源切换,这个能整么?

白茶:没问题,可以整!

BOSS:哦,对了,差点忘记告诉你了,新系统没有进行过数据校验,所以切换之前,需要你处理一下,这个能整不?

白茶:(¥#!&*%!)能!

数仓在运维过程中,难免会遇到数据源切换,或者是方案调整的情况。

要知道,对于数仓来说,数据的准确性是非常重要的,也是衡量数仓是否可用的标准之一。

那么当某些表数据源发生变动时,我们该如何快速进行数据差异比较呢?

面对这种情况,我们可以使用EXCEPT和INTERSECT来解决这一问题。

概念介绍

EXCEPT是用来比较两个表之间的数据差,返回的结果集为在第一个表中存在且在第二个表中不存在的数据; INTERSECT是用来获取两个表之间的数据交集,返回的结果集为两个表中相同的部分。

使用条件
1.被比较的两个表列数和列名顺序需要一致;

2.被比较的两个表数据类型可以不一致,但是需要兼容;

3.被比较的两个表中不能存在不可被比较的数据类型。

使用实例

案例数据: 利用如下SQL语句,在数仓中构建案例数据。

CREATE TABLE [dbo].[BaiCha1](
    [LB_Name] [nvarchar](20) NULL,
    [LB_Value] [nvarchar](255) NULL
)
GO
;


INSERT INTO
    [dbo].[BaiCha1]
VALUES
('A', '1')
GO
;


CREATE TABLE [dbo].[BaiCha2](
    [LB_Name] [nvarchar](20) NULL,
    [LB_Value] [nvarchar](255) NULL
)
GO
;


INSERT INTO
    [dbo].[BaiCha2]
VALUES
('A', '1'),
    ('B', '2')
GO
;


CREATE TABLE [dbo].[BaiCha3](
    [LB_Name] [nvarchar](20) NULL,
    [LB_Value] [nvarchar](255) NULL
)
GO
;


INSERT INTO
    [dbo].[BaiCha3]
VALUES
('A', '1'),
    ('B', '2')
GO
;

结果如下: alt

例子1: 利用EXCEPT比较3张表之间的差异。

SELECT
    *
FROM
    BaiCha2EXCEPT
SELECT
    *
FROM
    BaiCha1
GO
;


SELECT
    *
FROM
    BaiCha2EXCEPT
SELECT
    *
FROM
    BaiCha3
GO
;

结果如下: alt

例子2: 利用INTERSECT比较3张表之间的差异。

SELECT
    *
FROM
    BaiCha2
INTERSECT
SELECT
    *
FROM
    BaiCha1
GO
;


SELECT
    *
FROM
    BaiCha2
INTERSECT
SELECT
    *
FROM
    BaiCha3
GO
;

结果如下: alt

例子3: 在实际应用中,我们也可以换一种写法,直接输出结果计数,这种方法叫做减法归零。这里我们使用BaiCha1和BaiCha2进行举例。

SELECT  COUNT(*) AS T1_NOT_T2_Count
FROM    ( SELECT    *
          FROM      [dbo].[BaiCha1]
          EXCEPT
          SELECT    *
          FROM      [dbo].[BaiCha2]
        ) AS T;
 
SELECT  COUNT(*) AS T2_NOT_T1_Count
FROM    ( SELECT    *
          FROM      [dbo].[BaiCha2]
          EXCEPT
          SELECT    *
          FROM      [dbo].[BaiCha1]
        ) AS T;

结果如下: alt

alt

alt

Fabric丨白茶 文章被收录于专栏

数据分析进阶之路,带你深入了解可视化技巧。

全部评论

相关推荐

点赞 评论 收藏
分享
07-07 12:47
门头沟学院 Java
码农索隆:竟然还真有卡体检报告的
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
06-21 11:33
昨天是学校最后一场招聘会,鼠鼠去参加了,全场只有一个招聘java的岗位,上来先做一份笔试题,做完后他拿张纸对答案,然后开始问简历上的问题,深圳小厂,6-8k(题目如下),后面还有两轮面试。然后我就在招聘现场逛呀逛,看到有公司招聘电商运营,给的比上年的小厂还多,鼠鼠就去了解了下,然后hr跟鼠鼠要了份简历,虽然我的简历上面全是求职Java开发相关的内容,但是hr还是鼓励我说没关系,她帮我把简历给老板看看,下周一会给我通知。招聘会结束后鼠鼠想了一段时间,也和朋友聊了聊,发现我可能是不太适合这个方向,然后就跟爸爸说回家了给我发条微信,我有些话想跟他说说。晚上爸爸到家了,跟我发了条微信,我立马跑出图书馆跟他打起了电话,这个通话长达一个小时,主要是跟爸爸坦白说我不想找这行了,是你的儿子太没用了,想试试其他行业。然后爸爸也跟我说了很多,说他从来没有希望我毕业后就赚大钱的想法,找不到就回家去,回家了再慢慢找,实在找不到就跟他干(帮别人装修房子,个体户),他也知道工作不好找,让我不要那么焦虑,然后就是聊一些家常琐事。对于后面的求职者呢我有点建议想提一下,就是如果招实习的时间或者秋招开始,而你的简历又很差的情况下,不要说等做好项目填充完简历之后再投,那样就太晚了,建议先把熟悉的项目写上简历,然后边投边面边完善,求职是一个人进步的过程,本来就比别人慢,等到一切都准备好后再投岂不是黄花菜都凉了。时间够的话还是建议敲一遍代码,因为那样能让你加深一下对项目的理解,上面那些说法只是针对时间不够的情况。当然,这些建议可能没啥用,因为我只是一个loser,这些全是建立在我理想的情况下,有没有用还需其他人现身说法。上篇帖子没想到学校被人认了出来,为了不丢脸只能匿名处理了。
KPLACE:找研发类或技术类,主要还是要1.多投 2.多做准备,很多方面都要做准备 3.要有心理准备,投累了就休息一两天,再继续,要相信自己能找到
投递58到家等公司7个岗位
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务