新闻详情

问答集锦 | 数据治理的基础之数据识别及知识库的建设

我们将每期线上沙龙中,老师们最关注的问题做了摘录,供大家交流探讨。本期是关于2020423数据治理的基础之数据识别及知识库的建设一期的精彩问答回顾。

 


问题一

如果表里面有主键的话,我们可以做增量采集,如果它没有主键的话,我们就得做全量了,我想象不出来是哪些表没有主键?


其实我们在做数据治理项目中,遇到很多业务系统不知道是设计上的遗漏或是其他原因,会发生没有主键的情况。包括一些基本类的信息都会缺少主键,即在我们数据库的结构上,找不到主键约束这一条。所以我们采集数据的时候,只能人工将主键添加在数据湖中,通过多个字段区分唯一性,来生成主键。在业务系统里面,其实它的数据库是没有设计主键的。

这也涉及到此前讲过的管理制度,业务厂商在设计时,学校可以对其有一定约束和要求,要求其设计能够符合数据库的数据规范。

 


问题二

在进行原字段识别的时候,有主键的表和无主键的表采集方式不一样,具体有什么区别?


我们通常去做数据采集,比如我们用ETL工具去做数据采集的时候,需要做像增量采集,或者像ODI里面CDC,采集对象是一定要有主键的。我们在数据识别的时候会发现,有些业务系统数据库的数据,没有设置一个主键,我们在采集的时候,就没有办法找到唯一的记录,所以就没有办法做增量采集,只能退而求其次,要把这部分数据采集过来,每次采集都需要全量采集,进入我们的数仓

 


问题三

这里所说的中间库也是一个数据库环境吧?比如Oracle的环境?


中间库是这样的,例如学校现在有一个教务系统,其他的厂商要做数据采集,学校不想把业务系统暴露给他。一般会在业务系统数据库前再创建一个数据库,这个数据库有可能是Oracle,也可能是SQL Server,需要跟业务系统属于同一类型。将需要的一部分表,或者允许看到的一部分表做封装,放到中间库中。这样实现只有权限看中间库,而看不到生产库。

因此,在做业务识别的时候,因为只能看到中间库,而中间库的数据做了一部分修改,像经过了装饰一样,采集的数据可能就会有遗漏,包括数据的遗漏或者属性上的遗漏,对实际识别工作会造成比较大的影响。

 


问题四

按理说从生产部往中间部同步的话,应该是全校同步,你们是否遇见过修改后同步的情况?


从生产库往中间库同步一般是全量同步,数据可能不会修改,但它会少一部分的字段。举个例子,像学生基本信息可能有30个字段,业务方只想给你看其中的8个、10个,那么给到中间库的数据就只有这几个字段,完整的内容不会提供。


 

问题五

在做这个数据转换的时候,比如二进制,是在数据库SQL语句里面转换的吗?还有0011这种,怎么转换成3-20周?


数据库自带的函数只能做到十进制和二进制之间的转换。要想实现业务上的功能只能通过存储过程或者函数的方式实现,一般是函数的方式把这个具体的几到几周转换出来。

 

 


相关下载
11
/
09
2020
由国际数据管理协会(DAMA)中国指导的“2020 DAMA中国数据管...
09
/
27
2020
2020年9月25日,在羊城广州,由中国高等教育学会教育信息化分会指导...
07
/
09
2020
2020年7月8日,希嘉亮相“华为云云市场 · 新生态在线直播系列活动...
07
/
07
2020
随着互联网+时代的到来,互联网+教育已经慢慢进入各高校。一批有着智慧校...