广东机电职业技术学院
广东机电职业技术学院

应用产品:

统一数据集成平台

学校简介

学校属性(211/985/普本/高职,其他信息)

广东机电职业技术学院坐落在广州市白云区,是一所隶属于广东省教育厅的公办全日制工科类普通高等职业院校。学院办学历史悠久,前身为创建于1963年的广东省农业机械化技工学校,历经“广东省农业机械技术学校”、“广东省农业机电学校”、“广东省机电学校”等发展阶段。2001年,经广东省人民政府批准,学校升格为高等职业院校,翻开了快速发展的崭新篇章。学院是国家“双高”计划建设单位、国家优质高职院校、广东省一流高职院校建设单位、广东省示范性高职院校、广东省依法治校示范校、全国第三批职业院校数字校园建设实验校、广东省安全文明校园、广东省节能型示范高校,2017年获评“全国高职院校服务贡献50强”,2019年获评全国高职院校“育人成效50强”、“服务贡献50强”、“国际影响力50强”、“学生管理50强”。

信息化现状

学校网络与信息技术中心成立于2002年,由综合管理科、网络运维与安全科、信息系统与数据科、教育技术科组成。近几年通过省一流院校建设子项目智慧校园建设实现了校园网万兆主干互联、千兆桌面接入、有线无线全覆盖的校园网络,信息点38000多个,支持WiFi6、IPv4和IPv6双栈接入的高速灵活安全泛在校园网络;现有283间演示型、交互型和录播型多媒体教室以及2间全功能智慧教室,满足学校多种教学模式的需求;同时,建设了人事系统、教务系统、财务系统、资产系统、OA系统、网络教学与课堂管理平台、一卡通等多个管理信息系统。

业务系统及数据现状

2011年学校建设了数字化校园三大平台,数据共享中心实现了多个系统之间的数据交换,但由于数据标准未在全校强制执行、数据权威来源部门不明、数据流通不充分、数据应用受局限、管理缺规范等因素,制约了学校数据服务能力和信息化服务水平,具体表现如下: 

1.数据缺标准:目前的数据标准内容覆盖面不够全面,尚未在全校强制执行,导致数据互通存在一些问题。

2.来源缺权威:很多重要数据缺乏有效、权威的来源部门,数据的准确性、及时性、完整性缺乏有效保障。这将导致流程信息不准、运行出错。

3.流通不充分:线上数据内容的采集不够全面,一些流程运行所需的数据并未采集,还散落在全校各个系统的数据库中,有的还在线下的电子表格文件中,流转使用非常不便。

4.应用受局限:当前数据中心的数据服务手段比较单一,只能通过数据库方式提供数据服务,对于智慧校园的整体架构、移动端运行不够友好,数据层与应用层耦合太紧密,相互制约影响,不利于应用的快速开发上线。

5.管理缺规范:在管理层面,各部门对于数据的重要性认识不够到位,在数据管理的规范性、安全性、权威性方面缺乏规范指导,导致数据作为一种潜在的重要资产其价值尚未得到充分发挥。


客户需求与愿景

针对以上现状,本次项目学校主要以“双高”“一流校”建设为背景,围绕“双高”分析、师生个人中心等应用,对数据资产的采集、清洗、共享、检测的全生命周期进行有效管理。本项目建设完成后需为学校各业务部门的信息化系统建设与发展提供精确的共享数据,提升数据服务水平,解决数据分散、数据不规范、不一致的问题,通过对数据资产全生命周期的管理,构建数据安全体系,为全校师生提供整体、局部或个人数据服务,为学校管理工作提供基于数据的辅助决策支撑。

客户痛点刨析

   2019年,广东机电职业技术学院成为国家首批 “双高”计划建设单位,根据建设计划要求,学校规划了学校各方面五年建设目标,并希望建设一个可视化的学校建设质量监测平台,方便学校领导及时掌握了解学校各方面进度和目标指标值的差距。然而,虽然前期学校做了数据共享库及初步的数据治理,但学校共享库中的数据仍然存在数据覆盖面不足,数据质量不高,数据标准未执行等数据层面的顽疾问题,无法满足学校“双高”监测平台的数据需求。因此,19年底学校启动了数据治理一期工作,建设学校的全域数据仓库,同时通过建设数据纠错补录系统提高数据质量,丰富数据维度。最终根据“双高”指标要求,通过可视化平台实现指标的监测展示。

客户需求

1,盘点数据资产,建设全域数据中心。本次项目需要在前期学校数据共享库的基础上,对学校现有的业务系统的全量数据、散落在各业务部门的离线表格数据进行彻底的盘点采集,真正形成涵盖学校所有有价值数据的数据仓库。

2,数据的采集补录,提高数据质量和维度。因学校各业务系统建设时间、使用情况不尽相同,业务部门离线数据格式也不标准,因此本次项目需使用纠错补录系统,尽可能补充提高个人数据质量。同时,很多过去靠运动式填报的数据,本次需进行补录采集, 

3,“双高”指标计算展示。“双高”建设是未来几年学校建设的重点任务和目标,因而对各指标的改进进度进行监控显得异常重要。顾本次项目根据学校“双高”评价指标,结合数据治理形成的全域数据中心,对各个指标进行深入分析计算并通过可视化平台进行实时展示,充分掌握各指标变化情况,为学校提供决策支持。

2.3 需求背后的原因

学校业务系统使用状况有限,部分数据没有业务系统,无法有效支撑“双高”展示,如获奖等数据的佐证材料,所以,本次需将相关数据统一采集,统一分类管理,支持后续所有相关业务直接使用。

2,“双高”建设是学校当前最重要的任务,学校领导希望及时准确的了解学校当前各指标值跟双高要求的差距,同时在相关项目建设过程中也可以随时监测各指标的动态变化,方便及时调整建设方向和规划,尽早达成双高建设目标。


建设方案及目标

建设目标

(1)建设全生命周期数据治理体系

通过实现对数据资源的全生命周期管理,包括数据标准、数据采集、数据仓库管理、数据质量监测、数据接口开放、数据资源发布、服务状态呈现、数据应用分析等各方面,建设全生命周期数据治理体系。

(2)提供全功能的数据接口

使用安全、先进、便捷的技术手段提供数据接口,包括编程接口、数据库接口、消息接口、文件接口等多种在线、离线方式,为数据应用场景提供服务。

(3)为全方位业务场景提供数据支撑

全域数据中心建成后,需要为信息门户、微服务、决策支持、软件开发、数据共享、数据填报等各种场景提供数据服务,通过准确详实的数据保障各项业务顺利进行,减少数据协调所耗费的精力和成本,协助领导层通过数据分析及时准确的掌握学校的各项情况,为管理和决策过程提供数据支持。

(4)通过制度建设确保长效机制

通过建设数据管理规范和制度体系,从根本上解决当前存在的各种数据管理问题,实现“一次治理、长期受益”的长效机制。

(5)通过数据治理建设为“双高”等应用提供支持

通过多维度的数据采集、集中和治理,使数据表达规范,内容准确、维度完整,形成标准统一、分类清晰、质量可信的数据仓库和数据集市,为“双高”应用提供支持,辅助提升办学水平和服务能力。

建设方案

建设方案及目标

1,全维度数据采集与治理

要实现全生命周期数据治理体系需首先完成数据的全量采集,且要求覆盖的数据维度和内容尽量全面,因此需要将对散布在全校的各种有价值数据进行识别和采集。从数据来源上,主要存在两种形式的采集方案:

1)线上业务系统数据采集:包含人事、教务、资产、财务等全量业务数据采集,其中约20张服务于“双高”指标分析。

2)线下(离线数据采集):存在于学生工作处、继续教育学院、科技产业处、计划财务处、网络与信息中心等9个业务部门的离线数据,完成约50多张表的设计与填报工作;同时,针对教师个人相关数据,通过教师个人数据中心完成数据的纠错与补录。

其次数据采集后,按照3个层次的顺序进行集中、清洗、归类和组合:

1)数据湖层:这一层实现数据的汇总集中。

2)数据仓库层:这一层实现数据的标准化、质量提升和结构整合,并进行历史数据存档。这一层是数据资产化管理的主要层级。

3)数据集市层:这一层是将数据按照各个应用所需的内容和形态进行定制组合,便于应用厂商准确定位、快速调用、防止其访问到无关数据,保证数据的有效性、安全性。这一层是数据与应用对接的主要层级。

2,提供全功能数据连接

通过希嘉统一数据开放平台,提供4种数据连接功能向应用系统和个人用户供应数据:

1)API调用:开放特定数据接口(即API)的访问权限,供应用程序通过代码调用数据。

2)数据库连接:开放部分数据表的连接权限,供应用程序通过数据库客户端程序直接连接到数据库上读取数据。

3)数据推送:通过ETL软件将各个应用所需的数据推动到中间库中。

4)电子表格离线下载:将数据表转换成电子表格文件供使用者下载后离线使用。

3,全生命周期管理

配置5类软件实现对全域数据的采集、治理、管理、发布应用:

1)数据采集软件:这是对数据集中过程进行数据搬运、转换的软件。包括数据集成管道、离线数据填报工具。这些工具将数据从来源系统抽取到数据湖中,并通过抽取、转换、加载过程实现各个业务系统之间的定时数据同步和推送。

2)数据仓库管理系统:这是对数据治理过程进行知识图谱管理的软件。对数据标准、代码标准、数据结构、数据属性、数据血缘关系、数据质量、数据接口等方面进行管理。

3)统一数据开放平台:这是将治理完成后的数据与应用之间进行对接的软件。包括对数据的注册、封装、发布、授权、安全策略、调用监控等功能。

4)数据智能门户:将数据资产面向全校各部门、各应用厂商进行呈现,并通过这个入口进行浏览、连接的软件,是信息中心与全校各部门关于数据资源进行管理互动的重要软件。各个不同的数据使用方可以在该环境中查看学校发布的数据标准、可供访问的数据资源,以便在线申请使用。各个部门可以查看该部门提供数据的情况、获取数据的情况、数据存在的质量问题和改善进度、数据在全校流动的全生命周期信息等。

5)数据纠错补录与数据可视化平台:以数据中心数据为基础,通过数据纠错补录系统配置个人数据中心,实现数据的纠错补录;同时通过希嘉数据可视化平台datasight,实现“双高”指标的计算及图形展示,校内各角色可通过改平台实施掌握学校各指标进展情况。


建设成效与价值

建设成效(现状与成果对比)

项目自2020年3月启动实施以来,六个月时间已采集学校八个业务部门的26个业务系统中的2717个数据表,数据湖数据量已达一亿条以上,此外,收集了16个业务部门,240+张离线表格数据,基本摸清学校数据家底。同时,完成了学校20多个业务部门数据业务调研,进一步摸清了学校数据现状与需求。

在形成的全域数据仓库上,通过个人纠错补录系统,进行了多轮的师生数据纠错采集,优化了数据质量,形成了数据质量的闭环管理机制,尤其是对个人获奖数据及佐证材料等之前学校需要运动式重复填报的数据进行了细致完整的收集整理,有力的支撑了学校数据共享交换。同时,基于全维度高质量的数据中心,完成了学校“双高”指标监测平台的建设。

客户价值(定量/定性,经济效益或者社会效益,满意度与评价)

1,借助“双高”建设推动,有效推动了各业务部门配合度,真正实现了数据的全面采集、整理;

2,大量的离线数据及佐证材料的收集整理,有力支撑了学校各种上报数据需求,获得其好评;

3,基于坚实的数据底座,“双高”指标监测平台完整、及时、准确呈现了学校各方面指标数据,给学校领导提供了相对可靠的决策支持。

部署产品清单
统一数据开放平台
统一数据仓库管理系统
DataSight数据可视化平台
统一数据集成管道系统(ETL)
离线数据填报工具
一表通系统(数据纠错补录系统)
统一数据智能门户