西南交通大学
西南交通大学

应用产品:

统一数据集成平台

学校简介

学校属性(211)

西南交通大学是教育部直属全国重点大学,国家首批“双一流”“211工程”“特色985工程”“2011协同创新计划”重点建设并设有研究生院的研究型大学, 参与卓越工程师教育培养计划、国家大学生创新性实验计划、国家建设高水平大学公派研究生项目、新工科研究与实践项目、中国政府奖学金来华留学生接收院校、首批高等学校科技成果转化和技术转移基地、援藏计划培养单位,为中欧精英大学联盟成员。

信息化现状

截止2020年中,学校基本已经覆盖了传统的大多数业务系统包括,人事 、学工(宿管)、教务、财务、资产、一卡通 、图书馆 、档案管理 、OA 、迎新 、离校、视频监控 、科研 、三大平台 、站群 、研究生等业务系统,但是各个业务系统之间数据交互,基本还是依靠点对点方式,原有金智建设的共享库,没有发挥价值,数据共享迫在眉睫。

同时各系统标准不一、数据管理各自为政,数据质量无从下手,数据交换协调困难,导致 “智慧校园”建设,无法落地。

业务系统及数据现状

学校现有30个主要业务系统的建设,积累了一定的信息化资源以及应用服务,解决了部分业务管理工作,提升了业务管理水平,积累了大量业务数据。各个业务部门基本都已经实现了信息化办公。实现了数字化校园的构建。

序号

系统名称

管理部门

备注

1

人事系统

人事处


2

研究生系统

研究生院


3

一卡通系统

信息化与网络管理处


4

支付宝中间库

信息化与网络管理处


5

外事系统

国际合作与交流处(港澳台事务办公室) 国际教育学院


6

就业系统

招生就业处


7

科研系统

科学技术发展研究院


8

档案系统

档案馆(校史馆)


9

旧迎新系统

党委学生工作部(学生工作处)


10

新迎新系统

党委学生工作部(学生工作处)


11

旧离校系统

党委学生工作部(学生工作处)


12

新离校系统

党委学生工作部(学生工作处)


13

资产管理系统

资产与实验室管理处


14

大型仪器设备开发共享平台

资产与实验室管理处


15

化学品与材料采购平台

资产与实验室管理处


16

实验室安全考试系统

资产与实验室管理处


17

实验室教学系统

资产与实验室管理处


18

实验室安全管理系统

资产与实验室管理处


19

公寓系统

资产与实验室管理处


20

公房系统

资产与实验室管理处


21

图书馆管理系统

图书馆


22

OA系统

党政办公室


23

心理中心系统

心理研究与咨询中心


24

学工系统

党委学生工作部(学生工作处)


25

第二课堂、会议室系统

教务处


26

体育部系统

体育工作部


27

财务系统

计划财务处


28

教务系统

教务处


29

门禁系统

信息化与网络管理处


30

统一身份认证

信息化与网络管理处


 

客户需求与愿景

客户痛点剖析

学校在“十三五”规划中,信息化建设目标是要从“数字化校园”阶段迈进“智慧校园”阶段。相比传统的数字化校园,智慧校园的核心特征是“以流程为中心转向以数据为中心”和“以管理为目标转向以服务为目标”。“智慧校园”无疑是一个美好的图景,但“智慧校园”的高质量运行需要多维、完整、准确的数据来支撑。而学校的信息化应用建设还存在“重流程、轻数据、标准不完善”等问题,离实现“智慧化校园”还有不小的差距。具体表现在:

【1】数据标准不完善,共享受到限制

学校各种管理信息系统建设较早,业界并未形成遵循统一数据标准规范的开发背景,各个厂商采用的数据定义、代码集、计量单位、表达格式、编码方式等均自成一体,虽然后期做了共享库,解决了部分问题,但是面对未来学校大数据分析应用的需要,无法有效支撑,需要进行全量数据治理,形成我校统一的数据标准,不但解决数据共享问题,同时通过标准指导业务系统的建设,把标准建设真正落地;

【2】数据维度单一,业务分析受限

学校的共享库只采集了业务系统中的部分数据,只能满足简单的数据交换需要,对于规划建设的学生画像和校长驾驶舱等大数据应用,现有共享库无法支撑应用的有效落地。

【3】数据质量不高,信息难以整合分析

各个业务系统运行时,由于种种原因(功能缺陷、管理缺位、操作不当等),各业务系统中的数据质量常常存在各种问题。例如,数据项缺失、数据结构化不良、无效枚举项、错误表达格式、数值错误等。以及各种线下电子表格数据或是纸质资料等流失,数据的完整项性无法保障,更无法支撑业务分析;

【4】数据协调困难,难以充分利用

当共享库中的数据不能满足使用需要的时候,我们就需要协调多个业务系统,而系统的维护大多为应用厂商,导致数据协调周期长、整个过程“黑盒运行”,每当数据需求有小的变动,都需要厂商协助解决,无自主性可言,同时每提供一个接口,都会产生高额的“接口费”,给数据协调带来巨大的困难,更无法满足数据的使用要求。

【5】数据共享缺乏管控,数据安全面临风险

传统的数据中心模式下,部分数据实现了初步的整合,并向一部分业务系统提供数据交换共享。但这种模式下的数据共享管理存在管理难点和安全风险。数据的供应只有一种方式,即通过对数据库的配置发布表或视图来提供数据。这种方式的弊端在于:大量的数据库连接配置增加了数据管理的工作量和难度,而数据发布过程中难以监控数据的调用过程、频度、用量等,无法发现和阻止对数据的不当使用,对数据安全管理造成不小的威胁。当管理人员岗位变动时,新接手的人常常无法判断每个接口的作用和业务属性,造成故障排查困难、维护不便。

学校作为数据产生、拥有和使用的主体,面对这些纷繁杂乱、若隐若现、捉摸不定的数据,难以实现关联、统计、分析、挖掘,无法形成整体视图,数据的价值得不到充分开发利用,管理水平难以提升,重要决策难以支撑。这种情况下,“智慧校园”的推进难以获得明显的成效。因此,数据治理已经成为迈向“智慧校园”的过程中,必须经历和完成的一项重大工程。

客户需求

基于“教育信息化建设2.0”的要求,以及学校“十三五规划中,完成由数字化校园到智慧化校园的转变”,急需要解决以上问题,希望通过数据治理过程,建设体系较健全、数据内容和维度相对完整、数据内容规范可信的新一代数据中心,并采用完整齐全的软件体系对数据资源进行管理、维护、更新和服务,具体包括如下内容:

1.构建全域数据中心

通过全维度的数据采集、集中和治理,使数据表达规范,内容准确、维度完整,形成标准统一、分类清晰、质量可信的数据仓库和数据集市。

2.建设全生命数据软件管理体系

通过各种软件实现对数据资源的全生命周期管理,包括数据采集、数据仓库管理、数据接口开放、数据资源发布、服务状态呈现等各方面。

3.实现全功能的数据技术接口

使用安全、先进、便捷的技术手段提供数据接口,包括编程接口、数据库接口、消息接口、文件接口等多种线在线和离线方式,为各种数据应用场景提供服务。

4.支撑全方位业务场景落地

学校日常运行、管理、决策过程中,几乎每一种活动都与数据息息相关。全域数据中心建成后,需要为师生服务大厅、移动校园、信息门户、微服务、决策支持、软件开发、数据共享等各种场景提供数据服务,通过准确详实的数据保障各项业务顺利进行,减少数据协调所耗费的精力和成本,帮助领导层通过数据分析及时准确的掌握学校的各项情况,为管理和决策过程提供数据支持。

需求背后的原因

利用“数据治理工程”驱动,从“数字化校园”到“智慧校园”的彻底转变,实现以“人”为管理核心,服务西南交通大学,通过数据的整合,计算,分析,决策为师生用户服务,利用数据整合能力,彻底拜托依靠经验,提供决策的诉求。

建设方案及目标

建设目标

基于上述问题,希望通过数据治理过程,建设体系较健全、数据内容和维度相对完整、数据内容规范可信的新一代数据中心,并采用完整齐全的软件体系对数据资源进行管理、维护、更新和服务。

本项目的总体建设目标有:

1.通过数据治理建设全域数据中心

通过全维度的数据采集、集中和治理,使数据表达规范,内容准确、维度完整,形成标准统一、分类清晰、质量可信的数据仓库和数据集市。

2.建设全生命周期管理数据软件体系

通过各种软件实现对数据资源的全生命周期管理,包括数据采集、数据仓库管理、数据接口开放、数据资源发布、服务状态呈现等各方面。

3.提供全功能的数据技术接口

使用安全、先进、便捷的技术手段提供数据接口,包括编程接口、数据库接口、消息接口、文件接口等多种线在线和离线方式,为各种数据应用场景提供服务。

4.为全方位业务场景提供数据支持

学校日常运行、管理、决策过程中,几乎每一种活动都与数据息息相关。全域数据中心建成后,需要为师生服务大厅、移动校园、信息门户、微服务、决策支持、软件开发、数据共享等各种场景提供数据服务,通过准确详实的数据保障各项业务顺利进行,减少数据协调所耗费的精力和成本,帮助领导层通过数据分析及时准确的掌握学校的各项情况,为管理和决策过程提供数据支持。

建设方案

本期项目建设方案整体架构图如下:

建设方案及目标

内容一:一体化的软件体系构建;

1、统一数据集成管道:以校级数据标准为依据,将线上管理数据、线下管理数据和日志类数据进行全域采集,通过数据治理工程形成标准化全域数据中心,由统一的数据开放平台进行管理并提供中心化数据服务。

2、统一数仓管理系统:对数据治理过程中涉及数据标准、元数据信息、数据质量、数据采集交换接口等内容进行管理维护的软件,使数据管理人员能够直观、方便的了解数据的结构、内容、质量、接口状态等信息,对数据标准、数据历史存档、数据质量检查计划进行配置维护等操作。

3、 统一数据开放平台:提供全场景、高安全的数据资源开放能力,使数据资源管理线上化,提供数据发布服务以及为管理员审核数据申请提供统一的管理平台,实现数据的统一管理、统一发布,提高数据对接效率,降低数据调用协调难度。

内容二:全生命周期的数据治理服务;

1、数据治理服务:、为了让学校对数据进行有效管理,规范化操作等要求,数据治理服务根据学校的实际要求,实现数据标准落地、完成从数据采集、治理、清洗、转化,标准化操作,形成主题数据集市,提供给业务应用使用的全省型周期;

2、数据资源管理服务:将数据资产向数据使用者、数据管理部门进行线上发布、提供数据内容检索、数据交换状态查看、数据供需情况查看、数据质量改进跟踪等功能,从而实现我校对数据资源的自主监控、自主操作、自主服务和全生命周期管理。

内容三:以“人”为本的大数据分析;

1、学生画像:从多给维度对学生在校的行为进行分析,个人展示,包括个人基本信息,个人综合画像,个人学业成绩、研究成果、考勤分析、行为分析、校内轨迹等;

2、领导驾驶舱:综合呈现基本校情、资产主题、人事概况、学生主题、图书主题、校内消费主题等,反应整体的学校现状;利用数据图表直观形象地展示领导关注的核心指标,形成全局分析结果呈现;


建设成效与价值

建设成效(现状与成果对比)

本期建设方案帮助学校打通了30个系统数据孤岛问题,完成了4类日志数据的采集,明确了数据来源、统一了30个系统相关数据标准、完成了数据中心架构搭建、提升了数据质量、实现了数据资产可控共享、提升了数据管理监管能力、让数据价值得以初步体现。并且基于“人”的管理需求,实现了大数据分析,包括学生画像和领导驾驶舱,从全局角度,精准管理,指导决策。


成效一:对全校的整体的提升

(一)统一数据标准

首次在全校明确了统一的数据交换规范,使部门之间数据交换时有了统一定义和统一代码(如部门编码、专业代码、性别代码等),实现了“书同文、车同轨”,为消除数据孤岛做好了准备。该标准将会成为我校今后长期使用的规范性文件。

(二)确定数据来源,明确管理责权

首次对全校数据的分布状况、运行状况、数据与管理流程的关系进行了盘点、梳理,确定了各项数据的权威来源,实现了“一数一源”。例如,教职工相关数据、学生相关数据、设备资产相关数据等,均明确了相应的负责部门和管理信息系统。今后当需要使用数据或发现数据有问题时,能够准确定位到相应的对应的部门、岗位,以及对应的MIS业务系统、数据库表、字段。同时,基于这些对应关系,能够在全校建立数据质量管理责任体系,使各部门明确各自负责的数据范围和数据管理责权机制。

(三)消除数据孤岛

通过全量数据为各个管理业务系统提供所需的数据交换,使数据在全校共享流转,保证了各部门、各系统之间的数据一致性、准确性、有效性,从而消除数据孤岛。

(四)数据供应集中管理

对数据进行系统全面的采集整合,进行数据治理和标准化,进入数据仓库进行集中存储。数据仓库分类清晰、便于调用、准确性高、维度完整,可实现全生命周期管理。数据仓库通过数据开放平台成为进行集中管理,为全校提供数据服务。

成效二:对各业务部信息化提升

(一)可利用数据仓库,为日常工作中所需的数据应用提供标准规范的数据(例如流程服务平台、一网通办、协调办公系统及其他应用系统)显著提升工作效率,减少重复工作。

(二)可通过数据仓库快速获取工作所需的各项数据,特别是其他部门供应的数据。这些数据原本难以协调、难以获取、难以解读,或者需要支付数据使用费。现在可直接申请批复即可拿到,显著减少了协调难度和成本。

(三)可通过数据仓库的全量数据进行数据分析、挖掘和可视化呈现,分析管理现状,发现薄弱环节,为提升部门管理水平、精准决策、趋势预测等提供了科学可靠的依据。

(四)可利用数据仓库为今后新上线的信息化系统提供有效的数据,或将原先遗留数据孤岛进行全面打通,实现数据在全校充分流动、充分利用,在这个过程中不断修正数据错误、产生更多新数据,从而不断充实和完善数据仓库的内容,实现良性循环、可持续发展。

成效三:实现“以人为本”的服务理念

(一)数据仓库的高质量数据保证了业务应用服务的高质量运行,为师生在提供了良好数据体验。

(二)数据仓库可支持个人数据中心的运行,每个人都可查看自己在校内的各种数据,及时发现问题错误并纠正数据错误。

(三)老师、学生可以通过资源门户查看自己在全校各部门产生哪些数据,这些数据被用于哪些应用系统,从而了解数据在全校的流动情况、更新情况,出现问题时能够知道找哪个部门解决问题,同时提升对信息化基本原理的具体感知,从意识层面了解并自觉支持信息化建设,提升全校的信息化水平。

成效四:提升信息化部门的服务水平

(一)数据仓库提升了信息化管理部门为全校各部门、各级领导提供信息化服务的能力,是信息化建设的重要成果,是建设智慧校园的基础资源,

(二)数据治理过程中梳理了大量的知识信息,例如数据在全校的分布情况、哪些表和字段是关键数据,数据项之间的调用关系和流动方向,数据存在的质量问题,系统之间的数据如何进行转换、映射等。这些信息将是今后进行全局数据资产管理所必备的知识,为数据平台的高质量运行维护更新提供了重要的参考依据。

(三)数据实现集中管理,今后新上信息化系统时,避免反复向业务部门协调数据,加快了系统上线的速度,同时也避免了接口费的支出,降低了运行成本。

(四)加强运维水平,加快故障感知能力,可以第一时间了解并判断数据流转体系存在问题,为快速解决问题奠定基础。同时,通过数据体系的全局管理,可以督促并指导信息化建设的后进部门加快自身的信息化系统建设、增强部门的信息化使用能力,实现全校信息化水平的整体同步提升。

客户价值(定量/定性,经济效益或者社会效益,满意度与评价)

社会效益:

1、树立区域标杆,提升学校的影响力,引领区域信息化建设示范效果;

2、展现学校信息化进度,提升管理能力和决策能力;

经济效益:

1、各项数据由权威部门及时输出,在信息中心进行规范管理和集中发布,各部门可以通过单一入口查询数据资产目录,可在线申请数据资源调用。

2、所有的数据用户的数据访问过程都在线上进行记录,事前有审批、事中有管控、事后可追溯,实现了数据管理的安全化、规范化。

3、重要的业务系统之间均实现关键数据的定时同步、共享交换,打通数据孤岛、保障数据内容的有效性、及时性。

4、在各种具体的工作场景中为师生提供帮助,提高效率。包括减少重复性的填表、利用数据快速输出各种报表、通过数据分析发现管理缺漏、优化管理策略等。

5、在校级层面,数据资产的准确性、权威性还将为领导层的重要决策提供科学依据,通过快速输出直观、动态的数据图表、报告,可以帮助校领导洞察事实、发现趋势,从而制定出依据充分、科学合理的治校策略。

总体降低了数据的使用成本,提升使用效率,较快了信息化建设进度。


案例故事

1、改变了传统数据共享服务的模式:

西南交通大学虽然已经建设了共享数据库,但是由于数据的获取,还是采用传统点对点接口方式,申请效率低,维护难度大,导致无法有效使用,共享平台成为摆设: 

首先,数据的供应只有一种方式,即通过对数据库的配置发布表或视图来提供数据。大量的数据库连接配置增加了数据管理的工作量和难度;

其次,数据发布过程中难以监控数据的调用过程、频度、用量等,无法发现和阻止对数据的不当使用,对数据安全管理造成不小的威胁;

第三,当管理人员岗位变动时,新接手的老师无法判断每个接口的作用和业务属性,造成故障排查困难、维护不便。

为了解决数据的共享问题,本次项目利用全域数据中心的全场景开放手段,以API、数据库连接、文本文件、以及兼顾传统ETL方式,对外提供服务,不仅保障了数据的及时性、便捷性、安全性,也保障了信息中心能够对学校数据进行全方位管控。

2)、支撑业务应用快速落地

截止项目验收,已有支撑多个业务应用顺利上线,包括智慧教学服务平台、巡查系统、化学品与材料采购平台、交大年审备案管理系统、学生画像、领导驾驶舱等,并且业务系统的建设,全程实现线上化数据申请和审核操作,效率高、上线快。相比传统方式,数据的申请、审核效率提升了5倍以上,同时可以结合业务应用,自主定义主题数据集,加快业务应用的上线效率;平台提供多种数据申请方式,包括API、SQL、ETL、离线文件,满足多类型业务应用的数据使用需求。

3)、数据检测闭环提高数据质量:

虽然数据的维度不少,但是能够直接拿来利用的高质量数据很少,数据的质量普遍偏低,无法有效支撑决策分析,为了保障数据的高质量,西南交通大学利用数据治理手段,通过调研、检测等手段确定数据的质量问题,同时实现数据流转,让数据用起来,实现数据与个人见面,当发现数据问题时,有个人发起数据纠错,实现数据人人使用,人人提升的策略,同时,利用数据质量检测机制,提供质量检测报告,由源头部门,结合数据质量检测成果,针对性实现数据质量提升,形成良性循环,提升数据质量。

4)、数据分析价值凸显

西南交通大学,注重提升“以人为本”的理念,提升服务意识和服务能力,以数据治理成果为抓手,实现个人画像建设,构建了领导驾驶舱,提升展示决策分析维度,实现精准决策。例如:学校在历年的学生管理工作中,基本都是依靠经验,调整管理思路和策略,主要原因是因为,无法实现多类型数据的打通,缺少数据关联决策的能力,学生画像应用,从全局展示了个人在校期间的成绩、喜好、到课率、个人的轨迹信息等,对自身有明确的认知,提升自我管理意识;领导可以通过学生综合画像,了解学生近期的学习状态和学习成果,围绕学生管理工作展开大数据服务,辅助学工队伍进行精准管理、精准服务和精准教育。让校领导随时随地了解教学成果,修订管理思路,达到教学管理的目标;。


部署产品清单

序号

类别

产品/服务名称

数量

单位

1

数据平台及工具

统一数据集成管道

1

统一数仓管理系统

1

统一数据开放平台

1

2

数据治理

数据标准制订服务

1

30个业务系统数据治理服务(包括数据采集集成、质量检测服务、数据清洗服务、共享交换建设、标准数据集建设、主题应用数据集建设、历史数据存留服务、数据资源管理服务)

1

4种日志数据处理服务

(上网认证日志、无线Wi-Fi日志、URL日志、NAT日志)

1

3

数据应用

学生画像

1

领导驾驶舱

1