成功案例

Case

案例详情

希嘉数据开放平台实现智慧校园数据实时服务

 ——西安电子科技大学数据开放的进化历程


西安电子科技大学

1、客户简介

西安电子科技大学是以信息与电子学科为主,工、理、管、文多学科协调发展的全国重点大学,直属教育部,是国家“优势学科创新平台”项目和“211工程”项目重点建设高校之一、国家双创示范基地之一、首批35所示范性软件学院、首批9所示范性微电子学院、首批9所获批设立集成电路人才培养基地和首批一流网络安全学院建设示范项目的高校之一。


2、项目背景

西安电子科技大学2017年前已经建成了比较完善的校园网基础设施,也完成了三大平台和大部分业务系统(近60个)的建设工作,已取得主要建设成果如下:

1、 学校建成的共享交换平台已完成近20个主要业务系统(财务<23张表>、教务<35张表>、科研<36张表>、人事<97>、图书馆、团委、校友、一卡通、资产、本科生系统<53张表>、科研院<8张表>、研究生等系统)五百余张数据表的集成工作,其中上行ETL接口近300个、下行ETL接口600余个,基本满足了所有业务部门的数据共享交换需求。

2、 学校的大部分业务系统(近60个)也实现了统一身份认证,相关新闻和信息也基本都集成到了统一信息门户。

3、 一站式服务大厅已可以完成近60项服务的咨询和办理,通过移动校园APP(i西电)也可以完成近30个业务的查询和办理(集成的服务主要包括成绩查询、新闻公告、工资财务、调查问卷、办公电话、学校概况、一卡通、投票、学长帮忙、就业招聘、空闲教室、图书馆、邮箱、课程表、校园网、校车、故障报修、校园导览、校历、缴费平台、科大报、车辆认证、教务考勤、生活指南、安全微伴、校园GIS)。


3、建设内容

虽然西电的信息化建设已经取得了不错的成绩,但是随着学校全面推动由传统教学向信息化教学方向的转变,学校业务需求也从以“管理为目标向以服务为目标”和“从以流程为中心向以数据为中心”的转变,原有的技术架构已无法满足学校新的业务需求,在这样的大背景下西电的信息化建设工作也在业务需求的驱动下不断完善。具体可分为如下三期:


第一期:扩展数据维度

2017年6月1号随着《网络安全法》的颁布:要求采取检测、记录网络运行状态、网络安全时间的技术措施,并按照规定留存相关的网络日志不少于六个月;西电也提出了通过网络日志数据进行学校网络环境的安全监测和辅助学校科学研究的需求。

因此本期希嘉为西电提供了基于分布式存储计算架构(hadoop)的日志数据处理系统,将学校近10类日志数据进行集中采集、结构化解析存储和按需计算供给,西电近10类日志数据每天可产生700G的数据,截至目前经过近三年的运行已为学校存储了PB级的日志数据资产,日志数据先后被提供出去支撑了学校科研老师的科学研究(防火墙数据分析师生上网时长和喜好),支撑了学校网络态势感知的分析(提供了山石防火墙、华为BAS、绿盟WAF、深澜认证、汉领NGDAP数据库防火墙等几类设备的日志数据),支撑了学校学生安全管理等使用场景,当前网络日志数据已成为学校数据体体量最大且不可或缺的数据资产。


第二期:解决数据使用瓶颈

2018年初西安电子科技大学校制定了信息化“五个一工程”建设目标,但是支撑这个目标实现的所有的数据交换需求基本都需要通过信息中心的数据管理员来完成,随着学校各科研部门、业务科室和三方开发者对数据使用需求和频次的指数级增加,信息中心数据管理员已成为了阻碍学校数据正常流通的瓶颈所在,具体表现在:


1、 工作吃力不讨好:学校每天少则几十次多则近百次的数据调用需求,需要信息中心3位数据管理员几乎全部的办公时间都耗在(查找数据—》整合数据—》沟通数据推送方式—》推送数据—》解释数据含义—》解决数据质量问题)的无尽循环中,而且大多数数据申请需求申请的数据是一样的,例如统一身份认证基本只会用到人员信息表、组织架构表、一卡通账号、照片和外链表的数据,但是我校158个系统或应用做统一身份认证都需要用到这几张表的数据,这就导致我校数据管理员不得不将大量的精力花在这单调重复的工作中,即使信息中心工作量这么大数据需求方遇到数据推送不及时或者数据质量不满足需求的问题都把责任归咎于信息中心工作没做到位。


2、 数据供给方式单一:通过ETL推送方式对外提供数据的方式,时间一长由于推送的中间库太多,给多少个中间库提供了哪些数据、数据是否有被继续使用,都无法自动留痕管理,给数据的安全带来了很大的隐患。


3、 数据实时性得不到满足:ETL数据推送方式延时比较大,像课表查询、工资查询、考勤等对数据实时新要求较高的需求武大得到满足。


以上问题得不到解决不仅无法满足学校的正常数据使用需求,而且各数据需求方对信息中心提供数据服务的满意度也日益下降。因此希嘉第二期为西电提供了统一数据开放平台及相关服务来帮助学校解决当前数据使用过程中遇到的问题,具体如下:


1、 工作轻松又讨好:统一数据开放平台可以统一注册管理学校多源异构数据库中的数据资产,可以将数据资产向淘宝商家销售商品一样呈现给数据申请者,让数据中心的管理人员可以从传统的查找表格、提供接口、同步数据的方式解放出来,只需要对数据的申请方进行管理、审核和检测即可。可以将更多的精力放在数据资产质量的把关、数据资产全面性的审核和补充上,同时也为众多数据申请者简化了数据申请流程,节约了数据申请时间。


2、 多种数据供给方式:统一数据开放平台在ETL推送数据的基础上基于不同业务场景又扩展了以下三种数据供应方式平:

 西安电子科技大学

(1)事务/分析应用建设:以标准数据API接口开放,屏蔽异构的数据源类型。并通过线上开发者中心提供完整的API集市、调用文档、示例等服务。

(2)BI可视化分析构建:提供数据源连接开放,可线上登记申请,同时为学校提供管控功能。

(3)师生用户数据服务:提供文本数据开放服务,申请审核通过后直接生成Excel、TXT文件,方便不具备开发能力的校内用户也可以快速获取全面的实时数据。

三种方式都支持数据的一次发布、多次使用,(例如:类似统一身份认证数据只发布一次即可被申请者自主调用无数次),同时使用过程全部留痕(可用于信息中心工作成果汇报),不仅保障了数据的安全性,又支撑了全场景应用生态。


3、 数据的实时性得到满足:以上三种数据供给方式都支持直连源业务系统将数据发布出来供数据申请者调用,源业务系统任意数据的变动,目标系统都可以实时捕获,解决了学校课表查询、工资查询、考勤等众多有数据实时需求的业务场景。


希嘉通过向客户提供统一数据开放平台和对需要发布的数据提供数据治理服务彻底帮助信息中心在逻辑层面构建了“数据一个库”,解决了数据使用瓶颈的问题,用学校马老师的话说:帮他们解放了80%的工作量(原来3个人忙不过来的工作量,现在一个人轻松搞定),同时该平台也降低了数据使用者的数据使用门槛、简化了数据申请流程,提升了用户数据使用体验和满意度,协调数据所花费的时间显著减少,应用平均上线时间从之前的11个月减少到了3.5个月。让数据真正意义上成为资产及时有力的支撑了学校18年“五个一工程”战略目标的落地。18年具体落地成效如下:

●  数据一个库成效:共完成了192张数据表汇聚,ETL上行接口共390个,ETL下行接口共812个,为全校117个系统提供了数据共享。为上层应用通过API共发布了211个API,一年之内支撑了学校51个应用的上线,API被调用总次数超过千万次;

● 认证一个号成效:在数据开放平台的支撑下18年新增近百个系统的统一身份认证对接,共认证系统158个,调用数据表1186张次,业务系统覆盖率95%;

● 管理一张表成效:支撑了学校上线表单59个不同种类,力求推进数据多跑路,提高管理服务效率,全校师生共完成6万多份自主打印。其中支撑学生自助打印本课程成绩单近三万份,研究生成绩单近1.5万分,其他供给1.5万余份;

● 服务一个站成效:通过数据开放平台支撑一站服务大厅上线微应用/服务总数266个,PC总访问量高达62万次,日均访问量达3500+。移动校园APP(i西电)上线微应用/服务百余个,用户数20000+;

● 决策一个键成效:通过数据开放平台支撑了学校自研的《大数据决策支撑平台》辅助管理和决策支持的效果初显,建成了包括教育教学、综合预警、招生就业、精准资助、科研贡献、学生画像、资源使用及人事分析在内的10个主题分析模块,并建立相应的评估评价指标,为精准决策提供支撑。


第三期:实现数据全生命周期管理

2019年初学校在《教育信息化2.0行动计划》指导下,制定了以信息化促进管理服务创新。在“五个一工程”基础上推进落实信息化体制机制升级改造,以保障全校数据实现“互联互通”、全校业务实现“一网通办”、彻底解决师生办事重复填表的信息化建设目标。

对标19年目标要求,经过信息中心对数据资产多年持续的积累和运营后,18年在支撑学校信息化建设目标:“五个一工程”落地方面取得了显著成效,这已经让学校包括校领导、职能部门、及师生在内的广大群体切身感受到了数据带来的红利、感受到了通过数据服务对日常工作和管理服务带来的创新和变革。但随着数据的不断汇聚和使用,仍然在以下几方面发现了不足:


1、 数据质量问题日益凸显

当数据被当做资产用起来后,高频、大量、全场景的数据使用需求会把每一个细小的数据质量问题无限放大,数据资产不全面、数据格式不统一、数据无注释、数据内容错误或者缺失等问题的被动响应让信息中心应不暇接,这又成为了信息中心推进信息化工作新的瓶颈所在,而且该问题的解决已迫在眉睫,学校急需一套数据质量的闭环管理机制来解决日益凸显的数据质量问题。


2、 共性数据萃取不足

学校的整体业务是有很多不同的业务场景共同构建的,在前期的信息化建设过程中,西电信息中心的数据已经能够为业务场景提供数据,但是提供数据需要从不同的数据库表中获取数据,组成场景需要的数据,这种支撑业务场景的方式效率低下,不熟悉业务的数据管理员不能提供具体的数据,只能提供全量数据,导致数据安全管理存在一定隐患。

西电在数据使用过程中发现大多数业务需求所需要的数据比较固定,例如统一身份认证基本只会用到人员信息表、组织架构表、一卡通账号、照片和外链表的数据,但是西电158个系统或应用做统一身份认证都需要用到这几张表的数据,这就导致西电数据管理员不得不将大量的精力花在这单调重复的工作中。

结合西电数据管理员近几年的经验来看当前80%的业务场景事实上都可以由20%具有共性的数据集来支撑(统一身份认证案例),但是由于这些共性的数据表未被归纳整理出来,导致西电数据管理员即使花费80%的精力来准备业务层所需要的数据表,都仍然无法满足业务层应用开发对数据需求的速度。


3、 数据资产不清、流向不明

当前信息中心已经建成了包含全校大部分业务系统主数据的共享数据库,已能够支撑绝大部分的数据共享交换需求,但是因为数据资产不清,数据流向不明的问题给数据的使用带来了众多的困惑,具体表现在:

● 对于校领导:信息中心无法为校领导提供一个直观的展示界面,让校领导可以一目了然的了解学校的数据资产现状、各部门数据提供排名情况、各部门数据质量排名情况、各部门数据标准遵循情况、各部门数据问题解决情况等,让校领导可以在宏观层面实时监督学校数据资产运行现状,为校领导部门问责和关键协调提供决策支撑。甚至校领导自己想要及时了解学校的预决算等数据的统计情况都没有办法及时准确的知道。

● 对于职能部门: 各个部门想直观了解自己到底已提供出去了多少数据,提供的数据支撑了学校哪些业务运行,还有哪些业务需要本部门提供什么样的数据来支撑,本部门需要的数据应该有哪些部门供给?本部门在数据使用过程中遇到的数据质量问题总是不能得到及时有效的解决。业务部门对这些情况都有迫切的知情权,但是信息中心又没法给出准确的答复。

● 对于广大师生:没有渠道了解学校与自身相关的数据资产到底由哪些部门分管,导致好多数据每年都存在重复填报的问题,关键是填来填去最后反馈回来的数据还是有一堆问题,但是就是不能清晰的知道到底应该找谁来核对解决?这种情况导致师生在各部门办事时经常遇到阻碍、浪费了个人时间,或与部门工作人员之间产生不必要的矛盾,而为了协调解决这些问题也给信息中心和各职能部门带来了无尽的烦恼和巨大的工作压力。

● 对于信息中心:信息中心虽然作为全校数据资产供需管理的枢纽节点,但是却缺乏对数据全周期、全流向的有效监管能力;比如信息中心无法及时掌握源头数据的变更情况,这样不仅会使得下游有实时性要求业务场景就没法得到很好的满足(工资条案例),而且这些变更对下游带来的业务影响也无法及时准确的评估。这就会导致作为全校数据枢纽节点的信息中心会成为背锅侠,任何数据问题都是信息中心的问题,导致工作中总是吃力不讨好,信息中心也继续新的技术手段救自己于水深火热之中。

 

以上问题成为了掣肘西电2019年信息化目标实现的主要障碍,因此西电启动了第三期《数据治理与共享》建设项目来解决以上问题,具体建设内容如下:


一、 通过治理提升数据质量

本期项目希嘉完成了西电11个处级单位、38个科室、46个业务系统数据的全面调研,建设了较完善的数据仓库体系(数据湖—》数据仓库—》数据集市三层架构)。治理后基本解决了之前存在的数据质量问题,同时也对数据的全面性、完整性、准确性进行了补充。具体表现在:


1、 输出数据标准及数据管理制度

希嘉通过调研为学校数据了符合学校实施数据标准的西安电子科技大学校级数据标准V1.0和多个配套的数据管理制度。


2、希嘉新建的数据湖中

● 治理前学校老共享库中共有783张数据表、字段数12000+、注释率37%,学校日均处理10余件数据质量相关的问题。

● 治理后识别出老共享库中有495张有用的数据表(288张无用的数据表),有用的字段数8000+,希嘉新建数据湖完成了对学校老共享库的融合替换。

● 希嘉根据学校的业务需要又从46个业务系统共补采了近3000张数据表,最终新建的数据湖中共集成了3698张数据表、字段数68590、字段注释率提升到了87.9%。


3、希嘉新建的标准化数仓中

校级数据标准在数仓中完成标准数据模型的创建,然后从数据湖中把数据按照标准加载转换到数据仓库中,最终进入到数据仓库的数据表共计566张(包括253张标准代码表和313张标准数据表)、20460个字段、字段注释率95%。


二、 通过数据集市萃取共性数据能力

希嘉以学校实际业务需求为导向萃取相应数据集,按照西电实际业务经验来看,本期项目按照部门职能、业务需求、分析需求三个方向完成了数据集的萃取工作,截止目前共创建API近800个,支撑了学校近百个应用的正常运行,接口累计被调用4500万次,日均调用11万次,有效支撑了学校的日常管理和教育教学工作。


三、 通过数据资源门户理清数据资产和流向

本项目为西电电子大学定制化开发了数据资源门户系统,目的就是通过对数据进行全生命周期的梳理帮助学校解决数据资产不清、流向不明给学校各个角色(校领导、职能部门、信息中心、广大师生)带来的数据使用问题。具体建成成果如下:

● 对于校领导:通过资源门户的总览界面可以直观的了解到数据资产现状,掌握数据提供排名情况、数据质量排名情况、数据标准遵循情况、数据问题处理情况等,既可以为校领导提供宏观层面的决策支撑,也可以让校领导根据数据使用需求自主完成excel电子表格数据的下载。

● 对于职能部门:通过数据资源门户的部门或主题界面可以让各个部门对每一张数据表的供需情况、流向情况和被使用情况,本部门需要的数据提供了在在线的申请界面,数据质量问题也可以直接溯源查看,不仅满足了部门对数据的知情权,还降低了各个部门使用数据的门槛。

● 对于广大师生:通过希嘉的数仓架构对学校“一网、一次、多端(PC端、移动端、自助端)”服务体系的支持,基本上解决了师生重复填报的问题。同时师生也可以通过数据门户直观的了解到与自身相关的所有数据到底分别由哪些部门产生,被用到了什么地方去,遇到数据质量问题在线上直接就可以发起处理申请。

● 对于信息中心:通过数据智能门户提升了信息中心对数据全生命周期和全流向的监管能力,对数据的变更及数据质量问题带来的影响也能够通过数据门户一目了然的知道,让信息中心从背锅侠变成了蜘蛛侠,为学校提供了共享共建、共生共赢的信息化建设解决方案。


4、建设成效

通过《数据治理与共享》项目的建设直接实现了学校2019年数据实现“互联互通”的建设目标,也通过本期项目搭建起来的数据仓库架构体系和多维、全面、高质量的数据资产间接支撑了全校业务实现“一网通办”和解决师生重复填报建设目标的达成。


5、案例故事

1、办事流程得到优化

学校以师生校内师生办的最多、跑的最多的事情作为解决问题的突破口(例如用印申请、入党申请、师生成绩证明打印、宿舍报修、论坛讲座报告会申请等等),来想办法减少需要提交的材料、减少需要填写的表单、减少需要沟通环节、减少需要审核的流程、减少需要跑腿的次数。

例如学校学校原来相办一场“论坛讲座”需要填4张表(重要来宾备案表、涉外人员审批报备表、LED屏信息发布申请表、通知公告信息发布申请表),跑5个部门(所在部门、党政办、国合部、校领导),经过13个审核环节才能完成申请工作用时快则1天慢则2天。

完成办事流程优化及数据互联南互通后申请人只需要提交一份申请表、通过“一网通办”平台

进行一次申请,待审核通过后在终端完成自助打印即可把事情办完,整合流程需要申请人花费的时间不超过10分钟,大大减少了办事时间,提升了办事效率。

学校通过一网通办,最多跑一次,多终端(PC端、移动端、自主终端)办理的业务融合解决方案,帮助学校全体人员大大节约的办事时间、减轻了工作负担,提升了工作效率,截止目前为止学校自助终端已完成了15万份相关证明材料的自助打印工作,包括但不限于学生成绩单、教学金证明、在读证明、在职证明、获奖证明等。初步实现了数据多跑路,师生少跑腿的目标。

2、重复填报大大减少

同时学校也启动了一张表工程来解决师生抱怨最多的重复填报问题,例如办公用房申请过、因私/公出国申请、职称评审、聘期评审、年终考核、岗位竞聘等需要校内师生需要周期性重复多次填报的事项进行梳理,通过技术层面实现数据的互联互通以及与表单和流程的联动,让师生可以实现相关事项的一次填报,多次办理,大大增加了广大师生的获得感和幸福感。

以学校的职称评审为例19年之前学校每次做支撑评审的时候都需要所有竞聘教师完成竞聘数据重复填报,这让老师们怨声载道:80%都是我们已经重复填过多次的数据,为什么还让我们再填呢?比如说学习经历、工作经历、职称信息、奖励情况、科研情况等等都需要反复多次填报,而且这些数据在科研系统、教务系统、人事系统等地方我们也都多次填报过的。为了解决这个问题西电在19年职称评审前两个月专门上线了《教职工数据纠错补录系统》,将底层已互联互通的数据全部通过该系统呈现给师生个人,并召开专题会议告知全体教师,在职称评审工作开始前1个月大家都上去检查补充与自身相关的数据,不正确或不准确的数据各位教师可直接在该系统中提交纠错申请,没有的数据教师可以直接在该系统中完成补录(例如教师的横向参与或组织、纵向参与或组织的科研项目相关数据),纠错的数据经权威数据源提供部门审核后在源端完成更新同步,补录的数据直接以该系统作为权威数据源,职称评审时便可直接调用该系统数据,这杨就从根本上解决了重复填报的问题。

3、数据分析价值凸显

西安电子科技大学以提升师生师生服务体验为抓手展开的信息化建设在校内取得了很不错的反响,无形中提升了大家的信息化素养,各个业务部门和二级单位都有了通过数据提升工作效率和解决业务问题的诉求,例如每学期开学、放学阶段校领导很关注学校各类费用的预决算情况,原来每个月都需要财务部门安排一到两个工作人员花费一周的时间才能整理好校领导想看的统计数据,在财务部门突出是否可以用数据分析来为此项工作减负的诉求后,信息中心开发团队根据校领导的业务诉求用一周时间就为校领导定制化开发了预决算统计图表,每月不仅完全解放了两个工作人员的此项工作,也让校领导实现了随时随地想看就看的目标,而且还点名夸奖了财务处与信息中心的创新工作成果,在校内引起了很好的反响。


相关案例