数据治理方案

Data governance

  • 数据管理4大难点
  • 数据中台
  • 数据治理工程化服务
  • 方案优势
  • 交付成果

数据管理4大“难”点

数据管理4大“难”点


◆ 数据中心黑盒运行,难以管理

———————————————

黑盒运行,状态不清,出故障难以排查

技术要求高,操作复杂

接口又多又乱,不知道哪些有用,数据不能复用

标准缺乏全局统一,只能点对点交换

部门要数据,沟通周期长,安全难以保障


◆ 数据维度缺内容少,难堪大任

———————————————

只有主数据,结果数据,缺乏过程数据

只有线上数据,缺线下数据

只有结构化数据,忽视了非结构化数据的价值

只考虑数据交换,数据价值未充分利用

师生重复填表、反复填表


◆ 数据资源散落各处,难以收集

———————————————

业务系统归各部门管理,数据难以获得

大量线下数据无法流动共享:电子表格、纸质文档

多个系统,多份数据,数据来源缺乏权威

需要数据时还要看厂商脸色、交接口费


◆ 数据质量缺乏保障,难以采信

———————————————

数据缺失、错误、不完整

难以支撑领导层需要的可信决策

难以支持数据统计、数据填报等需求

难以支持复杂的跨部门业务协作

难以为部门提升管理水平提供参考


        随着高校信息化的不断发展,高校数据呈现更多元化的状态,传统的业务系统建设模式已不足以满足高校当下对于数据深层次挖掘利用需求,同时在大数据的背景下,数据的隐私和安全也是需要核心保障的。而对 于以上两点的需求,传统的主数据平台(数据中心)建设模式无论是从能够容纳的数据体量以及数据供给的模式均无法满足需求。

        有鉴于此,希嘉结合互联网一线公司的经验,同时针对高校信息化的特点,有针对性的提出了高校数据中台的建设模式,解决数据的“管”、“通”、“用”三类核心问题。具体而说,数据中台并不是一个跨时代的全新理念,其建设的基础还是数据仓库和数据中心,在数仓模型的设计上也是一脉传承,但在传统的建设模式上升级了底层架构,并通过配套的工具进行组合,形成数据从采集、存储、计算、使用、管理等环节的闭环,进一步降低数据的使用门槛。


数据中台

数据中台


1.数据中台是一个体系/方案

2.数据中台包含标准化的产品+人工服务

3.数据中台的核心是为应用场景服务

4.数据中台实现原始数据与应用场景的解耦



数据中台



1对1付费直播开发


数据中台体系

数据中台


数据源层

涵盖高校常见的各类数据源,包括关系型DB、文本文件、syslog日志、二进制日志等数据类型的采集和存储,在物理层面形成一个大的数据集;


数据采集处理层

以需求为驱动,以数据多样性的全域思想为指导,采集与治理全业务、多终端、多形态的数据,同时构建满足行业要求的统一数据标准,解决各类数据在逻辑层面的统一;


数据仓库平台层

向下承接数据治理的成果,向上提供数据统一的通道,中间通过数据的集成、计算和管控提供数据流水线的管理方式,帮助高校用户简化数据的管理和使用,提高数据使用的效率和安全性,盘活数据资产;


数据治理输出成果

结合行业的特性,提供完整的数据治理解决方案,涵盖数据标准的构建、不同类别数据的集成、数据质量检核规则和数据质量评分体系,以及配套的数据管理规范制度等内容,使得数据治理真正成为一个不断循环和迭代的过程,帮助客户形成自己的数据资产;


数据应用层

通过统一底层的数据标准和计算组件,形成满足业务场景需求的数据模型,深度萃取数据的价值;具有数据应用共享化、数据访问移动化、运行监控自动化等特点;



结合高校现有业务场景建设数据中台

数据中台

教学科研管理服务
无感知签到教师发表论文分析校园公共安全一表通自助填报

授课结果跟踪

院系排名分析

智慧网络运维

空闲教室查询

上课过程分析电子资源使用分析学生消费分析图书智能推荐
智能教学评判经费使用及产出分析上网流量分析师生个人数据查询


统一数据釆集统一数据存储统一数据治理统一数据门户

关系型数据库

数据架构设计

数据模型制定

多维度的数据检索

非关系型数据库

集中式存储

数据格式统一

标签化体系定位

线下文本文件分布式存储数据质量关系语义关联检索
各类数据接口可在线灵活扩展数据血绿关系完整的数据通路


        针对教育行业遍存在的“数据问题”,希嘉提供了基于数据中台建设的完整的数据治理解决方案(以下简称方案)。方案对高校内外的全量数据进行盘点、梳理、采集、整合、清洗和标准化,建立一个标准统一规范、来源权威稳定、数据高度融合、数据质量可靠的全量数据平台,实现对数据的全面采集、规范建模、质量提升、安全存储、可控共享和充分应用。


 

数据治理工程化服务流程

数据治理工程化服务


整个数据治理工作分为3个域,分别是:管理域、数据域和知识域。

●  管理域:进行数据架构的顶层设计、数据管理的规范和制度设计,主要是进行设计和咨询工作;

●  数据域:数据治理的核心内容,包含3个主要的工作流。

1、数据工作流:主要包含数据的识别、采集、集中、质量检查,成果数据生成入库,数据共享发布,直至被业务系统使用,生成新的数据,再次被采集,形成闭环。

2、标准工作流:从标准制定、分类建模并形成成果数据的元数据模型。

3、质量工作流:质量流是数据治理中工作量最大的部分,也是数据质量得到本质提升的过程。工作内容是对检查出来的质量问题进行修正、转换、纠错等操作。

●  知识域:治理过程中梳理出来的结构性、知识性信息。



数据治理工程化服务



希嘉数据治理主要活动

数据治理工程化服务


        主要包含3个阶段,即采集识别、清洗治理、成果生成和发布。具体包括设计校级数据标准,全量采集各种管理业务数据、电子表格数据、日志数据等,并对数据质量进行检核,针对质量问题进行清洗、转换、去重、补漏、纠错等操作,再按照标准模型和标准代码进行统一建模存储,形成战略级数据资产,并由大数据平台进行承载和运营发布。

        所有数据处理流程的各个环节都有标准化输出的要求,并在实施过程中有公司不同的部门岗位进行监控,确保能保质保量地按时完成。


数据治理工程化服务


数据治理概要步骤

数据治理工程化服务

数据治理工程化服务

摸清家底

通过部门业务和数据调研,进一步摸清家底,了解现状。

数据治理工程化服务

全量采集

更加广泛的收集数据,实现全量、全维度、全生命周期

数据治理工程化服务

标准制定

建设校级数据标准,使之符合学校的实际现状。

数据治理工程化服务

标准落地

将标准应用到数据上,应用到对业务系统的数据交换过程中。统一代码、统一字段名、明确权威来源。

数据治理工程化服务

积累、量化成果

通过数据治理工具,积累成果,保证延续性,步步为营,层层推进。

数据治理工程化服务

知识库建设

通过治理过程,形成数据资产目录、元数据库、数仓体系、数据质量规则库、数据质量报告、数据血缘关系、UC矩阵等。

数据治理工程化服务

制度形成与保障

通过规范和制度建设,理流程,规范行为,严格执行,确保治理成果能够不断更新迭代。


        希嘉利用完善的统一数仓管理系统、数据填报工具、日志处理工具、和统一数据开放平台,使整个治理过程可管、可控、可视化,降低了数据治理的技术难度,显著提升了工作效率。同时,通过提供管理咨询服务和顶层架构设计,形成数据标准体系、数据工具体系、数据管理知识库体系和数据管理流程制度体系,使数据资产成果能够长期持续继承、迭代和完善。

        基于治理后形成的全量、标准化、高质量的数据资产,利用数据统计、机器学习、人工智能等大数据相关技术,实现各种微观、中观、宏观尺度的统计、挖掘、分析、预测,为广大师生、各个业务部门、各级领导提供数据化、智能化的智慧校园服务。

色:为智慧校园提供数据支撑

希嘉数据中台方案

传统数据共享中心

全维度覆盖——大数据能力

◆  管理信息系统 — 数据库数据

◆  线下文档数据 一 电子表格

◆  机器设备数据 一 日志数据

◆  园区智能系统 一 物联网数据

◆  外部引入数据 一 互联网数据

非全量

◆  管理信息系统——数据库

高质量数据——完整可信

◆  标准先行 — 规范化数据建模

◆  数据转换 — 非标数据校正

◆  数据纠错 — 缺漏数据补正

质量问题被忽略

◆  单一目标 一 共享交换对质量不敏感

◆  维度缺乏 一 无需整合,对标准不敏感

◆  标准缺乏 一 全局一致性较差

◆  数据错误缺失未处理

全场景服务——多项全能

◆  一站式服务:提升师生体验

◆  领导驾驶舱:领导精准决策

◆  学生成长大数据管理:学生因材施教

◆  数据共享、报表输出:提升部门效率

有限的使用场景

◆  共享交换库

透明化支付——赋能长效

◆  全套在线可视化软件,低门槛

◆  完整知识库文档,自主管理

◆  数据资源在线管理,自主发布

◆  建设管理制度,治标治本

黑盒交付——难以继承维护

◆  手工操作 一 难以维护

◆  脚本、代码 一 难以理解

◆  编程实现 一 难以更新

◆  鱼,非渔 一 难以持续


数据和工具成果

交付成果

一、数据成果全量、高质量、标准化

学生管理、招生就业、人事管理、生活服务、教学管理、网络行为、资产管理、学科建设、科研管理、外部舆情、财务管理......

二、软件工具体系

统一数据开放平台、日志处理工具、统一数据仓库管理系统、数据填报工具、统一数据集成管道、数据纠错补录工具、数据智能门户



知识和管理成果

交付成果

一、校级数据标准

数据仓库建模标准、标准代码集

二、知识库成果

数据资产目录、数据同步信息、数据接口信息、全量数据字典、数据源信息、数据质量规则库、数据UC矩阵、数据交换关系

三、管理规范体系

数据标准遵从、数据安全管理职责、数据标准内容管理、应用开发的数据调用规范、数据标准发布更新、数据共享交换规范、权威数据管理责任、数据管理考核体系、数据质量保障要求