新闻中心
专业的数据管理基础设施及服务供应商
行业优秀案例分享丨华阳集团数据管理体系建设与应用实践
发布日期:
2024-01-23

随着数字化时代的到来,数据管理对于企业的发展越来越重要。作为专业的数据管理基础设施及服务供应商,希嘉始终关注各行业在数据管理方面的最佳实践和经验,持续分享各行业领域的优秀实践案例,希望能给大家带来更多启发。


华阳集团全称为惠州市华阳集团股份有限公司,成立于1993年1月16日,总部位于广东省惠州市。华阳集团是一家涉及汽车电子、精密压铸、精密电子部件以及LED照明等业务的企业,重点围绕汽车电动化、智能化、网联化、轻量化进行产品布局。


在信息技术变革大潮中,华阳集团紧跟时代步伐。随着管理系统建设,数据量规模不断攀升,数据的类型也呈现多样化。目前,数据库根据业务需求的不同,研究和应用背景的不同,从语法、语义、模式等具有异构性的方向,进行独立设计开发,使集团级数据共享、整合与集成应用面临巨大挑战。


行业优秀案例分享丨华阳集团数据管理体系建设与应用实践


数据管理平台为实现企业的智能检索、智能推荐、智能协同、智能问答和用户画像应用提供了标准化的数据接口和高精度的数学算法服务,实现了企业数字化、数字资产化的历史性蜕变。


01 系统开发设计


建设目标

华阳集团企业级数据管理体系建设主要目标是实现“一个平台、两个体系、三个特征、四个统一、五个服务”的一体化数据管理全景图。

一个平台:搭建一个一体化的数据管理平台;

两个体系:建立数据治理体系和数据管理体系;

三个特征:确保数据的准确性、唯一性、共享性;

四个统一:达到数据的统一标准、统一来源、统一接口、统一服务;

五个服务:提供数据查询、数据调用、数据分发、公共数据资源、数据即时服务。


构建企业数据治理体系,依托数据管理平台,对企业各业务系统数据进行数据综合治理,最终形成企业数据资产。搭建数据管理平台,研发智能算法,利用企业数据资产,生成数据模型和业务需求模型,实现企业数据智能检索、智能协同、智能问答机器人和用户画像等AI智能业务场景应用。


建设内容

涉及数据范围:根据企业智能应用场景将数据分为感知数据、监测监控数据、经营管控数据、外部数据、历史数据。


涉及应用场景:基于数据治理体系框架和数据管理平台,优先建设生产管理、设备管理、安全管理、经营管理等业务智能应用场景,将数字化业务场景应用纳入数据管理体系中,建立统一的数据应用标准规范,实现数据统一性、复用性和共享性。智能应用场景包括智能检索、智能推荐、智能协同(合同履约)、智能问答、用户画像等应用。


集团企业级数据管理体系主要通过数据汇聚整合、萃取加工、服务可现及价值变现,建立贯穿数据接入、数据存储、数据汇聚层、数据开发和数据服务的运行管理机制;提供标准的数据规范制度和管控流程,实现数据变资产并服务于应用的总体目标。华阳集团企业级数据管理体系建设思路如图2所示。


行业优秀案例分享丨华阳集团数据管理体系建设与应用实践

图2 华阳集团企业级数据管理体系建设思路


数据治理体系:集团数据治理体系实施以DCMM数据治理体系为指导,结合行业实践,形成了“盘、规、治、用”的实施方法论,搭建了一个合理高效的业务数据监管体系,降低了企业业务运营成本,依托数据管理平台,提升了业务处理效率,改善了数据质量,为企业管理决策进行赋能。数据治理体系主要内容包括元数据管理、主数据管理、数据标准管理、数据资产管理、数据质量管理、数据安全管理等。DCMM 数据治理体系框架如图3所示。


行业优秀案例分享丨华阳集团数据管理体系建设与应用实践

图3 DCMM 数据治理体系框架


02 关键技术分析


丨数据采集技术

本系统用到的数据采集技术主要有抓取技术、日志采集技术、数据连接技术和文件导入技术。

(1)抓取技术主要通过网络爬虫程序对网页、API等进行数据抓取,实现互联网上所有供应商和客户的企业信息及行业关注焦点新闻。

(2)日志采集技术主要对各应用程序的日志进行采集,实现数据使用的跟踪。

(3)数据库连接技术是使用标准的数据接口协议和数据接口,从企业内部各业务系统中,收集非结构化、半结构化和结构化的数据,且将这些数据存储到数据中心。

(4)文件导入技术,是通过文件导入器将各种格式的文件导入数据中心。


丨元数据管理设计

元数据管理是数据治理工作的重要组成部分。以元数据为抓手进行数据治理,可以帮助企业更好地对数据资产进行管理,理清数据之间的关系,实现精准高效的分析和决策;可以为数据集成、数据质量管理、数据加工整合、日常运行维护、数据安全管理和业务应用提供基础能力支持。元数据管理通过建立元数据模块、元数据表、元数据视图实现机器自动写代码功能。元数据管理如图4所示。


行业优秀案例分享丨华阳集团数据管理体系建设与应用实践

图4 元数据管理


丨数据标准设计

数据标准是为企业建立的一套符合自身实际,涵盖定义、操作、应用多层次数据的标准。数据标准可以划分为两类,即基础性标准和应用性标准。前者主要用于在不同系统间,形成信息的一致理解和统一的坐标参照系统,是信息汇集、交换以及应用的基础,包括数据分类与编码、数据字典;后者是为平台功能发挥所涉及的各个环节,提供一定的标准规范,以保证信息的高效汇集和交换,包括数据采集方法、数据清洗、数据资产管理、数据生命周期管理、数据安全管理等。


丨数据质量控制

主要关注数据记录、关键字段和业务规则三个方面的数据质量控制。

系统核对记录数据主要在数据采集、数据清理、数据转化三个阶段,将取得的数据记录和数据总量与系统中反映的数据进行核对,确保电子数据完整性。对于非结构化的数据,系统将用文件数据量和大小与数据提供清单进行对比,核实数据的可用性和完整性。对于结构化的数据,系统将核对总数量和分类汇总项数量。


系统验证关键字段采用字段长度核对、最大和最小值审核、孤立点检测、真实性核对、范围核对、空值替换等验证方法对表字段的完整性和乱码进行检验。系统业务规则验证是指利用业务专业标准和业务逻辑,设计一套有效的勾稽检查算法,对系统收集的业务数据进行逻辑校验的过程。


丨数据资产管理

数据资产管理数据提供方通过数据资产管理进行数据资产的信息录入,对资产进行分类产生主题数据。在交换任务的事前、事中和事后都提供实时数据资源管理来保证数据交换的质量。以元数据为核心,通过共享、使用、管理和开发实现数据资产的闭环管理,全面支撑大数据应用。


丨数据模型设计

数据模型设计是指从企业业务的视角,对企业业务活动相关数据采用统一、规范的定义和数据建模方法构造模型。数据仓库:主要存储来自源数据系统的明细数据,基本不做数据加工,设置字段命名注释等,均需要跟源数据系统保持一致。


03 效果展示


华阳集团企业级数据管理体系确保了业务数据的唯一性、准确性和共享性,为企业业务应用系统和AI智能应用服务提供了来源统一、接口统一和标准统一的业务数据。


产品定位:通过用户画像可以了解目标用户的需求、行为和特征,从而帮助产品定位,确定产品的功能和目标用户群体。


用户需求挖掘:通过用户画像可以挖掘用户的潜在需求和行为特征,从而帮助产品开发团队更好地了解用户需求,改进和完善产品。


产品优化和改进:通过用户画像可以了解产品的缺陷和不足,从而帮助产品团队发现问题并进行优化和改进,提升用户体验和产品质量。


本文基于企业级数据管理体系建设及应用实践,分析了数据管理体系建设对于企业生产经营的重要意义,阐述了构建企业数据管理体系的整体技术架构和实施方案,总结了集团数据资产应用到AI智能服务最前沿的实践经验。