如何高效采集分散异构数据?_光点科技



政府企业内部数据源分散、异构,缺少高效的核心数据归集、整合与分类管理手段,阻碍了数据治理和开发利用。
传统解决方案是通过写代码采集各部门数据,但是门槛高、效率低、难维护,特别难以解决数据增量采集、实时采集的问题。
使用数据中台,能够有效解决上述问题,具体过程如下:
1、建立数据连接
一次建立数据连接能够随时抽取、更新数据源。
中台支持多种类型数据库连接,见下表:
数据库类型图
选择数据库,填写数据库信息进行数据连接。
数据连接图
2、在中台中建立数据建模?
中台支持4种建模方式:
1)表复制
一键复制一张或多张数据表到数据中台,可以同时将表结构和数据复制过来,主要用到把数据原封不动地抽到ODS层。
2)数据融合
用于在采集过程中需要对数据清洗加工,或者将多个数据汇总到一个或多个数据表的需求场景。
中台将去重、字段选择、合并记录、计算等常用数据处理能力做成通用组件,用户可直接拖拉拽组件设计数据处理流程。
融合流程图
3)文件导入数据
中台支持一键导入并自动建立数据表,同时支持数据追加导入。
4)SQL建模
用户可利用SQL灵活建立模型,可使用系统生成的SQL语句或自行创建SQL语句。
3、设置数据更新策略
中台支持对数据的采集时间和采集范围进行设置,范围包括增量、全量采集,时间包括实时、定时更新。
设置更新策略图
4、监控数据采集情况
系统提供监控面板,帮助用户监控数据采集情况,出现问题及时告警。
更新任务监控图
使用GI数据中台,完成零代码数据采集,自动更新数据、实时数据监控,达到门槛低、效率高、易维护效果,已经逐渐成为政府企业数据采集的主流方案。
光点科技的GI大数据中台融合新一代中台理念和技术打造,提供数据汇聚、数据融合、数据治理、数据服务和资产管理五大能力,帮助客户打造“大中台,小应用”信息化格局,让应用更关注业务,实现数据增值、应用增效、业务赋能、技术降本。平台拥有自动智能、安全可靠、使用简单三大特色。