HaoheDI-ETL软件
昊合数据整合平台(HaoheDI)是一款轻量级数据整合类工具软件,具有开发容易、部署简单、运维轻松的特点,开发人员只需要掌握基本的SQL语言就可以准确、高效的实现企业内数据整合的开发工作。
数据中心系统搭建
适用于各种企业级或部门级的数据中心项目,包括构建ODS、数据仓库、数据集市、数据质量治理、主数据管理等
报表平台性能增强
提升某些报表平台的查询性能,利用定时任务和作业流程将数据进行事先计算汇总,优化前台查询速度。
应用系统数据迁移
可用于业务系统切换时的数据迁移工作,支持不同数据库类型之间的数据抽取转换,也可将数据迁移备份至文本文件。
系统及数据库运维
可将数据库操作脚本、操作系统命令等组合成各种任务和作业流程,设计自动调计划,并对执行情况进行监控预警。
数据连接
支持各种带有JBDC驱动的关系型数据库、MPP数据库以及xls、csv等格式的文本数据,用户还可以自己添加维护新的数据类型
任务设置
新建和维护各种任务,包括数据抽取、执行SQL、变量设置、调用存储过程、执行外部程序、导出文本文件、执行Kettle文件等
作业流程
作业完成一组ETL任务,由多个类型的任务组成,通过流程画布进行设计。作业可以再嵌套作业,并可批量导入事先设定好的任务
调度计划
设定作业自动执行的时间频次,还可以采用手写cron表达式的方式,使运维人员可以更加灵活的定义调度计划
执行监控
提供各作业执行状态的实时监控,以及作业的手工启动,停止功能,进入监控页面,可以查看有效作业的最近一次执行情况
日志分析
对数据转换产生的历史日志进行多维度分析和明细查询,从整体到细节进行可视化展现,为数据运维工作提供及时可靠的智能化支持
数据剖析
对数据的列特征、依赖特征、连接特征进行探查剖析,定期产生数据质量分析报告,并提供预警预告功能,使运维人员可以及时了解数据质量变化情况
血缘分析
以关系图的形式显示各数据源表之间的上下游关系,以及数据抽取转换所经历的路径,同时可自由添加数据间的关系
一天内掌握,一周成为熟练开发人员,大幅降低企业的培训与学习成本;对人员的要求极低,熟悉SQL语言即可,降低招聘难度和人员成本。
核心转换逻辑通过脚本或存储过程来实现,既符合开发人员的使用习惯,又能保证数据处理的执行效率。
产品采用ELT架构;可以跟MPP数据库完美搭配;提高数据处理效率。
内含常见数据质量检查规则,实现数据质量的检测与预警,为数据应用奠定良好基础。
系统可以提供表级的数据血缘关系图,帮助客户梳理数据的来龙去脉,实现数据溯源、评估数据价值和影响分析。
计划调度、手工跑批、日志监控等均通过浏览器可视化操作,对运维人员技术水平要求较低。