多元数据融合,打破信息孤岛,聚焦大数据价值

SDC ETL 融合数据软件

SDC ETL融合数据软件是一款面向海量异构数据进行智能化抽取、转换、加载的工具,为用户数据集成提供支撑。

产品功能

数据集成

数据集成是汇聚异构数据的工具。提供数百余种异构数据源集成能力,涵盖结构化、半结构化和非结构化数据,提供全图形化的批量采集、整库迁移、实时采集模式。利用异构数据汇聚任务智能生成技术,实现基于来源关系自动生成数据采集任务。

数据开发

数据开发是融合加工海量数据的工具。支持数百余种以上的结构化数据处理,内置数百余种高性能数据处理算子以提高数据处理效率。产品可全流程以可视化拖拽方式进行作业开发,降低开发人员门槛。

数据对账

数据对账是数据源间资产比对工具。提供全WEB操作方式,支持结构化、非结构化数据对账,向导式引导对账任务创建。

工作流编排

工作流是编排自动化流程处理的工具。支持复杂DAG任务流程编排,可实时可视化监控任务的运行状态。预设SQL、存储过程、Spark、Shell、Python、Http、子任务、依赖任务节点,通过配置任务间依赖关系、作业流与脚本关联的方式完成复杂数据的分析和处理。

数据运维

数据运维是统一运维监控调度任务的工具。提供任务监控、数据监测、运维告警等服务,任务集中管理减少运维人力投入,调度周期智能推荐帮助削峰填谷,平台资源利用最大化,自定义告警规则方便运维人员第一时间发现关注异常,降低运维难度。

核心优势

多引擎数据处理

高效的大数据处理引擎,支持分布内存计算和并行加载技术,通过对任务设置占用计算资源配置,实现资源的合理分配和最优利用。

强大的调度引擎

提供强大的分布式调度引擎,支持复杂作业流程编排,支撑数据处理任务高效运行,为海量的异构数据集成提供保障。

强大、灵活的数据接入能力

支持数百余种多源异构数据接入,包括关系型数据库、MPP数据库、大数据平台、NoSQL、文本、接口等,对于未来新增的数据源和数据类型,支持在线动态适配。

全图形化数据开发

具备全图形化的数据开发环境,以拖拽的方式完成复杂的数据处理流程设计,解放手工编码,简化数据开发的难度,全面提高数据开发的效率。

数据迁移断点续传

支持各种数据抽取模式,支持文件断点续传与数据库断点续传,可保证文件或数据在传输过程中因网络异常、数据异常等场景而导致的任务异常情况。

跨平台适配能力

具有跨厂商,跨平台适配能力,全面支持国产中标麒麟操作系统和国产龙芯、兆芯、鲲鹏、飞腾芯片环境部署安装。

实时数据处理能力

支持应用级消息队列和Kafka消息流的实时采集处理能力,可同时满足事务处理的高速、高可靠性海量数据处理要求。

智能化数据采集能力

支持自动生成数据采集任务,相较手动配置或脚本开发等采集方式,大幅提高了实施效率。

应用场景

电子政务应用场景
基于ETL组件采集各行权部门的业务数据 ·整合分析发现群众真实需求,并强化数据预测应用功能,助推政府采取更加人性化、便民化,更具针对性、实效性的服务管理举措。 ·以人口分析为例:采集人口基础数据,包括地区人口出生率、年龄结构、性别结构等信息,以便准确掌握未来区域教育、医疗、卫生、文化等公共基础配套需求,为制定公共服务管理配套政策提供科学依据。
金融行业应用场景
基于ETL组件采集资金交易数据 ·资金实时流向:采集重点地区资金流向、重点行业资金流向、频繁且相近额度资金流向、季节资金流向、节假日资金流向、偶尔大额资金流向。 ·数据辅助增征信风控:通过连接大数据(包括P2P、小额信贷机构、征信机构、银行、第三方支付、互联网大数据等),连接不同的应用场景,采集虚拟经济形态下的网络和商务平台数据,提供去中心化分布式查询,打破行业内信息孤立造成信息漏洞的现状,高效控制风险。
交通行业应用场景
借助SDC ETL产品丰富的多源异构数据接入能力,项目累计汇聚接入数十类数据,覆盖机场航班、航路图、机位、旅客、行李等信息,并利用高效的数据接入能力解决了用户信息系统底层数据分散、实时数据间无法融合、关键数据接入受阻等问题。

用户收益

海量数据分布式计算

增强了在高并发、海量数据场景下的数据处理能力及稳定性,同时引入元数据智能驱动技术,实现了智能生成数据采集任务,提高了数据采集的实施效率。

一站式数据集成服务

面向海量异构数据进行智能化抽取、转换、加载,并提供了离线数据采集任务监控、数据断点续传、数据安全传输、实时数据采集功能,为用户数据集成提供支撑。

现在开始,开启您的数据智能之旅

立即咨询 免费试用