多元数据融合,打破信息孤岛,聚焦大数据价值

SDC ETL 融合数据

四方伟业SDC ETL融合数据产品基于大数据技术提供批量采集、迁移和实时数据采集处理能力。用户可以从不同结构的数据源中抽取数据,进行精准清洗、转换及加工处理,再将数据加载到各种存储结构中。SDC ETL作为一款简单易用的开发管理工具,覆盖了从数据集成逻辑的设计、开发、调试、部署,到运行、管理、监控全生命周期不同阶段的集成开发流程。

产品功能

丰富数据源接入

提供结构化、半结构化和非结构化数据集成能力,支持结构化数据库全量、增量同步(基于触发器、时间戳、全表比对、数据库日志分析)等。

强大的流程定义

提供图形化的集成开发环境,支持200多种ETL组件,使用人员无需编码,既可以灵活、方便地通过拖拽方式编排复杂数据处理流程。

高效的数据处理

提供离线数据处理和实时数据处理能力,针对批量离线数据进行分布式并行清洗转换,针对实时数据进行不落地清洗转换

分布式任务调度

提供分布式任务调度管理,支持灵活调度策略配置,支持一次性、周期和依赖任务多种调度模式,可设置调度的路由策略,以满足资源的合理利用与任务的正常运行。

全方位监控管理

提供对ETL服务器节点的运行状态,资源消耗监控,支持实时查看任务抽取日志、抽取统计信息,并提供任务实时告警监控功能。

集群热部署

提供集群部署方式,在不关闭服务的情况下,动态的扩展服务器节点,支持将数据处理任务分配多台服务器上并发执行,提高数据处理效率。

核心优势

多引擎数据处理

高效的大数据处理引擎,支持分布内存计算和并行加载技术,通过对任务设置占用计算资源配置,实现资源的合理分配和最优利用。

强大的调度引擎

提供强大的分布式调度引擎,支持复杂作业流程编排,支撑数据处理任务高效运行,为海量的异构数据集成提供保障。

灵活的扩展性

具备自定义插件管理功能,针对用户特殊的应用场景,可以方便的进行扩展开发,以插件的方式作为自定义节点组件,实现个性化的数据处理需求。

全图形化数据开发

具备全图形化的数据开发环境,以拖拽的方式完成复杂的数据处理流程设计,解放手工编码,简化数据开发的难度,全面提高数据开发的效率。

数据迁移断点续传

支持各种数据抽取模式,支持文件断点续传与数据库断点续传,可保证文件或数据在传输过程中因网络异常、数据异常等场景而导致的任务异常情况。

跨平台适配能力

具有跨厂商,跨平台适配能力,全面支持国产中标麒麟操作系统和国产龙芯、兆芯、鲲鹏、飞腾芯片环境部署安装。

实时数据处理能力

支持应用级消息队列和Kafka消息流的实时采集处理能力,可同时满足事务处理的高速、高可靠性海量数据处理要求。

兼容大数据技术栈

全面适配华为FusionInsight、星环Transwarp、CDH、HDP大数据平台,支持大数据平台Kerberos安全模式下的数据接入处理。

应用场景

工业行业应用场景
工业大数据信息平台基于互联网,建设工业大数据采集接入、存储、计算、分析、可视化管理和大数据应用服务一系列软件工具,以降低大数据使用门槛、帮助客户加速大数据基础建设为使命,为工业经济主管部门、工业企业提供安全、高效、集中的工业大数据应用支撑环境和辅助决策支持服务。
电子政务应用场景
基于ETL组件采集各行权部门的业务数据 ·整合分析发现群众真实需求,并强化数据预测应用功能,助推政府采取更加人性化、便民化,更具针对性、实效性的服务管理举措。 ·以人口分析为例:采集人口基础数据,包括地区人口出生率、年龄结构、性别结构等信息,以便准确掌握未来区域教育、医疗、卫生、文化等公共基础配套需求,为制定公共服务管理配套政策提供科学依据。
金融行业应用场景
基于ETL组件采集资金交易数据 ·资金实时流向:采集重点地区资金流向、重点行业资金流向、频繁且相近额度资金流向、季节资金流向、节假日资金流向、偶尔大额资金流向。 ·数据辅助增征信风控:通过连接大数据(包括P2P、小额信贷机构、征信机构、银行、第三方支付、互联网大数据等),连接不同的应用场景,采集虚拟经济形态下的网络和商务平台数据,提供去中心化分布式查询,打破行业内信息孤立造成信息漏洞的现状,高效控制风险。
交通行业应用场景
基于ETL组件采集车辆数据、交通事故数据和路段拥堵数据。 交通数据:采集海量历史及实时数据,为预测某一路段拥堵级别、拥堵时间、未来道路紧急疏导及扩展规划提供数据依据。

用户收益

海量数据分布式计算

针对各种数据分析计算场景,提供一站式的大数据产品、技术服务和解决方案的支撑能力。

一站式数据集成服务

提供一站式大数据采集、清洗、转换集成的大数据企业数据集成服务。

现在开始,开启您的数据智能之旅

立即咨询 免费试用