金山云-全球高品质云服务专家

Kingsoft Cloud DataGather

數據采集

金山云智?數據采集是大數據云平臺內外部數據傳輸的橋梁,可以將云外數據安全有序的接入到大數據云平臺內部。采集模塊支持對文件、文件夾、外部kafka、自定義source等進行采集,將分散在各地的數據方便快捷的采集到大數據云平臺,同時可通過流計算組件進行實時消費處理。
核心優勢
產品功能

核心優勢

統一采集管理

支持多種采集任務統一管理,采集配置一件修改,采集agent實時監控,采集任務一鍵暫停與恢復。

采集方式多樣

支持文本文件數據流式采集,支持Oracle/MySQL等關系型數據庫流式采集,支持http方式的數據采集。

保證數據質量

采集數據自動重發機制,支持數據查重,支持數據格式校驗,支持采集數據分布式存儲。

數據投遞

支持將采集到的數據直接投遞到ES中。

產品功能

統一采集管理

支持針對不同類型的采集任務,通過統一的方式來進行管理;提供數據采集任務的創建,查詢,采集任務的啟動與停止等功能的服務,包括:創建數據采集任務、查詢采集任務狀態、采集任務啟動與停止、采集狀態上報等功能。

流式數據采集

流式采集任務支持將文件、外部Kafka、文件夾、自定義source、oracle數據庫、MySQL數據庫等數據,實時采集至大數據云平臺的Kafka中。

流式投遞

支持將數據實時采集到kafka,并可實時投遞到ES等數據庫中。
联系我们: 丰原市| 福泉市| 封开县| 张掖市| 万盛区| 襄汾县| 三亚市| 清苑县| 高阳县| 铜山县| 东阳市| 晋城| 汝州市| 武川县| 嘉荫县| 厦门市| 保德县| 公安县| 安康市| 扶沟县| 沙雅县| 永寿县| 葫芦岛市| 宿州市| 长白| 龙江县| 比如县| 丽江市| 麻栗坡县| 沈丘县| 盐源县| 上杭县| 江达县| 类乌齐县| 芒康县| 巴彦淖尔市| 乳山市| 剑阁县| 惠东县| 清原| 凤庆县|