世界滾動:初探ETLCloud CDC零代碼實現MySQL數據實時同步
- 商洛在線
- 2023-06-23 17:09:08
- 來源：RestCloud
1. CDC實時數據同步的應用場景
CDC實時同步功能是現代數據倉庫技術中常見的一種數據同步技術，能夠實現實時交互、持續同步、高可用性和高性能的數據傳輸。
應用場景：
實時數據備份：將源系統的數據實時備份到目標數據系統中，確保數據的實時性和可靠性。
(資料圖片)
高效數據同步：保證源系統中數據變化及時地同步到目標數據系統中，減少數據同步延遲和數據丟失。
數據異構轉換：將不同數據系統之間的數據進行異構轉換，實現數據的互通和共享。
數據監管和審計：對數據的改動進行監管和審計，提高數據的安全性和合規性。
ETLCloud CDC 介紹
ETLCloud CDC是一款容安裝易使用的、零代碼的CDC實時數據同步工具，ETLCloud CDC具有以下功能特點：
零代碼：只需簡單配置，無需任何代碼即可完成CDC的配置和同步。
實時數據同步：將一個或多個源數據系統的數據實時傳輸到目標數據系統。
增量數據同步：高效的數據同步方式，可以只同步最新的更新內容，避免全部備份和傳輸。
數據源類型：ETLCloud CDC支持多種數據源類型的實時同步主要包含：MySQL、Sql Server、Oracle、PG、MQ等。
實時數據類型轉換：實時將原始數據轉換為目標端可以識別的格式，從而保證數據準確性和有效性。
DDL同步: 當源表的DDL發現變更時自動同步目標表的DDL。
斷點自動恢復：在傳送過程中發生異常時能自動從斷點位置重新傳送實時數據。
CDC+ETL一體化架構: 通過CDC實時數據流與ETL的結合實現對實時復雜數據的處理需求。
此外，ETLCloud CDC 還具備高可用性、靈活配置、數據安全加密、任務監控等功能，可滿足不同場景下企業級應用的要求。
安裝部署
3.1安裝ETLCloud CDC
步驟1：官網下載linux一鍵部署包，把一鍵部署包放到一個目錄下解壓并進入該目錄。
對腳本文件進行賦權
chmod +x restcloud_install.sh
執行腳本
./restcloud_install.sh
等待tomcat啟動，當出現這個界面，則restcloud證明啟動成功
步驟2：打開瀏覽器輸入{host}/restcloud/admin/login
輸入用戶名密碼: admin/pass
步驟3：登入系統后我們去官網申請sn碼
填寫好郵箱和對應的機器號，點擊驗證發送驗證郵件然后就會返回申請的序列號到所填寫的郵箱
將返回的序列號填好，點擊保存，刷新頁面進入到首頁
步驟4：填寫好序列號后, 需要執行下版本更新, 在平臺主頁選擇平臺監控 -> 一鍵備份升級,點擊版本更新按鈕，重啟Tomcat即可。
進入tomcat/bin目錄
cd /usr/tomcat/bin
//啟動tomcat并打印啟動日志
./startup.sh && tail -f ../logs/catalina.out
ETLCloud CDC實時庫表同步
步驟1： 啟用MySQL的CDC功能，需要在MySQL的my.cnf配置文件中設置相應的參數。
在配置文件中增加如下配置，開啟Binlog。
server-id = 123
log_bin = mysql-bin
binlog_format = row
binlog_row_image = full
expire_logs_days = 10
gtid_mode = on
enforce_gtid_consistency = on
修改完配置參數后重啟MySQL服務
步驟2： 創建數據監聽器
步驟3： 配置數據監聽器
在創建數據同步任務后，需要對同步任務進行配置。在這個過程中，您需要指定要同步的表以及數據傳輸模式。
步驟4： 啟動同步任務
完成同步任務的配置后，您需要啟動同步任務以開始實時同步數據。在ETLCloud中，可以通過單擊“啟動”按鈕來啟動同步任務。
步驟5： 監控同步任務
啟動數據同步任務后，可以通過監控面板統計圖來了解任務的運行狀態、同步量以及異常情況。
使用Navicat查看源表數據（restcloud.test）
使用Navicat查看目標表數據（test.test）
執行插入語句
監控面板統計圖
再次使用Navicat查看源表數據（restcloud.test）
目標表數據（test.test）
通過對比發現ETLCloud CDC實時同步功能成功使用。
ETLCloud CDC實時同步功能是一種高效、可靠的數據同步方案，它可以用于實現源數據庫和目標數據庫之間的實時同步，從而提高數據集成和應用開發的效率。
ETLCloud CDC社區免費版本下載地址：ETLCloud 全域數據集成平臺
標簽：
- 永煤集團陳四樓煤礦：“清涼風”直接吹到工作面
- 市場 | 寧夏：加強風險隱患排查，文旅市場秩序良好-每日熱門
- 當前視訊！河北科技大學在職研究生錄取分數線是多少？
- 揮槳破浪！中國龍舟公開賽在貴州銅仁激情開賽 天天新要聞
- 【融媒體中心新聞播報】都勻：黃桃喜迎豐收
- 江蘇興化：為困境、留守兒童織密假期“關愛網”|獨家
- 天天消息！“稻+”綜合種養！遵義生態漁業提檔升級
- 焦點報道:2023年廣東汕頭市第五期普通話報名時間6月26起 考試時間7月3日起
- 教育部發布2023年高考志愿填報十問十答 天天看熱訊
- 世界即時看！魚缸怎么翻缸消毒_魚缸怎么翻缸
- 2023年上半年陜西商洛中小學教師資格認定體檢及現場確認通知
- 2023春季河北武漢高中階段教師資格認定網上報名審核結果公示
- 天天熱訊:上市公司三達膜官微祝賀總經理女兒獲高考單科狀元 此前教育部已嚴禁炒作 律師：屬不當披露
- 天天熱文：2023上半年北京市延慶區第二次中小學教師資格認定公告
- 熱訊：百姓看聯播｜體育消費 2億元優惠
- 天天熱資訊！2023年第4期福建泉州普通話考試時間7月28日起 報名時間7月10日起
- 天天速看：湖南省城市等級劃分！長沙沒有意外，二線再次空缺，常德升級三線
- 焦點訊息：這個端午，我們看到了什么？
- 每日精選：【網絡中國節·端午】貴州沿河：百舸爭流慶端午
- 百萬醫療報銷特效藥嗎？怎么報銷特效藥？
- 往來會計工作職責（會計工作職責）
- 6月25日《西安日報》速覽 今日熱搜
- 每日觀點：新華社送你一本22城文化指南
- 天天資訊：濟南紅葉谷好玩嗎多少錢（濟南紅葉谷好玩嗎）
- 焦點速訊：山西加快焦化行業調整升級，年內將全面關停4.3米焦爐
- 【全球播資訊】端午假期甘肅排名前五熱門景點均在蘭州
- 緊盯目標 馭勢篤行——甘肅文旅強省建設系列深度報道之靶向篇_速看料
- 顏值高、空間強、科技配置高，這臺7萬級家轎才是年輕人的菜-世界觀點
- 6月25日西烏珠穆沁旗金田氫氟酸價格暫穩
- 《超激斗夢境》改動后變良心了？玩家評論：有點離譜了|世界即時
- 昭通市1名干部接受紀律審查和監察調查-今日看點
- 在圣保羅咖啡節感受咖啡文化 環球觀天下
- 熱搜第一！又要調休 這次是“休八上七”！|快播報
- 假期里徐州10萬人次觀影|天天觀熱點
- 連云港：加緊生產外貿產品
- 英文發音碧池是什么意思_英語 ldquo 碧池 rdquo 是什么意思
- 微視頻｜大地詩篇|焦點熱文
- 全球關注：“發現鄉村之美·十佳美麗村落”名單公布
- 世界觀焦點：本臺今天起開設專欄《警鐘長鳴抓安全 人人事事講安全》 警鐘長鳴抓安全 人人事事講安全丨寧夏各部門結合職能全面開展安全風險隱患排查整治
- 四川全面開展燃氣安全專項排查整治
- 看誰收得多，比誰損失少！我省小麥機收減損活動掠影
- 環球即時看！700多個品種！第十屆上海荷花睡蓮展要來啦！
- 【聚看點】海南公布高考分數線：本科批普通類483分
- 【新疆哪個銀屑病醫院好點】牛皮頑癬用什么藥
- 帶您了解ADI高性能電荷泵解決方案 微頭條
- 重點聚焦!“假期”變“工期”，按下“快進鍵”
- 博物館里感受“方正之間的中華文明”
- 2023年廣西中級會計職稱報名入口
- 微視頻｜大地詩篇 全球微動態
- 焦點熱門:假面騎士Tycoon武神劍形態數值曝光，防御力很高的最終形態，沒有特殊能力的白板形態
- 全球最資訊丨南通：全力支持中小微企業紓困增產增效
- 環球今亮點！2023年江蘇徐州中級會計職稱什么時候報名及開通入口
- 關注：2023年寧夏中級會計職稱報名入口
- 農村戶口一次性補繳社保有要求嗎？從兩方面為您介紹
- 2023年江蘇昆山中級會計職稱什么時候報名及開通入口
- 泰州出臺加快推動沿江港口高質量發展實施意見
- 世界熱頭條丨Win11刪除9個文件夾功能引眾怒！微軟：不改了
- 2023年陜西中級會計職稱報名入口
- 寶馬 M3 旅行車終于來到歐洲-天天日報
- 一橫四縱 四河連通 涼州區全速推進調蓄水池工程建設-環球要聞
- 弱水環流蕩碧波 金色胡楊耀隴原 金塔擦亮全域旅游“金名片”-熱資訊
- 武漢市少年兒童圖書館暑假開放時間公告 當前視點
- 2023武漢中小學生免費夏令營活動報名條件是什么
- 天天速讀：成縣五彩圣女果搶“鮮”上市
- 寧縣小香包“繡”出致富大產業-世界微動態
- 俄將撤銷對普里戈任的刑事立案 “瓦格納”部隊撤回野外營地
- 空氣炸鍋和烤箱的區別 微資訊
- 交易額3年增長近三倍！中國（梅州）跨境電子商務綜合試驗區建設成效初顯
- 全球快資訊丨好消息！商運司新增一批新能源純電動車上線運營
- A股遇上端午“劫”？不要被直覺所俘虜 弱市反而醞釀著高收益！“鐘擺運動”正在底部|焦點報道
- 天天看熱訊：江西省畜禽屠宰三年行動方案出臺
- 查計劃 讀章程 預填表 早提交 再確認 填報志愿注意“五部曲” 環球今日報
- 這些高考信息，千萬別在朋友圈亂曬！|天天熱頭條
- 空調上下風和左右風哪個涼快
- 猴中貴族黔金絲猴，這樣的"山間精靈"你愛了嗎? 世界滾動
- 全球熱點！我國儲糧新技術處于國際領先水平 “智慧糧庫”讓小麥“凍齡”
- “非遺民俗+傳統文化”營造主客共享新空間 構建文化和旅游深度融合新場景 今日熱議
- 商洛4個農產品獲“國字號”品牌認證
- 構建“景區+村莊”聯合機制 一方山水繪就增收致富新畫卷
- 焦點！多地持續高溫 專家提示科學預防重點人群中暑
- 正在公示！商洛這些學校擬獲省級榮譽！|播資訊
- 蘇州上海軌道交通互通 長三角核心城市加速深度同城化
- 買房貸款50萬需要什么條件_環球今日報
- 【天天新要聞】寶武澳大利亞西坡項目在澳大利亞珀斯開業
- 公積金貸款買房可以寫兩個人的名字嗎 天天新消息
- 環球熱議:遇到這種蟲子 千萬別擠壓!夏季外出應該怎樣防蟲
- 端午假期陜西消費市場持續火熱 全球最資訊
- 炎炎夏日，來畢節這里解鎖避暑新玩法！ 微速訊
- IBM與軟件公司Apptio就收購深入談判 或50億美元成交
- 進門墻怎么裝飾好看
- 官網宣？山東泰山俱樂部官網已將孫準浩資料移除_觀熱點
- 熱訊：什么是dsg變速箱（dsg變速箱的工作原理及特點）
- 端午假期，綠城文明旅游蔚然成風|世界熱文
- 全球觀焦點：甘肅7個曲藝項目亮相全國非遺曲藝周
- 熱點在線丨這個端午假期 甘肅最熱門景點在蘭州
- 端午假期 蘭州野生動物園迎來親子游客流高峰
- 暴雨黃色預警：廣西廣東江西等地部分地區將現大暴雨 全球新資訊
- 多地持續高溫 專家提示科學預防重點人群中暑 天天短訊
- 今明兩天蘭州市以陣雨轉晴天氣為主 出門莫忘帶上雨傘 焦點快報
- 河南油田工會獲省工會經審規范化考核特等獎 世界熱門
相關推薦
三氯蔗糖是什么糖 三氯蔗糖對血糖有影響嗎？
聚焦 2023/04/23松茸為什么不能水洗 松茸學名是什么？
聚焦 2023/04/23北海是哪個省城市 北海有什么特色小吃？
聚焦 2023/04/23魚缸用什么消毒殺菌好 魚缸定期殺菌用什么藥？
聚焦 2023/04/23海水鹽度一般是多少 海水成分包括哪些？
聚焦 2023/04/23熱門資訊 日 周 總
安徽省率先實現紅托竹蓀工廠化種植 助推食藥用菌產業錯位化高質量發展
健康 2022/09/05中山首個“港澳藥械通”醫療器械獲批 目前國內尚無同類產品
健康 2022/08/29遼寧省建立首批食品安全抽檢專家庫 化解食品安全風險隱患
健康 2022/08/192022太湖灣生命健康未來大會舉行 無錫推動生命健康產業發展躍級
健康 2022/08/0862歲阿姨“捂出”熱射病被送進ICU 免疫力低下人群更要注意這些
健康 2022/07/21暑期檔全國電影票房破75億 共有91部新片上映
節目 2022/08/16廣東文藝院團積極尋求創作與市場全面“破圈” 激活高雅文藝演出“內循環”
節目 2022/08/02馮小剛新劇時隔25年重回小熒幕 多個話題均已實現閱讀量破億
節目 2021/07/14動畫站上7月影市“C位” 吸引多家公司掘金
節目 2021/07/06人工智能等技術賦能 推動傳統戲曲文化與表演創新
節目 2021/07/02我國短視頻領域市場規模為2051.3億元 同比增長57.5%
直播 2021/06/17TFBOYS吸金力也不容小覷 峰峻文化能否順利運營還需一定的市場機遇
直播 2021/06/16打造自營電商 “美團小店”加碼實物電商
直播 2021/06/08發力企業采購領域 京東申請注冊京東工業商標
直播 2021/06/04全國已有345個城市包裹實現“半日達”
直播 2021/06/02推薦More
- 看誰收得多，比誰損失少！我省小麥機收減損活動掠影
- 【人人講安全?個個會應急】全省重大事故隱患專項排查整治行動調度會議召開-天天時快訊
- 【我們的節日·端午】省消協發布端午節消費提示：綠色安全文明理性消費
- 世界焦點！【奮發有為?推動高質量發展】山西電力不斷提升能源綜合利用水平
- 【關注中高考】高考網上填報志愿具體時間出爐 全球熱文
- 射陽科創引擎激活發展新動能
- 江蘇做好耕地保護和節約用地大文章
- 【人人講安全?個個會應急】全省重大事故隱患專項排查整治行動調度會議召開-天天時快訊
- 太陽官方告別保羅：感謝保羅為菲尼克斯所做的一切_天天報資訊
- 上海教育考試院2023年上海高考成績查詢、查分系統入口-天天觀點
- 突發！全球首例死亡病例！ 焦點簡訊
- 焦點報道:突破蛋殼，用心靈去呼喊
- 【世界報資訊】深圳信念文化發展有限公司（關于深圳信念文化發展有限公司介紹）
- 國產高性能SUV怎么樣及第二代CX-5多少錢 全球微動態
- 江蘇省2023年普通高考逐分段統計表公布|訊息
- 天天快消息！座艙體驗升級/行政版后排體驗更佳 蔚來全新ES8靜態體驗
- 今日熱文：俄媒：俄南部軍區位于羅斯托夫總部大樓已被“瓦格納”包圍
- 貴州體育類、藝術類最低投檔控制分數線劃定_世界看點
- 天天關注：貴州2023年高考分數線公布！一本文科545分，一本理科459分
- 貴州省2023年高考文理科最低投檔控制分數線公布 消息
- 12.DWT(小波分解)_熱推薦
- 焦點熱文：暗黑破壞神4正義人偶怎么獲取 支線任務攻略
- 全球觀焦點：【武漢成交日報】06月24日新建商品住房成交58套
- 比亞迪：悄悄的OTA，打槍的不要
- 極摩客G2—最高擴展2TB，疾速開機 告別等待！
- 普里戈任稱瓦格納已控制羅斯托夫地區包括機場在內的軍用設施
- 職業生涯規劃涵蓋了什么（職業生涯規劃 職業的內涵是什么）
- 揭陽市東之星科技發展有限公司
- 天天時訊：無法安裝打印機硬件_無法安裝打印機打印機處理器不存在
- @安徽高考生，6月24日出成績啦！查詢方式在這里
- 網王之千靈千尋 網王之夜千冰
- 韓國200多艘漁船海上集結 抗議日本決定將福島核污染水排海|環球快資訊
- 美媒文章：西方經濟認知全面崩塌-每日視點
- 分析人士：軍工復合體持續運轉 美國進一步拱火俄烏沖突_全球新要聞
- 環球短訊！本田因后視攝像頭問題在美國召回120萬輛汽車
- 對我國會計法律問題的思考論文
- 今日訊！dota英雄裝備合成列表_dota英雄裝備
- 杜蘭特：歐文哈登威少影響了一代人，某些人嫉妒我加盟勇士奪冠
- 每日熱訊!0241是哪里的區號_0241
- 天天觀速訊丨朱棣42歲登基，當了22年皇帝，嬪妃無數，為何沒有子嗣？
- 北京滑雪場哪里最好玩_北京滑雪
- 退休的我才明白：只有閨女沒有兒子的家庭，養老會出現這6個問題-全球聚看點
- 江蘇興化：稻麥輪作“噸糧田”，一塊田里的"碳水狂歡"
- 運能強 跑得順 停得穩 青藏鐵路將邁入動車時代_天天新視野
- 美國海岸警衛隊炮艦跑到中國沿海,管得也太寬了吧? 環球實時
- 江蘇無錫：“夜市經濟”助力，文旅融合讓鄉村旅游“游”出新意
- 國產“小金翼”——派方星艦6上市在即，親民版移動大沙發
- 柯坪塔格組_關于柯坪塔格組概略
- 焦點速看：科技洽談對接 共謀成果轉化
- 盧布辛納阿卡晉級，薩巴爆冷出局，高芙告負，徐一璠無緣四強
- 交易員定價英國央行將把利率提高到6.25%-環球熱資訊
- 美國5月生成式AI招聘崗位增加約20%，各大公司正探索新增長點 全球即時看
- 蓋倫打野出裝2022_蓋倫打野 環球今頭條
- 環球今頭條！補充《讓我用七千字告訴，你為什么是垃圾》
- 動態焦點:江蘇揚州：“民俗游”火起來 “夜端午”亮起來
- 古代打完仗再熱也不能脫盔甲，將軍偏不，當場染病！ 全球速看料
- 俄外長：在俄羅斯積極協助下 非盟加入G20問題將于近期得到解決
- 二手車在哪買_怎么挑選二手車_環球快播報
- 潛行者PBRmod項目的新報告
- 世界滾動:初探ETLCloud CDC零代碼實現MySQL數據實時同步
- 天天消息！微視頻｜家國情長
- 今日最新！iphone5s電信版在2022年能用3g網嗎_iphone5s電信版
- 天天觀速訊丨周潤發《別叫我"賭神"》豆瓣首批評論：出于情懷給3分
- 我的野蠻初戀演員表_我的野蠻初戀
- 廣州花都區屬國企招聘營銷管理部營銷崗1人|天天亮點
- 青平：遏制形式主義蔓延，減輕基層負擔 熱議
- 國網聊城供電公司：冒高溫完成跨鐵路施工 世界時訊
- 今日聚焦!中國女籃升至第一位！女籃亞洲杯實力榜更新
- 焦點熱文：西班牙2023年第一季度經濟上漲0.6%
- 美國將要求大貨車大客車配備自動剎車系統-天天看點
- 盜竊金首飾換來“銀手鐲” 警方抓獲一名盜竊犯罪嫌疑人
- 6·24日開始上上簽必定大發橫這三大生肖
- 端午“買買買”！金價走低，黃金飾品消費熱度高
- 中國移動電視盒子破解軟件_中國移動電視盒子破解
- 湖人選2人簽3人！無交易引援佩總遭質疑 美媒曬夏聯陣容成安慰
- scc寬寬做什么生意的（scc寬寬是干什么起家的）_世界速讀
- 楊冪旗下的藝人有哪些全部_楊冪旗下的藝人有哪些_觀點
- 甲子牛肉丸做法?
- 關注“三夏”｜?滄州531.1萬畝小麥收獲全部完成|環球微速訊
- 世界新資訊：利好英鎊！機構稱年底前英銀進一步加息100個基點，上調利率至6%
- Win11家庭版把用戶名修改為英文步驟|消息
- 斯基拉：芒特已同意曼聯開出的個人條款，將簽約至2028年_世界今日訊
- 6月25日放榜！廣東省2023年普通高考成績發布有關工作安排來了
- 超燃！2023年昌化農民端午傳統龍舟賽激情開賽 新要聞
- 天天資訊：鄭州：5月新房銷售面積環比增加39.5%，銷售均價環比降低17.6%
- 央媒眼中的吉林︱品粽看展賽龍舟 吉林多樣過端午
- 多地端午假期首日旅游成績單出爐，你貢獻了多少？_環球訊息
- 為戶外勞動者撐起“遮陽傘”
- 端午假期首日 全國鐵路發送旅客1620萬人次_熱門
- 交通部門增加增強服務舉措 確保旅客出行暢通 今日報
- 深入開展“三抓三促”行動 奮力開創現代化建設嶄新局面 訪涇川縣委書記于宏勤 世界快播
- 【天天快播報】絕世唐門唐雅是誰后代_絕世唐門唐雅是誰
- 眾望所歸！文班亞馬摘得NBA選秀狀元，布蘭登·米勒成榜眼
- 又掀降價潮？69款車型加入補貼大軍！不買就虧了-百事通
- 環球滾動:以“五共”理念激活基層治理良性循環
- 【地評線】紫金e評：一枚粽子傳古今，最是愛國情愫綿延悠長
- “順手買一件”有待規范
- 機構縱論銀行股下半年投資策略：價值重估行情或剛剛開啟|全球百事通
- 世界今亮點！【地評線】紫金e評：守好“大國糧倉”，節糧減損是道必答題
- 熱到懷疑人生!17個國家站最高氣溫破歷史極值,山東已現43℃以上高溫
- 環球微頭條丨如何解決提示bandtest.dll缺失報錯問題
- 全志科技：AI視覺芯片V853已在客戶端實現量產
- “這趟文化尋根之旅，將抵達美好的遠方” “萬民祭祖·拜謁伏羲”活動側記 當前視訊
- 天天速訊：同根伏羲 四海如一
- 當前通訊！地球信息科學與技術學什么課程及畢業薪酬崗位去向 就業前景怎么樣
2010-2020 版權所有滬ICP備2020036824號-17 
營業執照公示信息 不得轉載