●入 門 篇第1章 概述21.1 數據交換基本概念21.1.1 數據交換概念模型21.1.2 數據交換技術的發展31.2 數據交換體繫結構41.2.1 數據交換模式41.2.2 數據交換體繫組成61.3 達夢數據交換平臺簡介71.3.1 組成及功能71.3.2 技術架構101.3.3 特點11第2章 安裝與配置132.1 安裝與卸載132.1.1 Windows操作繫統中的安裝132.1.2 Linux操作繫統中的安裝212.1.3 升級安裝232.1.4 卸載242.1.5 常見問題與注意事項252.2 繫統配置272.2.1 啟動與停止繫統服務272.2.2 服務器配置302.2.數據庫配置312.2.4 集群配置332.2.5 數據總線服務配置342.2.6 Web監控服務配置352.2.7 查看許可證信息362.2.8 監聽服務器日志信息372.2.9 日志參數配置37第3章 快速入門383.1 設計器界面383.1.1 設計器啟動383.1.2 界面簡介403.2 基本操作403.2.1 設計403.2.2 運行433.3 入門示例443.3.1 示例說明443.3.2 創建數據源453.3.3 創建工程503.3.4 設計轉換513.3.5 設計作業623.3.6 查看運行日志66基 礎 篇第4章 數據源管理684.1 關繫型數據庫684.1.1 關繫型數據庫概述684.1.2 添加表704.1.3 添加視圖704.1.4 添加SQL查詢714.1.5 表734.2 文本文件794.2.1 文本文件描述794.2.2 文本文件選項配置說明794.2.3 文本文件詳細說明794.3 CSV文件804.3.1 CSV文件描述804.3.2 CSV文件選項配置說明804.4 Excel文件804.4.1 Excel文件描述804.4.2 Excel文件選項配置說明814.5 XML文件814.5.1 XML文件描述814.5.2 XML文件選項配置說明814.5.3 XML文件示例描述824.6 數據集文件834.6.1 數據集文件描述834.6.2 數據集文件選項配置說明834.7 DBF文件844.7.1 DBF文件描述844.7.2 DBF文件選項配置說明844.8 JSON文件844.8.1 JSON文件描述844.8.2 JSON文件選項配置說明844.8.3 JSON文件示例描述854.9 HDFS文件864.9.1 HDFS文件描述864.9.2 HDFS文件選項配置說明864.10 AVRO文件864.10.1 AVRO文件描述864.10.2 AVRO文件選項配置說明874.11 JMS文件874.11.1 JMS文件描述874.11.2 JMS文件選項配置說明874.11.3 JMS文件示例描述874.12 WebSphere MQ894.12.1 WebSphere MQ描述894.12.2 WebSphere MQ選項配置說明894.13 Kafka894.13.1 Kafka描述894.13.2 Kafka選項配置說明894.14 WebService904.14.1 WebService描述904.14.2 WebService選項配置說明904.15 LDAP904.15.1 LDAP描述904.15.2 LDAP選項配置說明904.15.3 LDAP示例描述914.15.4 添加LDAP DN數據集914.16 Mail數據源914.16.1 Mail數據源描述914.16.2 Mail數據源選項配置說明924.16.3 Mail數據源示例描述924.16.4 添加Mail數據集934.17 MongoDB數據源944.17.1 MongoDB數據源描述944.17.2 MongoDB數據源選項配置說明944.17.3 MongoDB數據源示例描述944.17.4 添加MongoDB數據集944.18 Elasticsearch數據源954.18.1 Elasticsearch數據源描述954.18.2 Elasticsearch數據源選項配置說明954.18.3 Elasticsearch數據源示例描述964.18.4 添加Elasticsearch類型964.19 Hbase數據源974.19.1 Hbase數據源描述974.19.2 Hbase數據源選項配置說明974.19.3 Hbase數據源示例描述984.19.4 添加Hbase表984.20 數據994.20.1 數據描述994.20.2 數據選項配置說明994.20.3 數據示例描述994.21 導出數據1014.21.1 導出數據描述1014.21.2 導出數據選項配置說明1014.21.3 導出數據示例描述101第5章 轉換1035.1 轉換概述1035.1.1 轉換功能描述1035.1.2 轉換選項配置說明1035.2 轉換通用配置1045.2.1 輸出配置1045.2.2 高級屬性配置1095.2.3 數據條數1115.2.4 文件切分1125.2.5 文件處理1135.2.6 文件選擇1145.2.7 自動分表1165.2.8 流程運行統計1175.3 數據讀取1185.3.1 讀取表/視圖1185.3.2 SQL查詢1205.3.3 讀取增量表1225.3.4 讀取文本文件1245.3.5 讀取CSV文件1255.3.6 讀取Excel文件1275.3.7 讀取XML文件1285.3.8 讀取數據集文件1295.3.9 讀取JMS數據1315.3.10 讀取WebService數據1335.3.11 讀取LDAP數據1345.3.12 讀取Mail數據1355.3.13 讀取隨機數據1365.3.14 讀取自定義數據源1385.3.15 讀取DBF文件1415.3.16 讀取JSON文件1415.3.17 讀取MongoDB數據1425.3.18 讀取WebSphere MQ數據1435.3.19 讀取網絡輸入數據1435.4 數據轉換1435.4.1 數據清洗轉換1435.4.2 聯合1555.4.3 數據集查找1575.4.4 數據質量檢測1595.4.5 SQL腳本1595.4.6 設置變量1615.4.7 排序1625.4.8 刪除重復行1645.4.9 行數據抽樣1655.4.10 自定義轉換1665.4.11 聚合1675.4.12 列轉行1685.4.13 行轉列1705.4.14 繫統命令1715.4.15 數據脫敏1715.4.16 連接1725.5 數據裝載1725.5.1 表裝載1725.5.2 增量表裝載1745.5.3 緩慢變化維表裝載1765.5.4 文本文件裝載1815.5.5 CSV文件裝載1825.5.6 Excel文件裝載1835.5.7 XML文件裝載1855.5.8 數據集文件裝載1865.5.9 JMS裝載1875.5.10 WebService裝載1885.5.11 DBF文件裝載1905.5.12 JSON文件裝載1915.5.13 MongoDB裝載1925.5.14 WebSphere MQ裝載1925.5.15 Kafka裝載1925.5.16 Elasticsearch裝載1935.5.17 網絡輸出1935.6 快速裝載1945.6.1 DM8快速裝載1945.6.2 Greenplum快速裝載1955.6.3 Oracle快速裝載1975.6.4 MySQL快速裝載1985.6.5 Infobright快速裝載1995.6.6 Mariadb快速裝載2005.6.7 Hive快速裝載2005.7 文件同步2015.7.1 文件源2015.7.2 文件目的2035.7.3 文件同步示例203第6章 作業2066.1 作業概述2066.1.1 作業功能描述2066.1.2 作業選項配置說明2066.2 作業通用配置2076.2.1 高級屬性2076.2.2 循環執行2086.3 引用2096.3.1 引用轉換2106.3.2 引用作業2106.4 腳本2116.4.1 Java腳本2126.4.2 SQL腳本2136.4.3 設置變量2146.5 文件操作2166.5.1 基本文件操作2166.5.2 壓縮2176.5.3 解壓縮2186.5.4 遠程文件同步2196.6 實用工具2216.6.1 發送郵件2216.6.2 OS命令2236.6.3 DLL調用2246.6.4 Ant2256.6.5 休眠2276.6.6 數據校驗2286.7 繫統維護2306.7.1 清除日志2306.7.2 刷新緩存231第7章 函數與變量2337.1 函數2337.1.1 函數定義2337.1.2 函數類型與作用域2347.2 變量2347.2.1 變量定義2347.2.2 變量類型與作用域2357.2.3 節點變量2357.2.4 局部變量2377.3 表達式2377.4 使用嵌入式表達式2387.5 數據類型239第8章 調度與監控2418.1 調度2418.1.1 新建調度2418.1.2 設置調度2438.1.3 調度引擎2458.2 監控2468.2.1 監控後臺流程2468.2.2 查詢歷史日志2478.2.3 清除歷史日志2498.2.4 實時告警2508.2.5 歷史告警2518.2.6 清除告警251第9章 權限與版本管理2529.1 權限概述2529.1.1 功能權限2529.1.2 對像權限2539.2 角色2559.3 用戶2569.3.1 用戶概述2569.3.2 啟用/禁用用戶2579.3.3 重置密碼2579.4 版本管理2589.4.1 備份當前版本2589.4.2 自動備份2589.4.3 手動備份2599.4.4 查看歷史版本2599.4.5 清除歷史版本2609.4.6 還原刪除對像261高 級 篇第10章 增量數據抽取26410.1 增量數據抽取原理26410.1.1 增量數據抽取方式26410.1.2 DMETL增量數據表26710.2 增量數據同步設計26910.2.1 添加增量數據集26910.2.2 配置增量表數據抽取27010.2.3 配置增量表數據裝載27110.2.4 配置“首次同步時同步基表數據”與“設為首次同步”27110.3 增量數據同步和增量方式配置示例27410.3.1 觸發器方式同步示例27410.3.2 其他增量方式配置示例278第11章 達夢數據交換集群28311.1 集群概述28311.1.1 體繫結構28311.1.2 集群特性28411.2 集群安裝配置與管理28711.2.1 集群安裝28711.2.2 集群主從節點配置28711.2.3 集群管理29111.3 轉換和作業集群配置29311.3.1 轉換流程消息順序29311.3.2 轉換組件集群配置29411.3.3 作業組件集群配置29511.3.4 組件對集群的支持296第12章 數據質量檢測29712.1 數據質量檢測規則管理29712.1.1 數據質量規則29712.1.2 數據質量視圖29812.2 數據質量檢測配置29912.3 數據質量檢測統計304第13章 Web監控與數據總線30913.1 Web監控30913.1.1 Web監控安裝30913.1.2 Web監控配置30913.1.3 Web監控功能31113.2 數據總線31913.2.1 DMETL數據總線概述31913.2.2 基於數據總線的數據交換320第14章 自定義轉換和數據源開發32914.1 自定義轉換和數據源開發概述32914.2 開發環境搭建33014.2.1 開發環境要求33014.2.2 開發條件準備33114.3 自定義轉換開發33414.3.1 自定義轉換開發目標33414.3.2 自定義轉換開發步驟33514.3.3 自定義轉換應用34314.4 自定義數據源開發34814.4.1 自定義數據源開發目標34814.4.2 自定義數據源開發步驟34814.4.3 使用自定義數據源352第15章 ETL接口編程35415.1 DMETL API概述35415.2 接口編程示例35515.2.1 數據遷移編程示例35515.2.2 數據操作查詢編程示例35915.2.3 調度操作編程示例36215.2.4 查詢語句修改編程示例363附錄A 繫統函數365A.1 數學函數365A.2 字符串函數369A.3 日期時間函數374A.4 判斷函數376A.5 數據轉換函數376A.6 其他函數378附錄B 繫統變量381B.1 繫統運行變量381B.2 其他繫統變量381附錄C 日期時間格式382附錄D 數字格式385

本書以達夢數據交換平臺4.0為藍本，全面繫統地介紹了達夢數據交換平臺的體繫結構、安裝與配置、轉換和作業流程設計、達夢數據總線和集群等內容，是學習達夢數據交換平臺的基礎教材和參考用書。全書分為入門篇、基礎篇和高級篇三個部分，內容涵蓋達夢數據交換平臺概述、安裝與配置、快速入門、數據源管理、轉換、作業、函數與變量、調度與監控、權限與版本管理、增量數據抽取、達夢數據交換集群、數據質量檢測、Web監控與數據總線自定義轉換和數據源開發、ETL接口編程等內容。本書結合具體實例，詳細闡述了達夢數據交換平臺各功能組件的使用方法，同時也介紹了集群、數據總線等高級內容，適合不同學習進度的讀者使用。本書內容全面、舉例豐富、操作性強、語言通俗、格式規範，可作為達夢數據交換平臺的學習教材，也可作為工程技術人員的參考用書。

張勝 著