要生成干淨的數據，需要經歷一個紛繁復雜且耗費時間的過程，不僅需要了解相關的技術訣竅，還需要具備統計方面的專業知識。《R統計數據清洗及應用》介紹大量文字、數值或分類數據的清洗技術，涵蓋有關數據表示和數據結構的各種技術數據清洗方法。書中重點介紹了統計數據驗證，基於預定義的數據清理和數據清洗策略。

●第1章 數據清洗 11.1 統計價值鏈 11.1.1 原始數據 21.1.2 輸入數據 21.1.3 有效數據 31.1.4 統計數據 31.1.5 輸出 31.2 《R統計數據清洗及應用》使用的表示法和約定 3第2章 R語言簡介 52.1 命令行中的R語言 52.2 向量 72.2.1 向量計算 92.2.2 數組和矩陣 102.3 數據幀 112.3.1 公式-數據接口 122.3.2 選擇行和列，布爾運算符 132.3.3 使用索引進行選擇 132.3.4 數據幀操縱：dplyr軟件包 152.4 特殊值 162.5 在R中導入和導出數據 192.5.1 R中的文件路徑 202.5.2 軟件包提供的格式 202.5.3 從數據庫讀取數據 212.5.4 處理R外部的數據 212.6 函數 222.6.1 使用函數 222.6.2 編寫函數 232.7 《R統計數據清洗及應用》中使用的軟件包 24第3章 數據的技術表示 273.1 數值數據 283.1.1 整數 283.1.2 R中的整數 303.1.3 實數 313.1.4 雙精度數 313.1.5 機器精度的概念 333.1.6 處理浮點數的不良結果 343.1.7 處理不良結果 353.1.8 R中的數值數據 373.2 文本數據 383.2.1 術語和編碼 383.2.2 Unicode 393.2.3 一些常見的編碼方案 403.2.4 R中的文本數據：character類的對像 433.2.5 R中的編碼方案 453.2.6 使用非本地編碼方案進行數據的讀取和寫入 463.2.7 檢測編碼方案 483.2.8 排序規則和排序 493.3 時間和日期 513.3.1 TAI、UTC以及 IX從Epcoch開始的秒數 513.3.2 時間和日期表示法 523.3.3 R中的時間和日期存儲 543.3.4 R中的時間和日期轉換 553.3.5 閏日、時區和夏令時 573.4 區域設置注意事項 58第4章 數據結構 614.1 簡介 614.2 表格數據 614.2.1 data.frame對像 624.2.2 數據庫 624.2.3 dplyr 644.3 矩陣數據 654.4 時間序列 664.5 圖表數據 684.6 Web數據 704.6.1 網頁爬取 704.6.2 Web API 704.7 其他數據 734.8 整理表格數據 734.8.1 每列變量 754.8.2 單個觀測值存儲在多個表中 75第5章 清洗文本數據 775.1 字符規範化 785.1.1 編碼轉換和Unicode規範化 785.1.2 字符轉換和音譯 805.2 使用正則表達式進行模式匹配 825.2.1 基本正則表達式 825.2.2 實用的正則表達式 855.2.3 在R中生成正則表達式 935.3 R中的常見字符串處理任務 945.4 近似文本匹配 995.4.1 字符串指標 1015.4.2 R中的字符串指標和近似文本匹配 110第6章 數據驗證 1216.1 簡介 1216.2 初識validate軟件包 1226.2.1 使用check_that快速檢查 1226.2.2 基本工作流程：validator和confront 1246.2.3 validate和DSL背景簡介 1266.3 定義數據驗證 1276.3.1 數據驗證的正式定義 1286.3.2 驗證函數的運算 1306.3.3 驗證和缺失值 1326.3.4 驗證函數的結構 1336.3.5 界定validate中的驗證規則 1346.4 數據驗證函數的形式類型 1356.4.1 深入了解測量 1356.4.2 驗證規則的分類 1376.5 使用validate軟件包驗證數據 1396.5.1 控制臺和validator對像中的驗證規則 1396.5.2 在管道中驗證 1416.5.3 拋出錯誤或警告 1416.5.4 測試線性方程式的公差 1426.5.5 設置和重置選項 1436.5.6 從文件導入驗證規則/將驗證規則導出到文件 1446.5.7 檢查變量數據 1466.5.8 檢查值範圍和代碼列表 1476.5.9 檢查記錄中一致性規則 1486.5.10 檢查跨記錄驗證規則 1506.5.11 檢查函數依賴 1516.5.12 跨數據集驗證 1526.5.13 宏、變量組、鍵 1536.5.14 分析輸出：validation對像 1546.5.15 輸出維度和輸出選擇 156第7章 在數據記錄中定位錯誤 1597.1 錯誤定位 1597.2 使用R進行錯誤定位 1627.3 以MIP問題的形式進行錯誤定位 1647.3.1 錯誤定位和混合整數規劃 1657.3.2 線性 1667.3.3 分類 1677.3.4 混合類型 1697.4 數值穩定性問題 1717.4.1 解決MIP問題 1727.4.2 縮放數值記錄 1747.4.3 設置數值閾值 1747.5 實際問題 1767.5.1 設置可靠性權重 1767.5.2 簡化條件驗證規則 1777.6 結論 181第8章 規則集的維護和簡化 1858.1 驗證規則的質量 1858.1.1 完備性 1858.1.2 多餘的規則和不可行性 1868.2 以邏輯語言表述規則 1868.3 規則集問題 1888.3.1 不可行規則集 1888.3.2 固定值 1908.3.3 冗餘規則 1918.3.4 非松弛子句 1918.3.5 非約束子句 1918.4 檢測和簡化過程 1928.4.1 混合整數規劃 1938.4.2 檢測可行性 1938.4.3 查找導致不可行的規則 1938.4.4 檢測衝突規則 1948.4.5 檢測部分不可行性 1948.4.6 檢測固定值 1948.4.7 檢測非松弛子句 1958.4.8 檢測非約束子句 1958.4.9 檢測冗餘規則 1958.5 結論 196第9章 基於領域知識模型的方法 1979.1 使用數據修改規則進行校正 1979.1.1 修改函數 1989.1.2 針對數值數據的一類修改函數 2029.2 使用dcmodify進行基於規則的校正 2069.2.1 從文件中讀取規則 2079.2.2 修改規則語法 2089.2.3 缺失值 2099.2.4 順序執行和與順序無關的執行 2099.2.5 選項設置管理 2109.3 演繹校正 2109.3.1 校正數值數據中的鍵入錯誤 2119.3.2 使用線性進行演繹插補 214第10章 插補和調整 22110.1 缺失數據 22110.1.1 缺失數據機制 22110.1.2 使用R可視化和測試缺失數據中的模式 22210.2 基於模型的插補 22610.3 R中基於模型的插補 22810.3.1 使用simputation指定插補方法 22810.3.2 基於線性回歸的插補 22910.3.3 M估計 23110.3.4 Lasso回歸、嶺回歸和彈性網絡回歸 23310.3.5 分類和回歸樹 23310.3.6 隨機森林 23610.4 使用R進素插補 23710.4.1 隨機和順序熱卡插補 23810.4.2 k最近鄰和預測均值匹配 23910.5 simputation軟件包中的其他方法 24010.6 基於EM算法的插補 24110.6.1 EM算法 24210.6.2 假定多變量正態分布情況下的EM插補 24410.7 插補下的抽樣方差 24510.8 多重插補 24610.8.1 基於EM算法的多重插補 24910.8.2 Amelia軟件包 24910.8.3 基於鏈式方程的多變量插補 25310.8.4 使用mice軟件包進行插補 25410.9 用於估計插補方差的分析方法 25710.10 選擇插補方法 25710.11 約束值調整 26010.11.1 形式化描述 26010.11.2 對插補數據的應用 26310.11.3 使用rspa軟件包調整插補值 263第11章 示例：一個小型數據清洗繫統 26511.1 設置 26611.1.1 確定性方法 26711.1.2 錯誤定位 26811.1.3 插補 26911.1.4 調整插補數據 27111.2 監控數據更改 27311.2.1 數據差異(Daff) 27311.2.2 格更改 27511.2.3 按照驗證規則彙總更改 27611.2.4 使用lumberjack自動跟蹤數據更改 27811.3 集成和自動化 28211.3.1 使用RScript 28211.3.2 docopt軟件包 28311.3.3 自動化數據清洗 283

■重點關注數據清洗方法的自動化，既包括理論知識，也包括使用R語言編寫的應用。■使讀者能夠設計數據清洗過程，用於進行一次性分析或者設置生產繫統以便定期進行數據清洗。■探索各種統計技術，以便解決諸如不完整、矛盾和離群等方面的問題，更好地進行數據清洗組件的集成和質量監控。■圖書配套網站提供特征數據和R範例代碼。

在數據分析中，數據清洗往往是最為耗時的部分。在“官方統計”(Official Statistics)社區，很久以前就已經開始將數據清洗作為一個單獨的學科進行研究(在該社區，數據清洗被稱為“數據編輯”)。此外，在研究中還引入了數據庫的相關知識，盡管如此，針對大型統計社區的文獻著作還是非常有限。正是因為這個原因，當出版方邀請我們對之前為useR!2013大會編寫的《R數據清洗簡介》教程進行擴展，進而編纂成一《R統計數據清洗及應用》時，我們毫不猶豫就答應了，這也是我們的心聲。一方面，我們認為，過去50年中在“官方統計”社區發布的一些方法應該為更多的用戶所了解和使用，而《R統計數據清洗及應用》或許可以為此助一臂之力。另一方面，我們正在從基於調查的數據源過渡到管理型“大”數據源，希望《R統計數據清洗及應用》能夠幫助為“官方統計”社區增加一些(通常是預先存在的)相關技術。對於我們來說，通過編寫《R等