缺失值處理

習題預習

1. 缺失值處理的意義何在，為什麼需要處理缺失值？
2. 缺失值的種類有哪些，各有什麼特點？例如：完全缺失、部分缺失等。
3. 給定一組缺失值的資料，該如何確認其缺失值的位置與數量？
4. 給定一個含有缺失值的資料集，常見的缺失值處理方法有哪些？例如：刪除、填補、插值等。
5. 在使用資料集進行機器學習建模時，缺失值的處理對模型有什麼影響？該如何選擇適當的缺失值處理方法來提高模型準確率？

說明知識

Missing Value Handling 是資料分析過程中必須要處理的問題，因為資料中常常會出現缺失值，但是缺失值會對分析結果造成影響。

處理缺失值的方式有以下幾種：

1. 刪除缺失值：刪除資料集中包含缺失值的行或列，這樣會減少資料的量，且可能會影響到資料的完整性和代表性。
2. 補值：使用平均值、中位數等方法來填補缺失值。但這可能會造成資料集的偏差，尤其是當資料的變異性很大時，這種補值方式的效果就會很差。
3. 建立模型：使用機器學習模型，如決策樹、隨機森林等方法，來預測缺失值。這種方法需要有足夠的資料和時間來訓練模型，但補值效果通常比較好。

舉例來說，一家公司想要分析員工的薪資水平，但是資料中有一些員工的薪資是未知的，這些未知的薪資就是缺失值。這時公司可以選擇刪除這些員工的資料，或者使用其他員工的平均薪資來填補這些缺失值，或者使用一些機器學習模型來預測這些員工的薪資。最終綜合考慮各種方法的優劣，找出適合公司分析的方式。

條列重點

1. 缺失值的定義：缺失值是指資料中某些變數的數值或資訊缺失或未知。

2. 缺失值的原因：資料蒐集、處理或儲存過程中出現了錯誤或不完整的資訊。

3. 缺失值處理的目的：確保資料的完整性和可靠性，並且讓資料分析者能夠更好地理解和分析資料。

4. 缺失值的處理方法：
   a. 刪除缺失值：直接刪除有缺失值的樣本或變數，但這種方法會導致資料損失或偏差。
   b. 插補缺失值：通過一些方法將缺失值替換為其他已知數值。最常用的插補方法包括均值、中位數、众數、回歸、隨機森林等。

5. 插補方法的選擇：需要根據數據的特點、資料分析的目的和範圍、計算效率等因素來決定。

6. 如何評估缺失值處理：可以通過比較前後的數據分布、數據質量和資料挖掘算法的性能來評估缺失值處理的效果。

知識測驗

1. 有一個資料集，其中一個變數有50%的資料遺漏，該如何處理這些missing value?
   答案：可以使用多種方法來處理missing value，例如利用中位數、平均數或眾數來填補空缺值，或是直接刪除含有missing value的行或列。

2. 在資料挖掘的過程中，有些圖表或分析方法無法處理missing value，該如何處理這些missing value?
   答案：可以先使用missing value的處理方法來處理缺失的資料，在對資料進行圖表或分析前，再確認已經沒有missing value存在。

3. 有一個資料集，其中一個變數有20%的資料遺漏，並且該變數的資料型態為類別型，該如何處理這些missing value?
   答案：可以將missing value視為一個新的類別，使用最常出現的類別數值來填補空缺值，或是利用其他已知的資料（例如該列的其他變數）來預測該缺失值的數值。

4. 在一個資料集中，有些變數有大量的missing value，直接刪除會造成資料損失嚴重，該如何處理這些missing value?
   答案：可以使用資料插值法來處理missing value，例如使用線性插值、多項式插值等方法來預測missing value的數值。

5. 在收集資料的過程中，由於硬體或軟體錯誤，造成某些資料丟失或被記錄錯誤，該如何處理這些missing value?
   答案：可以努力尋找其他途徑來收集相關資料，或是使用相似的資料來代替missing value，或是進行專家訪談或參考其他資料來得到更多相關資訊來填補空缺值。