缺失值处理

习题预习

1. 缺失值处理的意义何在，为什么需要处理缺失值？
2. 缺失值的种类有哪些，各有什么特点？例如：完全缺失、部分缺失等。
3. 给定一组缺失值的资料，该如何确认其缺失值的位置与数量？
4. 给定一个含有缺失值的资料集，常见的缺失值处理方法有哪些？例如：删除、填补、插值等。
5. 在使用资料集进行机器学习建模时，缺失值的处理对模型有什么影响？该如何选择适当的缺失值处理方法来提高模型准确率？

说明知识

Missing Value Handling 是资料分析过程中必须要处理的问题，因为资料中常常会出现缺失值，但是缺失值会对分析结果造成影响。

处理缺失值的方式有以下几种：

1. 删除缺失值：删除资料集中包含缺失值的行或列，这样会减少资料的量，且可能会影响到资料的完整性和代表性。
2. 补值：使用平均值、中位数等方法来填补缺失值。但这可能会造成资料集的偏差，尤其是当资料的变异性很大时，这种补值方式的效果就会很差。
3. 建立模型：使用机器学习模型，如决策树、随机森林等方法，来预测缺失值。这种方法需要有足够的资料和时间来训练模型，但补值效果通常比较好。

举例来说，一家公司想要分析员工的薪资水平，但是资料中有一些员工的薪资是未知的，这些未知的薪资就是缺失值。这时公司可以选择删除这些员工的资料，或者使用其他员工的平均薪资来填补这些缺失值，或者使用一些机器学习模型来预测这些员工的薪资。最终综合考虑各种方法的优劣，找出适合公司分析的方式。

条列重点

1. 缺失值的定义：缺失值是指资料中某些变数的数值或资讯缺失或未知。

2. 缺失值的原因：资料搜集、处理或储存过程中出现了错误或不完整的资讯。

3. 缺失值处理的目的：确保资料的完整性和可靠性，并且让资料分析者能够更好地理解和分析资料。

4. 缺失值的处理方法：
   a. 删除缺失值：直接删除有缺失值的样本或变数，但这种方法会导致资料损失或偏差。
   b. 插补缺失值：通过一些方法将缺失值替换为其他已知数值。最常用的插补方法包括均值、中位数、众数、回归、随机森林等。

5. 插补方法的选择：需要根据数据的特点、资料分析的目的和范围、计算效率等因素来决定。

6. 如何评估缺失值处理：可以通过比较前后的数据分布、数据质量和资料挖掘算法的性能来评估缺失值处理的效果。

知识测验

1. 有一個資料集，其中一個變數有50%的資料遺漏，該如何處理這些missing value?
   答案：可以使用多種方法來處理missing value，例如利用中位數、平均數或眾數來填補空缺值，或是直接刪除含有missing value的行或列。

2. 在資料挖掘的過程中，有些圖表或分析方法無法處理missing value，該如何處理這些missing value?
   答案：可以先使用missing value的處理方法來處理缺失的資料，在對資料進行圖表或分析前，再確認已經沒有missing value存在。

3. 有一個資料集，其中一個變數有20%的資料遺漏，並且該變數的資料型態為類別型，該如何處理這些missing value?
   答案：可以將missing value視為一個新的類別，使用最常出現的類別數值來填補空缺值，或是利用其他已知的資料（例如該列的其他變數）來預測該缺失值的數值。

4. 在一個資料集中，有些變數有大量的missing value，直接刪除會造成資料損失嚴重，該如何處理這些missing value?
   答案：可以使用資料插值法來處理missing value，例如使用線性插值、多項式插值等方法來預測missing value的數值。

5. 在收集資料的過程中，由於硬體或軟體錯誤，造成某些資料丟失或被記錄錯誤，該如何處理這些missing value?
   答案：可以努力尋找其他途徑來收集相關資料，或是使用相似的資料來代替missing value，或是進行專家訪談或參考其他資料來得到更多相關資訊來填補空缺值。