特征工程

习题预习

1. 什麼是特徵工程，而為什麼它對機器學習很重要？
2. 什麼是數值特徵，而為什麼數值特徵在機器學習算法中很重要？
3. 如何處理缺失值特徵？列出幾種處理缺失值的方法。
4. 什麼是類別特徵，而類別特徵在機器學習中的作用是什麼？
5. 如何將文字類別特徵轉換為數值特徵？列出幾種常見方法。

说明知识

Feature Engineering（特徵工程）是指從原始數據中提取有助於建立準確模型的特徵。特徵可以是數值、類別、文本或圖像等類型。其目的是在不損失信息的情況下，提取高質量的特徵，從而提高模型的預測能力和效果。

例如，對於一個電商平台上的商品推薦系統，特徵可以是用戶的購買歷史、瀏覽歷史、點擊率等；商品的價格、評價、品牌、分類等。通過這些特徵構建一個模型，可以根據用戶的歷史行為和商品的特點進行個性化的推薦，從而提高用戶體驗和平臺銷售量。

另一個例子，對於一個網絡安全預警系統，特徵可以是網絡流量中的通訊協議、IP地址、埠號等信息。通過這些特徵構建一個模型，可以測試和檢測網絡中的異常行為和攻擊，從而提高網絡安全性和穩定性。

總體來說，Feature Engineering在許多領域中都可以發揮重要作用，讓機器學習和深度學習模型更加準確有效地進行數據分析、預測分類、圖像識別等任務。

条列重点

1. 特征选择: 从所有特征中挑选出对目标变数有最大相关性或最具代表性的特征，以提高模型准确性、降低过度拟合和减小计算成本。
2. 特征提取: 从原始数据中抽取出新的特征，以提高数据表达能力、鉴别度和预测准确性，如文本特征提取。
3. 特征转换: 对原有特征进行数学、统计、几何等多种变换方式，以提高数据表达能力、降低噪声和消除非线性关系，如对数、标准化、多项式扩展等。
4. 特征缩放: 将数据转换到一个较小的尺度，以加速模型收敛速度、降低梯度消失、增强模型的鲁棒性。
5. 特征交互/组合: 结合两个或多个特征生成新的特征，以捕捉特征之间的复杂关系，如乘积、和、差、比等。
6. 特征过滤: 去掉那些对目标变数关联度低且高度相关的特征，以保留最具代表性的特征，减少噪声和计算成本。
7. 特征重要性: 通过特征选择或模型解释技术，找出最具代表性和对模型预测结果贡献最大的特征，以优化模型性能。

知识测验

1. 如何处理缺失值？如果某列中的数据缺失，应该使用什么方法来补充它？
2. 如何处理异常值？如果某列中的数据存在异常值，应该如何处理？
3. 如何从数据中提取特征？例如，从时间戳记提取时间、从文本中提取关键词等。
4. 如何进行编码和标准化等数据转换操作？何时应该进行这些操作？
5. 如何进行特征选择？应该使用什么方法来选择最好的特征？

答案:

1. 可以使用均值、中位数、众数等方法填补缺失值，也可以直接删除有缺失值的行或列。
2. 如果异常值是由测量或资料错误引起的，可以考虑删除或修正它们。如果异常值是有意义的，则可以保留它们或转换它们。
3. 特征提取可以使用许多技术，包括TF-IDF、Word2Vec、PCA等。选择正确的技术和方法取决于应用场景和数据类型。
4. 编码和标准化通常在数据清理和预处理后进行，以便模型可以更好地理解和学习数据。编码方法可以有One-hot编码、Ordinal编码等。标准化方法可以是Z-score标准化等。
5. 特征选择方法可以包含Univariate选择、Recursive Feature Elimination、特征重要性分析等。合适的方法取决于具体的问题和数据集。