特徵工程

習題預習

1. 什麼是特徵工程，而為什麼它對機器學習很重要？
2. 什麼是數值特徵，而為什麼數值特徵在機器學習算法中很重要？
3. 如何處理缺失值特徵？列出幾種處理缺失值的方法。
4. 什麼是類別特徵，而類別特徵在機器學習中的作用是什麼？
5. 如何將文字類別特徵轉換為數值特徵？列出幾種常見方法。

說明知識

Feature Engineering（特徵工程）是指從原始數據中提取有助於建立準確模型的特徵。特徵可以是數值、類別、文本或圖像等類型。其目的是在不損失信息的情況下，提取高質量的特徵，從而提高模型的預測能力和效果。

例如，對於一個電商平台上的商品推薦系統，特徵可以是用戶的購買歷史、瀏覽歷史、點擊率等；商品的價格、評價、品牌、分類等。通過這些特徵構建一個模型，可以根據用戶的歷史行為和商品的特點進行個性化的推薦，從而提高用戶體驗和平臺銷售量。

另一個例子，對於一個網絡安全預警系統，特徵可以是網絡流量中的通訊協議、IP地址、埠號等信息。通過這些特徵構建一個模型，可以測試和檢測網絡中的異常行為和攻擊，從而提高網絡安全性和穩定性。

總體來說，Feature Engineering在許多領域中都可以發揮重要作用，讓機器學習和深度學習模型更加準確有效地進行數據分析、預測分類、圖像識別等任務。

條列重點

1. 特徵選擇: 從所有特徵中挑選出對目標變數有最大相關性或最具代表性的特徵，以提高模型準確性、降低過度擬合和減小計算成本。
2. 特徵提取: 從原始數據中抽取出新的特徵，以提高數據表達能力、鑒別度和預測準確性，如文本特徵提取。
3. 特徵轉換: 對原有特徵進行數學、統計、幾何等多種變換方式，以提高數據表達能力、降低噪聲和消除非線性關係，如對數、標準化、多項式擴展等。
4. 特徵縮放: 將數據轉換到一個較小的尺度，以加速模型收斂速度、降低梯度消失、增強模型的魯棒性。
5. 特徵交互/組合: 結合兩個或多個特徵生成新的特徵，以捕捉特徵之間的複雜關係，如乘積、和、差、比等。
6. 特徵過濾: 去掉那些對目標變數關聯度低且高度相關的特徵，以保留最具代表性的特徵，減少噪聲和計算成本。
7. 特徵重要性: 通過特徵選擇或模型解釋技術，找出最具代表性和對模型預測結果貢獻最大的特徵，以優化模型性能。

知識測驗

1. 如何處理缺失值？如果某列中的數據缺失，應該使用什麼方法來補充它？
2. 如何處理異常值？如果某列中的數據存在異常值，應該如何處理？
3. 如何從數據中提取特徵？例如，從時間戳記提取時間、從文本中提取關鍵詞等。
4. 如何進行編碼和標準化等數據轉換操作？何時應該進行這些操作？
5. 如何進行特徵選擇？應該使用什麼方法來選擇最好的特徵？

答案:

1. 可以使用均值、中位數、眾數等方法填補缺失值，也可以直接刪除有缺失值的行或列。
2. 如果異常值是由測量或資料錯誤引起的，可以考慮刪除或修正它們。如果異常值是有意義的，則可以保留它們或轉換它們。
3. 特徵提取可以使用許多技術，包括TF-IDF、Word2Vec、PCA等。選擇正確的技術和方法取決於應用場景和數據類型。
4. 編碼和標準化通常在數據清理和預處理後進行，以便模型可以更好地理解和學習數據。編碼方法可以有One-hot編碼、Ordinal編碼等。標準化方法可以是Z-score標準化等。
5. 特徵選擇方法可以包含Univariate選擇、Recursive Feature Elimination、特徵重要性分析等。合適的方法取決於具體的問題和數據集。