支持向量機

習題預習

1. 什麼是支持向量機（SVM）以及它的優點和局限性是什麼？
2. SVM如何用於二元分類問題？請解釋其工作原理和數學模型。
3. 核技巧在SVM中的作用是什麼？它如何將低維特徵空間轉換為高維特徵空間？
4. 如何調整SVM模型的參數以達到更好的性能？列出可調整的參數以及它們的作用。
5. 如何用SVM處理多類別分類問題？請說明一些可用的方法。

說明知識

支持向量機（Support Vector Machine）是一種監督式學習算法，其主要功能是將輸入數據映射到高維空間中，並在此空間中找到一個最佳超平面來分類不同類別的數據。此算法的目的是在確保不同類別數據之間具有最大化距離的情況下進行分類。

例如，當我們有兩個不同的類別 - 紅色的方形以及藍色的圓形，我們可以用支持向量機的算法將它們分開。我們可以在二維平面上畫一個直線（超平面），並將這兩種形狀分開。在這個超平面上，我們可以找到一些支持向量，這些支持向量是最靠近超平面的數據點。通過這些支持向量，我們可以建立一個決策邊界，幫助我們進行類別分類。

如果進一步擴展這個例子，並使其成為更複雜的類別分類問題，支持向量機算法的作用就會更加明顯。在這種情況下，支持向量機可以成功地學習如何分類不同類別的數據，即使數據具有很高的維度並且非常接近。

條列重點

1. 支持向量機是一種機器學習算法，可用於分類和回歸問題。
2. SVM的目標是找到一個最優的超平面，將數據分為兩個或多個類別。
3. SVM採用核函數來有效地處理非線性問題，例如多項式核和徑向基核。
4. SVM使用間隔最大化來找到最優的超平面，即最大化分類器的邊界和分隔距離。
5. SVM可以通過特定的參數調整來適應不同的數據和任務。
6. SVM擅長處理高維和小樣本數據，且在許多實際問題中具有良好的性能。

知識測驗

1. Support Vector Machines (SVM) 在什麼情況下表現最佳？
2. 請解釋SVM中的Kernel Trick是怎麼運作的？
3. 如何處理在SVM中的類別不平衡問題？
4. 當SVM中的兩類資料點完全分開，且具有較大的邊緣(margin)時，該如何進行超平面的選擇？
5. SVM的目標函數是什麼，並請說明其所代表的意義？

答案：

1. SVM在到達最佳分類效能時，且擁有良好的數據分類能力。
2. Kernel Trick 以非線性轉換將資料映射至高維度空間，藉此實現在低維度空間中難以分割的資料，因而提高分類的效能。
3. 常見的處理方式有：使用代價數據，將代價賦予錯誤預測的情況；使用在不同特徵上的重量，以排除資料不平衡的影響。
4. 超平面的選擇會影響SVM的分類效能，因此可透過"soft margin"的方法，允許資料點在小部分情況下不被分開。
5. SVM的目標函數為最小化平方加權的姐妹距離，其所代表的意義為：以最大差距為標準，將支援向量分佈在相反方向，以產生最大化的margin(邊界)。