邏輯回歸

習題預習

1. 什麼是Logistic Regression，它用於什麼樣的問題？
2. 在Logistic Regression中，什麼是sigmoid函數？它的作用是什麼？
3. 如何用Logistic Regression建立分類模型？分類器如何訓練？
4. 如何評估Logistic Regression分類器的性能？有哪些常見的評估指標？
5. logistic regression和linear regression有什麼區別？哪些情況下應該使用logistic regression而不是linear regression？

說明知識

Logistic回歸是一種統計學方法，用於預測一個二元變量的機率，也就是將因變量（自變量）映射到一個0到1之間的概率估計值。

舉個例子來說，在一個銷售市場，我們可以將客戶的購買行為作為因變量，而性別、年齡、所在城市、職業等作為自變量，進行Logistic回歸分析，來預測客戶是否會購買產品。

基於統計學中的最大似然估計方法，Logistic回歸通過學習大量樣本，找到最符合數據特徵的模型參數，進而對新的樣本進行預測。在進行學習和預測過程中，Logistic回歸模型可以適用於分類、預測等多種應用場景，被廣泛應用於金融、醫療、市場等領域。

條列重點

1. Logistic Regression是一種機器學習模型，常用於二元分類問題。

2. Logistic Regression的基本思想是通過將自變量與因變量的關係轉換成一個概率的方式來進行預測和分類。

3. Logistic Regression假設因變量與自變量的關係通過一個logistic函數進行轉換；這個函數可以用來描述因變量的變化趨勢。

4. Logistic Regression所使用的求解算法通常是最大化損失函數的方法，使得模型預測的值與實際值的差距最小化。

5. Logistic Regression涉及到很多假設，如樣本獨立、可加性、線性、無多重共線性等，這些假設在實際應用中需要仔細確認。

6. Logistic Regression常用於預測二元變量，且在分類問題中性能較為穩定，但在面對多元分類問題時，則需要使用其他方法進行處理。

7. Logistic Regression可以應用於多種應用場景，如廣告投放、推薦系統、金融風控、醫學診斷等領域。

知識測驗

1. 有一個資料集，其中包含20,000個樣本，每個樣本有10個特徵。如果使用Logistic Regression作為分類器，應該使用哪種優化方法以取得更好的結果？

答案：通常情況下，使用隨機梯度下降法（Stochastic Gradient Descent）可以得到較好的結果。

2. 在研究某種疾病時，獲得了一個包含1000個病例的資料集，其中有100名患者患有該疾病。如果想要建立一個能夠準確預測某個人是否會患上該疾病的模型，該如何設計模型？

答案：由於資料集中正樣本數量較少，因此需要使用權衡正負樣本的方式，例如使用過採樣（Over-Sampling）或下採樣（Under-Sampling）的方法。

3. 當使用Logistic Regression時，為什麼要對特徵進行標準化（Standardization）處理？

答案：因為Logistic Regression使用的是線性函數，對於不同尺度的特徵會有不同的權重。如果沒有對特徵進行標準化處理，可能會造成某些特徵的權重過高或過低，從而對模型的結果產生不利影響。

4. 如何處理異常值（Outlier）對Logistic Regression模型的影響？

答案：異常值可能會對Logistic Regression模型的權重產生非常大的影響，因此需要對異常值進行處理，可以採用以下幾種方式：

‧ 利用IQR方法（四分位距法）將異常值視為缺失值進行處理
‧ 利用平均值或中位數來替換異常值
‧ 利用分箱（Binning）的方式來處理異常值

5. 如何評估Logistic Regression模型的性能？

答案：可以使用以下幾種指標來評估Logistic Regression模型的性能：

‧ Accuracy：分類正確率，即預測正確的樣本數佔總樣本數的比例。
‧ Precision：當模型判斷某個樣本為正樣本時，實際上該樣本為正樣本的概率。
‧ Recall：當所有真正的正樣本中，模型能夠正確地預測出來的比例。
‧ F1 score：綜合考慮Precision和Recall，通常用於不平衡樣本的情況下。
‧ ROC Curve：利用不同閾值計算True Positive Rate和False Positive Rate，並繪製ROC曲線來評估模型性能。