線性判別分析LDA的數學原理(二)


1.關於PCA和LDA分類對比



PCA是無類別信息,不知道樣本屬於哪個類,用PCA通常對全體數據操作。LDA有類別信息投影到類內間距最小&&類間間距最大。


首先我們應該明白這兩個算法的原理是不一樣的,PCA是選擇投影後使得整個數據方差最大的方向來投影,假設就是方差越大,信息量越多,PCA是一種無監督算法,沒有類別信息而LDA是選擇投影後使得類內方差小而類間方差大的方向來投影,用到瞭類別信息,所以選擇用哪種算法來降維應該是根據具體的目的和場景來的,如果目的就是分類,那麼顯然LDA的選擇標準更合理,如果沒有類別信息(無監督),那就隻能選PCA,總之,兩者選擇投影的方向的標準是不一樣的,看哪個和你的需要更契合。


下面我們來看一個實例:



通過上面降維結果,我們能過看到:


PCA研究對象是全局數據對象,就是說PCA關心的是原始數據投影後包含信息量的大小,並沒有考慮分類信息。


LDA這是以分類信息為目標函數,關心的是投影後的數據,既滿足類內間距越小越好,類間間距越大越好。


PCA選擇樣本點投影具有最大方差的方向,LDA選擇分類性能最好的方向。


2.LDA的線性預測能力


LDA既然叫做線性判別分析,應該具有一定的預測功能,比如新來一個樣例x,如何確定其類別?

拿二值分類來說,我們可以將其投影到直線上,得到y,然後看看y是否在超過某個閾值y0,超過是某一類,否則是另一類。而怎麼尋找這個y0呢?



根據中心極限定理,獨立同分佈的隨機變量符合高斯分佈,然後利用極大似然估計求



然後用決策理論裡的公式來尋找最佳的y0,詳情請參閱PRML。


3.使用LDA的一些限制



3.1 LDA至多可生成C-1維子空間


LDA降維後的維度區間在[1,C-1],與原始特征數n無關,對於二值分類,最多投影到1維。


3.2 LDA不適合對非高斯分佈樣本進行降維。



上圖中紅色區域表示一類樣本,藍色區域表示另一類,由於是2類,所以最多投影到1維上。不管在直線上怎麼投影,都難使紅色點和藍色點內部凝聚,類間分離。


這個問題,現在已經有瞭一些解決辦法,那就是利用基於核函數的線性判別分析。關於核函數的設計以及變換技巧,我在SVM系列文章中做過非常詳細的分析。


3.3 LDA在樣本分類信息依賴方差而不是均值時,效果不好。



圖中,樣本點依靠方差信息進行分類,而不是均值信息。LDA不能夠進行有效分類,因為LDA過度依靠均值信息。


4.參看資料


[1] https://www.zhihu.com/question/35666712/answer/86915281


[2] http://www.cnblogs.com/jerrylead/archive/2011/04/21/2024389.html

0 個評論

要回覆文章請先登錄註冊