費雪線性判別在面對二類判別時,將兩類樣本向一條直線投影,也就是將數據從d維空間向1維空間投影。這樣在面對c個類的判別時,所要做就是將數據從d維空間向c-1維空間投影。這就需要推廣投影方程、類間散布矩陣SB和類內散布矩陣SW。從d維空間向c-1維空間的投影是通過c-1投影方程進行的:
這裡的
為第i類的樣本集。設
,c-1個方程可以更簡練地表達:
這裡的
為第i類的樣本的投影向量集。類間散布矩陣SB和類內散布矩陣SW可以由總體散布矩陣ST和總體均值向量m推導得到:
由此定義類間散布矩陣SB和類內散布矩陣SW:
那麼樣本數據的投影向量的類間散布矩陣
和類內散布矩陣
:即為:
與兩類情況類似,要找到某一W使得類內散布儘量小,類間散布儘量大。但這裡的類內散布和類間散布不再是一個值,而是一個矩陣。矩陣的行列式是矩陣的特徵值的乘積,也就是數據在各個主要方向的方差的積,相當於類別散布超橢球體的體積的平方。故使用行列式來度量散布,這樣判別函數即為
可以證明,當W的列向量wi是
的廣義特徵向量時,可以使得J(w)最大。因為SB中c個秩為1或0的矩陣相加,而且其中只有c-1個矩陣是相互獨立的。所以SB的秩最多為c-1。所以最多只有c-1個特徵向量是非零的。