K-平均聚類法

K-平均聚類法（英文：k-means clustering）係一種常用嘅聚類分析演算法。

做法

而家 ${\displaystyle k=3}$，研究者想將啲數據分做三個聚類－由藍色圓圈、黃色交叉同埋紅色十字代表。

K-平均聚類法嘅出發點係假定咗已知拃數據分幾多個聚類（聚類數量 ${\displaystyle =k}$）。喺最簡單嗰種情況下，K-平均聚類法可以噉嚟想像^[1][2]：

• 設 ${\displaystyle n}$ 做個案嘅數量而 ${\displaystyle k}$ 做聚類數量；
• 建立 ${\displaystyle k}$ 咁多個中心點（cluster center），每個中心點嘅位置叫 ${\displaystyle {\boldsymbol {\mu }}_{i}}$ ^{[註 1]}；
• 是但攞其中一個個案 ${\displaystyle \mathbf {x} _{i}}$ 嚟睇，${\displaystyle \left\|\mathbf {x} _{i}-{\boldsymbol {\mu }}_{i}\right\|}$ 表示 ${\displaystyle \mathbf {x} _{i}}$ 同離佢最近嗰個 ${\displaystyle {\boldsymbol {\mu }}_{i}}$ 之間嘅距離；
• 慢慢調節啲中心點嘅位置^{[註 2]}，務求令啲 ${\displaystyle \left\|\mathbf {x} -{\boldsymbol {\mu }}_{i}\right\|}$ 嘅總值有咁細得咁細^{[註 3][3]}。

數學化啲噉講，K-平均聚類法係要將 ${\displaystyle n}$ 個個案分拆做 ${\displaystyle k}$ 個集（${\displaystyle k\leq n}$），${\displaystyle \mathbf {S} =\{S_{1},S_{2},...S_{k}\}}$，搵出：

${\displaystyle {\underset {\mathbf {S} }{\operatorname {arg\,min} }}\sum _{i=1}^{k}\sum _{\mathbf {x} \in S_{i}}\left\|\mathbf {x} -{\boldsymbol {\mu }}_{i}\right\|^{2}={\underset {\mathbf {S} }{\operatorname {arg\,min} }}\sum _{i=1}^{k}|S_{i}|\operatorname {Var} S_{i}}$

K-平均聚類法亦可以用圖嚟表示。睇吓附圖幅 gif：想像家陣 ${\displaystyle k=3}$，研究者想將啲數據分做三個聚類－聚類由藍色圓圈、黃色交叉同埋紅色十字代表；當中大藍色圓圈、大黃色交叉同大紅色十字表示嗰三個聚類嘅預想中心點；K-平均聚類法就可以當成一次一次（隨住 iteration 數值上升）噉郁動三個中心點，直接達到理想數值（例如 ${\displaystyle \left\|\mathbf {x} -{\boldsymbol {\mu }}_{i}\right\|}$ 嘅總值去到最細）為止。

註釋

1. 初始化嗰陣，中心點嘅位置可以隨機噉設。
2. 即係好似爬山演算法等嘅最佳化做法噉。
3. K-平均聚類法仲可以用第啲基準嚟界定乜先係「理想嘅中心點位置」，例如係要每個聚類內部嘅距離有咁細得咁細。

睇埋

• 等級聚類法