表徵學習

在機器學習中，特徵學習（feature learning）或表徵學習（representation learning）^[1]是學習一個特徵的技術的集合：將原始數據轉換成為能夠被機器學習來有效開發的一種形式。它避免了手動擷取特徵的麻煩，允許電腦學習使用特徵的同時，也學習如何擷取特徵：學習如何學習。

機器學習任務，例如分類問題，通常都要求輸入在數學上或者在計算上都非常便於處理，在這樣的前提下，特徵學習就應運而生了。然而，現實世界中的數據，例如圖片、影片，以及感測器的測量值都非常的複雜、冗長又多變，如何有效的擷取出特徵並且將其表達出來成為了一個重要挑戰。傳統的手動擷取特徵需要大量的人力並且依賴於非常專業的知識。同時，還不便於推廣。這就要求特徵學習技術的整體設計非常有效，自動化，並且易於推廣。

特徵學習可以被分為兩類：監督的和無監督的，類似於機器學習。

• 在監督特徵學習中，被標記過的數據被當做特徵用來學習。例如神經網絡，多層感知器，(監督)字典學習。
• 在無監督特徵學習中，未被標記過的數據被當做特徵用來學習。例如(無監督)字典學習，獨立成分分析，自動編碼，矩陣分解^[2] ，各種聚類分析及其變形^[3][4][5]。

監督特徵學習

監督特徵學習就是從被標記的數據中學習特徵。大致有以下幾種方法。

監督字典學習

總體來說，字典學習是為了從輸入數據獲得一組的表徵元素，使每一個數據點可以（近似的）透過對表徵元素加權求和來重構。字典中的元素和權值可以透過最小化表徵誤差來得到。透過L1正則化可以讓權值變得稀疏（例，每一個數據點的表徵只有幾個非零的權值）。

監督字典學習利用輸入數據的結構和給定的標籤（輸出）來最佳化字典。例如，2009年Mairal等人提出的一種監督字典學習方案被應用在了分類問題上。這個方案的最佳化目標包括最小化分類誤差，表徵誤差，權值的1範數（L1正則化）和分類器參數的2範數。 有監督的字典學習可以被視為一個三層神經網絡（一層隱含層），第一層（輸入層）到第二層（隱含層）是表徵學習，第二層到第三層（輸出）是分類器的參數回歸。

神經網絡

神經網絡是透過多層由內部相連的節點組成的網絡的一個學習演算法。它的命名是受到神經系統的啟發，它的每一個節點就像神經系統裏的神經元，而每一條邊就像一條突觸。神經網絡裏面的每一條邊都有對應的權值，而整個網絡則定義運演算法則將輸入數據轉換成為輸出。神經網絡的網絡函數透過權值來刻畫輸入層跟輸出層之間的關係。透過適當的調整網絡函數，可以儘量最小化損耗的同時解決各種各樣的機器學習任務。

無監督特徵學習

κ-平均演算法

主要成分分析

獨立成分分析

局部線性嵌入演算法

無監督字典學習

另見

• 特徵檢測
• 向量量化
• 深度學習