热门问题
时间线
聊天
视角
文檔分類
来自维基百科,自由的百科全书
Remove ads
文檔分類是圖書館學, 信息學和計算機科學中的一個問題。其任務是將一個文檔分配到一個或者多個類別中。它可以是通過人工分類完成的,也可以是通過計算機算法實現的。多數通過人工的文檔分類問題一直屬於圖書館學的領域,而通過算法實現的文檔分類問題則多屬於信息學和計算機科學的領域。這些問題之間是有相同的部分的,所以有一些對文檔分類的跨學科研究。
需要被分類的文檔有可能是純文本,圖片,音樂等等。每一種文檔都有其獨特分類問題。根據特殊的文檔做研究,文檔分類可以細分成文本分類,圖片分類等等。
可以根據主題來進行文檔分類,也可以根據它的屬性(例如文檔的類型,作者,出版的時間等)進行分類。下文只包含主題分類的問題。主要由兩種方法來做根據主題的文檔分類:基於內容的方法以及基於請求的方法。
「基於內容」與「基於請求」的分類方法
基於內容的分類方法是通過特殊主題上的不同權重來決定該文檔被分到哪個類別中的。一般來說,在圖書館中,當一個文檔被劃分到某個類別時,這個文檔中至少要有20%的內容是關於這個類的。[1]在自動分類的領域,這個標準可能是一些給定單詞在文檔中出現的頻率。
面向請求的分類(或者索引) 是通過向用戶獲得請求後,根據用戶的請求將文檔進行分類。一個形象的比喻,好比分類器會問自己:「我應該通過哪種特徵找到這些文檔呢」,或者「通過哪些本質特徵能夠讓我找出我身邊相關的文檔呢?」[2]
面向請求的分類主要的適用對象是一個特定的用戶或群體。比方說,一個需要一定數據去研究女權主義的信息庫與一個研究歷史的信息庫相比就是一個特定的用戶。有一種更好的理解面向請求的分類,就是把它理解成為「基於策略的分類」:基於特殊群體的請求,通過一定的想法和策略進行分類,從而達到目的。在這種方式下,分類方式就不一定是100%基於用戶研究的領域了,可以通過一些共性的策略,加以組合或修改,來實現用戶的請求。只有從用戶和應用中獲得的經驗使用了,面向請求的分類才可以被認為是一種基於用戶的實現方法。
Remove ads
文檔自動分類
文檔自動分類的任務可以分為三類:監督式學習的文檔分類,這需要人工反饋數據的一些外在機制。非監督式學習的文檔分類(也被稱作文檔聚類),這類任務完全不依靠外在人工機制。和半監督式學習的文檔分類,是前兩類的結合,[3] 它其中有一部分的文檔是由人工標註的,這有一些相關方面的具有許可證的軟體。[4][5][6][7][8]
自動的文檔分類工具如下:
應用領域
分類工具被應用於如下:
參閱
Remove ads
延伸閱讀
- Fabrizio Sebastiani. Machine learning in automated text categorization. ACM Computing Surveys, 34(1):1–47, 2002.
- Stefan Büttcher, Charles L. A. Clarke, and Gordon V. Cormack. Information Retrieval: Implementing and Evaluating Search Engines (頁面存檔備份,存於網際網路檔案館). MIT Press, 2010.
參考資料
外部連結
Wikiwand - on
Seamless Wikipedia browsing. On steroids.
Remove ads