Тематичне моделювання

Тематичне моделювання — спосіб побудови моделі колекції текстових документів, яка визначає, до яких тем належить кожен з документів^[1].

Побудова тематичної моделі документа: : ${\displaystyle p(w|t)}$ — матриця шуканих умовних розподілів слів за темами : ${\displaystyle p(t|d)}$ — матриця шуканих умовних розподілів тем за документами : ${\displaystyle d}$ — документ : ${\displaystyle w}$ — слово : ${\displaystyle d,w}$ — спостережувані змінні : ${\displaystyle t}$ — тема (прихована змінна)

Тематична модель (англ. topic model) колекції текстових документів визначає, до яких тем належить кожен документ, і які слова (терміни) утворюють кожну тему^[2].

Перехід з простору термінів в простір знайдених тематик допомагає вирішувати синонімію і полісемію термінів, а також ефективніше вирішувати такі завдання як тематичний пошук, класифікація, сумаризація і анотація колекцій документів і новинних потоків.

Тематичне моделювання як вид статистичних моделей для знаходження прихованих тем, що зустрічаються в колекції документів, знайшло своє застосування в таких областях як машинне навчання і обробка природної мови. Дослідники використовують різні тематичні моделі для аналізу текстів, текстових архівів документів, для аналізу зміни тем у наборах документів^[⇨]. Інтуїтивно розуміючи, що документ відноситься до певної теми, в документах, присвячених одній темі, можна зустріти деякі слова частіше за інші. Наприклад, слова «собака» і «кістка» зустрічаються частіше в документах про собак; «кішки» і «молоко» будуть зустрічатися в документах про кошенят, прийменники «в» та «на» будуть зустрічатися в обох тематиках. Зазвичай документ стосується кількох тем в різних пропорціях. Таким чином, для документу, в якому 10 % теми складають кішки, а 90 % теми — собаки, можна припустити, що слів про собак в 9 разів більше. Тематичне моделювання відображає цю інтуїцію в математичній структурі, яка дозволяє на підставі вивчення колекції документів і дослідження частотних характеристик слів в кожному документі зробити висновок, що кожен документ — це деякий баланс тем.

Найбільше застосування в сучасних додатках знаходять підходи, що ґрунтуються на Баєсових мережах — імовірнісних моделях на орієнтованих графах. Імовірнісні тематичні моделі — це відносно молода область досліджень в теорії некерованого навчання. Одним з перших був запропонований імовірнісний латентно-семантичний аналіз (PLSA)^[⇨], заснований на принципі максимуму правдоподібності, як альтернатива класичним методам кластеризації, заснованим на обчисленні функцій відстані. Слідом за PLSA був запропонований метод прихованого розподілу Діріхле^[en] і його численні узагальнення^[3][⇨].

Імовірнісні тематичні моделі здійснюють «м'яку» кластеризацію, дозволяючи документу або терміну відноситися відразу до декількох тем з різними ймовірностями. Імовірнісні тематичні моделі описують кожну тему дискретним розподілом на множині термінів, кожен документ — дискретним розподілом на множині тем. Передбачається, що колекція документів — це послідовність термінів, обраних випадково і незалежно з суміші таких розподілів, і ставиться завдання відновлення компонентів суміші по вибірці^[4][⇨].

Хоча тематичне моделювання традиційно описувалося і застосовувалося в обробці природної мови, воно знайшло своє застосування і в інших областях, наприклад, таких як біоінформатика.

Історія

Перший опис тематичного моделювання з'явилося в роботі Рагавана, Пападімітріу, Томакі і Вемполи 1998 року^[5]. Томас Гофман в 1999 році^[6] запропонував імовірнісне приховане семантичне індексування (PLSI). Одна з найпоширеніших тематичних моделей – це латентне розміщення Діріхле^[en] (LDA). Ця модель є узагальненням імовірнісного семантичного індексування і розроблена Девідом Блеєм^[en], Ендрю Ином і Майклом Джорданом^[en] у 2002 році^[7]. Інші тематичні моделі, як правило, є розширенням LDA, наприклад, розміщення патінко^[en] покращує LDA за рахунок введення додаткових кореляційних коефіцієнтів для кожного слова, яке становить тему.

Тематичні дослідження

Темплтон зробив огляд робіт з тематичного моделювання в гуманітарних науках, згрупованих за синхронним і діахронічним підходом^[8]. Синхронні підходи виділяють теми в певний момент часу, наприклад, Джокерс за допомогою тематичної моделі досліджував, про що писали блогери в День цифрових гуманітарних наук в 2010 році^[9].

Діахронічні підходи, включаючи визначення Блока та Ньюмана про часову динаміку тем у Пенсільванській газеті 1728-1800 року^[10]. Грифітс і Стейверс використовували тематичне моделювання для оглядів журналу PNAS, визначали зміни популярності тем з 1991 по 2001 рік^[11]. Блевін створив тематичну модель щоденника Марти Балладс^[12]. Мімно використовував тематичне моделювання для аналізу 24 журналів з класичної філології та археології за 150 років, щоб визначити зміни популярності тем і дізнатися, наскільки сильно змінилися журнали за цей час^[13].

Алгоритми тематичного моделювання

У роботі Девіда Блея «Введення в тематичне моделювання» розглянуто найбільш популярний алгоритм – Латентне розміщення Діріхле^[⇨][14]. На практиці дослідники використовують одну з евристик методу максимальної правдоподібності, методи сингулярного розкладу (SVD), метод моментів, алгоритм, заснований на невід'ємній матриці факторизації (NMF), імовірнісні тематичні моделі, імовірнісний латентно-семантичний аналіз, латентне розміщення Діріхле. У роботі Воронцова К. В. розглянуто варіації основних алгоритмів тематичного моделювання: робастна тематична модель, тематичні моделі класифікації, динамічні тематичні моделі, ієрархічні тематичні моделі, багатомовні тематичні моделі, моделі тексту як послідовності слів, багатомодальні тематичні моделі ^[2].

Імовірнісні тематичні моделі засновані на наступних припущеннях^{[15][16][17][18]}:

• Порядок документів у колекції не має значення
• Порядок слів у документі не має значення, документ – мішок слів
• Слова, що зустрічаються часто в більшості документів, не важливі для визначення тематики
• Колекцію документів можна представити як вибірку пар документ-слово ${\displaystyle (d,w)}$ , ${\displaystyle d\in D}$, ${\displaystyle w\in {\mathit {W}}_{d}}$
• Кожна тема ${\displaystyle t\in T}$ описується невідомим розподілом ${\displaystyle p({\mathit {W}}|t)}$ на множині слів ${\displaystyle w\in {\mathit {W}}}$
• Кожен документ ${\displaystyle d\in D}$ описується невідомим розподілом ${\displaystyle p(t|d)}$ на множині тем ${\displaystyle t\in T}$
• Гіпотеза умовної незалежності ${\displaystyle p(w|t,d)=p(w|t)}$

Побудувати тематичну модель – значить, знайти матриці ${\displaystyle \Phi =||p(w|t)||}$ та ${\displaystyle \Theta =||p(t|d)||}$ по колекції ${\displaystyle {\mathit {D}}}$. У більш складних імовірнісних тематичних моделях деякі з цих припущень замінюються більш реалістичними.

Імовірнісний латентно-семантичний аналіз

Імовірнісний латентно-семантичний аналіз (PLSA). ${\displaystyle d}$ — документ, ${\displaystyle w}$ — слово, ${\displaystyle d,w}$ — спостережувані змінні, ${\displaystyle t}$ — тема (прихована змінна), ${\displaystyle p(d)}$ — апріорний розподіл на множині документів, ${\displaystyle p(w|t),p(t|d)}$ — шукані умовні розподілу, ${\displaystyle D}$ — колекція документів, ${\displaystyle N}$ — довжина документа в словах

Імовірнісний латентно-семантичний аналіз^[en] (PLSA) запропонований Томасом Гофманом у 1999 році. Імовірнісна модель появи пари «документ-слово» може бути записана трьома еквівалентними способами:

${\displaystyle p(d,w)=\sum _{t\in T}p(t)p(w|t)p(d|t)=\sum _{t\in T}p(d)p(w|t)p(t|d)=\sum _{t\in T}p(w)p(t|w)p(d|t)}$

де ${\displaystyle T}$ — множина тем;

${\displaystyle p(t)}$ — невідомий апріорний розподіл тем у всій колекції;

${\displaystyle p(d)}$ — апріорний розподіл на множині документів, емпірична оцінка ${\displaystyle p(d)=n_{d}/n}$ , де ${\displaystyle n=\sum _{d}n_{d}}$ — сумарна довжина всіх документів;

${\displaystyle p(w)}$ — апріорний розподіл на множині слів, емпірична оцінка ${\displaystyle p(w)=n_{w}/n}$, де ${\displaystyle n_{w}}$ — число входжень слова ${\displaystyle w}$ в усі документи;

Шукані умовні розподілу ${\displaystyle p(w|t),p(t|d)}$ виражаються через ${\displaystyle p(t|w),p(d|t)}$ за формулою Баєса:

${\displaystyle p(w|t)={\frac {p(t|w)p(w)}{\sum _{w'}p(t|w')p(w')}};\qquad p(t|d)={\frac {p(d|t)p(t)}{\sum _{t'}p(d|t')p(t')}}.}$

Для ідентифікації параметрів тематичної моделі по колекції документів застосовується принцип максимуму правдоподібності, який призводить до задачі максимізації функціоналу^[19]

${\displaystyle \sum _{d\in D}\sum _{w\in d}n_{dw}\ln \sum _{t\in \mathrm {T} }\varphi _{wt}\theta _{td}\to \max _{\Phi ,\Theta },}$

при обмеженнях нормування

${\displaystyle \sum _{w}p(w|t)=1,\;\sum _{t}p(t|d)=1,\;\sum _{t}p(t)=1,}$ де ${\displaystyle n_{dw}}$ — число входжень слова ${\displaystyle w}$ у документ ${\displaystyle d}$. Для вирішення даної оптимізаційної задачі зазвичай застосовується EM-алгоритм.

Основні недоліки PLSA:

• Число параметрів зростає лінійно по числу документів в колекції, що може призводити до перенавчання моделі.
• При додаванні нового документа ${\displaystyle d}$ у колекцію, розподіл ${\displaystyle p(t|d)}$ неможливо обчислити за тими ж формулами, що і для інших документів, не перебудовуючи всю модель заново.

Латентне розміщення Діріхле

Латентне розміщення Діріхле (LDA). :${\displaystyle w}$ — слово (спостережувана змінна) :${\displaystyle t}$ — тема (прихована змінна) :${\displaystyle D}$ — колекція документів :${\displaystyle N}$ — довжина документа в словах :${\displaystyle K}$ — кількість тем в колекції :${\displaystyle \theta }$ — розподіл тем у документі :${\displaystyle \phi }$ — розподіл слів в темі

Метод латентного розміщення Діріхле^[en] (LDA) був запропонований Девідом Блеєм у 2003 році.

У цьому методі усунені основні недоліки PLSA.

Метод LDA заснований на тій самій імовірнісній моделі:

${\displaystyle p(d,w)=\sum _{t\in T}p(d)p(w|t)p(t|d),}$

при додаткових припущеннях:

• вектори документів ${\displaystyle \theta _{d}={\bigl (}p(t|d):t\in T{\bigr )}}$ породжуються одним і тим же імовірнісним розподілом на нормованих ${\displaystyle |T|}$-мірних векторах; цей розподіл зручно взяти з параметричного сімейства розподілів Діріхле ${\displaystyle \mathrm {Dir} (\theta ,\alpha ),\;\alpha \in \mathbb {R} ^{|T|}}$;
• вектори тем ${\displaystyle \phi _{t}={\bigl (}p(w|t):w\in W{\bigr )}}$ породжуються одним і тим же імовірнісним розподілом на нормованих векторах розмірності ${\displaystyle |W|}$; цей розподіл зручно взяти з параметричного сімейства розподілів Діріхле ${\displaystyle \mathrm {Dir} (\theta ,\beta ),\;\beta \in \mathbb {R} ^{|W|}}$.

Для ідентифікації параметрів моделі LDA по колекції документів застосовується семплювання Гіббса^[en], варіаційний баєсівський висновок або метод поширення очікування^[en].

Див. також

• Explicit semantic analysis^[en]
• Ієрархічний процес Діріхлє^[en]