آنالیز پنهان مفهومی

خلاصه

ماتریس وقوع

آنالیز مفاهیم نهفته از یک ماتریس استفاده می‌کند که بیانگر میزان نمایان شدن هر کلمه در هر نوشته است.این ماتریس یک ماتریس تنک است که معمولا سطر‌های آن بیانگر کلمات و ستون‌های بیانگر نوشته‌ها هستند.یک روش معمول برای مقدار هر درایه در این ماتریس روش فراوانی وزنی تی‌اف-آی‌دی‌اف است.این روش درواقع میزان اهمیت یک کلمه را در یک نوشته نشان می‌دهد.عبارات نادر برای نشان دادن اهمیتشان وزن بیشتری دارند.

کاهش رتبه

بعد از تشکیل ماتریس وقوع ، نیاز است که آن را با یک تقریب کم رتبه از آن جایگزین کنیم.از جمله دلایل این عمل می توان به موارد زیر اشاره کرد:

ماتریس وقوع اصلی بسیار برای محاسبات بزرگ است.
ماتریس وقوع اصلی ممکن است حاوی نویز باشد.(برای مثال بعضی از حالت های یک کلمه ممکن است نیاز به حذف شدن داشته باشند.)
ماتریس وقوع اصلی تنک است.همچنین ما ممکن است علاقمند به این باشیم که کلمات مرتبط با هر نوشته را بررسی کنیم.

روند کاهش رتبه به این شکل است که بعضی از ابعاد با هم ترکیب می‌شوند.در این حالت کلمات هم‌معنی را کنار هم قرار می‌دهد.و همچنین مشکل چند‌معنایی کلمات را نیز تا حدودی حل می‌کند.

Remove ads

کاربرد

فضای کم‌بعد ایجاد شده می‌تواند در موارد زیر استفاده شود:

مقایسه نوشته‌ها در فضای کم‌بعد (خوشه‌بندی داده، طبقه‌بندی نوشته‌ها )
یافتن نوشته‌های مشابه در بین زبان های مختلف پس از آنالیز یک سری نوشته ترجمه شده (CLIR)
یافتن ارتباط بین عبارات (هم‌معنایی و چند‌معنایی)
یافتن نوشته‌های مرتبط بر حسب عبارت داده شده (کاوش اطلاعات)
یافتن بهترین شباهت بین گروه های کوچک از عبارات (برای مثال سوالات چند‌گزینه ای )^[۲]
گسترش فضای خصوصیات در یادگیری ماشین یا سیستم های استخراج متن^[۳]
آنالیز وابستگی کلمات در چهارچوب متن^[۴]

کاربرد های تجاری

آنالیز مفاهیم نهفته در بررسی معیار‌های حق ثبت اختراع استفاده شده است.^[۵]

کاربرد ها در مطالعه حافظۀ انسان

آنالیز مفاهیم نهفته در مطالعاتی که در مورد حافظه انسان انجام شده است بسیار موثر بوده است، به خصوص در مباحث free recall و جست‌و‌جوی حافظه. یک همبستگی و وابستگی مثبت بین کلماتی که طبق آنالیز ما به هم شبیه هستند وجود دارد و احتمال این‌که این کلمات بعد از یک دیگر به زبان آورده شوند زیاد است.