Топ питань
Часова шкала
Чат
Перспективи
Вкладання речень
З Вікіпедії, вільної енциклопедії
Remove ads
Вбудовування речень — це збірна назва для набору методів обробки природної мови (NLP), де речення зіставляються з векторами дійсних чисел .[1][2][3][4][5]
Застосування
Бібліотеки програмного забезпечення глибокого навчання PyTorch[6] і TensorFlow використовують вбудовування речень.[7]
Популярні вбудовування базуються на вихідних даних прихованого шару моделей трансформаторів, таких як BERT. Альтернативним напрямком є об'єднання вбудованих слів, наприклад, тих, які повертаються Word2vec, у вбудовані речення. Найпрямолінійніший підхід — просто обчислити середнє значення векторів слів, відомих як безперервний пакет слів (CBOW). Однак також були запропоновані більш складні рішення, засновані на векторному квантуванні слів. Одним із таких підходів є вектор локально агрегованих вбудованих слів (VLAWE),[8] який продемонстрував покращення продуктивності в завданнях класифікації подальшого тексту.
Remove ads
Оцінка
Для тестування кодувань речень застосувують їх до корпусу речень, що містять композиційні знання (SICK)[9] як для втягування (SICK-E), так і для пов'язаності (SICK-R).
Найкращі результати отримуються завдяки використанню мережі BiLSTM, натренованої на Стенфордському корпусі висновків з природної мови (SNLI) . Коефіцієнт кореляції Пірсона для SICK-R дорівнює 0,885, а результат для SICK-E — 86,3. Незначне покращення у порівнянні з попередніми показниками презентоване в:[10] SICK-R: 0,888 і SICK-E: 87,8 з використанням конкатенації двонаправленого рекурентного блоку Gated .
Remove ads
Див. також
Посилання
Примітки
Wikiwand - on
Seamless Wikipedia browsing. On steroids.
Remove ads