Хронологія розвитку машинного навчання

Ця сторінка — хронологія розвитку машинного навчання. До неї включено основні відкриття, досягнення, віхи та інші важливі події у машинному навчанні.

Огляд

Десятиріччя	Підсумки
до 1950-х	Відкрито та вдосконалено статистичні методи.
1950-ті	Проводять піонерські дослідження машинного навчання з використанням простих алгоритмів.
1960-ті	Запропоновано баєсові методи для ймовірнісного висновування в машинному навчанні.[1]
1970-ті	Песимізм щодо ефективності машинного навчання спричинив «зиму ШІ».
1980-ті	Повторне відкриття зворотного поширення викликає пожвавлення досліджень машинного навчання.
1990-ті	Робота над машинним навчанням переходить від підходу, керованого знаннями, до підходу, керованого даними. Науковці починають створювати програми для комп'ютерів, щоб аналізувати великі обсяги даних і робити висновки — або «навчатися» — з результатів.[2] Набувають популярності опорновекторні машини (ОВМ, англ. SVM) та рекурентні нейронні мережі (РНМ, англ. RNN).[3] Започатковано галузі обчислювальної складності через нейронні мережі та надтюрінгові обчислення.[4]
2000-ті	Набувають широкого поширення опорновекторне кластерування[5] та інші ядрові методи,[6] а також методи машинного некерованого навчання.[7]
2010-ті	Стає здійсненним глибоке навчання, що призводить до того, що машинне навчання стає невід'ємною частиною багатьох широко використовуваних програмних служб і застосунків. Глибоке навчання стимулює величезний поступ у баченні та обробці тексту.
2020-ті	Породжувальний ШІ призводить до революційних моделей, створюючи розмаїття моделей-основ[en], як власницьких, так і відкритих, зокрема, уможливлюючи такі продукти як ChatGPT (на основі тексту) та Stable Diffusion (на основі зображень). Машинне навчання та ШІ входять у широку громадську свідомість. Комерційний потенціал ШІ на основі машинного навчання призводить до значного зростання оцінок вартості компаній, пов'язаних з ШІ.

Хронологія

Цей список незавершений, Ви можете допомогти — додати пункти, яких бракує.

Рік	Тип події	Заголовок	Подія
1763	Відкриття	Підвалини теореми Баєса	Працю Томаса Баєса «Есе щодо розв'язання задачі у Доктрині шансів[en]» опубліковано через два роки після його смерті, виправлену та відредаговану другом Баєса, Річардом Прайсом.[8] Це есе подає працю, яка лягла в основу теорами Баєса.
1805	Відкриття	Найменші квадрати	Адрієн-Марі Лежандр описує «méthode des moindres carrés», відомий українською як метод найменших квадратів.[9] Його широко використовують у допасовуванні до даних[en].
1812		Теорема Баєса	П'єр-Симон Лаплас публікує «Théorie Analytique des Probabilités», у якій розширює працю Баєса та визначає те, що відоме тепер як теорема Баєса.[10]
1913	Відкриття	Марковські ланцюги	Андрій Марков уперше описує методики, які він використовував для аналізу віршів. Ці методики пізніше стали відомими як марковські ланцюги.[11]
1943	Відкриття	Штучний нейрон	Воррен Маккалох та Волтер Піттс[en] розробляють математичну модель, що імітує функціювання біологічного нейрона, штучний нейрон, яку вважають першою винайденою нейронною моделлю.[12]
1950		Тюрінгова самонавчальна машина	Алан Тюрінг пропонує «самонавчальну машину», що може навчатися та стати штучним інтелектом. Конкретна пропозиція Тюрінга провіщує генетичні алгоритми.[13]
1951		Перша нейромережна машина	Марвін Мінскі та Дін Едмондс створюють першу здатну навчатися нейромережну машину, SNARC[en].[14]
1952		Машини, що грають у шашки	Артур Семюель приєднується до лабораторії Poughkeepsie в IBM і починає працювати над деякими з найперших програмам машинного навчання, першими створюючи програми, які грають у шашки.[15]
1957	Відкриття	Перцептрон	Френк Розенблат, працюючи в Корнелльській аеронавігаційній лабораторії[en], винаходить перцептрон.[16] Винайдення перцептрона викликає великий ажіотаж, його широко висвітлюють у засобах масової інформації.[17]
1963	Досягнення	Машини, що грають у хрестики-нулики	Дональд Мічі[en] створює «машину», складену з 304 сірникових коробок та намистин, що використовує навчання з підкріпленням грі в хрестики-нулики.[18]
1967		Найближчий сусід	Було створено алгоритм найближчого сусіда, що є початком базового розпізнавання образів. Цей алгоритм використовували для прокладання маршрутів.[2]
1969		Обмеження нейронних мереж	Марвін Мінскі та Сеймур Пейперт публікують свою книгу «Перцептрони[en]», що описує деякі з обмежень перцептронів та нейронних мереж. Інтерпретацію, яку показує книга, що нейронні мережі фундаментально обмежені, розглядають як перепону для досліджень нейронних мереж.[19]
1970		Автоматичне диференціювання (зворотне поширення)	Сеппо Ліннаінмаа[en] публікує загальний метод автоматичного диференціювання (АД, англ. AD) дискретних зв'язних мереж вкладених диференційовних функцій.[20][21] Це відповідає сучасній версії зворотного поширення, але ще не має цієї назви.[22][23][24][25]
1979		Стенфордський візок	Студенти у Стенфордському університеті розроблюють візок, що може пересуватися й уникати перешкод у кімнаті.[2]
1979	Відкриття	Неокогнітрон	Куніхіко Фукусіма[en] вперше публікує свою працю про неокогнітрон, один із типів штучних нейронних мереж (ШНМ, англ. ANN).[26][27] Неокогнітивність пізніше надихає згорткові нейронні мережі (ЗНМ, англ. CNN).[28]
1981		Навчання на основі пояснень	Джеральд Деджонг пропонує навчання на основі пояснень (англ. Explanation Based Learning), в якому комп'ютерний алгоритм аналізує дані та створює загальне правило, якому він може слідувати, та відкидати неважливі дані.[2]
1982	Відкриття	Рекурентна нейронна мережа	Джон Гопфілд популяризує мережі Гопфілда, один із типів рекуретних нейронних мереж, що можуть слугувати системами пам'яті з адресуванням вмістом.[29]
1985		NETtalk[en]	Террі Сейновскі[en] розробив програму, яка навчається вимовляти слова англійської мови так само, як це робить дитина.[2]
1986	Застосування	Зворотне поширення	Зворотний режим автоматичного диференціювання Сеппо Ліннаінмаа[en] (вперше застосований до нейронних мереж Полом Вербосом[en]) використано в експериментах Девіда Румельхарта, Джефа Гінтона та Рональда Дж. Вільямса для навчання внутрішніх подань.[30]
1988		Теорема про універсальне наближення (теорема Цибенка)	Курт Горнік[de] доводить, що стандартні багатошарові мережі прямого поширення здатні наближувати будь-яку борелево вимірну функцію з одного скінченновимірного простору до іншого до будь-якого ступеню точності, за умови наявності достатньої кількості прихованих вузлів.
1989	Відкриття	Навчання з підкріпленням	Крістофер Воткінс розробляє Q-навчання, яке значно покращує практичність та здійсненність навчання з підкріпленням.[31]
1989	Комерціалізація	Комерціалізація машинного навчання на персональних комп'ютерах	Axcelis, Inc. випускає Evolver, перший програмний пакет для комерціалізації використання генетичних алгоритмів на персональних комп'ютерах.[32]
1992	Досягнення	Машини, які грають у короткі нарди	Джеральд Тезауро розрозбяє ЧР-нарди (англ. TD-Gammon), комп'ютерну програму для гри в короткі нарди, яка використовує штучну нейронну мережу, натреновану з використанням методу часових різниць (звідси «ЧР» у назві). ЧР-нарди здатні конкурувати, але не завжди перевершувати здібності найкращих серед людей гравців у короткі нарди.[33]
1995	Відкриття	Алгоритм випадкового лісу	Тін Кам Хо публікує працю, що описує випадкові ліси рішень.[34]
1995	Відкриття	Опорновекторні машини	Корінна Кортес та Володимир Вапник публікують свою працю про опорновекторні машини.[35]
1997	Досягнення	IBM Deep Blue перемагає Каспарова	Deep Blue від IBM перемагає чемпіона світу з шахів.[2]
1997	Відкриття	ДКЧП (англ. LSTM)	Зепп Хохрайтер[en] та Юрген Шмідхубер винаходять рекурентні нейронні мережі з довгою короткочасною пам'яттю (ДКЧП),[36] що значно покращує ефективність та практичність рекурентних нейронних мереж.
1998		База даних MNIST	Команда під проводом Яна ЛеКуна випускає базу даних MNIST, набір даних, що складається з суміші рукописних цифр від працівників Бюро перепису населення та старшокласників США.[37] База даних MNIST відтоді стала еталоном для оцінювання розпізнавання рукописного тексту.
2002		Бібліотека машинного навчання Torch	Перший випуск Torch, бібліотеки програмного забезпечення машинного навчання.[38]
2006		Netflix Prize	Netflix запускає змагання Netflix Prize[en]. Мета змагання — за допомогою машинного навчання перевершити точність власного програмного забезпечення рекомендацій Netflix у передбачуванні оцінки фільму користувачем за наявних оцінок цим користувачем попередніх фільмів щонайменше на 10 %.[39] Цю премію було виграно 2009 року.
2009	Досягнення	ImageNet	Створено ImageNet[en]. Це велика база даних зображень, створена Фей-Фей Лі зі Стенфордського університету, яка усвідомила, що найкращі алгоритми машинного навчання не працюватимуть добре, якщо дані не відображатимуть реального світу.[40] Для багатьох ImageNet стала каталізатором буму ШІ[41] XXI сторіччя.
2010		Змагання Kaggle	Запущено Kaggle, вебсайт, що слугує платформою для змагань з машинного навчання.[42]
2011	Досягнення	Перемога над людьми в Jeopardy	Використовуючи поєднання машинного навчання, обробки природної мови та методик інформаційного пошуку, Watson від IBM перемагає двох чемпіонів серед людей у змаганні Jeopardy![en].[43]
2012	Досягнення	Розпізнавання котів на YouTube	Команда Google Brain під проводом Ендрю Ина та Джеффа Діна створює нейронну мережу, яка навчається розпізнавати котів, переглядаючи немічені зображення, взяті з кадрів відео YouTube.[44][45]
2012	Відкриття	Візуальне розпізнавання	Стаття та алгоритм AlexNet досягли проривних результатів у розпізнаванні зображень на еталоні ImageNet. Це сприяло популяризації глибоких нейронних мереж.[46]
2013	Відкриття	Вкладання слів	Широко цитована стаття, що отримала прізвисько word2vec, революціонізувала обробку тексту в машинному навчанні. Вона показала, як кожне слово можливо перетворити на послідовність чисел (вкладення слів), використання цих векторів революціонізувало обробку тексту в машинному навчанні.[47]
2014		Стрибок у розпізнаванні облич	Дослідники з Facebook публікують свою працю щодо DeepFace[en], системи, яка використовує нейронні мережі й ідентифікує обличчя з точністю 97,35 %. Ці результати є покращенням на понад 27 % відносно попередніх систем, і складають конкуренцію людській продуктивності.[48]
2014		Sibyl	Дослідники з Google розкрили деталі своєї праці над Sibyl,[49] власною платформою для масово паралельного машинного навчання, яку Google використовує всередині для передбачування поведінки користувачів та надавання рекомендацій.[50]
2016	Досягнення	Перемога над людьми в ґо	Програма AlphaGo від Google стає першою програмою комп'ютерного ґо, яка перемогла фахового людського гравця без обмежень,[51] використовуючи поєднання методик машинного навчання та пошуку деревами.[52] Пізніше вдосконалена як AlphaGo Zero[en], а 2017 року узагальнена на шахи та додаткові ігри для двох гравців як AlphaZero.
2017	Відкриття	Трансформер	Команда Google Brain винайшла архітектуру трансформера,[53] що уможливила швидше паралельне тренування нейронних мереж на послідовних даних, таких як текст.
2018	Досягнення	Передбачування структури білків	У грудні 2018 року AlphaFold 1 (2018) посіла перше місце в загальному рейтингу 13-го Критичного аналізу методів для структурних передбачень білків (КАСП).[54]
2021	Досягнення	Передбачування структури білків	AlphaFold 2 (2021), команда, яка використовувала AlphaFold 2 (2020), підтвердила це місце на змаганнях КАСП у листопаді 2020 року. Ця команда досягла набагато вищого рівня точності, ніж будь-яка інша група. Вона набрала понад 90 балів для приблизно двох третин з білків у випробуванні КАСП на глобальну відстань (англ. GDT), випробуванні, яка вимірює ступінь подібності передбаченої обчислювальною програмою структури до експериментально встановленої в лабораторії, де 100 це повний збіг, у межах граничної відстані, яку використовують для обчислення GDT.[55]

Див. також

• Історія штучного інтелекту
• Хронологія розвитку штучного інтелекту
• Хронологія розвитку машинного перекладу^[en]