Регресиона анализа

Регресиона анализа као појам се везује за утврђивање међусобних односа између две или више појава. Може нас, на пример, интересовати зависност између времена проведеног у спремању испита и добијене оцене на испиту, зарада запослених и њиховог образовања, каматне стопе и понуде новца... Како бисмо утврдили да ли су и у којој мери ове појаве зависне, правимо регресиони модел.^[1] Регресиона анализа има широку примену у предвиђању и прогнозирању^[2] појава у разним областима, као што су економија, медицина, психологија, историја...

Пример линеарне регресије

Регресиона анализа се првенствено користи у две концептуално различите сврхе. Прво, регресиона анализа се широко користи за предвиђање и прогнозирање, где се њена употреба значајно преклапа са пољем машинског учења. Друго, у неким ситуацијама се регресиона анализа може користити да се закључи узрочно-последична веза између независних и зависних варијабли. Важно је да регресије саме по себи откривају само односе између зависне променљиве и колекције независних варијабли у фиксном скупу података. Да би се користиле регресије за предвиђање или да би се извеле узрочне везе, истраживач мора пажљиво да образложи зашто постојећи односи имају предиктивну моћ за нови контекст или зашто однос између две варијабле има каузалну интерпретацију. Ово последње је посебно важно када се истраживачи надају да ће проценити узрочне везе користећи податке посматрања.^[3][4]

Историја

Најранији облик регресије била је метода најмањих квадрата, коју су објавили Лежандр 1805. године,^[5] и Гаус 1809. године.^[6] Лежандр и Гаус су применили методу на проблем одређивања из астрономских посматрања орбита тела око Сунца (углавном комета, али касније и новооткривених малих планета). Гаус је објавио даљи развој теорије најмањих квадрата 1821. године,^[7] укључујући верзију Гаус-Марковљеве теореме.

Термин „регресија“ је сковао Френсис Галтон у 19. веку да би описао један биолошки феномен. Феномен је био да висине потомака високих предака имају тенденцију да регресирају ка нормалном просеку (феномен такође познат као регресија ка средњој вредности).^[8][9] За Галтона, регресија је имала само ово биолошко значење,^[10][11] али су Јудни Јул и Карл Пирсон касније проширили његов рад на општији статистички контекст.^[12][13] У раду Јула и Пирсона, заједничка расподела респонса и објашњавајућих варијабли узима се да подлеже Гаусовој расподели. Ову претпоставку је ослабио Р.А. Фишер у својим делима из 1922. и 1925. године.^[14][15][16] Фишер је претпоставио да је условна дистрибуција варијабле респонса описана Гаусовом расподелом, али да заједничка дистрибуција не мора бити. У том погледу, Фишерова претпоставка је ближа Гаусовој формулацији из 1821. године.

Током 1950-их и 1960-их, економисти су користили електромеханичке стоне калкулаторе за израчунавање регресије. Пре 1970, понекад је требало и до 24 сата да се добије резултат једне регресије.^[17]

Појам регресионе анализе

У статистичком моделовању, регресиона анализа је скуп статистичких процедура помоћу којих оцењујемо међусобну повезаност зависне променљиве (критеријумске променљиве), коју обично означавамо са  ${\displaystyle Y}$ и независних променљивих (предикторске променљиве, регресори, фактори...), које обично означавамо са ${\displaystyle X_{1}}$, ${\displaystyle X_{2}}$, ..., ${\displaystyle X_{n}}$ где је  ${\displaystyle n}$ број независних променљивих.^[18] Тачније, резултати добијени регресионом анализом нам говоре како се вредност зависне променљиве мења када се промени вредност једне независне променљиве, док су вредности осталих независних променљивих фиксиране. Основни задатак регресионе анализе је апроксимација регресионе функције којом се представља веза између зависне и независних променљивих.  Регресиона анализа се такође користи за оцењивање функционалне зависности између зависне и независних променљивих, као и природе те зависности.

Подела метода регресионе анализе

Према броју независних променљивих у регресионом моделу, разликујемо:

• Проста регресија, код које постоји по једна зависна и једна независна променљива^{[19][20][21][22][23]}
• Вишеструка регресија, где постоји једна зависна, али више независних променљивих^[24][25]

Према врсти зависне променљиве, регресиони модели могу да буду:

• Модели са континуираном зависном променљивом
• Модели са категоричком зависном променљивом, која није дихотомна, већ узима више од две вредности (категорије)
• Модели са дихотомном зависном променљивом, који представљају специјалан случај модела са категоричком зависном променљивом, јер зависна променљива може узимати само две вредности^[26]

Према природи везе између зависне и независних променљивих, регресија може да буде:

• Линеарна регресија, коју карактерише постојање линеарне везе између независних променљивих и зависне променљиве, а која се у моселу исказује као сабирање независних променљивих првог степена
• Нелинеарна регресија, која може бити:
  • Квадратна регресија
  • Полиномна регресија
  • Експоненцијална регресија и друге

Према броју зависних променљивих, регресиони модел може бити:

• Униваријантни регресиони модел, тј. модел који има једну зависну променљиву
• Мултиваријантни регресиони модел, код кога постоји више зависних променљивих због чега се он састоји из више регресионих једначина^[27]

Примена регресионе анализе

Концепт регресије је лако разумљив и имплементиран је у скоро сваком статистичком пакету, а омогућава испитивање функционалне зависности између променљивих, па као такав лежи у основи многих савремених статистичких техника. Зато се примена регресионе анализе може наћи у скоро свим академским областима или примењеној науци данас. Неки од примера су:

• Економија- предвиђање потрошње, предвиђање кретања цена акција на берзи и др.^[28]
• Психологија- утицај интелигенције на постигнућа појединаца, утицај начина васпитања и културних вредности појединаца на њихова постигнућа у школи и сл.
• Пољопривреда- како предвидети количину рода пшенице на основу познавања скупа других података (број сунчаних и кишних дана у години, семена и вештачког ђубрива које се користи...)
• Историја- како проценити старост неког објекта на основу познатих карактеристика објекта.
• Политика- предвиђање кретања становништва на основу познавања пола, стопе незапослености, висине примања у неком региону

Порекло речи регресија

Френсис Галтон (енгл. ) је 1877. године, у Енглеској, представио рад „Типични закони наслеђа“, у коме је изложио концепт регресије.^[29] Он је открио везу између величине зрна грашка родитељске биљке и величине зрна грашка биљке потомка. Установио је да је ова веза приближно линеарна. Такође је утврдио да величина зрна „регресира“ ка средњој вредности. Овај феномен је назвао „регресија ка медиокритету“.