В , представянето на модела се основава на неговите прогнози и колко добре се обобщава към невидими, независими данни. Един от начините за измерване на точността на модела е чрез отчитане на пристрастията и отклоненията в модела. В тази статия ще научим как отклонението-вариация играе важна роля при определянето на автентичността на модела. В тази статия се обсъждат следните теми:
- Несъкратима грешка
- Какво е пристрастие в машинното обучение?
- Вариантност в модела за машинно обучение?
- Как се отразява на модела за машинно обучение?
- Компромис при отклонение и отклонение
- Обща грешка
Несъкратима грешка
Всеки модел в се оценява въз основа на грешката в прогнозирането на нов независим, невидим набор от данни. Грешката не е нищо друго освен разликата между действителния изход и прогнозирания изход. За да изчислим грешката, правим сумиране на редуцируема и неприводима грешка, известна като декомпозиция на отклонение-дисперсия.
Необратимата грешка не е нищо друго освен тези грешки, които не могат да бъдат намалени независимо от каквато и да било които използвате в модела. Причинява се от необичайни променливи, които имат пряко влияние върху изходната променлива. Така че, за да направим вашия модел ефективен, ние оставаме с редуцируемата грешка, която трябва да оптимизираме на всяка цена.
Намалимата грешка има два компонента - Пристрастие и вариация , наличие на пристрастия и отклонения влияят върху точността на модела по няколко начина като преоборудване, недооборудване и т.н.Нека да разгледаме пристрастия и отклонения, за да разберем как да се справим с редуцируемата грешка в .
Какво е пристрастие в машинното обучение?
Пристрастието е основно колко далеч сме предвидили стойността от действителната стойност. Ние казваме, че пристрастието е твърде високо, ако средните прогнози са далеч от действителните стойности.
Високото пристрастие ще накара алгоритъма да пропусне доминиращ модел или връзка между входните и изходните променливи. Когато пристрастието е твърде високо, се приема, че моделът е доста прост и не разбира сложността на набора от данни, за да определи връзката и по този начин,причиняващи недостатъчно оборудване.
Вариантност в модела за машинно обучение?
На независим, невидим набор от данни или набор за проверка. Когато даден модел не се представя толкова добре, колкото с обучения набор от данни, има вероятност моделът да има отклонение. Той основно казва колко разпръснати са предсказаните стойности от действителните стойности.
Високата дисперсия в набора от данни означава, че моделът е тренирал с много шум и неподходящи данни. По този начин причинява прекалено монтиране в модела. Когато моделът има висока дисперсия, той става много гъвкав и прави грешни прогнози за нови точки от данни. Тъй като се е настроил към точките от данни на тренировъчния набор.
Нека също се опитаме да разберем математически концепцията за отклонение-дисперсия. Нека променливата, която предсказваме да бъде Y, а другите независими променливи да бъдат X. Нека сега приемем, че има връзка между двете променливи, така че:
как да конвертирате двойно в цяло число в Java
Y = f (X) + e
В горното уравнение, Ето е е прогнозната грешка със средна стойност 0. Когато правим класификатор, използвайки алгоритми като линейна регресия , и т.н., очакваната грешка на квадрат в точка x ще бъде:
грешка (x) = Пристрастие2+ Дисперсия + неприводима грешка
Нека разберем също как отклонението-вариация ще повлияе на a Машинно обучение изпълнение на модела.
informatica powercenter урок за начинаещи
Как се отразява на модела за машинно обучение?
Можем да поставим връзката между отклонение-вариация в четири категории, изброени по-долу:
- High Variance-High Bias - Моделът е непоследователен и средно неточен
- Ниско отклонение - високо пристрастие - моделите са последователни, но средно ниски
- Високо отклонение - ниско пристрастие - Донякъде точно, но несъответстващо на средните стойности
- Ниска вариация-ниско пристрастие - Това е идеалният сценарий, моделът е средно последователен и точен.
Въпреки че откриването на пристрастия и отклонения в модела е съвсем очевидно. Модел с висока дисперсия ще има ниска грешка в обучението и висока грешка при валидиране. И в случай на висока пристрастност, моделът ще има висока грешка при обучението и грешката при проверка е същата като грешката при обучението.
Докато откриването изглежда лесно, истинската задача е да го намалим до минимум. В този случай можем да направим следното:
- Добавете още функции за въвеждане
- По-голяма сложност чрез въвеждане на полиномиални характеристики
- Намалете срока за узаконяване
- Получаване на повече данни за обучение
Сега, когато знаем какво е пристрастие и отклонение и как влияе на нашия модел, нека да разгледаме компромиса за отклонение и отклонение.
Компромис при отклонение и отклонение
Намирането на точния баланс между пристрастие и вариация на модела се нарича компромис Bias-Variance. По принцип това е начин да се уверите, че моделът не е нито преоборудван, нито недостатъчно оборудван във всеки случай.
Ако моделът е твърде опростен и има много малко параметри, той ще страда от голямо пристрастие и ниска дисперсия. От друга страна, ако моделът има голям брой параметри, той ще има висока дисперсия и ниско пристрастие. Този компромис трябва да доведе до идеално балансирана връзка между двамата. В идеалния случай ниските пристрастия и ниските отклонения са целта за всеки модел на машинно обучение.
Обща грешка
Във всеки модел за машинно обучение добрият баланс между пристрастия и вариации служи като перфектен сценарий по отношение на прогнозната точност и избягване на прекаленото и недостатъчно оборудване. Оптималният баланс между пристрастие и отклонение, по отношение на сложността на алгоритъма, ще гарантира, че моделът изобщо никога не е прекалено или недостатъчно оборудван.
Средната квадратична грешка в статистическия модел се разглежда като сбор от квадратично отклонение и дисперсия и дисперсия на грешката. Всичко това може да се постави в обща грешка, когато имаме пристрастия, дисперсии и несъкратими грешки в модела.
Нека разберем как можем да намалим общата грешка с помощта на практическо изпълнение.
Създадохме a класификатор на линейна регресия в Линейна регресия в машинното обучение статия за Edureka, използваща набора от данни за диабета в модула за набори от данни на scikit научи библиотека.
Когато оценихме средната квадратична грешка на класификатора, получихме обща грешка около 2500.
За да намалим общата грешка, подадохме повече данни към класификатора и в замяна средната квадратична грешка беше намалена до 2000.
Това е просто изпълнение на намаляване на общата грешка чрез подаване на повече данни за обучение към модела. По същия начин можем да приложим други техники за намаляване на грешката и поддържане на баланс между пристрастия и отклонения за ефективен модел на машинно обучение.
Това ни води до края на тази статия, където научихме Bias-Variance в Machine Learning с неговото прилагане и използване. Надявам се да сте наясно с всичко споделено с вас в този урок.
Ако сте намерили тази статия за „Отклонение-вариация в машинното обучение“ подходяща, разгледайте доверена компания за онлайн обучение с мрежа от над 250 000 доволни учащи, разпространени по целия свят.
Ние сме тук, за да ви помогнем при всяка стъпка по вашето пътуване и да изготвим учебна програма, предназначена за студенти и професионалисти, които искат да бъдат . Курсът е предназначен да ви даде начален старт в програмирането на Python и да ви обучи както за основните, така и за напредналите концепции на Python, заедно с различни като , и т.н.
Ако попаднете на някакви въпроси, не се колебайте да зададете всичките си въпроси в раздела за коментари на „Bias-Variance In Machine Learning“ и нашият екип ще се радва да отговори.
функция за сортиране c ++ масив