Методи за обучение на невронната мрежа

През последните години обучение невронна мрежа

Причини за популярност

Експерти обясняват успеха на въвеждането в практиката на невронни мрежи по няколко причини:

• богати възможности;
• лекота на използване;
• обжалване.

Нека да разгледаме по-отблизо всяка точка.

Изучаването на невронна мрежа с учител е мощна техника за моделиране, която ви позволява да разгледате най-сложните зависимости.

Невронните мрежи се изследват чрез примери. Потребителят трябва да избере представителни данни, след което да проведе алгоритъм за обучение, който автоматично възприема структурата на входните данни.

Това ще изисква първоначален набор от евристични знания за подбора и подготовката на данните, изборът на необходимите мрежова архитектура, тълкуване на резултатите. Само тогава изучаването на многослойни невронни мрежи ще бъде успешна. Но това ниво е много по-просто, отколкото използването на класически статистически техники.

Обучението на конволюционна невронна мрежа привлича потребителите, тъй като те се основават на прост биологичен модел на нервната система. Подобряването на такива невробиологични модели ще доведе до създаването на уникални мислещи компютри.

Обхват на приложение

Изучаването на невронна мрежа ви позволява да разпознавате текстове, реч и да извършвате семантично търсене. Сред областите на тяхното приложение ще идентифицираме системи, които помагат при вземането на решения, анализират цените на акциите, текстовете, контролират сигурността на World Wide Web.

Характеристики на образователния процес

Преди да говорим за това как се пече нервната мрежа, нека се занимаваме с техните особености. Невронните изкуствени мрежи, като биологичните, са компютърна система с голям брой успоредни паралелни процесори, имащи голям брой връзки.

За разлика от биологичните аналози, невронните изкуствени мрежи проявяват много качества, които са характерни за мозъка: обобщаване, анализ, вземане на проби от данни от потока на информация.

Те могат да променят поведението си в зависимост от външната среда. След анализа на първоначалните данни, те са самостоятелно настроени и обучени, осигурявайки правилната реакция.

Получената мрежа е устойчива на някои отклонения в оригиналните данни, така че няма изкривяване поради външни смущения.

В средата на миналия век група изследователи синтезират физиологични и биологични подходи, създава се първата изкуствена нервна система.

Без обучение, беше трудно да се разбере напълно структурата, свойствата и предназначението на мрежите. Изглежда, че успяхме да намерим ключ към изкуствения интелект. Но илюзиите на един човек бяха разсеяни достатъчно бързо. Мрежи лесно се справи с разрешаването на някои проблеми, анализира данните. Но те не се справят с други задачи, т.е. те се оказаха много ограничени в употреба.

Ето защо продължава обучението на невронната мрежа, създаването на научна основа за такива дейности.

В края на ХХ век бяха открити фирми, които се занимаваха със създаването на приложни програми за създаване на изкуствени мрежи. Точно по това време се появи и машинното обучение. Невронните мрежи се оказаха ефективни при решаването на сложни проблеми, например, те се използват за проверка на платежоспособността на банковите клиенти.

Методи на преподаване

За да може мрежата да реши задачите, които са й възложени, е необходимо тя да бъде обучена. Тази способност се счита за основното свойство на мозъка. какво методи за обучение на невронни мрежи са най-ефективни? Под процеса на обучение за такива системи се има предвид процесът на коригиране на структурата на връзките между отделните неврони и синоптичните връзки, които засягат сигналите на коефициентите. Създадените комплекси позволяват ефективно да се реши задачата, поставена пред мрежите. в основата си обучение невронна мрежа се появява на някоя проба. Как решихте този проблем? Ние сме разработили специален алгоритми за учене на невронни мрежи. Те позволяват да се увеличи ефективността на реакцията спрямо входящите сигнали, за да се разширят областите на тяхното приложение.

Учебни парадигми

Дълбокото обучение на невронни мрежи се осъществява по следните парадигми:

• с учителя;
• без наставник;
• смесена форма.

Първият от тях се характеризира с известни правилни отговори на всеки вариант на входа, теглата се коригират така, че да се сведе до минимум възможността за грешка.

Самостоятелното проучване дава възможност за разпространение на оригиналните проби в категории, което се постига чрез разкриване на естеството на данните и вътрешната структура.

Смесеният вид се разглежда като синтез на двата предишни подхода. Да тренираме невронна мрежа означава да я информираме за информацията, която искаме от нея. Този процес е подобен на преподаването на детска азбука. Те му показват писмото и след това питат: "Какво е това писмо?" Ако отговорът е грешен, детето отново се обяснява колко правилно.

Процесът се повтаря, докато правилната информация остане в паметта му. Тази процедура се нарича "обучение с учител".

Същността на процеса

Нека да разгледаме как работят изкуствените невронни мрежи. Обучението им се провежда по подобна схема. Първоначално се взема определена база данни, съдържаща някои примери (набор от изображения на букви).

Ако покажем буквата "А" на входа на невронната мрежа, тя дава категоричен отговор, който може да е неправилен. Във формата на желания изход се използва набор (1,0,0, hellip-) в проблема на предложената класификация, при който продукцията с етикет "А" е 1, а при всички други изходи - етикета 0.

Когато определяме разликата между реалния и желания отговор на мрежата, получаваме 33 номера - това е векторът на възможна грешка. Можете многократно да й показвате същото писмо. Следователно, учебният процес се възприема като повторение на идентични упражнения (обучение), затова можем да кажем, че се извършва достатъчно дълбоко обучение.

Невронната мрежа без обучение не е готова за работа. Едва след като многократната демонстрация на примери за знания постепенно се стабилизира, системите дават правилните отговори на предложените въпроси.

В такива ситуации се казва, че е проведено дълбоко обучение. Невронните мрежи постепенно намаляват мащаба на грешката. Когато стойността му се намали до нула, обучението спира. Образователната невронна мрежа се счита за подходяща за използване на нови необработени данни.

Информация за задачата, която има мрежата, се намира в набор от примери. Ето защо ефективността на обучението на невронна мрежа е свързана с броя на примерите, които се съдържат в учебния комплекс. Съществува и зависимост от пълнотата на описанието на проблема.

Например, невронната система не може да предвиди финансова криза, ако сценариите в извадката за обучение не са предоставени. Професионалистите твърдят, че за качествена мрежова подготовка е необходимо да се демонстрират поне десет примера за това.

Учебният процес е интензивен и сложен в науката. След като приключите, можете да използвате мрежата за практически цели.

Основната особеност на човешкия мозък е възпроизвеждането на придобитата информация в ситуации, в които е необходимо. Обучената мрежа притежава голяма част от информацията, която ви позволява да получите правилния отговор за нови изображения.

За да се изгради учебен процес, трябва да има представа за модела на средата, в която функционира нервната мрежа.

Този модел определя задачата за учене. Трябва също така да разберете как можете да променяте основните параметри на мрежата, как да използвате настройките. Същността на обучението включва процедура, при която правилата за учене се прилагат за алгоритми за отстраняване на грешки.

Алгоритми за учене на невронни мрежи

В момента те използват няколко от своите възможности:

• конюгирани градиенти;
• обратно разпространение;
• Квази-Нютон;
• псевдо-обратния;
• Kohonen обучение;
• Levenberg-Marquardt;
• векторен квантор;
• метод на К-най-близки съседи (KNN)
• определяйки изрични отклонения.

Това не е всичко алгоритми за учене на невронни мрежи, прилаган в настоящия момент.

След като се определи броят на слоевете и броят на елементите във всяка една от тях, е необходимо да се определят индикаторите за тази мрежа, което да сведе до минимум грешката на предлаганата от нея прогноза.

Този процес може да се разглежда като приспособяване на модела, приложен от мрежата към представената информация за обучение.

Важни точки

Грешката за конкретна мрежова конфигурация се изчислява, като се приложат всички съществуващи наблюдения и се сравняват с целевите стойности на изходните стойности.

По-добре е да се използват тези алгоритми, които дават възможност да се тренира невронна мрежа в минималния брой стъпки. Те приемат малък брой променливи. Причината за този избор е, че в момента обучение на невронни мрежи се извършва на компютри, които имат слаба производителност, ограничена памет.

вид

Стохастичните методи поемат значителен брой стъпки в учебния процес. Ето защо е практически невъзможно да се използват за модерни невронни мрежи с големи размери.

Експоненциалното увеличаване на точността на търсенето с увеличаване на алгоритмите за мащабна оптимизация на измерението на проблема не позволява използването на такива системи в учебния процес.

Методът на конюгиран градиент е силно чувствителен към точността на извършените изчисления. По-специално, при решаване на проблеми, свързани с оптимизиране на модела на скалата. Те трябва да използват допълнителни променливи.

Всички алгоритми за обучение на невронни системи, използвани в настоящия момент, се основават на функцията за оценка. Това ви позволява да направите цялостна оценка на качеството на цялата мрежа.

Те се считат за съвсем прости, така че те не дават добра система за управление за кратко време, те не са подходящи за анализ на сложни системи.

Възможности за ускоряване на учебния процес

Тъй като нервните мрежи се смятат за една от проявите на изкуствения интелект, те често се използват за разпознаване на шаблони, за решаване на проблеми с оптимизацията.

Бяха създадени много модели от такива мрежи, които се справят с различни приложни проблеми. За всеки от тях има алгоритми и методи на обучение. Въпреки това разнообразие, работата по подобряване на алгоритмите, създаването на нови модели не спира, но теорията за мрежите все още не е достатъчно формализирана.

Етапи на развитие

Има два основни етапа, които се използват в развитието на невронни мрежи. Структурният синтез включва избор на конкретен модел, както и анализ на предварителната структура, алгоритъма за учене.

Параметричният синтез включва не само процеса обучение невронна мрежа, но и качествен тест на резултатите. С оглед на това е възможно да се реши дали да се върнат към началните етапи параметричен или структурен анализ.

Непълното формиране на етапите води до множество проблеми за създадената мрежа. Например, на етапа на структурния синтез при избора на модел, структура, алгоритъм, ще се положат много усилия, помощта на опитни компютърни разработчици.

На етапа на параметричния синтез по време на учебния процес възникват ограничени компютърни ресурси. Проблемите със сложна структура ще изискват голямо усилие от невронни системи, така че процесът включва значителни времеви разходи.

Има определени методи за намаляване на тези разходи за обучение на невронни многослойни мрежи. Те се основават на принципа на достатъчност, при който системна грешка не може да надхвърля определен показател. Например към такива методи се разглеждат корекциите на стъпките за модернизиране на теглата, трансформацията на разпознаваеми класове.

произведена обучение невронна мрежа докато грешката достигне нула. Това е свързано с голям разход на времеви ресурси, тъй като не е възможно незабавно да се открие грешка, за да се премахне причината за възникването й.

заключение

Определете ефективността обучение невронна мрежа можете да използвате желаната от вас задача.

Например, ако се предлага специфична задача, свързана с класификацията, тогава е необходима многослойна невронна мрежа за нейното решаване. За обучението си е подходящ модерен алгоритъм за обратно разпространение на грешката.

Оценката на възможните грешки, възникващи по време на учебния процес, се извършва по два начина: глобален и местен. Вторият вариант предполага, че има грешки в невроните на изходния слой. За глобален изглед се приема, че е налице i-ти обучителен набор от грешки на цялата мрежа.

Обучението може да се счита за идеално в случай, че след него мрежата изцяло повтаря тренировъчната извадка, не дава грешки и неправилно функциониране.

Такова обучение е трудоемко. Това се постига само в редки случаи. Принципът на достатъчност се състои в това, че напълно се отказва да търси идеал в изпълнението на определена задача. Ако го прехвърлите в тренировъчната процедура на модерна невронна мрежа, тогава идеалната точност не винаги се спазва.

За разпознаване на даден обект, както и на неговия клас, се допуска мрежовата грешка в комплекта да не надвишава експонента делта-. Такава стойност ще се счита за максималния индекс, при който се запазва точността на изчисленията.

Подходът на невронната мрежа е особено ефективен при изпълнение на задачи, свързани с експертна оценка, обработка на информация от различен вид.