Розділ нейромережі як інтелектуальний елемент інформаційної системи




Скачати 367.81 Kb.
НазваРозділ нейромережі як інтелектуальний елемент інформаційної системи
Сторінка3/10
Дата конвертації01.03.2013
Розмір367.81 Kb.
ТипДокументы
uchni.com.ua > Інформатика > Документы
1   2   3   4   5   6   7   8   9   10
^

Порівняння RBF мережіта багатошарового персептрона


Мережі на основі радіальних базисних функцій (RBF) і багатошаровий персептрон (MLP) є прикладами нелінійних багатошарових мереж прямого поширення. І ті й інші є універсальними апроксиматорами. Таким чином, не дивно, що завжди існує мережа RBF, здатна імітувати багатошаровий персептрон (і навпаки). Однак ці два типи мереж відрізняються за деякими важливими аспектами.

  1. Мережі RBF (у своїй основній формі) мають один прихований шар, в той час як багатошаровий персептрон може мати більшу кількість прихованих шарів.

  2. Зазвичай обчислювальні (computational) вузли багатошарового персептрона, розміщені в прихованих і вихідному шарах, використовують одну і ту ж модель нейрона. З іншого боку, обчислювальні вузли прихованого шару мережі RBF можуть докорінно відрізнятися від вузлів вихідного шару і служити різним цілям.

  3. Прихований шар в мережах RBF є нелінійним, в той час як вихідний – лінійним. У той же час приховані і вихідний шари багатошарового персептрона, використовуваного в якості класифікатора, є нелінійними. Якщо багатошаровий персептрон використовується для вирішення задач нелінійної регресії, в якості вузлів вихідного шару зазвичай вибираються лінійні нейрони.

  4. Аргумент функції активації кожного прихованого вузла мережі RBF являє собою Евклідову норму (відстань) між вхідним вектором і центром радіальної функції. У той же час аргумент функції активації кожного прихованого вузла багатошарового персептрона – це скалярний добуток вхідного вектора і вектора синаптичних ваг даного нейрона.

  5. Багатошаровий персептрон забезпечує глобальну апроксимацію нелінійного відображення. З іншого боку, мережа RBF за допомогою експоненційно зменшуючихся локалізованих нелінійностей (тобто функцій Гауса) створює локальну апроксимацію нелінійного відображення.

Це, в свою чергу, означає, що для апроксимації нелінійного відображення за допомогою багатошарового персептрона може знадобитися менше число параметрів, ніж для мережі RBF при однаковій точності обчислень.

Лінійні характеристики вихідного шару мережі RBF означають, що така мережа більш тісно пов'язана з персептроном Розенблатта, ніж з багатошаровим персептроном. Тим не менш мережі RBF відрізняються від цього персептрона тим, що здатні виконувати нелінійні перетворення вхідного простору. Це було добре продемонстровано на прикладі рішення задачі XOR, яка не може бути вирішена ні одним лінійним персептроном, але з легкістю вирішується мережею RBF.
^

Машини опорних векторів


Машина опорних векторів – це лінійна система (linear machine), що володіє рядом привабливих властивостей [23]. Опис роботи таких машин слід почати з питання роздільності класів, що виникає при рішенні задач класифікації. У цьому контексті ідея машин опорних векторів полягає в побудові гіперплощини, яка виступає в якості поверхні рішень, максимально розділяє позитивні і негативні приклади. Це досягається завдяки принциповому підходу, основаному на теорії статистичного навчання. Більш конкретно, машина опорних векторів є апроксимуючою реалізацією методу мінімізації структурного ризику (method of structural risk minimization). Цей індуктивний принцип оснований на тому, що рівень помилок машини, що навчається на даних тестування (тобто рівень помилок узагальнення) можна представити у вигляді суми помилки навчання і доданка, що залежить від виміру Вапника-Червоненкіса (Vapnik-Chervonenkis dimension) [24]. У разі роздільних множин машина опорних векторів видає значення "нуль" для першого доданка, мінімізуючи при цьому другий доданок. Тому машина опорних векторів може забезпечити хорошу якість узагальнення в задачі класифікації, не володіючи апріорними знаннями про предметну область конкретної задачі. Саме ця властивість є унікальною для машин опорних векторів (рисунок 2.10).



Рисунок 2. – Архітектура машини опорних векторів

На відміну від популярного алгоритму зворотного поширення, алгоритм навчання за допомогою опорних векторів працює тільки в пакетному режимі. Існує ще одна важлива відмінність між цими двома алгоритмами. Алгоритм зворотного поширення мінімізує квадратичну функцію втрат, незалежно від того, яка задача навчання. На відміну від нього, алгоритм знаходження опорних векторів, що застосовується для вирішення задачі розпізнавання, абсолютно відрізняється від того, який використовується в задачі нелінійної регресії.

  • У задачі розпізнавання алгоритм навчання на основі опорних векторів мінімізує кількість навчальних прикладів, які потрапляють на кордон поділу між позитивними і негативними прикладами. Це твердження є істинним тільки асимптотично, оскільки замість функції індикатора використовуються фіктивні змінні . Хоча цей критерій в точності і не відповідає мінімізації ймовірності помилки класифікації, він вважається кращим, ніж критерій мінімізації середньоквадратичної помилки, на якому оснований алгоритм зворотного поширення.

  • При виконанні задачі нелінійної регресії алгоритм навчання на основі опорних векторів мінімізуєнечутливу функцію втрат, яка являється розширенням критерія середньої абсолютної помилки з мінімаксної теорії. У зв'язку з ці алгоритм є більш робастним.
1   2   3   4   5   6   7   8   9   10

Схожі:

Розділ нейромережі як інтелектуальний елемент інформаційної системи iconРозділ нейромережі як інтелектуальний елемент інформаційної системи
Структура інформаційних систем з інтелектуальною підтримкою прийняття рішень
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconРозділ інформаційні системи з інтелектуальною підтримкою принять рішень
Структуру інформаційної системи становить сукупність окремих її частин, які називаються підсистемами
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconДосвід розробки земельно-інформаційної системи м. Чугуєва Ткаченко В. П
Гіс, програмні та архітектурні особливості, а також інтерфейсний та інформаційний простір системи. Наприкінці статті наведено новизну...
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconРозділ методологія побудови інформаційної системи з інтелектуальною...

Розділ нейромережі як інтелектуальний елемент інформаційної системи icon1 Проектування інформаційної системи Проектування інформаційної системи...
На цій стадії розробляють проектну документацію — технічний, робочий або техноробочий проекти
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconРозділ методологія побудови інформаційної системи з інтелектуальною підтримкою прийняття рішень
Структурно-параметричний синтез включає в себе два основних етапи: структурну ідентифікацію та параметричну ідентифікацію
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconТема Визначення бази даних як автоматизованої системи
...
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconКонтекстний розвиток інформаційної компетентності педагогів професійної...
Анотація. Автори повідомляють про технологію контекстного розвитку інформаційної компетентності педагогічних працівників системи...
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconПлан Вступ 1 Становлення банківської системи України 2 Національний...
Сучасною тенденцією розвитку банківського сектору є поступове злиття банківського та промислового капіталу, що створює передумови...
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconОсобливості створення географічної інформаційної системи для екологічного моніторингу

Додайте кнопку на своєму сайті:
Школьные материалы


База даних захищена авторським правом © 2014
звернутися до адміністрації
uchni.com.ua
Головна сторінка