Розділ нейромережі як інтелектуальний елемент інформаційної системи




Скачати 367.81 Kb.
НазваРозділ нейромережі як інтелектуальний елемент інформаційної системи
Сторінка4/10
Дата конвертації01.03.2013
Розмір367.81 Kb.
ТипДокументы
uchni.com.ua > Інформатика > Документы
1   2   3   4   5   6   7   8   9   10
^

Задачі


Бінарна класифікація образів.

Асоціативні машини


Задачі:

    • моделювання

    • розпізнавання образів

  • регресії

При навчанні з вчителем обчислювальна простота досягається за рахунок розподілу задачі навчання серед множини експертів, які, в свою чергу, розбивають вхідний простір на множину підпросторів. Комбінацію таких експертів і називають асоціативної машиною (committee machine) [25].

Асоціативні машини є універсальними апроксиматорами. Їх можна розбити на дві основні категорії.

  1. ^ Статичні структури (static structure). У цьому класі асоціативних машин відгуки різних предикторів (експертів) об'єднуються за допомогою деякого механізму, який не враховує вхідний сигнал. Тому вони і отримали назву "статичні". Ця категорія структур працює на основі наступних методів.

    • ^ Усереднення по ансамблю (ensemble averaging). Вихідний сигнал обчислюється як лінійна комбінація виходів окремих предикторів.

    • Посилення (boosting), при якому слабкий алгоритм навчання перетворюється в алгоритм, який досягає довільної заданої точності.

  1. ^ Динамічні структури (dynamic structure). У цьому другому класі асоціативної машини вхідний сигнал безпосередньо враховується в механізмі об'єднання вихідних сигналів експертів (завдяки цій властивості дані машини і отримали назву "динамічних"). Можна виділити дві різні реалізації динамічних структур.

    • ^ Змішання думок експертів (mixture of experts), при якому відгуки окремих експертів нелінійно об'єднуються в єдину шлюзову мережу (gating network).

    • Ієрархічне об'єднання думок експертів, при якому відгуки окремих експертів нелінійно об'єднуються за допомогою кількох шлюзових мереж, організованих в ієрархічну структуру.
^

Усереднення по ансамблю




Рисунок 2. – Блочна діаграма асоціативної машини, що основана на усередненні по ансамблю

На рисунок 2.11 показано множину нейронних мереж(експертів), що навчаються окремо із загальним вхідним сигналом. Їх вихідні сигнали деяким чином комбінуються, формуючи спільний вихід системи у. Для того, щоб спростити викладки, припустимо, що виходи експертів являють собою скалярні величини. Представлений тут підхід носить назву методу усереднення по ансамблю (ensemble averaging method) [26]. Використання цього методу обумовлено двома основними причинами.

  • Якщо множину експертів, показана на рисунок 2.11, замінити єдиною нейронною мережею, буде отримано мережу, яка містить набагато більшу кількість параметрів, що настроюються. Звісно, час навчання такої мережі буде істотно більшим за час паралельного навчання множини експертів.

  • Ризик надмірного навчання (overfitting) зростає, якщо кількість параметрів, що настроюються істотно більша розміру множини даних навчання.

При використанні асоціативних машин (див. рисунок2.11) передбачається, що експерти, що навчаються окремо будуть сходитися до різних локальних мінімумів поверхні помилок, в результаті чого деяка комбінація їх вихідних сигналів призведе до підвищення ефективності мережі.
^

Метод посилення


В асоціативних машинах, основаних на усередненні по ансамблю, всі експерти навчаються на одній і тій жемножині даних. Мережі відрізняються одна від одної тільки вибором вихідного стану. На противагу цьому мережі-експерти, які працюють на основі методу посилення [27], навчаються на прикладах, що належать абсолютно різним розподілам. Це самий загальний метод з тих, які можна використовувати для поліпшення продуктивності будь-якого алгоритму навчання.

^ Метод посилення (boosting) може бути реалізований трьома способами.

  1. Посилення за рахунок фільтрації (boosting by filtering). Цей підхід передбачає відбір (фільтрацію) прикладів навчання різними версіями слабкого алгоритму навчання. При цьому передбачається доступність великої (в ідеалі – нескінченної) множини прикладів. Під час навчання приклади можуть бути відбраковані або збережені. Перевагою цього підходу є те, що в порівнянні з двома іншими він не пред'являє великих вимог до пам'яті.

  2. ^ Посилення за рахунок формування підвибірок (boosting by subsampling). Цей підхід припускає наявність множини прикладів навчання фіксованого розміру. Підвибірки складаються під час навчання у відповідності з заданим розподілом імовірності. Помилка обчислюється щодо фіксованоїмножини прикладів навчання.

  3. ^ Посилення шляхом перезважування (boosting by reweighting). Третій підхід пов'язаний з обробкою фіксованоїмножини прикладів. При цьому передбачається, що слабкий алгоритм навчання може отримувати "зважені" приклади. Помилка обчислюється щодо зважених прикладів.

^ Модель змішування думок експертів

Розглянемо конфігурацію мережі, показану на рисунок2.12. Така мережа носить назву змішування думок експертів (mixture of experts або ME) і складається з К модулів, які навчаються з учителем і називаються мережами експертів (expert network), або просто експертами. Інтегруючий елемент носить назву мережа шлюза (gating network). Він виконує функцію посередника між мережами експертів. Передбачається, що різні експерти найкраще працюють у своїх областях вхідного простору згідно описаної ймовірнісної породжуючої моделі. Виходячи з цього, і виникає потреба в мережі шлюза.



Рисунок 2.Блочна діаграма моделі(МЕ); скалярні виходи експертів усереднені мережею шлюзу.

Модель ієрархічного змішування думок експертів

Модель ієрархічного змішування думок експертів (hierarchical mixture of experts – НМЕ) [28], ​​представлена ​​на рисунок2.13, являє собою природне розширення моделі ME. На рисунок 2.13 показана модель НМЕ з чотирма експертами.


Рисунок 2. – Ієрархічне змішування думок експертів (НМЕ) для двох рівнів ієрархії

Архітектура моделі НМЕ подібна дереву, в якому мережі шлюзів є гілками, а окремі експерти – листям. Модель НМЕ відрізняється від моделі ME тим, що вхідний простір розбивається на множину вкладених підпросторів, а інформація об'єднується і перерозподіляється між експертами під управлінням декількох мереж.
1   2   3   4   5   6   7   8   9   10

Схожі:

Розділ нейромережі як інтелектуальний елемент інформаційної системи iconРозділ нейромережі як інтелектуальний елемент інформаційної системи
Структура інформаційних систем з інтелектуальною підтримкою прийняття рішень
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconРозділ інформаційні системи з інтелектуальною підтримкою принять рішень
Структуру інформаційної системи становить сукупність окремих її частин, які називаються підсистемами
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconДосвід розробки земельно-інформаційної системи м. Чугуєва Ткаченко В. П
Гіс, програмні та архітектурні особливості, а також інтерфейсний та інформаційний простір системи. Наприкінці статті наведено новизну...
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconРозділ методологія побудови інформаційної системи з інтелектуальною...

Розділ нейромережі як інтелектуальний елемент інформаційної системи icon1 Проектування інформаційної системи Проектування інформаційної системи...
На цій стадії розробляють проектну документацію — технічний, робочий або техноробочий проекти
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconРозділ методологія побудови інформаційної системи з інтелектуальною підтримкою прийняття рішень
Структурно-параметричний синтез включає в себе два основних етапи: структурну ідентифікацію та параметричну ідентифікацію
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconТема Визначення бази даних як автоматизованої системи
...
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconКонтекстний розвиток інформаційної компетентності педагогів професійної...
Анотація. Автори повідомляють про технологію контекстного розвитку інформаційної компетентності педагогічних працівників системи...
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconПлан Вступ 1 Становлення банківської системи України 2 Національний...
Сучасною тенденцією розвитку банківського сектору є поступове злиття банківського та промислового капіталу, що створює передумови...
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconОсобливості створення географічної інформаційної системи для екологічного моніторингу

Додайте кнопку на своєму сайті:
Школьные материалы


База даних захищена авторським правом © 2014
звернутися до адміністрації
uchni.com.ua
Головна сторінка