Розділ нейромережі як інтелектуальний елемент інформаційної системи




Скачати 367.81 Kb.
НазваРозділ нейромережі як інтелектуальний елемент інформаційної системи
Сторінка9/10
Дата конвертації01.03.2013
Розмір367.81 Kb.
ТипДокументы
uchni.com.ua > Інформатика > Документы
1   2   3   4   5   6   7   8   9   10
^

Мережі адаптивної резонансної теорії


Для вирішення завдань векторної класифікації Карпентером і Гросбергом запропонований клас нейронних мереж, що реалізують моделі адаптивної резонансної теорії (АРТ) (ART-1, ART-2, ARTMAP), що зберігають пластичність для запам'ятовування нових образів і, в той же час, запобігають зміні раніше запам’ятованих (рисунок 2.32).



Рисунок 2. – Структура нейронної мережі, що реалізує адаптивну резонансну теорію

Навчання

Процес навчання АРТ-мереж є навчанням без вчителя. Розрізняють два види навчання АРТ-мереж: повільне і швидке. При повільному навчанні вхідний вектор пред'являється на вхід мережі короткочасно і вагові коефіцієнти не досягають своїх асимптотичних значень у результаті одного пред'явлення. У цьому випадку значення ваг визначаються статистичними характеристиками всіх вхідних векторів, а не характеристиками окремого вхідного вектора. Динаміка процесу повільного навчання описується диференціальними рівняннями.

Задачі

- векторна класифікація

Характеристики АРТ-мереж:

  • швидкий доступ до попередньо запам'ятованих образів, обумовлений тим, що після стабілізації процесу навчання, пред'явлення одного з навчальних векторів (або вектора з істотними характеристиками категорії) буде активізувати необхідний нейрон шару розпізнавання без пошуку;

  • стійкість процесу пошуку, так як після збудження одного нейрона не буде збуджень інших нейронів у шарі розпізнавання без сигналу з виходу схеми визначення схожості векторів;

  • скінченність процесу навчання, що обумовлена ​​стабільним набором ваг; повторювані послідовності навчальних векторівне будуть приводити до циклічної зміни ваг.

На закінчення слід відзначити, що АРТ-мережі організовані за принципом подібності з біологічними прототипами, а процеси, що відбуваються в них, подібно механізмам мозку, дозволяють вирішити проблему стабільності-пластичності.

Недоліком АРТ-мереж є недостатня надійність збереження інформації. Так, у разі «втрати» одного образу руйнується вся пам'ять.

^ ART-1

Найпростіший випадок мережі адаптивної резонансної теорії, що дозволяє лише бінарні входи.

ART-2

Розширює можливості мережі АРТ для роботи з неперервними даними

ARTMAP

Об'єднання двох трохи модифікованих АРТ-1 і АРТ-2 мереж, в структуру, що навчається з учителем. Перший блок приймає на вхідні дані, другий – коректні вихідні дані, які використовуються для внесення мінімальних змін в перший блок для коректної класифікації (рисунок 2.33).

file:artmap.png

Рисунок 2. – Структура мережі ARTMAP
^

Динамічно керовані рекурентні мережі


В основному рекурентні мережі використовуються у двох якостях.

  • Асоціативна пам'ять (associative memories).

  • Мережі відображення вхід-вихід (input-output mapping network).

Рекурентні мережі можна також використовувати для обробки послідовно упорядкованих даних, які не мають простої тимчасової інтерпретації (наприклад, хімічні структури, представлені у вигляді дерев). Також можуть представляти і класифікувати структуровані моделі, які представлені спрямованими, маркованими, ациклічними графами.

Навчання

  • зворотне поширення в часі (back-propagation through time – ВРТТ)

  • рекурентне навчання в реальному часі (real-time rесurеnt learning – RTRL)

  • не зв’язна розширена фільтрація Калмана (decoupled extended Kalman filtering – DEКF).

Рекурентна модель "вхід-вихід"

На рисунок 2.34 показана архітектура узагальненої рекурентною мережі, побудованої на базі багатошарового персептрона. Ця модель має єдиний вхід, який застосовується до пам'яті на лініях затримки, що складається з q елементів. Вона має єдиний вихід, замкнутий на вхід через пам'ять на лініях затримки, яка також складається з q елементів. Вміст цих двох блоків пам'яті використовується для живлення вхідного шару персептрона.

Рекурентну мережу, показану на рисунок 2.34, можна розглядати як модель нелінійної авторегресії із зовнішніми входами (nonlinear autoregressive with exogenous inputs model-NARX).



Рисунок 2. – Модель нелінійної регресії з зовнішніми входами (NARX)

На рисунок 2.35 показана блочна діаграма ще однієї узагальненої рекурентної мережі, яка називається моделлю в просторі станів (state-space model). Приховані нейрони визначають стан мережі. Вихід прихованого шару замкнутий на вхідний шар через банк одиничних затримок. Вхідний шар мережі складається з об'єднання вузлів зворотного зв'язку та вузлів джерела. Зв'язок мережі з зовнішнім середовищем здійснюється через вузли джерела. Кількість одиничних затримок, що використовуються для замикання виходу прихованого шару на вхідний шар, визначає порядок моделі (order of model).


Рисунок 2. – Модель рекурентної мережі в просторі станів
^ Проста рекурентна мережа SRN (Мережа Елмана)

Мережа Елмана має архітектуру, схожу до попередньої, за винятком того факту, що вихідний шар може бути нелінійним, а банк одиничних затримок на виході мережі відсутній (рисунок 2.36) [37].


Рисунок 2. – Проста рекурентна мережа SRN

Мережа Елмана містить рекурентні зв'язки прихованих нейронів з шаром контекстних елементів (context unit), що складається з одиничних затримок. Ці контекстні елементи зберігають виходи прихованих нейронів на один крок часу, після чогопередають їх на вхідний шар. Таким чином, приховані нейрони записують свої попередні дії, що дозволяє реалізувати задачі навчання, що розгортаються в часі. Приховані нейрони також передають інформацію вихідним нейронам, які формують реакцію мережі на застосований ззовні вплив. Так як дана природа зворотного зв'язку пов'язана виключно з прихованими нейронами, вони можуть поширювати повторні цикли інформації по мережі впродовж багатьох кроків часу і таким чином відкривати доступ до абстрактного представлення часу.

Властивості

Головною властивістю являється запам’ятовування послідовностей.

Задачі

Керування рухомими об’єктами.
Повнозв’язна рекурентна мережа зображена на рисунку 2.37.



Рисунок 2. – Повнозв’язна рекурентна мережа з двома входами, двома прихованими нейронами і одним вихідним нейроном

Рекурентний багатошаровий персептрон (recurrent multilayer perceptron — RMLP)

Цей персептрон має один або декілька прихованих шарів (використання декількох прихованих шарів визначається тим, що статичний багатошаровий персептрон зазвичай є більш ефективним і компактним, ніж той, що використовує тільки один прихований шар). Кожен обчислювальний шар RMLP замкнутий на себе власним зворотнім зв'язком. На рисунок 2.38 показаний окремий випадок RMLP з двома прихованими шарами.


Рисунок 2. – Рекурентний багатошаровий персептрон
Мережі другого порядку

Унікальною властивістю рекурентної мережі другого порядку (див. рисунок 2.39) являється те, що добуток являє собою пару {стан, вхід}; позитивну вагу описує наявність переходу стану (state transition) {стан, вхід} — ► {наступний стан}, а від'ємне значення ваги – відсутність такого переходу. Перехід стану описується виразом:



Рисунок 2. – Рекурентна мережа другого порядку.

Мережі другого порядку часто використовуються для представлення та навчання детермінованих кінцевих автоматів (deterministic finite-state automata – DFA).

1   2   3   4   5   6   7   8   9   10

Схожі:

Розділ нейромережі як інтелектуальний елемент інформаційної системи iconРозділ нейромережі як інтелектуальний елемент інформаційної системи
Структура інформаційних систем з інтелектуальною підтримкою прийняття рішень
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconРозділ інформаційні системи з інтелектуальною підтримкою принять рішень
Структуру інформаційної системи становить сукупність окремих її частин, які називаються підсистемами
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconДосвід розробки земельно-інформаційної системи м. Чугуєва Ткаченко В. П
Гіс, програмні та архітектурні особливості, а також інтерфейсний та інформаційний простір системи. Наприкінці статті наведено новизну...
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconРозділ методологія побудови інформаційної системи з інтелектуальною...

Розділ нейромережі як інтелектуальний елемент інформаційної системи icon1 Проектування інформаційної системи Проектування інформаційної системи...
На цій стадії розробляють проектну документацію — технічний, робочий або техноробочий проекти
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconРозділ методологія побудови інформаційної системи з інтелектуальною підтримкою прийняття рішень
Структурно-параметричний синтез включає в себе два основних етапи: структурну ідентифікацію та параметричну ідентифікацію
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconТема Визначення бази даних як автоматизованої системи
...
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconКонтекстний розвиток інформаційної компетентності педагогів професійної...
Анотація. Автори повідомляють про технологію контекстного розвитку інформаційної компетентності педагогічних працівників системи...
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconПлан Вступ 1 Становлення банківської системи України 2 Національний...
Сучасною тенденцією розвитку банківського сектору є поступове злиття банківського та промислового капіталу, що створює передумови...
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconОсобливості створення географічної інформаційної системи для екологічного моніторингу

Додайте кнопку на своєму сайті:
Школьные материалы


База даних захищена авторським правом © 2014
звернутися до адміністрації
uchni.com.ua
Головна сторінка