Розділ нейромережі як інтелектуальний елемент інформаційної системи




Скачати 367.81 Kb.
НазваРозділ нейромережі як інтелектуальний елемент інформаційної системи
Сторінка6/10
Дата конвертації01.03.2013
Розмір367.81 Kb.
ТипДокументы
uchni.com.ua > Інформатика > Документы
1   2   3   4   5   6   7   8   9   10
^

Стохастичні машини


Машина Больцмана

Машина Больцмана (Boltzmann machine) (рисунок 2.18) являє собою стохастичну машину, компонентами якої є стохастичні нейрони [30]. Стохастичний нейрон перебуває в одному з двох можливих імовірнісних станів. Цим двом станам формально можна присвоїти значення +1 (що відповідає включеному стану) і -1 (що відповідає вимкненому стану). Аналогічно, можна прийняти значеннями цих станів +1 і 0 відповідно.


Рисунок 2. – Архітектурній граф машині Больцмана

Задачі

- доповнення образів (pattern completition)

Навчання

Навчання Больцмана

^ Сигмоїдальні мережі довіри

Сигмоїдальні мережі довіри (sigmoid belief network) або логістичні мережі довіри (logistic belief net) були розроблені під час спроби [31] знайти стохастичну машину, яка була б здатна навчатися довільному розподілу ймовірності на множині двійкових векторів, але не мала б, на відміну від машини Больцмана, потреби в від’ємній фазі. Ця мета була досягнута заміною симетричних зв'язків в машині Больцмана прямими з'єднаннями, формуючими ациклічний граф. Говорячи більш точно, сигмоїдальні мережі довіри мають багатошарову архітектуру, що складається з двійкових стохастичних нейронів. Ациклічна природа цих машин полегшує здійснення ймовірнісних обчислень. Зокрема, ця мережа використовує сигмоїдальну функцію (рисунок 2.19), за аналогією з машиною Больцмана, для обчислення умовної ймовірності того, що нейрон буде активований у відповідь на своє власне індуковане локальне поле.



Рисунок 2. – Структурний граф сигмоїдальної мережі довіри

Навчання

Правило навчання сигмоїдальної мережі довіри.
^ Машина Гельмгольца

Машина Гельмгольца використовує дві абсолютно протилежні множини синаптичних зв'язків для випадку, коли двошарова мережа складається з двійкових стохастичних нейронів [32]. Прямі зв'язки, показані на малюнку суцільними лініями, складають модель розпізнавання (recognition model). Метою цієї моделі є виробництво логічних висновків (infer) про розподіл ймовірності, виходячи з усіх представлених прикладів вхідних векторів. Зворотні зв'язки, показані на рисунку 2.20 пунктирними лініями, складають породжуючу модель (generative model). Ця модель призначена для апроксимації вихідних вхідних векторів на основі представлень, створених прихованими шарами мережі, шляхом самоорганізації. Обидві ці моделі працюють на основі методу прямого поширення, не мають зворотніх зв'язків і взаємодіють один з одним за допомогою процедури навчання.

Навчання алгоритмом засипання-пробудження (wake-sleep algorithm).


Рисунок 2. – Архітектурний граф машини Гельмгольца, що складається з взаємозв’язаних нейронів зі зв’язками розпізнавання (суцільні лінії) та породжуючими зв’язками (пунктирні лінії)

^ Детермінована машина Больцмана

Час навчання машини Больцмана експоненційно залежить від кількості нейронів, так як правило навчання Больцмана вимагає обчислення кореляцій між всіма парами нейронів мережі. Таким чином, навчання Больцмана вимагає експоненційного часу.

Було запропоновано використання детермінованого правила навчання Больцмана [33].

Детермінована машина Больцмана показала підвищення швидкості в порівнянні зі стандартною машиною Больцмана на один-два порядки. Однак при її практичному використанні слід врахувати наступне.

  1. Детерміноване правило навчання Больцмана працює тільки з учителем. Це означає, що окремим видимим нейронам присвоюється роль вихідних нейронів. Навчання без учителя не працює ні в одному режимі середнього поля, так як середнє значення станів є дуже малопотужним представленням вільного розподілу ймовірності.

  2. При навчанні з вчителем використання детермінованого правила навчання Больцмана обмежено мережами лише з одним прихованим шаром. Теоретично відсутні підстави не поміщати в такі мережі кілька прихованих шарів. Однак на практиці використання декількох прихованих шарів призводить до тієї ж проблеми, яка для навчання без вчителя була згадана в п.1.

^ Детерміновані сигмоїдальнімережі довіри

Детермінована форма сигмоїдальних мереж довіри була отримана за допомогою іншої форми теорії середнього поля, в якій сувора форма нижньої межі функції логарифмічного правдоподібності була виведена з використанням нерівності Йєнсена. Більш того, ця теорія бере на озброєння принципові достоїнства трактованої підструктури, виводячи цей клас нейронних мереж в розряд важливого доповнення до мереж довіри.
1   2   3   4   5   6   7   8   9   10

Схожі:

Розділ нейромережі як інтелектуальний елемент інформаційної системи iconРозділ нейромережі як інтелектуальний елемент інформаційної системи
Структура інформаційних систем з інтелектуальною підтримкою прийняття рішень
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconРозділ інформаційні системи з інтелектуальною підтримкою принять рішень
Структуру інформаційної системи становить сукупність окремих її частин, які називаються підсистемами
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconДосвід розробки земельно-інформаційної системи м. Чугуєва Ткаченко В. П
Гіс, програмні та архітектурні особливості, а також інтерфейсний та інформаційний простір системи. Наприкінці статті наведено новизну...
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconРозділ методологія побудови інформаційної системи з інтелектуальною...

Розділ нейромережі як інтелектуальний елемент інформаційної системи icon1 Проектування інформаційної системи Проектування інформаційної системи...
На цій стадії розробляють проектну документацію — технічний, робочий або техноробочий проекти
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconРозділ методологія побудови інформаційної системи з інтелектуальною підтримкою прийняття рішень
Структурно-параметричний синтез включає в себе два основних етапи: структурну ідентифікацію та параметричну ідентифікацію
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconТема Визначення бази даних як автоматизованої системи
...
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconКонтекстний розвиток інформаційної компетентності педагогів професійної...
Анотація. Автори повідомляють про технологію контекстного розвитку інформаційної компетентності педагогічних працівників системи...
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconПлан Вступ 1 Становлення банківської системи України 2 Національний...
Сучасною тенденцією розвитку банківського сектору є поступове злиття банківського та промислового капіталу, що створює передумови...
Розділ нейромережі як інтелектуальний елемент інформаційної системи iconОсобливості створення географічної інформаційної системи для екологічного моніторингу

Додайте кнопку на своєму сайті:
Школьные материалы


База даних захищена авторським правом © 2014
звернутися до адміністрації
uchni.com.ua
Головна сторінка