SZAU_79-82.pdf

(64 KB) Pobierz
79
3.7. Rekurencyjne sieci neuronowe
W ogólności, istnieją dwie metody wprowadzenia dynamiki do sieci neuronowych, a
mianowicie zastosowanie zewnętrznej pamięci w postaci linii opóźniającej lub te u ycie
sprzę eń zwrotnych. Najprostszym sposobem, zastosowanym w modelu neuronowym typu
NNOE przedstawionym na rys. 3.7, jest podanie na wejścia klasycznej sieci dwuwarstwowej
sygnału wyjściowego w poprzednich chwilach dyskretnych. Model mo na podzielić na dwie
części: nieliniowy statyczny aproksymator (sieć neuronowa) i zewnętrzną pamięć. Dlatego te
omawiany model jest często nazywany siecią neuronową z liniami opóźniającymi. Podejście
takie jest najczęściej stosowane w praktyce, umo liwia skuteczne modelowanie bardzo wielu
nieliniowych procesów dynamicznych. Warto jednak pamiętać, e model taki jest znacznie
mniej ogólny ni model w przestrzeni stanu (3.53). Na przykład, model typ NNOE nie nadaje
się do procesów, w których występują nieliniowości niejednoznaczne, np. histereza lub luz.
Drugą metodą umo liwiającą wprowadzenie dynamiki do sieci neuronowych jest
wprowadzenie do nich sprzę eń zwrotnych. Ze względu na rodzaj sprzę eń zwrotnych mo na
wyszczególnić dwie klasy sieci rekurencyjnych:
Sieci globalnie rekurencyjne, w których sprzę enia występują między neuronami tej samej
warstwy lub między neuronami ró nych warstw.
Sieci lokalnie rekurencyjne, w których sprzę enia zwrotne znajdują się wyłącznie
wewnątrz pojedynczych neuronów. Ogólna struktura sieci jest natomiast taka sama jak
w przypadku klasycznej sieci perceptronowej.
Sieć RTRN (ang. Real Time Recurrent Network) słu y do przetwarzania sygnałów w
czasie rzeczywistym. Jej struktura została przedstawiona na rys. 3.25. Zawiera ona
n
u
wejść
zewnętrznych, na które podawane są sygnały
u
1
(
k
−
1),
u
2
(
k
−
1),
K
,
u
n
u
(
k
−
1) . Sie
ć
ma tylko
jedn
ą
warstw
ę
, liczba neuronów wynosi
K.
Ka dy z nich obj
ę
ty jest sprz
ę
eniem zwrotnym w
taki sposób, e sygnały wyj
ś
ciowe opó
ź
nione o jeden takt podawane s
ą
na wej
ś
cie sieci.
W
ś
ród
K
neuronów tylko
n
y
stanowi wyj
ś
cie sieci. Pozostałe
K
−
n
y
neuronów to neurony
ukryte, niedost
ę
pne dla sygnałów zewn
ę
trznych.
Nieco inn
ą
struktur
ę
ma rekurencyjna sie
ć
neuronowa Elmana pokazana na rys. 3.26. Jest
to sie
ć
cz
ęś
ciowo rekurencyjna o strukturze dwuwarstwowej. Sie
ć
zawiera
n
u
wej
ść
zewn
ę
trznych, liczba neuronów ukrytych wynosi
K.
W odró nieniu od sieci RTRN,
sprz
ę
enie dotyczy wył
ą
cznie warstwy ukrytej. Wyj
ś
cie sieci stanowi
ą
neurony poł
ą
czone
tylko z warstw
ą
ukryt
ą
, podobnie jak w sieciach jednokierunkowych. Przepływ sygnałów
odbywa si
ę
tylko w jedn
ą
stron
ę
, tzn. od warstwy ukrytej do warstwy wyj
ś
ciowej. Ró nica
wyst
ę
puje w warstwie ukrytej, poniewa opó
ź
nione sygnały wyj
ś
ciowe neuronów ukrytych s
ą
podawane na wej
ś
cia sieci.
Główn
ą
zalet
ą
rekurencyjnych sieci neuronowych typu RTRN i Elmana jest mo liwo
ść
aproksymacji bardzo szerokiej klasy procesów dynamicznych, mog
ą
by
ć
one te zastosowane
do opisu szeregów czasowych. Do uczenia sieci stosuje si
ę
zazwyczaj algorytmy gradientowe.
W porównaniu z algorytmami uczenia klasycznej sieci jednokierunkowej ich zło ono
ść
obliczeniowa jest wi
ę
ksza, poniewa obliczaj
ą
c gradient nale y uwzgl
ę
dni
ć
rekurencj
ę
.
80
1
u
1
(
k
−
1)
M
u
n
u
(
k
−
1)
q
−
1
M
M
ϕ
y
1
(
k
)
q
−
1
ϕ
y
n
y
(
k
)
q
−
1
M
M
ϕ
q
−
1
ϕ
Rys. 3.25. Struktura sieci rekurencyjnej RTRN
1
u
1
(
k
−
1)
M
u
n
u
(
k
−
1)
1
q
−
1
ϕ
+
y
1
(
k
)
M
q
−
1
M
ϕ
M
+
y
n
y
(
k
)
q
−
1
ϕ
Rys. 3.26. Struktura sieci rekurencyjnej Elmana
81
Nieco inn
ą
struktur
ę
ma sie
ć
neuronowa RMLP (ang. Recurrent Multi Layer Perceptron)
pokazana na rys. 3.27. Omawiana sie
ć
jest rozszerzeniem klasycznej sieci jednokierunkowej o
dwóch warstwach ukrytych. Istniej
ą
w niej dodatkowe poł
ą
czenia skro
ś
ne mi
ę
dzy neuronami
danej warstwy oraz poł
ą
czenia rekurencyjne, natomiast poszczególne warstwy s
ą
poł
ą
czone
jednokierunkowo. Sie
ć
nadaje si
ę
do aproksymacji wielu nieliniowych procesów
dynamicznych. Istotn
ą
wad
ą
sieci jest jednak znaczna zło ono
ść
struktury, co oznacza, e
proces uczenia jest zazwyczaj zło ony obliczeniowo.
u
1
(
k
−
1)
ϕ
ϕ
+
y
1
(
k
)
u
2
(
k
−
1)
ϕ
M
M
ϕ
M
+
M
y
n
y
(
k
)
u
n
u
(
k
−
1)
ϕ
ϕ
Rys. 3.27. Struktura sieci rekurencyjnej RMLP (dla przejrzysto
ś
ci nie zaznaczono sygnałów
polaryzacji)
W stosunku do rekurencyjnych sieci neuronowych omówionych do tej pory interesuj
ą
c
ą
alternatyw
ę
stanowi
ą
sieci lokalnie rekurencyjne globalnie jednokierunkowe (ang. Locally
Recurrent Globally Feedforward, w skrócie LRGF) [30]. Sieci LRGF maj
ą
struktur
ę
podobn
ą
do jednokierunkowych sieci perceptronowych, poniewa składaj
ą
si
ę
z kilku warstw
neuronów, natomiast wszystkie sygnały przepływaj
ą
przez sie
ć
tylko w jednym kierunku – od
wej
ść
, przez warstwy ukryte, do wej
ść
. W przeciwie
ń
stwie do np. rekurencyjnych sieci
RTRN lub Elmana, w sieci LRGF nie wyst
ę
puj
ą
adne sprz
ę
enia zwrotne mi
ę
dzy
neuronami. Wła
ś
ciwo
ś
ci dynamiczne sieci uzyskuje si
ę
w wyniku zastosowania neuronów
dynamicznych, które zawieraj
ą
wewn
ę
trzne sprz
ę
enia zwrotne. Istnieje wiele typów
neuronów dynamicznych, najpopularniejsze z nich to neurony z filtrem o Niesko
ń
czonej
Odpowiedzi Impulsowej (NOI) i neurony z filtrem o Sko
ń
czonej Odpowiedzi Impulsowej
(SOI). Struktur
ę
obu neuronów pokazano na rys. 3.28 i rys. 3.29.
A
i
x
i
(
k
+1)
x
i
(
k
)
w
1
+
q
−
1
b
+
ϕ
(⋅)
A
i
Rys. 3.28. Schemat blokowy neuronu z filtrem NOI
82
x
i
(k+1)
w
1
+
x
i
(k)
q
−
1
c
A
Rys. 3.29. Schemat blokowy neuronu z filtrem SOI
Neurony z filtrem NOI oraz z filtrem SOI mog
ą
posłu y
ć
do budowy sieci
jednowarstwowych oraz dwuwarstwowych. Mo na udowodni
ć
, e sieci dwuwarstwowe, przy
odpowiedniej liczbie neuronów z filtrem NOI, s
ą
w stanie odtworzy
ć
trajektori
ę
stanu
wygenerowan
ą
przez dowoln
ą
funkcj
ę
klasy C
1
(funkcja i jej pierwsze pochodne s
ą
ci
ą
głe).
Przedstawiona na rys. 3.30 dwuwarstwowa sie
ć
LRGF mo e by
ć
wi
ę
c z powodzeniem
zastosowane do modelowania bardzo szerokiej klasy procesów dynamicznych.
Istnieje mo liwo
ść
uproszczenia dwuwarstwowej sieci LRGF z filtrami NOI. W
przedstawionej na rys. 3.31 sieci kaskadowej stosuje si
ę
w drugiej warstwie prostsze neurony
SOI oraz wprowadza si
ę
dodatkowe poł
ą
czenia mi
ę
dzy wej
ś
ciami modelu a warstw
ą
ukryt
ą
neuronów z filtrami SOI. Sie
ć
kaskadowa równie jest w stanie odtworzy
ć
dowoln
ą
trajektori
ę
stanu, natomiast jej struktura i uczenie jest prostsze ni pełnej sieci LRGF.
NOI
NOI
+
NOI
NOI
u
1
(
k
−
1)
M
y
1
(
k
)
M
u
n
u
(
k
−
1)
M
NOI
M
+
NOI
y
n
y
(
k
)
Rys. 3.30. Struktura sieci lokalnie rekurencyjnej
NOI
M
NOI
SOI
+
u
1
(
k
−
1)
M
y
1
(
k
)
M
SOI
u
n
u
(
k
−
1)
M
+
SOI
y
n
y
(
k
)
Rys. 3.31. Struktura kaskadowej sieci lokalnie rekurencyjnej

Plik z chomika:

Inne pliki z tego folderu:

Inne foldery tego chomika:

Zgłoś jeśli naruszono regulamin