Uczenie maszynowe(1).pdf

(371 KB) Pobierz
Przygotowane na podstawie
Wybrane zagadnienia
uczenia
maszynowego
Zastosowania Informatyki w
Informatyce – W2
Krzysztof Krawiec
1.
2.
3.
T. Mitchell,
Machine Learning
S.J. Russel, P. Norvig,
Artificial
Intelligence – A modern approach
P. Cichosz,
Systemy uczące się
Plan
1.
Definicja zadania uczenia
Uczenie = automatyczne modyfikowanie
(się) systemu uczącego w celu
polepszania skuteczności
Realizowane przez pozyskiwanie wiedzy z
danych uczących
Wprowadzenie do UM
1.
2.
paradygmat uczenia sie z przykladow
problemy klasyfikacji i regresji
2.
3.
4.
Klasyfikator minimalnoodleglosciowy
Drzewa decyzyjne
Rozwinięcia
Pojęcia podstawowe
Dane uczące (training
data):
dane z których system uczący się uczy się,
pozyskując wiedzę
Typowy ‘przypadek uŜycia’
systemu uczącego się
Proces ‘odpytywania’
Nowa dana
(przykład)
Proces uczenia
Dane uczące
Algorytm uczący się
Nauczony system
(np. klasyfikator)
System uczący się (learning/induction
algorithm)
algorytm pozyskujący wiedzę z danych uczących
Klasyfikator (classifier)
ostateczna reprezentacja wiedzy wygenerowana
przez system uczący się
Decyzja systemu
1
W ramach tego wykładu
ograniczymy się do:
Uczenie się z przykładów (learning
from
examples):
dane uczące to przykłady
prawidłowych decyzji podjętych w przeszłości
(Uczenie się z innych danych niŜ przykłady moŜliwe,
ale rzadkie w praktyce)
Problem gry w tenisa/golfa
Cel: Mając dane o warunkach pogodowych,
podejmij decyzję czy grać w tenisa czy teŜ nie
MoŜliwe sposoby osiągnięcia celu:
1.
2.
Reprezentacja przykładów w postaci par atrybut-
wartość (attribute-value)
(Inne reprezentacje moŜliwe, np. teksty)
Ręczna konstrukcja ‘algorytmu’ (reguły decyzyjnej)
=> system ekspercki (poza zakresem tego wykładu)
Automatyczne pozyskanie wiedzy z danych =>
uczenie maszynowe
Problem gry w tenisa
Analogie w terminologii
statystycznej
Przykłady – obserwacje
Atrybuty – zmienne niezaleŜne
Zmienna decyzyjna – zmienna zaleŜna
Skale atrybutów
Nominalna
szczególny przypadek: atrybut binarny
Odmiany zadania uczenia się z
przykładów
Atrybut decyzyjny (zmienna zaleŜna)
dyskretny -> klasyfikacja (classification)
Atrybut decyzyjny ciągły -> regresja
(regression)
W ramach przedmiotu skupimy się na
klasyfikacji
Porządkowa
Metryczne:
Przedziałowa
Ilorazowa
2
Motywacje
Brak wiedzy o badanym zjawisku
Np. robot poruszający się w nieznanym
wcześniej
środowisku
Reprezentacje wiedzy
... stosowane w systemach uczących się:
Wybrane przykłady uczące
Drzewa decyzyjne
Reguły decyzyjne
Sieci neuronowe
Rozkłady prawdopodobieństw
…
‘Lenistwo’ projektanta systemu
Czasami łatwiej nauczyć system niŜ
konstruować go ręcznie od zera
DuŜa liczba atrybutów
DuŜa liczba przykładów
Cele uczenia
1.
Który system/algorytm uczący się
jest lepszy?
Miary skuteczności systemów uczących się:
Trafność/błąd klasyfikowania: procent
poprawnie/niepoprawnie zaklasyfikowanych
przykładów
Czułość/specyficzność
Mniej istotne:
czasochłonność procesu uczenia
czasochłonność procesu testowania
2.
Skonstruuj moŜliwie prostą hipotezę
moŜliwie dobrze opisującą (zgodną z)
przykładami uczącymi
Skonstruuj model wyjaśniający
obserwowane zjawisko
PoŜądane właściwości
PoŜądane właściwości systemów uczących się:
Wysoka trafność klasyfikowania
w tym na nowych przykładach, czyli => zdolność
uogólniania
Reprezentacja graficzna
Chwilowo załóŜmy
Ŝe:
1.
Atrybuty Temperature i Humidity są
ciągłe
2.
Inne atrybuty są nieistotne
Odporność na szumy (na atr. warunkowych i
decyzyjnym)
Szybkość działania:
Szybkość uczenia
Szybkość odpytywania
3
Reprezentacja graficzna
Przykłady negatywne (No)
Przykłady pozytywne (Yes)
Humidity
Klasyfikatory
minimalnoodległościo
we
Temp
Idea
Klasyfikuj nowe przykłady na podstawie ich
podobieństwa do przykładów uczących
Uczenie: Zapamiętaj
wszystkie
przykłady uczące
Odpytywanie: Dla nowego przykładu X:
Znajdź przykład uczący Y najbardziej
podobny
do X
Zaklasyfikuj X do tej samej klasy do której naleŜy Y
Funkcja podobieństwa
Zazwyczaj: podobieństwo = 1/odległość
(np. odległość Euklidesowa)
Im mniejsza odległość, tym większe
podobieństwo
Algorytm najbliŜszego sąsiada (nearest
neighbour, NN)
Działanie klasyfikatora NN
Przykłady negatywne (No)
Przykłady pozytywne (Yes)
Humidity
Działanie klasyfikatora NN
Przykłady negatywne (No)
Przykłady pozytywne (Yes)
Humidity
Temp
Temp
4
Cechy klasyfikatora NN
Zalety:
Prostota
Bardzo szybki proces uczenia
Rozszerzenia NN
kNN: wykorzystaj k>1 najbliŜszych
sąsiadów do zaklasyfikowania nowego
przykładu
k najbliŜszych sąsiadów przeprowadza
głosowanie (większościowe) nad
przynaleŜnością nowego przykładu
Wady:
DuŜe zapotrzebowanie na pamięć
Powolne odpytywanie
Wiedza = przykłady uczące (brak reprezentacji
wiedzy)
Wszystkie atrybuty są tak samo istotne
Znaczna podatność na przeuczenie
Klasyfikator kNN, k=5
Przykłady negatywne (No)
Przykłady pozytywne (Yes)
Humidity
Inne rozszerzenia
Specjalne definicje odległości dla
atrybutów dyskretnych/nominalnych
Metody zapamiętujące tylko
niektóre
przykłady uczące (instance-based
learning,
IBL)
Krytyczne jest zapamiętanie przykładów
uczących leŜących na granicach klas
decyzyjnych
Temp
Idea IBL2
Przykłady negatywne (No)
Przykłady pozytywne (Yes)
Humidity
‘Niepotrzebne’ przykłady
uczące
Drzewa decyzyjne
Temp
5

Plik z chomika:

Inne pliki z tego folderu:

Inne foldery tego chomika:

Zgłoś jeśli naruszono regulamin