Sztuczna inteligencja
Transkrypt
Sztuczna inteligencja
Sztuczna inteligencja Russell S.J., Norvig P., (1995) : Artificial Intelligence : A Modern Approach, Prentice Hall. Winston H.P., Horn, B.K.P. (1992): Artificial Intelligence, Addison-Wesley, 3rd Ed. Sieci neuronowe i algorytmy ewolucyjne Artificial Intelligence is … the study of the computations that make it possilible to perceive, reason, and act [P.Winston] - the engineering goal of AI is to solve real-world problems - the scientific goal : models of KR, theory of reasoning,... Systemy inteligentne : auto-adaptacja I. Wprowadzenie • zdolność poprawienia jakości swojego działania poprzez zdobywanie nowych doświadczeń • zdolność dobierania parametrów pracy w zależności od efektów • umiejętność rozwiązywania zadań • zdolność doskonalenia strategii uczenia się Jerzy KORCZAK email :[email protected] http://www.korczak-leliwa.pl http://citi-lab.pl http://kti.ue.wroc.pl 1 2 Od PERCEPTRONU do hybrydowych systemów inteligentnych Test inteligencji programu: czy jest to możliwe? A real-life Turing test: An interviewer (sitting in a separate room) asks a series of questions that are randomly directed to either a computer or a person. Based on the answers, the interviewer must distinguish which of the two has answered the question. If the interviewer is not able to distinguish between them, then the computer is intelligent. • Systemy auto-adaptacyjne Perceptron [Rosenblatt,1958], Adaline [Widrow, 1962] • Pierwszy program grajacy : Checkers [Samuel, 1963] • Systemy ekspert: DENDRAL, MYCIN, AQVAL [1970 -] • Reprezentacja wiedzy : frames [Minsky, 1975] • Multilayer-Perceptron, Kohonen Maps, ... [Rumelhart, 1985] • Sztuczna ewolucja [Holland, Goldberg, 1989] • Multi-strategy learning [Michalski, 1990] • KDD, data mining, intelligent agents [1995 -] • Web-semantics, [1998 -] • Inteligentne Roboty, «inteligentne domy», … • Robo sapiens, a-life, … Nagroda Loebnera ($100,000) … vs M. Minsky Szachy : “Deep Blue vs G.Kasparow 3.5 : 2.5” - 10120 możliwych gier - 200 M pozycji analizowanych na sekundę - “opening book & extended book” 3 4 Definicje (cd) Pojęcie sieci neuronowej “ ….A neural network is an interconnected assembly of simple processing elements, nodes, whose functionality is loosely based on the animal neuron. The processing ability of the network is stored in the inter-unit connection strengths, or weights, obtained by a process of adaptation to, or learning from, a set of training patterns.” — Gurney • “… systems that are deliberately constructed to make use of some of the organizational principles that are felt to be used in the human brain.” — Anderson • “... a neural network is a system composed of many simple processing elements operating in parallel whose function is determined by network structure, connection strengths, and the processing performed at computing elements or nodes.” — DARPA Neural Network Study (1988) … Sieć neuronowa (sztuczna sieć neuronowa) to ogólna nazwa struktur matematycznych i ich programowych lub sprzętowych modeli, realizujących obliczenia lub przetwarzanie sygnałów poprzez rzędy elementów, zwanych sztucznymi neuronami. 5 6 1 Korzenie prac badawczych Neurobiologia (ponad 100 lat temu): Jak zachowują się komórki nerwowe przy różnych stymulacjach elektrycznych? Czy istnieje poziom minimalny aktywacji neuronu? Biorąc pod uwagę fakt że komórka ma ograniczone wymiary, jak komórki komunikują się ze sobą? Psychologia: Jak uczą się (zapominają, rozpoznają, funkcjonują) zwierzęta wykonywania określonych zadań? Badania nad funkcjonowaniem neuronu (ów) ? Literatura Russell, S. J., Norvig, P., Artificial Intelligence: A Modern Approach (2nd ed.), Prentice Hall, 2003. Kosiński R., Sztuczne sieci neuronowe. Dynamika nieliniowa i chaos, 2007. Krose B., van der Smagt, An introduction to neural networks, 1996, http:/neuralnets.eu/materialy/ Rymarczyk M., (red), Decyzje, symulacje, sieci neuronowe, Tadeusiewicz R., Sieci neuronowe, Warszawa, 1993 http://winntbg.bg.agh.pl/skrypty/0001/ Arabas J., Wykłady z algorytmów ewolucyjnych, WNT 2001 Goldberg D.G., Algorytmy genetyczne i ich zastosowania, WNT 2003. Michalewicz Z., Algorytmy genetyczne + struktury danych = programy ewolucyjne, WNT 1999. http://www.neuralnets.eu/ http://ai.com/ McCulloch and Pitts – model matematyczny neuronu 8 Historia Model neuronu [McCulloch, Pitts, 1943] Proces uczenia [Hebb, 1949] PERCEPTRON [Rosenblatt,1958] zbieżność algorytmu adaptacji wag Ograniczenia PERCEPTRONu błędne stwierdzenie Minskyiego Paperta, [1969] Problem XOR Bolzmann Machine [Hopfield, 1982] Back propagation - MLP [Rumelhart, Parker, Le Cun, 1985] Self-Adapting Maps [Kohonen, 1980] sieci Hopfielda [Hopfield, 1982] … ICANN, IJCNN, ECANN, … Kilka uwag o sieciach neuronowych (1) • D.Hebb, in 1949, published The Organization of Behavior, in which he proposed that the effectiveness of a synapse between two neurons might be increased by correlated activity of those two neurons – used widely in artificial neural models today – there is also evidence of a biological mechanism in which neural activity modulates calcium ion flow, which, in turn, affects the physical structure of synapses • Farley and Clark, in 1954 on an early digital computer at MIT, modeled a network of randomly connected neurons employing a modified Hebb learning rule that was able to learn to discriminate between two input patterns 10 Kilka uwag o sieciach neuronowych (2) • F.Rosenblatt, in 1958, introduced the single-layer perceptron with adjustable synaptic weights and a threshold output neuron • Rosenblatt conceptualized perceptrons as consisting of • three layers, for sensory, association, and response, but the weights only varied on the synapses leading to the single threshold neuron • He also introduced an error-correction rule (the perceptron learning rule) to adapt the weights and proved that if two input classes were linearly separable • the algorithm would converge to a solution (the perceptron convergence algorithm) Kilka uwag o sieciach neuronowych (3) • P.Werbos, in his 1974 PhD thesis, first demonstrated a method for training multi-layer perceptrons, essentially identical to Backprop but the work was largely ignored • T.Kohonen [1982] introduced SOM algorithms for SelfOrganized Maps, that continue to be explored and extended today • D.Parker [1982] published an algorithm similar to Backprop, which was ignored. • Y. LeCun [1985] published an algorithm similar to Backprop, which was again ignored 12 2 Kilka uwag o sieciach neuronowych(4) Historia (2) • D.Ackley, G.Hinton, and T.Sejnowski [1985] introduced the Boltzmann machine (the first successful realization of a multilayered neural network) Diwersyfikacja badań w latach 90. Machine learning: mathematical rigor, Bayesian methods, infomation theory, support vector machines (now state of the art!), ... • D.Rumelhart, G.Hinton, and C.Williams [1986] introduced Backprop, the first widely recognized learning algorithm for multilayer perceptrons or neural networks Computational neurosciences: workings of most subsystems of the brain are understood at some level; research ranges from low-level compartmental models of individual neurons to large-scale brain models • T. Sejnowski and C. Rosenberg [1986] introduced NETtalk, a text-to-speech neural network system trained using Backprop. 13 Przykłady - Autentyfikacja biometryczna Twarz Normalisation Apprentissage et + Codage Reconnaissance Détection des yeux Moment Vert Bleu Hue Saturation IntenJezeli té Filtre Trouver Trouver Inondation + de base Y X Convolution Extraction Decyzja Raw Feature Glos Fréquence Transformation de l’ondelite Normalisation Apprentissage et + Codage Reconnaissance Normalised Feature w1 Przyjac Odrzucic Baza danych Badge Effacer les Jezelilences Réseau des neurones Face Module: Ekstrakcja cech charakterystycznych Video Acquisition Face Detection Face Feature Localization Feature Extraction Feature Normalisation … w2 C0 C1 C2 C3 C4 C5 C6 C7 C9 C10 C11 C12 C13 C14 Temps C15 Réseau des neurones 15 16 System IBE-AT: technologia agentowa Interpretacja obrazów satelitarnych Jeśli to 17 18 3 Alvinn Sieci neuronowe: cel i projektowanie Wiedza o zadaniu do nauczenia podana jest w postaci zbioru przykładów, zwanym zbiorem uczącym (training examples). Specyfikacja sieci neuronowej określa: • architekturę: zbiór neuronów i połączeń międy nimi. Każde połaczenie ma określona wagę (weight), •model neuronu: informacja o procesie obliczeniowym w neuronie, • algorytm uczacy (learning algorithm): stosowany do nauczenia sieci (poprzez modyfikacje wag połączeń). Autonomous driving at 70 mph on a public highway Camera image 30 outputs for steering 4 hidden units 30x32 weights into one out of four hidden unit 30x32 pixels as inputs Cel: generalizacja przykładów tak aby sieć poprawnie rozpoznawała (rozwiązywała, klasyfikowała ) nowe przykłady. Mózg vs komputer Numbers Niektóre zastosowania NN w zarządzaniu Von Neumann computer (a.d. 2005) Human brain # elements 1010 - 1012 neurons 107 - 108 transistors # connections / element 104 10 switching frequency 103 Hz 109 - 1010 Hz energy / operation 10-16 Joule 10-6 Joule power consumption 10 Watt 100 - 500 Watt reliability of elements low reasonable reliability of system high reasonable • • • • • • • • • Modelowanie procesów decyzyjnych Wspomaganie decyzji menedżerskich Diagnostyka ekonomiczna przedsiębiorstw Planowanie i optymalizacja wielokryterialna Prognozowanie decyzji kupna-sprzedaży Ocena ryzyka, kredyty Optymalizacja portfela akcji Monitorowanie, systemy zabezpieczeń, identyfikacja Wyszukiwanie informacji, e-intelligence 21 Wprowadzenie do metod ewolucyjnych Metody sztucznej ewolucji 22 Algorytmy genetyczne Programowanie genetyczne Systemy klasyfikatorow Strategie ewolucyjne Metody heurystyczne (ang. hill climbing) Niech będzie dana funkcja f(x,y) do maksymalizacji oraz operator R ktory n-1 n-1 n n «przemieszcza» punkt (x ,y ) do (x ,y ) w ten sposob ze n n n-1 n-1 f(x ,y ) > f(x ,y ) Podstawa symulacji : Ewolucja populacji rozwiązan poprzez procesy selekcji, krzyzowania, mutacji i reprodukcji Dwie klasy operatorów : 1) korzystający jawnie z gradientu funkcji f n-1 n-1 2) korzystający tylko z oceny funkcji f w otoczeniu punktu (x ,y ) Ch. DARWIN « On the Origin of Species by Means of Natural Selection », 1859 Metody ewolucyjne (ang. evolution-based methods) « surivival of the fittest » J.Korczak, ULP 23 J.Korczak, ULP 24 4 Proces ewolucji – populacja początkowa J.Korczak, ULP Proces ewolucji – populacja końcowa 25 Maksymalizacja funkcji J.Korczak, ULP 26 Projekt iBE-AT Expert Discovery and Database Connections each 5 sec Time series provider Consulting and simulations Time series aggregation each 1 min Oracle iAS server Database Quotes Experts Clients Supervisor J.Korczak, ULP 27 Internet Bourse-Experts - Agent Technology Expert Generator J.Korczak, ULP 28 Podsumowanie • Algorytmy ewolucyjne (AE) optymalizuja zagadnienia przy zmiennych ciaglych lub dyskretnych, przy czym liczba zmiennych moze byc duza • AE nie wymagaja informacji o pochodnych • AE maja zastosowanie przy zlozonych przestrzeniach funkcji kosztu • Adaptacyjność i modularność • ‘Robustness’ • Latwość implementacji • Nie jest konieczna dogłebna znajomość działania modelu • Latwość hybrydyzacji (sieci neuronowe, heurystyki) • Latwość implementacji rownoległej algorytmu J.Korczak, ULP 29 J.Korczak, ULP 30 5
Podobne dokumenty
SIwF-4-Sieci neuronowe
• “… systems that are deliberately constructed to make use of some of the organizational principles that are felt to be used in the human brain.” — Anderson • “... a neural network is a system comp...
Bardziej szczegółowo