Systemy ekspertowe Część druga
Od bazy danych do bazy wiedzy Autor
Roman Simiński
Krótkie wprowadzenie do zagadnień eksploracji danych
Kontakt
[email protected] www.us.edu.pl/~siminski
Niniejsze opracowanie zawiera skrót treści wykładu, lektura tych materiałów nie zastąpi uważnego w nim uczestnictwa. Opracowanie to jest chronione prawem autorskim. Wykorzystywanie jakiegokolwiek fragmentu w celach innych niż nauka własna jest nielegalne. Dystrybuowanie tego opracowania lub jakiejkolwiek jego części oraz wykorzystywanie zarobkowe bez zgody autora jest zabronione.
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Korporacyjne bazy danych końca XX i początku XXI wieku Fakty
Rozmiar baz danych współczesnych systemów informatycznych osiąga wielkości rzędu terabajtów. Średniej wielkości hipermarket rejestruje dziennie sprzedaż przynajmniej kilkunastu tysięcy produktów. Puchną bazy danych systemów e-commerce, dostępnych na bieżąco, 24 godziny na dobę – wzrasta liczba ich klientów oraz liczba zawieranych transakcji.
Aktualne możliwości analizowania i rozumienia dużych zbiorów danych są dużo mniejsze od możliwości ich zbierania i przechowywania.
Copyright © Roman Simiński
Strona : 2
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Korporacyjne bazy danych końca XX i początku XXI wieku Jednocześnie
Konkurencja pomiędzy firmami zaostrza się. Coraz trudniej znaleźć nowe obszary ekspansji, nisze rynkowe. Coraz trudniej utrzymać dotychczasowych klientów. Bazy danych zawierają ogromne ilości użytecznych informacji, pozwalających firmom utrzymać lub wzmocnić ich pozycje rynkową.
Jak wydobyć użyteczne informacje z dużych baz danych?
Copyright © Roman Simiński
Strona : 3
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Korporacyjne bazy danych końca XX i początku XXI wieku Korporacyjne bazy danych kopalnią użytecznych informacji
Użyteczne informacje są wyrażone niejawnie, są ukryte w danych, należy je odkryć, wydobyć. Proces ten nazywa się potocznie eksploracją danych. Świadomość istnienia ukrytego potencjału informacyjnego baz danych jest znana od lat. Jednak dopiero w ciągu ostatnich kilkunastu lat intensywnie prowadzi się badania nad odkrywaniem metod eksploracji danych oraz wykorzystuje się te metody w praktyce.
Copyright © Roman Simiński
Strona : 4
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Korporacyjne bazy danych kopalnią użytecznych informacji Jakiego rodzaju informacje można wydobyć z danych?
Wiedza
Uogólnione informacje opisujące związki, relacje, prawidłowości występujące w danych. Np. zależność pomiędzy średnią sprzedażą w danym asortymencie a czasem przechowywania surowców na magazynie.
Informacje
Dane zagregowane, wyznaczone (wyliczone) na podstawie zawartości baz danych – np. średnia sprzedaż w danym asortymencie towaru w zadanym okresie czasu.
Dane
Dane odczytywane bezpośrednio z baz danych – np. cena zakupu, stan magazynowy, dane kontrahenta, itp.
W ekonomii taki schemat nazywa się Business Intelligence Copyright © Roman Simiński
Strona : 5
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Korporacyjne bazy danych kopalnią użytecznych informacji Z biznesowego punktu widzenia wiedza ma wspomagać podejmowanie decyzji
Decyzje Wiedza Informacje Dane
Copyright © Roman Simiński
Strona : 6
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Korporacyjne bazy danych kopalnią użytecznych informacji Informacje a systemy je wykorzystujące
SWD SIK OLAP Hurtownie danych Systemy ewidencyjne Operacyjne bazy danych
Copyright © Roman Simiński
SWD – Systemy Wspomagania Decyzji, ang. DSS – Decision Support Systems. SIK – Systemy Informowania Kierownictwa, ang. EIS, MIS – Management Information Systems. OLAP – Przetwarzanie Analityczne Online, od ang. Online Analytical Processing,
Hurtownie danych, magazyny Danych od ang. Data Warehouses.
Strona : 7
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Korporacyjne bazy danych kopalnią użytecznych informacji Problemy na styku OLAP a wspomaganie decyzji
Systemy OLAP działają zwykle obliczając zagregowane wielkości na podstawie danych pochodzących z magazynu danych. Systemu OLAP pozwalają na analizowanie tego co się wydarzyło na podstawie danych o przeszłości. Działanie OLAP jest sterowane hipotezą sformułowaną przez użytkownika (ang. query-driven eksploration), system OLAP jest pasywny. Używając systemów OLAP można wchodzić w głąb, dochodząc do danych bardziej szczegółowych, ale użytkownik nadal pozostaje odpowiedzialny za identyfikowanie interesujących trendów czy powiązań. Koncepcje postrzegania danych jako „wielowymiarowych kostek” powoduje problemy w percepcji przeprowadzanych analiz. Do skutecznego podejmowania decyzji potrzebna jest wiedza o prawidłowościach rządzących daną dziedziną. Decydenci oczekują, iż systemy informatyczne prawidłowości te odkryją, potwierdzając to, co już wiemy lub dostarczą nam nowej wiedzy. Copyright © Roman Simiński
Strona : 8
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Eksploracja danych jako rozwijająca się dziedzina informatyki Koncepcja Data Mining – Eksploracja Danych
Istnieje wiele definicji koncepcji Eksploracji danych (Data Mining): Data mining is the analysis of (often large) observational data sets to find unsuspected relationships and to summarize the data in novel ways that are both understandable and useful to the data owner. David Hand, Heikki Mannila, and Padhraic Smyth, Principles of Data Mining, MIT Press, Cambridge, MA, 2001.
The non-trivial extraction of novel, implicit, and actionable knowledge from large datasets. Graham Williams, Markus Hegland and Stephen Roberts, A Data Mining Tutorial, The Second IASTED International Conference on Parallel and Distributed Computing and Networks, PDCN’98.
Copyright © Roman Simiński
Strona : 9
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Eksploracja danych jako rozwijająca się dziedzina informatyki Koncepcja Data Mining – Eksploracja Danych, cd.
Inne definicje koncepcji Eksploracji danych (Data Mining): Data mining is an interdisciplinary field bringing togther techniques from machine learning, pattern recognition, statistics, databases, and visualization to address the issue of information extraction from large data bases. Peter Cabena, Pablo Hadjinian, Rolf Stadler, JaapVerhees, and Alessandro Zanasi, Discovering Data Mining: From Concept to Implementation, Prentice Hall, Upper Saddle River, NJ, 1998.
Technology to enable data exploration, data analysis, and data visualisation of very large databases at a high level of abstraction, without a specific hypothesis in mind. Graham Williams, Markus Hegland and Stephen Roberts, A Data Mining Tutorial, The Second IASTED International Conference on Parallel and Distributed Computing and Networks, PDCN’98.
Copyright © Roman Simiński
Strona : 10
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Eksploracja danych jako rozwijająca się dziedzina informatyki Koncepcja Data Mining – Eksploracja Danych, cd.
Dla potrzeb tych zajęć przyjmijmy: Data mining – eksploracja danych – jest dziedziną informatyki zajmującą się odkrywaniem wiedzy zapisanej niejawnie w dużych zbiorach danych oraz przedstawieniem jej w zrozumiały dla użytkownika sposób. Pod pojęciem wiedzy rozumieć będziemy relacje, powiązania, związki i wzorce odkrywane przez algorytmy eksploracji danych w sposób autonomiczny.
Dane
System eksploracji danych
Wiedza
Eksploracja danych (DM – Data Mining) określana jest również pojęciem odkrywania wiedzy w bazach danych (KDD – Knowledge Discovery in Databases) .
Copyright © Roman Simiński
Strona : 11
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Eksploracja danych jako rozwijająca się dziedzina informatyki Różne definicje eksploracji danych – różne metody jej realizacji
Odkrywanie wiedzy w bazach danych realizowane jest najróżniejszymi metodami: Drzewa decyzyjne, Sztuczne sieci neuronowe, Analiza skupień, Techniki maszynowego uczenia, Metody statystyczne, ...
Copyright © Roman Simiński
Strona : 12
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Eksploracja danych jako rozwijająca się dziedzina informatyki Różne metody realizacji – wspólny cel
Eksploracja danych Baza danych Dane o sprzedaży Dane o klientach Dane o pacjentach itp.,itd.
Relacje Związki Powiązania Wzorce Sekwencje
Jak zapisać wiedzę ?
Baza wiedzy
Copyright © Roman Simiński
Strona : 13
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Jak zapisać wiedzę odkrywaną w bazach danych? Inżynieria wiedzy dostarcza różnych metod reprezentacji wiedzy
Drzewa decyzyjne, Tablice decyzyjne, Reguły, Ramy, Sieci semantyczne,
Co wybrać?
Scenariusze, Sieci Bayesa, ...
Copyright © Roman Simiński
Strona : 14
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Regułowa reprezentacja wiedzy Reguły są intuicyjnie najprostszą metodą reprezentacji wiedzy
Istnieje wiele formatów zapisu reguł. Koncepcja jest jednak zwykle ta sama:
Przesłanki
Konkluzje
„Działanie” reguły odbywa się według wywodzącego się z logiki schematu modus ponens:
p→q p q
Copyright © Roman Simiński
Jeżeli p implikuje logicznie q oraz p jest prawdziwe to q jest również prawdziwe.
Strona : 15
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Regułowa reprezentacja wiedzy Reguły można zapisywać w różny sposób
Z wykorzystaniem symbolu implikacji:
przesłanki → konkluzje W postaci zbliżonej do instrukcji warunkowej:
if przesłanki then konkluzje W postaci odwrotnie zapisanej instrukcji warunkowej:
konkluzje if przesłanki
Copyright © Roman Simiński
Strona : 16
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Regułowa reprezentacja wiedzy Jak zapisywać przesłanki i konkluzje?
Z wykorzystaniem zmiennych zdaniowych: p – procesor się przegrzewa q – sprawdź układ chłodzenia
p→q Z wykorzystaniem predykatów: P(x) – procesor komputera x się przegrzewa Q(x) – sprawdź układ chłodzenia komputera x
P(x) → Q(x) Z wykorzystaniem dwójek atrybut-wartość:
if stan_procesora = przegrzany then akcja_serwisowa = sprawdź_układ_chłodzenia Istnieją oczywiście inne formy zapisu literałów reguł. Copyright © Roman Simiński
Strona : 17
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Regułowa reprezentacja wiedzy Reguły mogą przyjmować bardziej złożoną postać:
W inżynierii wiedzy wykorzystuje się standaryzowane formaty reguł wywodzące się z logiki: Koniunkcyjna postać normalna
p1 ∧ p2 ∧ ... ∧ pn → q1 ∨ q2 ∨ ... ∨ qm Klauzula Horna
p1 ∧ p2 ∧ ... ∧ pn → q Najczęściej wykorzystuje się reguły posiadające postać klauzuli Horna Istnieje wiele innych, czasem bardzo „dziwnych” postaci reguł – obowiązujących głównie w obrębie określonych systemów narzędziowych.
Copyright © Roman Simiński
Strona : 18
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Jak odkrywać w danych wiedzę zapisaną w postaci reguł? Prosty przykład
Pracę pewnego urządzenia monitorują czujniki C1 i C2. W zależności od ich wskazań pracownik obsługi ręcznie ustala stan przełącznika S, regulującego pewien parametr technologiczny. Chcemy przejść na komputerowe sterowanie włącznikiem S. Przełącznik
S
Czujnik C1 Czujnik C2 Copyright © Roman Simiński
Strona : 19
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Jak odkrywać w danych wiedzę zapisaną w postaci reguł? Prosty przykład, cd.
Należy wyznaczyć reguły sterowania przełącznikiem S. Przy jakich wartościach czujników C1 i C2 przełącznik ma być włączony a przy jakich wyłączony? Przełącznik
S
Czujnik C1 Czujnik C2 Copyright © Roman Simiński
Strona : 20
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Jak odkrywać w danych wiedzę zapisaną w postaci reguł? Prosty przykład,cd.
Tabela z danymi o tym, jaki stan przyjmuje przełącznik S przy określonych wartościach czujników C1 i C2.
1 2 3 4 5 6 7 8
C1 1 1 2 2 3 3 4 4
C2 Niski Wysoki Niski Wysoki Niski Wysoki Niski Wysoki
S Off On Off On On On On On
Przełącznik
Copyright © Roman Simiński
Czujnik
Czujnik
C1
C2
S Strona : 21
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Jak odkrywać w danych wiedzę zapisaną w postaci reguł? Prosty przykład, cd.
Przechodzimy na sterowanie komputerowe. W jaki sposób określić reguły działania programu sterującego? C1 C2 Przełącznik
S
1 2 3 4 5 6 7 8
1 1 2 2 3 3 4 4
Niski Wysoki Niski Wysoki Niski Wysoki Niski Wysoki
S Off On Off On On On On On
?
Czujnik C1 Czujnik C2 Copyright © Roman Simiński
Strona : 22
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Jak odkrywać w danych wiedzę zapisaną w postaci reguł? Prosty przykład, cd.
Pola C1 i C2 tabeli określają warunki a pole S określa decyzję odnośnie stanu przełącznika.
1 2 3 4 5 6 7 8
Informacje wejściowe, warunki
Copyright © Roman Simiński
C1 1 1 2 2 3 3 4 4
C2 Niski Wysoki Niski Wysoki Niski Wysoki Niski Wysoki
S Off On Off On On On On On
Decyzja na temat stanu przełącznika
Strona : 23
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Jak odkrywać w danych wiedzę zapisaną w postaci reguł? Prosty przykład, cd.
Po wyodrębnieniu atrybutów warunkowych i decyzyjnych taka tabela staje się tablicą decyzyjną. Z tablicy decyzyjnej można próbować bezpośrednio odczytywać reguły.
1 2 3 4 5 6 7 8
C1 1 1 2 2 3 3 4 4
Copyright © Roman Simiński
C2 Niski Wysoki Niski Wysoki Niski Wysoki Niski Wysoki
S Off On Off On On On On On
. . .
if C1=1 ∧ C2=Niski
then S=Off
if C1=1 ∧ C2=Wysoki
then S=On
if C1=2 ∧ C2=Niski
then S=Off
if C1=2 ∧ C2=Wysoki
then S=On
if C1=3 ∧ C2=Niski
then S=On
if C1=3 ∧ C2=Wysoki
then S=On
if C1=4 ∧ C2=Niski
then S=On
if C1=4 ∧ C2=Wysoki
then S=On
Strona : 24
Systemy ekspertowe
Od bazy danych do bazy wiedzy
Eksploracja danych
Jak odkrywać w danych wiedzę zapisaną w postaci reguł? Prosty przykład, cd.
Osiem rekordów produkuje osiem reguł... . A jeżeli rekordów będzie kilkadziesiąt tysięcy? Kto potrzebuje wiedzy w postaci kilkudziesięciu tysięcy reguł! Można zauważyć, że: if C2=Wysoki then S=On 1 2 3 4 5 6 7 8
C1 1 1 2 2 3 3 4 4
C2 Niski Wysoki Niski Wysoki Niski Wysoki Niski Wysoki
S Off On Off On On On On On
niezależnie od wartości pola C1. Można zauważyć, że: if C1>=3 then S=On niezależnie od wartości pola C2.
Można zauważyć, że: if C1=3 then S=On if C1
