Logo
Unionpedia
Komunikacja
pobierz z Google Play
Nowy! Pobierz Unionpedia na urządzeniu z systemem Android™!
Zainstaluj
Szybszy dostęp niż przeglądarce!
 

Dywergencja Kullbacka-Leiblera

Indeks Dywergencja Kullbacka-Leiblera

Dywergencja Kullbacka-Leiblera (zwana też entropiąwzględnąlub relatywnąentropią) jest miarąstosowanąw statystyce i teorii informacji do określenia rozbieżności między dwoma rozkładami prawdopodobieństwa p i q. Czasem zwana jest też odległościąKullbacka-Leiblera, nie jest to jednak prawdziwa metryka, gdyż nie jest symetryczna (d_(p, q) \neq d_(q, p)) ani nie spełnia nierówności trójkąta.

27 kontakty: Bayesowskie kryterium informacyjne Schwarza, Ciągły rozkład prawdopodobieństwa, Dyskretny rozkład prawdopodobieństwa, Dywergencja Jensena-Shannona, Entropia (teoria informacji), Funkcja wiarygodności, Harold Jeffreys, Hirotugu Akaike, Informacja Fishera, Informacja wzajemna, Kod, Kompromis między obciążeniem a wariancją, Kryterium informacyjne Akaikego, Macierz Hessego, Mathematica Applicanda, Model statystyczny, Nadmierne dopasowanie, Nierówność trójkąta, Przestrzeń metryczna, Relacja symetryczna, Richard Leibler, Rozkład prawdopodobieństwa, Solomon Kullback, Statystyka, Tensor metryczny, Teoria informacji, Wspólny rozkład prawdopodobieństwa.

Bayesowskie kryterium informacyjne Schwarza

Bayesowskie kryterium informacyjne Schwartza (BIC - od ang. Bayesian Information Criterion) – w modelowaniu równań strukturalnych jest to jeden ze wskaźników dopasowania modelu.

Nowy!!: Dywergencja Kullbacka-Leiblera i Bayesowskie kryterium informacyjne Schwarza · Zobacz więcej »

Ciągły rozkład prawdopodobieństwa

Od góry: dystrybuanta pewnego dyskretnego rozkładu, rozkładu ciągłego, oraz rozkładu, który nie jest ani ciągły, ani dyskretny. Ciągły rozkład prawdopodobieństwa – rozkład prawdopodobieństwa, dla którego dystrybuanta jest funkcjąciągłą.

Nowy!!: Dywergencja Kullbacka-Leiblera i Ciągły rozkład prawdopodobieństwa · Zobacz więcej »

Dyskretny rozkład prawdopodobieństwa

Funkcja opisująca przykładowy dyskretny rozkład prawdopodobieństwa. Prawdopodobieństwa przyjęcia przez zmiennąwartości 1, 3 i 7 wynosząodpowiednio 0.2, 0.5, 0.3. Inne wartości majązerowe prawdopodobieństwo. Od góry: dystrybuanta pewnego dyskretnego rozkładu, rozkładu ciągłego, oraz rozkładu mającego zarówno ciągłą, jak i dyskretnączęść. Dyskretny rozkład prawdopodobieństwa – rozkład prawdopodobieństwa zmiennej losowej dający się opisać przez podanie wszystkich przyjmowanych przez niąwartości, wraz z prawdopodobieństwem przyjęcia każdej z nich.

Nowy!!: Dywergencja Kullbacka-Leiblera i Dyskretny rozkład prawdopodobieństwa · Zobacz więcej »

Dywergencja Jensena-Shannona

Dywergencja Jensena-Shannona – miara rozbieżności między dwoma rozkładami prawdopodobieństwa.

Nowy!!: Dywergencja Kullbacka-Leiblera i Dywergencja Jensena-Shannona · Zobacz więcej »

Entropia (teoria informacji)

Entropia – średnia ilość informacji, przypadająca na pojedyncząwiadomość ze źródła informacji.

Nowy!!: Dywergencja Kullbacka-Leiblera i Entropia (teoria informacji) · Zobacz więcej »

Funkcja wiarygodności

rozkładu Poissona przy zaobserwowanych danych 3, 5. Funkcja wiarygodności (wiarygodność) – w statystyce, funkcja parametru modelu i próby losowej, która jest proporcjonalna do prawdopodobieństwa zaobserwowania próby o konkretnej postaci przy różnych parametrach modelu.

Nowy!!: Dywergencja Kullbacka-Leiblera i Funkcja wiarygodności · Zobacz więcej »

Harold Jeffreys

Sir Harold Jeffreys (ur. 22 kwietnia 1891 w Fatfield, Anglia, zm. 18 marca 1989 w Cambridge) – angielski astronom, statystyk, matematyk i geofizyk.

Nowy!!: Dywergencja Kullbacka-Leiblera i Harold Jeffreys · Zobacz więcej »

Hirotugu Akaike

– japoński statystyk, twórca wykorzystywanego w modelowaniu równań strukturalnych Kryterium informacyjnego Akaikego, będącego jednym ze wskaźników dopasowania modelu.

Nowy!!: Dywergencja Kullbacka-Leiblera i Hirotugu Akaike · Zobacz więcej »

Informacja Fishera

Informacja Fishera – miara ilości informacji o jednym lub wielu nieznanych parametrach \theta, jakąniesie obserwowalna związana z nimi zmienna losowa X. Może być rozumiana jako średnia dokładność oszacowania, jakądaje obserwacja danych – tj.

Nowy!!: Dywergencja Kullbacka-Leiblera i Informacja Fishera · Zobacz więcej »

Informacja wzajemna

Informacja wzajemna – pojęcie z zakresu teorii informacji, będące miarązależności pomiędzy dwiema zmiennymi losowymi.

Nowy!!: Dywergencja Kullbacka-Leiblera i Informacja wzajemna · Zobacz więcej »

Kod

Kod (łac. codex), spis – ciąg składników sygnału (kombinacji sygnałów elementarnych, np. kropek i kresek, impulsów prądu, symboli) oraz reguła ich przyporządkowania składnikom wiadomości (np. znakom pisma).

Nowy!!: Dywergencja Kullbacka-Leiblera i Kod · Zobacz więcej »

Kompromis między obciążeniem a wariancją

Błąd modelu dekomponuje się na jego obciążenie i wariancję, oraz błąd nieredukowalny. Minimalizacja błędu modelu wiąże się z wyważeniem kompromisu pomiędzy komponentem obciążenia i wariancji. nadmiernego dopasowania do próby treningowej i ilustracja kompromisu między obciążeniem a wariancją. Kompromis między obciążeniem a wariancją(in. przetarg, dylemat, ang. bias-variance tradeoff) – problem leżący u podstaw modelowania w statystyce i uczeniu maszynowym, który polega na sprzeczności między redukcjąobciążenia i wariancji estymatorów statystycznych.

Nowy!!: Dywergencja Kullbacka-Leiblera i Kompromis między obciążeniem a wariancją · Zobacz więcej »

Kryterium informacyjne Akaikego

Kryterium informacyjne Akaikego (AIC – od ang. Akaike Information Criterion) – zaproponowane przez Hirotugu Akaikego kryterium wyboru pomiędzy modelami statystycznymi o różnej liczbie predyktorów.

Nowy!!: Dywergencja Kullbacka-Leiblera i Kryterium informacyjne Akaikego · Zobacz więcej »

Macierz Hessego

Hesjan, macierz Hessego – macierz (kwadratowa) drugich pochodnych cząstkowych funkcji o wartościach rzeczywistych dwukrotnie różniczkowalnej w pewnym punkcie dziedziny.

Nowy!!: Dywergencja Kullbacka-Leiblera i Macierz Hessego · Zobacz więcej »

Mathematica Applicanda

Mathematica Applicanda (Roczniki Polskiego Towarzystwa Matematycznego Seria III) – czasopismo wydawane przez Polskie Towarzystwo Matematyczne od 1973 roku.

Nowy!!: Dywergencja Kullbacka-Leiblera i Mathematica Applicanda · Zobacz więcej »

Model statystyczny

Model statystyczny – hipoteza lub układ hipotez, sformułowanych w sposób matematyczny (odpowiednio w postaci równania lub układu równań), który przedstawia zasadnicze powiązania występujące pomiędzy rozpatrywanymi zjawiskami rzeczywistymi.

Nowy!!: Dywergencja Kullbacka-Leiblera i Model statystyczny · Zobacz więcej »

Nadmierne dopasowanie

funkcji liniowej jak i wielomianu. Chociaż wielomian przechodzi przez każdy z punktów reprezentujących obserwacje, a prosta tylko przez kilka, jest ona zapewne lepszym przybliżeniem, gdyż wielomian przyjmuje zbyt odstające wartości przy końcach przedziału. zbiorze testowym kolorem czerwonym. Jeśli błąd na zbiorze testowym rośnie, podczas gdy błąd na zbiorze uczącym maleje, to zwykle jest to związane ze zjawiskiem przeuczenia. Nadmierne dopasowanie a. przeuczenie (branż. „przetrenowanie”) – zjawisko w statystyce zachodzące, gdy model statystyczny ma zbyt dużo parametrów w stosunku do rozmiaru próby, na podstawie której był konstruowany.

Nowy!!: Dywergencja Kullbacka-Leiblera i Nadmierne dopasowanie · Zobacz więcej »

Nierówność trójkąta

Wizualizacja „działania” nierówności trójkąta Trójkąt ''zdegenerowany'' Nierówność trójkąta – twierdzenie matematyczne mówiące, że dla dowolnego trójkąta miara każdego boku musi być mniejsza lub równa sumie miar dwóch pozostałych.

Nowy!!: Dywergencja Kullbacka-Leiblera i Nierówność trójkąta · Zobacz więcej »

Przestrzeń metryczna

Przestrzeń metryczna – zbiór z zadanąna nim metryką, tj.

Nowy!!: Dywergencja Kullbacka-Leiblera i Przestrzeń metryczna · Zobacz więcej »

Relacja symetryczna

Relacja symetryczna – relacja, która jest identyczna z perspektywy wszystkich wchodzących w jej skład elementów.

Nowy!!: Dywergencja Kullbacka-Leiblera i Relacja symetryczna · Zobacz więcej »

Richard Leibler

Richard Leibler (ur. 1914, zm. 2003) – amerykański matematyk, statystyk i kryptolog.

Nowy!!: Dywergencja Kullbacka-Leiblera i Richard Leibler · Zobacz więcej »

Rozkład prawdopodobieństwa

Rozkład prawdopodobieństwa – miara probabilistyczna określona na zbiorze wartości pewnej zmiennej losowej (wektora losowego), przypisująca prawdopodobieństwa wartościom tej zmiennej.

Nowy!!: Dywergencja Kullbacka-Leiblera i Rozkład prawdopodobieństwa · Zobacz więcej »

Solomon Kullback

Solomon Kullback Solomon Kullback (ur. 1907, zm. 1994) – amerykański matematyk, statystyk i kryptolog.

Nowy!!: Dywergencja Kullbacka-Leiblera i Solomon Kullback · Zobacz więcej »

Statystyka

Statystyka (niem. Statistik, „badanie faktów i osób publicznych”, z łac. statisticus, „polityczny, dot. polityki”, od status, „państwo, stan”) – nauka, której przedmiotem zainteresowania sąmetody pozyskiwania i prezentacji, a przede wszystkim analizy danych opisujących zjawiska, w tym masowe.

Nowy!!: Dywergencja Kullbacka-Leiblera i Statystyka · Zobacz więcej »

Tensor metryczny

Tensor metryczny – tensor drugiego rzędu (o dwóch indeksach), symetryczny, charakterystyczny dla danego układu współrzędnych.

Nowy!!: Dywergencja Kullbacka-Leiblera i Tensor metryczny · Zobacz więcej »

Teoria informacji

Teoria informacji – dyscyplina zajmująca się problematykąinformacji oraz metodami przetwarzania informacji, np.

Nowy!!: Dywergencja Kullbacka-Leiblera i Teoria informacji · Zobacz więcej »

Wspólny rozkład prawdopodobieństwa

Czarne punkty uzyskane z pomiaru dwóch zmiennych losowych X, Y – większej gęstości punktów w pobliżu danego punktu (x, y) odpowiada większe wspólne prawdopodobieństwo, że X przyjmie wartość w pobliżu x, a Y w pobliżu y. Pokazano też rozkłady brzegowe P(X.

Nowy!!: Dywergencja Kullbacka-Leiblera i Wspólny rozkład prawdopodobieństwa · Zobacz więcej »

Przekierowuje tutaj:

Dywergencja Kullbacka–Leiblera, Entropia relatywna, Entropia względna, Odległość Kullbacka-Leiblera, Relatywna entropia.

TowarzyskiPrzybywający
Hej! Jesteśmy na Facebooku teraz! »