Оглавление:
Информация по Кульбаку
- В байесовской модели информация о Шенноне Мера несоответствия между задним и априорным распределением Распределение параметров. В классическом подходе они также играют Важная роль меры несоответствия, но уже между распределениями Pp. Я) ул. Практически любая форма статистического вывода Неизвестные параметры 9 (X, Sh. [? Q. O , »Pq., Поддержка не пересекается, Задача отличить 9 | 02 будет легкой. Эти края В крайних случаях это не интересно в теории, В чем разница между 0i и 02 Распределения P ^ и Pq расходятся друг от друга.
Информация обратного отсчета точки x для различения 0x и 0i 0: значение называется / @ 1: 02, x) = log (/ fli (x) // fls (x)). С1) Уравнение С1) равно логарифмической разности плотности / ot (х), ©> (х) и выглядит очень естественно, как мера расхождения Естественный. Давайте вернемся к байесовскому подходу на некоторое время Рассмотрим взаимную информацию Шеннона между x и 0-: ‘е.х А. х) = 1 ° (/ о, (х) // х00). ‘= 1,2. С2) 177 Построение разности в уравнении C2) дает: ‘e, x (° i.x) -7B, X (e2. *) = log (/ OlBl (x)) = / @ X: 92, x). С3) Поэтому выделяем информацию, которая выгодна для / о, и
Предположим, статистическая модель ясна Является непрерывным, и измеренное значение Pq определяется плотностью f ° (x). Infor Людмила Фирмаль
Точка x по Кулбеку равна разнице в информации о девятке Шеннона. и 8 г содержится в х, независимо от предварительного распределения Распределение (априорная плотность или априори Вероятность точек 9i и 92 положительна). определить среднюю идентичность в пользу / о, vs / og C1) По сравнению с измерительным горшком в качестве среднего значения пс Эта мера: / @ X: 02) = I … J / ^ @ 1:02; х) FQL (х) DXX … йхп = = f … \ fQi (x) log (/ 6l (x) // Oj (x)) dx, … rf.vn, C4) Здесь предположим, что поддержка основных P ^ включена в поддержку Перевозчик Rv: И интеграция в C4) распространяется на все х. / oltx)> O./@i:02) Может быть удобно написать / x (|: 92) вместо 02).
Чтобы подчеркнуть, что мы говорим о различении информации Весь образец. С другой стороны, если T = T (x), Статистика, идентификационная информация как в C4) Статистика: / т @! : 02) -J ••• \: /? 1 (t) log (/? ‘(T) //? ^ (T)) dt, d \ = dt, … dtk. C5) Давайте рассмотрим пример. (IV) Пусть fi (xi, X2) — двумерная нормальная плотность L / 2 @, Q), где (см. Пример в §12§1) , F) f () где μ> (x) — плотность 1). тогда log (f, (X ,, Xr) Cr (X, X2)) — 2-> log A-p *) — a] 2-> A-p *) — ‘X] + P A -PV agCH1 X1X2-a = 2- ‘A-p *) -‘ X | -2 » Математическое ожидание M | по плотности } С обеих сторон уравнения \ (x \, Xi) 178 Мы получаем / 0: 2) ^ 2- ‘Iog (l -r) -2-2 A — P2) -1 + P2A — P2) -1- -2- ‘A-p2) -‘ + 2 — ‘+ 2-n = 2-‘ log (l-p2). Таким образом, / A: 2) является функцией только коэффициентов Корреляция с. да Перечислите некоторые свойства информации C4). 1.
- Информация не всегда отрицательна: / (9i: 9r) ^ 0, и Равенство происходит только в том случае, если {x: / (>! WΦ / c., (x)} — это Po, мажор 0, i = 1,2. 2. Если T (x) — любая статистика, f (x, (b1: e2) ) и X <‘ \ X <2> независимыми Распределения P ^ и Pq2. тогда Легко: в случае независимого наблюдательного склада информации И развитие. Изучите последнее свойство, предполагая, что вы измеряете Pe. t = 1,2 определяется плотностью. У нас есть ‘X’>. x <*> Wi: 8 *) = П / в4 (u, v) log (/ Oi (u, v) // ei (u, v)) dudv, C6) Где du = du . ..diik, dv = dv \ .. .dvn-h и интеграл от C6) равен Размерность Fc no u и (i-k) -размерность v соответственно.
Заменить С7) на С6) log — ^ — = log —f- + log-? л, с8) ‘Muv> ^ $ Разлагает интеграл С6) в сумму интегралов A = J J / J1, ,, («) / &, (v) bg ($„ (u) // ^ ,, (u)) dudv C9) Замените интеграл f log, полученный из и f | Срок второго срока С8). Замена цельного С9) Во-первых, когда DV повторно интегрируется, C9) становится J / jfr, (u) log ($ ,, (u) // $ „(u)) L.« / xC1) (8, 82). Аналогично, U2 ~ ‘x <2> ^ i: ® *) «0» дает желаемый результат.
С точки зрения независимости Уверенность в своих силах / in, (u, v) — / 5,)> x, „(«. v) = l%} («) / J2) (v), i = 1,2. C7) Людмила Фирмаль
Проверьте на равенство информации Когда статистика T = T (x) достаточна. По словам В предположении §16 мы имеем следующую статистику Y = Y (x). Преобразование (t, y) = (T (x), Y (x)) регулярное и стохастическое Так как единицы являются один к одному, -I / m \ (t.Y) log (?; Y (t, y) 7Vfv 0.y)) dtdy> D °) Где д \ = дт . ..dir, dy = dyi …. dyu-r и целое соответствуют Правильные размеры. Заменить разложение B3) на D0) §16, сжать D0, чтобы сформировать Лё (t; в,) ht (t, у) | J | -1 log (g (t; Qt) / g (<; br)) dtdy. D1) Замените интеграл D1) с повторением и интегрируйте сначала Дюйм Дана формула B4) §16 D1) Получить выражение f / 0 | (t) la? (/? • (t) / «* (t))« t- / m, x, (v,: 8S), По мере необходимости.
Смотрите также:
| Информация по Шеннону | Информация по Фишеру |
| Полиномиальное распределение | Скалярный параметр |
Если вам потребуется заказать статистику вы всегда можете написать мне в whatsapp.
