Конспект по «Машинному обучению». Теория вероятностей. Формула Байеса

в 20:05, , рубрики: вероятность, искусственный интеллект, конспект, математика, машинное обучение, нейросети, теория вероятностей, условная вероятность, формула Байеса

Конспект по «Машинному обучению». Теория вероятностей. Формула Байеса - 1

Теория вероятностей. Формула Байеса

Пусть проводится некоторый эксперимент.

$w_1, ..., w_N$элементарные события (элементарные исходы эксперимента).
$Omega={w_i}_{i=1}^N$пространство элементарных событий (совокупность всевозможных элементарных исходов эксперимента).

Определение 1:

Система множеств $Sigma$ называется сигма-алгеброй, если выполняются следующие свойства:

  1. $Omega in Sigma;$
  2. $A in Sigma Rightarrow overline{A} in Sigma;$
  3. $A_1, A_2, ... in Sigma Rightarrow bigcuplimits_{i=1}^infty A_i in Sigma.$

Из свойств 1 и 2 определения 1 следует, что $emptyset in Sigma$. Из свойств 2 и 3 определения 1 следует, что $bigcaplimits_{i=1}^infty A_i in Sigmaspace($ т.к. $A_i in Sigma Rightarrow_{св.2} overline{A_i} in Sigma Rightarrow_{св.3} bigcuplimits_{i=1}^infty overline{A_i} in Sigma Rightarrow_{св.2} \ Rightarrow_{св.2} overline{bigcuplimits_{i=1}^infty overline{A_i}} in Sigma Rightarrow bigcaplimits_{i=1}^infty A_i in Sigma).$

Определение 2:

  • $A$событие $forall A in Sigma;$
  • $Pcolon Sigma to mathbb R $вероятностная мера (вероятность), если:
    1. $P(Sigma)=1;$
    2. $forall A in Sigma spacespace P(A) geqslant 0;$
    3. ${A_i}_{i=1}^infty, space A_i in Sigma, space A_i cap A_j=emptyset$ при $i not=j Rightarrow P(bigcuplimits_{i=1}^infty A_i)=sumlimits_{i=1}^infty P(A_i).$

Свойства вероятности:

  1. $P(A) leqslant 1;$
  2. $P(A)=1-P(overline{A});$
  3. $P(emptyset)=0;$
  4. $A subseteq B Rightarrow P(A) leqslant P(B);$
  5. $P(A cup B)=P(A) + P(B)-P(A cap B);$
  6. $forall {A_i}_{i=1}^N \ spacespace P(bigcuplimits_{i=1}^N A_i)=sumlimits_{i=1}^NP(A_i)-sumlimits_{i < j} P(A_i cap A_j) + sumlimits_{i < j < k}P(A_i cap A_j cap A_k)-... +\+ (-1)^{n-1}P(A_1 cap A_2 cap ... cap A_n);$
  7. $forall {A_i}_{i=1}^inftycolon( A_{i+1} subseteq A_i,space bigcaplimits_{i=1}^infty A_i=emptyset) spacespacespace limlimits_{i to infty}P(A_i)=0.$

Определение 3:

$(Omega, Sigma, P)$вероятностное пространство.

Определение 4:

$forall A,B in Sigma: P(B) > 0 $
$qquad P(A|B)=frac{P(AB)}{P(B)}$условная вероятность события $A$ при условии события $B$.

Определение 5:

Пусть для ${A_i}_{i=1}^N$, где $forall i in overline{1,N} A_i in Sigma$, выполняется $forall i,j in overline {1,N} space A_i cap A_j=emptyset$ и $bigcuplimits_{i=1}^N A_i=Omega$. Тогда ${A_i}_{i=1}^N$ называется разбиением пространства элементарных событий.

Теорема 1 (формула полной вероятности):

${A_i}_{i=1}^N$ — разбиение пространства элементарных событий, $forall i in overline{1,N} space P(A_i) > 0$.
Тогда $forall B in Sigma quad P(B)=sumlimits_{i=1}^NP(B|A_i)P(A_i)$.

Теорема 2 (формула Байеса):

${A_i}_{i=1}^N$ — разбиение пространства элементарных событий, $forall i in overline{1,N} space P(A_i) > 0$.

Тогда $forall B in Sigmacolon P(B) > 0 quad P(A_i|B)=frac{P(B|A_i)P(A_i)}{sumlimits_{i=1}^N P(B|A_i)P(A_i)}=frac{P(B|A_i)P(A_i)}{P(B)}$.

С помощью формулы Байеса можно переоценить априорные вероятности ($P(A_i)$), исходя из наблюдений ($P(B|A_i)$), и получить совершенно новое представление о реальности.

Пример:

Предположим, что имеется тест, который применяется к человеку индивидуально и определяет: заражён он вирусом «X» или нет? Будем считать, что тест завершился успехом, если он вынес правильный вердикт для конкретного человека. Известно, что этот тест имеет вероятность успеха 0.95, а 0.05 — это вероятность как ошибки первого рода (false positive, т.е. тест вынес положительный вердикт, а человек здоров), так и ошибки второго рода (false negative, т.е. тест вынес отрицательный вердикт, а человек болен). Для ясности, положительный вердикт = тест «сказал», что человек заражён вирусом. Также, известно, что данным вирусом заражён 1% населения. Пусть некоторый человек получил положительный вердикт теста. С какой вероятностью он действительно болен?

Обозначим: $t$ — результат теста, $d$ — наличие вируса. Тогда по формуле полной вероятности:

$P(t=1)=P(t=1|d=1)P(d=1)+P(t=1|d=0)P(d=0).$

По теореме Байеса:

$P(d=1|t=1)=frac{P(t=1|d=1)P(d=1)}{P(t=1|d=1)P(d=1)+P(t=1|d=0)P(d=0)}=\=frac{0.95times0.01}{0.95times0.01+0.05times0.99}=0.16$

Получается, что вероятность оказаться заражённым вирусом «X» при условии положительного вердикта теста равна 0.16. Почему такой результат? Изначально, человек с вероятностью 0.01 заражён вирусом «X» и еще с вероятностью 0.05 тест ошибётся.

Список используемой литературы:

  • «Основы теории вероятностей. Учебное пособие», М.Е. Жуковский, И.В. Родионов, МФТИ, МОСКВА, 2015;
  • «Глубокое обучение. Погружение в мир нейронных сетей», С. Никуленко, А. Кадурин, Е. Архангельская, ПИТЕР, 2018.

Автор: slava_py

Источник


* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js