En informa teorio , gibbsa neegalaĵo estas propozicio pri la matematika entropio de diskreta probablodistribuo . Kelkaj la aliaj baroj, pri la entropio de probablodistribuoj estas derivita de gibbsa neegalaĵo, inkluzivante la neegalaĵon de Fano .
Estu
P
=
{
p
1
,
…
,
p
n
}
{\displaystyle P=\{p_{1},\ldots ,p_{n}\}}
diskreta probablodistribuo. Tiam por ĉiu la alia diskreta probablodistribuo
Q
=
{
q
1
,
…
,
q
n
}
{\displaystyle Q=\{q_{1},\ldots ,q_{n}\}}
jena neegalaĵo veras
−
∑
i
=
1
n
p
i
log
2
p
i
≤
−
∑
i
=
1
n
p
i
log
2
q
i
{\displaystyle -\sum _{i=1}^{n}p_{i}\log _{2}p_{i}\leq -\sum _{i=1}^{n}p_{i}\log _{2}q_{i}}
kun egaleco se kaj nur se
p
i
=
q
i
{\displaystyle p_{i}=q_{i}}
por ĉiuj i .
La diferenco inter la du kvantoj estas la negativo de la diverĝenco de Kullback-Leibler aŭ relativa entropio , tiel la neegalaĵo povas ankaŭ esti skribita kiel
K
L
(
p
,
q
)
≥
0
{\displaystyle KL(p,q)\geq 0}
Pro tio ko
log
2
a
=
ln
a
ln
2
{\displaystyle \log _{2}a={\frac {\ln a}{\ln 2}}}
sufiĉas al pruvi la frazon uzante la naturan logaritmon (ln). Por la natura logaritmo veras
ln
x
≤
x
−
1
{\displaystyle \ln x\leq x-1}
por ĉiuj x kun egaleco se kaj nur se x=1 .
Estu I signifi la aro de ĉiuj i por kiu pi estas ne nulo. Tiam
−
∑
i
∈
I
p
i
ln
q
i
p
i
≥
−
∑
i
∈
I
p
i
(
q
i
p
i
−
1
)
=
−
∑
i
∈
I
q
i
+
∑
i
∈
I
p
i
=
−
∑
i
∈
I
q
i
+
1
≥
0
{\displaystyle {\begin{matrix}-\sum _{i\in I}p_{i}\ln {\frac {q_{i}}{p_{i}}}&\geq &-\sum _{i\in I}p_{i}\left({\frac {q_{i}}{p_{i}}}-1\right)\\&&\\&=&-\sum _{i\in I}q_{i}+\sum _{i\in I}p_{i}\\&&\\&=&-\sum _{i\in I}q_{i}+1\\&&\\&\geq &0\end{matrix}}}
Do
−
∑
i
∈
I
p
i
ln
q
i
≥
−
∑
i
∈
I
p
i
ln
p
i
{\displaystyle -\sum _{i\in I}p_{i}\ln q_{i}\geq -\sum _{i\in I}p_{i}\ln p_{i}}
kaj tiam bagatele
−
∑
i
=
1
n
p
i
ln
q
i
≥
−
∑
i
=
1
n
p
i
ln
p
i
{\displaystyle -\sum _{i=1}^{n}p_{i}\ln q_{i}\geq -\sum _{i=1}^{n}p_{i}\ln p_{i}}
pro ke la dekstra flanko ne kreskas, sed la maldekstra flanko povas kreski aŭ povas resti la sama.
Por egaleco necesas:
q
i
p
i
=
1
{\displaystyle {\frac {q_{i}}{p_{i}}}=1}
i
∈
I
{\displaystyle i\in I}
ln
q
i
p
i
=
1
−
q
i
p
i
{\displaystyle \ln {\frac {q_{i}}{p_{i}}}=1-{\frac {q_{i}}{p_{i}}}}
∑
i
∈
I
q
i
=
1
{\displaystyle \sum _{i\in I}q_{i}=1}
Ĉi tio povas okazi se kaj nur se
p
i
=
q
i
{\displaystyle p_{i}=q_{i}}
por ĉiuj m=1,...,n .
La rezulto povas alternative esti pruvita per neegalaĵo de Jensen aŭ logaritma suma neegalaĵo .
La entropio de P estas barita per:
H
(
p
1
,
…
,
p
n
)
≤
log
n
{\displaystyle H(p_{1},\ldots ,p_{n})\leq \log n}
La pruvo estas bagatela - simple meti
q
i
=
1
/
n
{\displaystyle q_{i}=1/n}
i .
