Концепцията за информационна ентропия предполага отрицателния логаритъм на функцията на вероятностната маса за дадена стойност. По този начин, когато източникът на данни има стойност с по-ниска вероятност (т.е. когато се случи събитие с ниска вероятност), събитието носи повече „информация“(„изненада“), отколкото когато изходните данни имат стойност с по-висока вероятност.
Обемът информация, предадена от всяко събитие, дефинирано по този начин, се превръща в произволна променлива, чиято очаквана стойност е информационната ентропия. Като цяло ентропията се отнася до разстройство или несигурност и нейната дефиниция, използвана в теорията на информацията, е пряко аналогична на тази, използвана в статистическата термодинамика. Концепцията за IE е въведена от Клод Шанън в неговата статия от 1948 г. "А математическа теория на комуникацията". От тук идва терминът "информационна ентропия на Шанън".
Определение и система
Основният модел на система за предаване на данни се състои от три елемента: източник на данни, комуникационен канал и приемник,и, както казва Шанън, "основният комуникационен проблем" е приемникът да може да идентифицира какви данни са генерирани от източника въз основа на сигнала, който получава по канала. Ентропията осигурява абсолютно ограничение за възможно най-кратката средна дължина на кодиране без загуби на компресирани изходни данни. Ако ентропията на източника е по-малка от честотната лента на комуникационния канал, генерираните от него данни могат да бъдат предадени надеждно на приемника (поне на теория, като може би се пренебрегват някои практически съображения, като например сложността на системата, необходима за предаване на данните и времето, което може да отнеме за предаване на данни).
Ентропията на информацията обикновено се измерва в битове (наричани алтернативно "шанъни") или понякога в "естествени единици" (nats) или десетични знаци (наречени "dits", "bans" или "hartleys"). Мерната единица зависи от основата на логаритъма, който се използва за определяне на ентропията.
Свойства и логаритъм
Разпределението на логаритмичните вероятности е полезно като мярка за ентропия, защото е добавка за независими източници. Например, ентропията на справедлив залог на монета е 1 бит, докато ентропията на m-обема е m бита. В просто представяне, log2(n) битове са необходими за представяне на променлива, която може да приеме една от n стойности, ако n е степен на 2. Ако тези стойности са еднакво вероятни, ентропията (в битове) е равно на това число. Ако една от стойностите е по-вероятна от останалите, наблюдението, че е таказначението е по-малко информативно, отколкото ако се появи някакъв по-малко общ резултат. Обратно, по-редките събития предоставят допълнителна информация за проследяване.
Тъй като наблюдението на по-малко вероятни събития е по-рядко, няма нищо общо, че ентропията (считана за средна информация), получена от неравномерно разпределени данни, винаги е по-малка или равна на log2(n). Ентропията е нула, когато е дефиниран един резултат.
Информационната ентропия на Шанън определя количествено тези съображения, когато е известно разпределението на вероятностите на основните данни. Значението на наблюдаваните събития (значението на съобщенията) е без значение при дефиницията на ентропията. Последният отчита само вероятността да се види конкретно събитие, така че информацията, която капсулира, е данни за основното разпределение на възможности, а не за значението на самите събития. Свойствата на информационната ентропия остават същите, както е описано по-горе.
Теория на информацията
Основната идея на теорията на информацията е, че колкото повече човек знае за дадена тема, толкова по-малко информация може да получи за нея. Ако дадено събитие е много вероятно, не е изненадващо кога се случва и следователно предоставя малко нова информация. И обратно, ако събитието е било невероятно, това е било много по-информативно, че се е случило. Следователно, полезният товар е нарастваща функция на обратната вероятност на събитието (1 / p).
Сега, ако се случат повече събития, ентропияизмерва средното информационно съдържание, което можете да очаквате, ако се случи някое от събитията. Това означава, че хвърлянето на зар има повече ентропия от хвърлянето на монета, тъй като всеки резултат от кристали има по-ниска вероятност от всеки резултат от монета.
Функции
По този начин ентропията е мярка за непредсказуемостта на дадено състояние или, което е едно и също нещо, неговото средно информационно съдържание. За да получите интуитивно разбиране на тези термини, разгледайте примера на политическа анкета. Обикновено такива анкети се случват, защото резултатите от например избори все още не са известни.
С други думи, резултатите от проучването са относително непредсказуеми и всъщност провеждането му и разглеждането на данните предоставя нова информация; те са просто различни начини да се каже, че предишната ентропия на резултатите от анкетата е голяма.
Сега разгледайте случая, когато същата анкета се извършва втори път малко след първата. Тъй като резултатът от първото проучване вече е известен, резултатите от второто проучване могат да бъдат добре предвидени и резултатите не трябва да съдържат много нова информация; в този случай априорната ентропия на втория резултат от анкетата е малка в сравнение с първия.
Хвърляне на монети
Сега разгледайте примера за хвърляне на монета. Ако приемем, че вероятността за опашки е същата като вероятността за глави, ентропията при хвърляне на монета е много висока, тъй като това е особен пример за информационната ентропия на системата.
Това е защоточе е невъзможно да се предвиди, че резултатът от една монета е хвърлен преди време: ако трябва да избираме, най-доброто, което можем да направим, е да предвидим, че монетата ще кацне на опашки и това предсказание ще бъде правилно с вероятност от 1 / 2. Такова хвърляне на монета има една битова ентропия, тъй като има два възможни резултата, които се случват с еднаква вероятност, а изучаването на действителния резултат съдържа един бит информация.
Напротив, хвърлянето на монета от двете страни с опашки и без глави има нулева ентропия, тъй като монетата винаги ще падне върху този знак и резултатът може да бъде предсказан перфектно.
Заключение
Ако схемата за компресиране е без загуби, което означава, че винаги можете да възстановите цялото оригинално съобщение чрез декомпресиране, тогава компресираното съобщение има същото количество информация като оригинала, но се предава с по-малко символи. Тоест има повече информация или по-висока ентропия на символ. Това означава, че компресираното съобщение има по-малко излишък.
Грубо казано, теоремата за кодиране на изходния код на Шанън гласи, че схемата за компресиране без загуби не може да намали средно съобщенията, за да имат повече от един бит информация на бит на съобщението, но всяка стойност, по-малка от един бит информация на бит, може да бъде постигната. съобщения, използващи подходящата схема за кодиране. Ентропията на съобщението в битове по дължината му е мярка за това колко обща информация съдържа.
