Begrepet informasjonsentropi innebærer den negative logaritmen til sannsynlighetsmassefunksjonen for en verdi. Når datakilden har en verdi med lavere sannsynlighet (dvs. når en hendelse med lav sannsynlighet inntreffer), har hendelsen mer "informasjon" ("overraskelse") enn når kildedataene har en verdi med høyere sannsynlighet.
Mengden informasjon som formidles av hver hendelse definert på denne måten blir en tilfeldig variabel hvis forventede verdi er informasjonsentropien. Generelt refererer entropi til uorden eller usikkerhet, og definisjonen brukt i informasjonsteori er direkte analog med den som brukes i statistisk termodynamikk. Konseptet IE ble introdusert av Claude Shannon i hans artikkel fra 1948 "A Mathematical Theory of Communication". Det er her begrepet "Shannons informasjonsentropi" kom fra.
Definisjon og system
Grunnmodellen for et dataoverføringssystem består av tre elementer: en datakilde, en kommunikasjonskanal og en mottaker,og, som Shannon sier det, er det "grunnleggende kommunikasjonsproblemet" at mottakeren skal kunne identifisere hvilke data som ble generert av kilden basert på signalet den mottar over kanalen. Entropi gir en absolutt begrensning på kortest mulig gjennomsnittlig tapsfri kodingslengde for komprimerte kildedata. Hvis entropien til kilden er mindre enn båndbredden til kommunikasjonskanalen, kan dataene den genererer overføres pålitelig til mottakeren (i det minste i teorien, kanskje neglisjert noen praktiske hensyn som kompleksiteten til systemet som kreves for å overføre dataene og hvor lang tid det kan ta å overføre data).
Informasjonsentropi måles vanligvis i biter (alternativt k alt "shannons") eller noen ganger i "naturlige enheter" (nats) eller desimaler (k alt "dits", "bans" eller "hartleys"). Måleenheten avhenger av basen til logaritmen, som brukes til å bestemme entropien.
Egenskaper og logaritme
Loggsannsynlighetsfordelingen er nyttig som et mål på entropi fordi den er additiv for uavhengige kilder. For eksempel er entropien til en rettferdig innsats på en mynt 1 bit, mens entropien til m-volumer er m biter. I en enkel representasjon trengs log2(n) biter for å representere en variabel som kan ta på seg en av n verdier hvis n er potensen 2. Hvis disse verdiene er like sannsynlige, er entropien (i biter) lik det tallet. Hvis en av verdiene er mer sannsynlig enn de andre, observasjonen at det ermening oppstår, er mindre informativ enn hvis et mindre generelt resultat ville oppstå. Motsatt gir sjeldnere hendelser ytterligere sporingsinformasjon.
Fordi observasjon av mindre sannsynlige hendelser er sjeldnere, er det ingenting til felles at entropien (som anses å være gjennomsnittlig informasjon) som oppnås fra ujevnt fordelte data, alltid er mindre enn eller lik log2(n). Entropi er null når ett resultat er definert.
Shannons informasjonsentropi kvantifiserer disse betraktningene når sannsynlighetsfordelingen til de underliggende dataene er kjent. Betydningen av observerte hendelser (betydningen av meldinger) er irrelevant i definisjonen av entropi. Sistnevnte tar kun hensyn til sannsynligheten for å se en bestemt hendelse, så informasjonen den innkapsler er data om den underliggende fordelingen av muligheter, ikke om betydningen av selve hendelsene. Egenskapene til informasjonsentropi forblir de samme som beskrevet ovenfor.
Informasjonsteori
Grunntanken med informasjonsteori er at jo mer man vet om et emne, jo mindre informasjon kan man få om det. Hvis en hendelse er svært sannsynlig, er det ikke overraskende når den inntreffer og gir derfor lite ny informasjon. Omvendt, hvis hendelsen var usannsynlig, var det mye mer informativt at hendelsen skjedde. Derfor er nyttelasten en økende funksjon av den inverse sannsynligheten for hendelsen (1 / p).
Nå hvis flere hendelser skjer, entropimåler det gjennomsnittlige informasjonsinnholdet du kan forvente hvis en av hendelsene inntreffer. Dette betyr at det å kaste en terning har mer entropi enn å kaste en mynt fordi hvert krystallutfall har lavere sannsynlighet enn hvert myntutfall.
Funksjoner
Dermed er entropi et mål på uforutsigbarheten til en stat eller, som er det samme, dens gjennomsnittlige informasjonsinnhold. For å få en intuitiv forståelse av disse begrepene, tenk på eksemplet med en politisk meningsmåling. Vanligvis skjer slike meningsmålinger fordi resultatene av for eksempel valg ikke er kjent ennå.
Med andre ord er resultatene av undersøkelsen relativt uforutsigbare, og faktisk gir det å gjennomføre den og undersøke dataene en del ny informasjon; de er bare forskjellige måter å si at den tidligere entropien til avstemningsresultatene er stor.
Vurder nå tilfellet der den samme avstemningen utføres en gang til kort tid etter den første. Siden resultatet av den første undersøkelsen allerede er kjent, kan resultatene av den andre undersøkelsen forutses godt, og resultatene bør ikke inneholde mye ny informasjon; i dette tilfellet er a priori-entropien til det andre avstemningsresultatet liten sammenlignet med det første.
Myntkast
Vurder nå eksemplet med å snu en mynt. Forutsatt at sannsynligheten for haler er den samme som sannsynligheten for hoder, er entropien til et myntkast veldig høy, siden det er et særegent eksempel på informasjonsentropien til et system.
Dette er fordiat det er umulig å forutsi at utfallet av en mynt blir kastet på forhånd: hvis vi må velge, er det beste vi kan gjøre å forutsi at mynten vil lande på haler, og denne spådommen vil være korrekt med en sannsynlighet for 1 / 2. Et slikt myntkast har én bit entropi, siden det er to mulige utfall som skjer med like stor sannsynlighet, og å studere det faktiske utfallet inneholder én bit informasjon.
Tvert imot, å snu en mynt med begge sider med haler og ingen hoder har null entropi siden mynten alltid vil lande på dette skiltet og utfallet kan forutsies perfekt.
Konklusjon
Hvis komprimeringsskjemaet er tapsfritt, noe som betyr at du alltid kan gjenopprette hele den opprinnelige meldingen ved å dekomprimere, så har den komprimerte meldingen samme mengde informasjon som originalen, men overføres med færre tegn. Det vil si at den har mer informasjon eller høyere entropi per tegn. Dette betyr at den komprimerte meldingen har mindre redundans.
Grovt sett sier Shannons kildekodekodeteorem at et tapsfritt komprimeringsskjema ikke kan redusere meldinger i gjennomsnitt til å ha mer enn én bit informasjon per meldingsbit, men enhver verdi mindre enn én bit informasjon per bit kan oppnås.-meldinger som bruker riktig kodingsskjema. Entropien til en melding i biter ganger lengden er et mål på hvor mye generell informasjon den inneholder.
