Entropi (informationsteori)
From Wikipedia, the free encyclopedia
I informationsteori er entropi (også informationsentropi eller Shannon-entropi) en måde at betegne og give værdi til evolution og vækst i viden. Især KI-applikationer gør brug af entropi til at læse informationer. De sammenligner simpelthen systemets dele og vælger det stykke data med mindst (~0) entropi.
For andre betydninger, se Entropi (flertydig) - Der er for få eller ingen kildehenvisninger i denne artikel, hvilket er et problem. Du kan hjælpe ved at angive troværdige kilder til de påstande, som fremføres i artiklen.
Entropien er givet ved en sum over alle mulige tilstande:
hvor er sandsynligheden for tilstanden .[1]
Entropien opnås være at tage gennemsnittet af informationsmængden for hvert udfald:
For et system med forskellige udfald er entropien altså den gennemsnitlige informationsmængde, der opnås ved en måling. Jo højere entropien er, jo større usikkerhed er der omkring udfaldet.[2]
Inden for fysikken kaldes den tilsvarende ligning for Gibbs' entropiformel.[3]