首頁 認知診斷評價理論基礎

第一節 信息、信息熵、信息量

信息(information)是很抽象的概念。信息是事物及其屬性標識的集合。信息能夠幫你逐漸解開頭腦中的疑團,消除你對某個事物認識上的不確定性,並由不確定性逐漸變成較為確定或確定。獲得的信息越多,你對事物的了解就越全麵,越準確。

信息源是信息的源泉或產生待傳送的信息的實體,是提供信息的載體,它無處不在。信息源所涉及的範圍十分廣泛,不僅包括所有的知識,還包括通過我們五官感覺到的一切。任何事物都可以作為信息源。信息接收者(信宿)是信息的歸宿。信息通道負責將信息源信息傳送給信息接收者。

一、信息熵與互信息

信息是一個相對的概念,它自身不能單獨存在,必須依附於一定的載體,而且還要和信息接收者及它所要達到的目的相聯係,這樣才可成為信息。信息論創始人香農(C.Shannon)於1948年從信息接收者的角度定義:“信息是能夠協助信息接收者消除事件不確定性的因素。”因此,信息的價值和大小首先應該是與信息源本身的特性有關的,同時還與具體的認識目的相聯係,它應該能夠為認識某個特定事物提供線索,另外,信息的傳播途徑應該也會影響它的最終價值。

那麽,如何來衡量信息的價值大小呢?人們常常說信息很多,或者信息較少,但卻很難說清楚信息到底有多少。從信息源的角度來說,依照信息論的認識,在日常生活中,極少發生的事件一旦發生是很容易引起人們關注的,如發生海嘯,而司空見慣的事件並不會引起人們的注意,如太陽又從東方升起。也就是說,極少發生的事件所帶來的信息價值越大。如果用統計學的術語來描述,就是發生概率小的事件信息量多。因此,事件發生的概率越小,信息量越大,即信息量的多少是與事件發生頻率(即概率大小)成反比的。