兰恩正在自己的房间里,对论n最后的整理。
关于这篇论文的标题,他本来想叫信息学的数学原理,但是想了想自己目前这不彰的学术地位,虽然对于这份成果很有自信,他还是从心了,将标题改为了通信的数学理论。
他的自信并不是毫无来由的。
虽然记忆破碎,但是他仍然能记得这份成果的意义。
简单的说,别的学科的创始人是发明了一个新的。
而这份成果,直接发明了这个学科的终点只要还在经典信息论框架内,就逃不出这篇论文中三大定理的范围,只能在工程应用上稍微努努力了。
当别人在拼尽全力爬山的时候,兰恩已经在山顶等他。
按照这篇论文的观点,信息是和长度,重量这些物理属性一样,是种可以测量和规范的东西。由于对于通信系统而言,其传递的信息具有随机性,所以定量描述信息应基于随机事件。
他给“测量信息的单位”加入了一个新的通用语单词比特。
兰恩在里面写道,任何信息都存在冗余,冗余大小与信息中每个符号,包括数字、字母或单词的出现概率,或者说不确定性有关。
通常,一个信源发送出什么符号是不确定的,衡量它可以根据其出现的概率来度量。
概率大,出现机会多,不确定性反之就大。
例如,当极限条件下,一个信源只发送一种符号,即发送内容是确定的,即概率为100,此时接收方无法从接收信号中获得任何信息,即信息的量为零。
而反之发送方和接收方约定,符号1代表二进制数字0,符号2代表二进制数字1,则接收端可以通过接收到的信源符号,获取一定信息。
而信息的大小可以用“信息熵”来表示。
他从数学上证明了,满足单调性、可加性、非负性的信息熵函数,具有一种唯一的形式。
信息熵不仅定量衡量了信息的大同时为信息编码提供了理论上的最优值:实用的编码平均码长的理论下界就是信息熵。即,信息熵为数据压缩的极限。
同时,这从理论上证明了,只要通信速率低于信道容量,总可以找到一种编码方式,使得误差概率接近于0。而信道容量,可以用一个简洁而美丽的公式,计算出来。
里面总结出了三个定理,分别是可变长无失真信源编码定理、有噪信道编码定理、保真度准则下的信源编码定理。
这篇论文将会,也必将,开启一个新的,广泛而重要的学科信息论。
并为这个学科划好了终点。
兰恩最后检查了一遍语法,对照了一下末尾的引用部分,然后将这叠用打字机打出的论文文稿,装进大号牛皮纸信封里。
文稿很厚,沉甸甸的。
他准备明天去投稿,投给有过接触的期刊应用数学与奥术杂志。11