关于构建测量信息论课程的建议与思考

关于构建测量信息论课程的建议与思考

孔　力¹，苏日建¹，陈　旗¹，秦肖臻¹，许贤泽²

(1．华中科技大学，武汉430074;2．武汉大学，武汉430072)

1　引言

自教育部高教司将全国高校原有诸多测量仪器专业统一归并为测控技术与仪器专业以来，全国高校仪器科学与技术教学指导委员会组织制定了《高等学校仪器科学与技术学科本科专业教学规范》等一系列文件，确立了以研究仪器系统在信息获取过程中的信息检测、处理、度量与传递控制的理论方法及其相关实现技术为核心内容的测控技术与仪器专业内涵。这既保持了一些学校已形成的专业特色，又使得各学校在专业教学内容和要求上实现相对统一。特别是在近些年评选出一批具有较高水平的国家级和省级专业精品课程，为进一步提升测控技术与仪器专业教学质量，起到了积极的示范和促进作用。为巩固前一阶段取得的专业改革成果，进一步落实与完善《教学规范》中确立的以信息测量为主导的专业教学思想，建议教指委组织研讨在本专业课程体系中起支撑、主导与贯穿其他专业课程作用的核心教学内容，弥补测控技术与仪器专业一直缺少具有自身特色的理论基础课程之不足。本文将作者在测量信息论方面所做教学与研究作简要报告，希望起到抛砖引玉的作用。

2　测量信息论的目标与意义

传统Shannon信息论是以通信技术为应用背景产生与发展而成，虽带有浓厚狭义色彩，但对由不确定到确定变换的测量问题，其中的基本观点和研究方法是可取的。测量信息论是将传统信息论的基本观点和研究方法移植并融合到测量问题的信息获取全过程，具有对测量系统进行描述、分析、评价、设计与实现的指导作用，并使之逐步成为有本专业特色的理论基础课程的主要框架内容。关于测量信息论还有以下几方面考虑。

(1)任何测量系统的本质作用都同属信息获取问题，故从信息测量层面研究整个测量过程，必然在测量系统的功能原理、结构组成和设计计算方面得到更为全面深入的理解与认识;

(2)测量信息论的理论与基础性较强，内容覆盖面宽广，作为理论基础课程内容十分有利于增强本专业课程体系中各门课程间的有机构成依据;

(3)由于测量信息论对于各种特性不同的被测对象都能建立统一的模型，用它来描述、讨论测量问题更能揭示其中的共性规律，得出一般意义下的指导原则和结论;

(4)测控技术与仪器专业属信息技术领域，使学生掌握有关信息理论知识非常必要，特别是目前涉及的信息理论的新方法、新技术越来越多，如若缺少这方面的素养对本专业学生未来发展不利。

3　测量信息论若干教学示例

本节通过若干简要示例来进一步具体说明用测量信息论的观点与分析方法在研究测量系统时所体现出的一些特点和作用。

3．1　信息与系统

图1所示为一般意义下的信息测控系统框图。它由测控对象、信息获取、决策和控制四部分组成，其间的关联则是由测控对象的信源信息、经信息获取得到的测量信息、依据测量信息生成的决策信息和在决策信息指导下的控制信息所形成的顺向闭合系统信息流来表征。从这个意义上看，测控系统实质是以其信息属性为主导的知识与功能体。

图1　一般意义下的信息测控系统框图

另外，图1在揭示出测控系统的信息作用内涵的同时，也定义了测控技术与仪器专业的主要教学与研究范畴，并为测量信息论教学内容的确定提供了依据。需要指出的是，测量信息论目前尚不能对所示系统的整体进行有效描述与分析，仅适用于被测对象和信息获取部分，其中决策信息和控制信息的相关理论方法还处于研究探索阶段。

3．2　基于熵的信息测量模型

严格地说，任何测量过程均具随机性。用随机变量及其分布构成的信息熵和互信息量概念来描述图1中的信息获取过程有形式抽象、意义明确的特点，如图2所示，图中的信息熵H(X)表示信源被测信息的不确定集，以信息熵H(Y)表示信息获取部分的输出信息不确定集。两者之交运算(即测量)所得为互信息量式(1)描述了图2中互信息量与各类熵之间的等量关系。其中条件熵H(X/Y)表示噪声(系统各种干扰噪声总贡献)造成测量系统的互信息量的损失，称损失(或误差)熵;H(Y/X)表示噪声的大小，称噪声熵;H(X，Y)表示H(X)与H(Y)的并集，称共熵;互信息量I(X;Y)表示H(X)与H(Y)的交集，它既是测量系统从信源获取信息多少的表征，同时也是被测信息从不确定到确定变换过程的重要衡量指标之一。

图2　信息测量的熵模型

由图2和式(1)所构模型显然具有一般性，它不仅能够用来描述、研究整个信息测量系统，同时也能对系统局部信息的传递与处理提供讨论分析的基础。

3．3　重复测量问题的信息表述

对同一不确定量值进行多次重复测量乃是传统测量理论中的经典范例，它在误差的基本性质分析及其数据处理等基本问题中起着重要作用。测量信息论可从信息熵和信息量概念基础上更明确地表述这一测量过程的本质含意。

设对同一不确定量值作n次测量所得信息量

它等于测量前的先验熵与经n次测量后的后验条件熵之差。根据条件熵的特性有

故由式(2)得

即做n次测量所获信息量不小于(n－1)次测量所得。其中第n次测量得到的信息增加量

当n次测量值Y₁，Y₂，…，Y_n之间统计独立时，条件熵的极限

得到经无限次测量后的信息量就约等于被测量值的熵，即

对于测量信息论来说，上述测量属一种对同一不确定目标的分时信息获取过程。测量次数越多，从被测量中所得信息量也越多;延续到无穷次时，所获信息量就等于被测量的原熵。这就是用测量信息论的观点和方法得到的“真值”定义，它也从另一个侧面说明了信息测量过程的信源熵与信息量之间的转换机理。

3．4　测量原理与信息不增原理的关系

信息测量系统时常由多个环节串联而成。对一个信源H(X)的n级测量系统，其数学表达即为式(1)的链式延拓

在仅考虑其互信息量及损失熵条件下，系统则为马氏链。逐级递推分析可得经n级测量后关于信源H(X)的信息量

式(9)等号右边第二项为从第一级到第n级测量过程中各级的损失熵之和。可以证明各级之间的互信息量

呈递减关系。

如果将其中I_m作为最终获取的目标信息，其损失熵之和项中实际含有两部分贡献

式(11)等号右边第一和第二项为真正由等效噪声影响被动引起的损失熵，第三项则是为得到I_m而人为主动弃掉的已知无用部分。

由此可见，随着上述级联系统的测量级数不断增加，即被测信息从不确定到逐步转为确定的同时，其中的各级互信息量却是递减关系。这正是信息不增原理与信息测量原理本质上存在统一性的体现，前者不过是在后者的不确定性变换过程中具体表述系统信息量的变化规律而已。这也说明通信信息论与测量信息论在目标形式上有所不同。

3．5　信源信息检测的描述及子集相交问题

如果将信息以集合形式表出，在任意确定时空区域的信源内含有无穷多个信息子集的集合X{X₁，X₂，…，X_∞}，各子集之间一般有如图3中所示的包含、相交和独立几种等效形态。

图3　信息熵及其检测的描述

当信源中与被测子集信息直接相关的传感器及其激励确定后，该被测信息子集被“激活”，被测信息由检测信道输出。信道是信息的传输通道，一般情况下传感器的信道容量与信源待测子集熵之间的传递关系应满足

条件，否则将造成源信息检测不全，其失去部分按信息不增原理无论后继处理如何也不可能复原。

此外，对信源信息子集之间为包含或相交情形，在配置相应传感器时还有一个值得注意的问题。假设图3中第i和第j两子集相交，当用一种能同时测出这两个信源子集信息的传感器替代两个分别可测传感器进行检测时，由于交集的存在，使得

即此时该传感器检测到的仅为两子集并集熵包含的部分信息，小于其相互独立时的和熵，其信息缺损等于两者的交集。因此，在信源信息子集间为包含或相交情形下，应分别选取两个相应的传感器，才能得到两子集所包含的全部信息。

4　结束语

研讨与信息获取核心专业内涵相一致的主干课程内容是一项具有长远意义的重要工作。本文提出以测量信息论为框架内容的设想乃作者一面之词，其主要目的还是在于引起注意和开展讨论。