卫星广播电视监测技术

2.4.5　卫星广播电视监测技术

2.4.5.1　音视频内容异态报警监测技术

我国各省卫星电视节目目前采用各自的地球站独立上星的做法,一个传输流中只有一套节目,占用一个相应的上行和下行频率。多个省卫视的节目上行和下行的频率往往是相邻的。非法攻击主要是用自己的信号非法覆盖卫星转发器的上行信号,造成各地下行接收的信号由原来的正常信号转变为非法信号。当发生非法覆盖干扰时,由于正常信号和非法信号时基并不同步,切换过程中必然发生音视频等传送流数据包丢失、或者同步字节位置错误、或者包连续计数错误,相邻频率的信道也会受到严重干扰,载噪比变差,出现黑场等播出异态。当非法信号的载波功率和载噪比略高于正常信号时,由于载噪比变差,卫星接收机会重新经过时钟锁定、载波恢复等过程,TS传送流中断的时间会更长,伴随的黑场和静帧过程也会更长。因此,从卫星接收机输出的音视频信号入手,采用监测黑场、静帧等音视频内容异态的方法是一种监测非法攻击的有效方式。

此外,也可以结合其他特征,例如电子台标或水印,将特定播出对象准确识别出来。

例如,在信号上星之前,在进行信源编码或码流复用时加上一个唯一的标志(电子台标或水印);在下行接收时,首先检测电子台标,如果电子台标合法,则正常输出信号,否则,则及时阻断非法信号。这种方法的缺点是需要生产专门的卫星接收机或者生产一种专门的解密卡。另外,还可以通过音视频内容检测的方法来识别画面中的台标。如果画面中的台标与合法的预留台标相似性大,则判断为合法信号,如果相似性小或者画面中的台标消失,则判断为非法信号。该策略可以通过图像剪影、特征匹配、计算机视觉等一系列算法进行有效识别。

由于实际中存在的台标是多种多样的,其中动画台标、半透明台标受电视节目背景影响很大,甚至会出现人都无法辨别的情况,因此判别的难度很大。此外,需要区分转播新闻联播时,两个台标叠在一起的现象,还需要区分个别电视台在播放广告时台标消失的情况。可采取以下应对措施:

第一,利用蒙板减小背景对识别的影响。建立表示台标大致形状的蒙板,在识别过程中,对区域外的部分不予处理;

第二,利用台标前后帧的相关性来提高识别的稳定性。根据总局要求,正常播出电视节目都要求有台标标识,因此台标在播出过程中是相对稳定保持不变的。利用前后几帧画面来增强待识别的台标,可以提高台标识别的稳定性;

第三,利用播出规律提高识别正确率。半透明和动画台标的识别是困难的,但是充分运用播出规律是可以做到准确识别的。例如对于动画台标,一种情况是动画的部分较少,这时可以利用不动的部分将台标识别出来,或者动画的时间很短,于是台标消失很短时间之后又恢复过来,这样将台标消失的这种变化记录下来,可以识别动画台标。另外,台标的特征也是可以提高的,因为我们可以事先采集到高精确度的台标,这样提取的特征就更加有效,使得正确率有较大的提高。

实现数字电视播出内容的识别关键是保证识别的正确率,而这又主要取决于对象特征的选取和决策。一般而言,数字电视特征包括电视图像的色彩特征、形状特征、纹理特征,以及前后图像间的相关性等。电视画面的变化是无规律的,仅靠一个特征往往很难将一个对象识别出来,或者会有较多的误判,因此实际中我们需要用到多种类型的特征进行判断,这导致了识别策略的复杂性。识别策略还包括对电视播出规律的总结。在实际判断过程中,要将识别策略组成一个判决库,这样才能做出有意义的决策。

2.4.5.2　QPSK信道异态报警监测技术

我们国家采用的卫星直播系统一般是符合DVB-S标准的传输系统,也就是说信源编码采用MPEG2标准,并将多路信源转换的MPEG2码流按DVB标准多路复用为一路TS流信号。复用的TS流经QPSK调制(信道编码)后,通过地球站发射到卫星转发器。

因此,可以采用基于QPSK信道异态监测报警的卫星接收安全监控设备,通过捕捉包同步丢失、包数据连续错误,同时监测QPSK信道的异态,实现卫星接收安全监控。

实现的方法是,利用带QPSK解调的码流监测设备或者码流分析仪,结合工程型卫星接收机(这种接收机除音视频信号输出外,还能输出完整的TS流),一旦码流检测设备发现TS流的表格结构发生变化就会及时报警,有的码流检测设备还能检测到TS流的其他变化,如ETR290的报警、带宽的变化、包计数的不连续、TS流内容特征的变化(频道名,频道内的多个节目名等)。准确快速地获取QPSK信道解调的参数,捕捉TS流数据包的包同步丢失错误是卫星接收安全监测设备的关键技术。这些关键技术实现的依据主要是L64724的性能。

L64724内部提供的寄存器比较多,可实现不同符号率、卷积率等系统的控制。通过L64724可以读出QPSK信道解调的所有参数,包括包同步字节状态、载波功率、载噪比等。通过读取I/Q值,可以计算星座图、MER、EVM等参数。另外也可以得到Viterbi译码前后和RS译码后的误码率(BER)。

MPEG4压缩算法是单机16路SDI接口数字音视频信号质量监测和内容监测设备研发中的关键技术。PHILIPS公司在提供PNX1302芯片的同时,也提供了用PNX1302指令系统实现的MPEG4压缩包,所以这部分需要做的工作只是将MPEG4压缩后的音视频数据进行合理的封装,如封装为WINDOWS操作系统的AVI文件格式。

2.4.5.3　数据挖掘在卫星广播电视监测系统中的应用

目前,我国卫星电视监测和监控系统还主要停留在人工操作阶段,应对策略被动并且滞后,已经出现过数次被国内外非法组织攻击盗播的情况,由于人工操作固有的滞后和低效等缺陷,造成了播出事故。基于以上的情况,急需在卫星电视传输和监控的自动化和智能化上面投入研究力量。

国内外对于卫星广播电视的安全保障工作,方法基本相似。主要从卫星、上行地球站和条件接受装置三方面来约束。

第一,卫星:减小全国波束覆盖区;增设可移动单电波束接收天线;增设固定多电波束接受天线。这些措施对于临近地区的干扰攻击效果不大。

第二,上行地球站:使用大功率和高增益发射天线;使用大功率MCPC上行信号推至转发器饱和点。这里的操作和监控如果能实现智能化,将会大大改善卫星广播电视的安全现状。

第三,条件接收装置:对电视信号加扰和加密;对电视信号节目源增设加密认证。这些是信号内容上的安全措施,对于大功率干扰基本无效。

计算机系统的一些安全理论可以应用于卫星广播电视系统。数据挖掘技术的核心部分已经发展了十余年,研究领域涉及数理统计、人工智能、机器学习等。当前,随着这些技术的成熟,以及高性能关系数据库引擎的不断完善和广泛的数据集成,使得这些技术在当前环境下变得更加实用。我们可以运用数据挖掘理论,通过对以往卫星受攻击时各项参数的历史记录值进行研究和对比,提出合理的算法,分析大量数据中隐藏的模式,为以后建立相应的专家知识库,进而建立起安全可靠的专家系统,以实现转发器受攻击时的自动告警和应变作算法上的准备。

监测中心的监测记录涵盖各种人为和非人为的告警数据,这些监测设备产生大量的告警信息,这些告警中隐含许多有价值的信息,如告警产生的规律。利用这些信息可以改善卫星广播电视网络故障管理。数据挖掘可以从其历史告警数据中找到这些隐含的有用信息。

2.4.5.3.1　KDD处理过程模型

数据库中的知识发现KDD(Knowledge Discovery in Database)是一个处理过程。在实际应用中,数据处理过程中的数据提取、组织和转换有相当的难度,因此对KDD中其他阶段及处理过程的研究也非常重要。本节将对数据挖掘全过程进行分析,介绍如何应用数据挖掘技术来分析卫星广播电视历史告警数据,以发现卫星广播电视网络发生告警的规律。

关于KDD的研究主要是为了将知识发现的研究成果应用于实际数据处理中,为科学的决策提供支持。目前的研究大多只着眼于对数据挖掘算法的研究,而忽视了其他方面。而事实上,KDD首先是一个处理过程,如果我们仅仅着重于数据挖掘算法,可能就会对数据处理过程中的数据提取、组织和转换的难度缺乏足够的认识。数据挖掘所完成的工作对于整个知识发现过程来说,只是较小的一部分,KDD中其他阶段及处理过程也起着很重要的作用。目前人们对整个处理过程并没有给出非常清楚的划分,而建立合适的处理过程模型能将各个处理阶段有机地结合在一起,以便人们开发及使用KDD应用系统。为了使KDD能够更好地应用于实践,下面先介绍具有代表性的多处理阶段过程模型。

多处理阶段过程模型将数据库中的知识发现看作是一个多阶段的处理过程,即在整个知识发现的过程中包括很多处理阶段,这里主要面向多阶段处理的KDD处理过程模型。图2.28是UsamaM.Fayyad等人给出的处理模型。

图2.28　多阶段的数据库中知识发现的处理过程模型

从图2.28可见,KDD过程是多个步骤相互连接、反复进行人机交互的过程。具体包括:

第一,数据准备:了解KDD相关领域的有关情况,熟悉有关的背景知识,明确用户的实际要求。

第二,数据选择和抽取:根据用户的要求从数据库中提取与KDD相关的数据,KDD将主要从这些数据中进行知识提取,在此过程中,常利用一些数据库操作对数据进行处理。

第三,数据清理和预处理:检查数据的完整性和一致性,去除噪声或无关数据,去除空白数据域等。

第四,数据变换:对经过预处理的数据,根据知识发现的任务对数据进行再处理,例如根据需要对数据进行相应的规范化和分类。

第五,确定KDD的目标:在充分了解用户要求的基础上,确定KDD发现了何种类型的知识。

第六,选定某个数据挖掘算法:用KDD过程中的准则,选择某个特定数据挖掘算法用于搜索数据中的模式,该算法可以是近似的。

第七,数据挖掘:运用选定的知识发现算法,从数据中提取出用户所需要的知识。

第八,解释:解释通过挖掘发现的模式,去掉多余的不切题意的模式,转换某个有用的模式,并把这些知识结合到实际应用中,证明这些知识的价值所在。

在对挖掘的知识进行评测后,根据结果可以决定是否重新进行某些处理过程,在处理的任意阶段都可以根据需要返回以前的阶段进行再处理。

依据上述多处理阶段过程模型,以频繁情节挖掘技术为例,对数据挖掘过程进行研究,以发现卫星广播电视网络产生告警的规律。建立模型的过程主要包括以下几步:

•领域知识理解;

•确定KDD目标;

•数据抽取;

•数据清洗和预处理;

•数据挖掘;

•解释评价模式知识。

2.4.5.3.2　卫星广播电视监测网络分析

1.影响卫星电视信号传播的可能因素

由于广播卫星在赤道上空工作,卫星电视广播信号是在开放的路由中传输播送,因此,很容易受到气象、天气等变化的影响,也有可能受到其他通讯信号或人为的干扰。通过广播电视卫星传输的技术原理分析,并总结日常卫星电视监测的工作经验,在电视节目播出中心信号正常的情况下,影响电视广播传播的可能因素主要概括为以下4个方面:

第一,由于地面上行站系统的故障,导致信号调制、信号功率、天线跟踪卫星、信号上行等方面的问题影响播出,导致卫星转发器收不到地面上行节目信号。如果这类问题发生,就会造成服务区的所有接收站都不能收到正常信号。

第二,卫星在轨道上空漂移,卫星转发器故障、受到其他通讯信号或人为干扰导致信号不能正常下行,这方面问题一旦发生,会导致所有服务对象无法正常收听收看的严重后果。

第三,在卫星信号上下行的路由空间中,因雨、雪、沙尘等天气变化影响电波传播。对工作频段越高的卫星广播系统的影响越大。此外,影响卫星信号空中电波传播的还有日凌、太阳电磁风暴等天文因素。

第四,上述三个环节正常的情况下,影响地面接收的因素主要有:所有地区的电磁环境,气象条件以及接收系统的状况等。

2.卫星电视信号监测的主要指标

在包括播出中心在内的卫星电视广播信号的各个技术环节中,影响卫星电视信号正常传输的原因尽管有很多,但劣化主要表现在三个层面上:信道、解调、节目;反映到最后的传输质量效果时主要表现在:信号频谱畸变、载噪比下降、误码率升高(数字信号、模拟信号体现在信噪比劣化)、信道攻略变化以及视频画面与音频效果。每一层的主要监测指标如图2.29所示。

图2.29　卫星电视信号监测的主要指标

2.4.5.3.3　卫星广播电视告警数据分析

目前,虽然监测中心在同步监测时记录的数据较为全面,但用以记录的数据相对简单,主要分为两类:一是图像MPEG格式的记录,二是告警前后误码率的记录(包括纠错前和纠错后误码率)。

鉴于MPEG图像记录保存时间有限,只有近期一段的备份,加之目前国内外均无成熟的视频信息分析技术,对于总结挖掘有价值的模式尚不具备可行性。所以可以采用误码率作为研究挖掘的对象。

由于误码率本身是一组单精度的浮点数,需要对其进行变换才能挖掘,可以采取专家输入阈值,对不同值域的数据进行分割以抽象误码率的类别;同时可以变换不同的阈值,来查看结果。详细的处理,将在后面预处理的部分介绍。

2.4.5.3.4　数据挖掘目标

当前卫星广播电视网络的故障管理的依据是设备的告警,当网络出现故障时,网络管理人员就根据对应的告警来发现产生故障的原因,然后排除故障或者进行紧急处理。显然,这种管理方式是非常被动的。

出现这种情况的原因是卫星广播电视系统中的设备逻辑拓扑上是相互连接的,而设备提供商却无法预见他们的设备将放入什么样的网络环境,与何种设备相连,对于由于天气和敌对分子的故意攻击更是无法进行前摄的决策。

为了更好地管理卫星广播电视网络,要求网管人员对网络及其设备有很深入的了解,如能够发现网络产生告警的关联规律等。然而实际情况却是:要求网管人员对可控性低的卫星广播电视网络及其设备有很深入的了解是不现实的,尤其是随着敌对分子的破坏手段越来越高明,方式越来越复杂,网络设备不断更新,这一要求就更不易实现。

既然上述方法是不可行的,那我们换另一个角度去探求上一节的分析。我们知道卫星广播电视系统中的历史告警数据保存在告警数据库中,这个数据库中蕴涵了许多与卫星广播电视网络有关的有用信息,如:

第一,告警数据属性间的关联关系;

第二,告警序列关系。

由于告警数据库很大,用传统技术对之进行分析是不现实的,应采用数据挖掘技术对告警数据进行分析,即采用频繁情节挖掘算法来挖掘历史告警数据,并从中发现有用的信息。因此,挖掘目标便是:

第一,告警数据属性间的关联模式;

第二,告警序列模式。

挖掘告警序列模式是主要目标,告警序列模式让我们可以总结人为攻击和天气影响等其他故障中的规律,利用告警序列模式可以进行故障预测,这对于网络管理员将是非常有用的。

2.4.5.3.5　卫星广播电视告警数据挖掘的实现

1.预处理

现有卫星广播电视的存档告警数据中,除短期内的视频记录以外,只有纠错前后的误码率的记录,因此,对于误码率的分析成为主要入手点,然而误码率在数据库里的表现形式为定长时间间隔的浮点数值序列,显然无法进行直接分析。可以通过实验测试和咨询专家界定阈值,将序列中的数值分为几个值域,然后用其他简单的符号代替。

这里以某日亚洲3S的非法干扰告警记录为例,为误码率设置5个值域,并以A、B、C、D、E代表五个值域。值域的划分具有重要作用,不合理的输入可能会带来无价值的结果,所以在值域划分上需要进行不断测试并参考专家意见。

分析前的数据是截为定长(300条)的误码率记录,图2.30和图2.31表示了它们在数据库中的存储形式以及预处理转换后的形式。

处理之后以字符代替值域,也就代表了误码率变化曲线上的各个节点,这样可以以连续事件的形式来描述误码率的变化规律。

图2.30　卫星电视信号误码率记录的数据库存储形式

图2.31　卫星电视信号误码率记录转换后的形式(以字符代替值域)

2.数据挖掘

得到预处理数据之后,便可以采用频繁情节挖掘算法从中发现告警模式。因为卫星广播电视告警的记录是时序性的记录,而且只有挖掘出来的串行情节在我们的实际工作中才有较大的应用价值,因此,根据取得的历史告警记录,在卫星广播电视告警数据挖掘中,主要考虑串行情节的挖掘。

相关的数据结构如下:

第一,C、F为两个stringlist类型的数组,其第i项分别存放i项候选集和i项频繁集。

数据表Values按照时间排序,用于存储经过预处理后的序列,记录指针的顺序下滑实现窗口的滑动。

第二,Temp为stringlist类型的数组,用来在窗口滑动过程中记录所有候选情节的变化状态,其中的经历时间用来实现窗口的宽度,从指针指向该记录开始计时,指针的每次滑动都引起经历时间加1,当经历时间大于窗口宽度时,时间滑出窗口。

第三,C_XG、F_XG为两个三维数组,C_XG用于存放候选集的计数,F_XG用于存放频繁集的计数、频繁集、信任度、子集所在位置,其中后两项用于生成频繁规则。

算法流程大致如下:

接受用户输入的窗口宽度和频繁度;根据窗口宽度设定C[]、F[]的宽度;

遍历整个告警序列产生C[0],即一项频繁集的候选集;

根据一项频繁候选集中时间出现的次数与频繁度进行比较,产生F[0]即1—项频繁集:

fori:=1toWin_Lengthdo

清空temp;

根据F[i-1]产生C[i];

Values数据表中的记录指针由顶端开始下滑

每滑动一步,temp中的所有元素的经历时间加1

若经历时间大于窗口宽度

若期待事件为空,表示该情节已经发生,对应的情节计数加1若期待时间不为空,则删除本数组元素

每滑动一步,删除temp中所有对进入窗口时间的期待

每滑动一步,对于进入窗口的事件A,遍历整个C[i],所有以A开头的候选情节产生一个元素加入数组temp中

窗口滑动完毕后,根据C[i]中所有元素的计数值产生F[i]。