H.264/AVC在无线环境的应用
Thomas Stockhammer, Miska M. Hannuksela, and Thomas Wiegand
2004/03/09
摘要----视频在无线网络的传输对高效率的压缩和网络的完善设计是一个极具挑战性的任务。这已经成为H.264/AVC编码标准化在非正式应用（如可视电话）和正式应用（如存储、广播、流媒体）领域的主要目标。H.264/AVC视频编码层的视频压缩性能有了巨大的提高。基于H.264/AVC的网络完善设计的目标是通过网络抽象层来实现的，这已经被开发出来用于在任何现有的和将来的网络包括无线网络来传输经过编码的视频数据。本文的主要目标是H.264/AVC在无线系统应用方面的一个概述，其中最重要的是H.264/AVC在无线会话服务中的应用。所有的这些应用都是通过不同的工具以及实验来证明过的。
I．介绍
自1997年以来，ITU-T的视频编码专家组（VCEG）就开始制订一个新的视频编码标准并在内部命名为H.26L。在2001年后期，运动图像专家组（MPEG）和VCEG决定共同成立一个联合视频组（JVT），为ITU-T即将推荐的H.264/AVC以及MPEG-4最新的部分AVC创立一个单独的技术设计。JVT成立后，技术规范、标准文档以及软件在2002年11月已经制订下来。H.264/AVC的主要目标就是提高编码效率和提高网络适应性。在相同的图象质量下，H.264/AVC的算法比以前的标准如ITU-T REC.H.263和ISO/IEC JTC 1 MPEG-4的码流都大为降低。
在今天的Internet，对多媒体服务的需求呈现快速增长的趋势。因此，很多当前和将来的移动网络，如GSM-GPRS，UMTS和CDMA-2000，包含一个多变的基于包的传输模式，几乎可以在所有的移动终端上进行任何类型的基于IP的的数据传输，这样就可以提供给用户一个简单灵活的传输界面。第三代合作方案（3GPP）已经选择了几个多媒体编码器包含在他们的多媒体规范里面。为3G无线系统提供基本的视频服务，在建立好的规范里已经集成了H.263和MPEG-4 v SP。这个选择是在编解码可管理复杂性的基础上完成的。
由于受无线网络有限的带宽资源和传输能力的限制，目前市场上最终用户大部分是按照流量付费的方式来使用无线网络数据服务的。因此，提高压缩效率是无线视频和多媒体应用的主要目标。 因此，H.264/ AVC编码标准成为在多媒体信息服务(MMS)、包交换流服务(PSS)和会话应用方面最有竞争力的候选标准。然而,要使视频在不同的环境下传输，不但需要高效率的编码，同时经过编码的视频应该很容易地无缝集成到当前和未来的网络协议架构当中。除此之外，视频编码在会话应用中提高容错的支持是重要的，这也是在编码标准化过程中被考虑的因素之一。
这篇文章是按照以下结构来组织的，第二部分介绍无线视频应用的各种应用程序和传输特征。采用H.264/AVC编码的视频传输进行了简单的讨论以及对移动视频传输在普通环境下的测试的介绍。第三部分总结了H.264/AVC视频编码标准在无线视频应用领域的前景。我们根据不同的视频服务应用进行了分类描写。第四部分讨论了时延约束和差错控制这两个最具挑战性的应用，也就是无线会话应用程序。在这里通过利用H.264/AVC以及联合其它几个方式的系统设计方案进行了系统描述和问题的表达。第五部分提供了在普通环境下对所选系统的测试结果。
II．视频在移动网络
A.概述：应用和局限性
移动终端传输视频流是3G网络成功的一个重要应用之一。移动终端的几个最新视频应用为3G应用提供了很好的铺垫。
以下三个主要的服务标志着H.263/AVC标准的进程：
1） 应用于视频电话和视频会议的电路交换和包交换会话服务（PCS）
2） 应用于直播和视频录象的包交换流媒体服务（PSS）
3） 多媒体信息服务（MMS）
虽然新的服务如多媒体广播/组播服务（MBMS）是未来无线网络的发展计划，但我们被约束成单一的应用程序接受者。移动手持设备受处理器速度和存储容量的限制，因此，移动视频编码的设计必须以最低复杂度和最高效率为目标。正如其它文章所讨论的复杂问题一样，我们将自己约束在传输和工具上。以上三点定义的应用可以在预定的的传输带宽里面，最大限度地允许端到端的时延，在不同的系统结构有不同的结果，一个简单的图示如图一。
由于MMS没实时性的约束，编码，传输和解码完全分离。记录的视频信号进行离线编码和本地存储。可以在任何时间进行发送，接受端在完全下载下来后才进行解码。
对于PSS应用程序来讲，用户典型地请求已经编码好并存放在服务器的队列。反之编码和传输是分开的，解码和显示是在移动设备的时延和内存的使用率最小时开始。
最后，在会话服务中端到端的时延已经最小化来避免可视的干扰和保持视频和音频的同步。然而，编码、传输和解码实时地在双向同时进行。这些不同的额外情况需要不同的策略去编码、传输和解码, 如下面的网络和控制结构图。
一般而言，通过无线网络来传输数据的可用带宽是有限的，用户则希望他们使用无线网络所付出的代价与其低带宽是成正比的。因此，低码流很适合大众，在移动环境的视频编码标准的成功取决于压缩效率。这样使H.264/AVC成为了无线系统的最佳候选标准，因为它的特点就是高效率压缩。
除此之外，移动网络由于受地理环境、天气以及多用户冲突等因素的影响，造成网络波动较大。频道变化的频率高度地依赖环境、用户的位置、用户移动的速度和信号载波的频率。 通过信号统计进行长代码的平衡是可以充分实现的，因此传输策略可以根据长时间的数据测试来进行制订。在3G系统中应用C语言可以使许多高度复杂的广播链路频道情况得以优化，例如宽带接入、差异技术、时空编码、多天线系统、快速控制、交叉以及错误修复转发。然而,这些高级的技术只是对快速移动的用户和相对较大时延的应用来提供可以忽略不计的位错误和丢包率。 通常，由于信道不稳定的原因，在低时延的应用里面不得不忽略一些残留的错误。 因此,除了高压缩效率和合理的复杂性,适用于无线环境会话服务的视频编码标准必须具有较高的抗误码的能力。
另外，在无线系统设计的新方向中不需要将误码率降到最低,但是吞吐量的最大化是必须的。这尤其对时延要求不高的服务，例如PSS和MMS。信道的状态对服务的使用有很大的影响，在信道状态好的时候较可传输的数据流大大高于信道较差的时候。除此之外，可靠的链路层协议ARQ（Automatic Repeat reQuest） 通常用来保证无错误发送。举例来说,在高速下载链路包访问(HSDPA)概念中的ARQ，无线系统里有效地提高吞吐量，适应的模块化方案和多用户规划需要被列入考虑的范围。
3G无线传输堆栈通常由二种不同类型的输送介质组成，专用和共享信道。然而，使用专用信道用户可以获得固定带宽用于传输数据，但使用共享信道用户只有在动态的带宽下传输数据，类似于ATM或GSM GPRS。HSDPA将会成为共享信道在空中的一个扩展。除了MMS,在3G系统的初始阶段所有的流媒体和会话应用都希望使用专用信道。 在现代的系统设计中，一个应用可以请求许多不同的服务质量(QoS)级别的其中之一。服务质量级别包含最大误码率、最大延迟和最大保证的带宽等参数。此外,通常根据不同的应用分为不同的服务级别:会话应用、流媒体应用、交互应用以及后台通信应用。特性和典型的例子见表1。
B.H.264/AVC视频在无线的系统的传送
根据图2，H.264/ AVC在不同的概念层上区分开来，视频编码层(VCL)和网络抽象层(NAL)。VCL和NAL都是H.264/ AVC标准的一部份。VCL对视频编码信号进行了有效的说明。H.264/AVC的NAL定义了视频编码和外面世界之间的接口。它通过NAL单元来支持大部分基于包的网络。在NAL解码接口，它假设NAL单元已经通过解码命令被发送，数据包要么被正确接受，要么丢失，如果有效载荷里包括了错误的数据流，NAL单元的头就会产生一个错误的标记。由于标记可以用于不同的目的，因此它并不作为标准的一部分。然而,它提供一个在整个网络里提供错误指示信号的方法。此外，接口规范要求标准化主体有责任对不同传送协议进行描述。NAL单元在不同传输系统的精确传输和加密,例如H.320,MPEG-2系统和RTP/IP,也同样在h.264/AVC标准化的范畴以外。在标准里面正式定义了NAL解码接口,然而，VCL和NAL之间的接口只是概念上的定义，主要是帮助描述和分开VCL和NAL的任务。
在3G网络上面的实时视频服务,两个协议堆栈是最重要的。3GPP为电路交换信道定义了一个多媒体电话服务协议，就是基于ITU-T建议的H.324M。3GPP已经选择了SIP和SDP作为呼叫控制协议以及RTP作为媒体传输协议。换句话说，基于IP的包交换通信会在当前应用于包交换的3G移动服务。虽然H.324和RTP/UDP/IP协议堆栈有不同的根源和完全不同的交换哲学,但媒体数据在传输时的丢包、延时等特性在无线网络和有线网络都是非常相似的。
ITU-T建立H.324主要应用于低码流的电路交换链路，以及低码流的移动电路交换会话服务。ITU-T Rec. H.324附件C将H.324正式命名为H.324M,允许在中低码流或低误码下高码流情况下的传输。在3GPP采用的H.324M协议中，包括一个错误多路技术协议H.223附件B，用于电路交换的视频通信。这个多路技术协议包括两层:基于包的多路技术容错层和公共错误检测性能适应层,例如 ，顺序编号和循环码校验冗余检测。 因此,它跟RTP/UDP/ IP堆栈非常相似。
因为包交换服务,3GPP/3GPP2同意了一个基于IP的协议栈。图3展示了一个NAL单元通过3GPP2用户平面协议堆栈被封装在RTP/UDP/IP的典型过程。在头压缩（RoHC）后，此IP/UDP/RTP包被封装进一个PDCP/PPP2包，变成了频率链路控制（RLC）和服务数据单元（SDU）。RLC协议可以在三种模式下工作：透明、非确认和确认模式。RLC协议为用户和数据提供分段和重传服务。在透明和非确认模式，RLC被定义为单向的；在确认模式，RLC被定义为双向的。对於所有的RLC模式，循环冗余检查(CRC)的错误检测在物理层上被运行，而且CRC检查的结果和真实的数据一起被递送到 RLC。在透明模式中，没有上层的协议被增加到较高层的数据中。错误的协议数据单元（PDUs）可以被丢弃或标记为错误。在非确认模式中，没有重传协议在使用中，而且数据传送没有保证。接受到的错误数据根据配置来决定丢弃或标记为错误。在确认模式中，一种自动的重复请求机制被用于错误订正。
由于视频包是自然改变长度的,RLC-SDU的长度也改变。如果一个RLC-SDU比一个RLC-PDU长，PDU就会被分割成几个PDU。 在使用过的模式中，非确认和确认的模式中，为了避免数据的减弱，大小可变的RLC-SDU的流动是可变，在透明模式也是如此。在非确认模式中，如果任何包含特定RLC-SDU数据的RLC- PDU数据没有被正确地接收到,RLC-SDU典型地被丢弃。在确认模式中，RLC/RLP层可以执行重传。
此外，H.324和RTP/IP/UDP协议栈使用可靠的调整和控制协议，H.245和SIP也分别一样。 因此，它可以表明很少量的控制数据可以在一定的范围里可靠地传输。
在两个情形中的实时低时延的视频传输是非常相似的。 包通过底层的传输协议和信道来传输, 提供校位、封包、错误检测和可靠的调整。 我们将来的焦点集中在
通过无线信道进行基于RTP/IP的传输。
C. 无线视频的普通测试环境
在H.264/AVC的标准化进程中，移动视频传输的重要性已经在3G移动传输里面通过对基于H.324M的电路交换会话服务、包交换会话和流服务得到了证实。这些测试情况允许适当的编码特征、测试和容错仿真等特征的选择,同时也可以得到有意义的测试结果。在本文，我们将会把重心集中在基于IP的测试情况。在正常的测试情况下，我们会定义6个测试情形组合，主要测试通过3G移动网络的包交换会话服务和包交换流媒体服务。另外，测试环境包括简单的脱机3GPP/3GPP2仿真软件、程序接口和评估标准。无线信道使用专门生产用于移动无线信道仿真的位率差错模板来进行仿真。 位率差错模板在物理层上和RLC/RLP层下来捕获，因此，它们在实验被用于物理层仿真。通过位率差错模板实验中得出的码率、长度、位错误率和移动速度数据详见下表2。
位率差错在文件中的是独立统计统计,正如信号在3G系统编码和解码的时候发生错误一样。这为以下的位率差错模板文件所考虑。数组1和2 适合应用于视频流媒体,数据在RLP/
RLC层可以重传而且可以修正许多丢失的帧。 可以接受的信道编码策略是使用C语言的编码策略以及目标吞吐量最大化和错误最小化的能力控制。数组1和2
对会话服务是不切实际的,因为在图象质量可以接受的情况下，在没有重传机制的情况下不能够承受如此高的错误码流。
数组3到6的仿真结果更可靠，在会话应用中需要低错误率的运送者。 假定一任意的字节的开始位置在文件包可能发生错误的位置里面。 这些错误可能性的所有数据错误在图4中被显示。 明显可以看出错误率会因为包长度的增加而提高。从位率错误表格(BEP1和2)可知，当包长度减少的时候丢包率是不可以接受的, 举例来说，500个字节, 丢失可能性高达25%. 高的错误率需要在链路层上重传。
这个图表为合适包长度的会话服务提供了非常有分寸的错误特性分析。1000字节的合理包长度的错误特性可以低于5%. 这意味典型的固定英特网丢包的可能性不会被超过。但要注意，高速移动(50
km/h)的用户的信道状况比步行(3 km/h)用户要差得多。 因此，快速移动用户的错误率通常高与慢移动的使用者。
在标准化的过程中，标准的开始应该包含基于IP的有线和无线传输的容错特征。在今天的传输系统中通常有两种类型的错误：错位和丢包。 然而，所有相关多路传输协议如H.223和UDP/IP和几乎所有的移动系统都具备通过数字排队和块检测排队来进行丢包和错位检测的能力。因此，可以断定大部分被错误传输的包都能够被检测到。 而且，即使包被检测到包含位错误,解码也可以被尝试进行。这一点在某些研究已经被证实,在一些方案中，静止图的像传输已经被报告。然而，在H.264/ AVC 标准的开发考软件里面，基于以下的几点原因，含有位错误的包应被接受者考虑丢弃:
1. 处理含有位错误的包类似于通过移动设备来接收数据一样，网关和接收者都是通过丢弃错误的包来使用网络连接的。
2. 联合的源信道解码, 例如，可变长度基于架构的代码解码或重复的源和信道解码可以被接受。然而，这些技术还没有在图像解码方面显示重要的进步。
3.基于丢包的解码适合于在一个较窄的范围里进行，然而，H.264/AVC提供一个可用的针对错误倾向环境下的解码。
4. 最后,处理位错误通常会使解码软件的实现变得很复杂。H.264作为一个为许多目标开发测试的模型，只有简单和有意义的网络借口已经被集成。
除了定向接收器的错误检测，错误可能在传输路径的任何地方被发现并且马上发送信号。RTP草案里面关于H.264/ AVC有效载荷的定义里面包含了超出有效载荷指示的定义。当重新发送接收到的被修正错误的数据流的时候发射器能设定这个指示。此外，如果传输错误在相应的数据包中被发现，任何的中间网络元素能消除这个标记。因此,错误的有效载荷可以通过一个网络，而且解码器或任何网关能决定是否将这个错误的NAL单元解码或丢弃。
广州富年电子科技公司摘译供稿 CTI论坛编辑
相关链接: