CN104038762A

CN104038762A - 视频编码器、检测场景改变和控制视频编码器的方法

Info

Publication number: CN104038762A
Application number: CN201410081646.7A
Authority: CN
Inventors: 罗炳斗
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2013-03-06
Filing date: 2014-03-06
Publication date: 2014-09-10
Also published as: KR20140110221A; US20140254660A1

Abstract

提供一种视频编码器、检测场景改变和控制视频编码器的方法。视频编码器被配置为基于画面组(GOP)以宏块为单位对视频数据进行编码，通过分配帧内画面和帧间画面来确定GOP，每个帧内画面无需参照其他画面进行编码，每个帧间画面参照其他画面进行编码。控制视频编码器的方法包括：通过执行帧内画面预测和帧间画面预测来确定每个宏块的编码模式；基于用于确定每个宏块的编码模式的帧内画面预测和帧间画面预测的结果来检测画面的每个单元是否是场景改变；基于检测画面的每个单元是否是场景改变的结果来自适应地设置GOP的大小。

Description

视频编码器、检测场景改变和控制视频编码器的方法

本申请要求于2013年3月6日在韩国知识产权局(KIPO)提交的10-2013-0023694号韩国专利申请的优先权，该申请通过引用完全公开于此。

技术领域

示例实施例总体涉及视频数据压缩。更具体地讲，示例实施例涉及一种视频编码器、一种检测场景改变的方法以及一种用于自适应地设置画面组(GOP)的大小的控制视频编码器的方法。

背景技术

ISO/IEC(国际标准化组织/国际电工委员会）下的MPEG(运动图像专家组）和ITU-T(国际电信联盟远程通信标准化组织)下的VCEG（视频编码专家组)是视频编码的首要标准。MPEG和VCEG已经组织了JVT(联合视频组），JVT已经完成了H.264/AVC(高级视频编码)、视频编码的国际标准。与视频编码的先前标准(诸如，MPEG-2、MPEG-4、H.261、H.263等）相比，H.264/AVC通过提出了诸如可变块大小运动估计、1/4像素运动矢量分解、多参考画面运动估计及其他的功能来提供改进的视频数据压缩性能。

这些附加功能增加了编码器的复杂度和编码数据的流大小，使得难于在特定应用(诸如实时视频编码器）中采用H.264。

作为一种建议的用于在编码器中提高压缩效率的方法，可通过预处理来检测场景改变，并且可基于作为场景改变检测的画面开始新的GOP。然而，作为预处理器的结果，视频编码器的复杂度增加并且编码速度显著降低。

发明内容

根据示例实施例，提供了一种控制视频编码器的方法。该视频编码器被配置为基于画面组(GOP)以宏块为单位对视频数据进行编码，通过分配帧内画面和帧间画面来确定GOP，每个帧内画面无需参照其他画面进行编码，每个帧间画面参照其他画面进行编码。该方法包括：通过执行帧内画面预测和帧间画面预测来确定每个宏块的编码模式；基于用于确定每个宏块的编码模式的帧内画面预测和帧间画面预测的结果来检测画面的每个单元是否是场景改变；基于检测画面的每个单元是否是场景改变的结果来自适应地设置GOP的大小。

自适应地设置GOP的大小可包括：当没有检测到场景改变时，通过规则地分配帧内画面来将GOP的大小设置为正常大小；当将第一画面检测为场景改变时，将包括第一画面的GOP的大小设置为大于正常大小的增加的大小。

将GOP的大小设置为增加的大小可包括：将帧间画面分配给第一画面之后的第二画面，其中，当没有检测到场景改变时根据正常大小第二画面将被分配为帧内画面。

将GOP的大小设置为增加的大小可还包括：在将帧间画面分配给第二画面之后，当再次第三画面被检测为场景改变时，将帧间画面分配给第三画面之后的第四画面，其中，当没有检测到场景改变时根据正常大小第四画面将被分配为帧内画面。这里，P画面可被分配给第二画面和第四画面，其中，P画面参照先前画面中的至少一个进行编码。

增加的大小可以是正常大小的K倍，其中K是大于二的整数。

将GOP的大小设置为增加的大小可包括：将帧内画面分配给第一画面之后的第二画面，其中，第一画面和第二画面之间的画面的数量对应于附加大小。

将GOP的大小设置为增加的大小可还包括：在将帧内画面分配给第二画面之前，当再次第三画面被检测为场景改变时，将帧内画面分配给第三画面之后的第四画面，其中，第三画面和第四画面之间的画面的数量对应于附加大小。

包括被检测为场景改变的至少一个画面的GOP的大小可被设置为附加大小和先前帧内画面与最后被检测为场景改变的画面之间的画面的数量的总和。另外，附加大小可被设置为等于正常大小。

自适应地设置GOP的大小可包括：当没有检测到场景改变时，通过规则地分配帧内画面来将GOP的大小设置为正常大小；当第一画面被检测为场景改变并且第一画面在先前帧内画面与从所述先前帧内画面开始的第K画面之间时，其中，K是小于正常大小的正整数，将包括第一画面的GOP的大小设置为正常大小；当第一画面在第K画面之后时，将包括第一画面的GOP的大小设置为大于正常大小的增加的大小。

确定每个宏块的编码模式可包括：针对每个宏块，通过帧内画面预测计算最小帧内率失真成本，通过帧间画面预测计算最小帧间率失真成本；将编码模式确定为与在最小帧内率失真成本和最小帧间率失真成本中的最小值对应的模式。

检测画面的每个单元是否是场景改变可包括：针对每个画面中的多个宏块，通过将最小帧内率失真成本求和并将最小帧间率失真成本求和来计算帧内累积值和帧间累积值；基于帧内累积值和帧间累积值来确定针对每个画面是否检测到场景改变。

确定是否检测到场景改变可包括：计算帧内累积值与帧间累积值之间的比率；当该比率等于或小于参考值时，确定检测到场景改变；当该比率大于参考值时，确定没有检测到场景改变。

检测画面的每个单元是否是场景改变可还包括：产生指示是否检测到场景改变的标志信号。

针对每个帧内画面可省略检测场景改变，针对每个帧间画面可执行检测场景改变。

针对每个帧内画面和每个B画面可省略检测场景改变，针对每个P画面可执行检测场景改变，其中，参照至少一个先前画面来对每个P画面进行编码，参照至少一个先前画面和至少一个后续画面来对每个B画面进行编码。

针对从先前帧内画面开始到第K画面前面的画面可省略检测场景改变，其中，K是小于正常大小的正整数，并且针对第K画面之后的画面可执行检测场景改变。

该方法可还包括：基于用于确定每个宏块的编码模式的帧内画面预测和帧间画面预测的结果来控制编码数据的比特率。

控制编码数据的比特率可包括：基于每个宏块的最小帧内率失真成本和最小帧间率失真成本，以宏块为单位调整量化参数。

控制编码数据的比特率可包括：基于通过对每个画面中的多个宏块的最小帧内率失真成本和最小帧间率失真成本进行求和计算的帧内累积值和帧间累积值，以画面为单位来调整量化参数。

视频编码器可与H.264标准兼容。

根据示例实施例，提供了一种基于画面组(GOP)以宏块为单位对视频数据进行编码的视频编码器。通过分配帧内画面和帧间画面来确定GOP，每个帧内画面无需参照其他画面进行编码，每个帧间画面参照其他画面进行编码。该视频编码器包括：编码模块，被配置为通过执行帧内画面预测和帧间画面预测来确定每个宏块的编码模式，其中，根据确定的编码模式以宏块为单位来对视频数据进行编码；控制模块，被配置为基于用于确定每个宏块的编码模式的帧内画面预测和帧间画面预测的结果以画面为单位来检测场景改变，并且被配置为基于场景改变的检测结果来自适应地设置GOP的大小。

控制模块可包括：场景改变检测块，被配置为基于帧内累积值和帧间累积值来产生指示场景改变是否被检测到的标志信号，其中，通过以画面为单位对最小帧内率失真成本和最小帧间率失真成本进行求和来计算帧内累积值和帧间累积值，并且以宏块为单位从编码模块提供最小帧内率失真成本和最小帧间率失真成本。控制模块可还包括：画面类型判定块，被配置为基于标志信号来设置GOP的大小。

视频编码器可还包括：比特率控制块，被配置为基于用于确定每个宏块的编码模式的帧内画面预测和帧间画面预测来控制编码数据的比特率。

比特率控制块可被配置为基于每个宏块的最小帧内率失真成本和最小帧间率失真成本，以宏块为单位调整量化参数。

比特率控制块可被配置为基于通过对每个画面中的多个宏块的最小帧内率失真成本和最小帧间率失真成本进行求和计算的帧内累积值和帧间累积值，以画面为单位来调整量化参数。

该视频编码器可被包括在计算***的处理器中，其中，计算***还包括图像传感器。另外，视频编码器可与H.264标准兼容。

根据示例实施例，提供了一种在视频数据中检测场景改变的方法，所述方法包括：接收视频数据；针对视频数据的每个宏块，通过帧内画面预测计算最小帧内率失真成本，通过帧间画面预测计算最小帧间率失真成本；针对视频数据的每个画面中的多个宏块，通过将最小帧内率失真成本求和并将最小帧间率失真成本求和来计算帧内累积值和帧间累积值。该方法还包括：基于帧内累积值和帧间累积值来确定针对每个画面是否检测到场景改变。

附图说明

通过下面结合附图进行的详细描述将更加清楚地理解发明构思的示例实施例。

图1是在描述根据发明构思的示例实施例的控制视频编码器的方法中供参考的流程图。

图2是示出根据发明构思的示例实施例的视频编码器的框图。

图3是示出规则设置的画面组(GOP)的示例的示图。

图4是在描述根据发明构思的示例实施例的自适应设置GOP的方法中供参考的流程图。

图5、图6和图7是示出根据发明构思的示例实施例的自适应设置的GOP的示例的示图。

图8是示出在图2的视频编码器中的画面类型判定块的示例的框图。

图9是在描述图8的画面类型判定块的操作示例中供参考的示图。

图10是示出根据规则GOP设置的画面的比特数量的示例的示图。

图11、图12和图13是示出在图10中的一些画面的示例的示图。

图14是示出根据自适应GOP设置的画面的比特数量的示例的示图。

图15是示出在图14中的画面之一的示例的示图。

图16是示出关于比特率的信噪比的自适应GOP设置示例和规则GOP设置示例的示图。

图17和图18是示出根据发明构思的示例实施例的自适应设置的GOP的示例的示图。

图19是在描述根据发明构思的示例实施例的自适应地设置GOP的方法中供参考的流程图。

图20是示出根据发明构思的示例实施例的自适应设置的GOP的示例的示图。

图21是示出在图2的视频编码器中的画面类型判定块的示例的框图。

图22是示出图21的画面类型判定块的操作的示图。

图23是示出根据发明构思的示例实施例的自适应设置的GOP的示例的示图。

图24是在描述根据示例实施例的操作视频编码器的方法中供参考的流程图。

图25是在描述根据示例实施例的检测场景改变的方法中供参考的流程图。

图26是示出在图2的视频编码器中的场景改变检测块的示例的框图。

图27是示出在图2的视频编码器中的使能信号发生器的示例的框图。

图28是在描述根据示例实施例的操作视频编码器的方法中供参考的流程图。

图29是用于描述根据画面类型的参考画面的示例的示图。

图30、图31和图32是用于描述检测的场景改变和真实场景改变之间的关系示例的示图。

图33是示出根据发明构思的示例实施例的视频编码器的框图。

图34示出根据发明构思的示例实施例的包括视频编码器的计算机***的框图。

图35示出在根据发明构思的示例实施例的图34的计算***中可采用的接口的框图。

具体实施方式

下文中将参照显示一些示例实施例的附图对各种示例实施例进行更加全面地描述。然而，本发明构思可实现为许多不同的形式，并且不应该被解释为限于在这里阐述的示例实施例。然而，这些示例实施例被提供，以便此公开将是彻底和完整的，并且将向本领域的技术人员全面地传达本发明构思的范围。在附图中，为了清楚，层和区域的大小和相对大小可被放大。相同的标号始终指示相同的元件。

将理解，尽管可在这里使用术语第一、第二、第三等来描述各种元件，但是这些元件不应由这些术语限制。这些术语用于将一个元件与另一元件区分。因此，在不脱离本发明构思的教导的情况下，以下讨论的第一元件可被称为第二元件。如这里所使用，术语“和/或”包括一个或多个的相关所列术语的任何组合和所有组合。

将理解，当元件被称为与另一元件“连接”或“耦接”时，可以直接与另一元件连接或耦接，或者可存在中间元件。相反，当元件被称为与另一元件“直接连接”或“直接耦接”时，不存在中间元件。用于描述元件之间的关系的其他字词应该以类似的方式(例如，“在......之间”对“在......直接之间”，“相邻”对“直接相邻”等）解释。

在这里使用术语仅用于描述特定示例实施例的目的并且不意于限制本发明构思。如这里所使用，单数形式也意于包括复数形式，除非上下文明确地相反指示。将进一步理解，当术语“包括”和/或“包含”使用在此说明书中时，这些术语指定存在陈述的特征、整数、步骤、操作、元件和/或组件，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组合。

还应注意，在一些可选实施中，在块中注释的功能/动作可不按照流程图中注释的顺序发生。例如，根据所涵盖的功能/动作，连续显示的两个块事实上可基本上同时执行或者块有时候可按照相反顺序执行。

除非相反定义，这里使用的所有术语(包括技术和科学术语）具有与此发明构思所述领域的普通技术人员通常理解的相同涵义。将进一步理解，诸如在经常使用的词典中定义的术语应该被解释为具有与在相关技术的上下文中的它们的涵义一致的涵义，并且将不以理想或过度的形式来解释，除非这里明确的定义。

在此示例实施例中，视频编码器被配置为基于画面组(GOP)以宏块为单位对视频数据进行编码。通过分配帧内画面和帧间画面来确定GOP，其中，在不参照其他画面的情况下来对每个帧内画面进行编码(即，独立于其他画面编码），参照其他画面来对每个帧间画面进行编码（即，依赖其他画面编码）。

参照图1，通过执行帧内画面(例如，帧内帧、帧内域等）预测和帧间画面(例如，帧间帧、帧间域等）预测来确定每个宏块的编码模式(S100)。可通过根据诸如MPEG、H.261、H.262、H.263、H.264等的标准以画面为单位来对视频数据进行编码。画面可对应于顺序扫描形式的帧或隔行扫描形式的域。稍后由解码器来恢复编码的画面，并且恢复的画面被存储在存储器(诸如解码的画面缓冲器(DPB))中。当对后续画面进行解码时，存储的画面可被用作运动估计的参考画面。通常，一个画面可被分为多个宏块，从而每个宏块包括16*16个像素，从而可以以宏块为单位对每个画面进行编码和解码。可针对每个编码的画面来确定画面类型，并且可根据画面类型针对顺序输入到编码器中的每个宏块来执行帧内画面预测和帧间画面预测。当确定编码的画面为帧内画面时，可对帧内画面中的每个宏块执行仅帧内画面预测。当确定编码的画面为帧间画面时，可对帧间画面中的每个宏块执行帧内画面预测和帧间画面预测。在这里，帧内画面可被称为I画面，帧间画面可被称为P画面（预测画面）和/或B画面(双向预测画面）。

基于用于确定每个宏块的编码模式的帧内画面预测和帧间画面预测的结果，以画面为单位检测场景改变（S300)。从编码数据的图像质量和流大小(或比特率）的观点，通过对检测为场景改变的画面分配帧内画面，在对画面编码和设置新的GOP之前，通过预处理来检测场景改变是最有效的。然而，在这种预处理的情况下，由于预处理，视频编码器的复杂度增加，并且编码速度显著减小。根据发明构思的示例实施例，可通过后处理来执行检测场景改变。换句话说，可使用在编码处理中必不可少需要的预测结果来执行检测场景改变。

基于场景改变的检测结果来调整GOP的大小(S500)。由于通过后处理来执行场景改变检测，因此将GOP大小的调整施加到检测为场景改变的画面之后的画面。

这样，通过基于场景改变的检测结果后处理和自适应地调整GOP大小来检测场景改变，编码的数据的比特率可被有效地减小，而没有过度地增加视频编码器的复杂度。

图2是示出根据发明构思的示例实施例的视频编码器的框图。

图2示出视频编码器10，视频编码器10被配置为基于画面组(GOP)以宏块为单位来对视频数据进行编码。通过分配帧内画面和帧间画面来确定GOP，其中，在不参照其他画面的情况下来对每个帧内画面进行编码，参照其他画面来对每个帧间画面进行编码。

参照图2，视频编码器10包括编码模块100和控制模块500。

编码模块100接收以宏块为单位提供数据比特的输入视频数据信号VDI。编码模块100通过执行帧内画面预测和帧间画面预测来确定每个宏块的编码模式，并且根据确定的编码模式以宏块为单位来对视频数据进行编码。

编码模块100可包括预测块200、模式判定块(MD)300、减法器101、变换块(T)102、量化块(Q)103、熵编码器(EC)104、编码画面缓冲器(EPB)105、反量化块(Q^-1)106、逆变换块(T^-1)107、加法器108、去块滤波器(DF)109和存储器(MEM)110。

预测块200可包括帧内画面预测块210和帧间画面预测块250，针对以宏块为单位输入的视频数据，帧内画面预测块210执行帧内画面预测，帧间画面预测块250执行帧间画面预测。预测块200可根据可通过画面类型分配信号PTA确定的指示I画面、P画面或B画面的画面类型，来执行帧内画面预测和/或帧间画面预测。当画面类型分配信号TPA指示当前编码的画面是I画面时，帧间画面预测块250会被禁用，而仅帧内画面预测块210会被启用来执行帧内画面预测。当画面类型分配信号PTA指示当前编码的画面是P画面或B画面时，帧内画面预测块210和帧间画面预测块250都会被启用来分别执行帧内画面预测和帧间画面预测。帧内画面预测块210可无需参照其他画面来执行帧内画面预测，以确定当前画面内的每个宏块的编码模式。帧间画面预测块250可在P画面情况下参照先前画面并且在B画面情况下参照先前画面和后续画面来执行帧间画面预测，以确定每个宏块的编码模式。

根据H.264标准，可用的宏块编码模式可被主要分为帧间模式和帧内模式。帧间模式可包括跳过的四种运动补偿模式，16×16、8×16、16×8和8×8，8×8运动补偿模式可包括关于每个8×8子块的三种子模式8×4、4×8和4×4。帧内模式可包括四种16×16帧内画面预测模式和九种4×4帧内画面预测模式。

预测块200可执行如下的率失真优化，以采用以上提到的可用编码模式之一来对每个宏块进行编码。

帧内画面预测块210可获得产生如等式1表示的帧内率失真成本Jmode的最小值的一个帧内模式。

等式1

Jmode=DISTmd+Kmd×Rmd

在等式1中，Kmd指示模式判定的拉格朗日系数，Rmd指示采用候选帧内模式对宏块进行编码所需的比特数量。DISTmd指示恢复的宏块的像素与输入的宏块的像素之间的失真。失真函数可以是绝对差和(SAD)、绝对变换差和(SATD)、平方差和(SSD)等之一。帧内画面预测块210可针对每个帧内模式计算Jmode的值，并且可将Jmode的最小值确定为最小帧内率失真成本MCST1。

帧间画面预测块250可针对除了跳过模式之外的每个帧间模式获得最佳运动矢量。最佳运动矢量对应于产生如等式2表示的帧间率失真成本Jmotion的最小值的运动矢量。

等式2

Jmotion=DISTmt+Kmt×Rmt

在等式2中，Kmt指示用于运动估计的拉格朗日系数，Rmt指示使用候选帧间模式、候选参考画面和候选运动矢量对宏块进行编码所需的比特数量。DISTmt指示通过候选运动矢量运动补偿的宏块的像素与输入宏块的像素之间的失真。失真函数可以是SAD、SATD和SSD等之一。

可根据搜索窗口的大小来确定候选运动矢量的种类。在视频编码器10参照多个参考画面的情况下，可针对每个参考画面来重复等式2的计算。帧间画面预测块250可针对每个帧内模式、每个参考画面和每个候选运动矢量来计算Jmotion的值，并且可将Jmotion的最小值确定为最小帧间率失真成本MCST2。

模式判定块300可将最小帧内率失真成本MCST1与最小帧间率失真成本MCST2进行比较，并且可确定与成本MCST1和MCST2中较小的一个对应的编码模式。模式判定块300可提供确定的编码模式、相应参考块、最佳运动矢量等。

减法器101可通过从输入的宏块减去由模式判定块300提供的参考块来产生残余块。变换块202可针对由减法器101产生的残余块执行空间变换。空间变换可以是离散余弦变换(DCT)、小波变换等之一。可获得作为空间变换的结果的变换系数(诸如DCT系数、小波系数等）。

量化块可对由变换块102获得的变换系数进行量化。通过量化(诸如，标量量化、矢量量化等），变换系数可被组合为离散值。例如，根据标量量化，可按照量化表中的相应值来划分每个变换系数，并且商可被化为整数。

在采用小波变换的情况下，嵌入式量化(诸如，嵌入式小波零树算法(EZW)、多级树集合***(SPIHT)、嵌入式零块编码(EZBC)等）可被使用。这种在熵编码之前的编码处理可被称为有损编码处理。

熵编码器104可针对来自量化块104的量化数据、帧内画面预测模式的信息、参考画面数量、运动矢量等来执行无损编码，以产生比特流BS。无损编码可以是算数编码(诸如，上下文自适应二进制算数编码(CABAC)）、可变长度编码(诸如上下文自适应可变长度编码(CAVLC))等。比特流BS可被缓冲在缓冲器105中，并且随后输出到外部装置。

编码画面缓冲器105、反量化块106和逆变换块107可被用于通过对无损编码的数据进行逆向解码来产生重建的块。

加法器108可将来自逆变换块107的重建的块与来自模式判定块300的参考块进行求和来恢复输入的宏块。恢复的宏块可提供给去块滤波器109，去块滤波器109可针对宏块的边界执行去块滤波。滤波的数据被存储在存储器110中并且被用作用于对其他画面进行编码的参考画面。

控制模块500基于帧内画面预测和帧间画面预测的结果(即，来自编码模块100的最小帧内率失真成本MCST1和最小帧间率失真成本MCST2）以画面为单位来检测场景改变，并且基于场景改变的检测结果来调整GOP的大小。

控制模块500可包括画面类型判定块(PTD)600和场景改变检测块(SCD)700。

场景改变检测块700可基于来自编码模式100的最小帧内率失真成本MCST1和最小帧间率失真成本MCST2产生标志信号FL，标志信号FL指示是否检测到场景改变。例如，场景改变检测块700可以以画面为单位通过将最小帧内率失真成本MCST1和最小帧间率失真成本MCST2进行求和来计算帧内累积值ACC1和帧间累积值ACC2，以基于帧内累积值ACC1和帧间累积值ACC2来产生标志信号FL。场景改变检测块700可与每当完成对每个画面的编码时激活的画面结束信号EOP同步地确定标志信号FL的逻辑电平。

画面类型判定块600可基于标志信号FL来调整GOP的大小。画面类型判定块600可产生与画面结束信号EOP同步变化的画面类型分配信号PTA，以指示当前编码的画面的画面类型。例如，画面类型分配信号PTA可指示I画面、P画面或B画面。可通过不用参照其他画面来编码的I画面的分配间隔来确定GOP的大小。可通过参照先前画面编码的P画面和参照后续画面编码的B画面的分配模式来确定GOP的结构。画面类型判定块600可根据当前编码的画面的画面类型来产生用于选择性地启用场景改变检测块700的使能信号EN。下文中，参照图3至图23来描述画面类型判定块的配置和操作。

图3是示出规则设置的GOP的示例的示图。

可通过分配的I画面的间隔来确定GOP的大小，并且可通过分配的P画面和/或B画面的布置来确定GOP的结构。可通过P画面和/或B画面(也就是，参照其他画面编码的帧间画面）的合适布置来减小编码数据的比特数量，并且可通过限制GOP的大小(也就是，通过规则或不规则地分配不用参照其他画面编码的I画面）来防止通过连续帧间画面的误差传播。

图3示出通过规则地分配I画面用正常大小N设置的GOP的示例。图3中的画面数PN表示编码顺序，根据GOP的结构，编码顺序可与显示顺序不同。分配为I画面的第一画面至第N画面形成第一画面组GOP1，分配为下一I画面的第N+1画面至第2N画面形成第二画面组GOP2。以这种方式，自第2N+1画面开始的N个画面形成第三画面组GOP3。

可根据由图2中的画面类型判定块600产生的画面类型分配信号PTA来可变地确定GOP的结构。图3示出IPBB模式的示例GOP。在这种情况下，由于参考画面根据画面类型改变，因此显示顺序与编码顺序不同。例如，P类型的第二画面必须在B类型的第三画面和第四画面之前被编码，随后第三画面和第四画面可参照编码的第二画面被编码。

根据示例实施例，当场景改变检测被禁用或者当场景改变没有被检测到时，可采用如图3所示的规则GOP设置。

参照图2和图4，画面类型判定块600可从场景改变检测块700接收标志信号FL(S510)。例如，当检测到场景改变时，标志信号FL可具有逻辑高电平“1”，而当没有检测到场景改变时，标志信号FL可具有逻辑低电平“0”。

当没有检测到场景改变(S520：否）时，画面类型判定块600可通过如参照图3描述的规则地分配帧内画面来将GOP的大小设置为正常大小(S530)。当检测到场景改变(S520:是）时，画面类型判定块600可将包括场景改变的GOP的大小增加到大于正常大小(S540)。可以以画面为单位来确定标志信号FL的逻辑电平，并且以画面为单位重复以上处理S510、S520、S530和S540，直到针对所有画面的编码完成(S550:是)。

这样，可通过根据场景改变的检测自适应地调整GOP大小来减小图像质量的波动以及编码数据的流大小。

分别地，规则GOP设置被示出在图5、图6和图7的上部分，当检测到场景改变时的自适应GOP设置被示出在图5、图6和图7的下部分。

如参照图3所描述，当没有检测到场景改变时通过规则地分配I画面，画面组GOP1、GOP2和GOP3的大小可被设置为正常大小N。

参照图5，当检测到场景改变时，包括场景改变画面(M)的画面组GOP1的大小可被增加为大于正常大小N。通过用帧间画面来代替根据正常大小N被分配为帧内画面的画面(N+1)来实现GOP大小的增加。在如图5所示的示例实施例中，在没有检测到场景改变的情况下根据正常大小N被分配为帧内画面的画面(N+1)可被分配为P画面。在这种情况下，包括场景改变画面(M)的画面组GOP1a的大小可被增加为正常大小的两倍，即2N。由于后续画面组GOP2a不包括场景改变画面，因此后续画面组GOP2a可具有根据规则GOP设置的正常大小N。

图6示出在正常大小N内的两个画面(M1和M2)被检测为场景改变的示例情况。在这种情况下，根据正常大小被分配为I画面的最终场景改变画面(M2)之后的画面（N+1）可用帧间画面(例如，P画面）来代替。作为图5的情况，包括两个场景改变画面(M1和M2)的画面组GOP1a的大小可被增加为正常大小N的两倍，即2N。由于后续画面组GOP2a不包括场景改变画面，因此后续画面组GOP2a可具有根据规则GOP设置的正常大小N。

图7示出由于在由于场景改变用P画面代替画面（N+1)之后并在将下一I画面分配给画面(2N+1)之前的场景改变，因此再次检测到画面(M2)的示例情况。在这种情况下，可再次用P画面来代替根据正常大小被分配为I画面的最终场景改变画面(M2)之后的画面(2N+1)。作为结果，被分配为I画面的两个画面(N+1和2N+1）可被分配为P画面，来代替如图7所示的I画面。在这种情况下，包括两个场景改变画面(M1和M2)的画面组GOP1b的大小可被增加为正常大小N的三倍，即3N。

图5、图6和图7显示GOP大小增加到正常大小N的二或三倍的示例情况。以这种方式，包括至少一个检测为场景改变的画面的GOP的大小可以是增加的正常大小的K倍(其中，K是大于二的整数）。

这样，通过基于场景改变的检测用帧间画面来代替帧内画面，I画面的频繁分配可被避免，从而减小编码数据的流大小和图像质量的波动。

图8是示出在图2的视频编码器中的画面类型判定块的示例的框图，图9是示出图8的画面类型判定块的操作的示图。

参照图8，画面类型判定块600a可包括计数器610、寄存器(FG)630和信号发生器650。

参照图8和图9，计数器610可与每当完成对每个画面的编码时激活的画面结束信号EOP同步地，对正常大小N进行计数以从一到N重复地提供计数器值CNT。寄存器630可响应于来自图2中的场景改变检测块700的标志信号FL存储值“1”，并且可响应于来自信号发生器650的重置信号RST存储值“0”。寄存器630可输出具有与存储的值对应的逻辑电平的使能信号AEN，并且使能信号AEN可被提供给信号发生器650。

信号发生器650可响应于使能信号AEN来选择性地执行规则GOP设置或自适应GOP设置。例如，当使能信号AEN具有逻辑低电平时，信号发生器650可执行规则GOP设置，当使能信号AEN具有逻辑高电平时，信号发生器650可执行自适应GOP设置。

当使能信号AEN指示规则GOP设置时，信号发生器650可根据预定方案基于计数值CNT来产生画面类型分配信号PTA。例如，当计数值对应于一时，信号发生器650可产生画面类型分配信号PTA以指示I画面。

当使能信号AEN指示自适应GOP设置时，信号发生器650可产生画面类型分配信号PTA，从而可用帧间画面来代替根据正常大小被分配为I画面的画面，并且随后信号发生器可激活重置信号RST以将寄存器630重置为值“0”。当寄存器630被重置时，信号发生器650可执行规则GOP设置，直到再次检测到场景改变。其结果是，在没有场景改变的画面组GOP2a的大小可被设置为正常大小N，而包括场景改变的画面组GOP1a的大小可被增加到2×N。

图10是示出根据规则GOP设置的画面的比特数量的示例的示图，图11、图12和图13是示出具有在图10中表示的比特数量的画面的示例的示图。

一般视频编码器维持GOP大小以减小流大小和图像质量的波动。图10示出与一般编码相关的规则GOP设置的示例。水平轴表示画面数量，垂直轴表示每个画面的比特数量。图10中的GOP具有与I画面之间的画面的数量对应的正常大小N以及重复分配一个P画面和两个B画面的结构。

图11、图12和图13示出由图10中的标号标识的三个画面，也就是，分别为分配为P画面的第一画面PC56和第二画面PC59以及分配为I画面的第三画面PC62。与画面PC56、PC59和PC62一起示出流顺序、显示顺序和画面类型。为了方便示出和描述，显示图像被省略，并且针对宏块的编码模式在图11、图12和图13中示出。小的黑色圆圈指示帧内模式，小的白色圆圈指示帧间模式，X字符指示跳过模式。

将图11中的第一画面PC56与图12中的第二画面PC59相比，可以理解，在第二画面PC59发生场景改变。尽管参照先前画面来对分配为P画面的第二画面PC59进行编码，但是第二画面PC59与先前画面不具有相关性，因此在第二画面PC59中的大部分宏块采用帧内模式进行编码。如图10所示，第二画面PC59的比特数量显著增加。根据规则GOP设置，第三画面PC62被分配为帧内画面，并且第三画面中的所有宏块采用帧内模式进行编码。换句话说，与检测为场景改变并且几乎采用帧内模式进行编码的第二画面PC59相邻的第三画面PC62再次采用帧内模式进行编码。这样，甚至在场景改变的情况下的规则GOP设置的这种机械应用也会不必要地增加编码数据的比特数量。

图14是示出根据自适应GOP设置的画面的比特数量的示例的示图，图15是示出在图14中表示的画面之一的示图。

将图10和图14进行比较，通过用图14中的P画面代替分配为图10中的I画面的第三画面PC62，GOP的大小可增加。图15示出根据自适应GOP设置用P画面代替的第三画面PC62。在图15中与第三画面PC62一起示出流顺序、显示顺序和画面类型。为了示出和描述方便，在图15中省略显示图像，示出针对宏块的编码模式。小的黑色圆圈指示帧内模式，小的白色圆圈指示帧间模式，X字符指示跳过模式。如图15所示，用P画面代替的第三画面PC62中的大多数宏块用帧间模式进行编码，因此与图10中的I画面PC62d相比，比特数量显著减小。由于检测为场景改变的第二画面PC59中的大多数宏块用帧内模式进行编码，因此尽管第三画面PC62被分配到为帧间画面，图像质量也可与I画面基本相同。当然，通过用帧间画面代替在场景改变之后的I画面，可防止由于I画面的频繁分配引起的图像质量的波动。

图16是示出取决于比特率的信噪比的示图。

在图16中将规则GOP设置的结果和自适应GOP设置的结果进行比较。垂直轴表示db单位的峰值信噪比(PSNR)，水平轴表示kbps单位的比特率。

如图16示出，可通过采用自适应GOP设置来改进PSNR。换句话说，通过采用自适应GOP设置可在较低比特率实现相同的图像质量或相同的PSNR。

分别地，在图17和图18的上部分示出规则GOP设置，在图17和图18的下部分示出当检测到场景改变时的自适应GOP设置。

参照图17，当检测到场景改变时，包括场景改变画面(M)的画面组GOP1a的大小可增加到大于正常大小N。通过将帧内画面分配给在场景改变画面(M1)之后的画面(M1+A+1)来实现GOP大小的增加，从而场景改变画面(M1)和下一帧内画面(M1+A+1)之间的画面的数量可对应于附加大小A。在这种情况下，包括场景改变画面(M1)的画面组GOP1a的大小可增加到附加大小A和在前一帧内画面(1)与最后检测为场景改变的画面(M1)之间的画面的数量M1的总和M1+A。由于后续画面组GOP2a不包括场景改变画面，因此后续画面组GOP2可根据规则GOP设置具有正常大小N。

图18示出在将帧内画面分配给图17中的画面(M1+A+1)之前再次将画面(M2)检测为场景改变的示例情况。可通过将帧内画面分配给在最后场景改变画面(M2)之后的画面(M2+A+1)来实现GOP大小的增加，从而最终场景改变画面(M2)和下一帧内画面(M2+A+1)之间的画面的数量可对应于附加大小A。在这种情况下，包括场景改变画面(M1和M2）的画面组GOP1b的大小可被增加为附加大小A和前一帧内画面(1)与最后检测为场景改变的画面(M2)之间的画面的数量M2的总和M2+A。由于后续画面组GOP2b不包括场景改变画面，因此后续画面组GOP2b根据规则GOP设置可具有正常大小N。

如图17和图18所示，包括一个更多场景改变画面的GOP的大小可增加到附加大小A和前一帧内画面(1)与最后检测为场景改变的画面(M1或M2）之间的画面的数量M1或M2的总和。在一些示例实施例中，附加大小A可被设置为等于正常大小N。

这样，通过基于场景改变的检测用帧间画面代替帧内画面，I画面的频繁分配可被避免，从而减小编码数据的流大小和图像质量的波动。

图19是示出根据发明构思的示例实施例的自适应地设置GOP的方法的流程图。

参照图2和图19，画面类型判定块600可从场景改变检测块700接收标志信号FL(S510)。例如，当检测到场景改变时，标志信号FL可具有逻辑高电平“1”，当没有检测到场景改变时，标志信号FL可具有逻辑低电平“0”。

当没有检测到场景改变(S520:否）时，画面类型判定块600可通过如参照图3描述的规则地分配帧内画面来将GOP的大小设置为正常大小(S530)。当检测到场景改变(S520:是)时，画面类型判定块600将场景改变画面的计数值CNT与参考值K进行比较(S525)。如参照图8和图9所描述的，计数值CNT可表示场景改变画面在相应GOP中的位置。当计数值CNT等于或小于参考值K(S525：是）时，画面类型判定块600可通过规则地分配帧内画面来将GOP的大小设置为正常大小(S530)。当计数值CNT大于参考值K(S525:否）时，画面类型判定块600可将包括场景改变的GOP的大小增加到大于正常大小(S540)。

换句话说，当在前一帧内画面与自前一帧内画面开始的第k(其中，K是小于正常大小的正整数）画面之间检测到场景改变画面时，包括场景改变画面的GOP的大小可被设置为正常大小。仅当场景改变画面在第k画面之后时，包括场景改变画面的GOP的大小可被增加到大于正常大小。

可以以画面为单位来确定标志信号FL的逻辑电平，并且可以以画面为单位重复以上处理S510、S520、S525、S530和S540，直到针对所有画面的编码完成(S550:是）。

这样，除了场景改变的检测，通过根据GOP中的场景改变的位置来自适应地调整GOP大小，可减小图像质量的波动以及编码数据的流大小。

在图20的上部分示出规则GOP设置，在图20的下部分示出当检测到场景改变时的自适应GOP设置。

如参照图3所描述的，当没有检测到场景改变时，通过规则地分配I画面，画面组GOP1和GOP2的大小可被设置为正常大小N。

参照图20，检测场景改变的情况可被分为当在前一帧内画面(1)与第K画面(K)之间检测到场景改变时的第一情况CASE1以及当在第K画面(K)之后检测到场景改变时的第二情况CASE2。考虑误差传播以及流大小减小的效果，参考值K可被合适地设置为小于正常大小N。

在第一情况CASE1，在前一帧内画面(1)相对近处发生场景改变，因此在场景改变画面(M1)与根据正常大小N将被分配为帧内画面的画面(N+1)之间可确保足够的画面间隔。在这种情况下，如果GOP大小增加并且因此画面组GOP1a和GOP2a的大小可能会维持为正常大小N，则误差传播可被过度增加。

在第二情况CASE2，在距前一帧内画面(1)相对远处发生场景改变，因此在场景改变画面(M1)与根据正常大小N将被分配为帧内画面的画面(N+1)之间的画面间隔可能会不足。在这种情况下，如果正常大小N被维持，则流大小可能会没必要增加。因此，可由P画面来代替根据正常大小N将被分配为帧内画面的画面(N+1)，并且包括场景改变画面(M2)的画面组GOP1b可增加到正常大小N的两倍2×N。

图21是示出在图2的视频编码器中的画面类型判定块的示例的框图，图22是示出图21的画面类型判定块的操作的示图。

参照图21，画面类型判定块600b可包括计数器610、比较器620、与逻辑门625、寄存器(FG)630和信号发生器650。与图8中的画面类型判定块600a相比，图21中的画面类型判定块600b还包括比较器620和与逻辑门625，并且产生屏蔽标志信号MFL而非标志信号FL。剩余配置和操作与参照图8和9描述的相同，并且因此在这里省略重复描述。

参照图21和图22，比较器620将参考值K与计数值CNT进行比较以产生比较信号CMP，其中，当计数值CNT大于参考值K时激活该比较信号CMP。与逻辑门625对比较信号CMP和标志信号FL执行与逻辑运算，以产生屏蔽标志信号MFL。如果在前一帧内画面与第K画面之间发生场景改变，则尽管标志信号FL被激活，屏蔽标志信号MFL也可维持禁止(deactivated)电平。仅在第K画面之后发生场景改变时，屏蔽标志信号MFL可被激活以将寄存器630设置为值“1”。以这种方式，检测场景改变的情况可被分为如参照图20描述的第一情况CASE1和第二情况CASE2。其结果是，信号发生器650可在第一情况CASE1下将GOP大小设置为正常大小N，而在第二情况CASE2下将GOP大小增加到大于正常大小N。

在图23的上部分示出规则GOP设置，在图23的下部分示出当检测到场景改变时的自适应GOP设置。

参照图23，检测场景改变的情况可被分为当在前一帧内画面(1)与第K画面(K)之间检测到场景改变时的第一情况CASE1以及当在第K画面(K)之后检测到场景改变时的第二情况CASE2。考虑误差传播以及流大小减小的效果，参考值K可被合适地设置为小于正常大小N。

在第二情况CASE2，在距前一帧内画面(1)相对远处发生场景改变，因此在场景改变画面(M2)与根据正常大小N将被分配为帧内画面的画面(N+1)之间的画面间隔可能会不足。在这种情况下，如果正常大小N被维持，则流大小可能会没必要增加。因此，帧内画面可被分配给在场景改变画面(M2)之后的画面(M2+A+1)，从而场景改变画面(M2)与下一帧内画面(M2+A+1)之间的画面的数量可对应于附加大小A。在这种情况下，包括场景改变画面(M2)的画面组GOP1b的大小可被增加为附加大小A和前一帧内画面(1)与最后检测为场景改变的画面(M2)之间的画面的数量M2的总和M2+A。附加大小A可被确定为满足K+A>N，从而增加的大小M2+A会大于正常大小N。

图24是示出根据示例实施例的操作视频编码器的方法的流程图。

参照图2和图24，画面类型判定块600可使用画面类型分配信号PTA在I画面、P画面和B画面之间确定当前编码的画面的画面类型(S10)。如上所述，画面类型判定块600可基于场景改变的检测结果来执行自适应GOP设置。当当前画面是帧内画面(S20:是)时，编码模块100以宏块为单位执行帧内画面预测(S30)，基于帧内画面预测的结果来确定编码模式(S50)，并且根据确定的编码模式来执行编码(S60)。

当当前画面不是帧内画面(S20:否)时，也就是，当前画面是帧间画面时，编码模块以宏块为单位执行帧内画面预测和帧间画面预测(S40)，基于帧内画面预测和帧间画面预测的结果来确定编码模式(S50)，并且根据确定的编码模式来执行编码(S60)。当当前画面是帧间画面(S20:否)时，场景改变检测块700可能基于帧内画面预测和帧间画面预测的结果检测到场景改变(S300)。针对每个画面确定画面类型，并且以画面为单位重复以上处理S10、S20、S30、S40、S50、S60和S300，直到针对所有画面的编码完成(S70:是)。

这样，针对帧内画面检测场景改变可被忽略，并且针对帧间画面检测场景改变可被执行。另外，可通过后处理来执行场景改变检测。换句话说，可使用在编码处理中不可避免地需要的预测结果来执行场景改变的检测。因此，在通过预处理没有增加用于场景改变检测的软件和/或硬件负担的情况下，可有效地检测到场景改变。

图25是示出根据示例实施例的检测场景改变的方法的流程图，图26是示出在图2的视频编码器中的场景改变检测的示例的框图。

参照图25和图26，场景改变检测块700a可包括累积器720、比率计算器(CAL)740和比较器(COM)760。累积器720可包括第一累积器(ACM1)721和第二累积器(ACM2)722。响应于使能信号EN，场景改变检测块700a可被启用。

响应于画面结束信号EOP，场景改变检测块700a可被初始化(S310)。例如，帧内累积值ACC1和帧间累积值ACC2可被设置为“0”。

第一累积器721可接收以宏块为单位的最小帧内率失真成本MCST1(S321)，并且累积连续输入的成本以提供帧内累积值ACC1(S322)。第二累积器722可接收以宏块为单位的最小帧间率失真成本MCST2(S331)，并且累积连续输入的成本以提供帧间累积值ACC1(S332)。如参照图2所描述的，可从预测块200提供最小帧内率失真成本MCST1和最小帧间率失真成本MCST2。这种累积可被重复，直到画面结束信号EOP被激活(S340:否)，也就是，直到当前画面中的所有宏块被编码。

当当前画面中的所有宏块被编码时(S340:是)，比率计算器740可计算帧内累积值ACC1的比率RCST，并将该比率RCST提供给帧间累积值ACC2(S350)。

比较器760可将比率RCST与参考值TH进行比较，以产生标志信号FL。当比率RCST等于或小于参考值TH时(S360:是)，比较器760可激活标志信号(S370)以指示场景改变发生。当比率RCST大于参考值TH时(S360:否)，比较器760可禁止标志信号(S380)以指示场景改变没有发生。例如，标志信号FL可被激活为逻辑电平“1”并且禁止为逻辑低电平“0”。

图25示出针对一个画面的场景改变检测。针对多个画面可重复相同的处理以检测场景改变。这样，通过将最小帧内率失真成本和最小帧间率失真成本的累积值进行比较，可精确地检测到场景改变。

参照图27，使能信号发生器650可包括画面类型选择器(PS)652、比较器(COM)654和与逻辑门656。

画面类型选择器652可基于画面类型分配信号PTA来产生当当前画面对应于特定类型时激活的第一信号S1。例如，在实现图24的方法中，当当前画面是帧内画面时，第一信号S1可被禁止为逻辑低电平，而当当前画面是帧间画面时，第一信号S1可被激活为逻辑高电平。在实现如以下描述的图28的方法中，当当前画面是帧内画面或B画面时，第一信号S1可被禁止为逻辑低电平，而当当前画面是P画面时，第一信号S1可被激活为逻辑高电平。

比较器654可与图21中的比较器620类似地进行操作，以产生当计数值CNT大于参考值K时被激活为逻辑高电平的第二信号S2。

与逻辑门656可对第一信号S1和第二信号S2执行逻辑操作，以产生使能信号EN。使能信号EN可被提供给场景改变检测块700，场景改变检测块700可被配置为仅当使能信号EN被激活时执行上述场景改变检测。使能信号发生器650可被包括在画面类型判定块600中或包括在场景改变检测块700中。

这样，响应于来自画面类型选择器652的第一信号S1的选择性激活，可针对特定类型的画面来执行场景改变检测。例如，可针对包括P画面和B画面的帧间画面或者仅针对P画面来执行场景改变检测。此外，响应于来自比较器654的第二信号S2的选择性激活，可针对从前一帧内画面开始的在前一帧内画面与第K画面之间的画面省略场景改变检测(其中，K是小于正常大小的整数)，并且可针对第K画面之后的画面执行场景改变检测。可通过将图8中的画面类型判定块600a与图27中的使能信号发生器650进行组合，来实现与图21中的画面类型判定块600b的类似功能。

图28是示出根据示例实施例的操作视频编码器的方法的流程图。

参照图2和28，画面类型判定块600可使用画面类型分配信号PTA在I画面、P画面和B画面之间确定当前编码的画面的画面类型(S10)。如上所述，画面类型判定块600可基于场景改变的检测结果来执行自适应GOP设置。当当前画面不是P画面时(S21:否)，编码模块100以宏块为单位执行帧内画面预测和帧间画面预测(S31)，基于帧内画面预测和帧间画面预测的结果来确定编码模式(S50)，并且根据确定的编码模式来执行编码(S60)。

当当前画面是P画面时(S21:是)，编码模块100以宏块为单位执行帧内画面预测和帧间画面预测(S41)，基于帧内画面预测和帧间画面预测的结果来确定编码模式(S50)，并且根据确定的编码模式来执行编码(S60)。当当前画面是P画面时(S21:是)，场景改变检测块700可基于帧内画面预测和帧间画面预测的结果来检测场景改变(S300)。针对每个画面确定画面类型，并且可以以画面为单位重复以上处理S10、S21、S31、S41、S50、S60和S300，直到针对所有画面的编码完成(S70:是)。

这样，针对帧内画面和B画面检测场景改变可被忽略，并且针对P画面检测场景改变可被执行。另外，可通过后处理来执行场景改变检测。换句话说，可使用将在编码处理中不可避免地需要的预测结果来执行场景改变的检测。因此，在通过预处理没有增加用于场景改变检测的软件和/或硬件负担的情况下，可有效地检测到场景改变。

图29是用于在描述根据画面类型的参考画面中供参考的示图，图30、图31和图32是用于在描述检测的场景改变和真实场景改变之间的关系中供参考的示图。

在图29至图31中示出根据显示顺序的第一画面PC1、第二画面PC2、第三画面PC3和第四画面PC4。第一画面PC1和第四画面PC4是参照先前画面进行编码的P画面，第二画面PC2和第三画面PC3是参照先前画面和后续画面进行编码的B画面。

图29示出针对第一画面PC1至第四画面PC4没有检测到场景改变的情况。如上所述，可仅针对P画面执行场景改变检测。在这种情况下，针对第一画面PC1和第四画面PC4，标志信号FL被禁止为逻辑低电平“0”，并且四个画面PC1至PC4形成相同的场景。

由于参考画面的范围可根据画面类型而改变，因此编码顺序可与显示顺序不同。第一画面PC1被编码，随后第四画面PC4参照第一画面PC1的重建画面被编码。第二画面PC2和第三画面PC3参照对应于先前画面的第一画面PC1和对应于后续画面的第四画面PC4而被编码。根据示例实施例，B画面可被用作参考画面，P画面可参照多个参考画面而被编码。

图30、图31和图32示出第四画面PC4被检测为场景改变并且因此标志信号FL被激活为逻辑高电平“1”的各个示例。第二画面PC2和第三画面PC3在显示顺序上在第四画面PC之前，而在编码顺序上落在第四画面PC4后面。

图30示出第一画面PC1被包括在第一场景SCENE1中，第二画面PC2、第三画面PC3和第四画面PC4被包括在第二场景SCENE2中。在这种情况下，第二画面PC2和第三画面PC3比第一画面PC1具有与第四画面PC4更高的相关性，因此第二画面PC2和第三画面PC3中的大部分宏块可参照第四画面PC4被编码。

图31示出第一画面PC1和第二画面PC2被包括在第一场景SCENE1中，第三画面PC3和第四画面PC4被包括在第二场景SCENE2中。在这种情况下，根据与参考画面的相关性，第二画面PC2中的大部分宏块可参照第一画面PC1被编码，第三画面PC3中的大部分宏块可参照第四画面PC4被编码。

图32示出第一画面PC1、第二画面PC2和第三画面PC3被包括在第一场景SCENE1中，第四画面PC4被包括在第二场景SCENE2中的情况。在这种情况下，根据与参考画面的相关性，第二画面PC2和第三画面PC3中的大部分宏块可参照第一画面PC1被编码。

这样，尽管在B画面中发生真实场景改变，通过仅针对P画面执行场景改变检测，用于减小流大小的有效编码也可被执行。

参照图33，视频编码器10a包括编码模块100和控制模块500a。

编码模块100接收以宏块为单位提供数据比特的输入视频数据信号VDI。编码模块100通过执行帧内画面预测和帧间画面预测来确定每个宏块的编码模式，并且根据确定的编码模式以宏块为单位对视频数据进行编码。编码模块100的配置和操作与参照图2进行的描述相同，因此重复描述被省略。

控制模块500a基于来自编码模块100的帧内画面预测和帧间画面预测的结果(也就是，最小帧内率失真成本MCST1和最小帧间率失真成本MCST2)以画面为单位检测场景改变，并且基于场景改变的检测结果来调整GOP的大小。

控制模块500a可包括画面类型判定块(PTD)600、场景改变检测块(SCD)700和比特率控制块(BRC)800。

场景改变检测块700可基于来自编码模块100的最小帧内率失真成本MCST1和最小帧间率失真成本MCST2来产生标志信号FL，标志信号FL指示是否到检测场景改变。例如，如参照图24至图32所描述的，场景改变检测块700可通过以画面为单位对最小帧内率失真成本MCST1和最小帧间率失真成本MCST2进行求和来计算帧内累积值ACC1和帧间累积值ACC2，以基于帧内累积值ACC1和帧间累积值ACC2来产生标志信号FL。场景改变检测块700可与每当完成对每个画面的编码时激活的画面结束信号EOP同步地确定标志信号FL的逻辑电平。

画面类型判定块600可基于标志信号FL来调整GOP的大小。画面类型判定块600可产生与画面结束信号EOP同步变化的画面类型分配信号PTA，以指示当前编码的画面的画面类型。例如，画面类型分配信号PTA可指示I画面、P画面或B画面。可通过不用参照其他画面来编码的I画面的分配间隔来确定GOP的大小。可通过参照先前画面编码的P画面和参照后续画面编码的B画面的分配模式来确定GOP的结构。画面类型判定块600可根据当前编码的画面的画面类型来产生用于选择性地启用场景改变检测块700的使能信号EN。

与图2中的控制模块500相比，图33中的控制模块500a还包括比特率控制块800。比特率控制块800可基于用于确定每个宏块的编码模式的帧内画面预测和帧间画面预测的结果来控制编码数据的比特率。

在示例实施例中，比特率控制块800可基于每个宏块的最小帧内率失真成本MCST1和最小帧间率失真成本MCST2以宏块为单位来调整量化参数QP。在另一示例实施例中，比特率控制块800可基于通过对每个画面中的多个宏块的最小帧内率失真成本MCST1和最小帧间率失真成本MCST2进行求和而计算的帧内累积值ACC1和帧间累积值ACC2，以画面为单位来调整量化参数QP。在又一示例实施例中，比特率控制块800可以以宏块为单位执行比特率控制，以画面为单位执行比特率控制。

视频编码器可固定GOP的大小和结构，并且可基于固定的GOP来执行比特率控制。通常，用于有效地管理流大小的方案可被称为速率控制(RC)。对于速率控制的预算被分配到每个画面组，并且目标比特数量被分配到分配的预算内的每个画面和/或每个宏块。可由量化参数QP来表示目标比特数量，并且随着量化参数QP的增加，编码数据的比特数量减小。换句话说，随着量化参数QP增加，图像质量降低。

除了自适应GOP设置之外，通过采用基于场景改变的检测结果的自适应比特控制，图像质量可被稳定，并且流大小可被减小。

参照图34，计算***1000可包括处理器1010、内存装置1020、存储器装置1030、输入/输出装置1040、电源1050和图像传感器900。尽管未在图34中示出，但是计算***1000可还包括与视频卡、声卡、内存卡、通用串行总线(USB)装置和/或其他电子装置通信的端口。

处理器1010可执行多个不同的计算或任务。处理器1010可包括视频编码器/解码器(编解码器)1011。编解码器1011可包括根据如参照图1至图33所描述的示例实施例的视频编码器。此外，编解码器可包括视频解码器，视频解码器用于对由视频编码器编码的压缩数据进行解码。在示例实施例中，视频编码器和视频解码器可被合并在相同的集成电路和/或相应的软件中。根据一些实施例，处理器1010可以是微处理器或中央处理单元(CPU)。处理器1010可经由地址总线、控制总线和/或数据总线与内存装置1020、存储器装置1030和输入/输出装置1040进行通信。在一些示例实施例中，处理器1010可与扩展总线(诸如，外设互联(PCI)总线)耦接。内存装置1020可存储用于操作计算***1000的数据。例如，可使用动态随机存取内存(DRAM)装置、移动DRAM装置、静态随机存取内存(SRAM)装置、相位随机存取内存(PRAM)装置、铁电随机存取内存(FRAM)装置、阻抗随机存取内存(RRAM)装置和/或磁随机存取内存(MRAM)装置，来实现内存装置1020。存储器装置可包括固态驱动器(SSD)、硬盘驱动器(HDD)、压缩盘只读内存(CD-ROM)等。输入/输出装置1040可包括输入装置(例如，键盘、键板、鼠标等)和输出装置(例如，打印机、显示装置等)。电源1050提供计算***1000的工作电压。

图像传感器900可经由总线或其他通信链路与处理器1010通信。图像传感器900可与处理器1010集成在一个芯片上，或者图像传感器900和处理器1010可被实现为单独的芯片。

计算***1000可根据大量种类的封装技术中的任何一种或多种来封装，诸如堆叠式封装（PoP）、球栅阵列封装（BGA）、芯片级封装（CSP）、塑料引线芯片载体（PLCC）、塑料双列直插式封装（PDIP）、叠片包装的裸片（diein waffle pack）、晶圆形式的裸片（die in wafer form）、板上芯片（COB）、陶瓷双列直插式封装（CERDIP）、塑料公制四方扁平封装（MQFP）、薄形四边引线扁平封装（TQFP）、小外型IC（SOIC）、收缩型小外形封装（SSOP）、薄型小外型封装（TSOP）、***级封装（SIP）、多芯片封装（MCP）、晶圆级制造封装（WFP）或晶圆级处理堆叠封装（WSP）。

计算***1000可以是使用三维图像传感器的各种计算***中的任何一个。例如，计算***1000可包括数码相机、移动电话、智能电话、便携式多媒体播放器(PMP)、个人数字助理(PDA)等。

参照图35，计算***1100可由使用或支持移动工业处理器接口()的数据处理装置来实现。计算***1100可包括应用处理器1110、三维图像传感器1140、显示装置1150等。应用处理器1110的CSI主机1112可经由相机串行接口(CSI)与三维图像传感器1140的CSI装置1141执行串行通信。在一些示例实施例中，CSI主机1112可包括去串行器(DES)，CSI装置1141可包括串行器(SER)。应用处理器1110的DSI主机1111可经由显示串行接口(DSI)来与显示装置1150的DSI装置1151执行串行通信。

在一些示例实施例中，DSI主机1111可包括串行器(SER)，DSI装置1151可包括去串行器(DES)。计算***1100可还包括射频(RF)芯片1160，RF芯片1160与应用处理器1110执行通信。计算***1110的物理层(PHY)1113和RF芯片1160的物理层(PHY)1161可基于DigRFSM执行数据通信。应用处理器1110可还包括DigRFSM MASTER1114，DigRFSM MASTER1114控制PHY1161的数据通信。

计算***1100可还包括全球定位***(GPS)1120、存储器1170、MIC1180、DRAM装置1185和扬声器1190。此外，计算***1100可使用超宽带(UWB)1210、无线局域网(WLAN)1220、微波接入全球互通（WiMAX）1230等来执行通信。然而，计算***1100的结构和接口不限于此。

如将由本领域技术人员理解，本发明构思可被实现为***、方法、计算机程序产品和/或在其上实现有计算机程序代码的一个或多个计算机可读介质中实施的计算机程序程序产品。计算机可读程序代码可被提供给通用计算机的处理器、专用计算机或其他可编程数据处理设备。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是任何有形介质，有形介质可包含或存储由指令执行***、设备或装置使用的程序或与指令执行***、设备或装置关联的程序。

发明构思的一些示例实施例可被应用到基于GOP对视频数据编码的各种装置和/或***。具体地讲，发明构思的一些示例实施例可被应用到与标准(诸如，MPEG、H.261、H.262、H.263和H.264)兼容的视频编码器。发明构思的一些示例实施例可被使用在技术领域，诸如CATV(光网络、铜线等上的有线电视)、DBS(直接广播卫星视频服务)、DSL（数字用户线视频服务）、DTTB（数字地面电视广播）、ISM（交互存储介质(光盘等)）、MMM（多媒体邮件）、MSPN(分组网络上的多媒体服务)、RTC(实时会话服务(视频会议、视频电话等))、RVS(远程视频监控)、SSM(串行存储介质(数字VTR等))。

以上示出示例实施例并且将不被解释为是对示例实施例的限制。尽管已描述了数个示例实施例，但本领域的技术人员将容易理解，在实质上不脱离本发明构思的新颖教导和优点的情况下，可在示例实施例中进行许多修改。因此，所有这类修改意在被包括在如权利要求限定的本发明构思的范围内。因此，要理解，以上示出各种示例实施例并且将不被解释为限于所公开的特定示例实施例，并且所公开的示例实施例的修改以及其它示例实施例意在被包括在权利要求的范围内。

Claims

1.一种控制视频编码器的方法，该视频编码器被配置为基于画面组GOP以宏块为单位对视频数据进行编码，通过分配帧内画面和帧间画面来确定GOP，每个帧内画面无需参照其他画面进行编码，每个帧间画面参照其他画面进行编码，所述方法包括：

通过执行帧内画面预测和帧间画面预测来确定每个宏块的编码模式；

基于用于确定每个宏块的编码模式的帧内画面预测和帧间画面预测的结果来检测画面的每个单元是否是场景改变；

基于检测画面的每个单元是否是场景改变的结果来自适应地设置GOP的大小。

2.如权利要求1所述的方法，其中，自适应地设置GOP的大小包括：

当没有检测到场景改变时，通过规则地分配帧内画面来将GOP的大小设置为正常大小；

当将第一画面检测为场景改变时，将包括第一画面的GOP的大小设置为大于正常大小的增加的大小。

3.如权利要求2所述的方法，其中，将GOP的大小设置为增加的大小包括：

将帧间画面分配给第一画面之后的第二画面，其中，当没有检测到场景改变时根据正常大小第二画面将被分配为帧内画面。

4.如权利要求3所述的方法，其中，将GOP的大小设置为增加的大小还包括：

在将帧间画面分配给第二画面之后，当再次第三画面被检测为场景改变时，将帧间画面分配给第三画面之后的第四画面，其中，当没有检测到场景改变时根据正常大小第四画面将被分配为帧内画面。

5.如权利要求4所述的方法，其中，P画面被分配给第二画面和第四画面，其中，P画面参照先前画面中的至少一个进行编码。

6.如权利要求2所述的方法，其中，增加的大小是正常大小的K倍，其中K是大于二的整数。

7.如权利要求2所述的方法，其中，将GOP的大小设置为增加的大小包括：

将帧内画面分配给第一画面之后的第二画面，其中，第一画面和第二画面之间的画面的数量对应于附加大小。

8.如权利要求7所述的方法，其中，将GOP的大小设置为增加的大小还包括：

在将帧内画面分配给第二画面之前，当再次第三画面被检测为场景改变时，将帧内画面分配给第三画面之后的第四画面，其中，第三画面和第四画面之间的画面的数量对应于附加大小。

9.如权利要求8所述的方法，其中，包括被检测为场景改变的至少一个画面的GOP的大小被设置为附加大小和先前帧内画面与最后被检测为场景改变的画面之间的画面的数量的总和。

10.如权利要求9所述的方法，其中，附加大小被设置为等于正常大小。

11.如权利要求1所述的方法，其中，自适应地设置GOP的大小包括：

当第一画面被检测为场景改变并且第一画面在先前帧内画面与从所述先前帧内画面开始的第K画面之间时，其中，K是小于正常大小的正整数，将包括第一画面的GOP的大小设置为正常大小；

当第一画面在第K画面之后时，将包括第一画面的GOP的大小设置为大于正常大小的增加的大小。

12.如权利要求1所述的方法，其中，确定每个宏块的编码模式包括：

针对每个宏块，通过帧内画面预测计算最小帧内率失真成本，通过帧间画面预测计算最小帧间率失真成本；

将编码模式确定为与在最小帧内率失真成本和最小帧间率失真成本中的最小值对应的模式。

13.如权利要求12所述的方法，其中，检测画面的每个单元是否是场景改变包括：

针对每个画面中的多个宏块，通过将最小帧内率失真成本求和并将最小帧间率失真成本求和来计算帧内累积值和帧间累积值；

基于帧内累积值和帧间累积值来确定针对每个画面是否检测到场景改变。

14.如权利要求13所述的方法，其中，确定是否检测到场景改变包括：

计算帧内累积值与帧间累积值之间的比率；

当该比率等于或小于参考值时，确定检测到场景改变；

当该比率大于参考值时，确定没有检测到场景改变。

15.如权利要求13所述的方法，其中，检测画面的每个单元是否是场景改变还包括：

产生指示是否检测到场景改变的标志信号。

16.如权利要求1所述的方法，其中，针对每个帧内画面省略检测场景改变，针对每个帧间画面执行检测场景改变。

17.如权利要求1所述的方法，其中，针对每个帧内画面和每个B画面省略检测场景改变，针对每个P画面执行检测场景改变，其中，参照至少一个先前画面来对每个P画面进行编码，参照至少一个先前画面和至少一个后续画面来对每个B画面进行编码。

18.如权利要求1所述的方法，其中，针对从先前帧内画面开始到第K画面前面的画面省略检测场景改变，其中，K是小于正常大小的正整数，并且针对第K画面之后的画面执行检测场景改变。

19.如权利要求1所述的方法，还包括：

基于用于确定每个宏块的编码模式的帧内画面预测和帧间画面预测的结果来控制编码数据的比特率。

20.如权利要求19所述的方法，其中，控制编码数据的比特率包括：

基于每个宏块的最小帧内率失真成本和最小帧间率失真成本，以宏块为单位调整量化参数。

21.如权利要求19所述的方法，其中，控制编码数据的比特率包括：

基于通过对每个画面中的多个宏块的最小帧内率失真成本和最小帧间率失真成本进行求和计算的帧内累积值和帧间累积值，以画面为单位来调整量化参数。

22.如权利要求1所述的方法，其中，视频编码器与H.264标准兼容。

23.一种基于画面组GOP以宏块为单位对视频数据进行编码的视频编码器，通过分配帧内画面和帧间画面来确定GOP，每个帧内画面无需参照其他画面进行编码，每个帧间画面参照其他画面进行编码，该视频编码器包括：

编码模块，被配置为通过执行帧内画面预测和帧间画面预测来确定每个宏块的编码模式，其中，根据确定的编码模式以宏块为单位来对视频数据进行编码；

控制模块，被配置为基于用于确定每个宏块的编码模式的帧内画面预测和帧间画面预测的结果以画面为单位来检测场景改变，并且被配置为基于场景改变的检测结果来自适应地设置GOP的大小。

24.如权利要求23所述的视频编码器，其中，控制模块包括：

场景改变检测块，被配置为基于帧内累积值和帧间累积值来产生指示场景改变是否被检测到的标志信号，其中，通过以画面为单位对最小帧内率失真成本和最小帧间率失真成本进行求和来计算帧内累积值和帧间累积值，并且以宏块为单位从编码模块提供最小帧内率失真成本和最小帧间率失真成本；

画面类型判定块，被配置为基于标志信号来设置GOP的大小。

25.如权利要求24所述的视频编码器，还包括：比特率控制块，被配置为基于用于确定每个宏块的编码模式的帧内画面预测和帧间画面预测来控制编码数据的比特率。

26.如权利要求25所述的视频编码器，其中，比特率控制块被配置为基于每个宏块的最小帧内率失真成本和最小帧间率失真成本，以宏块为单位调整量化参数。

27.如权利要求25所述的视频编解码器，其中，比特率控制块被配置为基于通过对每个画面中的多个宏块的最小帧内率失真成本和最小帧间率失真成本进行求和计算的帧内累积值和帧间累积值，以画面为单位来调整量化参数。

28.一种包括处理器和图像传感器的计算***，该处理器包括如权利要求23所述的视频编码器。

29.如权利要求28所述的计算***，其中，视频编码器与H.264标准兼容。

30.一种在视频数据中检测场景改变的方法，所述方法包括：

接收视频数据；

针对视频数据的每个宏块，通过帧内画面预测计算最小帧内率失真成本，通过帧间画面预测计算最小帧间率失真成本；

针对视频数据的每个画面中的多个宏块，通过将最小帧内率失真成本求和并将最小帧间率失真成本求和来计算帧内累积值和帧间累积值；