CN111212290A - 片上***及其帧率转换方法 - Google Patents

片上***及其帧率转换方法 Download PDF

Info

Publication number
CN111212290A
CN111212290A CN201910752404.9A CN201910752404A CN111212290A CN 111212290 A CN111212290 A CN 111212290A CN 201910752404 A CN201910752404 A CN 201910752404A CN 111212290 A CN111212290 A CN 111212290A
Authority
CN
China
Prior art keywords
filter
codec
chip
frame rate
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910752404.9A
Other languages
English (en)
Other versions
CN111212290B (zh
Inventor
边柱元
安志勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111212290A publication Critical patent/CN111212290A/zh
Application granted granted Critical
Publication of CN111212290B publication Critical patent/CN111212290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了一种包括视频编解码器的片上***，其中，所述视频编解码器包括解块滤波器，所述片上***包括：计算输入图像的运动矢量的运动估计器，通过使用运动矢量补偿输入图像的运动的运动补偿器，以及允许其中运动被补偿的图像数据被传送到视频编解码器的解块滤波器并且由视频编解码器的解块滤波器滤波的参数生成器。

Description

片上***及其帧率转换方法
相关申请的交叉引用
本申请要求于2018年11月21日在韩国知识产权局提交的韩国专利申请No.10-2018-0144616的优先权，其公开内容通过引用整体结合于此。
技术领域
在此描述的发明构思的实施例涉及电子设备，更具体地，涉及具有与帧率转换器合并的视频编解码器的片上***及其帧率转换方法。
背景技术
对具有高分辨率、高帧率和高位深度的高清晰度视频服务的需求与日俱增。用于高效编码/解码大量视频数据的编解码器的重要性逐渐增加。另外，为了满足对服务质量的要求的目的，诸如用于图像处理的帧率转换器(frame rate converter)(以下称为“FRC”)的组件被包括为移动设备的基本组件。
如今，安装在移动设备上的应用处理器包括用于支持各种多媒体服务的组件。例如，除了多核处理器之外，一个应用处理器包括各种硬件组件，诸如用于支持高清晰度和高质量视频服务的视频编解码器、帧率转换器、加速器、显示控制器和用户接口。然而，为了满足对逐渐增加的高清晰度和高帧率服务的需求的目的，组件的大小在增加。因此，需要一种在满足对服务质量的要求的同时使成本的增加最小化的技术。
发明内容
本发明构思的实施例提供了与帧率转换器合并的视频编解码器及其帧率转换方法。
根据示例实施例，本公开专注于一种包括视频编解码器的片上***，所述时频编解码器包括解块滤波器，该片上***包括：运动估计器，被配置为计算输入图像的运动矢量；运动补偿器，被配置为通过使用运动矢量来补偿输入图像的运动；参数生成器，被配置为允许其中运动被补偿的图像数据被传送到视频编解码器的解块滤波器，并且由视频编解码器的解块滤波器进行滤波。
根据示例实施例，本公开专注于一种包括视频编解码器的片上***的帧率转换方法，该方法包括：比较第一帧和第二帧以计算运动矢量；通过使用运动矢量生成要***在第一帧和第二帧之间的至少一个内插帧；通过使用运动矢量以及第一帧和第二帧计算包括在视频编解码器中的解块滤波器的滤波器级别和滤波器抽头的数量；以及，根据滤波器级别和滤波器抽头的数量去除包括至少一个内插帧的图像的阻断噪声(blocking noise)。
根据示例实施例，本公开专注于一种片上***，该片上***包括：处理器；合并帧率转换器(FRC)的编解码器，被配置为在处理器的控制下，通过在FRC模式下对输入图像执行帧率转换以获得被转换帧率的输入图像并且在编解码器模式下对输入比特流执行解码，来生成输出图像；显示控制器，被配置为在显示器中显示被转换帧率的输入图像或所述输出图像。
附图说明
通过参考附图详细描述本发明构思的示例性实施例，本发明构思的上述和其他目的和特征将变得清楚。
图1是示出根据本发明构思的示例实施例的移动设备的框图。
图2是示出图1的合并FRC的编解码器的示例实施例的框图。
图3是示出图2的合并FRC的编解码器的示例帧率转换操作的示图。
图4是描述根据本发明构思的示例实施例的帧率转换器的参数生成器的操作的框图。
图5是示出根据本发明构思的示例实施例的根据合并FRC的编解码器的操作模式的滤波单元的变化的示图。
图6是根据本发明构思的示例实施例的示出合并FRC的编解码器如何根据操作模式操作的流程图。
图7是示出根据本发明构思的另一示例实施例的合并FRC的编解码器的框图。
图8是描述图7的参数生成器、解块滤波器和非锐化屏蔽滤波器(unsharp maskfilter)的操作的框图。
图9是本发明构思的另一示例实施例的示出合并FRC的编解码器如何根据合并FRC的编解码器的操作模式操作的流程图。
图10是示出根据本发明构思的另一示例实施例的移动设备的框图。
图11是示出图10的帧率转换器和视频编解码器的示图。
图12是示出根据本发明构思的另一示例实施例的移动设备的框图。
图13是示出图12的帧率转换器和视频编解码器的配置的示图。
图14是示出根据本发明构思的示例实施例的包括合并FRC的编解码器的便携式终端的框图。
具体实施方式
下面，将参考附图详细描述本发明构思的示例实施例。相同的数字始终指代相同的元件。在下面的说明书中，“图像”具有包括诸如视频的运动图像以及诸如图片的静止图像的综合含义。
图1是示出根据本发明构思的示例实施例的移动设备的框图。参考图1，移动设备1000可以包括片上***(system-on-chip，SoC)1100、非易失性存储器(nonvolatilememory，NVM)设备1200、动态随机存取存储器(dynamic random access memory，DRAM)1300和显示器1400。片上***1100可以包括处理器1110、静态RAM(static RAM，SRAM)1120、存储控制器1130、DRAM控制器1140、合并FRC的编解码器1150和显示控制器1160。然而，应当理解，移动设备1000的组件不限于图1中所示的组件。例如，移动设备1000或片上***1100还可以包括加速器、用户接口、安全块等。
处理器1110运行移动设备1000的软件(例如，应用程序、操作***和/或设备驱动器)。处理器1110可以运行加载到DRAM 1300上的操作***(operating system，OS)。处理器1110可以基于操作***运行要驱动的各种应用程序。处理器1110可以用同构多核处理器或异构多核处理器来实施。
SRAM 1120可以用作片上***1100的内部工作存储器。在任何实施例中，可以将要由处理器1110运行的代码加载到SRAM 1120上。在一些实施例中，安全操作***可以被加载到SRAM 1120上。
存储控制器1130响应于处理器1110的请求访问非易失性存储器设备1200。例如，存储控制器1130提供片上***1100和非易失性存储器设备1200之间的接口。例如，由处理器1110处理的数据可以通过存储控制器1130存储在非易失性存储器设备1200中。再例如，存储在非易失性存储器设备1200中的数据可以通过存储控制器1130提供到DRAM 1300或处理器1110。
DRAM控制器1140提供DRAM 1300和片上***1100之间的接口。DRAM控制器1140可以响应于处理器1110的请求或任何其他功能块(intellectual property，IP)来访问DRAM1300。例如，DRAM控制器1140可以响应于处理器1110的写入请求在DRAM 1300中写入数据。或者，DRAM控制器1140可以响应于处理器1110的读取请求从DRAM 1300读取数据，并且可以通过***互连器1170将读取的数据发送到处理器1110或存储控制器1130。
如在此所使用的，功能块(IP)也可以称为功能块核心，并且可以用于表示向***提供宏功能的自包含离散单元。本领域技术人员将理解，所公开的功能块或功能块核心由可以使用基于半导体的制作技术或其他制造技术形成的电子(或光学)电路物理地实施，所述电子(或光学)电路诸如逻辑电路、离散组件、微处理器、硬连线电路、存储器元件、布线连接、总线、通信链路等。
合并FRC的编解码器1150具有能够处理帧率转换功能和视频编解码器功能两者的结构。通常，为了在显示器1400中显示平滑图像，可以针对显示器1400优化要显示的图像的帧率。此外，可以在合并FRC的编解码器1150的帧率转换器1150a和视频编解码器1150b之间协作地执行帧率的转换。此外，合并FRC的编解码器1150中包括的视频编解码器1150b根据所应用的标准对视频数据进行编码或解码。帧率转换器1150a可以使用视频编解码器1150b中包括的组件的一部分。例如，帧率转换器1150a可以通过使用视频编解码器1150b的解块滤波器来执行帧率转换操作的后处理。在另一实施例中，帧率转换器1150a可以通过使用视频编解码器1150b的解块滤波器和自导滤波器来执行帧率转换操作的后处理。因此，通过与视频编解码器1150b共享与用于转换帧率的组件重叠的视频编解码器的功能块，可以减小由帧率转换器1150a占用的电路或芯片区域。
这里，帧率转换器1150a和视频编解码器1150b可以构成一个功能块IP。例如，合并FRC的编解码器1150可以用一个功能块IP实施，并且可以根据操作模式执行帧率转换操作或视频信号编码/解码操作。
显示控制器1160在显示器1400中显示由合并FRC的编解码器1150解码的图像数据或被转换帧率的图像。为了获得要显示的图像数据的目的，显示控制器1160可以访问分配给DRAM 1300的帧缓冲器。显示控制器1160可以从分配给DRAM 1300的帧缓冲区域读取图像数据，并且可以在显示器1400中显示该图像数据。
***互连器1170是用于在片上***1100内提供片上网络的***总线。例如，***互连器1170可以包括数据总线、地址总线和控制总线。数据总线是数据通过其移动的路径。数据总线可以主要被提供为用于访问DRAM 1300或非易失性存储器设备1200的路径。地址总线提供功能块之间的地址交换路径。控制总线提供控制信号通过其在功能块之间传送的路径。然而，***互连器1170的配置不限于以上描述，并且***互连器1170还可以包括用于高效管理的仲裁设备。
非易失性存储器设备1200可以被提供为移动设备1000的存储介质。非易失性存储器设备1200可以存储用户数据、应用程序、OS图像等。非易失性存储器设备1200可以用存储卡(例如，多媒体卡(multimedia card，MMC)、嵌入式MMC(embedded MMC，eMMC)、安全数字(secure digital，SD)卡或microSD卡)来实施。非易失性存储器设备1200可以包括高容量NAND型闪存。或者，非易失性存储器设备1200可以包括下一代非易失性存储器，诸如相变RAM(phase change RAM，PRAM)、磁性RAM(magnetic RAM，MRAM)、电阻式RAM(resistiveRAM，ReRAM)或铁电RAM(ferroelectric RAM，FRAM)或者NOR闪存。在本发明构思的另一示例实施例中，可以很好地理解，非易失性存储器设备1200可以利用在片上***1100内提供的嵌入式存储器来实施。
在启动中，应用程序或操作***(OS)可以被加载到DRAM 1300上。例如，当移动设备1000启动时，存储在非易失性存储器设备1200中的OS映像根据启动顺序被加载到DRAM1300上。操作***可以支持移动设备1000的总体输入/输出操作。同样，由用户选择的或用于提供基本服务的应用程序可以被加载到DRAM 1300上。此外，DRAM 1300可以用作缓冲存储器，其存储从诸如相机的图像传感器提供的图像数据。DRAM 1300可以用诸如SRAM的易失性存储器或诸如PRAM、MRAM、ReRAM、FRAM或NOR闪存的非易失性存储器来实施。
显示器1400显示在显示控制器1160的控制下提供的图像数据。
根据以上描述，移动设备1000可以通过合并FRC的编解码器1150提供帧率转换功能。也就是说，根据合并FRC的编解码器1150，可以通过提供在视频编解码器1150b中的(多个)组件来执行转换帧率所必需的功能。因此，可以降低实施帧率转换器FRC所必需的成本，并且可以减小芯片区域。
图2是示出图1的合并FRC的编解码器的示例实施例的框图。参考图2，根据示例实施例的合并FRC的编解码器1150可以被划分为帧率转换器1150a和视频编解码器1150b。在实施例中，帧率转换器1150a可以通过使用视频编解码器1150b的解块滤波器1157和自导滤波器1159来执行帧率转换操作的后处理。
帧率转换器1150a可以包括运动估计器1151、运动补偿器1152和参数生成器1153。运动估计器1151通过基于同时从帧缓冲器(未示出)提供的当前帧和先前帧估计运动来计算运动矢量MV。在一些实施例中，先前帧可以是紧接在当前帧之前的帧。当前帧和先前帧可以对应于输入图像100。运动估计器1151计算当前帧和先前帧的特定区域的运动矢量MV或当前帧和先前帧的整个区域的运动矢量MV，并且将运动矢量MV传送到运动补偿器1152。
运动补偿器1152通过使用当前帧的运动矢量MV生成在当前帧和先前帧之间的内插帧。在一些实施例中，如上所述，当前帧的运动矢量MV可以是通过基于当前帧和先前帧估计运动来计算的运动矢量MV。运动补偿器1152在当前帧和先前帧之间***内插帧。在这种情况下，可以以1:1的比例从运动补偿器1152输出当前帧和内插帧。通过当前帧和内插帧的输出，帧率转换器1150a可以转换输入图像100的帧率。
参数生成器1153可以通过使用从运动补偿器1152提供的图像信息IMG_Info来生成用于使用视频编解码器1150b的(多个)组件的参数。例如，参数生成器1153可以基于图像信息IMG_Info生成用于设置视频编解码器1150b的解块滤波器1157的第一控制参数CNTL_1。或者，参数生成器1153可以基于由参数生成器1153接收的图像信息IMG_Info生成用于设置视频编解码器1150b的自导滤波器1159的第二控制参数CNTL_2。此外，参数生成器1153可以在帧率转换操作中控制视频编解码器1150b的旁路开关(bypass switch)BPSW。为此，参数生成器1153可以生成用于绕过(bypassing)视频编解码器1150b的约束方向增强滤波器(constrained directional enhancement filter，CDEF)1158的控制信号BP。
视频编解码器1150b可以对与应用于片上***1100的运动图像压缩标准(例如，AV1标准)相对应的视频信号进行编码或解码。这里，仅示出了执行本发明构思的帧率转换器1150a的一些功能的解码器电路。视频编解码器1150b可以包括熵解码器1154、帧内预测重建器1155、帧间预测重建器1156、解块滤波器1157、约束方向增强滤波器1158和自导滤波器1159。视频编解码器1150b还可以包括用于跳过约束方向增强滤波器1158的功能的旁路开关BPSW。
在其中合并FRC的编解码器1150作为视频编解码器操作的编解码器模式的情况下，帧率转换器1150a可以被停用(deactivated)。在该编解码器模式下，熵解码器1154可以对接收的解码器输入DEC输入执行熵解码。例如，在处理器的控制下，熵解码器1154可以在编解码器模式下对输入比特流执行解码。在熵解码器中，将少量比特分配给具有高发生概率的符号，并且将大量比特分配给具有低发生概率的符号。因此，可以减小与将被解码的符号相关联的比特流的大小。
帧内预测重建器1155和帧间预测重建器1156从熵解码器1154提供的预测块生成恢复帧。恢复帧再次由解块滤波器1157滤波。可以以宏块为单位压缩图像数据。在这种情况下，在恢复图像数据并因此图像数据被压缩时，在恢复的图像的块之间的边界点处发生块效应(blocking effect)。块效应是指由于图像数据值或斜率的不连续而在包括多个块单元的屏幕中发生差异的现象。由于块效应沿着矩形格子形式的块的边界出现，因此可以容易地感知到块效应，从而导致主观图像质量的降低。解块滤波器1157执行低通滤波器的功能以减小块效应。另外，由解块滤波器1157处理的数据可以在约束方向增强滤波器1158和自导滤波器1159中被处理，并且可以被输出为恢复输出图像200。
约束方向增强滤波器1158在编解码器模式下沿着由解块滤波器1157处理的图像数据的边缘去除振铃(ringing)或噪声。例如，约束方向增强滤波器1158是沿边缘执行滤波的方向滤波器。作为边缘保持滤波器的自导滤波器1159可以提供具有非锐化屏蔽滤波器之类的效果的一般图像。因此，可以由参数生成器1153使用第二控制参数CNTL_2来控制自导滤波器1159的滤波器强度。
根据本发明构思的示例实施例的合并FRC的编解码器1150包括帧率转换器1150a，其中帧率转换器1150a使用视频编解码器1150b的解块滤波器1157和自导滤波器1159。帧率转换器1150a可以通过使用视频编解码器1150b的解块滤波器1157和自导滤波器1159来执行帧率转换操作的后处理。为此，帧率转换器1150a可以包括参数生成器1153。例如，参数生成器1153可以生成第一控制参数CNTL_1和第二控制参数CNTL_2，其中所述第一控制参数CNTL_1和第二控制参数CNTL_2分别被发送到解块滤波器1157和自导滤波器1159，从而允许帧率转换器1150a使用视频编解码器1150b的解块滤波器1157和自导滤波器1159执行帧率转换操作的后处理。
图3是示出图2的合并FRC的编解码器的帧率转换操作的示图。参考图3，合并FRC的编解码器1150可以从当前帧F2和先前帧F1估计运动矢量MV，并且可以参考估计的运动矢量MV生成内插帧F_ip。可以通过***内插帧F_ip来转换帧率。
在大多数情况下，因为两帧的自相关很大，诸如帧数据的图像信号通常具有冗余。通过去除冗余可以获得数据压缩效果。在这种情况下，为了高效地压缩随时间变化的帧，有必要去除时间轴方向的冗余以及二维空间上的冗余。根据时间轴方向的冗余去除，通过从先前帧中提取当前帧的一部分可以显著减少要发送的数据量，其中该当前帧的一部分不会改变或者即使被移动也与紧邻的先前帧相似。为此，可以执行搜索以识别先前帧和当前帧之间的最相似的块。该搜索可以称为“运动估计”。运动矢量MV可用于描述块移动了多少，即位移。
同时，作为运动估计方法，通常可以考虑运动程度的准确性和效率、实时处理可能性、硬件实施等来使用块匹配算法。在块匹配算法中，通过以块为单位比较两个连续的图像帧(例如，前一帧和后一帧)来估计运动。在块匹配操作中，可以以宏块为单位执行预测和补偿。在通过使用图像的运动信息来转换帧率的情况下，根据块匹配算法，可以参考前一帧和后一帧来估计运动矢量MV，并且可以通过使用估计的运动矢量MV来执行帧内插。
例如，帧率转换器1150a比较当前帧F2和先前帧F1，并计算运动矢量MV。当前帧F2具有先前帧F1的特定部分被改变的状态。例如，假设对象在先前帧F1被包括在第一块中，并且在当前帧F2被包括在第二块中。在该示例中，内插帧F_ip具有处于从当前帧F2到先前帧F1的状态改变的中间状态。因此，在内插帧F_ip中，可以将对象估计为位于先前帧F1上的位置和当前帧F2上的位置之间的中心。
结果，帧率转换器1150a生成与先前帧F1的状态和当前帧F2的状态之间的中间状态相对应的内插帧F_ip。帧率转换器1150a可以通过在先前帧F1和当前帧F2之间***内插帧F_ip来转换帧率。例如，在先前帧F1和当前帧F2之间***“n”个内插帧的情况下，帧率增加“n”倍。同时，在生成内插帧F_ip时，可以应用运动估计/运动补偿技术。这里，运动估计意味着预测用于将参考帧(或先前帧)的匹配块放置在当前帧处的运动或位移矢量。并且，运动补偿是指将参考帧中的块与当前帧中的匹配块实际对齐的过程。
如上所述，通过使用运动估计和运动补偿技术的帧率转换操作输出的图像可以表示为更平滑的图像。上述的运动估计和运动补偿被称为帧率转换操作的“预处理”。与通过预处理输出的图像数据相关联的解块处理或边缘增强处理被称为帧率转换操作的“后处理”。根据本发明构思的示例实施例的合并FRC的编解码器1150可以通过使用帧率转换器1150a来执行帧率转换操作的预处理，并且可以通过使用视频编解码器1150b来执行帧率转换操作的后处理。
图4是描述根据本发明构思的示例实施例的帧率转换器的参数生成器的操作的框图。参考图4，参数生成器1153可以生成用于在帧率转换器1150a的运动估计和运动补偿之后进行的后处理的参数和控制信号。
参数生成器1153从运动补偿器1152接收图像信息IMG_Info。图像信息IMG_Info包括由运动估计器1151和运动补偿器1152生成的信息。例如，图像信息IMG_Info可以包括关于要处理的图像的像素数据的信息、运动矢量MV的大小、用于运动估计和运动补偿的参考图像的数量、以及块的特性。这里，例如，块的特性与指示相关图像块是对应于文本区域还是小对象区域的信息相关联。
参数生成器1153使用图像信息IMG_Info生成用于控制解块滤波器1157、自导滤波器1159和旁路开关BPSW中的至少一个的参数。
参数生成器1153可以生成用于控制解块滤波器1157的第一控制参数CNTL_1。在视频编解码器1150b对应于AV1标准的情况下，解块滤波器1157可以以4×4像素为单位执行滤波。因此，参数生成器1153可以数值地计算噪声强度(或级别)，可以根据计算的噪声级别来决定滤波器级别(或强度)或滤波器抽头的数量，并且可以基于决定的结果生成第一控制参数CNTL_1。第一控制参数CNTL_1可以包括关于用于设置解块滤波器1157的滤波器级别或滤波器抽头的数量的信息。
参数生成器1153可以选择性地生成用于控制自导滤波器1159的第二控制参数CNTL_2。在视频编解码器1150b对应于AV1标准的情况下，自导滤波器1159可以以64×64像素为单位改变滤波器参数。然而，在帧率转换(FRC)模式的情况下，例如，可能有必要以8×8像素为单位改变滤波器参数。因此，在FRC模式下，参数生成器1153可以计算适合于帧率转换操作的块大小和滤波器强度。参数生成器1153可以将计算的信息作为用于调节自导滤波器1159的开/关和强度的值(例如，滤波器的数量)来输出。
参数生成器1153可以输出用于在FRC模式下绕过约束方向增强滤波器1158的操作的开关控制信号BP。在合并FRC的编解码器1150以通用编解码器模式操作的情况下，参数生成器1153关断旁路开关BPSW。因此，在编解码器模式下，解块滤波器1157的输出可以在由约束方向增强滤波器1158处理之后被传送到自导滤波器1159。相反，在合并FRC的编解码器1150以FRC模式操作的情况下，参数生成器1153接通旁路开关BPSW。在这种情况下，解块滤波器1157的输出可以绕过约束方向增强滤波器1158，以便被传送到自导滤波器1159。
图5是示出根据本发明构思的示例实施例的根据合并FRC的编解码器的操作模式的滤波单元的变化的示图。参考图5，合并FRC的编解码器1150可以在合并FRC的编解码器1150以编解码器模式操作的情况下以及在合并FRC的编解码器1150以FRC模式操作的情况下调整要被滤波的块的大小。
例如，在编解码器模式下，自导滤波器1159可以以64×64像素为单位改变滤波器参数。例如，在合并FRC的编解码器1150以编解码器模式(例如，AV1标准)操作的情况下，自导滤波器1159可以以64×64像素为单位执行滤波。然而，在FRC模式的情况下，滤波器参数可以以8×8像素为单位改变。例如，在合并FRC的编解码器1150以FRC模式操作的情况下，自导滤波器1159可以以8×8像素为单位执行滤波。
这样，参数生成器1153可以生成指示在FRC模式下根据块大小设置的抽头的数量(或滤波器长度)和要经过滤波器处理的像素范围的参数值，以将所生成的参数值提供给解块滤波器1157或自导滤波器1159。
图6是示出根据本发明构思的示例实施例的合并FRC的编解码器如何根据操作模式操作的流程图。参考图6，合并FRC的编解码器1150可以根据模式可变地控制滤波器的强度和抽头的数量。
在操作S110中，合并FRC的编解码器1150检测要执行的操作模式。例如，在合并FRC的编解码器1150当前以编解码器模式操作的情况下，合并FRC的编解码器1150可以在处理器1110的控制下或者根据处理器1110的请求，确定是否将模式改变为FRC模式或者是否维持编解码器模式。或者，在合并FRC的编解码器1150当前以FRC模式操作的情况下，合并FRC的编解码器1150可以确定是否维持FRC模式或者是否切换到编解码器模式。
在操作S120中，合并FRC的编解码器1150在处理器1110的控制下或者根据处理器1110的请求，确定要响应于输入信号而执行的操作模式。例如，当确定检测到的输入信号为FRC输入(S120，是)时，则将在FRC模式下处理输入信号，过程进行到操作S130。当确定检测到的输入信号不是FRC输入(S120，否)时，则将通过使用视频编解码器处理输入信号，过程进行到操作S170。
在操作S130中，为了绕过约束方向增强滤波器1158的目的，参数生成器1153接通旁路开关BPSW。例如，参数生成器1153通过使用开关控制信号BP接通旁路开关BPSW。
在操作S140中，执行用于帧率转换的预处理操作。例如，运动矢量MV可以由运动估计器1151生成，并且运动矢量MV可以由运动补偿器1152处理。诸如运动矢量MV的大小、像素图像数据、要用于运动补偿的参考图像的数量以及块的特性的图像信息可以被传送到参数生成器1153。
在操作S150中，参数生成器1153可以输出用于控制解块滤波器1157的第一控制参数CNTL_1和用于控制自导滤波器1159的第二控制参数CNTL_2。第一控制参数CNTL_1可以包括关于用于设置解块滤波器1157的滤波器级别和滤波器抽头的数量的信息。
在操作S160中，根据从参数生成器1153提供的第一控制参数CNTL_1和第二控制参数CNTL_2，由解块滤波器1157和自导滤波器1159执行滤波。在这种情况下，恢复图像可以被解块滤波器1157和自导滤波器1159作为FRC模式的运行结果输出。
在操作S170中，合并FRC的编解码器1150继续以编解码器模式操作。例如，视频编解码器1150b的所有组件被激活，使得对视频信号执行解码。为此，可以关断旁路开关BPSW。
以上描述了合并FRC的编解码器1150中的操作模式设置方法。在本发明构思的示例实施例的合并FRC的编解码器1150以FRC模式操作的情况下，包括在视频编解码器1150b中的解块滤波器1157和自导滤波器1159被使用。在这种情况下，可以由参数生成器1153调整解块滤波器1157和自导滤波器1159的滤波器特性以用于FRC模式下的操作。因此，可以减少对应于解块滤波器1157和自导滤波器1159的组件或电路的数量。
图7是示出根据本发明构思的另一示例实施例的合并FRC的编解码器的框图。参考图7，根据另一实施例的合并FRC的编解码器2150可以包括帧率转换器2150a和视频编解码器2150b。在示例实施例中，帧率转换器2150a可以仅通过使用视频编解码器2150b的解块滤波器2157来执行帧率转换操作的后处理。
帧率转换器2150a可以包括运动估计器2151、运动补偿器2152、参数生成器2153和非锐化屏蔽滤波器2160。运动估计器2151通过基于同时从帧缓冲器(未示出)提供的当前帧和先前帧估计运动来计算运动矢量MV。在一些实施例中，先前帧可以是紧接在当前帧之前的帧。当前帧和先前帧可以对应于输入图像100。运动补偿器2152通过使用运动矢量MV生成在当前帧和先前帧之间的内插帧。运动补偿器2152在当前帧和先前帧之间***并输出内插帧。运动估计器2151和运动补偿器2152的功能可以分别与上述的运动估计器1151和运动补偿器1152的功能相同。因此，将省略额外的描述以避免冗余。运动矢量MV、经运动补偿的图像数据、参考图像的数量或块的特性被提供到参数生成器2153作为图像信息IMG_Info。
参数生成器2153可以基于从运动补偿器2152接收的图像信息IMG_Info向解块滤波器2157提供诸如滤波器级别或滤波器抽头的数量的控制信息。解块滤波器2157对图像的像素数据执行解块滤波器处理，并将解块滤波器处理的结果传送到非锐化屏蔽滤波器2160。非锐化屏蔽滤波器2160可以再次执行增强图像的细节边缘的滤波操作。
视频编解码器2150b可以包括熵解码器2154、帧内预测重建器2155、帧间预测重建器2156、解块滤波器2157、约束方向增强滤波器(CDEF)2158和自导滤波器2159。熵解码器2154、帧内预测重建器2155、帧间预测重建器2156、约束方向增强滤波器(CDEF)2158和自导滤波器2159的功能可以分别与以上已经讨论过的熵解码器1154、帧内预测重建器1155、帧间预测重建器1156、约束方向增强滤波器(CDEF)1158和自导滤波器1159的功能相同。因此，将省略额外的描述以避免冗余。在示例实施例中，视频编解码器2150b的自导滤波器2159和帧率转换器2150a的非锐化屏蔽滤波器2160独立地实施并且独立地操作。例如，可以仅在FRC模式下激活非锐化屏蔽滤波器2160，并且可以仅在编解码器模式下激活自导滤波器2159。
图8是描述图7的参数生成器2153、解块滤波器2157和非锐化屏蔽滤波器2160的操作的框图。参考图8，帧率转换操作的后处理可以由参数生成器2153、解块滤波器2157和非锐化屏蔽滤波器2160执行。
参数生成器2153从运动补偿器2152接收图像信息IMG_Info。图像信息IMG_Info可以包括关于要处理的图像的像素数据、运动矢量MV的大小、用于运动估计和运动补偿的参考图像的数量、以及块的特性的信息。这里，例如，块的特性与指示相关图像块是对应于文本区域还是小对象区域的信息相关联。
参数生成器2153通过使用图像信息IMG_Info生成用于控制解块滤波器2157的参数。参数生成器2153为了控制解块滤波器2157的目的而数值地计算像素数据的噪声强度(或级别)，可以根据计算的噪声强度来决定滤波器级别或滤波器抽头的数量，并且可以将决定的结果传送到解块滤波器2157。
解块滤波器2157通过使用从参数生成器2153提供的信息执行解块滤波，并将解块滤波的结果传送到非锐化屏蔽滤波器2160。非锐化屏蔽滤波器2160执行增强由解块滤波器2157处理的图像的细节边缘的滤波操作。非锐化屏蔽滤波器2160将输出图像200作为滤波操作的结果输出。
以上简要描述了参数生成器2153、帧率转换器2150a的非锐化屏蔽滤波器2160以及视频编解码器2150b的解块滤波器2157如何在FRC模式下操作。然而，在编解码器模式下，可以停用帧率转换器2150a，并且可以激活视频编解码器2150b的总体操作。
图9是示出根据本发明构思的另一示例实施例的合并FRC的编解码器如何根据合并FRC的编解码器的操作模式进行操作的流程图。参考图9，合并FRC的编解码器2150可以通过使用一个解块滤波器2157来运行FRC模式和编解码器模式。在该示例中，假设合并FRC的编解码器2150当前以编解码器模式操作。
在操作S210中，合并FRC的编解码器2150检测要执行的操作模式。合并FRC的编解码器2150可以在处理器1110(参考图1)的控制下或者根据处理器1110的请求，响应于输入信号确定是否将模式改变为FRC模式或者是否维持编解码器模式。
在操作S220中，合并FRC的编解码器2150在处理器1110的控制下或者根据处理器1110的请求，响应于输入信号决定要执行的操作模式。例如，确定检测到的输入信号是FRC输入(S220，是)并且要以FRC模式处理输入信号，过程进行到操作S230。相反，当确定检测到的输入信号不是FRC输入(S220，否)并且要以编解码器模式处理输入信号时，则过程进行到操作S280。
在操作S230中，合并FRC的编解码器2150暂停当前执行操作的编解码器模式的总体设置或操作。
在操作S240中，执行用于帧率转换的预处理。例如，运动矢量MV可以由运动估计器2151生成，并且运动矢量MV可以由运动补偿器2152处理。诸如运动矢量MV的大小、像素数据、要用于运动补偿的参考图像的数量以及块的特性的图像信息可以被传送到参数生成器2153。
在操作S250中，参数生成器2153生成用于控制解块滤波器2157的控制参数，并将控制参数传送到解块滤波器2157。然而，在图9的实施例中，参数生成器2153可以不提供用于绕过约束方向增强滤波器2158的控制信号或用于控制自导滤波器2159的信息。
在操作S260中，解块滤波器2157基于从参数生成器2153提供的控制参数对像素数据执行解块处理。由解块滤波器2157滤波的图像可以输出到非锐化屏蔽滤波器2160。
在操作S270中，非锐化屏蔽滤波器2160对从解块滤波器2157提供的经滤波的图像执行额外的处理。非锐化屏蔽滤波器2160执行增强由解块滤波器2157处理的图像的细节边缘的滤波操作。可以从非锐化屏蔽滤波器2160输出恢复图像作为FRC模式的运行结果。
在操作S280中，合并FRC的编解码器2150继续以编解码器模式操作。也就是说，视频编解码器2150b的所有组件被激活，使得对视频信号执行解码。
以上简要描述了合并FRC的编解码器2150的操作方法。在本发明构思的示例实施例的合并FRC的编解码器2150以FRC模式操作的情况下，可以仅使用视频编解码器2150b中包括的解块滤波器2157来处理输入像素图像。然而，在图9的实施例中，帧率转换器2150a的非锐化屏蔽滤波器2160和视频编解码器2150b的自导滤波器2159是彼此独立操作的分离组件。在一些情况下，即使非锐化屏蔽滤波器2160和自导滤波器2159执行类似的操作，独立地实施非锐化屏蔽滤波器2160和自导滤波器2159也可以更高效。
图10是示出根据本发明构思的另一示例实施例的移动设备的框图。参考图10，移动设备3000可以包括片上***(SoC)3100、非易失性存储器(NVM)设备3200、DRAM 3300、显示器3400等。片上***3100可以包括处理器3110、SRAM 3120、存储控制器3130、DRAM控制器3140、帧率转换器3150、视频编解码器3160、显示控制器3170和***互连器3180。这里，非易失性存储器设备3200、DRAM 3300和显示器3400分别与图1的非易失性存储器设备1200、DRAM 1300和显示器1400相同。此外，处理器3110、SRAM 3120、存储控制器3130、DRAM控制器3140、显示控制器3170和***互连器3180的功能分别与图1的处理器1110、SRAM 1120、存储控制器1130、DRAM控制器1140、显示控制器1160和***互连器1170的功能相同。因此，将省略额外的描述以避免冗余。
帧率转换器3150通过使用视频编解码器3160的解块滤波器3164来执行用于执行帧率转换操作的解块处理。然而，帧率转换器3150和视频编解码器3160利用分离的功能块来实施。帧率转换器3150可以通过使用视频编解码器3160中包括的解块滤波器3164来处理帧数据。
视频编解码器3160可对与应用于片上***3100的运动图像压缩标准相对应的视频信号进行编码或解码。视频编解码器3160包括解块滤波器3164。解块滤波器3164可以与帧率转换器3150共享。当然，视频编解码器3160可以包括用于解码功能的组件，诸如熵解码器、帧内预测重建器、帧间预测重建器、约束方向增强滤波器和自导滤波器。视频编解码器3160可以通过编解码器模式下的上述配置对视频信号执行解码处理。然而，除了解块滤波器3164之外的视频编解码器3160的其余组件在FRC模式下被停用。
本发明构思的示例实施例的移动设备3000包括利用分离的功能块实施的帧率转换器3150和视频编解码器3160。然而，帧率转换器3150不包括解块滤波器，并且仅通过使用视频编解码器3160中包括的解块滤波器3164来执行解块滤波。该配置使得可以减小帧率转换器3150的电路大小。
图11是示出图10的帧率转换器和视频编解码器的示图。参考图11，帧率转换器3150和视频编解码器3160可以用分离的功能块来实施。帧率转换器3150不包括单独的解块滤波器，而是通过使用视频编解码器3160的解块滤波器3164来执行帧率转换操作的后处理。
帧率转换器3150可以包括运动估计器3151、运动补偿器3152、参数生成器3153和非锐化屏蔽滤波器3154。视频编解码器3160可以包括熵解码器3161、帧内预测重建器3162、帧间预测重建器3163、解块滤波器3164、约束方向增强滤波器(CDEF)3165和自导滤波器3166。
帧率转换器3150和视频编解码器3160的配置和功能类似于参考图7描述的帧率转换器2150a和视频编解码器2150b。然而，图11的实施例与图7的实施例的不同之处在于，帧率转换器3150和视频编解码器3160分别在分离的功能块IP1和IP2上实施。因此，省略与图11中所示的帧率转换器3150和视频编解码器3160的详细功能或配置相关联的描述。
图12是示出根据本发明构思的另一示例实施例的移动设备的框图。参考图12，移动设备4000可以包括片上***(SoC)4100、非易失性存储器(NVM)设备4200、DRAM 4300、显示器4400等。片上***4100可以包括处理器4110、SRAM 4120、存储控制器4130、DRAM控制器4140、帧率转换器4150，视频编解码器4160、显示控制器4170和***互连器4180。非易失性存储器设备4200、DRAM 4300、显示器4400、处理器4110、SRAM 4120、存储控制器4130、DRAM控制器4140、显示控制器4170和***互连器4180的功能分别与图1的非易失性存储器设备1200、DRAM 1300、显示器1400、处理器1110、SRAM 1120、存储控制器1130、DRAM控制器1140、显示控制器1160和***互连器1170的功能相同。因此，将省略额外的描述以避免冗余。
在帧率转换操作中，帧率转换器4150分别通过使用解块滤波器4164和视频编解码器4160的自导滤波器4166来执行解块和非锐化屏蔽滤波。帧率转换器4150和视频编解码器4160用分离的功能块实施。
视频编解码器4160可以对与应用于片上***4100的运动图像压缩标准相对应的视频信号进行编码或解码。视频编解码器4160包括解块滤波器4164和自导滤波器4166。解块滤波器4164和自导滤波器4166可以与帧率转换器4150共享。当然，视频编解码器4160可以包括用于解码功能的组件，诸如熵解码器、帧内预测重建器、帧间预测重建器和约束方向增强滤波器。视频编解码器4160可以通过编解码器模式下的上述配置对视频信号执行解码处理。然而，除了解块滤波器4164和自导滤波器4166之外的视频编解码器4160的其余组件在FRC模式下被停用。
本发明构思的示例实施例的移动设备4000包括利用分离的功能块实施的帧率转换器4150和视频编解码器4160。然而，帧率转换器4150不包括解块滤波器和非锐化屏蔽滤波器。帧率转换器4150通过使用包括在视频编解码器4160中包括的解块滤波器4165和自导滤波器4166来执行解块滤波和非锐化屏蔽滤波。
为了处理用于构建恢复图像的解块和非锐化屏蔽滤波的目的，描述了帧率转换器4150使用视频编解码器4160的组件，但是本发明构思不限于此。
图13是示出图12的帧率转换器和视频编解码器的配置的示图。参考图13，帧率转换器4150可以通过使用视频编解码器4160中包括的解块滤波器4164和自导滤波器4166来执行帧率转换操作的后处理。
帧率转换器4150可以包括运动估计器4151、运动补偿器4152和参数生成器4153。视频编解码器4160可以包括熵解码器4161、帧内预测重建器4162、帧间预测重建器4163、解块滤波器4164、约束方向增强滤波器4165和自导滤波器4166。
帧率转换器4150和视频编解码器4160的配置和功能类似于参考图2描述的帧率转换器1150a和视频编解码器1150b的配置和功能。然而，图13的实施例与图2的实施例的不同之处在于，帧率转换器4150和视频编解码器4160分别在分离的功能块上实施。数据路径“①”对应于帧率转换器4150和视频编解码器4160以FRC模式操作的情况。例如，在FRC模式下，输入图像数据400在通过运动估计器2151、运动补偿器4152、参数生成器4153、解块滤波器4164、旁路开关BPSW和自导滤波器4166的处理之后被输出为输出图像410。相反，在编解码器模式下，数据可以仅由视频编解码器4160处理并输出(参考数据处理路径②)。
可以移除与包括在视频编解码器4160中的解块滤波器4164和自导滤波器4166的功能相对应的帧率转换器4150的内部组件。因此，通过移除重叠的功能块，可以减小帧率转换器4150占用的电路或芯片区域，从而使得可以以低成本实施片上***4100。
图14是示出根据本发明构思的实施例的包括合并FRC的编解码器的便携式终端的框图。参考图14，根据本发明构思的示例实施例的便携式终端5000包括图像处理单元5100、无线收发器单元5200、音频处理单元5300、PMIC 5400、电池5450、DRAM 5500、用户接口5600和控制器5700。
图像处理单元5100可以包括镜头5110、图像传感器5120、图像处理器5130和显示单元5140。无线收发器单元5200包括天线5210、收发器5220和调制器/解调器(调制解调器)5230。音频处理单元5300包括音频处理器5350、麦克风5320和扬声器5330。PMIC 5400可以从电池5450向控制器5700提供电力。存储器5500可以用作控制器5700的工作存储器。用户接口5600可以将用户输入从输入/输出设备(未示出)传送到控制器5700。
具体地，根据本发明构思的示例实施例的控制器5700可以包括合并FRC的编解码器5750。因此，可以通过使用视频编解码器中包括的组件来处理用于帧率转换操作的解块或非锐化屏蔽滤波。可以通过合并FRC的编解码器5750减少作为应用处理器(applicationprocessor，AP)提供的控制器5700的芯片大小。因此，可以减少制造包括根据本发明构思的实施例的控制器5700的便携式终端5000所需的成本。
根据与帧率转换器合并的视频编解码器，可以通过合并执行重叠或类似操作的组件来减小片上***的大小。在这种情况下，由于芯片区域减小而性能没有降低，因此可以降低实施片上***所需的成本。
如在所公开的技术的领域中传统的，在功能块和/或单元方面描述了特征和实施例，并且在附图中示出了这些特征和实施例。本领域技术人员将理解，这些块和/或单元由诸如逻辑电路、离散元件、微处理器、硬连线电路、存储器元件、布线连接等的电子(或光学)电路物理地实施，其可以使用基于半导体的制作技术或其他制造技术来形成。在由微处理器或类似物实施块和/或单元的情况下，可以使用软件(例如，微代码)对它们进行编程以执行在此所讨论的各种功能，并且它们可以可选地由固件和/或软件驱动。或者，每个块或单元可以由专用硬件实施，或者实施为执行某些功能的专用硬件和执行其他功能的处理器(例如，一个或多个编程的微处理器和相关联的电路)的组合。
尽管已经参考本发明构思的示例性实施例描述了本发明构思，但是对于本领域普通技术人员清楚的是，在不脱离所附权利要求中阐述的本发明构思的精神和范围的情况下，可以对其进行各种改变和修改。

Claims (20)

1.一种包括视频编解码器的片上***，所述视频编解码器包括解块滤波器，所述片上***包括：
运动估计器，被配置为计算输入图像的运动矢量；
运动补偿器，被配置为通过使用所述运动矢量来补偿所述输入图像的运动；和
参数生成器，被配置为允许其中运动被补偿的图像数据被传送到所述视频编解码器的解块滤波器，并且由所述视频编解码器的解块滤波器滤波。
2.如权利要求1所述的片上***，其中，所述参数生成器被配置为从所述运动补偿器接收图像信息，并生成用于设置所述解块滤波器的控制参数。
3.如权利要求2所述的片上***，其中，所述图像信息包括所述输入图像的像素数据、所述运动矢量、要用于计算所述运动矢量的参考图像的数量、以及其中运动被补偿的所述图像数据的块的特性。
4.如权利要求2所述的片上***，其中，所述控制参数包括所述解块滤波器的滤波器级别和所述解块滤波器的抽头数量。
5.如权利要求2所述的片上***，其中，所述视频编解码器包括：
约束方向增强滤波器，被配置为沿着与所述解块滤波器的输出相对应的图像的边缘去除噪声，并输出去除噪声的结果作为输出；
自导滤波器，被配置为对所述解块滤波器的输出或所述约束方向增强滤波器的输出执行边缘保持滤波；和
旁路开关，被配置为在所述参数生成器的控制下将所述解块滤波器的输出旁路到所述自导滤波器。
6.如权利要求5所述的片上***，其中，所述参数生成器被配置为将用于处理所述解块滤波器的输出的滤波器强度的滤波器参数提供给所述自导滤波器。
7.如权利要求5所述的片上***，其中，所述旁路开关被配置为当所述视频编解码器在帧率转换模式下操作时接通。
8.如权利要求1所述的片上***，还包括：
非锐化屏蔽滤波器，被配置为增强由所述解块滤波器滤波的图像的边缘。
9.如权利要求1所述的片上***，其中，所述运动估计器、所述运动补偿器、所述参数生成器和所述视频编解码器集成在一个功能块中。
10.一种包括视频编解码器的片上***的帧率转换方法，所述方法包括：
比较第一帧和第二帧以计算运动矢量；
通过使用所述运动矢量生成要***所述第一帧和所述第二帧之间的至少一个内插帧；
通过使用所述运动矢量以及所述第一帧和所述第二帧计算包括在所述视频编解码器中的解块滤波器的滤波器级别和滤波器抽头的数量；以及
根据所述滤波器级别和所述滤波器抽头的数量去除包括所述至少一个内插帧的图像的阻断噪声。
11.如权利要求10所述的方法，还包括：
通过使用包括在所述视频编解码器中的自导滤波器对去除了阻断噪声的图像执行边缘保持滤波。
12.如权利要求11所述的方法，还包括：
基于所述运动矢量以及所述第一帧和所述第二帧计算所述自导滤波器的滤波器强度。
13.如权利要求11所述的方法，还包括：
绕过位于所述解块滤波器和所述自导滤波器之间的约束方向增强滤波器，以将所述去除了阻断噪声的图像从所述解块滤波器传送到所述自导滤波器。
14.如权利要求10所述的方法，还包括：
通过使用非锐化屏蔽滤波器对去除了阻断噪声的图像执行边缘保持滤波。
15.一种片上***，包括：
处理器；
合并帧率转换器FRC的编解码器，被配置为在处理器的控制下，通过在FRC模式下对输入图像执行帧率转换以获得被转换帧率的输入图像、并且在编解码器模式下对输入比特流进行解码，来生成输出图像；和
显示控制器，被配置为在显示器中显示被转换帧率的输入图像或所述输出图像。
16.如权利要求15所述的片上***，其中，所述合并FRC的编解码器包括：
帧率转换器，被配置为执行包括所述输入图像的运动矢量计算和运动补偿的预处理；和
视频编解码器，被配置为在编解码器模式下将所述输入比特流解码为所述输出图像，并且在FRC模式下通过使用所述预处理的结果来执行解块滤波。
17.如权利要求16所述的片上***，其中，所述帧率转换器包括：
参数生成器，被配置为从所述预处理的结果生成用于控制所述视频编解码器的解块滤波器的参数。
18.如权利要求17所述的片上***，其中，所述参数包括所述解块滤波器的滤波器强度和滤波器抽头的数量中的至少一个。
19.如权利要求16所述的片上***，其中，所述视频编解码器根据AV1标准将所述输入比特流解码为输出图像。
20.如权利要求16所述的片上***，其中，所述合并FRC的编解码器利用一个功能块实施。
CN201910752404.9A 2018-11-21 2019-08-15 片上***及其帧率转换方法 Active CN111212290B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180144616A KR20200060589A (ko) 2018-11-21 2018-11-21 병합된 프레임율 컨버터와 비디오 코덱을 갖는 시스템 온 칩 및 그것의 프레임율 변환 방법
KR10-2018-0144616 2018-11-21

Publications (2)

Publication Number Publication Date
CN111212290A true CN111212290A (zh) 2020-05-29
CN111212290B CN111212290B (zh) 2024-07-23

Family

ID=70728295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910752404.9A Active CN111212290B (zh) 2018-11-21 2019-08-15 片上***及其帧率转换方法

Country Status (3)

Country Link
US (2) US11109033B2 (zh)
KR (1) KR20200060589A (zh)
CN (1) CN111212290B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11037599B2 (en) * 2019-11-01 2021-06-15 Qualcomm Incorporated Automatic slow motion video recording
US11245896B1 (en) * 2021-02-26 2022-02-08 Realtek Semiconductor Corporation Deblocking filter level decision method
CN117256139A (zh) * 2021-04-12 2023-12-19 抖音视界有限公司 视频编解码中的导向滤波器
EP4304167A1 (en) 2021-06-14 2024-01-10 Samsung Electronics Co., Ltd. Electronic device carrying out video call by using frc, and operation method for electronic device
US20230084472A1 (en) * 2021-08-26 2023-03-16 Tencent America LLC Method and apparatus for temporal filter in video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794814A (zh) * 2004-12-01 2006-06-28 三星电子株式会社 流水线化解块滤波器
US20080018506A1 (en) * 2006-07-20 2008-01-24 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
CN106464879A (zh) * 2014-06-13 2017-02-22 英特尔公司 用于视频译码的高度内容自适应质量恢复滤波的***和方法
CN108141603A (zh) * 2015-09-25 2018-06-08 华为技术有限公司 视频运动补偿装置和方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307560B1 (en) 1999-02-12 2001-10-23 Sony Corporation Classified adaptive spatio-temporal format conversion method and apparatus
US7287226B2 (en) 2000-12-06 2007-10-23 Microsoft Corporation Methods and systems for effecting video transitions represented by bitmaps
TW200625964A (en) 2004-07-20 2006-07-16 Qualcomm Inc Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
US8045615B2 (en) * 2005-05-25 2011-10-25 Qualcomm Incorporated Deblock filtering techniques for video coding according to multiple video standards
US20080298472A1 (en) * 2007-06-04 2008-12-04 Texas Instruments Incorporated Throughput Performance When Applying Deblocking Filters On Reconstructed Image Frames
US20100046623A1 (en) 2008-08-19 2010-02-25 Chen Xuemin Sherman Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
US10075670B2 (en) * 2008-09-30 2018-09-11 Entropic Communications, Llc Profile for frame rate conversion
EP2524505B1 (en) * 2010-01-15 2015-11-25 Dolby Laboratories Licensing Corporation Edge enhancement for temporal scaling with metadata
KR101903748B1 (ko) * 2011-10-07 2018-10-04 삼성디스플레이 주식회사 표시 장치
US9055027B2 (en) * 2012-02-13 2015-06-09 Lenovo (Beijing) Co., Ltd. Transmission method and electronic device
TW201345262A (zh) * 2012-04-20 2013-11-01 Novatek Microelectronics Corp 影像處理電路及影像處理方法
US20150271514A1 (en) 2014-03-18 2015-09-24 Panasonic Intellectual Property Management Co., Ltd. Prediction image generation method, image coding method, image decoding method, and prediction image generation apparatus
KR102246402B1 (ko) * 2014-10-17 2021-04-30 삼성전자주식회사 디코더, 상기 디코더를 포함하는 애플리케이션 프로세서, 및 상기 디코더의 동작 방법
US9918082B2 (en) 2014-10-20 2018-03-13 Google Llc Continuous prediction domain
KR101740124B1 (ko) 2015-05-20 2017-06-08 주식회사 칩스앤미디어 프레임 율 변환 장치 및 그 방법
GB2539198B (en) * 2015-06-08 2019-09-25 Imagination Tech Ltd Motion estimation using collocated blocks
US10257528B2 (en) * 2015-10-08 2019-04-09 Electronics And Telecommunications Research Institute Method and apparatus for adaptive encoding and decoding based on image quality
KR102573577B1 (ko) 2016-02-15 2023-08-31 세종대학교산학협력단 영상 처리 방법, 프레임 율 변환 방법 및 그 장치
CN113873237B (zh) 2016-12-01 2023-12-29 谷歌有限责任公司 用于恢复由重构产生的劣化帧的劣化图块的方法和装置
KR101852967B1 (ko) 2017-12-27 2018-06-07 주식회사 아나패스 프레임 율 검출 방법 및 프레임 율 변환 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794814A (zh) * 2004-12-01 2006-06-28 三星电子株式会社 流水线化解块滤波器
US20080018506A1 (en) * 2006-07-20 2008-01-24 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
CN106464879A (zh) * 2014-06-13 2017-02-22 英特尔公司 用于视频译码的高度内容自适应质量恢复滤波的***和方法
CN108141603A (zh) * 2015-09-25 2018-06-08 华为技术有限公司 视频运动补偿装置和方法

Also Published As

Publication number Publication date
US11825094B2 (en) 2023-11-21
US11109033B2 (en) 2021-08-31
US20210385458A1 (en) 2021-12-09
CN111212290B (zh) 2024-07-23
KR20200060589A (ko) 2020-06-01
US20200162741A1 (en) 2020-05-21

Similar Documents

Publication Publication Date Title
CN111212290B (zh) 片上***及其帧率转换方法
JP7237874B2 (ja) イメージ予測方法および装置
CN111183645B (zh) 在视频译码中与位置相关的预测组合
JP6286718B2 (ja) 高効率な次世代ビデオコーディングのためのフレーム階層応答型量子化を使用する、コンテンツ適応ビットレートおよび品質管理
WO2019143841A1 (en) Affine motion compensation in video coding
JP5911517B2 (ja) 低メモリアクセス動きベクトル導出
US20060256866A1 (en) Method and system for providing bi-directionally predicted video coding
CN108989804B (zh) 图像的编码方法及装置
KR20190126295A (ko) 인 루프 필터를 선택적으로 적용하여 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 방법 및 장치
JP2018032949A (ja) 動きベクトル検出装置およびその制御方法
US8761239B2 (en) Image coding apparatus, method, integrated circuit, and program
WO2014166423A1 (en) Method and apparatus for direct simplified depth coding
EP3509303B1 (en) Interframe bi-predictive coding method and device
JP2024056899A (ja) インター予測の方法および装置、並びに対応するエンコーダおよびデコーダ
EP3918794A1 (en) Inter prediction in geometric partitioning with an adaptive number of regions
KR20160064419A (ko) 움직임 보상 정보를 수정하는 데이터 처리 시스템과 데이터 처리 방법
US10757430B2 (en) Method of operating decoder using multiple channels to reduce memory usage and method of operating application processor including the decoder
CN113613020A (zh) 一种编解码方法、装置及其设备
CN106534850B (zh) 图像处理装置、图像插值方法和图像编码方法
CN113489986A (zh) 一种整像素运动估计方法、装置、电子设备及介质
CN109544591B (zh) 一种运动估计方法、装置、电子设备及存储介质
US11076167B2 (en) Device and method for coding video data
CN111343465B (zh) 电子电路和电子设备
US20220174213A1 (en) Camera fusion architecture to enhance image quality in the region of interest
CN111343465A (zh) 电子电路和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant