CN101523475A - 图像显示装置 - Google Patents

图像显示装置 Download PDF

Info

Publication number
CN101523475A
CN101523475A CNA200780036379XA CN200780036379A CN101523475A CN 101523475 A CN101523475 A CN 101523475A CN A200780036379X A CNA200780036379X A CN A200780036379XA CN 200780036379 A CN200780036379 A CN 200780036379A CN 101523475 A CN101523475 A CN 101523475A
Authority
CN
China
Prior art keywords
frame
interleave
circuit
motion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200780036379XA
Other languages
English (en)
Other versions
CN101523475B (zh
Inventor
小林正益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN101523475A publication Critical patent/CN101523475A/zh
Application granted granted Critical
Publication of CN101523475B publication Critical patent/CN101523475B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Television Systems (AREA)
  • Liquid Crystal (AREA)

Abstract

帧插补电路(5)对输入视频信号(X)进行帧插补，输出包含原始帧和插帧的驱动用视频信号(Y)。运动判断电路(8)根据在运动检测电路(2)求出的运动向量，输出与运动量对应的控制信号(S)。帧插补电路(5)按照控制信号(S)，图像的运动越大时，就使驱动用视频信号(Y)中包含的插帧的比例越大，图像的运动越小时，就使驱动用视频信号(Y)中包含的原始帧的比例越大。从而降低因视线跟踪而引起的动态图像模糊和因插帧所产生的噪声。

Description

图像显示装置
技术领域
本发明涉及液晶显示装置和电致发光显示装置等图像显示装置。
背景技术
近年来，液晶显示技术获得显著进步，以往成为问题的视角和响应性等也正在改善。液晶显示装置的用途也随之扩大到大型电视机等。然而，即使当前已改善了液晶的响应特性，但液晶电视显示的动态图像的像还是能看到模糊。
液晶显示装置不是自发光型的显示，而是通过用电压调整液晶面板的光透射率从而进行非自发光型的显示。液晶显示装置中，向液晶面板的各像素写入一帧份额的视频数据，在各像素保持与之前写入的视频数据对应的电压，直到写入下一帧的视频数据为止。由此，液晶显示装置在一帧时间内进行保持视频的保持模式显示。一般来说，在进行保持模式显示的显示装置中，已知随着观察者的视线跟踪会看到动态图像的像模糊(以下称为动态图像模糊)。从前在液晶显示装置中，存在由于液晶的响应速度慢(耗费一帧时间以上)而引起的图像拖尾的问题。但近年来，随着液晶的响应速度改善到一帧时间以内，出现由于进行保持模式显示而引起的动态图像模糊的问题。
不同于液晶显示装置，在CRT中，对各像素仅在一帧时间内的某个期间内照射电子束，而各像素仅在照射电子束的期间发光。由此，CRT进行在一帧时间内各像素仅在短时间发光的脉冲显示。进行脉冲显示的显示装置中，由于一次发光的像素直到下一帧时间为止都不发光，因此不会发生因视线跟踪而引起的动态图像模糊(但会发生因残余光引起的拖尾)。
因此，作为减轻液晶显示装置中的动态图像模糊的方法，考虑在液晶显示装置中也进行与CRT同样的疑似脉冲显示的方法。具体地说，已知有在一帧时间内熄灭背光源的方法、和在一帧时间内进行黑显示的方法。除此之外，作为减轻动态图像模糊的方法，已知还有利用帧插补来提高显示频率的方法(非专利文献1)。
其中，进行疑似脉冲显示的方法(背光源熄灭法和黑显示法)存在的问题是，会降低液晶面板的亮度和对比度，以及由于脉冲显示而与CRT同样发生闪烁。因而，不存在上述问题的帧插补法作为减轻动态图像模糊的方法，可以说是比较好的方法。
关于帧插补，已知有以下技术。专利文献1和2中揭示了一种方法，该方法是通过将一帧分割成多块，进行以块为单位的匹配处理并求出运动向量，使块移动所求出的运动向量的1/2的量，从而生成插帧。专利文献3和4中揭示了对多个块大小求出运动向量、并从中选择最佳运动向量的方法。专利文献5中揭示了用帧插补、以多种倍率进行帧频变换的方法。
专利文献1：日本专利特开平3-263989号公报
专利文献2：日本专利特开平2-206991号公报
专利文献3：日本专利特开平1-192273号公报
专利文献4：日本专利特开平6-153185号公报
专利文献5：日本专利特开2005-148521号公报
非专利文献1：石黑、栗田，《关于采用8倍速CRT的保持发光型显示器的动态图像质量的研究》，电子信息通信学会技术研究报告，EID96-4，1996年6月7日，第96卷，第87号，p.19-26
发明内容
然而，上述方法中存在以下问题。专利文献1和2所揭示的方法中，插帧是通过以块为单位来移动图像而生成的。因此，不仅仅是动态图像部分移动，静止部分(背景部分)也发生移动，从而给插帧带来噪声。若采用专利文献3和4中揭示的方法，虽然能解决该噪声问题，但是为了对多个块大小实时检测运动的向量，需要大规模的电路。另外，专利文献5所揭示的方法中，改变帧频的变换倍率，而插帧的使用帧数越是增加，因插帧所产生的噪声引起的图像劣化的可能性就越高。
因此，本发明的目的在于提供一种降低因视线跟踪而产生的动态图像模糊和因插帧所产生的噪声的图像显示装置。
本发明的第一方面是基于进行了帧插补的视频信号来显示画面的图像显示装置，该图像显示装置的特征在于，具备：
多个显示元件；
驱动上述显示元件的驱动电路；
对输入视频信号进行帧插补、对上述驱动电路输出包括原始帧和插帧的驱动用视频信号的帧插补电路；以及
根据对于上述输入视频信号的运动检测结果、输出与运动量对应的控制信号的运动判断电路，
上述帧插补电路按照上述控制信号，改变上述驱动用视频信号中包含的原始帧和插帧的比例。
本发明的第二方面的特征在于，在本发明的第一方面中，
上述帧插补电路在上述输入视频信号所表示的图像的运动越大时，使上述驱动用视频信号中包含的插帧的比例越大，在上述输入视频信号所表示的图像的运动越小时，使上述驱动用视频信号中包含的原始帧的比例越大。
本发明的第三方面的特征在于，在本发明的第一方面中，
上述帧插补电路根据对于上述输入视频信号的运动检测结果，对上述输入视频信号进行帧插补。
本发明的第四方面的特征在于，在本发明的第三方面中，
上述帧插补电路根据对于上述输入视频信号的运动检测结果，用对于前一帧的运动补偿图像和对于后一帧的运动补偿图像中的至少一方求出插帧。
本发明的第五方面的特征在于，在本发明的第一方面中，
还具备对于上述输入视频信号进行运动检测的运动检测电路。
本发明的第六方面的特征在于，在本发明的第五方面中，
上述运动检测电路通过进行以块为单位的匹配处理，对于上述输入视频信号进行运动检测。
本发明的第七方面的特征在于，在本发明的第五方面中，
上述运动检测电路通过进行以像素为单位的匹配处理，对于上述输入视频信号进行运动检测。
本发明的第八方面的特征在于，在本发明的第一方面中，
上述驱动电路对上述驱动用视频信号在多帧期间内进行按照规定的优先顺序重新分配亮度用的灰度变换，并用所获得的视频信号来驱动上述显示元件。
本发明的第九方面的特征在于，在本发明的第八方面中，
上述驱动电路对上述驱动用视频信号每隔一帧交替进行不优先分配亮度用的第一灰度变换、和优先分配亮度用的第二灰度变换，并用所获得的视频信号来驱动上述显示元件。
本发明的第十方面的特征在于，在本发明的第八方面中，
上述帧插补电路对于上述驱动电路中优先分配亮度的帧，优先分配原始帧和插帧中的原始帧。
本发明的第十一方面的特征在于，在本发明的第一方面中，
上述驱动用视频信号的帧频比上述输入视频信号的帧频的一倍要大。
根据本发明的第一方面，在基于进行了帧插补的视频信号来显示画面时，可以根据图像的运动量，较多地显示原始帧，或较多地显示插帧。若较多地显示原始帧，则可以降低因插帧所产生的噪声，若较多地显示插帧，则可以降低因视线跟踪而引起的动态图像模糊。因而，以与图像的运动量对应的适当的比例显示原始帧和插帧，就可以降低因视线跟踪而引起的动态图像模糊和因插帧所产生的噪声。
根据本发明的第二方面，在图像的运动越大时，插帧就显示得越多，在图像的运动越小时，原始帧就显示得越多，从而可以降低因视线跟踪而引起的动态图像模糊和因插帧所产生的噪声。
根据本发明的第三方面，根据对于输入视频信号的运动检测结果求出插帧，以与图像的运动量对应的适当的比例显示求出的插帧和原始帧，可以降低因视线跟踪而引起的动态图像模糊和因插帧所产生的噪声。
根据本发明的第四方面，可以用对于前一帧的运动补偿图像、对于后一帧的运动补偿图像、或者其两者求出插帧。
根据本发明的第五方面，在图像显示装置的内部求出图像的运动量，以与求出的运动量对应的适当的比例显示原始帧和插帧，可以降低因视线跟踪而引起的动态图像模糊和因插帧所产生的噪声。
根据本发明的第六方面，通过对输入视频信号进行以块为单位的匹配处理，可以求出每一块的运动向量作为运动检测结果。
根据本发明的第七方面，通过对输入视频信号进行以像素为单位的匹配处理，可以求出每一个像素的运动向量作为运动检测结果。
根据本发明的第八方面，在多帧期间内进行按照规定的优先顺序重新分配亮度的分时灰度驱动时，也以与图像的运动量对应的适当的比例显示原始帧和插帧，可以降低因视线跟踪而引起的动态图像模糊和因插帧所产生的噪声。
根据本发明的第九方面，在进行两帧期间以其中一帧为优先重新分配亮度的分时灰度驱动时，也以与图像的运动量对应的适当的比例显示原始帧和插帧，可以降低因视线跟踪而引起的动态图像模糊和因插帧所产生的噪声。
根据本发明的第十方面，通过对优先分配亮度的帧优先分配原始帧，从而可以降低因优先分配亮度的帧所发生的噪声。由此，在进行分时灰度驱动的图像显示装置中，可以进一步降低因插帧所产生的噪声。
根据本发明的第十一方面，在帧频的变换倍率大于一倍时，可以防止因插帧所产生的噪声明显。
附图说明
图1是表示本发明的第一和第二实施方式的液晶显示装置的结构框图。
图2是表示第一实施方式的液晶显示装置所采用的2.5倍速帧插补的图。
图3A是表示第一实施方式的液晶显示装置所采用的2.5倍速帧插补的详细情况(四个插帧时)的图。
图3B是同样地表示在三个插帧时的图。
图3C是同样地表示在两个插帧时的图。
图3D是同样地表示在一个插帧时的图。
图3E是同样地表示在零个插帧时的图。
图4是表示发生动态图像模糊的显示画面的例子的图。
图5是表示第一实施方式的液晶显示装置在显示图4所示的画面时、由观察者观察到的边界线附近的灰度的图。
图6是表示第一实施方式的液晶显示装置中的正确帧的比例、模糊宽度以及对最大模糊宽度的比例的图。
图7是表示将第一实施方式的液晶显示装置中的正确帧的比例和对最大模糊宽度的比例用图形表示的图。
图8A是表示第一实施方式的液晶显示装置所采用的2.5倍速帧插补的另一个例子(第一例)的图。
图8B是同样地表示第二例的图。
图9是表示第二实施方式的液晶显示装置的驱动电路的灰度变换特性的图。
图10是表示第二实施方式的液晶显示装置所采用的2.5倍速帧插补的图。
图11A是表示第二实施方式的液晶显示装置所采用的2.5倍速帧插补的详细情况(八个插帧时)的图。
图11B是同样地表示在七个插帧时的图。
图11C是同样地表示在六个插帧时的图。
图11D是同样地表示在五个插帧时的图。
图11E是同样地表示在四个插帧时的图。
图11F是同样地表示在三个插帧时的图。
图11G是同样地表示在两个插帧时的图。
图11H是同样地表示在一个插帧时的图。
图11I是同样地表示在零个插帧时的图。
图12是表示第二实施方式的液晶显示装置所采用的2.5倍速帧插补的另一个例子(第一例)的图。
图13A是同样地表示第二例的图。
图13B是同样地表示第三例的图。
标号说明
1、3……帧存储器
2……运动检测电路
4……运动向量存储器
5……帧插补电路
6……驱动电路
7……像素阵列
8……运动判断电路
9……液晶显示元件
10……液晶显示装置
具体实施方式
第一实施方式
图1是表示本发明的第一实施方式的液晶显示装置的结构框图。图1所示的液晶显示装置10具备运动检测用的帧存储器1、运动检测电路2、帧插补用的帧存储器3、运动向量存储器4、帧插补电路5、驱动电路6、像素阵列7、以及运动判断电路8。液晶显示装置10对输入视频信号X进行2.5倍速的帧插补，并根据所获得的驱动用视频信号Y来显示画面。
向液晶显示装置10供给帧频为60Hz的输入视频信号X。将输入视频信号X写入帧存储器1，延迟一帧时间后从帧存储器1输出。运动检测电路2将输入视频信号X作为当前帧的视频信号，将帧存储器1输出的视频信号作为前一帧的视频信号，而进行运动检测，输出运动向量V作为运动检测结果。运动检测电路2可以例如通过以块为单位的匹配处理而求出运动向量V，也可以通过以像素为单位的匹配处理而求出运动向量V，或者可以用除此以外的方法求出运动向量V。
将输入视频信号X和运动向量V分别写入到帧存储器3和运动向量存储器4。帧插补电路5从帧存储器3和运动向量存储器4读出所需的视频信号和运动向量，用读出的运动向量对读出的视频信号进行2.5倍速的帧插补，输出帧频为150Hz的驱动用视频信号Y。帧插补电路5的详细情况将在后文中阐述。
像素阵列7包括配置成二维状的多个液晶显示元件9。驱动电路6根据从帧插补电路5输出的驱动用视频信号Y，驱动液晶显示元件9。由此，液晶显示装置10显示画面。
运动判断电路8根据在运动检测电路2求出的运动向量V，输出与视频信号X所表示的图像的运动量对应的控制信号S。本实施方式中，控制信号S取从0到4的五个值，图像的运动越大时，控制信号S的值就越大。
以下，说明帧插补电路5的详细情况。如上所述，帧插补电路5对输入视频信号X(帧频为60Hz)进行2.5倍速的帧插补，输出驱动用视频信号Y(帧频为150Hz)。驱动用视频信号Y中包含输入视频信号X中原本就包含的帧(以下称为原始帧)、和在帧插补电路5中新生成的帧(以下称为插帧)。即，帧插补电路5输出包含原始帧和插帧的驱动用视频信号Y。
图2是表示帧插补电路5所采用的2.5倍速的帧插补的图。在2.5倍速的帧插补中，每输入两个帧，就输出五个帧。例如图2所示，对液晶显示装置10以1/60秒的间隔输入帧A、B、C时，帧插补电路5原样输出帧A和C，而在帧A和C之间以1/150秒的间隔输出四个帧F1～F4。
帧插补电路5输出原始帧和插帧中的某一个作为帧F1～F4。更详细地说，帧插补电路5依据从运动判断电路8输出的控制信号S，切换输出原始帧和插帧中的某一个作为帧F1～F4。控制信号S的值为s(s为0以上、4以下的整数)时，帧插补电路5输出s个插帧和(4-s)个原始帧作为帧F1～F4。
插帧是基于紧接其之前的原始帧(以下称为前一帧)和紧接其之后的原始帧(以下称为后一帧)而生成的。更详细地说，帧插补电路5根据前一帧和后一帧之间的运动向量，利用对于前一帧的运动补偿图像和对于后一帧的运动补偿图像中的至少一方而生成插帧。此外，帧插补电路5也可以用上述以外的方法生成插帧。
以下，说明帧插补电路5利用对于前一帧的运动补偿图像而生成插帧的情况。当设前一帧P和后一帧Q之间的运动向量为MV时，将使得前一帧P对每一块移动运动向量MV的a倍(0<a<1)的图像、即通过对于前一帧P利用a倍的运动向量(a×MV)进行运动补偿而获得的插帧表示为Pa。
图3A～图3E是表示帧插补电路5所采用的2.5倍速帧插补的详细情况的图。帧插补电路5依据控制信号S，进行图3A～图3E所示的五种动作中的某一种。此外，图3A～图3E中，有阴影的四边形表示输入视频信号X中包含的帧或驱动用视频信号Y中包含的原始帧，没有阴影的四边形表示视频信号Y中包含的插帧。插帧上所记的数字a表示其该插帧是通过利用a倍的运动向量进行运动补偿而获得的。
在控制信号S的值为4时(参照图3A)，帧插补电路5依次输出A2/5、A4/5、B1/5、B3/5作为帧F1～F4。在这种情况下，帧插补电路5输出四个插帧作为帧F1～F4。
在控制信号S的值为3时(参照图3B)，帧插补电路5依次输出A2/5、B、B1/5、B3/5作为帧F1～F4。在这种情况下，帧插补电路5输出三个插帧和一个原始帧作为帧F1～F4。
在控制信号S的值为2时(参照图3C)，帧插补电路5依次输出A2/5、B、B、B3/5作为帧F1～F4。在这种情况下，帧插补电路5输出两个插帧和两个原始帧作为帧F1～F4。
在控制信号S的值为1时(参照图3D)，帧插补电路5依次输出A、B、B、B3/5作为帧F1～F4。在这种情况下，帧插补电路5输出三个插帧和一个原始帧作为帧F1～F4。
在控制信号S的值为0时(参照图3E)，帧插补电路5依次输出A、A、B、B作为帧F1～F4。在这种情况下，帧插补电路5输出四个原始帧作为帧F1～F4。
此外，在a倍的运动向量(a×MV)有小数部分的情况下，帧插补电路5最好是与MPEG(Moving Picture Experts Group：动态图像专家组)所规定的半像素单位预测一样，通过对周围的四个像素进行插补运算，从而求出一个像素的运动补偿结果。
这样，帧插补电路5就依据控制信号S，改变驱动用视频信号Y中包含的原始帧和插帧的比例。尤其是在输入视频信号X所表示图像的运动越大时(控制信号S的值越大时)，帧插补电路5将驱动用视频信号Y中包含的插帧的比例增加得越大，在输入视频信号X所表示图像的运动越小时(控制信号S的值越小时)，帧插补电路5将驱动用视频信号Y中包含的原始帧的比例增加得越大。
这样，通过在帧插补电路5中改变驱动用视频信号Y中包含的原始帧和插帧的比例，液晶显示装置10就根据图像的运动量，较多地显示原始帧，或较多地显示插帧。若较多地显示原始帧，就能降低因插帧所产生的噪声。但另一方面，若较多地显示原始帧，则因为图像的保持时间变长，因此使得动态图像模糊的宽度变大。由此，因插帧所产生的噪声和动态图像模糊的宽度存在一个折中的关系。
这里作为一个例子，考虑如图4所示的情况，即在画面中显示黑区和白区时，两者的边界线以五个像素/帧(这里一帧时间为1/60秒)沿水平向右移动。观察者观看图4所示的画面时，使视线沿着边界线移动的方向(向右)移动。因此，观察者会在边界线附近看到发生图5所示的灰度变化。
图5是表示对于改变插帧数量的各种情况下、观察者观察到的边界线附近的灰度图。图5中，横轴表示像素的水平位置，纵轴表示各位置上的像素的灰度。图5中，设黑区的灰度为0％，白区的灰度为100％，将发生动态图像模糊的第一个像素(发生动态图像模糊的最左边的像素)的水平位置设为1。例如，控制信号S的值为4，输出四个插帧作为帧F1～F4时，水平位置1的像素的灰度为50％(黑区灰度和白区灰度的正中间的灰度)。
图6是表示对于改变插帧数量的各种情况下、正确帧的比例和动态图像模糊的宽度(以下称为模糊宽度)以及对最大模糊宽度的比例的图。例如，当控制信号S的值为4时，由于每输入两帧就输出一个原始帧和四个插帧(参照图3A)，因此正确帧(原始帧)的比例为1/5＝20％。同样地，当控制信号S的值为3、2、1、0时，正确帧的比例分别为40％、60％、80％、100％。
图6所示的模糊宽度是通过在图5中从灰度为90％的水平位置减去灰度为10％的水平位置而求出的。例如，当控制信号S的值为4时，由于灰度为90％的水平位置是1.8，灰度为10％的水平位置是0.2，因此模糊宽度为1.8-0.2＝1.6像素。同样地，当控制信号S的值为3、2、1、0时，模糊宽度分别是1.75像素、2.0像素、3.0像素、4.0像素。此外，上述那样决定模糊宽度的理由在于，考虑到作为接近人的感觉的动态图像模糊指标的EBET(Extended Blurred EdgeTime：边缘模糊延长时间)值。
另外，在不进行帧插补而利用输入视频信号X(帧频为60Hz)进行显示时，模糊宽度为4.0像素。图6中也记载了对该最大模糊宽度的比例。例如，当控制信号S的值为4时，对最大模糊宽度的比例为1.6/4.0＝40％。同样地，当控制信号S的值为3、2、1、0时，对最大模糊宽度的比例分别为43.8％、50％、75％、100％。
若将图6所示的正确帧的比例和对最大模糊宽度的比例用图形表示，则如图7所示。如图7所示，插帧的数量越多，正确帧的比例就越是减少，对最大模糊宽度的比例也越是减少。但是，正确帧的比例是根据插帧的数量而相应线性减少，相反地，插帧的数量越多，则对最大模糊宽度的比例的减少率就越小。
因此，通过根据图像的运动量估计因插帧所产生的噪声，决定插帧的数量，从而既能抑制因插帧所产生的噪声，又可以将模糊宽度的增加抑制为最低限度。具体地说，当图像的运动量大时，由于与因插帧所产生的噪声相比，因视线跟踪而引起的动态图像模糊更成为问题，因此，最好是较多地显示插帧。而另一方面，当图像的运动量小时，由于与视线跟踪而引起的动态图像模糊相比，因插帧所产生的噪声更成为问题，因此最好是较多地显示原始帧。液晶显示装置10可以根据图像的运动量，较多地显示原始帧，或较多地显示插帧。因此，若采用液晶显示装置10，能够根据图像的运动量以合适的比例显示原始帧和插帧，从而可以降低因视线跟踪而引起的动态图像模糊和因插帧所产生的噪声。
此外，帧插补电路5也可以进行图3A～图3E所示以外的帧插补。图8A和图8B是表示帧插补电路5所采用的2.5倍速帧插补的另一个例子。例如，帧插补电路5也可以在控制信号S的值为2时，如图8A所示，依次输出A2/5、A4/5、B、B作为帧F1～F4。或者，帧插补电路5也可以在控制信号S的值为2时，如图8B所示，依次输出A1/2、B、B、B1/2作为帧F1～F4。这样，在生成插帧时，也可以使用驱动用视频信号Y中包含的原始帧和乘以插帧的时序对应的倍率(例如1/2)的运动向量，以代替输入视频信号X中包含的原始帧和乘以插帧的时序对应的倍率(例如2/5、4/5)的运动向量。
另外，只要驱动用视频信号Y中包含的原始帧和插帧的时间顺序正确，则帧插补电路5也可以在任意时刻输出插帧，还可以在生成插帧时使用任意倍的运动向量。但是，为了有效抑制动态图像模糊，在输出原始帧以代替插帧时，与理想地输出插帧的情况相比，最好是尽可能地在相近的时刻输出。
另外，帧插补电路5也可以用对于后一帧的运动补偿图像生成插帧，以代替对于前一帧的运动补偿图像。例如，帧插补电路5也可以输出对于帧B利用3/5倍的运动向量进行向后运动补偿而获得的插帧作为帧F1。
或者，帧插补电路5也可以利用对于前一帧的运动补偿图像和对于后一帧的运动补偿图像生成插帧。在这种情况下，帧插补电路5只要根据乘以运动向量的常数的比，将对于前一帧的运动补偿图像和对于后一帧的运动补偿图像进行合成即可。例如，帧插补电路5只要以3:2的比例将对于帧A利用2/5倍的运动向量进行向前运动补偿而获得的图像、和对于帧B利用3/5倍的运动向量进行向后运动补偿而获得的图像进行合成作为帧F1即可。
如上所示，若采用本实施方式的液晶显示装置，在基于进行了帧插补的视频信号显示画面时，根据图像的运动量，可以较多地显示原始帧，或较多地显示插帧。若较多地显示原始帧，则能降低因插帧所产生的噪声，若较多地显示插帧，则能降低因视线跟踪而引起的动态图像模糊。因此，以与图像的运动量对应的适当比例显示原始帧和插帧，可以降低因视线跟踪而引起的动态图像模糊和因插帧所产生的噪声。尤其是当帧频变换倍率大于一倍时，可以防止因插帧所产生的噪声明显。
第二实施方式
本发明第二实施方式的液晶显示装置具有与第一实施方式的液晶显示装置(图1)相同的结构。但是，本实施方式中，帧插补电路5、驱动电路6以及运动判断电路8进行不同于第一实施方式的动作。以下，说明本实施方式与第一实施方式的不同点，省略说明两者的共同点。
本实施方式的液晶显示装置中，驱动电路6对从帧插补电路5输出的驱动用视频信号Y，在多个帧期间进行按照规定的优先顺序重新分配亮度用的灰度变换，利用获得的视频信号来驱动液晶显示元件9(该方法被成为分时灰度驱动)。更详细地说，驱动电路6对驱动用视频信号Y，每隔一帧交替进行不优先分配亮度用的第一灰度变换、和优先分配亮度用的第二灰度变换，并利用获得的视频信号来驱动液晶显示元件9。以下，将驱动用视频信号Y中包含的帧交替地称为“前半子帧”和“后半子帧”。驱动电路6对驱动用视频信号Y中包含的前半子帧进行第一灰度变换，对驱动用视频信号Y中包含的后半子帧进行第二灰度变换。
图9是表示驱动电路6的灰度变换的特性图。图9中，横轴表示变换前的灰度，纵轴表示变换后的灰度。图9中用点划线示出对前半子帧进行的第一灰度变换产生的变换后的灰度，用虚线示出对后半子帧进行的第二灰度变换产生的变换后的灰度。如图9所示，在第一灰度变换中，将未到阈值Yth的灰度变换成规定的最小灰度Zmin，将阈值Yth以上的灰度变换成与该灰度和阈值Yth之差对应的灰度。在第二灰度变换中，将阈值Yth以上的灰度变换成规定的最大灰度Zmax，将未到阈值Yth的灰度变换成与该灰度对应的灰度。
图9所示的特性是这样决定的，它使得前半子帧的亮度的时间积分值和后半子帧的亮度的时间积分值之和、再现合并了前半子帧和后半子帧的期间内的亮度。另外，图9所示的特性仅仅是一个例子，驱动电路6也可以进行图9所示以外的灰度变换。
运动判断电路8根据运动检测电路2求出的运动向量V，输出与视频信号X所表示的图像的运动量对应的控制信号S。本实施方式中，控制信号S取0到8为止的九个值，图像的运动越大时，控制信号S的值就越大。
本实施方式也与第一实施方式相同，帧插补电路5进行2.5倍速的帧插补，每输入两帧就输出五帧。本实施方式中，考虑到帧插补电路5每输入四帧就输出十帧。如图10所示，以1/60秒的间隔输入帧A、B、C、D、E时，帧插补电路5原样输出帧A、C和E，在帧A和C之间以1/150秒的间隔输出四帧F1～F4，在帧C和E之间以1/150秒的间隔输出四帧F5～F8。
帧插补电路5输出原始帧和插帧中的某一个作为帧F1～F8。更详细地说，帧插补电路5依据从运动判断电路8输出的控制信号S，切换输出原始帧和插帧中的某一个作为帧F1～F8。控制信号S的值为s(s为0以上、8以下的整数)时，帧插补电路5输出s个插帧和(8-s)个原始帧作为帧F1～F8。
与第一实施方式一样，也是根据前一帧和后一帧之间的运动向量，利用对于前一帧的运动补偿图像和对于后一帧的运动补偿图像中的至少一方而生成插帧。
以下，说明帧插补电路5利用对于前一帧的运动补偿图像而生成插帧的情况。图11A～图11I是表示帧插补电路5所采用的2.5倍速帧插补的详细情况的图。帧插补电路5依据控制信号S，进行图11A～图11I所示的九种动作中的某一种。此外，图11A～图11I中使用与图3A～图3E相同的标记。另外，处理选择信号SEL在前半子帧为低电平，在后半子帧为高电平，符号○表示对后半子帧输出原始帧，符号×表示对后半子帧输出插帧。
在控制信号S的值为8时(参照图11A)，帧插补电路5依次输出A2/5、A4/5、B1/5、B3/5、C2/5、C4/5、D1/5、D3/5作为帧F1～F8。在这种情况下，帧插补电路5输出八个插帧作为帧F1～F4。
同样地，在控制信号S的值为7时(图11B)，输出A2/5、A4/5、B1/5、B3/5、C2/5、D、D1/5、D3/5(一个原始帧和七个插帧)。在控制信号S的值为6时(图11C)，输出A2/5、B、B1/5、B3/5、C2/5、D、D1/5、D3/5(两个原始帧和六个插帧)。在控制信号S的值为5时(图11D)，输出A2/5、B、B、B3/5、C2/5、D、D1/5、D3/5(三个原始帧和五个插帧)。在控制信号S的值为4时(图11E)，输出A2/5、B、B、B3/5、C2/5、D、D、D3/5(四个原始帧和四个插帧)。在控制信号S的值为3时(图11F)，输出A、B、B、B3/5、C2/5、D、D、D3/5(五个原始帧和三个插帧)。在控制信号S的值为2时(图11G)，输出A、B、B、B3/5、C、D、D、D3/5(六个原始帧和两个插帧)。在控制信号S的值为1时(图11H)，输出A、B、B、B3/5、C、D、D、D(七个原始帧和一个插帧)。在控制信号S的值为0时(图11I)，输出A、A、B、B、C、C、D、D(八个原始帧)。
这样，本实施方式也与第一实施方式相同，帧插补电路5依据控制信号S，改变驱动用视频信号Y中包含的原始帧和插帧的比例。尤其是在输入视频信号X所表示的图像的运动越大时，帧插补电路5就将驱动用视频信号Y中包含的插帧的比例增加得越大，在输入视频信号X所表示的图像的运动越小时，帧插补电路5就将驱动用视频信号Y中包含的原始帧的比例增加得越大。
因此，若采用本实施方式的液晶显示装置，则由于和第一实施方式相同的理由，即使是在进行优先给两帧之间的其中一帧重新分配亮度的分时灰度驱动时，也以与图像的运动量对应的适当比例显示原始帧和插帧，从而可以降低因视线跟踪而引起的动态图像模糊和因插帧所产生的噪声。
此外，在本实施方式的液晶显示装置中，帧插补电路5也可以进行图11A～图11I所示的以外的帧插补。具体地说，只要驱动用视频信号Y中包含的原始帧和插帧的时间顺序正确，则帧插补电路5也可以在任意时刻输出插帧，还可以在生成插帧时使用任意倍的运动向量，也可以用对于后一帧的运动补偿图像(或者是对于前一帧的运动补偿图像和对于后一帧的运动补偿图像的两者)来生成插帧。
例如，在控制信号S的值为2时，帧插补电路5也可以如图12所示，依次输出A、B、B、B3/5、B3/5、C、C、D、D(两个原始帧和六个插帧)作为帧F1～F8。这样，通过各重复两次而输出同一帧，实际上还可以75Hz的帧频来驱动液晶显示元件9。
另外，本实施方式的液晶显示装置中，只要驱动用视频信号Y中包含的原始帧和插帧的时间顺序正确，则帧插补电路5可以输出原始帧和插帧作为前半子帧，也可以作为后半子帧输出。因此，帧插补电路5对于后半子帧还可以优先分配原始帧和插帧中的原始帧。
例如，在控制信号S的值为6时，帧插补电路5也可以如图13A所示，依次输出A2/5、A4/5、B、B3/5、C2/5、D、D1/5、D3/5(两个原始帧和六个插帧)作为帧F1～F8；在控制信号S的值为4时，也可以如图13B所示，依次输出A、A4/5、B、B3/5、C2/5、D、D1/5、E(四个原始帧和四个插帧)作为帧F1～F8。
通过这样对优先分配亮度的帧优先分配原始帧，可以降低因优先分配亮度的帧所发生的噪声。由此，在进行分时灰度驱动的图像显示装置中，可以进一步降低因插帧所产生的噪声。但是，在本实施方式中，为了有效抑制动态图像模糊，在输出原始帧以代替插帧时，与理想输出插帧的情况相比，最好也是尽可能地在相近的时刻输出。
另外，本实施方式的液晶显示装置是优先给两帧之间的其中一帧进行重新分配亮度的分时灰度驱动，但也可以在三帧以上的帧之间进行按照规定的优先顺序重新分配亮度的分时灰度驱动。该液晶显示装置也具有与本实施方式的液晶显示装置相同的效果。
还有，第一和第二实施方式的液晶显示装置具备对于输入视频信号X进行运动检测的运动检测电路2，但也可以在液晶显示装置的外部设置运动检测电路。例如，在输入视频信号X是对MPEG编码的位流进行解码而获得的信号时，只要将解码时获得的运动向量提供给液晶显示装置作为对于输入视频信号的运动检测结果即可。另外，至此说明了液晶显示装置作为图像显示装置的例子，但本发明也可以适用于电致发光显示装置等图像显示装置。
工业上的实用性
本发明的图像显示装置由于能够降低因视线跟踪而引起的动态图像模糊和因插帧所产生的噪声，因此，可以用于液晶显示装置和电致发光显示装置等各种图像显示装置。

Claims (11)

1.一种图像显示装置，基于进行了帧插补的视频信号来显示画面，其特征在于，具备：
多个显示元件；
驱动所述显示元件的驱动电路；
对输入视频信号进行帧插补、对所述驱动电路输出包括原始帧和插帧的驱动用视频信号的帧插补电路；以及
根据对于所述输入视频信号的运动检测结果、输出与运动量对应的控制信号的运动判断电路，
所述帧插补电路按照所述控制信号，改变所述驱动用视频信号中包含的原始帧和插帧的比例。
2.如权利要求1所述的图像显示装置，其特征在于，
所述帧插补电路在所述输入视频信号所表示的图像的运动越大时，使所述驱动用视频信号中包含的插帧的比例越大，在所述输入视频信号所表示的图像的运动越小时，使所述驱动用视频信号中包含的原始帧的比例越大。
3.如权利要求1所述的图像显示装置，其特征在于，
所述帧插补电路根据对于所述输入视频信号的运动检测结果，对所述输入视频信号进行帧插补。
4.如权利要求3所述的图像显示装置，其特征在于，
所述帧插补电路根据对于所述输入视频信号的运动检测结果，用对于前一帧的运动补偿图像和对于后一帧的运动补偿图像中的至少一方求出插帧。
5.如权利要求1所述的图像显示装置，其特征在于，
还具备对于所述输入视频信号进行运动检测的运动检测电路。
6.如权利要求5所述的图像显示装置，其特征在于，
所述运动检测电路通过进行以块为单位的匹配处理，对于所述输入视频信号进行运动检测。
7.如权利要求5所述的图像显示装置，其特征在于，
所述运动检测电路通过进行以像素为单位的匹配处理，对于所述输入视频信号进行运动检测。
8.如权利要求1所述的图像显示装置，其特征在于，
所述驱动电路对所述驱动用视频信号在多帧期间内进行按照规定的优先顺序重新分配亮度用的灰度变换，并用所获得的视频信号来驱动所述显示元件。
9.如权利要求8所述的图像显示装置，其特征在于，
所述驱动电路对所述驱动用视频信号每隔一帧交替进行不优先分配亮度用的第一灰度变换、和优先分配亮度用的第二灰度变换，并用所获得的视频信号来驱动所述显示元件。
10.如权利要求8所述的图像显示装置，其特征在于，
所述帧插补电路对于所述驱动电路中优先分配亮度的帧，优先分配原始帧和插帧中的原始帧。
11.如权利要求1所述的图像显示装置，其特征在于，
所述驱动用视频信号的帧频比所述输入视频信号的帧频的一倍要大。
CN200780036379XA 2006-11-24 2007-06-15 图像显示装置 Expired - Fee Related CN101523475B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP317058/2006 2006-11-24
JP2006317058 2006-11-24
PCT/JP2007/062089 WO2008062578A1 (fr) 2006-11-24 2007-06-15 Appareil d'affichage d'image

Publications (2)

Publication Number Publication Date
CN101523475A true CN101523475A (zh) 2009-09-02
CN101523475B CN101523475B (zh) 2011-09-28

Family

ID=39429519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780036379XA Expired - Fee Related CN101523475B (zh) 2006-11-24 2007-06-15 图像显示装置

Country Status (4)

Country Link
US (1) US8259226B2 (zh)
JP (1) JP4884481B2 (zh)
CN (1) CN101523475B (zh)
WO (1) WO2008062578A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102811333A (zh) * 2011-05-30 2012-12-05 Jvc建伍株式会社 视频处理装置以及插补帧生成方法
CN105556586A (zh) * 2013-07-11 2016-05-04 Eizo株式会社 显示装置和背光源的驱动方法
CN107004394A (zh) * 2014-12-08 2017-08-01 夏普株式会社 控制装置、显示装置以及显示装置的控制方法
CN109599055A (zh) * 2019-02-20 2019-04-09 合肥惠科金扬科技有限公司 一种显示面板的驱动方法、驱动装置及显示装置
CN114125403A (zh) * 2022-01-24 2022-03-01 广东欧谱曼迪科技有限公司 内窥镜显示方法、装置、电子设备及fpga

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8848794B2 (en) * 2007-12-18 2014-09-30 Humax Holdings Co., Ltd. Method and device for video coding and decoding
US8953931B2 (en) * 2009-03-26 2015-02-10 Panasonic Intellectual Property Corporation Of America Video processor, video processing method, integrated circuit for video processing, video playback device
US20100309372A1 (en) * 2009-06-08 2010-12-09 Sheng Zhong Method And System For Motion Compensated Video De-Interlacing
JP2013186427A (ja) * 2012-03-09 2013-09-19 Ricoh Co Ltd 映像処理装置
DE102014014553B3 (de) * 2014-09-30 2015-10-22 e.solutions GmbH Vorrichtung und Verfahren zum Ausgleichen einer Bewegungsverzerrung eines angezeigten Objekts sowie ein die Vorrichtung umfassendes System und ein Computerprogrammprodukt mit Programmcode zum Durchführen des Verfahrens
CN112544075B (zh) * 2018-08-22 2024-01-05 索尼公司 显示装置、信号处理装置和信号处理方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2608909B2 (ja) 1988-01-28 1997-05-14 富士通株式会社 動画像の予測符号化方式
JPH02206991A (ja) 1989-02-06 1990-08-16 Nippon Telegr & Teleph Corp <Ntt> 動き補償処理方式およびフレーム間符号化処理方式
JPH03263989A (ja) 1990-03-13 1991-11-25 Victor Co Of Japan Ltd 画像処理装置
KR950000440B1 (ko) * 1991-12-27 1995-01-19 주식회사 금성사 티브이 신호의 주사선 수 2배 증가방법 및 회로
JPH06153185A (ja) 1992-11-06 1994-05-31 Toshiba Corp 動き補償装置及びこれを用いた符号化装置
US6462728B1 (en) * 1999-12-21 2002-10-08 Koninklijke Philips Electronics N.V. Apparatus having a DAC-controlled ramp generator for applying voltages to individual pixels in a color electro-optic display device
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
JP4040826B2 (ja) 2000-06-23 2008-01-30 株式会社東芝 画像処理方法および画像表示システム
KR100367015B1 (ko) * 2000-12-29 2003-01-09 엘지.필립스 엘시디 주식회사 액정 표시장치의 구동방법
JP2004080252A (ja) * 2002-08-14 2004-03-11 Toshiba Corp 映像表示装置及びその方法
JP4198550B2 (ja) * 2002-09-10 2008-12-17 株式会社東芝 フレーム補間方法およびこのフレーム補間方法を用いた装置
JP3990624B2 (ja) * 2002-11-26 2007-10-17 シャープ株式会社 液晶表示装置
JP4007276B2 (ja) * 2003-07-18 2007-11-14 ソニー株式会社 撮像装置とその制御装置
JP4367100B2 (ja) 2003-11-18 2009-11-18 日本ビクター株式会社 画像表示装置
US7400321B2 (en) 2003-10-10 2008-07-15 Victor Company Of Japan, Limited Image display unit
JP2005241787A (ja) * 2004-02-25 2005-09-08 Victor Co Of Japan Ltd 画像表示装置
JP2004355017A (ja) 2004-07-27 2004-12-16 Toshiba Corp 液晶表示装置及びその駆動方法
JP2006094261A (ja) 2004-09-27 2006-04-06 Shibasoku:Kk 映像信号処理装置
TW200627362A (en) 2004-11-01 2006-08-01 Seiko Epson Corp Signal processing for reducing blur of moving image
JP3841104B2 (ja) 2004-11-01 2006-11-01 セイコーエプソン株式会社 動画ボケ改善のための信号処理
CN1312924C (zh) * 2004-12-16 2007-04-25 上海交通大学 基于纹理信息的视频图象运动检测方法
KR101201317B1 (ko) 2005-12-08 2012-11-14 엘지디스플레이 주식회사 액정 표시장치의 구동장치 및 구동방법
JP5002249B2 (ja) * 2006-11-30 2012-08-15 株式会社東芝 フレーム内挿装置及びフレーム内挿方法並びに画像表示装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102811333A (zh) * 2011-05-30 2012-12-05 Jvc建伍株式会社 视频处理装置以及插补帧生成方法
US8929671B2 (en) 2011-05-30 2015-01-06 JVC Kenwood Corporation Image processing apparatus and interpolation frame generating method
CN102811333B (zh) * 2011-05-30 2016-03-02 Jvc建伍株式会社 视频处理装置以及插补帧生成方法
CN105556586A (zh) * 2013-07-11 2016-05-04 Eizo株式会社 显示装置和背光源的驱动方法
CN107004394A (zh) * 2014-12-08 2017-08-01 夏普株式会社 控制装置、显示装置以及显示装置的控制方法
CN107004394B (zh) * 2014-12-08 2020-03-06 夏普株式会社 控制装置、显示装置以及显示装置的控制方法
CN109599055A (zh) * 2019-02-20 2019-04-09 合肥惠科金扬科技有限公司 一种显示面板的驱动方法、驱动装置及显示装置
CN114125403A (zh) * 2022-01-24 2022-03-01 广东欧谱曼迪科技有限公司 内窥镜显示方法、装置、电子设备及fpga

Also Published As

Publication number Publication date
CN101523475B (zh) 2011-09-28
US8259226B2 (en) 2012-09-04
US20100002132A1 (en) 2010-01-07
WO2008062578A1 (fr) 2008-05-29
JP4884481B2 (ja) 2012-02-29
JPWO2008062578A1 (ja) 2010-03-04

Similar Documents

Publication Publication Date Title
CN101523475B (zh) 图像显示装置
TW582002B (en) Image display method in transmissive-type liquid crystal display device and transmissive-type liquid crystal display device
KR100538723B1 (ko) 표시 장치
CN101662632B (zh) 画面信号处理单元、图像显示单元以及画面信号处理方法
CN101518067B (zh) 图像显示装置及方法
EP0681281B1 (en) Vertical filtering method for raster scanner display
TWI383677B (zh) Image display device and method
CN101924899B (zh) 图像处理设备和图像处理方法
CN102124511B (zh) 图像信号处理装置、图像信号处理方法、图像显示装置、电视接收机、电子设备
CN101518068B (zh) 图像显示装置及方法、图像处理装置及方法
JPWO2008146424A1 (ja) 画像表示装置
JP2002229547A (ja) 画像表示システム及び画像情報伝送方法
KR20150009128A (ko) 영상 처리 장치, 영상 처리 시스템 및 영상 처리 방법
CN101779231A (zh) 图像显示装置以及图像显示方法
CN102044209B (zh) 图像处理装置及其控制方法
KR20070057061A (ko) 화상 표시 장치, 그 화상 표시 장치에 이용되는 구동 회로및 구동 방법
CN100401347C (zh) 显示器驱动方法及显示器
CN102577365B (zh) 视频显示装置
CN103135272A (zh) 立体图像显示器
US20080204393A1 (en) Method, Device and System of Response Time Compensation
CN105654917A (zh) 极性反转驱动方法、数据驱动器及液晶面板
CN101425249A (zh) 显示装置
JPWO2011155258A1 (ja) 画像処理装置および方法、画像表示装置および方法
CN116862814B (zh) 图像处理方法、图像处理设备及计算机可读存储介质
JP2005268912A (ja) フレーム補間のための画像処理装置およびそれを備えた表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110928

Termination date: 20200615