CN1658227A - 检测视频文本的方法和装置 - Google Patents

检测视频文本的方法和装置 Download PDF

Info

Publication number
CN1658227A
CN1658227A CN2005100036517A CN200510003651A CN1658227A CN 1658227 A CN1658227 A CN 1658227A CN 2005100036517 A CN2005100036517 A CN 2005100036517A CN 200510003651 A CN200510003651 A CN 200510003651A CN 1658227 A CN1658227 A CN 1658227A
Authority
CN
China
Prior art keywords
frame
text
text area
threshold value
character block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2005100036517A
Other languages
English (en)
Other versions
CN100371943C (zh
Inventor
郑喆坤
金智渊
文永秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1658227A publication Critical patent/CN1658227A/zh
Application granted granted Critical
Publication of CN100371943C publication Critical patent/CN100371943C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • E—FIXED CONSTRUCTIONS
    • E06—DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06B—FIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B9/00—Screening or protective devices for wall or similar openings, with or without operating or securing mechanisms; Closures of similar construction
    • E06B9/02—Shutters, movable grilles, or other safety closing devices, e.g. against burglary
    • E06B9/04—Shutters, movable grilles, or other safety closing devices, e.g. against burglary of wing type, e.g. revolving or sliding
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F11/00—Man-operated mechanisms for operating wings, including those which also operate the fastening
    • E05F11/38—Man-operated mechanisms for operating wings, including those which also operate the fastening for sliding windows, e.g. vehicle windows, to be opened or closed by vertical movement
    • E05F11/42—Man-operated mechanisms for operating wings, including those which also operate the fastening for sliding windows, e.g. vehicle windows, to be opened or closed by vertical movement operated by rack bars and toothed wheels or other push-pull mechanisms
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F5/00—Braking devices, e.g. checks; Stops; Buffers
    • E05F5/003—Braking devices, e.g. checks; Stops; Buffers for sliding wings
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2900/00—Application of doors, windows, wings or fittings thereof
    • E05Y2900/10—Application of doors, windows, wings or fittings thereof for buildings or parts thereof
    • E05Y2900/13—Type of wing
    • E05Y2900/144—Security grills
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

提供一种用于检测视频文本的方法和装置。该检测视频文本的方法包括：将形成视频的帧中的第t帧(其中t是正整数)读取为当前帧；确定在当前帧中是否存在从在前帧检测到的文本区，所述在前帧是形成视频的帧中的第(t－N)帧(其中，N是正整数)；如果确定出在当前帧中没有从在前帧检测到的文本区，则检测整个当前帧中的文本区；以及如果确定出在当前帧存在从在前帧检测到的文本区，则从通过从当前帧排除对应于从在前帧检测到的文本区的区域而获得的剩余区检测文本区，以及验证在下一帧中是否存在文本区，所述下一帧是形成视频的帧中的第(t+N)帧。

Description

检测视频文本的方法和装置
技术领域
本发明涉及视频处理，以及更具体地说，涉及用于检测视频文本(text ofvideo)的方法和装置。
背景技术
检测视频文本的传统方法主要分成在压缩域(compressed domain)中检测视频文本的方法和在未压缩域中检测视频文本的方法。
首先，在名为“Automatic Caption Text Detection and Processing forDigital Images”的U.S.专利No.6,185,329中，公开了在压缩域中检测视频文本的传统方法。在该方法中，由于在压缩域中检测文本，故可以快速地检测文本，但由于从压缩域提供的信息的限制，不能正确地检测文本。
接着，在名为“Method and Apparatus for Detecting and InterpretingTextual Captions in Digital Video Signal”的U.S.专利No.6,101,274以及名为“Generalized Text Localization in Images”的U.S.专利No.6,470,094中，公开了在未压缩域中检测视频文本的传统方法。在这些方法中，可以相当正确地检测文本，但由于解压缩帧需要太多时间，将会降低检测文本的速度。此外，难以在复杂背景中存在文本区以及随时间流逝快速改变背景区的环境下检测文本。
发明内容
本发明提供一种检测视频文本的方法，通过该方法，正确和快速地检测视频中的文本同时比现有技术更少地受特定环境的影响。
本发明还提供一种用于检测视频文本的装置，其中正确和快速地检测视频中的文本同时比现有技术更少地受特定环境的影响。
根据本发明的一个方面，提供一种检测视频文本的方法，该方法包括将形成视频的帧中的第t帧(其中t是正整数)读取为当前帧；确定在当前帧中是否存在从在前帧检测到的文本区，所述在前帧是形成视频的帧中的第(t-N)帧(其中，N是正整数)；如果确定出在当前帧中没有从在前帧检测到的文本区，则检测整个当前帧中的文本区；以及如果确定出在当前帧中存在从在前帧检测到的文本区，则从通过从当前帧排除对应于从在前帧检测到的文本区的区域获得的剩余区检测文本区，以及验证(verifying)在下一帧中是否存在文本区，所述下一帧是形成视频的帧中的第(t+N)帧。
根据本发明的另一方面，提供一种用于检测视频文本的装置，该装置包括：帧输入单元，将形成视频的帧中的第t帧(其中t是正整数)读取为当前帧；文本区校验(checking)单元，校验在当前帧中是否存在从在前帧检测到的文本区，所述在前帧是形成视频的帧中的第(t-N)帧(其中，N是正整数)，以及将校验结果输出为第一控制信号；第一文本区检测单元，响应于第一控制信号，从当前帧检测文本区；第二文本区检测单元，响应于第一控制信号，从通过从当前帧排除对应于从在前帧检测到的文本区的区域获得的剩余区检测文本区；以及文本区验证单元，验证在下一帧中是否存在文本区，所述下一帧是形成视频的帧中的第(t+N)帧。
附图说明
通过参考附图，详细地描述示例性实施例，本发明的上述和其他特征和优点将更显而易见，其中：
图1是示例说明根据本发明的实施例的检测视频文本的方法的流程图；
图2是示例说明根据本发明的实施例的图1的操作14的流程图；
图3是示例说明根据本发明的实施例的图2的操作40的流程图；
图4是表示用于理解图3的操作60的图像组(GOPs)的视图；
图5是表示用于理解图3的操作62的8×8子块的视图；
图6是表示加权值与梯度的关系曲线的图；
图7是示例说明根据本发明的实施例的图2的操作44的流程图；
图8是示例说明根据本发明的实施例的图7的操作82的流程图；
图9是用于理解图8的操作82A的由行和列组成的文本帧(text frame)的示例视图；
图10是示例说明根据本发明的实施例的图8的操作104的流程图；
图11是示例说明根据本发明的实施例的图2的操作46的流程图；
图12是用于理解图11的实施例46A的帧的示意视图；
图13是示例说明根据本发明的实施例的图1的操作16的流程图；
图14是用于理解图13的操作176的帧的示意视图；
图15是示例说明根据本发明的实施例的图13的操作180的流程图；
图16是用于理解图15的操作180A的帧的示意视图；
图17是用于根据本发明的实施例检测视频文本的装置的框图；
图18是根据本发明的实施例的图17的第一文本区检测单元的框图；
图19是根据本发明的实施例的图18的第一字符块检测部分的框图；
图20是根据本发明的实施例的图18的第一文本帧校验部分的框图；
图21是根据本发明的实施例的图18的第一文本区确定部分的框图；
图22是根据本发明的实施例的图21的边界框确定部分的框图；
图23是根据本发明的实施例的图22的行和列组合部分的框图；
图24是根据本发明的实施例的图18的开始帧搜索部分的框图；
图25是根据本发明的实施例的图17的第二文本区检测单元的框图；
图26是根据本发明的实施例的图17的文本区验证单元的框图；以及
图27是根据本发明的实施例的图26的结束帧搜索部分的框图。
具体实施方式
在下文中，将参考附图，详细地描述根据本发明的实施例的检测视频文本的方法。
图1是示例说明根据本发明的实施例的检测视频文本的方法的流程图。图1的检测视频文本的方法包括检测或验证当前帧中的文本区(操作10至16)以及根据当前帧是否是视频的结束帧来准备读取下一帧(操作18和20)。
在操作10中，将形成视频的帧中的第t(其中t是正整数)帧读取为当前帧。
在操作10后，在操作12中，确定在当前帧中是否存在从在前帧检测到的文本区，该在前帧是形成视频的帧中的第(t-N)(其中N是正整数)帧。在这种情况下，文本区是其中存在文本的区域。文本区中的文本可以是作为由视频创作者有意***的文本的重叠文本，或是作为视频本身中的文本的场景文本。文本区中的文本在索引、汇总或搜索视频中起重要作用。
如果确定出在当前帧中不存在从在前帧检测到的文本区，在操作14中，从当前帧检测文本区。例如，在当前帧是第一帧时，没有在前帧。这一情形对应于在当前帧中不存在从在前帧检测到的文本区的情形。因此，从为第一帧的当前帧检测文本区。
图2是示例说明根据本发明的实施例14A的图1的操作14的流程图。图2的实施例14A包括从当前帧确定文本区(操作40至44)和搜索起始帧(操作46)。
在操作40中，从当前帧检测字符块。
图3是示例说明根据本发明的实施例40A的图2的操作40的流程图。图3的实施例40A包括确定文本侯选像素和文本候选块(操作60和62)以及使用文本候选块确定字符块(操作64)。
在操作60中，获得当前帧的每个像素的亮度和为第(t+N)帧的下一帧的每个像素的亮度间的亮度差，这些像素位于相同位置，以及将在获得小于第一阈值TH1的亮度差时使用的当前帧的像素确定为文本候选像素。在这种情况下，当当前帧是视频的最后一帧时，没有下一帧。因此，例如，可以将获得亮度差时使用的下一帧的每个像素的亮度设置为当前帧的每个像素的亮度。
例如，为确定当前帧中的像素中的位置(x，y)中的像素是否是文本候选像素，获得该像素的亮度值It(x，y)与下一帧中相同位置(x，y)中的像素的亮度值It+N(x，y)间的亮度差(或差值的绝对值)，以及校验该亮度差是否小于第一阈值TH1，如由公式1所示。
Figure A20051000365100131
在这种情况下，如果确定亮度差小于第一阈值TH1，将当前帧的位置(x，y)中的像素确定为文本候选像素。
图4是表示用于理解图3的操作60的图像组(GOPs)的视图。
图4所示的一个GOP具有联合在一起的三个编码图像。例如，按I-B-B-P-B-B-P-B-B-P-B-B-P-B-B-P-B-B-I的顺序重复排列GOP。其中，对其分配最大位数的内编码(intra-coded)图像(在下文中称为I图像)是影响GOP的质量和对其分配仅次于I图像的位数的预测编码(predictive-coded)图像(在下文中称为P图像)的编码性能以及能独立编码的内帧(intra-frame)。在这种情况下，P图像是影响随后P图像以及对其分配最小位数的双向预测编码图像(在下文中称为B图像)并且通过使用来自在前内帧或预测帧的运动补偿来编码的预测帧。B图像是双向预测帧，通过使用在前或在后内帧或预测帧的运动补偿来编码。
如果N＝18，如图4所示，从包括在对应于第t个I图像68的当前帧72中的像素的亮度值减去包括在对应于第(t+18)个I图像66的下一帧70中的对应像素的亮度值，如公式1所示。将减法结果与第一阈值TH1比较，以及确定包括在当前帧72中的像素是否是文本候选像素。
在操作60后，在操作62中，将当前帧72划分成具有预定大小的子块，获得包括在每个子块中的文本候选像素的数目，以及将具有大于第二阈值TH2的文本候选像素数目的子块确定为文本候选块。例如，当将当前帧划分成A×B个子块时，为确定按(a，b)顺序放置的子块S(a，b)(其中1≤a≤A，1≤b≤B)是否是文本候选块，获得包括在子块S(a，b)中的文本候选像素的数目，以及校验文本候选像素的数目是否大于第二阈值TH2，如由公式2所示。
Figure A20051000365100141
其中， 是位于包括在子块S(a，b)中的位置(x，y)的像素中，表示为“1”的文本候选像素的总数。
在这种情况下，如果确定包括在子块S(a，b)中的文本候选像素的数目大于第二阈值TH2，则将子块S(a，b)确定为文本候选块。
图5是表示用于理解图3的操作62的8×8个子块的视图。
如果A＝B＝8，如图5所示，当前帧74被划分成8×8个子块。在这种情况下，如上所述，计数包括在子块S(a，b)76中的文本候选像素的数目。图5的当前帧74中表示为“1”的文本候选像素的数目为“40”。例如，如果在包括在子块76中的8×8像素78中，表示为“1”的文本候选像素的数目大于第二阈值TH2，则将子块76确定为文本候选块。
在操作62后，在操作64中，获得每个文本候选块的边缘密度，将具有大于第三阈值TH3的边缘密度的文本候选块确定为字符块，以及执行操作42。
根据本发明的实施例，如由公式3所示，通过将包括在文本候选块中的像素的边缘梯度(G)s的求和结果除以包括在文本候选块中的像素数目，可以获得边缘密度dedge。
d egde = ( x , y ) ∈ S ′ ( a , b ) ΣG P · · · ( 3 )
其中， 是包括在文本候选块S′(a，b)中的像素(x，y)的边缘梯度的总和，以及P是包括在文本候选块S′(a，b)中的像素的数目。
根据本发明的另一实施例，如公式4所示，可以通过将包括在文本候选块中的像素的边缘梯度乘以相应的加权值(W)s获得的结果的总和除以包括在文本候选块中的像素的数目P、来获得边缘密度dedge。
d egde = ΣW ( x , y ) ∈ S ′ ( a , b ) · G P . . . ( 4 )
图6是表示加权值W与梯度G的关系曲线的图。横向轴是梯度G，以及纵向轴是加权值W。
如图6所示，可以通过将梯度G除以在文本候选块中出现的梯度的最大值grd_max，获得公式4中所示的加权值W。
在操作40后，在操作42中，使用所检测的字符块来确定当前帧是否是文本帧。为确定当前帧是否是文本帧，可以确定包括在当前帧中的字符块的数目是否大于第四阈值TH4。如果确定出包括在当前帧中的字符块的数目大于第四阈值TH4，则将当前帧确定为文本帧。
如果确定出当前帧不是文本帧，则执行操作18。然而，如果确定出当前帧是文本帧，在操作44中，后处理文本帧，以及从文本帧确定文本区。
图7是示例说明根据本发明的实施例44A的图2的操作44的流程图。图7的实施例44A包括从文本帧移除孤立字符块(操作80)以及将最佳边界框(bounding box)确定为文本区(操作82至86)。
如果确定出当前帧是文本帧，在操作80中，从包括在文本帧中的字符块移除其中没有相邻字符块的孤立字符块。这里，由于噪声，或当文本大时，或由于文本间的间隙，会发生孤立字符块。
在操作80后，在操作82中，将从中移除了孤立字符块的文本帧中的相邻字符块组确定为边界框。
图8是根据本发明的实施例82A的图7的操作82的流程图。图8的实施例82A包括使用在文本帧的每行和每列中获得的字符块的数目来确定边界框(操作100至104)。
图9是用于理解图8的操作82A的由行和列组成的文本帧的示意图。这里，每行具有多个子块，以及每列具有多个子块。
在操作100中，获得包括在从中移除了孤立字符块的文本帧的每行和每列中的字符块的数目。例如，如图9所示，计数包括在文本帧96的每行中的字符块的数目，以及计数包括在文本帧96的每列中的字符块的数目。例如，可以用图9的图形90的形式表示所计数的包括在每行中的字符块的数目的结果，以及可以用图9的图形92的形式表示所计数的包括在每列中的字符块的数目的结果。
在操作100后，在操作102中，从包括在当前帧96的行中选择具有大于第七阈值TH7的字符块的数目的行，以及从包括在当前帧96中的列中选择具有大于第八阈值TH8的字符块的数目的列。例如，当包括在每行和每列中的字符块的数目如图9所示时，从包括在当前帧96中的行选择具有大于第七阈值TH7的字符块的数目的行97，以及从包括在当前帧96中的列选择具有大于第八阈值TH8的字符块的数目的列98。在这种情况下，第七阈值TH7可以与第八阈值TH8相同。
在操作102后，在操作104中，通过将所选择的行与所选择的列组合来确定边界框，以及执行操作84。
图10是示例说明根据本发明的实施例104A的图8的操作104的流程图。图10的实施例104A包括确定行区域和列区域以及通过使用所确定的区域来确定边界框(操作120和122)。
在操作120中，将其中字符块连续地位于在操作102中选择的行的部分确定为行区域，以及将其中字符块连续位于在操作102中选择的列的部分确定为列区域。
在操作120后，在操作122中，将其中所确定的行区域和所确定的列区域彼此重叠的部分确定为边界框，以及执行操作84。例如，如图9所示，可以将其中所确定的行区域和所确定的列区域彼此重叠的部分94确定为边界框。
在图7的操作82后，在操作84中，当将当前帧划分成具有预定大小的子块时，获得包括在每个边界框中的子块的数目，以及仅从包括在文本帧中的边界框抽取具有大于第五阈值TH5的子块的数目的边界框。例如，排除具有小尺寸的边界框，仅抽取具有大尺寸的边界框。在这种情况下，为从文本帧抽取具有大于第五阈值的子块的数目的边界框，根据本发明，可以使用连接组件标记(connected component labeling)方法。这里，R.Jain，R.Kasturi，以及B.G.Schunck[“Machine Vision”，McGraw-HillPublisher，pp.44-47，1995]介绍过该连接组件标记方法。
在操作84后，在操作86中，获得相对于所抽取的边界框的每个的平均边缘密度，以及将具有大于第六阈值TH6的平均边缘密度的最佳边界框确定为文本区。
根据本发明的实施例，平均边缘密度可以是包括在所抽取的边界框中的子块的边缘密度的平均值。在这种情况下，由于在图3的操作64中获得包括在所抽取的边界框中的子块中文本候选块的边缘密度，故仅获得非文本候选块的边缘密度。
根据本发明的另一实施例，平均边缘密度可以是包括在所抽取的边界框中的文本候选块的边缘密度的平均值。这里，已经在操作64中获得包括在所抽取的边界框中的文本候选块的边缘密度，因此不必单独地获得。
根据本发明的另一实施例，平均边缘密度可以是包括在所抽取的边界框中的字符块的边缘密度的平均值。这里，由于包括在所抽取的边界框中的字符块是文本候选块，在操作64中已经获得其边缘密度，因此不必单独地获得。
在操作44后，在操作46中，从当前帧Ft到在前帧Ft-N前的帧Ft-N+1的帧搜索开始显示视频文本的起始帧。
图11是根据本发明的实施例46A的图2的操作46的流程图。图11的实施例46A包括使用帧间的亮度差来确定起始帧(操作140至150)。
图12是用于理解图11的实施例46A的帧的示意视图。图12的帧包括具有倾斜文本区164的第t帧Ft160和具有倾斜文本区166的第(t-1)帧Ft-1162。
在操作140中，使用公式5来获得、为在第t帧Ft160中确定的文本区164中的像素的亮度值Rt(x，y)和对应于文本区164的第(t-1)帧Ft-1162的文本区166中的像素的亮度值Rt-1(x，y)间的差值(或差值的绝对值)的亮度差中、大于第九阈值TH9的亮度差的数目NB1。
Figure A20051000365100171
在操作140后，在操作142中，确定大于第九阈值TH9的亮度差的数目NB1是否大于第十阈值TH10。
如果确定出大于第九阈值TH9的亮度差的数目NB1大于第十阈值TH10，则在操作144中，将第t帧Ft确定为开始显示文本的起始帧，以及执行操作18。然而，如果确定出大于第九阈值TH9的亮度差的数目NB1不大于第十阈值TH10，则在操作146中，使t减小1。
在操作146后，在操作148中，确定第t帧Ft是否是在前帧。如果确定出第t帧Ft不是在前帧，则执行操作140，以及获得亮度差的数目NB1。
然而，如果确定出第t帧Ft是在前帧，则在操作150中，将第(t-N+1)帧确定为开始显示文本的起始帧，以及执行操作18。
图2的实施例14A可以不包括操作46。在这种情况下，在操作44后，执行操作18。
同时，如果在图1的操作12中确定在当前帧中存在从在前帧检测到的文本区，则在操作16中，从通过从当前帧排除对应于从在前帧检测到的文本区的区域获得的区域(在下文中称为剩余区)检测文本区，以及验证作为在形成视频的帧中的第(t+N)帧的下一帧中，是否存在文本区。
图13是示例说明根据本发明的实施例16A的图1的操作16的流程图。图13的实施例16A包括从剩余区确定文本区(操作170至174)以及验证在下一帧中是否存在文本区以及搜索结束帧(操作176至180)。
在操作170至174中，如下从当前帧的剩余区检测文本区。
如果确定出在当前帧中有从在前帧检测到的文本区，则在操作170中，从当前帧的剩余区检测字符块。在操作170后，在操作172中，基于当前帧的剩余区确定当前帧是否是文本帧。在操作172后，如果确定出当前帧是文本帧，则在操作174中，后处理剩余区，以及从剩余区确定文本区。
在当前帧的整个区上执行图2的操作40、42和44，以及仅在当前帧的剩余区执行图13的操作170、172和174。除这一点外，操作170、172和174分别对应于操作40、42和44。因此，通过在根据图3、7、8和10的实施例的描述中用当前帧的剩余区替代当前帧的整个区，可以将图3、7、8和10的实施例应用于操作170、172和174。
通常，由于显示视频中的叠加文本多于2秒，经常在当前帧中有在前帧的文本区。因此，通过使用从在前帧检测到的文本区，仅从当前帧的剩余区获得文本区。
在操作174后，在操作176至180中，验证在下一帧中是否有文本区，以及搜索结束帧。
图14是用于理解图13的操作176的帧的示意图。图14的帧包括具有倾斜文本区190的第(t+N)帧Ft+N182以及具有倾斜文本区192的第t帧Ft184。
在操作174后，在操作176中，使用公式6获得、为在第t帧Ft184中确定的文本区192中的像素的亮度值Rt(x，y)和第(t+N)帧Ft+N182的文本区190中的像素的亮度值Rt+N(x，y)间的差值的亮度差中、大于第十一阈值TH11的亮度差的数目NB2。这里，第(t+N)帧Ft+N182的文本区190对应于在第t帧Ft184中确定的文本区以及位于与文本区192相同的位置。
Figure A20051000365100191
在操作176后，在操作178中，确定大于第十一阈值TH11的亮度差的数目NB2是否大于第十二阈值TH12。这里，如果在下一帧Ft+N中没有文本区，则大于第十一阈值TH11的亮度差的数目NB2大于第十二阈值TH12。
如果确定出大于第十一阈值TH11的亮度差的数目NB2不大于第十二阈值TH12，即，如果确定出在下一帧中存在文本区，则执行操作18。然而，如果确定出大于第十一阈值TH11的亮度差的数目NB2大于第十二阈值TH12，即，如果确定出在下一帧中没有文本区，则在操作180中，搜索视频文本结束的结束帧。
图15是示例说明根据本发明的实施例180A的图13的操作180的流程图。图15的实施例180A包括使用帧间的亮度差来确定结束帧(操作200至210)。
图16是用于理解图15的操作180A的帧的示意视图。图16的帧包括具有倾斜文本区224的第(t+1)帧Ft+1220和具有倾斜文本区226的第t帧Ft222。
如果在图13的操作178中确定出亮度差的数目NB2大于第十二阈值TH12，即，如果确定出在下一帧中没有文本区，则在操作200中，使用公式7获得、为在第t帧Ft222中确定的文本区226中的像素的亮度值Rt(x，y)和第(t+1)帧Ft+1220的文本区224中的像素的亮度值Rt+1间的差值的亮度差中、大于第十三阈值TH13的亮度差的数目NB3。这里，第(t+1)帧Ft+1220是第t帧Ft222后的帧，第(t+1)帧220的文本区224对应于在第t帧Ft222中确定的文本区226以及位于与文本区226相同的位置中。
在操作200后，在操作202中，确定大于第十三阈值TH13的亮度差的数目NB3是否大于第十四阈值TH14。
如果确定出大于第十三阈值TH13的亮度差的数目NB3大于第十四阈值TH14，则在操作210中，将第t帧Ft222确定为结束帧。然而，如果确定出大于第十三阈值TH13的亮度差的数目NB3不大于第十四阈值TH14，则在操作204中，使t增加1。
在操作204后，在操作206中，确定第t帧Ft222是否是下一帧。如果确定出第t帧Ft222不是下一帧，则执行操作200，以及获得亮度差的数目NB3。
然而，如果确定出第t帧Ft222是下一帧，则在操作208中，将(t+N-1)帧Ft+N-1确定为结束帧。
图13的实施例16A可以不包括操作180。在这种情况下，无论亮度差的数目NB2是否大于第十二阈值TH12，均执行操作18。
同时，在检测或验证文本区后，即，在图1所示的操作14或16后，在操作18中，确定当前帧是否是视频的结束帧。如果确定出当前帧是视频的结束帧，则终止图1所示的检测视频文本的方法。然而，如果确定出当前帧不是视频的结束帧，则在操作20中，使t增加N，并且然后，进行到其中读取当前帧的操作10。因此，使用增加N的第t帧作为当前帧来执行如上的操作10至18。
在下文中，将参考附图详细地描述根据本发明的用于检测视频文本的装置。
图17是根据本发明的实施例的用于检测视频文本的装置的框图。图17的装置包括帧输入单元240、文本区校验单元242、第一和第二文本区检测单元244和246、文本区验证单元248、结束帧校验单元250和第一t调整单元252。
图17的装置可以执行图1所示的检测视频文本的方法。
为执行操作10，帧输入单元240通过输入端IN1读取为形成视频的帧中的第t帧的当前帧。
为执行操作12，文本区校验单元242校验在由帧输入单元240输入的当前帧中、是否存在从在前帧检测到的文本区，并且将校验结果输出到第一和第二文本区检测单元244和246作为第一控制信号C1。
为执行操作14，第一文本区检测单元244从由帧输入单元240输入的当前帧检测文本区，并且响应于由文本区校验单元242输入的第一控制信号C1通过输出端OUT1输出所检测的结果。例如，如果从第一控制信号C1识别出在当前帧中没有从在前帧检测到的文本区，则第一文本区检测单元244从当前帧检测文本区。
图18是根据本发明的实施例244A的图17的第一文本区检测单元244的框图。图18的第一文本区检测单元244A包括第一字符块检测部分270、第一文本帧校验部分272、第一文本区确定部分274和起始帧搜索部分276。
图18的第一文本区检测单元244A可以执行图2的操作14A。
为执行操作40，如果从由文本区校验单元242输入的第一控制信号C1识别出在当前帧中没有从在前帧检测到的文本区，则第一字符块检测部分270从由帧输入单元240通过输入端IN2输入的当前帧检测字符块。
图19是根据本发明的实施例270A的图18的第一字符块检测部分270的框图。图19的第一字符块检测部分270A包括文本候选像素确定部分290、文本候选块确定部分292和字符块确定部分294。
图19的第一字符块确定部分270A可以执行图3的操作40A。
文本候选像素确定部分290执行操作60。即，如果从由文本区校验单元242输入的第一控制信号C1识别出在当前帧中没有从在前帧检测到的文本区，则文本候选像素确定部分290使用帧输入单元240通过输入端IN3输入当前帧和下一帧。在这种情况下，文本候选像素确定部分290获得当前帧的每个像素的亮度和下一帧的每个像素的亮度间的亮度差，所述像素位于相同的位置，以及将获得小于第一阈值TH1的亮度差时使用的当前帧的像素确定为文本候选像素。
为执行操作62，文本候选块确定部分292将由帧输入单元240通过输入端IN3输入的当前帧划分成具有预定大小的子块，获得包括在每个子块中的文本候选像素的数目，以及将具有大于第二阈值TH2的文本候选像素的数目的子块确定为文本候选块。
为执行操作64，字符块确定部分294获得由文本候选块确定部分292确定的每个文本候选块的边缘密度，将具有大于第三阈值TH3的边缘密度的文本候选块确定为字符块，以及通过输出端OUT5输出所确定的字符块。
为执行操作42，第一文本帧校验部分272使用由第一字符块检测部分270检测的字符块来校验当前帧是否是文本帧，以及将校验结果输出到第一文本区确定部分274作为第三控制信号C3。
图20是根据本发明的实施例272A的图18的第一文本帧校验部分272的框图。图20的第一文本帧校验部分272A包括字符块数目校验部分310和文本帧确定部分分312。
字符块数目校验部分310通过输入端IN4输入来自第一字符块检测部分270的包括在当前帧中的字符块，计数所输入的字符块的数目，校验作为计数结果的字符块的数目是否大于第四阈值TH4，以及将校验结果输出到文本帧确定部分312。
文本帧确定部分312根据由字符块数目校验部310输入的校验结果、将具有大于第四阈值TH4的字符块的数目的当前帧确定为文本帧，以及通过输出端OUT6将所确定的结果输出为第三控制信号C3。
为执行操作44，如果从由第一文本帧校验部分272输入的第三控制信号C3识别出当前帧是文本帧，则图18的第一文本区确定部分274后处理文本帧，从文本帧确定文本区，以及通过输出端OUT3输出所确定的文本区。
图21是根据本发明的实施例274A的图18的第一文本区确定部分274的框图。图21的第一文本区确定部分274A包括孤立字符块移除部分340、边界框确定部分342、边界框抽取部分344和文本区抽取部分346。
图21的第一文本区确定部分274A可以执行图7的操作44A。
为执行操作80，如果从由第一文本帧校验部分272输入的第三控制信号C3识别出当前帧是文本帧，则孤立字符块移除部分340从包括在文本帧中的并由第一字符块检测部分270通过输入端IN5输入的字符块中、移除没有相邻字符块的孤立字符块，以及将从中移除了孤立字符块的文本帧输出到边界框确定部分342。
为执行操作82，边界框确定部分342将来自从中移除了孤立字符块的文本帧的相邻字符块组确定为边界框，以及将确定边界框输出到边界框抽取部分344。
图22是根据本发明的实施例342A的图21的边界框确定部分342的框图。边界框确定部分342A包括字符块数目计算部分360、行和列选择部分362以及行和列组合部分364。
边界框确定部分342A可以执行图8的操作82A。
为执行操作100，字符块数目计算部分360计算包括在由孤立字符块移除部分340通过输入端IN6输入的、其中移除了孤立字符块的文本帧的每行和每列中的字符块的数目，以及将所计算的包括在文本帧的每行和每列中的字符块数目输出到行和列选择部分362。
为执行操作102，行和列选择部分362从包括在从中移除了孤立字符块的文本帧中的行、选择具有大于第七阈值TH7的字符块的数目的行，从包括在从中移除了孤立字符块的文本帧中的列、选择具有大于第八阈值TH8的字符块的数目的列，以及将所选择的行和列输出到行和列组合部分364。
为执行操作104，行和列组合部分364通过将所选择的行和所选择的列组合来确定边界框，以及将所确定的边界框通过输出端OUT8输出到边界框抽取部分344。
图23是根据本发明的实施例364A的图22的行和列组合部分364的框图。行和列组合部分364A包括区域确定部分380和重叠区校验部分382。
行和列组合部分364A可以执行图10的操作104A。这里，区域确定部分380可以执行操作120。即，区域确定部分380将其中字符块连续地位于由行和列选择部分362通过输入单元IN7输入的选定行中的部分确定为行区域，以及将所确定的行区域输出到重叠区校验部分382。另外，区域确定部分380将其中字符块连续地位于由列和列选择部362通过输入单元IN7输入的选定列中的部分确定为列区域，以及将所确定的列区域输出到重叠区校验部分382。
为执行操作122，重叠区校验部分382将其中所确定的行区域和所确定的列区域彼此重叠的部分确定为边界框以及将所确定的边界框通过输出端OUT9输出到边界框抽取部分344。
为执行操作84，当将当前帧划分成具有预定大小的子块时，图21的边界框抽取部分344获得包括在所确定的边界框中的子块的数目，从文本帧抽取具有大于第五阈值TH5的子块的数目的边界框，以及将所抽取的边界框输出到文本区抽取部分346。
为执行操作86，文本区抽取部分346获得相对于由边界框抽取部分344抽取的每个边界框的平均边界密度，将具有大于第六阈值TH6的平均边缘密度的边界框确定为文本区，以及通过输出端OUT7输出所确定的文本区。
同时，图18的第一文本区检测单元244A可以进一步包括起始帧搜索部分276。这里，起始帧搜索部分276从当前帧到在前帧之前的帧的帧中、搜索视频文本开始显示的起始帧，以及响应于表示确定文本区是否完成的、由第一文本区确定部分274输入的信号，通过输出端OUT4输出所搜索的结果。例如，如果从第一文本区确定部分274识别出确定文本区完成，则起始帧搜索部分276搜索起始帧。
图24是根据本发明的实施例276A的图18的起始帧搜索部分276的框图。起始帧搜索部分276A包括第一亮度差数目计算部分400、第一数目比较部分402、第二t调整部分404、在前帧校验部分406、以及起始帧确定部分408。
图24的起始帧搜索部分276A可以执行图11的操作46A。
第一亮度差数目计算部分400执行操作140。即，第一亮度差数目计算部分400响应于由第一文本区确定部分274通过输入端IN8输入的、表示确定文本区是否完成的信号，通过输入端IN9从帧输入单元240输入第t帧以及(t-1)帧。在这种情况下，第一亮度差数目计算部分400如公式5所示，计算作为在第t帧中确定的文本区中的像素的亮度值和对应于在第t帧中确定的文本区的第(t-1)帧的文本区中的像素的亮度值间的差值的亮度差中、大于第九阈值TH9的亮度差的数目NB1，以及将所计算的结果输出到第一数目比较部分402。
为执行操作142，第一数目比较部分402将大于第九阈值TH9的亮度差的数目NB1与第十阈值TH10进行比较，以及将所比较的结果输出到第二t调整部分404。
为执行操作146，响应于使用第一数目比较部分402所得的比较结果，第二t调整部分404使t减1以及将减小后的t输出到在前帧校验部分406。例如，如果从第一数目比较部分402的比较结果识别出亮度差的数目NB1不大于第十阈值TH10，则第二t调整部分404使t减1。
为执行操作148，在前帧校验部分406校验由第二t调整部分404调整的第t帧是否是在前帧以及将所校验的结果输出到起始帧确定部分408和第一亮度数目计算部分400的每一个。
在这种情况下，如果从在前帧校验部分406的校验结果识别出第t帧不是在前帧，则第一亮度差数目计算部分400计算亮度差的数目NB1。
起始帧确定部分408执行操作144和150。
首先，为执行操作144，如果从第一数目比较部分402的比较识别出亮度差的数目NB1大于第十阈值TH10，则起始帧确定部分408将第t帧确定为起始帧以及将所确定的结果通过输出端OUT10输出。
为执行操作150，如果从在前帧校验部分406的校验结果识别出第t帧是在前帧，则起始帧确定部分408将第(t-N+1)帧确定为起始帧以及通过输出端OUT10输出该确定结果。
如上所述，图2的操作14A可以不包括操作46。类似地，图18的第一文本区检测单元244A可以不包括起始帧搜索部分276。
同时，图17的第二文本区检测单元246和文本区验证单元248执行操作16。
在这种情况下，如果从由文本区校验单元242输入的第一控制信号C1识别出在当前帧中有从在前帧检测到的文本区，则第二文本区检测单元246从通过从由帧输入单元240输入的当前帧排除对应于从在前帧检测到的文本区的区域而获得的剩余区、检测文本区以及通过输出端OUT2输出所检测的文本区。
图25是根据本发明的实施例246A的图17的第二文本区检测单元246的框图。图25的第二文本区检测单元246包括第二字符块检测部分420、第二文本帧校验部分422和第二文本区确定部分424。
图25的第二文本区检测单元246A可以执行图13的操作170、172和174。
为执行操作170，如果从由文本区校验单元242输入的第一控制信号C1识别出在当前帧中存在从在前帧检测到的文本区，则第二字符块检测部分420从由帧输入单元240通过输入端IN10输入的当前帧的剩余区检测字符块以及将所检测的字符块输出到第二文本帧校验部分422。
为执行操作172，第二文本帧校验部分422使用从当前帧的剩余区抽取的并由第二字符块检测部分420输入的字符块来校验当前帧是否是文本帧，以及将校验结果输出到第二文本区确定部分424作为第四控制信号C4。
为执行操作174，如果基于当前帧的剩余区、从第四控制信号C4识别出当前帧是文本帧，则第二文本区确定部分424后处理由第二字符块检测部分420输入的剩余区，从剩余区确定文本区，以及通过输出端OUT11输出所确定的文本区。
图18的第一字符块检测部分270、第一文本帧校验部分272和第一文本区确定部分274在当前帧的整个区上执行各自的操作。图25的第二字符块检测部分420、第二文本帧校验部分422、和第二文本区确定单元424在当前帧的剩余区上执行各自的操作。除这一点外，第二字符块检测部分420、第二文本帧校验部分422和第二文本区确定单元424分别对应于第一字符块检测部分270、第一文本帧校验部分272和第一文本区确定部分274。因此，通过用图19至23的当前帧的剩余区替代当前帧的整个区，图19至23的实施例可以应用于第二字符块检测部分420、第二文本帧校验部分422和第二文本区确定单元424。
同时，当由第二文本区检测单元246完成从当前帧的剩余区检测文本区时，文本区验证单元248验证作为在形成视频的帧中的第(t+N)帧的并且是由帧输入单元240输入的下一帧中是否有文本区，以及将所验证的结果输出到结束帧校验单元250。
图26是根据本发明的实施例248A的图17的文本区验证单元248的框图。图26的文本区验证单元248A包括第二亮度差数目计算部分440、第二数目比较部分442和结束帧搜索部分444。
图26的文本区验证单元248A可以执行图13的操作176、178和180。
第二亮度差数目计算部分440执行操作176。即，第二亮度差数目计算部分440响应于由第二文本区检测单元246通过输入端IN11输入的、表示是否完成确定文本区的信号，通过输入端IN12从帧输入单元240输入第t帧和第(t+N)帧。在这种情况下，第二亮度差数目计算部分440如由公式6所示、计算作为在第t帧中确定的文本区中的像素的亮度值和对应于在第t帧中确定的文本区的第(t+N)帧的文本区中的像素的亮度值间的差值的亮度差中、大于第十一阈值TH11的亮度差的数目NB2，以及将所计算的结果输出到第二数目比较部分442。
为执行操作178，第二数目比较部分442将大于第十一阈值TH11的亮度差的数目NB2与第十二阈值TH12进行比较，以及将所比较的结果输出到结束帧搜索部分444。在这种情况下，如上所述，当在下一帧中存在文本区时，亮度差的数目NB2不大于第十二阈值TH12。
为执行操作180，如果从第二数目比较部分442的比较结果识别出亮度差的数目NB2大于第十二阈值TH12时，即，如果识别出在下一帧中没有文本区时，则结束帧搜索部分444搜索视频文本结束的结束帧。
图27是根据本发明的实施例444A的图26的结束帧搜索部分444的框图。结束帧搜索部分444A包括第三亮度差数目计算部分460、第三数目比较部分462、第三t调整部分464、下一帧校验部分466和结束帧确定部分468。
图27的结束帧搜索部分444A可以执行图15的操作180A。
第三亮度差数目计算部分460执行图15的操作200。即，如果从由第二数目比较部分442通过输入端IN13输入的比较结果识别出亮度差的数目NB2大于第十二阈值TH12，则第三亮度差数目计算部分460通过输入端IN4从帧输入单元240输入第t帧和第(t+1)帧。在这种情况下，第三亮度差数目计算部分460如由公式7所示、计算作为在第t帧中确定的文本区中的像素的亮度值和对应于在第t帧中确定的文本区的第(t+1)帧的文本区中的像素的亮度值间的差值的亮度差中、大于第十三阈值TH13的亮度差的数目NB3，以及将所计算的亮度差的数目NB3输出到第三数目比较部分462。
为执行操作202，第三数目比较部分462将大于第十三阈值T13的亮度差的数目NB3与第十四阈值TH14进行比较以及将所比较的结果输出到第三t调整部分464。
为执行操作204，如果从第三数目比较部分462的比较结果识别出亮度差的数目NB3大于第十四阈值TH14，则第三t调整部分464使t增加1以及将增加后的t输出到下一帧校验部分466。
为执行操作206，下一帧校验部分466校验由第三t调整部分464调整的第t帧是否是下一帧，以及将所校验的结果输出到结束帧确定部分468。
在这种情况下，如果从下一帧校验部分466的校验结果识别出第t帧不是下一帧，则第三亮度差数目计算部分460计算亮度差的数目NB3。
结束帧确定部分468执行操作208和210。为执行操作210，如果从第三数目比较部分462的比较结果识别出亮度差的数目NB3大于第十四阈值TH14，则结束帧确定部分468将第t帧确定为结束帧以及通过输出端OUT13输出所确定的结果。另外，为执行操作208，如果从下一帧校验部分466的校验结果确定第t帧是下一帧，则结束帧确定部分468将第(t+N-1)帧确定为结束帧以及通过输出端OUT13输出确定结果。
如上所述，图13的操作16A可以不包括操作180。类似地，图26的文本区验证单元248A可以不包括结束帧搜索部分444。
同时，与图17不同，当文本区验证单元248结束验证在下一帧中是否存在文本区时，第二文本区检测单元246可以执行从当前帧的剩余区检测文本区的操作。或者，第二文本区检测单元246可以执行从当前帧的剩余区检测文本区的操作并且文本区验证单元248可以同时执行验证在下一帧中是否存在文本区的操作。
图17的结束帧校验单元250执行图1的操作18。即，图17的结束帧校验单元250响应于由第一文本区检测单元244输入的、表示是否完成检测文本区的信号或响应于由文本区验证单元248输入的、表示是否完成验证文本区的信号，从帧输入单元240输入当前帧。在这种情况下，结束帧校验单元250校验所输入的当前帧是否是运动帧的结束帧以及将所校验的结果输出到第一t调整单元252作为第二控制信号C2。例如，在第一文本区检测单元244执行操作14或第二文本区检测单元246和文本区验证单元248执行操作16后，结束帧校验单元250校验当前帧是否是视频的结束帧。
为执行操作20，如果从由结束帧校验单元250输入的第二控制信号C2识别出当前帧不是视频的结束帧，则第一t调整单元252使t增加N以及将增加后的t输出到帧输入单元240。在这种情况下，当从第一t调整单元252输入调整后的t时，帧输入单元240通过输入端IN1将新的第t帧读取为当前帧。
因此，当合计或搜索视频以使用文本时，可以使用根据本发明的用于检测视频文本的方法和装置。例如，当在新闻中仅搜索包含有意义的文本的新闻或抽取和概括新闻时，可以应用本发明，因为能快速和正确地检测文本。
如上所述，在根据本发明的用于检测视频文本的方法和装置中，仅从排除了从在前帧检测到的文本区的当前帧的剩余区检测文本区，从而能预先防止不必要的计算以及降低计算所需的时间。另外，使用帧间的亮度差来检测文本区，从而即使在复杂背景中存在文本区并且背景区随时间流逝快速改变的环境下，也能检测文本区，以及能更快速地检测文本区。此外，由于当计算边缘密度时使用梯度和加权值以便改进由于当计算边缘密度时仅使用梯度从而不能区分快速亮度变化和平滑亮度变化而产生的边缘滤波器的现有问题，故能防止将具有平滑亮度变化的文本候选块确定为字符块并且能更正确地检测文本区。
尽管已经参考其示例性实施例，特别示出和描述了本发明，本领域的技术人员将理解到在不背离如在附加权利书中限定的本发明的精神和范围的情况下，可以在形式和细节方面做出各种改变。

Claims (36)

1.一种检测视频文本的方法，该方法包括：
将形成视频的帧中的第t帧(其中t是正整数)读取为当前帧；
确定在当前帧中是否存在从在前帧检测到的文本区，所述在前帧是形成视频的帧中的第(t-N)帧(其中，N是正整数)；
如果确定出在当前帧中没有从在前帧检测到的文本区，则检测整个当前帧中的文本区；以及
如果确定出在当前帧中存在从在前帧检测到的文本区，则从通过从当前帧排除对应于从在前帧检测到的文本区的区域而获得的剩余区检测文本区，以及验证在下一帧中是否存在文本区，所述下一帧是形成视频的帧中的第(t+N)帧。
2.如权利要求1所述的方法，进一步包括：
在检测或验证文本区后，确定当前帧是否是视频的结束帧；以及
如果确定出当前帧不是视频的结束帧，则使t加N以及读取当前帧。
3.如权利要求1所述的方法，其中从当前帧检测文本区包括：
从当前帧检测字符块；
使用所检测的字符块来确定当前帧是否是文本帧；以及
如果确定出当前帧是文本帧，则后处理该文本帧以及从该文本帧确定文本区。
4.如权利要求3所述的方法，其中检测字符块包括：
获得当前帧的每个像素和下一帧的每个像素间的亮度差，这些像素位于相同位置，以及将获得小于第一阈值的亮度差时使用的当前帧的像素确定为文本候选像素；
将当前帧划分成具有预定大小的子块，获得包括在每个子块中的文本候选像素的数目，以及将具有大于第二阈值的文本候选像素的数目的子块确定为文本候选块；以及
获得每个文本候选块的边缘密度以及将具有大于第三阈值的边缘密度的文本候选块确定为字符块。
5.如权利要求4所述的方法，其中通过将包括在文本候选块中的像素的边缘梯度的合计结果除以包括在文本候选块中的像素的数目来获得边缘密度。
6.如权利要求4所述的方法，其中通过将包括在文本候选块中的像素的边缘梯度乘以相应的加权值获得的结果的总和除以包括在文本候选块中的像素的数目来获得边缘密度。
7.如权利要求6所述的方法，其中通过将梯度除以在文本候选块中出现的梯度的最大值来获得加权值。
8.如权利要求3所述的方法，其中确定当前帧是否是文本帧包括：确定包括在当前帧中的字符块的数目是否大于第四阈值，以及
具有大于第四阈值的字符块的数目的当前帧对应于文本帧。
9.如权利要求3所述的方法，其中后处理文本帧包括：
如果确定出当前帧是文本帧，则从包括在文本帧中的字符块移除没有相邻字符块的孤立字符块；
将从中移除了孤立字符块的文本帧中的相邻字符块组确定为边界框；
当将当前帧划分成具有预定大小的子块时，获得包括在每个边界框中的子块的数目，以及从包括在文本帧中的边界框中仅抽取具有大于第五阈值的子块的数目的边界框；以及
获得相对于每个抽取的边界框的平均边缘密度以及将具有大于第六阈值的平均边缘密度的边界框确定为文本区。
10.如权利要求9所述的方法，其中确定边界框包括：
获得包括在从中移除了孤立字符块的文本帧的每行和每列中的字符块的数目；
选择具有大于第七阈值的字符块的数目的行和选择具有大于第八阈值的字符块的数目的列；以及
通过组合所选定的行和所选定的列来确定边界框；
当将当前帧划分成子块时，设置每行和每列。
11.如权利要求10所述的方法，其中所述第七阈值与第八阈值相同。
12.如权利要求10所述的方法，其中通过组合所选定的行和所选定的列来确定边界框包括：
将其中字符块连续地位于所选定的行中的部分确定为行区域，以及将其中字符块连续地位于选定列中的部分确定为列区域；以及
将其中所确定的行区域和所确定的列区域彼此重叠的部分确定为边界框。
13.如权利要求9所述的方法，其中在边界框的抽取中，使用连接组件标记方法从文本帧抽取具有大于第五阈值的子块的数目的边界框。
14.如权利要求9所述的方法，其中平均边缘密度对应于包括在所抽取的边界框中的子块的边缘密度的平均值。
15.如权利要求9所述的方法，其中平均边缘密度对应于包括在所抽取的边界框中的文本候选块的边缘密度的平均值。
16.如权利要求9所述的方法，其中平均边缘密度对应于包括在所抽取的边界框中的字符块的边缘密度的平均值。
17.如权利要求3所述的方法，其中从当前帧检测文本区进一步包括：在从当前帧到在前帧前的帧的帧中、搜索视频文本开始显示的起始帧。
18.如权利要求17所述的方法，其中搜索起始帧包括：
获得作为在第t帧中确定的文本区中的像素的亮度值和对应于在第t帧中确定的文本区的第(t-1)帧的文本区中的像素的亮度值间的差值的亮度差中、大于第九阈值的亮度差的数目；
确定大于第九阈值的亮度差的数目是否大于第十阈值；
如果确定出大于第九阈值的亮度差的数目大于第十阈值，则将第t帧确定为起始帧；
如果确定出大于第九阈值的亮度差的数目不大于第十阈值，则使t减1；
确定第t帧是否是在前帧，以及如果确定出第t帧不是在前帧，则进行获得亮度差的数目的处理；以及
如果确定出第t帧是在前帧，则将第(t-N+1)帧确定为起始帧。
19.如权利要求1所述的方法，其中从当前帧的剩余区检测文本区包括：
从当前帧的剩余区检测字符块；
基于当前帧的剩余区、确定当前帧是否是文本帧；以及
如果确定出当前帧是文本帧，则后处理剩余区以及从剩余区确定文本区。
20.如权利要求1所述的方法，其中确定在下一帧中是否存在文本区包括：
获得作为在第t帧中确定的文本区中的像素的亮度值和对应于在第t帧中确定的文本区的第(t+N)帧的文本区中的像素的亮度值间的差值的亮度差中、大于第十一阈值的亮度差的数目；以及
确定大于第十一阈值的亮度差的数目是否大于第十二阈值；
如果在下一帧中没有文本区，则大于第十一阈值的亮度差的数目大于第十二阈值。
21.如权利要求20所述的方法，其中确定在下一帧中是否存在文本区包括：如果确定出在下一帧中没有文本区，则搜索视频文本结束的结束帧。
22.如权利要求21所述的方法，其中搜索结束帧包括：
获得作为在第t帧中确定的文本区中的像素的亮度值和对应于在第t帧中确定的文本区的第(t+1)帧的文本区中的像素的亮度值间的差值的亮度差中、大于第十三阈值的亮度差的数目；
确定大于第十三阈值的亮度差的数目是否大于第十四阈值；
如果确定出大于第十三阈值的亮度差的数目大于第十四阈值，则将第t帧确定为结束帧；
如果确定出大于第十三阈值的亮度差的数目不大于第十四阈值，则使t增加1；
确定第t帧是否是下一帧，以及如果确定出第t帧不是下一帧，则进行获得亮度差的数目的处理；以及
如果确定出第t帧是下一帧，则将第(t+N-1)帧确定为结束帧。
23.一种用于检测视频文本的装置，该装置包括：
帧输入单元，用于将形成视频的帧中的第t帧(其中t是正整数)读取为当前帧；
文本区校验单元，用于校验在当前帧中是否存在从在前帧检测到的文本区，所述在前帧是形成视频的帧中的第(t-N)帧(其中，N是正整数)，以及将校验结果输出为第一控制信号；
第一文本区检测单元，用于响应于第一控制信号、从当前帧检测文本区；
第二文本区检测单元，用于响应于第一控制信号、从通过从当前帧排除对应于从在前帧检测到的文本区的区域获得的剩余区检测文本区；以及
文本区验证单元，用于验证在下一帧中是否存在文本区，所述下一帧是形成视频的帧中的第(t+N)帧。
24.如权利要求23所述的装置，进一步包括：
结束帧校验单元，用于响应于由第一文本区检测单元输入的表示是否完成检测文本区的信号、和由文本区验证单元输入的表示是否完成验证文本区的信号、而校验由帧输入单元输入的当前帧是否是视频的结束帧，以及将校验结果输出为第二控制信号，以及
第一t调整单元，用于响应于第二控制信号、而使t增加N，以及将增加后的t输出到帧输入单元。
25.如权利要求23所述的装置，其中所述第一文本区检测单元包括：
第一字符块检测部分，用于响应于第一控制信号、从当前帧检测字符块；
第一文本帧校验部分，用于使用所检测的字符块来校验当前帧是否是文本帧，以及将校验结果输出为第三控制信号；以及
第一文本区确定部分，用于响应于第三控制信号、后处理该文本帧以及从该文本帧确定文本区。
26.如权利要求25所述的装置，其中所述第一字符块检测部分包括：
文本候选像素确定部分，用于响应于第一控制信号、获得当前帧的每个像素和下一帧的每个像素间的亮度差，这些像素位于相同位置，以及将获得小于第一阈值的亮度差时使用的当前帧的像素确定为文本候选像素；
文本候选块确定部分，用于将当前帧划分成具有预定大小的子块，获得包括在每个子块中的文本候选像素的数目，以及将具有大于第二阈值的文本候选像素的数目的子块确定为文本候选块；以及
字符块确定部分，用于获得每个文本候选块的边缘密度以及将具有大于第三阈值的边缘密度的文本候选块确定为字符块。
27.如权利要求25所述的装置，其中所述第一文本帧校验部分包括：
字符块数目校验部分，用于校验包括在当前帧中的字符块的数目是否大于第四阈值，以及
文本帧确定部分，用于将具有大于第四阈值的字符块的数目的当前帧确定为文本帧。
28.如权利要求25所述的装置，其中所述第一文本区确定部分包括：
孤立字符块移除部分，用于响应于第三控制信号、从包括在文本帧中的字符块移除没有相邻字符块的孤立字符块；
边界框确定部分，用于将来自从中移除了孤立字符块的文本帧的相邻字符块组确定为边界框；
边界框抽取部分，用于当将当前帧划分成具有特定大小的子块时，获得包括在每个边界框中的子块的数目，以及从文本帧抽取具有大于第五阈值的子块的数目的边界框；以及
文本区抽取部分，用于获得相对于每个所抽取的边界框的平均边缘密度以及将具有大于第六阈值的平均边缘密度的边界框确定为文本区。
29.如权利要求28所述的装置，其中所述边界框确定部分包括：
字符块数目计算部分，用于计算包括在从中移除了孤立字符块的文本帧的每行和每列中的字符块的数目；
行和列选择部分，用于选择具有大于第七阈值的字符块的数目的行和选择具有大于第八阈值的字符块的数目的列；以及
行和列组合部分，用于通过组合所选定的行和所选定的列来确定边界框；
当将当前帧划分成子块时，设置每行和每列。
30.如权利要求29所述的装置，其中所述行和列组合部分包括：
区域确定部分，用于将其中字符块连续地位于所选定的行中的部分确定为行区域，以及将其中字符块连续地位于选定列中的部分确定为列区域；以及
重叠区校验部分，用于将所确定的行区域和所确定的列区域彼此重叠的部分确定为边界框。
31.如权利要求25所述的装置，其中所述第一文本区检测单元进一步包括：起始帧搜索部分，用于响应于由第一文本区确定部分输入的、表示是否完成确定文本区的信号、从当前帧到在前帧前的帧的帧中搜索视频文本开始显示的起始帧。
32.如权利要求31所述的装置，其中所述起始帧搜索部分包括：
第一亮度差数目计算部分，用于响应于由第一文本区确定部分输入的、表示是否完成确定文本区的信号、获得作为在第t帧中确定的文本区中的像素的亮度值和对应于在第t帧中确定的文本区的第(t-1)帧的文本区中的像素的亮度值间的差值的亮度差中、大于第九阈值的亮度差的数目；
第一数目比较部分，用于将大于第九阈值的亮度差的数目与第十阈值进行比较以及输出所比较的结果；
第二t调整部分，用于响应于第一数目比较部分的比较结果、使t减1；
在前帧校验部分，用于校验由第二t调整部分调整的第t帧是否是在前帧，以及输出校验结果；以及
起始帧确定部分，用于响应于第一数目比较部分的比较结果、将第t帧确定为起始帧，或者响应于在前帧校验部分的校验结果、将第(t-N+1)帧确定为起始帧，
第一亮度差数目计算部分响应于在前帧校验部分的校验结果、计算亮度差的数目。
33.如权利要求23所述的装置，其中所述第二文本区检测单元包括：
第二字符块检测部分，用于响应于第一控制信号、从当前帧的剩余区检测字符块；
第二文本帧校验部分，用于使用从当前帧的剩余区抽取的字符块来校验当前帧是否是文本帧以及将校验结果输出为第四控制信号；以及
第二文本区确定部分，用于响应于第四控制信号、后处理剩余区以及从剩余区确定文本区。
34.如权利要求23所述的装置，其中所述文本区验证单元包括：
第二亮度差数目计算部分，用于响应于由第二文本区检测单元输入的、表示是否完成确定文本区的信号、计算作为在第t帧中确定的文本区中的像素的亮度值和对应于在第t帧中确定的文本区的第(t+N)帧的文本区中的像素的亮度值间的差值的亮度差中、大于第十一阈值的亮度差的数目；以及
第二数目比较部分，用于将大于第十一阈值的亮度差的数目与第十二阈值进行比较，
当下一帧中存在文本区时，大于第十一阈值的亮度差的数目不大于第十二阈值。
35.如权利要求34所述的装置，其中所述文本区验证单元进一步包括：结束帧搜索部分，用于响应于第二数目比较部分的比较结果、搜索视频文本结束的结束帧。
36.如权利要求35所述的装置，其中所述结束帧搜索部分包括：
第三亮度差数目计算部分，用于响应于第二数目比较部分的比较结果、获得作为在第t帧中确定的文本区中的像素的亮度值和对应于在第t帧中确定的文本区的第(t+1)帧的文本区中的像素的亮度值间的差值的亮度差中、大于第十三阈值的亮度差的数目；
第三数目比较部分，用于将大于第十三阈值的亮度差的数目与第十四阈值进行比较；
第三t调整部分，用于响应于第三数目比较部分的比较结果、使t增加1；
下一帧校验部分，用于校验由第三t调整部分调整的第t帧是否是下一帧并输出校验结果，以及
结束帧确定部分，用于响应于第三数目比较部分的比较结果、将第t帧确定为结束帧，或响应于下一帧校验部分的校验结果、将第(t+N-1)帧确定为结束帧，
第三亮度差数目计算部分，用于响应于下一帧校验部分的校验结果、计算亮度差的数目。
CNB2005100036517A 2004-02-18 2005-01-07 检测视频文本的方法和装置 Expired - Fee Related CN100371943C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10660/2004 2004-02-18
KR10-2004-0010660A KR100537520B1 (ko) 2004-02-18 2004-02-18 동영상의 자막 검출 방법 및 장치
KR10660/04 2004-02-18

Publications (2)

Publication Number Publication Date
CN1658227A true CN1658227A (zh) 2005-08-24
CN100371943C CN100371943C (zh) 2008-02-27

Family

ID=34747926

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100036517A Expired - Fee Related CN100371943C (zh) 2004-02-18 2005-01-07 检测视频文本的方法和装置

Country Status (6)

Country Link
US (1) US7446817B2 (zh)
EP (1) EP1569162B1 (zh)
JP (1) JP4559252B2 (zh)
KR (1) KR100537520B1 (zh)
CN (1) CN100371943C (zh)
DE (1) DE602005001785T2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503455A (zh) * 2011-05-02 2014-01-08 华为技术有限公司 针对视频自适应和重定目标进行视频字幕重新覆盖的***和方法
CN112163554A (zh) * 2020-10-15 2021-01-01 北京达佳互联信息技术有限公司 获取视频中的标记掩模的方法和装置
CN113965697A (zh) * 2021-10-21 2022-01-21 北京的卢深视科技有限公司 基于连续帧信息的视差成像方法、电子设备及存储介质

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4170808B2 (ja) * 2003-03-31 2008-10-22 株式会社東芝 情報表示装置、情報表示方法及びプログラム
CN100542239C (zh) * 2004-07-20 2009-09-16 松下电器产业株式会社 视频处理设备及其方法
TWI280061B (en) * 2005-04-27 2007-04-21 Novatek Microelectronics Corp Image processing method and device thereof
GB2443700A (en) * 2006-11-10 2008-05-14 Tandberg Television Asa Reduction of blocking artefacts in decompressed images
JP4965980B2 (ja) * 2006-11-30 2012-07-04 株式会社東芝 字幕検出装置
KR100836197B1 (ko) * 2006-12-14 2008-06-09 삼성전자주식회사 동영상 자막 검출 장치 및 그 방법
KR100845662B1 (ko) * 2007-02-23 2008-07-10 한국정보통신대학교 산학협력단 비디오 자막영역 추출방법 및 장치
US7912289B2 (en) 2007-05-01 2011-03-22 Microsoft Corporation Image text replacement
US8355079B2 (en) * 2009-02-10 2013-01-15 Thomson Licensing Temporally consistent caption detection on videos using a 3D spatiotemporal method
KR101566196B1 (ko) * 2009-03-02 2015-11-05 삼성전자주식회사 히스토그램 분석을 이용한 영상 분류 방법 및 장치, 이를 이용한 문자 인식 방법 및 장치
US8718366B2 (en) * 2009-04-01 2014-05-06 Ati Technologies Ulc Moving text detection in video
US8549627B2 (en) * 2009-06-13 2013-10-01 Microsoft Corporation Detection of objectionable videos
JP4620163B2 (ja) * 2009-06-30 2011-01-26 株式会社東芝 静止字幕検出装置、静止字幕を含む画像を表示する映像機器、および静止字幕を含んだ画像の処理方法
TWI442329B (zh) * 2009-08-10 2014-06-21 Primax Electronics Ltd 在輸入影像中取出具有文字特徵之影像的影像處理方法及其相關裝置
US8989499B2 (en) 2010-10-20 2015-03-24 Comcast Cable Communications, Llc Detection of transitions between text and non-text frames in a video stream
US8867828B2 (en) 2011-03-04 2014-10-21 Qualcomm Incorporated Text region detection system and method
CN102332096B (zh) * 2011-10-17 2013-01-02 中国科学院自动化研究所 一种视频字幕文本提取和识别的方法
CN104662900B (zh) * 2012-09-19 2018-02-13 日本电气株式会社 视频图像编码设备
TWI520609B (zh) * 2012-10-05 2016-02-01 緯創資通股份有限公司 顯示系統以及通訊方法
US9191554B1 (en) * 2012-11-14 2015-11-17 Amazon Technologies, Inc. Creating an electronic book using video-based input
US9569679B1 (en) * 2012-12-04 2017-02-14 A9.Com, Inc. Adaptive image sampling for text detection
KR101581433B1 (ko) * 2013-05-15 2015-12-30 주식회사 칩스앤미디어 이동자막 영역의 움직임 보상 프레임 보간 장치 및 방법
KR101413620B1 (ko) * 2014-02-20 2014-07-04 하성욱 영상 분석을 통한 영상 텍스트화 장치
US9569681B2 (en) * 2014-04-10 2017-02-14 Xerox Corporation Methods and systems for efficient image cropping and analysis
US9496922B2 (en) 2014-04-21 2016-11-15 Sony Corporation Presentation of content on companion display device based on content presented on primary display device
KR102180478B1 (ko) * 2014-10-02 2020-11-18 삼성전자주식회사 자막 검출 장치 및 그 방법
RU2595559C2 (ru) * 2014-12-16 2016-08-27 Общество с ограниченной ответственностью "Аби Девелопмент" Система и способ использования данных предыдущего кадра для оптического распознавания символов кадров видеоматериалов
US9471990B1 (en) * 2015-10-20 2016-10-18 Interra Systems, Inc. Systems and methods for detection of burnt-in text in a video
WO2018049514A1 (en) 2016-09-13 2018-03-22 Genetec Inc. Auto-calibration of tracking systems
US20190202372A1 (en) * 2018-01-03 2019-07-04 Getac Technology Corporation Vehicular image pickup device and image capturing method
JP7087526B2 (ja) * 2018-03-23 2022-06-21 マツダ株式会社 車体下面構造
JP7087527B2 (ja) * 2018-03-23 2022-06-21 マツダ株式会社 車体下面構造
CN109766883B (zh) * 2018-12-24 2021-10-22 北京科技大学 基于深度神经网络的网络视频字幕的快速提取方法
US11270121B2 (en) 2019-08-20 2022-03-08 Microsoft Technology Licensing, Llc Semi supervised animated character recognition in video
US11366989B2 (en) * 2019-08-20 2022-06-21 Microsoft Technology Licensing, Llc Negative sampling algorithm for enhanced image classification
KR102310386B1 (ko) * 2020-07-14 2021-10-12 주식회사 엘지유플러스 영상 콘텐츠의 코너 구분 장치 및 그 제어방법
US11450107B1 (en) 2021-03-10 2022-09-20 Microsoft Technology Licensing, Llc Dynamic detection and recognition of media subjects

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69519980T2 (de) * 1994-12-28 2001-06-07 Siemens Corp Res Inc Verfahren und Gerät zur Detektion und Interpretation von Untertiteln in digitalen Videosignalen
US5703655A (en) * 1995-03-24 1997-12-30 U S West Technologies, Inc. Video programming retrieval using extracted closed caption data which has been partitioned and stored to facilitate a search and retrieval process
JP3479592B2 (ja) * 1997-12-12 2003-12-15 日本電信電話株式会社 テロップ文字表示フレーム検出方法、装置、およびテロップ文字表示フレーム検出プログラムを記録した記録媒体
US6185329B1 (en) * 1998-10-13 2001-02-06 Hewlett-Packard Company Automatic caption text detection and processing for digital images
US6614930B1 (en) * 1999-01-28 2003-09-02 Koninklijke Philips Electronics N.V. Video stream classifiable symbol isolation method and system
US6937766B1 (en) * 1999-04-15 2005-08-30 MATE—Media Access Technologies Ltd. Method of indexing and searching images of text in video
US6754389B1 (en) * 1999-12-01 2004-06-22 Koninklijke Philips Electronics N.V. Program classification using object tracking
JP3692018B2 (ja) * 2000-01-24 2005-09-07 株式会社東芝 テロップ情報処理装置
US6470094B1 (en) * 2000-03-14 2002-10-22 Intel Corporation Generalized text localization in images
CN1181668C (zh) * 2000-03-31 2004-12-22 皇家菲利浦电子有限公司 检测视频信号中的文本的方法和设备
CN1148388C (zh) * 2000-06-30 2004-05-05 清华大学 一种可催化硅氢加成反应的高分子催化剂微珠的制备方法
US6823084B2 (en) * 2000-09-22 2004-11-23 Sri International Method and apparatus for portably recognizing text in an image sequence of scene imagery
US7031553B2 (en) * 2000-09-22 2006-04-18 Sri International Method and apparatus for recognizing text in an image sequence of scene imagery
US20030113015A1 (en) * 2001-12-18 2003-06-19 Toshiaki Tanaka Method and apparatus for extracting text information from moving image
US7085420B2 (en) * 2002-06-28 2006-08-01 Microsoft Corporation Text detection in continuous tone image segments
JP4112968B2 (ja) * 2002-12-26 2008-07-02 富士通株式会社 ビデオテキスト処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503455A (zh) * 2011-05-02 2014-01-08 华为技术有限公司 针对视频自适应和重定目标进行视频字幕重新覆盖的***和方法
CN103503455B (zh) * 2011-05-02 2016-11-09 华为技术有限公司 针对视频自适应和重定目标进行视频字幕重新覆盖的***和方法
CN112163554A (zh) * 2020-10-15 2021-01-01 北京达佳互联信息技术有限公司 获取视频中的标记掩模的方法和装置
CN112163554B (zh) * 2020-10-15 2021-08-17 北京达佳互联信息技术有限公司 获取视频中的标记掩模的方法和装置
CN113965697A (zh) * 2021-10-21 2022-01-21 北京的卢深视科技有限公司 基于连续帧信息的视差成像方法、电子设备及存储介质

Also Published As

Publication number Publication date
JP2005235220A (ja) 2005-09-02
US20050196043A1 (en) 2005-09-08
JP4559252B2 (ja) 2010-10-06
KR20050082250A (ko) 2005-08-23
CN100371943C (zh) 2008-02-27
EP1569162A1 (en) 2005-08-31
DE602005001785D1 (de) 2007-09-13
KR100537520B1 (ko) 2005-12-19
DE602005001785T2 (de) 2008-04-30
US7446817B2 (en) 2008-11-04
EP1569162B1 (en) 2007-08-01

Similar Documents

Publication Publication Date Title
CN1658227A (zh) 检测视频文本的方法和装置
CN1184796C (zh) 图象处理方法和设备以及图象处理***
CN1139039C (zh) 图象中图形的提取和识别以及异常判定的方法和装置
CN1920539A (zh) 缺陷检测方法与缺陷检测装置
CN1166177C (zh) 电视电影视频信号检测装置
CN1114888C (zh) 图像处理方法、设备和***
CN1695164A (zh) 生成用于评估图像或视频质量的质量导向重要性图的方法
CN1311394C (zh) 用于二进制化图像的设备和方法
CN1119027C (zh) 物体形状信息的压缩设备和方法,以及移动图象间补偿帧的编码方法
CN1922883A (zh) 电子水印嵌入方法、电子水印检测方法和装置以及程序
CN1180627C (zh) 图像编码/解码方法,图像编码装置和图像解码装置
CN101030257A (zh) 基于汉字特征的文档图像分割方法
CN1940967A (zh) 用于分割图像的方法、装置和程序
CN1917578A (zh) 数据处理设备、数据处理方法及程序
CN1335581A (zh) 图像处理装置、图像处理方法和程序及其记录介质
CN1909671A (zh) 产生用户偏爱数据的方法和装置
CN1812481A (zh) 图像处理装置及其方法
CN1738433A (zh) 检测运动图像中视频镜头变化的方法及使用该方法的设备
CN1756340A (zh) 用于模拟视频的水印方案
CN100346339C (zh) 图像检索方法及图像检索装置
CN1757046A (zh) 图像处理装置
CN1310182C (zh) 用于增强文档图像和字符识别的方法和装置
CN1842165A (zh) 产生内插帧的方法和装置
CN1099541A (zh) 图象处理装置
CN1637773A (zh) 个人认证媒体发行方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080227

Termination date: 20190107