CN103763453B - 一种图文采集识别装置 - Google Patents

一种图文采集识别装置 Download PDF

Info

Publication number
CN103763453B
CN103763453B CN201410027696.7A CN201410027696A CN103763453B CN 103763453 B CN103763453 B CN 103763453B CN 201410027696 A CN201410027696 A CN 201410027696A CN 103763453 B CN103763453 B CN 103763453B
Authority
CN
China
Prior art keywords
information
books
image information
camera
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410027696.7A
Other languages
English (en)
Other versions
CN103763453A (zh
Inventor
陈旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710012060.9A priority Critical patent/CN106791263A/zh
Priority to CN201710012058.1A priority patent/CN106791262A/zh
Priority to CN201410027696.7A priority patent/CN103763453B/zh
Priority to CN201910811258.2A priority patent/CN111429767A/zh
Priority to CN201910811259.7A priority patent/CN111050017A/zh
Priority to CN201710012059.6A priority patent/CN106803864A/zh
Publication of CN103763453A publication Critical patent/CN103763453A/zh
Application granted granted Critical
Publication of CN103763453B publication Critical patent/CN103763453B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种图文采集识别装置，包括：多点图像信息采集单元和图像信息识别单元，所述多点图像信息采集单元将采集的图像信息传递给所述图像信息识别单元，所述图像信息识别单元根据所述图像信息识别出图文内容信息，且所述多点图像信息采集单元采用拍照方式获得所述图像信息；其中，所多点图像信息采集单元包括至少一个可活动式摄像头；或者，所述多点图像信息采集单元包括多个摄像头；或者，所述多点图像信息采集单元包括一个固定式摄像头，所述固定式摄像头包括多个镜头。本发明实施例的实现使得在图像信息采集过程中可以灵活地获得需要采集图像信息区域中的不同角度或不同位置的图像信息，从而令后续的图文识别处理过程中可以准确识别出相应的图文内容信息。

Description

一种图文采集识别装置
技术领域
本发明涉及图文采集识别。
背景技术
目前的图文采集识别中，采用单个摄像头进行图文的采集操作。
若以单个摄像头进行图文采集，为了获得对所需采集对象的覆盖，则需要较远距离设置相应的摄像头。若试图用广角镜或鱼眼镜在短距离对所需采集对象的覆盖则将产生较大的失真。而且单一摄像头其单一焦距导致所拍摄对象只在焦距合适的那一小部分最清楚，其它部分则由于不在最佳焦距位置处，则不够清晰。而且，单个摄像头只能在正上方才能对图文有效拍摄，如果低高度下从侧面或斜面拍摄则由于图文变形无法识别，而且容易使部分不在最佳焦距而不清晰，因此，若采用单个摄像头无法达到理想拍摄效果。
再者，目前的图书出版发行量已经非常大。但目前还存在一部分人群，如儿童、盲人、老年人等，其不方便对图书直接进行阅读，针对这部分人群需要辅助阅读发声设备进行阅读，而目前没有针对普通图书的辅助阅读发声设备。
发明内容
本发明的目的是提供一种图文采集识别装置，从而可以准确方便地采集到期望的图文信息，以提高识别处理过程的准确性。
本发明的目的是通过以下技术方案实现的：
一种图文采集识别装置，包括：
多点图像信息采集单元和图像信息识别单元，所述多点图像信息采集单元将采集的图像信息传递给所述图像信息识别单元，所述图像信息识别单元根据所述图像信息识别出图文内容信息，且所述多点图像信息采集单元采用拍照方式获得所述图像信息；所述多点图像信息采集单元包括多个摄像头，即二个或三个或四个或四个以上摄像头，所述多个摄像头用于完成多角度和/或多位置的多点图像拍摄，且每个摄像头为固定式摄像头或可活动式摄像头，所述可活动式摄像头的拍照角度和/或位置是可调整的，所述可活动式摄像头为基于预定的控制方式或基于接收的控制信息或手动控制其活动以对被拍摄对象进行多角度和/或多位置的多点图像拍摄。
所述可活动式摄像头包括可旋转式摄像头和/或可移动式摄像头,即所述可活动式摄像头可旋转或可移动或可移动可旋转；或者，所述可活动式摄像头包括一个或多个可活动式镜头，所述可活动式镜头的拍照角度和/或位置是可调整的；若所述可活动式摄像头包含多个，则多个可活动式摄像头包含的每个摄像头用于采集全部或部分场景的图文内容信息；所述可活动式摄像头设置于需要采集所述图像信息的区域的位置包括：所述区域的边缘上方和/或斜上方和/或正上方。
所述固定式摄像头包括一个或多个镜头，且若所述固定式摄像头包括多个镜头，则基于预定的控制方式或接收的控制信息控制各个镜头采集所述图文内容信息，所述多个摄像头包含的每个摄像头用于采集全部或部分场景的图文内容信息；所述摄像头设置于需要采集所述图像信息的区域的位置包括：所述区域的边缘上方和/或斜上方和/或正上方。
所述图文内容信息包括：印刷品的图片或文字内容信息，和/或，对印刷品进行阅读操作的指示信息。
所述对印刷品进行阅读操作的指示信息包括：通过手或手持物体在印刷品上进行的阅读指示操作信息。
所述多点图像信息采集单元还包含阅读位置信息采集模块，用于通过摄像头采集用户阅读操作位置的文字图像信息，且所述图像信息识别单元识别所述用户阅读操作位置的文字图像信息包含的文字内容。
所述印刷品的图片或文字内容信息包含图书的书目信息，所述多点图像信息采集单元采集包含有图书的书目信息的图像信息并传递给所述图像信息识别单元，所述包含有图书的书目信息的图像信息包括图书封皮的图像信息，且所述图像信息识别单元通过识别所述图书封皮的图像信息中的文字确定书目信息，或者，通过识别所述图书封皮的图像信息确定书目信息，或者，通过识别所述图书封皮的图像信息中的标识确定书目信息，所述标识是图书自身的或附加的，
和/或
所述印刷品的图片或文字内容信息包含图书的页码信息，所述多点图像信息采集单元采集包含有图书的页码信息的图像信息并传递给所述图像信息识别单元，所述页码信息采集模块通过所述摄像头模块采集图书内页的图像信息作为包含所述页码信息的信息，通过识别所述图书内页的图像信息确定当前阅读的页码，或者，通过识别所述图书内页的图像信息中的文字或数字页码确定当前阅读的页码。
该装置还包括：
音频单元，所述多点图像信息采集单元将采集的图书中当前阅读页的或印刷品当前阅读位置的或阅读操作指示位置的或包含书目信息的或包含页码信息的图像信息传递给所述图像信息识别单元，所述图像信息识别单元根据所述当前阅读页的或印刷品当前阅读位置的或阅读操作指示位置的或包含书目信息的或包含页码信息的图像信息识别出该当前阅读页的或印刷品当前阅读位置的或阅读操作指示的或书目信息或页码信息的文字内容信息对应的音频信息并通知所述音频单元，所述音频单元将所述对应的音频信息以音频形式输出；
和/或，
音频输入单元，用于获取音频信息；
和/或，
存储单元，包括存储音频信息和/或保存采集识别过程中获得的图像和/或文字信息和/或保存外部获得的内容信息；
和/或，
显示单元，显示包括设定的内容信息和/或采集识别过程中获得的图像和文字信息和/或外部获得的内容信息；
和/或，
通信单元，用于和计算机通信。
该装置包括互动处理模块，用于获取用户的互动操作控制信息，并根据所述互动操作控制信息执行预定的互动操作，且所述互动操作控制信息包括肢体动作、操作物体的动作、语音信息、屏幕输入或操作按键中的至少一项。
由上述本发明提供的技术方案可以看出，本发明实施例提供的一种图文采集识别装置由于采用了独特的摄像头布置方案，使得在图像信息采集过程中可以灵活地获得需要采集图像信息区域中（即被拍摄对象）多点的图像信息（即不同角度和/或不同位置的图像信息），相对于普通摄像头，可以在实用近距离不失真的完成所需图文拍照采集, 从图书不影响阅读的角度或位置比如斜上方也能图像采集并识别，不影响用户的阅读，相应的活动摄像头或多个摄像头会有多个焦距，这样就能使所采集对象各部分都处于最佳焦距，以保证各部分的图像均清晰，进而使得后续的图文识别处理过程中可以准确识别出相应的图文内容信息。另一方面，在该图文采集识别装置中，由于可以准确进行图文内容信息的识别，因而可以针对普通图书进行图文识别处理，并结合相应的发声功能实现针对普通图书的辅助阅读发声处理，从而为人们提供一种可以对普通图书进行辅助发声的辅助阅读发声设备。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的图文采集识别装置的结构示意图一；
图2为本发明实施例提供的图文采集识别装置的结构示意图二；
图3为本发明实施例提供的包含多个摄像头的图文采集识别装置的结构示意图一；
图4为本发明实施例提供的包含多个摄像头的图文采集识别装置的结构示意图二；
图5为本发明实施例提供的包含多个摄像头的图文采集识别装置的结构示意图三；
图6为本发明实施例提供的设置于边缘上方的摄像头的结构示意图；
图7为本发明实施例提供的设置于斜上方的摄像头的结构示意图一；
图8为本发明实施例提供的设置于斜上方的摄像头的结构示意图二；
图9为本发明实施例提供的设置于正上方的摄像头的结构示意图；
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
下面将结合附图对本发明实施例作进一步地详细描述。
本发明实施例提供了一种图文采集识别装置，其具体实现结构如图1所示，可以包括：多点图像信息采集单元和图像信息识别单元，所述多点图像信息采集单元将采集的图像信息传递给所述图像信息识别单元，所述图像信息识别单元根据所述图像信息识别出图文内容信息，且所述多点图像信息采集单元采用拍照方式获得所述图像信息，即所述多点图像信息采集单元通过其包含的摄像头拍摄获得所述图像信息。
进一步的，为实现针对被拍摄对象的多角度和/或多位置的多点图像拍摄，相应的多点图像信息采集单元可以采用以下任一结构实现：
所述多点图像信息采集单元包括多个摄像头，即二个或三个或四个或四个以上摄像头，所述多个摄像头用于完成多角度和/或多位置的多点图像拍摄，且每个摄像头为固定式摄像头或可活动式摄像头，所述可活动式摄像头为基于预定的控制方式或基于接收的控制信息或手动控制其活动以对被拍摄对象进行多角度和/或多位置的多点图像拍摄。例如，根据反馈自动控制（如根据拍摄图像识别后的反馈做自动调整），比如当手指示处超出范围了或部分文字超出范围了或页码超出范围了，则自动调整可活动式摄像头的角度和/或位置，这样产品在工作过程中无需或少需人工干预，或者，根据用户输入的控制信息（如用户执行的特肢体定动作或用户通过操作按键输入的预定控制信息等）控制所述摄像头转动或移动，或者，也可以根据预先设定的时间间隔自动控制所述摄像头旋转或移动，以进行针对被拍摄对象的多角度和/或多位置的多点拍摄。
具体地，所述固定式摄像头包括一个或多个镜头，且若所述固定式摄像头包括多个镜头，则基于预定的控制方式或接收的控制信息控制各个镜头采集所述图文内容信息，且所述预定的控制方式包括控制多个摄像头中的全部摄像头或部分摄像头进行多角度和/或多位置的多点图像拍摄；
所述多个摄像头包含的每个摄像头用于采集全部或部分场景的图文内容信息；
在该方案中，所述摄像头可以设置于需要采集所述图像信息的区域的位置包括：所述区域的边缘上方和/或斜上方和/或正上方。
也就是说，在该图文采集识别装置中，相应的多点图像信息采集单元可以包含多个摄像头，如图3、图4和图5所示，相应的多个摄像头可以是以固定或可活动的方式设置于被拍摄对象所在区域的边缘上方和/或斜上方和/或正上方，例如，可以设置于图书的边缘上方和/或斜上方和/或正上方，当阅读者在阅读时设置的位置需要不影响阅读者阅读图书即可，具体可以参照图6、图7、图8和图9所示。同时，由于采用了多个摄像头，大大减小了对每个摄像头所需要的拍摄覆盖，增大了整体覆盖，从而保证对识别所需要的拍摄覆盖，多个摄像头可以各自拍摄进行各自的识别工作，也可将拍摄结果综合后以供识别。
本发明实施例提供的图文采集识别装置中，所述图文内容信息具体可以但不限于包括：印刷品的图片或文字内容信息，和/或，空间静物的图片信息，和/或，肢体动作信息，和/或，对印刷品进行阅读操作的指示信息，和/或，操作物体的动作信息；即所述图文内容信息可以为印刷品的图片或文字内容信息、空间静物的图片信息、肢体动作信息、对印刷品进行阅读操作的指示信息以及操作物体的动作信息中的至少一项。
也就是说，相应的图像信息识别单元可以根据采集到的图像信息识别出印刷品中的图片或文字信息，或者，也可以识别出空间静物的图片（如根据采集到的空间静物的图像信息确定相应的空间静物的对应图片或文字说明等内容信息），或者，也可以识别出用户执行的手势动作等肢体动作信息（如识别预定的肢体动作所对应的执行指令含义等），或者，也可以识别出用户操作物体的动作信息，或者，也可以识别出用户对印刷品进行阅读时的阅读操作指示，等等。进一步地，对印刷品进行阅读操作的指示信息可以通过肢体动作信息或操作物体的动作信息实现，即可以将特定的肢体动作或操作物体的动作作为某种阅读操作的指示信息；也就是说，所述对印刷品进行阅读操作的指示信息可以包括：通过手或手持物体在印刷品上进行的阅读指示操作信息，如确定指点某处进行阅读的指示或确定需要阅读内容的指示或确定是否需要阅读的指示等，比如手在印刷品上指点、单击、双击、滑动、翻页等。
本发明实施例提供的一种图文采集识别装置由于采用了独特的摄像头布置方案，使得在图像信息采集过程中可以灵活地获得需要采集被拍摄对象的多点图像信息，即采集被拍摄对应的不同角度和/或不同位置的图像信息，从而可以使得采集到的图像信息能够真实准确地反应被拍摄对象的实际情况，进而使得后续的图文识别处理过程中可以准确识别出相应的图文内容信息，如准确地识别出印刷品中的文字或图片信息，或者，识别出用户的肢体动作的含义，或者，识别出用户操作物体执行的动作的含义，或者，识别出用户通过肢体动作或操作物体对图书等印刷品的阅读操作的含义，或者，识别出用户指示的文字或图片等等。
在本发明实施例提供的图文采集识别装置中，为便于用户基于该装置实现针对印刷品的有声阅读，则如图2所示，在该装置中还可以包括音频单元，所述多点图像信息采集单元将采集的图书中当前阅读页或印刷品当前阅读位置或阅读操作指示位置或包含书目信息或包含页码信息的图像信息传递给所述图像信息识别单元，所述图像信息识别单元识别出根据所述当前阅读页或印刷品当前阅读位置或阅读操作指示位置或包含书目信息或包含页码信息的图像信息识别出该当前阅读页或印刷品当前阅读位置或阅读操作指示位置或书目信息或页码信息的文字内容信息对应的音频信息并通知所述音频单元，所述音频单元将所述对应的音频信息以音频形式输出，从而可以实现针对印刷品中文字内容的有声朗读，便于不方便直观对图书进行阅读的人群获得普通图书中的内容信息。
在通过所述音频单元对印刷品进行有声阅读操作过程中，所述多点图像信息采集单元还包含阅读位置信息采集模块，用于通过摄像头采集用户阅读操作位置（即用户指定的印刷品当前阅读位置）的文字图像信息，且所述图像信息识别单元识别所述用户阅读操作位置的文字图像信息包含的文字内容，并将识别确定的所述文字内容对应的音频信息或所述文字内容转换获得的音频信息通知所述音频单元。其中，所述文字内容对应的音频信息可以为该部分文字内容的朗读音频信息，也可以为该文字内容对应的其他音频信息，如对该文字内容的解释说明等音频信息。
相应的文字识别目前已经逐渐进入实用阶段，相应的识别处理过程可以包括：首先对拍照的图像预处理，该预处理主要包括二值化、噪声去除、倾斜较正等处理，然后进行文字特征抽取，包括对文字影像细线化后，取得字的笔划端点、交叉点之数量及位置，或以笔划段为特征，配合比对方法进行比对，从而识别文字。由于文字识别技术已经为现有技术，故在此不再对其进行详细说明。
在该图文采集识别装置中，由于可以准确进行图文内容信息的识别，因而可以针对普通图书进行图文识别处理，并结合相应的发声功能实现针对普通图书的辅助阅读发声处理，从而为人们提供一种可以对普通图书进行辅助发声的辅助阅读发声设备，这就使得儿童、盲人、老年人等不方便对图书直接进行阅读的人群可以借助该图文采集识别装置进行辅助阅读，极大地方便了这部分人群对普通图书的阅读操作。而且，识别过程的准确性还可以保证图书阅读过程能够顺畅地进行，进一步保证了阅读用户具有较佳的阅读体验。
在本发明实施例提供的图文采集识别装置中，为便于保存识别出的图文内容信息，在该装置中还可以包括存储单元，用于保存所述图像信息识别单元识别出的所述图文内容信息，以方便后续对所述图文内容信息的调用。
在本发明实施例提供的图文采集识别装置中，所述多点图像信息采集单元还可以采集的包含有图书的书目信息的图像信息并传递给所述图像信息识别单元，所述图像信息识别单元根据所述包含有图书的书目信息的图像信息识别出图书名称。进一步地，还可以通过音频或显示的方式输出所述图书名称，例如，可以通过所述音频单元朗读出图书名称，或通过显示屏显示出图书名称。
进一步地，所述多点图像信息采集单元可以通过所述摄像头采集图书封皮的图像信息作为包含所述图书的书目信息的图像信息，所述图像信息识别单元则可以通过识别所述图书封皮（包含封面、封底等）的图像信息中的文字确定图书名称，或者，也可以通过识别所述图书封皮的图像信息确定图书名称，或者，还可以通过识别所述图书封皮的图像信息中的标签确定图书名称，相应的标签包括特制的标签或编码，或者也可以包括ISBN条码（国际标准书号，International Standard Book Number）等目前已经存在的标签或编码。
由于每本书的封面和封底图像均各不相同，故可以通过拍摄到的图像信息进行对比识别，或提取特征对比从而识别出具体为哪一本图书，从而确定相应的图书名称。而且，为便于识别，还可以在图书中设置相应的便于识别的标签，使得根据该标签可以确定当前图书的具体图书名称，相应的标签可以为印制于图书上的标签，也可以为粘贴于图书上的标签，且相应的标签上可以为图片或编码或文字等内容信息。由于具体的图像识别技术已经为现有技术，故在此不再对其进行详细说明。
在本发明实施例提供的图文采集识别装置中，所述多点图像信息采集单元还可以采集的包含有页码信息的图像信息并传递给所述图像信息识别单元，所述图像信息识别单元根据所述包含有页码信息的图像信息识别出页码。进一步地，还可以通过音频或显示的方式输出所述图书名称，例如，可以通过所述音频单元朗读出页码，或通过显示屏显示出页码。
所述页码信息采集模块通过识别所述图书内页的图像信息确定当前阅读的页码，或者，通过识别所述图书内页的图像信息中的文字或数字页码确定当前阅读的页码。
该图文采集识别装置还可以包括显示单元，用于显示设定的内容信息和/或采集识别过程中获得的图像和文字信息和/或外部获得的内容信息，例如，可以显示当前图书阅读的页码或图书名称等信息，或者，显示针对图书的解释说明信息（如作者介绍等），或者，显示所述图像信息识别单元识别出的用户的操作指令，或者，播放用于对图书进行解释的视频信息，等等。
具体地，该图文采集识别装置还可以包括以下任一项或多项单元：
音频输入单元，用于获取音频信息。相应的获取后的音频信息可以通过存储单元进行保存。
存储单元，包括存储音频信息和/或保存采集识别过程中获得的图像和/或文字信息和/或保存外部获得的内容信息，保存的语音信息可以在需要时通过音频单元进行播放，例如，通过音频输入单元和该存储单元及音频单元的配合，可以校正语言学习过程中用户的发音是否准确等。
通信单元，用于与计算机之间进行通信。
再者，为加强用户与该图文采集识别装置之间的互动处理，提升用户使用该图文采集识别装置的体验，在该装置中还可以包括互动处理模块，用于获取用户的互动操作控制信息，并根据所述互动操作控制信息执行预定的互动操作，且所述互动操作控制信息包括肢体动作、操作物体的动作、语音信息、屏幕输入或操作按键中的至少一项；在互动处理过程中，图文采集识别装置还可以通过所述音频单元向用户播放特定提示声音信息，或者也可以通过所述显示单元向用户显示特定的内容信息，且用户可以根据相应的提示声音信息或显示的特定的内容信息向图文采集识别装置传递相应的互动操作控制信息，以便于与图文采集识别装置进行互动。具体地，相应的互动操作控制信息可以包括在印刷品上进行的阅读操作指示信息等，以通过肢体动作进行互动操作为例，对于阅读普通图书的用户可以通过手或手持物体的动作与图文采集识别装置之间互动以对阅读方式或阅读内容进行互动控制等，如通过预定手势控制重新阅读一次当前位置的内容等。通过该互动处理模块可以识别阅读用户的肢体动作或操作物体动作，以便于该装置可以与阅读用户之间进行互动，从而提升阅读用户的阅读体验，使得图书成为有声媒体和互动媒体。
在本发明实施例中，通过相应的多点图文采集近距离就可以对所需采集对象的覆盖且不失真。具体地，相应的活动摄像头或多个摄像头会有多个焦距，这样就能使所采集对象所有部分都处于最佳焦距，以保证各部分的图像均清晰。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种图文采集识别装置，其特征在于，包括：
多点图像信息采集单元和图像信息识别单元，所述多点图像信息采集单元将采集的图像信息传递给所述图像信息识别单元，所述图像信息识别单元根据所述图像信息识别出图文内容信息，且所述多点图像信息采集单元采用拍照方式获得所述图像信息；所述多点图像信息采集单元包括多个摄像头，即二个或三个或四个摄像头，所述多个摄像头用于完成多角度和/或多位置的多点图像拍摄， 且每个摄像头为固定式摄像头或可活动式摄像头，所述可活动式摄像头的拍照角度和/或位置是可调整的，所述可活动式摄像头为基于预定的控制方式或基于接收的控制信息或手动控制其活动以对被拍摄对象进行多角度和/或多位置的多点图像拍摄，
多个摄像头的布置包括：所述多个摄像头设置于需要采集所述图像信息的区域的位置包括图书边缘上方和/或图书外斜上方和/或图书内斜上方，所述多个摄像头同在图书的同一边，所述多个摄像头用于多位置和/或多角度的多点图像拍摄，每个摄像头用于采集部分场景的图文内容信息。
2.根据权利要求1所述的图文采集识别装置，其特征在于，
所述固定式摄像头包括一个或多个镜头，且若所述固定式摄像头包括多个镜头，则基于预定的控制方式或接收的控制信息控制各个镜头采集所述图文内容信息，
所述多个摄像头包含的每个摄像头用于采集部分场景的图文内容信息，
所述摄像头设置于需要采集所述图像信息的区域的位置包括：图书边缘上方和/或图书外斜上方和/或图书内斜上方，
包括：方案一或方案二或方案三，
方案一包括：
包括扁平立方体外壳而且拍照时扁平立方体外壳竖立于图书外而且扁平立方体外壳大面朝向图书而且包括两个摄像头水平分开排列在竖立的扁平立方体外壳大面的上部向下朝向图书拍照，或者，包括扁平立方体外壳而且拍照时扁平立方体外壳竖立于图书外而且扁平立方体外壳大面朝向图书而且包括两个摄像头上下分开排列在竖立的扁平立方体外壳大面的上部向下朝向图书拍照，或者，包括扁平立方体外壳而且拍照时扁平立方体外壳竖立于图书外而且扁平立方体外壳大面朝向图书而且包括三个摄像头水平分开排列在竖立的扁平立方体外壳大面的上部发散向外向下朝向图书拍照；
方案二包括：包括底座且拍照时底座放在图书外，和置于底座上的竖立支杆和置于竖立支杆上端的横条，横条走向与底座所在图书一侧的图书边的走向一致，包括三个摄像头在所述横条沿所述横条水平分开排列向下朝向图书拍照；
方案三包括：包括四个摄像头在图书前方的边缘上方或斜上方水平分开排列向下朝向图书拍照，两个在翻开图书的左页的前方朝向翻开图书的左页两个在翻开图书的右页的前方朝向翻开图书的右页。
3.根据权利要求1所述的图文采集识别装置，其特征在于，所述图文内容信息包括：印刷品的图片或文字内容信息，和/或，对印刷品进行阅读操作的指示信息，
印刷品包括图书，图书包括翻开的图书。
4.根据权利要求3所述的图文采集识别装置，其特征在于，所述对印刷品进行阅读操作的指示信息包括：通过手或手持物体在印刷品上进行的阅读指示操作信息，阅读指示操作信息包括指点或滑动。
5.根据权利要求3所述的图文采集识别装置，其特征在于，所述多点图像信息采集单元还包含阅读位置信息采集模块，用于通过摄像头采集用户阅读操作位置的文字图像信息，且所述图像信息识别单元识别所述用户阅读操作位置的文字图像信息包含的文字内容。
6.根据权利要求3所述的图文采集识别装置，其特征在于，
所述印刷品的图片或文字内容信息包含图书的书目信息，所述多点图像信息采集单元采集包含有图书的书目信息的图像信息并传递给所述图像信息识别单元，所述包含有图书的书目信息的图像信息包括图书封面的图像信息，且所述图像信息识别单元通过识别所述图书封面的图像信息中的文字确定书目信息，或者，通过识别所述图书封面的图像信息确定书目信息，或者，通过识别所述图书封面的图像信息中的标识确定书目信息，所述标识是图书自身的或附加的；
和/或，
所述印刷品的图片或文字内容信息包含图书的页码信息，所述多点图像信息采集单元采集包含有图书的页码信息的图像信息并传递给所述图像信息识别单元，所述页码信息采集模块通过所述摄像头模块采集图书内页的图像信息作为包含所述页码信息的信息，通过识别所述图书内页的图像信息确定当前阅读的页码，或者，通过识别所述图书内页的图像信息中的文字或数字页码确定当前阅读的页码。
7.根据权利要求1至6任一项所述的图文采集识别装置，其特征在于，该装置还包括：
音频单元，所述多点图像信息采集单元将采集的图书中当前阅读页的或印刷品当前阅读位置的或阅读操作指示位置的或包含书目信息或包含页码信息的图像信息传递给所述图像信息识别单元，所述图像信息识别单元根据所述当前阅读页的或印刷品当前阅读位置的或阅读操作指示位置的或包含书目信息的图像信息识别出该当前阅读页的或印刷品当前阅读位置的或阅读操作指示的或书目信息或页码信息的文字内容信息对应的音频信息并通知所述音频单元，所述音频单元将所述对应的音频信息以音频形式输出；
和/或，
音频输入单元，用于获取音频信息；
和/或，
存储单元，包括存储音频信息和/或保存采集识别过程中获得的图像和/或文字信息和/或保存外部获得的内容信息；
和/或，
显示单元，显示包括设定的内容信息和/或采集识别过程中获得的图像和文字信息和/或外部获得的内容信息；
和/或，
通信单元，用于和计算机通信。
8.根据权利要求1至6任一项所述的图文采集识别装置，其特征在于，该装置包括互动处理模块，用于获取用户的互动操作控制信息，并根据所述互动操作控制信息执行预定的互动操作，且所述互动操作控制信息包括肢体动作、操作物体的动作、语音信息、屏幕输入或操作按键中的至少一项，该装置拍照识别时工作位置在图书前方所述多个摄像头同在图书前方。
9.根据权利要求7所述的图文采集识别装置，其特征在于，该装置包括互动处理模块，用于获取用户的互动操作控制信息，并根据所述互动操作控制信息执行预定的互动操作，且所述互动操作控制信息包括肢体动作、操作物体的动作、语音信息、屏幕输入或操作按键中的至少一项，该装置拍照识别时工作位置在图书前方所述多个摄像头同在图书前方。
CN201410027696.7A 2013-01-25 2014-01-21 一种图文采集识别装置 Expired - Fee Related CN103763453B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201710012060.9A CN106791263A (zh) 2013-01-25 2014-01-21 一类图文采集识别装置
CN201710012058.1A CN106791262A (zh) 2013-01-25 2014-01-21 图文采集识别装置
CN201410027696.7A CN103763453B (zh) 2013-01-25 2014-01-21 一种图文采集识别装置
CN201910811258.2A CN111429767A (zh) 2013-01-25 2014-01-21 一种图文拍照识别设备
CN201910811259.7A CN111050017A (zh) 2013-01-25 2014-01-21 图文拍照设备
CN201710012059.6A CN106803864A (zh) 2013-01-25 2014-01-21 某种图文采集识别装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
CN2013200406389 2013-01-25
CN2013100281744 2013-01-25
CN201320040638.9 2013-01-25
CN201310028174.4 2013-01-25
CN201320040638 2013-01-25
CN201310028174 2013-01-25
CN201410027696.7A CN103763453B (zh) 2013-01-25 2014-01-21 一种图文采集识别装置

Related Child Applications (5)

Application Number Title Priority Date Filing Date
CN201710012060.9A Division CN106791263A (zh) 2013-01-25 2014-01-21 一类图文采集识别装置
CN201910811259.7A Division CN111050017A (zh) 2013-01-25 2014-01-21 图文拍照设备
CN201710012059.6A Division CN106803864A (zh) 2013-01-25 2014-01-21 某种图文采集识别装置
CN201910811258.2A Division CN111429767A (zh) 2013-01-25 2014-01-21 一种图文拍照识别设备
CN201710012058.1A Division CN106791262A (zh) 2013-01-25 2014-01-21 图文采集识别装置

Publications (2)

Publication Number Publication Date
CN103763453A CN103763453A (zh) 2014-04-30
CN103763453B true CN103763453B (zh) 2019-09-10

Family

ID=50529124

Family Applications (7)

Application Number Title Priority Date Filing Date
CN201710012059.6A Withdrawn CN106803864A (zh) 2013-01-25 2014-01-21 某种图文采集识别装置
CN201710012058.1A Withdrawn CN106791262A (zh) 2013-01-25 2014-01-21 图文采集识别装置
CN201710012060.9A Withdrawn CN106791263A (zh) 2013-01-25 2014-01-21 一类图文采集识别装置
CN201420037927.8U Expired - Fee Related CN203773763U (zh) 2013-01-25 2014-01-21 一种图书阅读器
CN201410028668.7A Expired - Fee Related CN103761893B (zh) 2013-01-25 2014-01-21 一种图书阅读器
CN201420038757.5U Expired - Fee Related CN204046697U (zh) 2013-01-25 2014-01-21 一种图文采集识别装置
CN201410027696.7A Expired - Fee Related CN103763453B (zh) 2013-01-25 2014-01-21 一种图文采集识别装置

Family Applications Before (6)

Application Number Title Priority Date Filing Date
CN201710012059.6A Withdrawn CN106803864A (zh) 2013-01-25 2014-01-21 某种图文采集识别装置
CN201710012058.1A Withdrawn CN106791262A (zh) 2013-01-25 2014-01-21 图文采集识别装置
CN201710012060.9A Withdrawn CN106791263A (zh) 2013-01-25 2014-01-21 一类图文采集识别装置
CN201420037927.8U Expired - Fee Related CN203773763U (zh) 2013-01-25 2014-01-21 一种图书阅读器
CN201410028668.7A Expired - Fee Related CN103761893B (zh) 2013-01-25 2014-01-21 一种图书阅读器
CN201420038757.5U Expired - Fee Related CN204046697U (zh) 2013-01-25 2014-01-21 一种图文采集识别装置

Country Status (1)

Country Link
CN (7) CN106803864A (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803864A (zh) * 2013-01-25 2017-06-06 陈旭 某种图文采集识别装置
CN104199834B (zh) * 2014-08-04 2018-11-27 徐�明 从信息载体表面交互式获取远程资源并输出的方法及***
CN104157171B (zh) * 2014-08-13 2016-11-09 三星电子（中国）研发中心 一种点读***及其方法
CN104217197B (zh) * 2014-08-27 2018-04-13 华南理工大学 一种基于视觉手势的点读方法和装置
US9973671B2 (en) * 2014-08-27 2018-05-15 Symbol Technologies, Llc Method and apparatus for directing data capture devices in a mobile unit with a single operation
CN104202640B (zh) * 2014-08-28 2016-03-30 深圳市国华识别科技开发有限公司 基于图像识别的智能电视交互控制***和方法
CN104793852A (zh) * 2015-04-02 2015-07-22 广东小天才科技有限公司 一种检测点读机上翻页动作的方法及装置
CN104766501B (zh) * 2015-04-09 2017-07-14 广东小天才科技有限公司 一种点读机及其坐标校正方法
CN105046253B (zh) * 2015-06-24 2018-05-11 山西同方知网数字出版技术有限公司 一种基于ocr的论文封皮自动识别***及方法
CN105139699A (zh) * 2015-08-04 2015-12-09 广东小天才科技有限公司 一种自动翻页的方法及装置
CN105447499B (zh) * 2015-10-23 2018-09-04 北京爱乐宝机器人科技有限公司 一种图书互动方法、装置和设备
CN106408560B (zh) * 2016-09-05 2020-01-03 广东小天才科技有限公司 一种快速获取有效图像的方法和装置
CN106515258B (zh) * 2016-11-10 2017-12-19 深圳市科迈爱康科技有限公司 笔记本、智能终端及笔记本内容索引创建方法
CN108242233B (zh) * 2016-12-26 2020-11-03 腾讯科技（深圳）有限公司 音频数据的播放方法和装置
CN107085724A (zh) * 2017-03-31 2017-08-22 上海斐讯数据通信技术有限公司 一种书籍页面信息传输装置和方法
CN107657747A (zh) * 2017-10-17 2018-02-02 梁北洪 一种图书、借读***及其鼓励阅读方法
CN107977694B (zh) * 2017-11-28 2021-07-13 倍仪昇智能科技(苏州)有限公司 一种样品拍照录入及识别的自动分析***
CN108156374B (zh) * 2017-12-25 2020-12-08 努比亚技术有限公司 一种图像处理方法、终端及可读存储介质
CN108257615A (zh) * 2018-01-15 2018-07-06 北京物灵智能科技有限公司 一种用户语言评估方法及***
CN108536287B (zh) * 2018-03-26 2021-03-02 深圳市同维通信技术有限公司 一种根据用户指示读书的方法及装置
CN108762507B (zh) * 2018-05-30 2021-05-04 辽东学院 图像跟踪方法及装置
CN108845786A (zh) * 2018-05-31 2018-11-20 北京智能管家科技有限公司 智能伴读方法、装置、设备和存储介质
CN108875694A (zh) * 2018-07-04 2018-11-23 百度在线网络技术（北京）有限公司 语音输出方法和装置
WO2020034519A1 (zh) * 2018-08-17 2020-02-20 中国图书进出口（集团）大连有限公司 空间化有声阅读***及方法
CN109448453B (zh) * 2018-10-23 2021-10-12 昆明微想智森科技股份有限公司 基于图像识别追踪技术的点读问答方法与***
CN109703232A (zh) * 2018-11-30 2019-05-03 数景智能科技(宁波)有限公司 一种智能书籍便签
CN109726697B (zh) * 2019-01-04 2021-07-20 北京灵优智学科技有限公司 融合av视频通讯与ai实物识别的在线视频***及方法
CN109753554B (zh) * 2019-01-14 2021-03-30 广东小天才科技有限公司 一种基于三维空间定位的搜索方法及家教设备
CN111583734A (zh) * 2019-02-19 2020-08-25 阿里巴巴集团控股有限公司 点读方法及点读笔
CN111695372B (zh) * 2019-03-12 2023-10-27 阿里巴巴集团控股有限公司 点读方法及点读数据处理方法
CN110060524A (zh) * 2019-04-30 2019-07-26 广东小天才科技有限公司 一种机器人辅助阅读的方法及阅读机器人
CN110287881A (zh) * 2019-06-26 2019-09-27 上海交通大学 图书识别***、图书识别方法、电子装置及储存介质
CN110489005B (zh) * 2019-06-28 2022-12-27 浙江工业大学 具有触摸定位功能的二维点显器及其二维触点驱动方法
CN110992738A (zh) * 2019-10-21 2020-04-10 北京十分科技有限公司 读物的自动阅读方法、装置
CN111178348B (zh) * 2019-12-09 2024-03-22 广东小天才科技有限公司 一种跟踪目标对象的方法以及音箱设备
CN110949037A (zh) * 2019-12-16 2020-04-03 中国工程物理研究院激光聚变研究中心 一种档案盒自动识别弹出装置
CN111027341A (zh) * 2019-12-28 2020-04-17 安徽硕威智能科技有限公司 一种基于oid二维暗码识别的交互方法、装置、***及其存储介质
CN111698384B (zh) * 2020-06-22 2022-06-21 上海肇观电子科技有限公司 图像处理设备
CN111701883A (zh) * 2020-07-01 2020-09-25 湖南德荣医疗器械物流配送服务有限公司 一种智能仓储用智能分拣设备以及方法
CN112329563A (zh) * 2020-10-23 2021-02-05 复旦大学 一种基于树莓派的智能阅读辅助方法及***
CN112258911B (zh) * 2020-11-12 2021-11-09 吉林农业科技学院 一种基于延时检测的英语单词记忆装置
CN113496637B (zh) * 2021-06-18 2023-01-03 湖南华壹影业有限公司 影像信息时空扫描用辅助训练***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1952974A (zh) * 2006-11-10 2007-04-25 中山大学 图书馆中自动精确定位图书的方法及其***
CN201035576Y (zh) * 2006-12-20 2008-03-12 北京恒基伟业投资发展有限公司 一种利用数码照相技术实现即时翻译的装置
CN201097383Y (zh) * 2007-01-12 2008-08-06 林良锐 听书机
CN101630193A (zh) * 2008-07-15 2010-01-20 张雪峰 手感设备
CN201611477U (zh) * 2010-03-12 2010-10-20 北京汇冠新技术股份有限公司 一种光学触摸屏
CN201622581U (zh) * 2010-04-08 2010-11-03 陶懿 一种图像照拍与文字识别的处理装置
CN102566603A (zh) * 2012-02-29 2012-07-11 天津天地伟业数码科技有限公司 球型摄像机的定位架构及定位方法
CN102682608A (zh) * 2012-05-16 2012-09-19 江苏尤特斯新技术有限公司 机动车遮挡和污损车牌行为的图像取证方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1202471C (zh) * 2001-09-19 2005-05-18 力新国际科技股份有限公司 图书制作***与方法
US7660458B1 (en) * 2004-12-14 2010-02-09 Google Inc. Three-dimensional model construction using unstructured pattern
CN2786695Y (zh) * 2005-04-06 2006-06-07 极鼎科技股份有限公司 互动式学习装置
CN2807364Y (zh) * 2005-06-24 2006-08-16 赵舜培 电子辅助学习装置
CN200944633Y (zh) * 2006-08-15 2007-09-05 沈洪 多场景摄像装置
CN201063025Y (zh) * 2007-05-11 2008-05-21 葛宇 带多角度摄像头的检测装置
CN201194112Y (zh) * 2008-05-12 2009-02-11 刘建生 摄像式多功能点读机
CN101676970B (zh) * 2008-09-16 2013-03-20 深圳市王菱科技开发有限公司 具多种电子读取数据功能的阅读处理***
CN201294001Y (zh) * 2008-11-26 2009-08-19 佛山市安讯智能科技有限公司 图像文字采集处理识别器
US8332741B2 (en) * 2008-12-08 2012-12-11 Qurio Holdings, Inc. Method and system for on-demand narration of a customized story
CN201315627Y (zh) * 2008-12-30 2009-09-23 蒋清晓 多功能便携式电子助视器
CN201364654Y (zh) * 2009-03-11 2009-12-16 中国长城计算机深圳股份有限公司 一种图书点读***
CN101527828B (zh) * 2009-04-14 2011-08-10 华为终端有限公司 图像采集设备
CN201540655U (zh) * 2009-05-13 2010-08-04 崔伟 发音书
CN102110332B (zh) * 2009-12-24 2013-01-09 上海阿艾依智控***有限公司 基于计算机视觉及射频识别技术的书本登记管理装置
CN101776953A (zh) * 2009-12-29 2010-07-14 胡世曦 一种光学定位方法和与键盘融合的手指鼠标
CN101833663B (zh) * 2010-04-21 2012-10-10 北方工业大学 一种双目电子阅读器
CN202551228U (zh) * 2012-02-16 2012-11-21 北京奥美达科技有限公司 助视器
CN106803864A (zh) * 2013-01-25 2017-06-06 陈旭 某种图文采集识别装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1952974A (zh) * 2006-11-10 2007-04-25 中山大学 图书馆中自动精确定位图书的方法及其***
CN201035576Y (zh) * 2006-12-20 2008-03-12 北京恒基伟业投资发展有限公司 一种利用数码照相技术实现即时翻译的装置
CN201097383Y (zh) * 2007-01-12 2008-08-06 林良锐 听书机
CN101630193A (zh) * 2008-07-15 2010-01-20 张雪峰 手感设备
CN201611477U (zh) * 2010-03-12 2010-10-20 北京汇冠新技术股份有限公司 一种光学触摸屏
CN201622581U (zh) * 2010-04-08 2010-11-03 陶懿 一种图像照拍与文字识别的处理装置
CN102566603A (zh) * 2012-02-29 2012-07-11 天津天地伟业数码科技有限公司 球型摄像机的定位架构及定位方法
CN102682608A (zh) * 2012-05-16 2012-09-19 江苏尤特斯新技术有限公司 机动车遮挡和污损车牌行为的图像取证方法

Also Published As

Publication number Publication date
CN106791262A (zh) 2017-05-31
CN106803864A (zh) 2017-06-06
CN203773763U (zh) 2014-08-13
CN204046697U (zh) 2014-12-24
CN103761893B (zh) 2018-11-16
CN103763453A (zh) 2014-04-30
CN103761893A (zh) 2014-04-30
CN106791263A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN103763453B (zh) 一种图文采集识别装置
CN105224073B (zh) 一种基于语音控制的点读手表及其点读方法
CN111050017A (zh) 图文拍照设备
EP3258423A1 (en) Handwriting recognition method and apparatus
US8538087B2 (en) Aiding device for reading a printed text
CN105590486A (zh) 一种基于机器视觉的座台式点读机及相关***装置与方法
US20130168954A1 (en) Method and system for book reading enhancement
CN109637286A (zh) 一种基于图像识别的口语训练方法及家教设备
CN108630036A (zh) 一类电子词典
CN108805108A (zh) 一种板书笔迹记录方法
JP2013200735A (ja) 画像生成装置、画像生成方法及びプログラム
Stearns et al. The design and preliminary evaluation of a finger-mounted camera and feedback system to enable reading of printed text for the blind
CN110971924B (zh) 一种直播过程中美颜的方法、设备、存储介质及***
Saleous et al. Read2Me: A cloud-based reading aid for the visually impaired
CN108427948A (zh) 一种辅助学习方法及***
CN110491384B (zh) 一种语音数据处理方法及装置
WO2023272608A1 (zh) 一种绘本辅助阅读方法和电子设备
CN110135228B (zh) 一种听写熟练度评估方法及可穿戴设备
CN109948600A (zh) 一种智能文字识别笔及文字识别***
CN114281236B (zh) 文本处理方法、装置、设备、介质和程序产品
CN201340513Y (zh) 智慧学习型相机
CN206541308U (zh) 语音识字装置
CN113469035A (zh) 一种绘本辅助阅读方法和电子设备
CN110531831A (zh) 一种电子日记本
CN111639635B (zh) 一种拍摄图片的处理方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190910

Termination date: 20210121