CN1543185A - 具有定位传感器的扫描装置及其获取图像的处理方法 - Google Patents

具有定位传感器的扫描装置及其获取图像的处理方法 Download PDF

Info

Publication number
CN1543185A
CN1543185A CNA2003101120638A CN200310112063A CN1543185A CN 1543185 A CN1543185 A CN 1543185A CN A2003101120638 A CNA2003101120638 A CN A2003101120638A CN 200310112063 A CN200310112063 A CN 200310112063A CN 1543185 A CN1543185 A CN 1543185A
Authority
CN
China
Prior art keywords
coordinate
image
data
scanning
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2003101120638A
Other languages
English (en)
Other versions
CN100527773C (zh
Inventor
ΰ
张伟
张斧
常治国
吕迎丰
顾成武
丁晓云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Xigan Sci. & Tech. Co., Ltd.
Original Assignee
SHENZHEN XIGAN SCIENCE AND TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN XIGAN SCIENCE AND TECHNOLOGY Co Ltd filed Critical SHENZHEN XIGAN SCIENCE AND TECHNOLOGY Co Ltd
Priority to CNB2003101120638A priority Critical patent/CN100527773C/zh
Priority to US10/980,518 priority patent/US7386189B2/en
Publication of CN1543185A publication Critical patent/CN1543185A/zh
Application granted granted Critical
Publication of CN100527773C publication Critical patent/CN100527773C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/024—Details of scanning heads ; Means for illuminating the original
    • H04N1/028—Details of scanning heads ; Means for illuminating the original for picture information pick-up
    • H04N1/03—Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array
    • H04N1/031—Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array the photodetectors having a one-to-one and optically positive correspondence with the scanned picture elements, e.g. linear contact sensors
    • H04N1/0318—Integral pick-up heads, i.e. self-contained heads whose basic elements are a light-source, a lens array and a photodetector array which are supported by a single-piece frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/047—Detection, control or error compensation of scanning velocity or position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/10—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
    • H04N1/107—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with manual scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0466—Selectively scanning in one or the other of two opposite directions, e.g. in the forward or the reverse direction
    • H04N2201/0468—Scanning in both of the two directions, e.g. during the forward and return movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/047—Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701—Detection of scanning velocity or position
    • H04N2201/0471—Detection of scanning velocity or position using dedicated detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/047—Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701—Detection of scanning velocity or position
    • H04N2201/0471—Detection of scanning velocity or position using dedicated detectors
    • H04N2201/04713—Details of the detector arrangement, e.g. non-standard position, optical details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/047—Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701—Detection of scanning velocity or position
    • H04N2201/04743—Detection of scanning velocity or position by detecting the image directly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/047—Detection, control or error compensation of scanning velocity or position
    • H04N2201/04753—Control or error compensation of scanning position or velocity
    • H04N2201/04758—Control or error compensation of scanning position or velocity by controlling the position of the scanned image area
    • H04N2201/04787—Control or error compensation of scanning position or velocity by controlling the position of the scanned image area by changing or controlling the addresses or values of pixels, e.g. in an array, in a memory, by interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Image Input (AREA)

Abstract

本发明涉及方便使用的具有定位传感器的扫描装置及其获取图像的处理方法，包括壳体、线图像传感器CIS，还包括通过时序信号控制所述线图像传感器CIS工作的***处理器P3、测算出实时位移的坐标增量8001和8002的光电坐标传感器及位移处理器P1和P2以及A/D电路、数据缓存；所述***处理器P3利用所述数据缓存打包带定位信息的原始扫描数据8004传给上位机。上位机中的图像处理模块将原始扫描数据8004解包；并换算出所述线图像传感器CIS端点像素的坐标，在目标图像组装区中组装图像行；利用二次扫描带的重叠区域的部分像素数据的统计特性，计算出二次扫描带的位置坐标的相对偏移量并矫正。

Description

具有定位传感器的扫描装置 及其获取图像的处理方法
技术领域
本发明涉及光学扫描技术，具体地说，涉及一种具有定位传感器的扫描装置及其获取图像的处理方法。
背景技术
传统的扫描仪是平板式扫描仪，被扫描图像被固定放置在扫描仪的扫描窗口，图像传感器在扫描窗口后面移动获取被扫描图像的数据，这种结构的体积大、质量重。后来出现了馈纸式扫描仪，被扫描图像所在的介质被马达带动经过长条型的扫描窗口，从而使图像传感器获取被扫描图像的数据，这种结构体积大大减小，重量大大减轻，但是不方便扫描整本书中的图像。于是出现了体积更小的手持式扫描刷和扫描笔，使用者手持这种扫描仪在被扫描介质上经过，被扫描图像即可被识读，但是扫描笔的扫描窗口太小只能用于扫描单词等面积较小的图像，而扫描刷的扫描窗口虽然大一些，但是为了保证扫描获得的数据能够被成功还原要求使用者的扫描轨迹比较直，为此一般扫描刷都具有扫描导向滚轮，增加了手持式扫描刷的重量，而且其扫描面积还是受扫描窗口面积的限制。
发明内容
本发明的目的在于提供一种扫描面积不受扫描窗口面积的限制，能够在被扫描图像上作“之”字形移动的具有定位传感器的扫描装置及其获取图像的处理方法。
一种具有定位传感器的扫描装置，可与上位机连接，包括壳体、线图像传感器CIS，还包括通过时序信号控制所述线图像传感器CIS工作的***处理器P3、用于测算出所述扫描装置实时位移的第一坐标增量8001的第一光电坐标传感器及第一位移处理器P1、和用于测算出所述扫描装置实时位移的第二坐标增量8002的第二光电坐标传感器及第二位移处理器P2、以及连接在所述CIS信号输出端的A/D电路、用于存放第一、第二坐标增量以及对应的A/D电路输出的数字图象数据的数据缓存器；所述***处理器P3将所述数据缓存器中的所述第一和第二位移坐标增量(8001、8002)和所述线图像传感器CIS通过所述A/D电路输出的数字图像扫描数据8003打包成带定位信息的原始扫描数据8004，传送给上位机。
一种具有定位传感器的扫描装置获取图像的处理方法，包括如下步骤，A、***处理器P3将光电坐标传感器及位移处理器P1测算出的实时位移坐标增量8001、光电坐标传感器及位移处理器P2测算出的实时位移坐标增量8002和线图像传感器CIS获取并经过A/D电路转换的数字图像扫描数据8003打包成带定位信息的原始扫描数据8004，并传送给上位机；B、所述上位机中的图像处理模块将所述原始扫描数据8004解包；C、所述图像处理模块换算出所述线图像传感器CIS端点像素的坐标，并利用所述端点像素的坐标信息在目标图像组装区中组装图像行；D、所述图像处理模块利用二次扫描带的重叠区域的部分像素数据的统计特性，计算出二次扫描带的位置坐标的相对偏移量，矫正坐标信息的累计误差后再组装图像行。
本发明公开的具有定位传感器的扫描装置由于采用了两个光电坐标传感器获取扫描过程中的位置坐标增量，并利用该坐标增量对获取图像的数据进行图像处理，使得可扫描面积不受扫描窗口面积的限制；而且可以兼做鼠标，结构简单紧凑，成本低，使用方便。本发明使用坐标增量触发行扫描数据的采集，固定爆光时间，能够适应使用者将扫描装置在介质上移动速度的变化，减少了数据传输量，并获得均匀一致图像亮度。当本发明的扫描装置的结构被设计成长条形时，可以更好地适应表面不平整地被扫描介质，例如，当扫描一本翻开的书时，临近书脊处的图像也能正确采集。在本发明的图像处理方法中，可以在接收数据的同时进行图像组装，可以提高计算的并行度，有效利用分时操作***的优势，减小后处理的时间；还可以在扫描结束后进行组装，在组装图像前可以计算出目标图像的大小与整体倾斜度，从而可以一次性分配足够的资源用于组装图像，降低了软件的复杂度。
附图说明
本发明包括如下附图：
图1是本发明的电路结构框图；
图2是***处理器P3对线图像传感器CIS的控制信号示意图；
图3是线图像传感器CIS工作时序图；
图4是坐标传感器和线图像传感器CIS的坐标关系示意图；
图5是坐标传感器和线图像传感器CIS成直线设置的坐标关系示意图；
图6是坐标传感器和线图像传感器CIS成矩形设置的坐标关系示意图；
图7是反映实时移动坐标增量的含义示意图；
图8是本发明在扫描的同时进行图像组装的流程图；
图9是本发明在扫描结束后进行图像组装的流程图；
图10是本发明组装原始扫描数据8004的示意图；
图11是扫描带重叠示意图；
图12是行主扫描方式和列主扫描方式示意图；
图13是本发明需要旋转的图像示意图；
图14是本发明扫描装置的一种结构示意图；
图15、16、17、18、19、20分别是本发明扫描装置的一种结构示意图；
图21是本发明扫描装置的线图像传感器CIS的结构示意图；
图22是本发明扫描装置的的坐标位置传感器的光路图。
具体实施方式
本发明的电路结构框图如图1所示，包括***处理器P3、光电坐标传感器及位移处理器P1、光电坐标传感器及位移处理器P2、和线图像传感器CIS、A/D电路、鼠标功能按键、供电电路、数据缓存、以及数据传输接口电路；并通过数据接口电路连接上位机。其中光电传感器及位移处理器P1和光电传感器及位移处理器P2测算出实时位移的坐标增量8001、8002传送给***处理器P3；***处理器P3通过来自鼠标功能按键的开关信号和时序信号控制线图像传感器CIS获得模拟图像扫描数据并传送给A/D电路，A/D电路输出数字图像扫描数据8003给***处理器P3；***处理器P3利用数据缓存将实时位移坐标增量8001、8002和数字图像扫描数据8003打包成带定位信息的原始扫描数据8004，并通过数据传输接口电路传送给上位机；供电电路通过数据传输接口电路将上位机提供的电源供给电路的各部分。
从图1的电路结构可以看出，本发明的特点在于扫描装置与图像校正分析处理分离，设备端的处理器P3将P1、P2输出的位移向量和对CIS采样的一行图像数据打包通过通信接口传送至上位机，该打包原始扫描数据8004的图像校正复原等处理在上位机完成。该上位机可以是PC机，也可以是具有通用数据传输接口的PDA或手机。扫描设备不需要独立的供电电源，电源由上位机提供。
P3处理器还处理P1、P2的位移向量信息，根据该位移信息控制启动接触式图像传感器CIS的行扫描；即每当本发明的扫描装置被移动时，光电传感器及位移处理器P1、P2就输出实时位移的坐标增量8001、8002，线图像传感器CIS获得行启动信号SP立即采集一行图像数据。
在非扫描工作状态，本发明的扫描装置也可以作为鼠标使用。
图2是***处理器P3对线图像传感器CIS的控制信号示意图，当本发明的扫描装置在扫描状态下，***处理器P3由光电坐标传感器及位移处理器P1和P2触发行扫描启动信号SP，并和图像采样时钟信号Vclk、点亮光源控制信号Lclk一起传送给线图像传感器CIS控制其数据采集。CIS中的光源在采集每行模拟图像扫描数据的点亮时间固定为最小曝光时间，该光源的亮度相对透过设备照射到被扫描介质表面的自然光线足够强，则不会因移动速度不同行启动信号频率不固定导致不同行的曝光量不同。与固定频率采样行图像相比，使用该方式会大大减少传输数据量。
图3是线图像传感器CIS工作时序图，由于行扫描启动信号SP被随机触发，所以行采样时间不同，但是曝光时间固定，这样可以保证每行相同的基准亮度。
在与PDA或手机相连接的应用场合，可以不使用分离方式以降低成本和减少设备体积。在这种扫描装置和PDA或手机集成一体的方式中，可以使用PDA或手机的主处理器来代替原设备内的处理器P3，采集P1、P2的位移信息和对CIS的控制。
一行带定位信息的原始扫描数据8004中包括实时位移的坐标增量8001、8002和一行扫描像素值，扫描像素的个数由线图像传感器CIS的尺寸和分辨率决定，而扫描像素值由被扫描图像对CIS光源的反射能力决定。由于每个扫描像素的位置是相对固定的，在扫描过程中CIS被贴着被扫描图像移动，只要根据实时位移的坐标增量8001、8002计算出端点像素的坐标即可定位每一行原始扫描数据8004。
如图4所示是坐标传感器和线图像传感器CIS的坐标关系示意图，设两个坐标传感器的中心点为A和B，CIS的两个端点为C和D，上述四点之间的距离相对固定，也就是说A、B、C、D四点之间任意两点之间的距离固定，因此四边形内部的夹角也是固定的。当已知A点与B点的坐标增量8001、8002后，通过简单的几何运算就可以求出C点与D点的坐标。如图4所示的实例，设A点坐标为(x0，y0)，B点坐标为(x1，y1)，BE是过B点平行于X轴的直线，过C、D两点引平行于Y轴的直线分别相交直线BEG、F两点；计算步骤如下：
t1＝atan((x0-x1)/(y0-y1))；(t1为∠ABE的角度)
t2＝t1-α；(α为∠ABD，是常量；t2为∠DBE)
|BF|＝|BD|*cos(t2)
|DF|＝|BD|*sin(t2)
因此D点坐标为(x1+|BF|，y1+|DF|)
t3＝β-t2；(β为∠DBC，是常量，t3为∠EBC)
|BG|＝|BC|*cos(t3)
|CG|＝|BC|*sin(t3)
因此C点坐标为(x1+|BG|，y1-|CG|)
如果ABCD四点处在一条直线上，可以减小运算量，提高计算精度如图5所示：C点坐标为
(x0+(x1-x0)*(|AC|/|AB|)，y0+(y1-y0)*(|AC|/|AB|))
D点坐标为
(x1+(x0-x1)*(|BD|/|AB|)，y1+(y0-y1)*(|BD|/|AB|))
如果ABCD组成一个矩形，可以减小设备的长度，如图6所示。通过AB两点坐标求CD两点坐标的方法如下：
α＝atan((x1-x0)/(y1-y0))
|AE|＝|AD|*sin(α)
|DE|＝|AD|*cos(α)
C点坐标为[(x0+|AE|)，(y0+|DE|)]
D点坐标为[(x1+|AE|)，(y1+|DE|)]
当坐标传感器与被扫描介质发生相对位移时光电坐标传感器及位移处理器P1、P2发送出一系列的具有二元信号量(dx，dy)的形式的实时位移的坐标增量8001、8002，这些实时位移的坐标增量8001、8002指示坐标的变化，上述相对位移的速度越快信号的频率越高，每一个非零的所述位移坐标增量8001和8002都触发所述数字图像扫描数据8003的生成。由于坐标增量只取整数，所以从一个坐标变化到另一个坐标时，二元信号量(dx，dy)存在如图7所示的8种，设当前坐标为方格0(0，0)，二元信号量(dx，dy)与坐标变化的关系如下表所示：
    信号量 新坐标所在位置
    dx     dy
    0     1     7
    0     -1     3
    1     0     1
    1     1     8
    1     -1     2
    -1     0     5
    -1     1     6
    -1     -1     4
启动扫描后，两个坐标传感器中只要有一个有信号量输出就会触发CIS扫描一行图像，同时***处理器P3分别累加两个传感器输出的坐标增量，从而记录下坐标传感器相对于介质的移动轨迹，也就是间接的记录下了图像行端点像素的坐标。
带定位信息的原始扫描数据8004经过组装才能恢复被扫描图像，当扫描开始后，本发明的扫描设备发送一个信号给上位机，通知上位机的驱动软件关闭鼠标功能开始接收带定位信息的原始扫描数据8004，直到驱动软件收到来自设备的停止扫描信号才停止接收图像数据并开启鼠标功能。
由于扫描设备在被扫描介质上移动扫描时具有360度的自由，如果简单的将原始扫描数据8004按接收顺序组装成一幅图像必定存在扭曲、压缩、拉申等各种变形，为了校正这些变形必须利用每行图像的端点坐标信息重新组装图像行。图像的组装有两种工作方式：第一种在接收数据的同时进行组装，第二种方式是在扫描结束后进行组装。
第一种方式的优势是可以提高计算的并行度，有效利用分时操作***的优势，减小后处理的时间，不足之处是由于在扫描的过程中最终图像的大小未知，所以需要不停的通过动态分配资源的方式存储正在组装的图像，加大了软件的复杂度；第二种方式的优势是在组装图像前可以计算出目标图像的大小与整体倾斜度，从而可以一次性分配足够的资源用于组装图像，降低了软件的复杂度，缺点是未能充分利用分时***的资源，加大了扫描后处理的时间。
流程图8是扫描的同时进行组装被扫描图像流程，首先分配一个内存块作为目标图像缓冲区用于缓存组装后的图像，被扫描图像的每一个像素都对应目标图像缓冲区的一个存储单位，当被扫描图像的每一个像素都分别存入目标图像缓冲区的对应区域，图像组装即完成，如图10所示；其次从存储带定位信息的原始扫描数据8004的图像行缓冲区取一行数据；然后计算、提取该扫描行的端点坐标值；如果端点坐标值大于超出目标图像缓冲区边界，则扩大目标图像缓冲区；再按端点坐标确定的填充路径将图像行的像素填充到目标图像缓冲区中；上述步骤反复进行至图像行缓冲区为空。
本发明的扫描装置在扫描结束后的组装流程图如图9所示，首先计算并提取出所有带定位信息的原始扫描数据8004的端点坐标值，计算被扫描目标图形的宽度与高度；根据目标图像的宽度、高度分配缓存目标图像的内存块；从图像行缓冲区取一行带定位信息的原始扫描数据8004；按端点坐标确定的填充路径将图像行的像素填充到目标图像缓冲区中；上述步骤反复进行至图像行缓冲区为空。
图10是将原始扫描数据8004中的像素值进行组装的示意图。先提取原始扫描数据8004的端点坐标值300，再将象素值310填充到目标缓冲区。
为了保证被扫描图像中间没有空洞，并保证扫描数据中的定位信息能够成功识别，在扫描时扫描装置在被扫描图像上作“之”字形运动，如图11所示，扫描装置在起始方向450运动，产生第一扫描带410，在折返方向460产生第二扫描带420，相邻的这两个扫描带410和420之间必须有足够的重叠区域400，。但是由于坐标传感器输出的信号量是整数，存在误差，而且扫描路径越长累积误差越大，导致扫描带重叠区域400在两个扫描带中的坐标信息不一致，如果重叠区域400的图像来自第一个扫描带410则组装后的图像重叠区域的下边界将会出现明显的错位现象，同样如果重叠区400域的图像来自第二个扫描带420则组装后的图像重叠区域的上边界有明显的错位现象。为了解决这个问题，必须对图像块相对位置进行纠正。
先分别提取第一扫描带410与第二扫描带420的重叠区域400的部分像素数据，然后计算第二扫描带420重叠区域象素相对于第一扫描带410重叠区域像素的坐标偏移量，最后将整个第二扫描带420的图像偏移前面计算出的偏移量，重叠区域400的组装像素来自第二扫描带420。两个像素块的相对偏移量计算方法：
1、根据经验值设定最大水平偏移与垂直偏移像素个数；
2、将第一像素块设为参考像素块，第二像素块设为需要偏移的像素块；
3、计算每种偏移值下(包括0偏移)两个像素块之间对应坐标像素值的均方差；
4、均方差最小值所对应的偏移值就是所求结果。选择所述二次扫描带的重叠区域中后完成扫描的像素数据用于组装图像、并将在此之前完成扫描的像素数据全部移动最优偏移值；或者选择所述二次扫描带的重叠区域中先完成扫描的像素数据用于组装图像、并将所述后完成扫描的扫描带中的像素数据全部移动最优偏移值。
为了减少第3步的运算量可以将均方差运算替换为差值平均值。
扫描开始后第一行图像的端点坐标为固定值，使用者可以选择行主扫描方式510和列主扫描方式520，如图12所示。在行主扫描方式510时，初始化为[(0，0)，(0，N)]，扫描装置按照行扫描方向511运动；选择列主扫描方式520时初始化为[(0，0)，(N，0)]，扫描装置按照行扫描方向521运动。
由于除了第一行图像外，每个图像行端点坐标都是在前一图像行坐标的基础上叠加光电坐标传感器及位移处理器P1和光电坐标传感器及位移处理器P2测算出实时位移的坐标增量8001、8002，因此如果设备的初始位置没有摆放垂直(水平)，无论在后续扫描过程中如何保证垂直(水平)，组装后的图像都是倾斜的，如图13所示。因此需要进行图像旋转。
为了解决这个问题，在组装图像前根据每行图像的端点坐标计算出每行图像的倾斜角度αi，由于在扫描的过程中绝大部分扫描线的方向与操作者的扫描移动目标方向一致或者相近，因此可以估算出组装后图像的整体倾斜角度为α＝∑αi/N，N为扫描线总数。行主扫描方式下，αi定义为atan((X1i-X0i)/(Y1i-Y0i))；列主扫描方式下，αi定义为atan((Y1i-Y0i)/(X1i-X0i))。其中(X0i，Y0i)和(X1i，Y1i)分别是扫描图像行端点坐标。图像组装完后软件可以将整幅图像旋转-α角度，从而达到校正图像整体倾斜的问题。
可以设置本发明的扫描设备的缺省工作状态为鼠标状态，扫描键按下后设备切换到图像扫描工作状态，同时发送信号通知上位机的驱动软件开始接收扫描数据，当再次按下扫描键后设备发送信号通知上位机扫描结束，同时设备切换回鼠标工作状态。
两个坐标传感器中的任何一个输出的信号量都可以用来产生鼠标信号，另一个坐标传感器可以关闭达到省电目的。往往两个传感器中的任何一个都不在设备的中心(传统鼠标的传感器都是位于设备的中心)，所以使用时与传统鼠标有不同的表现，有可能使用者感觉不***均值。具体的工作方式可以由硬件或者软件开关来控制。当设备处于鼠标工作模式时，***处理器P3接收坐标传感器信号量后合成并且传送鼠标信号；设备处于图像扫描工作模式时候，***处理器P3用于记录两个坐标传感器的移动轨迹、采样图像、打包数据、传送数据等功能。
上位机的图像处理模块具有的软件功能包括：
1、实现鼠标的驱动功能；
2、接收来自设备的带定位信息的原始扫描数据8004；
3、实现像素亮度值的校正，包括黑电平校正、白电平校正、曝光时间校正；
4、实现图像的组装、拼接以及旋转；
5、实现扫描仪数据传输协议，例如TWAIN协议；
6、实现自动启动应用软件以打开图像的功能；
7、提供交互式后处理功能的图形用户界面，包括旋转、剪裁、补缺等功能。
如图14是本发明具有两个光电位置传感器及坐标信号处理器的光电扫描装置的一种结构图，其包括有上壳11、下壳12、CIS 17、电路板和连接上位机的连接线；在上壳11上有窗口113用于安装扫描功能和鼠标功能相互切换的切换开关在上壳的外露按键13、鼠标操作键112和用于实现鼠标功能的按键开关14；在电路板上包括扫描功能和鼠标功能相互切换的切换开关15、信号控制和处理电路16、两个光电位置传感器及坐标信号处理器18、***处理器19；在下壳12上具有两个光电位置传感器及坐标信号处理器18的窗口121和CIS17的窗口122。两个光电位置传感器及坐标信号处理器18和CIS 17被固定安装在上壳11和下壳12之间，并分别透过下壳12上的窗口扫描；电路板也固定在上、下壳11和12之间。本发明的另一种结构的实施例如图15所示，在该实施例中光电坐标传感器及位移处理器P1、P2和线图像传感器CIS在一条直线上并且在结构上是组装成一体的模组；包括有上壳21、下壳22、包含有两个光电位置传感器及坐标信号处理器201的线图像传感器CIS 20和电路板；上壳21上有扫描功能和鼠标功能相互切换的切换开关25在外壳上的外露按键23；电路板上有实现鼠标功能的两个按键和开关24、扫描功能和鼠标功能相互切换的切换开关25、信号控制、处理电路26和***处理器29等。
在本发明的扫描装置中，两个光电位置传感器及坐标信号处理器18可以放置在CIS 17的两端，与CIS 17的扫描线成一直线，也可以以CIS扫描线的中心为中心任意一对称位置如图14中的18和181，当两个光电位置传感器及坐标信号处理器安装如181的位置时，下壳12对应有窗口1211。
两个光电位置传感器及坐标信号处理器可以与CIS集成在一个模组里，也可以与CIS分开放置如图15的20和图14的18、181。
本发明的扫描装置使用的光电位置传感器及坐标信号处理器集成在同一个芯片里。
本发明的光电扫描装置也可以不兼作鼠标用，如图16是本发明的又一个实施例，其两个光电位置传感器及坐标信号处理器34放置在CIS 33的两端且与CIS的扫描线成一直线，和***处理器P3一起集成在一个模组里，扫描开关32位于扫描装置31的上表面。
本发明的光电扫描装置单独只作为扫描用时可以电连接在电脑上或PDA或手机上，扫描后的图象信息上传到电脑或PDA或手机上去处理，如图17、18所示。本发明的光电扫描装置3通过外部电缆连接手机41，或者连接掌上电脑PDA。
本发明的光电扫描装置单独只作为扫描用时还可以PDA或手机集成一体，作为一个模块嵌入在PDA或手机上，使PDA和手机成为具有扫描功能的PDA和手机，如图19和20所示，在具有扫描功能的手机61的底部侧面具有CIS窗口621和两个光电位置传感器及坐标信号处理器的窗口622；在具有扫描功能的掌上电脑PDA71的底部侧面具有CIS窗口721和两个光电位置传感器及坐标信号处理器的窗口722。
光电扫描装置所使用的线图像传感器CIS的结构如图21，其组成包括玻璃81、LED光源821、导光棒822、支架83、自聚焦透镜84、电路板85、线阵光电传感器86；上述组成部件全部与支架83固定连接成一体。LED光源821发出的光经过导光棒822处理成均匀的光照亮被扫描图像，来自于被扫描图像的反射光经过自聚焦透镜84的聚焦照射在位于电路板85上的线阵光电传感器86上；如图21所示的结构紧凑、合理，可以使用在本发明的扫描装置的各种实施例中。
两个光电位置传感器及坐标信号处理器18是采用现有的光电鼠标的光电位置传感器，其光路见图22。

Claims (19)

1、一种具有定位传感器的扫描装置，可与上位机连接，包括壳体、线图像传感器CIS，其特征在于，还包括通过时序信号控制所述线图像传感器CIS工作的***处理器P3、用于测算出所述扫描装置实时位移的第一坐标增量(8001)的第一光电坐标传感器及第一位移处理器P1、和用于测算出所述扫描装置实时位移的第二坐标增量(8002)的第二光电坐标传感器及第二位移处理器P2、以及连接在所述CIS信号输出端的A/D电路、用于存放第一、第二坐标增量以及对应的A/D电路输出的数字图象数据的数据缓存器；所述***处理器P3将所述数据缓存器中的所述第一和第二位移坐标增量(8001、8002)和所述线图像传感器CIS通过所述A/D电路输出的数字图像扫描数据(8003)打包成带定位信息的原始扫描数据(8004)，传送给上位机。
2、根据权利要求1所述的具有定位传感器的扫描装置，其特征在于，检测到所述第一和第二实时位移坐标增量(8001)和(8002)任何一个为非零时，触发所述***处理器P3发出行扫描启动信号SP给所述线图像传感器CIS，并和图像采样时钟信号Vclk、点亮光源控制信号Lclk一起控制所述线图像传感器CIS的数据采集。
3、根据权利要求2所述的具有定位传感器的扫描装置，其特征在于，所述线图像传感器CIS按行采集的每行模拟图像扫描数据的曝光时间是固定的。
4、根据权利要求1所述的具有定位传感器的扫描装置，其特征在于，电源由上位机提供，所述上位机是电脑、手机或者掌上电脑PDA。
5、根据权利要求1所述的具有定位传感器的扫描装置，其特征在于，所述第一光电坐标传感器及第一位移处理器P1与所述第二光电坐标传感器及第二位移处理器P2分别是独立芯片。
6、根据权利要求3所述的具有定位传感器的扫描装置，其特征在于，所述线图像传感器CIS包括位于扫描窗口的玻璃(81)、LED光源(821)、导光棒(822)、支架(83)、自聚焦透镜(84)、电路板(85)和线阵光电传感器(86)；上述组成部件全部与所述支架(83)固定连接成一体；所述LED光源(821)发出的光通过所述导光棒(822)透过所述玻璃(81)均匀照亮被扫描图像，来自于所述被扫描图像的反射光透过所述玻璃(81)通过自聚焦透镜(84)聚焦在位于所述电路板(85)上的所述线阵光电传感器(86)上；所述线阵光电传感器(86)将光信号转换为模拟图像扫描数据通过所述电路板(85)传送给所述A/D电路。
7、根据权利要求6所述的具有定位传感器的扫描装置，其特征在于，所述线图像传感器CIS的支架(83)的两端分别固定连接所述第一和第二光电坐标传感器及第一和第二位移处理器P1和P2芯片；且集成在一个模组内与扫描线成一直线。
8、根据权利要求6所述的具有定位传感器的扫描装置，其特征在于，所述线图像传感器CIS的支架(83)的两侧分别固定连接所述第一和第二光电坐标传感器及第一和第二位移处理器P1和P2芯片；且集成在一个模组内与扫描线的端点构成四边形。
9、根据权利要求6所述的具有定位传感器的扫描装置，其特征在于，所述壳体包括上壳(11)、下壳(12)；还包括固定安装在上壳(11)和下壳(12)之间的***电路板；在所述上壳(11)上有窗口(113)用于安装扫描功能和鼠标功能相互切换的切换开关(15)的外露按键(13)、和用于实现鼠标功能的按键开关(14)；在下壳(12)上具有所述第一和第二光电位置传感器及第一和第二坐标信号处理器P1和P2的窗口(121)和所述线图像传感器CIS(17)的窗口(122)，所述窗口(121)的中心和所述窗口(122)的扫描线的端点成一直线或者构成四边形。
10、根据权利要求7或8所述的具有定位传感器的扫描装置，其特征在于，所述***处理器P3、A/D电路、数据缓存、以及连接上位机的数据传输接口电路位于所述电路板(85)上。
11、根据权利要求7或8所述的具有定位传感器的扫描装置，其特征在于，该扫描装置嵌入所述上位机的外壳，且所述***处理器P3是所述上位机的主CPU。
12、一种具有定位传感器的扫描装置获取图像的处理方法，其特征在于：包括如下步骤，A、***处理器P3将第一光电坐标传感器及第一位移处理器P1测算出的第一实时位移坐标增量(8001)、第二光电坐标传感器及第二位移处理器P2测算出的第二实时位移坐标增量(8002)和线图像传感器CIS获取并经过A/D电路转换的数字图像扫描数据(8003)打包成带定位信息的原始扫描数据(8004)，并传送给上位机；B、所述上位机中的图像处理模块将所述原始扫描数据(8004)解包；C、所述图像处理模块换算出所述线图像传感器CIS端点像素的坐标，并利用所述端点像素的坐标信息在目标图像组装区中组装图像行；D、所述图像处理模块利用二次扫描带的重叠区域的部分像素数据的统计特性，计算出二次扫描带的位置坐标的相对偏移量并矫正后再组装图像行。
13、根据权利要求13所述的具有定位传感器的扫描装置获取图像的处理方法，其特征在于，在所述步骤A包括以下步骤，检测第一位移坐标增量(8001)和第二位移坐标增量(8002)是否至少有一个非零，如至少一个为非零，则触发生成所述数字图像扫描数据(8003)。
14、根据权利要求13所述的具有定位传感器的扫描装置获取图像的处理方法，其特征在于，所述步骤C包括如下步骤：C11、分配一个内存块作为目标图像缓冲区用于缓存组装后的图像；C12、从图像行缓冲区取一行带定位信息的原始扫描数据(8004)；C13、计算、提取该扫描行的端点坐标值；C14、如果端点坐标值超出目标图像缓冲区边界，则扩大目标图像缓冲区；C15、按端点坐标确定的填充路径将图像行的像素填充到目标图像缓冲区中。
15、根据权利要求13所述的具有定位传感器的扫描装置获取图像的处理方法，其特征在于，所述步骤C包括如下步骤：C21、计算并提取出所有带定位信息的原始扫描数据(8004)的端点坐标值，计算被扫描目标图形的宽度与高度；C22、根据目标图像的宽度、高度分配缓存目标图像的内存块；C23、按端点坐标确定的填充路径分别将图像行的像素填充到目标图像缓冲区中。
16、根据权利要求15或16所述的具有定位传感器的扫描装置获取图像的处理方法，其特征在于，在步骤C中还利用所述端点像素的坐标信息计算出每一行原始扫描数据(8004)的坐标倾斜角度，并在步骤D完成图像组装后，再根据全部原始扫描数据(8004)的平均坐标倾斜角度旋转组装后的图像。
17、根据权利要求15或者16所述的具有定位传感器的扫描装置获取图像的处理方法，其特征在于，所述步骤D包括如下步骤：D11、设定可能水平偏移与垂直偏移的像素值；D12、提取所述二次扫描带的重叠区域的部分像素数据，并计算每一个可能偏移值下两个像素块之间对应坐标像素值的均方差；D13、选取均方差最小值所对应的偏移值作为最优偏移值；D14、选择所述二次扫描带的重叠区域中后完成扫描的像素数据用于组装图像、并将在此之前完成扫描的像素数据全部移动最优偏移值；或者选择所述二次扫描带的重叠区域中先完成扫描的像素数据用于组装图像、并将所述后完成扫描的扫描带中的像素数据全部移动最优偏移值。
18、根据权利要求17所述的具有定位传感器的扫描装置获取图像的处理方法，其特征在于，所述步骤D12中的均方差运算可替换为差值平均值运算。
19、根据权利要求16所述的具有定位传感器的扫描装置获取图像的处理方法，其特征在于，所述每一行原始扫描数据8004的坐标倾斜角度在行主扫描方式下为αi＝atan((X1i-X0i)/(Y1i-Y0i))；在列主扫描方式下为αi＝atan((Y1i-Y0i)/(X1i-X0i))；其中(X0i，Y0i)和(X1i，Y1i)分别是扫描图像行端点坐标；将组装后整幅图像旋转-α角度，α＝∑αi/N，N为扫描线总数。
CNB2003101120638A 2003-11-04 2003-11-04 具有定位传感器的扫描装置及其获取图像的处理方法 Expired - Fee Related CN100527773C (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CNB2003101120638A CN100527773C (zh) 2003-11-04 2003-11-04 具有定位传感器的扫描装置及其获取图像的处理方法
US10/980,518 US7386189B2 (en) 2003-11-04 2004-11-03 Scanning device with a positioning sensor and a corresponding processing method to obtain images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2003101120638A CN100527773C (zh) 2003-11-04 2003-11-04 具有定位传感器的扫描装置及其获取图像的处理方法

Publications (2)

Publication Number Publication Date
CN1543185A true CN1543185A (zh) 2004-11-03
CN100527773C CN100527773C (zh) 2009-08-12

Family

ID=34336367

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003101120638A Expired - Fee Related CN100527773C (zh) 2003-11-04 2003-11-04 具有定位传感器的扫描装置及其获取图像的处理方法

Country Status (2)

Country Link
US (1) US7386189B2 (zh)
CN (1) CN100527773C (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158625A (zh) * 2011-03-02 2011-08-17 朱杰 便携式扫描装置和处理方法
CN102221472A (zh) * 2010-04-15 2011-10-19 西门子公司 一种机器性能测试方法及装置
CN101341496B (zh) * 2005-12-21 2012-05-30 皇家飞利浦电子股份有限公司 使用扫描型成像器的生物特征信息检测
CN102843490A (zh) * 2011-06-22 2012-12-26 Lg电子株式会社 扫描技术
US8451510B2 (en) 2008-06-30 2013-05-28 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method thereof
CN103458158A (zh) * 2013-09-09 2013-12-18 电子科技大学 线阵相机曝光时间的控制方法及其***
CN104102395A (zh) * 2014-07-03 2014-10-15 宁波术有电子科技有限公司 基于千兆以太网传输的宽幅图像扫描***及其实现方法
CN105430300A (zh) * 2015-12-01 2016-03-23 天逸瑞狮（苏州）口腔医疗科技股份有限公司 一种影像扫描***、装置及方法
CN106998408A (zh) * 2017-02-21 2017-08-01 昆明奥多智能科技有限公司 一种近距离或接触式高速图像采集***
CN109873915A (zh) * 2019-01-16 2019-06-11 北京五岳鑫信息技术股份有限公司 一种扫描仪的补偿装置及方法
CN110876020A (zh) * 2018-08-30 2020-03-10 菱光科技股份有限公司 外部触发的线性相机检测***及其影像曝光处理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8565779B2 (en) * 2007-04-20 2013-10-22 Novatel Wireless, Inc. Position-based automatic configuration of portable device
US8605046B2 (en) * 2010-10-22 2013-12-10 Pq Labs, Inc. System and method for providing multi-dimensional touch input vector

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5355146A (en) * 1990-03-05 1994-10-11 Bmc Micro-Industries Ltd. Multi-directional hand scanner and mouse
EP0873003B1 (en) * 1997-04-14 2007-03-21 Hewlett-Packard Company, A Delaware Corporation Image scanning device and method
US6330082B1 (en) * 1998-08-28 2001-12-11 Hewlett-Packard Company Converter for optical scanner
US6403941B1 (en) * 1998-10-29 2002-06-11 Hewlett-Packard Company Image scanner with real time pixel resampling
US6486937B2 (en) * 1999-12-30 2002-11-26 Eastman Kodak Company Method and apparatus for printing large format lenticular images

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101341496B (zh) * 2005-12-21 2012-05-30 皇家飞利浦电子股份有限公司 使用扫描型成像器的生物特征信息检测
CN101621606B (zh) * 2008-06-30 2014-04-09 三星电子株式会社 图像处理装置和图像处理方法
US8451510B2 (en) 2008-06-30 2013-05-28 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method thereof
CN102221472A (zh) * 2010-04-15 2011-10-19 西门子公司 一种机器性能测试方法及装置
CN102158625A (zh) * 2011-03-02 2011-08-17 朱杰 便携式扫描装置和处理方法
US8958121B2 (en) 2011-06-22 2015-02-17 Lg Electronics Inc. Scanning technology using input device to acquire scan image through scan area
CN102843490A (zh) * 2011-06-22 2012-12-26 Lg电子株式会社 扫描技术
US9094549B2 (en) 2011-06-22 2015-07-28 Lg Electronics Inc. Scanning technology for using a scan button to stop scanning and open edition user interface
CN103458158A (zh) * 2013-09-09 2013-12-18 电子科技大学 线阵相机曝光时间的控制方法及其***
CN103458158B (zh) * 2013-09-09 2016-08-10 电子科技大学 线阵相机曝光时间的控制方法及其***
CN104102395A (zh) * 2014-07-03 2014-10-15 宁波术有电子科技有限公司 基于千兆以太网传输的宽幅图像扫描***及其实现方法
CN104102395B (zh) * 2014-07-03 2017-12-15 宁波术有电子科技有限公司 基于千兆以太网传输的宽幅图像扫描***的实现方法
CN105430300A (zh) * 2015-12-01 2016-03-23 天逸瑞狮（苏州）口腔医疗科技股份有限公司 一种影像扫描***、装置及方法
CN105430300B (zh) * 2015-12-01 2018-08-21 天逸瑞狮（苏州）口腔医疗科技股份有限公司 一种影像扫描***、装置及方法
CN106998408A (zh) * 2017-02-21 2017-08-01 昆明奥多智能科技有限公司 一种近距离或接触式高速图像采集***
CN110876020A (zh) * 2018-08-30 2020-03-10 菱光科技股份有限公司 外部触发的线性相机检测***及其影像曝光处理方法
CN109873915A (zh) * 2019-01-16 2019-06-11 北京五岳鑫信息技术股份有限公司 一种扫描仪的补偿装置及方法

Also Published As

Publication number Publication date
CN100527773C (zh) 2009-08-12
US7386189B2 (en) 2008-06-10
US20050094902A1 (en) 2005-05-05

Similar Documents

Publication Publication Date Title
CN1543185A (zh) 具有定位传感器的扫描装置及其获取图像的处理方法
CN1196077C (zh) 一种交互式红外线电子白板
CN1313910C (zh) 图像显示方法
CN1235172C (zh) 图像输入装置
CN1152296C (zh) 输入单元及其使用方法和输入***
EP1091560A1 (en) Method and apparatus for scanning oversized documents
CN1866184A (zh) 2－d阵列中的译码和差错校正
CN1738357A (zh) 摄像***
CN1698379A (zh) 使用全景图像的监视装置与监视方法
CN101031029A (zh) 一种视频图像处理的方法及其装置
CN1822634A (zh) 图像读取装置及图像读取方法
CN1576934A (zh) 焦点检测方法、焦点检测机械装置和图像测量设备
CN110648301A (zh) 一种消除成像反光的装置及方法
US5227896A (en) Image reader for producing and synthesizing segmented image data
CN1244236C (zh) 距离计算方法和图像拾取设备
CN1158873C (zh) 图像处理方法以及图像处理装置
CN1357862A (zh) 视窗的光标视觉点选方法及装置
CN1975646A (zh) 光学导航装置和操作其的方法
CN1194532C (zh) 图像拾取设备、及曝光决定方法
CN1196078C (zh) 一种高分辨率红外线触摸装置
CN1256654C (zh) 坐标输入的撷取装置
CN1758267A (zh) 图像输入装置
CN1198235C (zh) 从车辆影像中撷取车牌区域及矫正车牌歪斜方法及装置
CN2768086Y (zh) 指纹扫描装置及具有指纹扫描功能的电子设备
TW579646B (en) A method for promoting the efficiency of scanning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20060804

Address after: No. 4, Wu Nan Road, Taiwan business investment zone, Dongxihu District, Wuhan

Applicant after: Wuhan Xigan Sci. & Tech. Co., Ltd.

Address before: 19A, No. 1 World Square building, No. 7002 Hongli West Road, Guangdong, Shenzhen, Futian District

Applicant before: Shenzhen Xigan Science and Technology Co., Ltd.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: WUHAN XIGAN DIGITAL CO., LTD.

Free format text: FORMER OWNER: WUHAN XIGAN TECHNOLOGY CO., LTD.

Effective date: 20100621

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 430040 NO.4, WUNAN ROAD, TAIWAN FUNDED DISTRICT, DONGXIHU DISTRICT, WUHAN CITY TO: 430000 BRIGADE 2, SANDIAN FARM, DONGXIHU DISTRICT, WUHAN CITY, HUBEI PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20100621

Address after: 430000 Hubei province Wuhan Dongxihu three farm shop two Brigade

Patentee after: Wuhan Syscan Digital Co., Ltd.

Address before: 430040 No. 4 Wu Nan Road, Wuhan Taiwan investment zone, East and West Lake District

Patentee before: Wuhan Xigan Sci. & Tech. Co., Ltd.

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151204

Address after: 430000, No. 31, Wuhuan Avenue, Dongxihu District, Hubei, Wuhan

Patentee after: Wuhan Xigan Sci. & Tech. Co., Ltd.

Address before: 430000 Hubei province Wuhan Dongxihu three farm shop two Brigade

Patentee before: Wuhan Syscan Digital Co., Ltd.

DD01 Delivery of document by public notice

Addressee: Feng Zhao

Document name: Notification of Passing Examination on Formalities

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090812

Termination date: 20191104

CF01 Termination of patent right due to non-payment of annual fee