CN101878465A - 图像处理装置、图像处理方法、图像输入设备和图像输入/输出设备 - Google Patents

图像处理装置、图像处理方法、图像输入设备和图像输入/输出设备 Download PDF

Info

Publication number
CN101878465A
CN101878465A CN2009801011091A CN200980101109A CN101878465A CN 101878465 A CN101878465 A CN 101878465A CN 2009801011091 A CN2009801011091 A CN 2009801011091A CN 200980101109 A CN200980101109 A CN 200980101109A CN 101878465 A CN101878465 A CN 101878465A
Authority
CN
China
Prior art keywords
information
pixel
label
image
label information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801011091A
Other languages
English (en)
Inventor
津崎亮一
黑川壮一郎
原田勉
山口和范
建内满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Display West Inc
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101878465A publication Critical patent/CN101878465A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/047—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using sets of wires, e.g. crossed wires

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Nonlinear Science (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Liquid Crystal (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Position Input By Displaying (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Image Processing (AREA)

Abstract

公开了能够比过去更快速执行加标签处理的图像处理设备。顺序扫描通过二进制化数据(Din)呈现的照相图像的每个像素。另外，当执行所述顺序扫描时，根据感兴趣的像素及其***像素的像素数据的值，在需要时将表示照相图像中每个连接区域的标识号的登记号(标签信息)分配给该兴趣的像素，并且在需要时更新与每组标签信息相应的每个连接区域的附加信息(位置信息和面积信息)。从而，通过单个顺序扫描获取整个照相图像的标签信息、位置信息和面积信息。

Description

图像处理装置、图像处理方法、图像输入设备和图像输入/输出设备
技术领域
本发明涉及包括图像拾取功能的图像输入设备、包括图像显示功能和图像拾取功能的图像输入/输出设备、以及应用于这样的图像输入设备和这样的图像输入/输出设备中的加标签处理的图像处理装置和图像处理方法。
背景技术
一些图像显示器包括触摸面板。触摸面板的类型除了使用电阻的改变的电阻类型触摸面板和使用电容的改变的电容类型触摸面板之外，还包括光学上检测手指等的光学类型触摸面板。例如，在光学类型触摸面板中，通过调制来自液晶元件中的背光的光来在其显示表面上显示图像，并且通过布置在显示表面上的光接收元件接收从显示表面发射、然后从诸如手指之类的邻近对象反射的光，以检测邻近对象的位置等。专利文件1公开了这样的图像显示器。专利文件1中公开的显示器包括显示部分，该显示部分包括用于显示图像的显示装置和用于拾取对象的图像的图像拾取装置。
当这样的光学类型触摸面板检测到多个点时，在一些情况下，对从光接收元件捕获的作为图像的数据执行向被视为一组点的每个连接区域提供标识号的处理(例如，参考专利文件2)。这样的处理被称为加标签(labeling)处理。
[现有技术文件]
[专利文件]
[专利文件1]日本未审查专利申请公开No.2004-127272
[专利文件2]日本未审查专利申请公开No.2002-164017
发明内容
然而，在专利文件2等中的现有技术中的加标签处理中，将作为加标图像的二维数据暂时存储在帧存储器中，并基于加标图像执行加标签处理。因此，很难对从光接收元件得到的数据执行实时处理，并且期望实现更高速的加标签处理。
做出本发明以解决上述问题，并且本发明的目的是提供允许实现比以前更高速的加标签处理的图像处理装置和图像处理方法，以及包括这样的图像处理装置的图像输入设备和图像输入/输出设备。
本发明的图像处理装置包括：扫描部分，对由二进制化像素数据表示的图像中的像素执行顺序扫描；以及信息获取部分，用于执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将表示图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描时，完成对关于整个图像的标签信息、位置信息和面积信息的获取。这里，“连接区域”意为允许被视为一组点的像素区域。
本发明的图像处理方法包括：对由二进制化像素数据表示的图像中的像素执行顺序扫描，以及执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将表示图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描时，完成对关于整个图像的标签信息、位置信息和面积信息的获取。
本发明的图像输入设备包括：输入面板，包括沿着图像拾取表面布置的多个光接收元件，以接收从外部邻近对象反射的光；扫描部分，对由二进制化像素数据表示的拾取图像中的像素执行顺序扫描，拾取图像是基于来自光接收元件的光接收信号而获取的；信息获取部分，执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将表示拾取图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描时，完成对关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及位置检测部分，基于由所述信息获取部分获取的标签信息、位置信息和面积信息，获取与外部邻近对象的位置、形状和尺寸中的一个或多个有关的信息。
本发明的第一图像输入/输出设备包括：输入/输出面板，包括：沿着显示表面布置的多个显示元件以基于图像信号显示图像、和沿着显示表面布置的多个光接收元件以接收从外部邻近对象反射的光；扫描部分，对由二进制化像素数据表示的拾取图像中的像素执行顺序扫描，拾取图像是基于来自光接收元件的光接收信号而获取的；信息获取部分，执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将表示拾取图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描时，完成对关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及位置检测部分，基于由所述信息获取部分获取的标签信息、位置信息和面积信息，获取与外部邻近对象的位置、形状和尺寸中的一个或多个有关的信息。
本发明的第二图像输入/输出设备包括：输入/输出面板，包括显示面板和在所述显示面板中形成的位置检测部分，所述显示面板包括在第一基板和第二基板之间的液晶层，所述位置检测部分包括第一传感器电极和第二传感器电极，所述第一传感器电极和第二传感器电极被允许在压下所述第二基板时变为互相接触，并且所述位置检测部分通过检测由所述第一传感器电极和所述第二传感器电极之间的接触引起的电位改变来检测与外部邻近对象的位置相应的所述第二基板的压下位置；扫描部分，对由二进制化像素数据表示的图像中的像素执行顺序扫描，该图像是基于来自光接收元件的光接收信号而获取的；信息获取部分，执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将表示所述图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描时，完成对关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及位置检测部分，基于由所述信息获取部分获取的标签信息、位置信息和面积信息，获取与外部邻近对象的位置、形状和尺寸中的一个或多个有关的信息。
在本发明的图像处理装置、图像处理方法、图像输入设备和图像输入/输出设备中，对由二进制化像素数据表示的图像(例如，拾取图像)中的像素执行顺序扫描。这时，当随时根据目标像素及其相邻像素的像素数据的值而将表示图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息。从而，在完成这样的顺序扫描时，完成对关于整个图像的标签信息、上述位置信息和上述面积信息的获取。换言之，不像现有技术，不需要形成加标图像，并且通过一个顺序扫描处理获取关于整个图像的标签信息等。
根据本发明的图像处理装置、图像处理方法、图像输入设备和图像输入/输出设备，对由二进制化像素数据表示的图像中的像素执行顺序扫描，并且在顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将表示图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，所以通过一个顺序扫描处理，可以获取关于整个图像的标签信息、上述位置信息和上述面积信息。因此，可以实现比以前更高速的加标签处理。
附图说明
图1是图示根据本发明的第一实施例的图像输入/输出设备的配置的框图。
图2是图示图1中的图像输入/输出设备的更具体的配置的框图。
图3是输入/输出面板的一部分的放大截面图。
图4是图示图1中的加标签处理部分的更具体的配置的框图。
图5是图示在第一实施例的加标签处理中使用的二进制化数据、行缓冲器、地址列表和附加信息的例子的示意图。
图6是图像输入/输出设备的整个图像处理的流程图。
图7是图示第一实施例的加标签处理的细节的流程图。
图8是用于描述第一实施例的加标签处理的细节的示意图。
图9是用于描述接着图8的加标签处理的细节的示意图。
图10是用于描述接着图9的加标签处理的细节的示意图。
图11是用于描述接着图10的加标签处理的细节的示意图。
图12是用于描述接着图11的加标签处理的细节的示意图。
图13是用于描述接着图12的加标签处理的细节的示意图。
图14是用于描述接着图13的加标签处理的细节的示意图。
图15是用于描述接着图14的加标签处理的细节的示意图。
图16是用于描述接着图15的加标签处理的细节的示意图。
图17是用于描述接着图16的加标签处理的细节的示意图。
图18是用于描述接着图17的加标签处理的细节的示意图。
图19是用于描述接着图18的加标签处理的细节的示意图。
图20是用于描述接着图19的加标签处理的细节的示意图。
图21是用于描述接着图20的加标签处理的细节的示意图。
图22是用于描述接着图21的加标签处理的细节的示意图。
图23是用于描述接着图22的加标签处理的细节的示意图。
图24是图示根据第二实施例的加标签处理部分的具体配置的框图。
图25是图示在第二实施例的加标签处理中使用的二进制化数据、行缓冲器、附加信息和空闲地址信息的例子的示意图。
图26是图示第二实施例的加标签处理的细节的流程图。
图27是图示接着图26的第二实施例的加标签处理的细节的流程图。
图28是用于描述第二实施例的加标签处理的细节的示意图。
图29是用于描述接着图28的加标签处理的细节的示意图。
图30是用于描述接着图29的加标签处理的细节的示意图。
图31是用于描述接着图30的加标签处理的细节的示意图。
图32是接着图31用于描述加标签处理的细节的示意图。
图33是用于描述接着图32的加标签处理的细节的示意图。
图34是用于描述接着图33的加标签处理的细节的示意图。
图35是用于描述接着图34的加标签处理的细节的示意图。
图36是用于描述接着图35的加标签处理的细节的示意图。
图37是用于描述接着图36的加标签处理的细节的示意图。
图38是图示根据本发明的修改例子的输入/输出面板的配置的截面图。
具体实施方式
下面，将参考附图详细描述本发明的实施例。
第一实施例
图1图示了根据本发明的第一实施例的图像输入/输出设备1的示意性配置。此外，图2图示了根据该实施例的图像输入/输出设备1的具体配置。而且，图3图示了输入/输出面板的一部分的放大截面图。如图1所示，根据本实施例的图像输入/输出设备1包括显示器10和使用显示器10的电子设备主体20。显示器10包括输入/输出面板11、显示信号处理部分12、光接收信号处理部分13和图像处理部分14，以及电子设备主体20包括控制部分21。另外，根据本发明的第一实施例的图像处理方法由本实施例的图像输入/输出设备1体现，并且也将在下面进行描述。
如图2所示，输入/输出面板11由在其中以矩阵形式布置了多个像素16的液晶显示面板配置，并包括显示元件11a和光接收元件11b。显示元件11a是通过使用从作为光源的背光发射的光来将诸如图形或字符之类的图像显示在显示表面上的液晶元件。例如，光接收元件11b是接收光以响应于光的接收来输出电信号的诸如光敏二极管之类的光接收元件。光接收元件11b接收从背光发射、然后从位于输入/输出面板11之外的诸如手指之类的外部邻近对象反射回来的反射光，然后光接收元件11b响应于反射光的接收来输出光接收信号。在本实施例中，分别将多个光接收元件11b布置在面板中的各像素16中。
如图2和3所示，通过在透明基板对30和31之间以矩阵形式布置彼此通过阻隔肋(barrier rib)32分离的多个光发射/接收单元CWR，来配置输入/输出面板11。光发射/接收单元CWR包括光发射单元CW(CW1、CW2、CW3......)和包含在光发射单元CW中的多个光接收单元CR(CR1、CR2、CR3......)。光发射单元CW由作为显示元件11a的液晶单元配置，并且每个光接收单元CR包括作为光接收元件11b的光接收元件PD。另外，在光接收单元CR中，在背光侧的透明基板30和光接收元件PD之间布置屏蔽层33，以阻止从背光发射的光LB进入光接收单元CR，从而每个光接收元件PD仅仅检测从背光侧的相对侧的透明基板31进入的光而不受背光光LB的影响。
图1中图示的显示信号处理部分21是与输入/输出面板11的前一级(former stage)相连、并驱动输入/输出面板11以基于显示数据显示图像的电路。
如图2所示，显示信号处理部分12包括显示信号保持控制部分40、光发射侧扫描器41、显示信号驱动器42和光接收侧扫描器43。显示信号保持控制部分40将针对每个屏幕(针对显示器的每场)的从显示信号生成部分44输出的显示信号存储并保持在由例如SRAM(静态随机存取存储器)等配置的场存储器中，并具有控制驱动每个光发射单元CW的光发射侧扫描器41和显示信号驱动器42、以及驱动每个光接收单元CR以相互结合工作的光接收侧扫描器43的功能。更具体地，分别向光发射侧扫描器41和光接收侧扫描器43输出光发射定时控制信号和光接收定时控制信号，以及基于控制信号和场存储器中保持的显示信号来向显示信号驱动器42输出针对一个水平行(line)的显示信号。响应于控制信号和显示信号进行线序(line-sequential)操作。
光发射侧扫描器41具有响应于从显示信号保持控制部分40输出的光发射定时控制信号来选择将被驱动的光发射单元CW的功能。更具体地，通过与输入/输出面板11的每个像素16相连的光发射栅极线来提供光发射选择信号，以控制光发射元件选择开关。换言之，当响应于光发射选择信号而施加用于接通给定像素16的光发射元件选择开关的电压时，该像素16发射具有与从显示信号驱动器42提供的电压相应的亮度的光。
显示信号驱动器42具有响应于从显示信号保持控制部分40输出的针对一个水平行的显示信号来向将被驱动的光发射单元CW提供显示数据的功能。更具体地，将与显示数据相应的电压通过与输入/输出面板11的每个像素16相连的数据提供线提供给由上述光发射侧扫描器41选择的像素16。当光发射侧扫描器41和显示信号驱动器42相互结合来执行线序操作时，与***示数据相应的图像被显示在输入/输出面板11上。
光接收侧扫描器43具有响应于从显示信号保持控制部分40输出的光接收定时控制信号来选择将被驱动的光接收单元CR的功能。更具体地，通过与输入/输出面板11的每个像素16相连的光接收栅极线来提供光接收选择信号，以控制光接收元件选择开关。换言之，如上述光发射侧扫描器41的操作的情况下，当响应于光接收选择信号而施加用于接通给定像素16的光接收元件选择开关的电压时，向光接收信号接收器45输出由该像素16检测的光接收信号。从而，例如，允许由光接收单元CR接收和检测来自从给定光发射单元CW发射的光的、从接触或邻近输入/输出面板11的对象反射的光。而且，光接收侧扫描器43向光接收信号接收器45和光接收信号保持部分46输出光接收阻挡(block)控制信号，并且还具有控制促成这些光接收操作的阻挡的功能。另外，在本实施例的信息输入/输出设备1中，上述光发射栅极线和上述光接收栅极线分别与每个光发射/接收单元CWR相连，并且光发射侧扫描器41和光接收侧扫描器43可独立地工作。
图1中图示的光接收信号处理部分13与输入/输出面板11的后一级相连，并且捕捉来自光接收元件11b的光接收信号以执行放大等。如图2所示，光接收信号处理部分13包括光接收信号接收器45和光接收信号保持部分46。
光接收信号接收器45具有响应于从光接收侧扫描器43输出的光接收阻挡控制信号来获得来自光接收单元CR的针对一个水平行的光接收信号的功能。将在光接收信号接收器45中获取的针对一个水平行的光接收信号输出到光接收信号保持部分46。
光接收信号保持部分46具有响应于从光接收侧扫描器43输出的光接收阻挡控制信号来根据从光接收信号接收器45输出的光接收信号而重建针对每个屏幕(针对显示器的每场)的光接收信号、并且将该光接收信号存储和保持在例如由SRAM等配置的场存储器中的功能。将存储在光接收信号保持部分46中的光接收信号的数据输出到图像处理部分14(参见图1)中的位置检测部分47。另外，可以由除了存储器之外的存储元件来配置光接收信号保持部分46，并且例如，可以将光接收信号作为模拟数据(电荷)保持在电容元件中。
图像处理部分14(参见图1)是与光接收信号处理部分13的后一级相连、并捕捉来自光接收信号处理部分13的拾取图像、然后执行诸如二进制化(binarization)、噪声去除或加标之类的处理来获取关于外部邻近对象的点信息、即与外部邻近对象的重心或中心坐标和外部邻近对象的区域(尺寸或形状)有关的信息的电路。
更具体地，图像处理部分14中的加标签处理部分14a(图象处理装置)执行如将在以下描述的加标签处理，以获取关于整个拾取图像的标签信息(表示拾取图像中连接区域的标识号的信息)、以及每个连接区域的位置信息和区域信息(area information)。换言之，如下面将详细描述的，加标签处理部分14a对由二进制化像素数据表示的拾取图像中的像素执行顺序扫描，并且在顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值来将标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而获取上述标签信息、上述位置信息和上述面积信息。另外，加标签处理部分14a相应于本发明中的“扫描部分”和“信息获取部分”的具体例子。
此外，图像处理部分14中的位置检测部分47(参见图2)基于由加标签处理部分14a获取的上述标签信息、上述位置信息和上述面积信息来执行信号处理以指明(specify)由光接收单元CR检测的对象所在的位置等。从而，允许指明接触或邻近输入/输出面板11的手指等的位置。
电子设备主体20(参见图1)向显示器10的显示信号处理部分12输出显示数据，并且来自图像处理部分14的点信息被输入到电子设备主体20中。控制部分21通过使用点信息来改变显示图像。
如图2所示，控制部分21(参见图1)包括显示信号生成部分44。显示信号生成部分44由CPU(中央处理单元)(未示出)等配置，并且基于所提供的图像数据生成用于显示每个屏幕(显示器的每场)的显示信号，以将该显示信号输出到显示信号保持控制部分40。
接下来，参考图4和5，将在下面描述加标签处理部分14a的具体配置。图4图示了加标签处理部分14a的具体配置的框图。此外，图5示意性地图示了本实施例的加标签处理中使用的二进制化数据、行缓冲器(line buffer)、地址列表和附加信息的例子。
如图4所示，加标签处理部分14a包括条件确定电路141、新标签号发布电路142、地址列表143、行缓冲器144、行缓冲器控制电路145、地址列表控制电路146、标签存储器控制器147和附加信息存储器148。
条件确定电路141依次获取例如如图5所示的作为二进制化像素数据的二进制化数据Din，以基于目标像素及其相邻像素的像素数据的值来确定是否执行分配标签信息的处理以及更新每个连接区域的位置信息和面积信息的处理。更具体地，条件确定电路141确定目标像素的像素数据的值是有效还是无效(在该情况下，确定值是有效值“1”还是无效值“0”)，并参考关于相邻像素(在该情况下，目标像素左侧的像素以及目标像素上方的像素)的标签信息，给出用于发布和分配无效标签或新标签(新标签信息)的命令以及用于标签合并(结合)任务的命令。而且，当目标像素位于一行的结尾(在该情况下，在右端)时，条件确定电路141给出用于重新排列地址列表的命令。
新标签号发布电路142基于条件确定电路141的确定结果来发布新的标签。更具体地，在标签是新的情况下，在地址列表143中发布未分配的登记号(register number)(相应于标签信息)。
例如，如图5所示，行缓冲器144是存储一行登记号(标签信息)的部分。另外，为了方便描述稍后将描述的加标签处理，图示了图5等中图示的行缓冲器(图像)144a，而实际的行缓冲器144是包含一行的缓冲器。
行缓冲器控制电路145控制行缓冲器144中的登记号的写、读等。
例如，附加信息存储器148将图5中图示的附加信息、即相应于每个标签信息的每个连接区域的位置信息(xsum；每个连接区域中x坐标值的总和，ysum；每个连接区域中y坐标值的总和，region；每个连接区域中x坐标和y坐标的最小值、最大值等)和面积信息(sum；连接区域中像素的数量)与标签号(相应于地址号)相关联，然后存储附加信息。
例如，如图5所示，地址列表143将存储在行缓冲器144中的登记号(RegNo；相应于标签信息)、存储在附加信息存储器148中的标签号(No；相应于地址号)和是否分配了标签信息的状态(Flag)彼此关联，然后存储它们。更具体地，将登记号保持为阵列的指针，并在阵列中列出标签号，并且标签号是它们自己的地址。从而，标签号与登记号相连。
地址列表控制电路146控制地址列表143中的信息的写、读等。
标签存储器控制器147控制附加信息存储器148中的附加信息的写、读等，并将关于整个拾取图像的上述标签信息、以及每个连接区域的上述位置信息和上述面积信息作为标签信息Dout输出。
接下来，除了图1至5之外还参考图6至23，将在下面描述实施例的图像输入/输出设备1的功能。图6图示了图像输入/输出设备1的整个图像处理的流程。此外，图7图示了实施例的加标签处理的细节的流程图。而且，图8至23示意性地图示了实施例的加标签处理的细节。
首先，参考图6，将在下面描述图像输入/输出设备1的基本操作。
将从电子设备主体20输出的显示数据输入到显示信号处理部分12中。显示信号处理部分12驱动输入/输出面板11，以基于显示数据将图像显示在输入/输出面板11上。
当输入/输出面板11通过使用从背光发射的光来将图像显示在显示元件11a上时，输2/输出面板11驱动光接收元件11b。然后，当诸如手指之类的外部邻近对象接触或靠近显示元件11a时，从外部邻近对象反射在显示元件11a上显示的图像，并且由光接收元件11b检测反射光。通过检测，从光接收元件11b输出光接收信号。然后，光接收信号被输入到光接收信号处理部分13中，并且光接收信号处理部分13执行诸如放大之类的处理以处理光接收信号(图6中的步骤S10)。从而，在光接收信号处理部分13中得到拾取图像。
接下来，将拾取图像从光接收信号处理部分13输入到图像处理部分14，并且图像处理部分14对拾取图像执行二进制化处理(步骤S11)。换言之，图像处理部分14存储预设阈值，并执行二进制化过程，在该二进制化过程中，取决于拾取图像数据的信号强度是小于阈值还是等于或大于阈值，将拾取图像数据的信号强度设置为“0”或“1”。从而，在其处接收从外部邻近对象反射的光的部分被设置为“1”，而其他部分被设置为“0”。
然后，图像处理部分14从二进制化拾取图像中去除孤立点(isolatedpoint)(步骤S12)。换言之，在以上述方式对拾取图像二进制化的情况下，图像处理部分14通过去除与外部邻近对象隔离的、被设置为“1”的部分来执行噪声去除。
在这之后，图像处理部分14在标签处理部分14a中执行加标签处理(步骤S13)。换言之，在以上述方式对拾取图像二进制化的情况下，加标签处理部分14a对被设置为“1”的部分上执行加标签处理。然后，加标签处理部分14a将被设置为“1”的区域检测为外部邻近对象的区域，并获取该区域的重心或中心坐标。将这样的数据作为点信息(上述标签信息Dout)输出到控制部分21。
接下来，控制部分21通过使用从图像处理部分14输入的点信息来执行诸如改变显示图像之类的必要处理。例如，如果操作菜单显示在屏幕上，则检测由用户的手指选择了操作菜单中的哪个按钮，并执行与所选按钮相应的命令。从而，完成图像输入/输出设备1中的基本操作。
接下来，参考图7至23，将在下面详细描述作为本发明的特征部分之一的、加标签处理部分14a的加标签处理。
首先，例如，如图8所示，初始化行缓冲器144、地址列表143和附加信息存储器148的值。接着，首先，条件确定电路141确定在由二进制化数据Din配置的拾取图像中目标像素的像素值(像素数据)是否是“1”(有效值)(图7中的步骤S131)。
在该情况下，例如，如图9所示，在目标像素的像素数据是“0”(无效值)的情况下(步骤S131：N)，行缓冲器控制电路145和地址列表控制电路146都不向目标像素发布和分配标签信息。换言之，例如，如图10所示，在行缓冲器144和地址列表143中将“z”(无效标签)分配给该目标像素(步骤S132)。接着，在这之后，条件确定电路141确定是否完成沿着一行的扫描(目标像素是否位于一行的右端)(步骤S144)。
在该情况下，在还没有完成沿着一行的扫描的情况下(步骤S144：N)，例如，如图11所示，将目标像素移动到该行中的下一像素(右侧的像素)(执行顺序扫描)(步骤S145)。然后，加标签处理返回到步骤S131。
在该情况下，例如，如图11所示，在目标像素的像素数据是“1”(有效值)的情况下(步骤S131：Y)，接下来，条件确定电路141确定在目标像素周围的相邻像素(在该情况下，目标像素上方的像素和目标像素左侧的像素)的标签是有效还是无效(相邻像素的像素数据具有有效值还是无效值，以及目标像素是否是孤立点)(步骤S133)。在该情况下，如图11所示，在目标像素上方的像素和在目标像素左侧的像素的标签无效(像素数据是“0”(无效值)，并且目标像素是孤立点)(步骤S133：两者都无效)；因此，例如，如图12所示，新标签号发布电路142向目标像素发布和分配新的标签(新标签信息)(步骤S134)。而且，除此之外，例如，如图12所示，行缓冲器控制电路145、地址列表控制电路146和标签存储器控制器147每个还更新附加信息(步骤S135)。在这之后，在该情况下，例如，如图13所示，重复步骤S144和S145中的处理。另外，在图13等中的二进制化数据Din中的像素中图示的“(1)”等表示分配给该像素的登记号(标签信息)。
接下来，例如，如图14所示，重复步骤S131、S132、S144和S145中的处理或者步骤S131、S134、S135、S144和S145中的处理。然后，在确定完成沿着一行的扫描的情况下(步骤S144：Y)，接下来，条件确定电路141确定是否完成沿着拾取图像中的所有行的扫描(步骤S146)。
现在，如图14所示，在还没有完成沿着所有行的扫描的情况下(步骤S146：N)，接下来，重新排列与完成沿着一行的扫描有关的地址列表(步骤S147)，并且例如，如图15所示，将目标像素移动到下一行中的第一像素(最左端的像素)(执行顺序扫描)(步骤S148)。然而，在该情况下(在图14中图示的情况下)，没有重新排列地址列表，因此稍后将描述地址列表的重新排列。另外，在这之后，加标签处理返回到步骤S131。
另一方面，例如，如图16所示，地址列表控制电路146执行将在下面描述的地址列表的重新排列(步骤S147)。更具体地，例如，如图17所示，在地址列表143中，将没有在行缓冲器144中出现的登记号的标记设置为“0”(表示没有分配与登记号相应的标签信息)。从而，例如，如图18所示，在这之后，允许重新使用在地址列表143中标签为“0”的登记号(允许重新使用标签信息)。另外，在这之后，如图18所示，将目标像素移动到下一行的第一像素(步骤S148)，并且加标签处理返回到步骤S131。
接下来，例如，如图19所示，在步骤S131中确定目标像素的像素数据是“1”(有效值)(步骤S131：Y)、并且在步骤S133中确定仅仅在目标像素上方的像素的标签有效(像素数据是“1”(有效值))(步骤S133：仅仅上方的像素有效)的情况下，执行将在下面描述的步骤S136和137中的处理。换言之，例如，如图19所示，将与在目标像素上方的像素的标签相同的标签分配给目标像素(将已经分配给了具有有效值的像素的已发布的标签信息分配给目标像素)(步骤S136)，并且更新附加信息(每个连接区域的位置信息和面积信息)(步骤S137)。
另一方面，在步骤S131中确定目标像素的像素数据是“1”(步骤S131：Y)、并且在步骤S133中确定仅仅目标像素左侧的像素的标签有效(步骤S133：仅仅左侧的像素有效)的情况下，执行将在下面描述的步骤S138和S139中的处理。换言之，将与左侧的像素的标签相同的标签分配给目标像素(步骤S138)，并且更新附加信息(步骤S139)。
此外，例如，如图20所示，在步骤S131中确定目标像素的像素数据是“1”(步骤S131：Y)、并且在步骤S133中确定在目标像素上方的像素和在目标像素左侧的像素的标签都有效(步骤S133：两者都有效)的情况下，接下来，条件确定电路141确定在目标像素上方的像素的标签和在目标像素左侧的像素的标签彼此是否不同(步骤S140)。在该情况下，在目标像素上方的像素的标签与在目标像素左侧的像素的标签彼此相同的情况下(步骤S140：N)，执行上述步骤S138和S139中的处理。
另一方面，在步骤S140中确定目标像素上方的像素的标签与目标像素左侧的像素的标签彼此不同的情况下(步骤S140：Y)，执行将在下面描述的地址列表合并处理(步骤S141)，并且分配与目标像素上方的像素和目标像素左侧的像素之一的标签相同的标签(步骤S142)，并更新附加信息(步骤S143)。更具体地，例如，如图21和22所示，行缓冲器控制电路145、地址列表控制电路146和标签存储器控制器147中的每一个从目标像素上方的像素和目标像素左侧的像素中选择目标像素左侧的像素的登记号(RegNo；相应于标签信息)，并且将附加信息合并到更小的标签号(No；相应于地址号)。从而，合并了两个连接区域，并且将相同的标签分配给了被合并的两个连接区域中的像素。
从而，当执行由步骤S131至148所示的加标签处理时，例如，如图23所示，获得关于整个拾取图像的标签信息以及每个连接区域的位置信息和面积信息作为标签信息Dout。然后，在步骤S146中确定完成沿着所有行的扫描的情况下(步骤S146：Y)，加标签处理完成。
在本实施例的加标签处理中，以此方式对由二进制化数据Din表示的拾取图像中的像素执行顺序扫描。然后，在顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将登记号分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的附加信息(位置信息和面积信息)。从而，在完成顺序扫描时，完成对关于整个拾取图像的标签信息以及每个连接区域的位置信息和面积信息的获取。换言之，不像现有技术，不需要形成加标图像，并且通过一个顺序扫描处理来获得关于整个图像的加标信息等。
从而，在本实施例中，对由二进制化数据Din表示的拾取图像中的像素执行顺序扫描，并且在顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将表示拾取图像中每个连接区域的标识号的登记号(标签信息)分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的附加信息(位置信息和面积信息)，因此通过一个顺序扫描处理，可获得标签信息、位置信息和面积信息。因此，可以实现比以前更高速的加标签处理。
此外，因为实现了高速加标签处理，所以相比于现有技术，允许改善加标签处理的实时能力，并且可以实现流处理(streaming process)。
而且，不像现有技术，因为不需要形成加标图像，所以也不需要用于保持这样的图像的帧存储器。换言之，在本实施例中，因为使用行缓冲器执行加标签处理，所以相比于现有技术，允许减小所使用的存储器量。因此，在硬件上容易实现该加标签处理。
第二实施例
接下来，将在下面描述本发明的第二实施例。除了布置加标签处理部分14b而不是加标签处理部分14a之外，本实施例的图像输入/输出设备与图1中图示的第一实施例的图像输入/输出设备1相同。另外，相同的部件通过与第一实施例相同的标号来表示，并将不进行进一步描述。
图24图示了实施例的加标签处理部分14b的框图。加标签处理部分14b包括条件确定电路141、新标签号发布电路142、行缓冲器144b、标签存储器控制器147、附加信息存储器148和空闲地址信息寄存器149。换言之，除了布置空闲地址信息寄存器149而不是地址列表143和地址列表控制电路146、以及布置行缓冲器144b而不是行缓冲器144和行缓冲器控制电路145之外，加标签处理部分14b与图4中图示的第一实施例的加标签处理部分14a相同。
例如，如图25所示，行缓冲器144b是存储一行的标签号(相应于标签信息)的部分。而且，行缓冲器144b由用于每个像素的控制器配置，从而允许目标像素及其相邻像素(在该情况下，目标像素上方的像素和目标像素左侧的像素)的标签号的参考、写、更新等。另外，为了便于描述稍后将描述的加标签处理，图示了图25等中图示的行缓冲器(图像)144c，而实际的行缓冲器144b是包含一行的缓冲器。
例如，如图25所示，空闲地址信息寄存器149存储是否分配了每个标签号的状态(空白列表)。空闲地址信息寄存器149与新标签号发布电路142一起执行对使用或未使用的标签号的控制、新标签号的搜索等。更具体地，分别将新发布的标签号和通过合并而擦除的标签号重写为使用中的号码和未使用的号码。从而，允许将使用了的标签号反复重用。另外，以数字升序顺序使用标签号。
而且，本实施例的附加信息存储器148将例如图25中图示的附加信息、即上述标签号(No)、以及与每个标签信息相应的每个连接区域的位置信息(xsum、ysum、region)和面积信息(sum)相互关联，然后存储它们。此外，在对正由标签存储器控制器147存取的(目标像素的)当前标签更新标签号的情况下，以及在改变号码的情况下，或者当完成沿着一行的扫描时，执行向附加信息存储器148的写。
接下来，除了图24和25之外，还参考图26至37，将在下面描述本实施例的图像输入/输出设备的功能。图26和27图示了本实施例的加标签处理的细节的流程图。此外，图28至37示意性图示了本实施例的加标签处理的细节。另外，该图像输入/输出设备的基本操作与第一实施例相同，并将不进行进一步描述。
首先，例如，如图28所示，初始化行缓冲器144b、附加信息存储器148和空闲地址信息寄存器149的值。接着，首先，条件确定电路141确定在由二进制化数据Din配置的拾取图像中目标像素的像素值(像素数据)是否是“1”(有效值)(图26中的步骤S231)。
在该情况下，例如，如图29所示，在目标像素的像素数据是“0”(无效值)的情况下(步骤S231：N)，不向目标像素发布和分配标签信息。更具体地，接下来，条件确定电路141确定目标像素左侧的像素的标签是否是“0”(步骤S232)。在该情况下，因为左侧像素的标签不是“0”(步骤S232：N)，所以行缓冲器144b和标签存储器控制器147分别执行步骤S233和S234中的接下来的处理。换言之，如图29所示，当前标签信息“0”被存储在附加信息存储器148中(步骤S233)，并且从标签存储器控制器147中擦除当前标签信息(步骤S234)，然后加标签处理前进到步骤S245。另外，在目标像素左侧的像素的标签是“0”的情况下(步骤S232：Y)，加标签处理直接前进到步骤S245。在步骤S245中，条件确定电路141确定是否完成了沿着一行的扫描(目标像素是否位于右端处)(图27中的步骤S245)。
在该情况下，在还没有完成沿着一行的扫描的情况下，(步骤S245：N)，例如，如图30所示，将目标像素移动到该行中的下一像素(右侧的像素)(执行顺序扫描)(步骤S246)。然后，接下来，加标签处理返回到步骤S231。
另一方面，在确定完成了沿着一行的扫描的情况下(步骤S245：Y)，接下来，条件确定电路141确定目标像素左侧的像素的标签是否是“0”(步骤S247)。在该情况下，目标像素左侧的像素的标签是“0”(步骤S232：Y)，接下来，加标签处理前进到步骤S250。另外，在目标像素左侧的像素的标签是“1”的情况下(步骤S247：N)，行缓冲器144b和标签存储器控制器147分别执行步骤S248和S249中的接下来的处理。换言之，当前标签信息“0”被存储在附加信息存储器148中(步骤S248)，并从标签存储器控制器147中擦除当前标签信息(步骤S249)，然后，加标签处理前进到步骤S250。
在步骤S250中，条件确定电路141确定是否完成沿着拾取图像中的所有行的扫描(步骤S250)。在该情况下，还没有完成沿着所有行的扫描(步骤S250：N)，例如，如图30所示，将目标像素移动到下一行中的像素(执行顺序扫描)(步骤S251)，然后加标签处理返回到步骤S231。这时，在本实施例中，因为没有布置地址列表143，所以不像第一实施例，不重新排列地址。
另一方面，例如，如图30所示，在目标像素的像素数据是“1”(有效值)的情况下(步骤S231：Y)，接下来，条件确定电路141确定在目标像素周围的相邻像素(在该情况下，目标像素上方的像素和目标像素左侧的像素)的标签是有效还是无效(相邻像素的像素数据具有有效值还是无效值，以及目标像素是否是孤立点)(步骤S235)。在该情况下，如图30所示，因为目标像素上方的像素和目标像素左侧的像素的标签无效(像素数据是“0”(无效值)，并且目标像素是孤立点)(步骤S235：两者无效)，例如，如图30所示，所以新标签号发布电路142通过使用空闲地址信息寄存器149搜索空闲标签号(步骤S236)。而且，除此之外，例如，如图30所示，行缓冲器144b和标签存储器控制器147将现在的位置信息用作当前标签信息以向目标像素分配新的标签(新标签信息)(步骤S237)。此外，在这之后，在该情况下，例如，如图31所示，重复步骤S245和S246中的处理。另外，在图31等中的二进制化数据Din中的像素中图示的“(1)”等意为分配给该像素的标签号(标签信息)。
接下来，例如，如图32所示，在该情况下，重复步骤S231、S232至S234、S245和S246中的处理或者步骤S231、S235、S236、S237、S245和S246中的处理。
接下来，例如，如图32所示，在步骤S321中确定目标像素的像素数据是“1”(有效值)(步骤S231：Y)、并且在步骤S235中确定仅仅目标像素上方的像素的标签有效(像素数据是“1”(有效值))(步骤S235：仅仅上方的像素有效)的情况下，执行稍后将描述的步骤S238中的处理。换言之，例如，如图32所示，行缓冲器144b和标签存储器控制器147使用(现在的位置信息+关于目标像素上方的像素的标签信息)作为当前标签信息，从而将与目标像素上方的像素的标签相同的标签分配给目标像素。从而，例如，如图33所示，更新附加信息(每个连接区域的位置信息和面积信息)。
另一方面，例如，如图34所示，在步骤S231中确定目标像素的像素数据是“1”(步骤S231：Y)、并且在步骤S235中确定仅仅目标像素左侧的像素的标签有效(步骤S235：左侧的像素有效)的情况下，执行将在下面描述的步骤S239中的处理。换言之，例如，如图34所示，使用(现在的位置信息+与目标像素左侧的像素有关的标签信息)作为当前标签信息，从而，将与目标像素左侧的像素的标签相同的标签分配给目标像素。
此外，例如，如图35所示，在步骤S231中确定目标像素的像素数据是“1”(步骤S231：Y)、并且在步骤S235中确定目标像素上方的像素和目标像素左侧的像素的标签有效(步骤S235：两者都有效)的情况下，接下来，条件确定电路141确定目标像素上方的像素的标签是否与目标像素左侧的像素的标签彼此不同(步骤S240)。在该情况下，在目标像素上方的像素的标签与目标像素左侧的像素的标签彼此相同的情况下(步骤S240：N)，执行上述步骤S239中的处理。
另一方面，在步骤S240中确定目标像素上方的像素的标签与目标像素左侧的像素的标签彼此不同的情况下(步骤S240：Y)，执行将在下面描述的步骤S241至S244中的处理，并且将与从目标像素上方的像素和目标像素左侧的像素中选择的一个像素的标签相同的标签分配给目标像素，并且更新附加信息。更具体地，例如，如图35所示，行缓冲器144b和标签存储器控制器147每个使用(现在的位置信息+关于目标像素上方的像素的标签信息+关于目标像素左侧的像素的标签信息)作为当前标签信息(步骤S241)。而且，除此之外，例如，如图35所示，将行缓冲器144b上的标签号共同更新为将被更新的标签号(步骤S242)。然后，从附加信息存储器148中擦除目标像素上方的像素和目标像素左侧的像素的标签号中较大的标签号(步骤S243)，并且更新空闲地址信息(空闲标签号)(步骤S244)。从而，例如，如图36所示，合并了两个连接区域，并且将相同的标签分配给被合并的两个连接区域中的像素。
以这样的方式执行由步骤S231至251表示的加标签处理，从而，例如，如图37所示，获得关于整个拾取图像的标签信息以及每个连接区域的位置信息和面积信息作为标签信息Dout。然后，在步骤S250中确定完成沿着所有行的扫描的情况下(步骤S250：Y)，加标签处理完成。
在该情况下，同样在本实施例的加标签处理中，如在第一实施例的情况下，对由二进制化数据Din表示的拾取图像中的像素执行顺序扫描。然后，在顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将标签号分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的附加信息(位置信息和面积信息)。从而，在完成这样的顺序扫描时，完成对关于整个拾取图像的标签信息以及每个连接区域的位置信息和面积信息的获取。换言之，不像现有技术，不需要形成加标图像，并且通过一个顺序扫描处理获得关于整个图像的加标信息等。
从而，同样在本实施例中，通过与第一实施例中相同的功能，可以得到与第一实施例中相同的效果。换言之，通过一个顺序扫描处理，可以得到关于整个拾取图像的标签信息、位置信息和面积信息。因此，可以实现比以前更高速的加标签处理。
而且，在本实施例中，因为不需要第一实施例中的地址列表143，并且允许直接更新标签信息，所以相比于第一实施例，进一步改善了实时能力。因此，更容易在硬件上实现加标签处理，并且允许减少所使用的存储器量。
虽然参考第一和第二实施例描述了本发明，但是本发明不限于此，并且可以进行各种各样的修改。
例如，在上述实施例中，描述了使用两个方向上的像素、即目标像素上方和目标像素左侧的像素作为相邻像素来执行加标签处理的情况；然而，例如，可以使用三个方向上的像素、即目标像素上方、目标像素左侧和目标像素右上方的像素作为相邻像素来执行加标签处理。
此外，在上述实施例中，描述了作为像素数据的值、“1”是有效值而“0”是无效值的情况；然而，相反，作为像素数据的值，“0”可以是有效值，而“1”可以是无效值。
而且，在图2和3中图示的例子中，相应于一个光发射单元来布置一个光接收单元；然而，可以相应于多个光发射单元来布置一个光接收单元。
此外，在上述实施例中描述的图像输入/输出设备1和2中，作为输入/输出面板11，描述了使用液晶显示面板的配置。然而，本发明的信息输入/输出设备可以具有将有机电致发光(EL)面板等用作输入/输出面板的配置。有机EL元件具有当施加正向偏压时发光、并当施加反向偏压时接收光来生成电流的特性。因此，有机EL元件包括显示元件11a和光接收元件11b。在该情况下，通过为每个像素布置有机EL元件来配置输入/输出面板11，并且当向每个有机EL元件施加正向偏压时，从而允许每个有机EL元件发光，显示图像，以及当向其他有机EL元件施加反向偏压时，允许有机EL元件接收反射光。
而且，在上述实施例中，参考作为例子的包括输入/输出面板11的图像输入/输出设备1描述了本发明，其中输入/输出面板11包含多个显示元件11a和多个光接收元件11b；然而，本发明可应用于包括如下输入面板的图像输入设备(图像拾取设备)：该输入面板包括多个光接收元件11b。
此外，本发明的图像处理装置不仅可应用于基于由光接收元件11b获得的光接收信号的拾取图像，而且可应用于通过任何其他技术产生的图像。更具体地，例如，本发明的图像处理装置可应用于在包括图38中图示的输入/输出面板5(具有像素Px中的截面配置)的图像输入/输出设备中产生的图像。输入/输出面板5包括第一基板50、第二基板60和液晶层70，第一基板50包括玻璃基板50A、栅极绝缘膜51A、第一中间层绝缘膜12A、信号线SL、第二中间层绝缘膜52B、公共电极53、第三中间层绝缘膜52C和像素电极54(第一传感器电极)，第二基板60包括玻璃基板60A、滤色器61和相对传感器电极62(第二传感器电极)，以及液晶层70包括液晶分子71。换言之，在输入/输出面板5中，电阻型触摸传感器由像素电极54和相对传感器电极62配置。在该情况下，例如，像素电极54具有包括多个边缘(edge)54B的截面形状。边缘54B上的对准膜(alignment film)(未示出)倾向于是薄的，并且边缘54B从对准膜暴露。而且，相对于边缘54B布置相对传感器电极62(由切口62A和图案62B配置)。从而，当第二基板60弯曲时，相对传感器电极62接触像素电极54的被暴露的边缘54B以直接导致导通，所以阻止了位置检测的不稳定性。特别地，在输入/输出面板5是FFS(边缘场切换)***液晶显示面板时，因为像素电极54最初具有包括多个切口54A的平坦形状，所以允许增强位置检测性能而无需减小孔径比。
此外，可以通过硬件或软件来执行上述实施例中描述的处理。在通过软件执行处理的情况下，将形成软件的程序安装在通用计算机等中。可以提前将这样的程序存储在安装在计算机中的记录介质中。

Claims (11)

1.一种图像处理装置，包括：
扫描部分，对由二进制化像素数据表示的图像中的像素执行顺序扫描；以及
信息获取部分，用于执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将表示图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描时，完成对关于整个图像的标签信息、位置信息和面积信息的获取。
2.根据权利要求1所述的图像处理装置，其中
在目标像素的像素数据具有有效值而相邻像素的像素数据具有无效值的情况下，所述信息获取部分向目标像素发布和分配新的标签信息。
3.根据权利要求1或2所述的图像处理装置，其中
在目标像素的像素数据具有有效值而相邻像素中仅一个像素的像素数据具有有效值的情况下，所述信息获取部分向目标像素分配已经被分配给具有有效值的该一个像素的已发布的标签信息，以更新每个连接区域的位置信息和面积信息。
4.根据权利要求1或2所述的图像处理装置，其中
在目标像素的像素数据具有有效值并且相邻像素的多个像素的像素数据具有有效值的情况下，所述信息获取部分向目标像素分配已经被分配给从具有有效值的所述多个像素中选择的一个像素的已发布的标签信息，以更新每个连接区域的位置信息和面积信息。
5.根据权利要求1或2所述的图像处理装置，其中
在目标像素的像素数据具有无效值的情况下，所述信息获取部分不向目标像素发布和分配标签信息。
6.根据权利要求1或2所述的图像处理装置，其中
所述信息获取部分包括：
确定部分，基于目标像素及其相邻像素的像素数据的值来确定是否执行分配标签信息的处理以及更新每个连接区域的位置信息和面积信息的处理，
标签发布部分，基于所述确定部分的确定结果来发布新的标签信息，
行缓冲器，包括针对每个像素的控制器，并存储标签信息，
附加信息存储器，将标签信息以及位置信息和面积信息互相关联，然后存储它们，以及
空闲地址信息寄存器，存储是否分配了每个标签信息的状态。
7.根据权利要求1或2所述的图像处理装置，其中
所述信息获取部分包括：
确定部分，基于目标像素及其相邻像素的像素数据的值来确定是否执行分配标签信息的处理以及更新每个连接区域的位置信息和面积信息的处理，
标签发布部分，基于所述确定部分的确定结果来发布新的标签信息，
行缓冲器，存储标签信息，
附加信息存储器，将位置信息和面积信息与地址号相关联，然后存储它们，以及
地址列表，将存储在所述行缓冲器中的标签信息、存储在所述附加信息存储器中的地址号和是否分配了标签信息的状态相互关联，然后存储它们。
8.一种图像处理方法，包括：
对由二进制化像素数据表示的图像中的像素执行顺序扫描，以及
执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将表示图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描时，完成对关于整个图像的标签信息、位置信息和面积信息的获取。
9.一种图像输入设备，包括：
输入面板，包括沿着图像拾取表面布置的多个光接收元件，以接收从外部邻近对象反射的光；
扫描部分，对由二进制化像素数据表示的拾取图像中的像素执行顺序扫描，拾取图像是基于来自光接收元件的光接收信号而获取的；
信息获取部分，执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将表示拾取图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描时，完成对关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及
位置检测部分，基于由所述信息获取部分获取的标签信息、位置信息和面积信息，获取与外部邻近对象的位置、形状和尺寸中的一个或多个有关的信息。
10.一种图像输入/输出设备，包括：
输入/输出面板，包括：沿着显示表面布置的多个显示元件以基于图像信号显示图像、和沿着显示表面布置的多个光接收元件以接收从外部邻近对象反射的光；
扫描部分，对由二进制化像素数据表示的拾取图像中的像素执行顺序扫描，拾取图像是基于来自光接收元件的光接收信号而获取的；
信息获取部分，执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将表示拾取图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描时，完成对关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及
位置检测部分，基于由所述信息获取部分获取的标签信息、位置信息和面积信息，获取与外部邻近对象的位置、形状和尺寸中的一个或多个有关的信息。
11.一种图像输入/输出设备，包括：
输入/输出面板，包括显示面板和在所述显示面板中形成的位置检测部分，所述显示面板包括在第一基板和第二基板之间的液晶层，所述位置检测部分包括第一传感器电极和第二传感器电极，所述第一传感器电极和第二传感器电极被允许在压下所述第二基板时变为互相接触，并且所述位置检测部分通过检测由所述第一传感器电极和所述第二传感器电极之间的接触引起的电位改变来检测与外部邻近对象的位置相应的所述第二基板的压下位置；
扫描部分，对由二进制化像素数据表示的图像中的像素执行顺序扫描，该图像是基于来自光接收元件的光接收信号而获取的；
信息获取部分，执行处理使得在对像素的顺序扫描期间，当随时基于目标像素及其相邻像素的像素数据的值而将表示所述图像中每个连接区域的标识号的标签信息分配给目标像素时，随时更新与每个标签信息相应的每个连接区域的位置信息和面积信息，从而在完成顺序扫描时，完成对关于整个拾取图像的标签信息、位置信息和面积信息的获取；以及
位置检测部分，基于由所述信息获取部分获取的标签信息、位置信息和面积信息，获取与外部邻近对象的位置、形状和尺寸中的一个或多个有关的信息。
CN2009801011091A 2008-08-05 2009-07-28 图像处理装置、图像处理方法、图像输入设备和图像输入/输出设备 Pending CN101878465A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008201463A JP5027075B2 (ja) 2008-08-05 2008-08-05 画像処理装置、画像入力装置および画像入出力装置
JP201463/08 2008-08-05
PCT/JP2009/063382 WO2010016411A1 (ja) 2008-08-05 2009-07-28 画像処理装置、画像処理方法、画像入力装置および画像入出力装置

Publications (1)

Publication Number Publication Date
CN101878465A true CN101878465A (zh) 2010-11-03

Family

ID=41663631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801011091A Pending CN101878465A (zh) 2008-08-05 2009-07-28 图像处理装置、图像处理方法、图像输入设备和图像输入/输出设备

Country Status (7)

Country Link
US (1) US8836670B2 (zh)
EP (1) EP2312421A4 (zh)
JP (1) JP5027075B2 (zh)
KR (1) KR20110051164A (zh)
CN (1) CN101878465A (zh)
TW (1) TW201020888A (zh)
WO (1) WO2010016411A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112740658A (zh) * 2018-10-26 2021-04-30 索尼半导体解决方案公司 固态成像元件、固态成像元件封装和电子设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5224973B2 (ja) * 2008-08-26 2013-07-03 株式会社ジャパンディスプレイウェスト 情報入出力装置および情報入出力方法
JP5366051B2 (ja) 2009-04-20 2013-12-11 株式会社ジャパンディスプレイ 情報入力装置、表示装置
JP5382658B2 (ja) * 2010-02-26 2014-01-08 株式会社ジャパンディスプレイ タッチセンサ付き表示装置、タッチパネル、タッチパネルの駆動方法、および電子機器
TWI433004B (zh) * 2010-05-14 2014-04-01 Alcor Micro Corp 觸控面板上之觸控點判斷方法及其系統
US8553003B2 (en) * 2010-08-20 2013-10-08 Chimei Innolux Corporation Input detection method, input detection device, input detection program and media storing the same
JP5064552B2 (ja) * 2010-08-20 2012-10-31 奇美電子股▲ふん▼有限公司 入力検出方法、入力検出装置、入力検出プログラム及び記録媒体
CN102456079B (zh) * 2010-10-18 2016-08-03 赛恩倍吉科技顾问（深圳）有限公司 影像离线编程的尺寸引导***及方法
TWI486547B (zh) * 2010-10-20 2015-06-01 Hon Hai Prec Ind Co Ltd 影像離線編程的尺寸引導系統及方法
TWI470997B (zh) * 2011-10-31 2015-01-21 Au Optronics Corp 立體顯示器
KR101429923B1 (ko) * 2011-12-06 2014-08-13 엘지디스플레이 주식회사 터치 영역 라벨링 방법 및 그를 이용한 터치 센서 구동 장치
KR101885216B1 (ko) * 2011-12-30 2018-08-30 삼성전자주식회사 터치 센서 시스템의 멀티 터치 구분 방법
JP6025456B2 (ja) * 2012-08-28 2016-11-16 キヤノン株式会社 被検体情報取得装置、表示方法、及びプログラム
US9332167B1 (en) * 2012-11-20 2016-05-03 Amazon Technologies, Inc. Multi-directional camera module for an electronic device

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58151669A (ja) 1982-03-03 1983-09-08 Hitachi Ltd 画像処理装置のラベリング処理回路
JPS60200379A (ja) * 1984-03-26 1985-10-09 Hitachi Ltd 画像処理用セグメンテ−シヨン装置
US4953224A (en) * 1984-09-27 1990-08-28 Hitachi, Ltd. Pattern defects detection method and apparatus
JPS61145689A (ja) 1984-12-18 1986-07-03 Toshiba Corp 領域ラベリング回路
JP2766053B2 (ja) * 1990-07-30 1998-06-18 株式会社日立製作所 画像データ処理方法
JP2891616B2 (ja) * 1993-09-24 1999-05-17 富士通株式会社 仮ラベル割付処理方式と実ラベル割付処理方式
JPH07175925A (ja) * 1993-12-17 1995-07-14 Mitsubishi Electric Corp 特徴量算出装置及び特徴量算出方法
JP4221534B2 (ja) 1999-02-19 2009-02-12 日本ケミコン株式会社 ２値画像の特徴量抽出方法
US6483942B1 (en) * 1999-09-27 2002-11-19 Xerox Corporation Micro region count image texture characterization
JP3438717B2 (ja) 2000-11-24 2003-08-18 松下電器産業株式会社 蛍光ランプ
JP4200435B2 (ja) 2002-09-10 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP2005339444A (ja) 2004-05-31 2005-12-08 Toshiba Matsushita Display Technology Co Ltd 表示装置
JP2007299210A (ja) * 2006-04-28 2007-11-15 Sharp Corp 画像処理装置、画像形成装置、画像読取装置及び画像処理方法
JP2008097172A (ja) * 2006-10-10 2008-04-24 Sony Corp 表示装置および表示方法
KR20080052836A (ko) * 2006-12-08 2008-06-12 삼성전자주식회사 액정 표시 장치 및 그 제조 방법
US8121414B2 (en) * 2007-06-13 2012-02-21 Sharp Kabushiki Kaisha Image processing method, image processing apparatus, and image forming apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112740658A (zh) * 2018-10-26 2021-04-30 索尼半导体解决方案公司 固态成像元件、固态成像元件封装和电子设备

Also Published As

Publication number Publication date
EP2312421A4 (en) 2013-02-20
JP2010039732A (ja) 2010-02-18
TW201020888A (en) 2010-06-01
JP5027075B2 (ja) 2012-09-19
US8836670B2 (en) 2014-09-16
US20100253642A1 (en) 2010-10-07
WO2010016411A1 (ja) 2010-02-11
KR20110051164A (ko) 2011-05-17
EP2312421A1 (en) 2011-04-20

Similar Documents

Publication Publication Date Title
CN101878465A (zh) 图像处理装置、图像处理方法、图像输入设备和图像输入/输出设备
US11169636B2 (en) Detection apparatus
CN1154913C (zh) 光标形状随菜单条上的指示器位置改变的数字转换器***
CN101661371A (zh) 信息输入设备、信息输入方法、信息输入/输出设备
KR101454210B1 (ko) 표시장치 및 표시 방법
CN103186286B (zh) 在触摸传感器***中对多个触摸进行分割的方法
JP2008097172A (ja) 表示装置および表示方法
CN103150046B (zh) 用于对显示装置的触摸区域作标记的方法和装置
CN106201064B (zh) 触摸定位方法、装置及触摸屏
CN102576261A (zh) 触摸检测
US8553003B2 (en) Input detection method, input detection device, input detection program and media storing the same
US20080246740A1 (en) Display device with optical input function, image manipulation method, and image manipulation program
US20140267217A1 (en) Reducing display artifacts after non-display update periods
CN104615310B (zh) 一种确定候选触摸点的方法及装置
CN112379790B (zh) 触控显示面板的驱动方法、驱动电路及触控显示装置
JP2007334262A (ja) Ｔｆｔアレイ基板の欠陥検出方法、およびｔｆｔアレイ基板の欠陥検出装置
KR20150115024A (ko) 멀티 nfc 안테나를 이용하여 디스플레이 정보를 제공하는 시스템 및 그 방법
JP2008262569A (ja) 画像表示装置および画像表示装置の駆動方法
JP4919094B2 (ja) 画像表示装置および画像表示装置の駆動方法
JP2009037464A (ja) 画像表示装置及びコンピュータプログラム
US20080125993A1 (en) Display-Device Inspection Apparatus and Inspection Method
CN115691744A (zh) 一种lis***样本号批量打印***
CN105046695A (zh) 基于一维图像的投射电容触摸屏ito电路缺陷检测方法
CN106408577B (zh) 一种用于投影交互***的连续帧连通域并行标记方法
JP4449792B2 (ja) 位置座標入力装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NIPPON DISPLAY CO., LTD.

Free format text: FORMER OWNER: SONY CORPORATION

Effective date: 20121105

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20121105

Address after: Aichi

Applicant after: Japan display West Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Sony Corp.

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20101103