JP2010039732A - 画像処理装置、画像処理方法、画像入力装置および画像入出力装置 - Google Patents

Abstract

【課題】従来よりも高速なラベリング処理を実現することが可能な画像処理装置を提供する。
【解決手段】２値化データＤinによって表現される撮像画像において、各画素を順次走査する。また、その順次走査の際に、注目画素およびその周辺画素の画素データの値に応じて、撮像画像内における連結領域ごとの識別番号を示すレジスタ番号（ラベル情報）を注目画素において随時割り当てつつ、各ラベル情報に対応する連結領域ごとの付加情報（位置情報および面積情報）を随時更新する。これにより、１回の順次走査によって、撮像画像全体についてのラベル情報、位置情報および面積情報がそれぞれ得られる。
【選択図】図１

Description

本発明は、撮像機能を備えた画像入力装置、画像表示機能と撮像機能とを備えた画像入出力装置、ならびにそのような画像入力装置または画像入出力装置におけるラベリング処理の際に適用される画像処理装置および画像処理方法に関する。

画像表示装置には、タッチパネルを備えたものがある。このタッチパネルには、電気抵抗の変化を利用した抵抗型や、静電容量の変化を利用した静電容量型のほか、光学的に指等を検知する光学型タッチパネルがある。この光学型タッチパネルでは、例えば、バックライトからの光を液晶素子で変調して画像を表示面に表示すると共に、表示面から出射されて指等の近接物体によって反射された光を、表示面に配列された受光素子によって受光し、近接物体の位置等を検出するものである。このような画像表示装置について記載したものには、特許文献１が挙げられる。特許文献１に記載された表示装置は、画像を表示する表示手段と、物体を撮像する撮像手段とを有する表示部を備えたものである。

ところで、このような光学式のタッチパネルで複数点の検出を行うとき、受光素子から画像として取り込まれたデータにおいて、１つの点の塊とみなせる連結領域ごとに識別番号を付与する処理を行う場合がある（例えば、特許文献２）。このような処理は、ラベリング処理と呼ばれている。

特開２００４−１２７２７２号公報 特開２００２−１６４０１７号公報

ところが、特許文献２等の従来のラベリング処理では、ラベリング画像という２次元データをフレームメモリに一時記憶させておき、このラベリング画像に基づいてラベリング処理を行っていた。したがって、受光素子から得られるデータに対してリアルタイム処理を行うことは困難であり、より高速なラベリング処理の実現が望まれていた。

本発明はかかる問題点に鑑みてなされたもので、その目的は、従来よりも高速なラベリング処理を実現することが可能な画像処理装置および画像処理方法、ならびにそのような画像処理装置を備えた画像入力装置および画像入出力装置を提供することにある。

本発明の画像処理装置は、２値化された画素データによって表現される画像において、各画素を順次走査する走査部と、各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、画像内における連結領域ごとの識別番号を示すラベル情報を注目画素において随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、画像全体についてのラベル情報、上記位置情報および上記面積情報がそれぞれ取得されるように処理を行う情報取得部とを備えたものである。ここで、「連結領域」とは、１つの点の塊とみなすことが可能な画素領域を意味する。

本発明の画像処理方法は、２値化された画素データによって表現される画像において、各画素を順次走査すると共に、各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、画像内における連結領域ごとの識別番号を示すラベル情報を注目画素において随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、画像全体についてのラベル情報、上記位置情報および上記面積情報がそれぞれ取得されるように処理を行うものである。

本発明の画像入力装置は、撮像面に沿って配列され、外部近接物体で反射された光を受光する複数の受光要素を有する入力パネルと、各受光要素からの受光信号に基づいて得られる、２値化された画素データによって表現される撮像画像において、各画素を順次走査する走査部と、各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、撮像画像内における連結領域ごとの識別番号を示すラベル情報を注目画素において随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、撮像画像全体についてのラベル情報、上記位置情報および上記面積情報がそれぞれ取得されるように処理を行う情報取得部と、この情報取得部により得られたラベル情報、位置情報および面積情報に基づいて、上記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を取得する位置検出部とを備えたものである。

本発明の第１の画像入出力装置は、表示面に沿って配列され、画像信号に基づいて画像を表示する複数の表示要素と、表示面に沿って配列され、表示面から出射されて外部近接物体で反射された光を受光する複数の受光要素とを有する入出力パネルと、各受光要素からの受光信号に基づいて得られる、２値化された画素データによって表現される撮像画像において、各画素を順次走査する走査部と、各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、撮像画像内における連結領域ごとの識別番号を示すラベル情報を注目画素において随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、撮像画像全体についてのラベル情報、上記位置情報および上記面積情報がそれぞれ取得されるように処理を行う情報取得部と、この情報取得部により得られたラベル情報、位置情報および面積情報に基づいて、上記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を取得する位置検出部とを備えたものである。

本発明の第２の画像入出力装置は、第１基板および第２基板の間に液晶層を有する表示パネルと、この表示パネル内に形成され、第２基板のたわみにより接触可能な第１センサ電極および第２センサ電極を有すると共に第１センサ電極および第２センサ電極の接触による電位の変化を読み取ることにより、外部近接物体の位置に応じた第２基板のたわみ位置を検出する位置検出部とを備えた入出力パネルと、位置検出部からの位置検出信号に基づいて得られる、２値化された画素データによって表現される画像において、各画素を順次走査する走査部と、各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、画像内における連結領域ごとの識別番号を示すラベル情報を注目画素において随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、画像全体についてのラベル情報、上記位置情報および上記面積情報がそれぞれ取得されるように処理を行う情報取得部と、この情報取得部により得られたラベル情報、位置情報および面積情報に基づいて、上記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を取得する位置検出部とを備えたものである。

本発明の画像処理装置、画像処理方法、画像入力装置および画像入出力装置では、２値化された画素データによって表現される画像（例えば、撮像画像）において、各画素が順次走査される。その際、注目画素およびその周辺画素の画素データの値に応じて、画像内における連結領域ごとの識別番号を示すラベル情報が、注目画素において随時割り当てられつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報が、随時更新される。これにより、そのような順次走査の完了時点で、画像全体についてのラベル情報、上記位置情報および上記面積情報がそれぞれ得られる。すなわち、従来のようなラベリング画像の作成が不要となり、１回の順次走査によって、画像全体についてのラベル情報等がそれぞれ得られる。

本発明の画像処理装置、画像処理方法、画像入力装置または画像入出力装置によれば、２値化された画素データによって表現される画像において各画素を順次走査すると共に、その順次走査の際に、注目画素およびその周辺画素の画素データの値に応じて、画像内における連結領域ごとの識別番号を示すラベル情報を注目画素において随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新するようにしたので、１回の順次走査によって、画像全体についてのラベル情報、上記位置情報および上記面積情報をそれぞれ取得することができる。よって、従来よりも高速なラベリング処理を実現することが可能となる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る画像入出力装置１の概略構成を表すものである。また、図２は、本実施の形態に係る画像入出力装置１の詳細構成を表すものである。また、図３は、入出力パネルの一部を拡大した断面を表すものである。本実施の形態に係る画像入出力装置１は、図１に示すように、ディスプレイ１０と、このディスプレイ１０を利用する電子機器本体２０とを備えたものである。ディスプレイ１０は、入出力パネル１１、表示信号処理部１２、受光信号処理部１３および画像処理部１４を有し、電子機器本体２０は、制御部２１を有する。なお、本発明の第１の実施の形態に係る画像処理方法は、本実施の形態の画像入出力装置１によって具現化されるため、以下併せて説明する。

入出力パネル１１は、図２に示すように、複数の画素１６がマトリクス状に配列された液晶ディスプレイパネルで構成されたものであり、表示要素１１ａおよび受光要素１１ｂを備えている。表示要素１１ａは、光源となるバックライトから出射された光を利用して、図形や文字等の画像を表示面に表示する液晶素子である。受光要素１１ｂは、光を受光して電気信号として出力する、例えばフォトダイオード等の受光素子である。受光要素１１ｂは、バックライトの出射光が入出力パネル１１の外部の指等の外部近接物体によって反射されて戻ってきた反射光を受光して、受光信号を出力するものである。受光要素１１ｂは、本実施の形態の場合、画素１６毎に配置されて、面内に複数配列されている。

入出力パネル１１は、図２および図３に示したように、１対の透明基板３０，３１の間に、隔壁３２によって互いに分離された構造の複数の発光受光セルＣＷＲをマトリクス状に配列して構成されている。各発光受光セルＣＷＲは、発光セルＣＷ（ＣＷ１，ＣＷ２，ＣＷ３，…）と、これらの発光セルＣＷに内包された複数の受光セルＣＲ（ＣＲ１，ＣＲ２，ＣＲ３，…）とを備えている。発光セルＣＷは、表示要素１１ａとしての液晶セルからなり、受光セルＣＲは、受光要素１１ｂとしての受光素子ＰＤを含む。なお、受光セルＣＲにおいては、バックライトから出射された光ＬＢが入射しないように、バックライト側の透明基板３０と受光素子ＰＤとの間に遮蔽層３３が配置され、各受光素子ＰＤはバックライト光ＬＢの影響を受けず、バックライトと反対側の透明基板３１の方向から入射された光のみを検出するようになっている。

図１に示す表示信号処理部１２は、入出力パネル１１の前段に接続され、入出力パネル１１が表示データに基づいて画像を表示するように、入出力パネル１１の駆動を行う回路である。

表示信号処理部１２は、図２に示すように、表示信号保持制御部４０、発光側スキャナ４１、表示信号ドライバ４２および受光側スキャナ４３を備えている。表示信号保持制御部４０は、表示信号生成部４４から出力される表示信号を１画面毎（１フィールドの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）等で構成されるフィールドメモリに格納して保持すると共に、各発光セルＣＷを駆動する発光側スキャナ４１および表示信号ドライバ４２、および各受光セルＣＲを駆動する受光側スキャナ４３を連動して動作するように制御する機能を有する。具体的には、発光側スキャナ４１には発光タイミング制御信号を、受光側スキャナ４３には受光タイミング制御信号を、表示信号ドライバ４２には制御信号およびフィールドメモリに保持されている表示信号に基づいて、１水平ライン分の表示信号を出力する。これらの制御信号および表示信号により、線順次動作が行われるようになっている。

発光側スキャナ４１は、表示信号保持制御部４０から出力される発光タイミング制御信号に応じて駆動対象の発光セルＣＷを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された発光用ゲート線を介して発光用選択信号を供給し、発光素子選択スイッチを制御する。つまり、発光用選択信号によりある画素１６の発光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６では表示信号ドライバ４２から供給された電圧に対応した輝度の発光動作がなされるようになっている。

表示信号ドライバ４２は、表示信号保持制御部４０から出力される１水平ライン分の表示信号に応じて駆動対象の発光セルＣＷに表示データを供給する機能を有する。具体的には、入出力パネル１１の各画素１６に接続されたデータ供給線を介して前述の発光側スキャナ４１により選択された画素１６に表示データに対応する電圧を供給する。この発光側スキャナ４１および表示信号ドライバ４２が連動して線順次動作することにより、任意の表示データに対応する画像が入出力パネル１１に表示される。

受光側スキャナ４３は、表示信号保持制御部４０から出力される受光タイミング制御信号に応じて駆動対象の受光セルＣＲを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された受光用ゲート線を介して受光用選択信号を供給し、受光素子選択スイッチを制御する。つまり、前述の発光側スキャナ４１の動作と同様に、受光用選択信号によりある画素１６の受光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６から検出された受光信号が受光信号レシーバ４５に出力されるようになっている。これにより、例えばある発光セルＣＷからの出射光に基づいて接触あるいは近接する物体において反射した光を、受光セルＣＲが受光し、検出することが可能となる。また、この受光側スキャナ４３からは、受光信号レシーバ４５および受光信号保持部４６へ受光ブロック制御信号が出力され、これら受光動作に寄与するブロックを制御する機能も有する。なお、本実施の形態の画像入出力装置１においては、前述の発光用ゲート線および受光用ゲート線は各発光受光セルＣＷＲに対して別個に接続され、発光側スキャナ４１および受光側スキャナ４３はそれぞれ、独立して動作することが可能となっている。

図１に示す受光信号処理部１３は、入出力パネル１１の後段に接続され、受光要素１１ｂからの受光信号を取り込んで増幅等を行うものである。この受光信号処理部１３は、図２に示すように、受光信号レシーバ４５および受光信号保持部４６を備えている。

受光信号レシーバ４５は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、各受光セルＣＲから出力された１水平ライン分の受光信号を取得する機能を有する。この受光信号レシーバ４５において取得された１水平ライン分の受光信号は、受光信号保持部４６へ出力される。

受光信号保持部４６は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、受光信号レシーバ４５から出力される受光信号を１画面ごと（１フィールドの表示ごと）の受光信号に再構成し、例えば、ＳＲＡＭなどから構成されるフィールドメモリに格納して保持する機能を有する。受光信号保持部４６において格納された受光信号のデータは、画像処理部１４（図１）内の位置検出部４７へ出力される。なお、この受光信号保持部４６はメモリ以外の記憶素子から構成されていてもよく、例えば受光信号をアナログデータ（電荷）として容量素子に保持しておくことも可能である。

画像処理部１４（図１）は、受光信号処理部１３の後段に接続され、受光信号処理部１３から撮像画像を取り込んで、２値化やノイズ除去、ラベリング等の処理を行い、外部近接物体の点情報、すなわち外部近接物体の重心や中心座標、および外部近接物体の領域（サイズや形状）を示す情報を得る回路である。

具体的には、画像処理部１４におけるラベリング処理部１４ａ（画像処理装置）が、以下のようにしてラベリング処理を行い、撮像画像全体についてのラベル情報（撮像画像内における連結領域ごとの識別番号を示す情報）、連結領域ごとの位置情報および面積情報をそれぞれ取得するようになっている。すなわち、詳細は後述するが、ラベリング処理部１４ａは、２値化された画素データによって表現される撮像画像において、各画素を順次走査すると共に、その順次走査の際に、注目画素およびその周辺画素の画素データの値に応じて、ラベル情報を注目画素において随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、上記ラベル情報、位置情報および面積情報をそれぞれ取得するようになっている。なお、このラベリング処理部１４ａが、本発明における「走査部」および「情報取得部」の一具体例に対応する。

また、画像処理部１４における位置検出部４７（図２）は、ラベリング処理部１４ａより得られた上記ラベル情報、位置情報および面積情報に基づいて信号処理を行い、受光セルＣＲにおいて検出された物体が存在する位置等を特定するようになっている。これにより、接触あるいは近接する指等の位置を特定することが可能となる。

電子機器本体２０（図１）は、ディスプレイ１０の表示信号処理部１２に対して表示データを出力すると共に、画像処理部１４から点情報を入力するようになっている。制御部２１は、点情報を用いて表示画像を変化させるものである。

制御部２１（図１）は、図２に示すように、表示信号生成部４４を備えている。表示信号生成部４４は、図示しないＣＰＵ（Central Processing Unit）などにより生成され、供給された画像データに基づいて、例えば、１画面ごと（１フィールドの表示ごと）に表示するための表示信号を生成し、それを表示信号保持制御部４０に出力するようになっている。

次に、図４および図５を参照して、ラベリング処理部１４ａの詳細構成について説明する。図４は、このラベリング処理部１４ａの詳細構成をブロック図で表したものである。また、図５は、本実施の形態のラベリング処理の際に用いられる２値化データ、ラインバッファ、アドレスリストおよび付加情報の一例を模式的に表したものである。

ラベリング処理部１４ａは、図４に示すように、条件判定回路１４１と、新規ラベル発行回路１４２と、アドレスリスト１４３と、ラインバッファ１４４と、ラインバッファ制御回路１４５と、アドレスリスト制御回路１４６と、ラベルメモリコントローラ１４７と、付加情報メモリ１４８とを有している。

条件判定回路１４１は、例えば図５中に示したような、２値化された画素データである２値化データＤinを順次取得し、注目画素およびその周辺画素の画素データの値に応じて、ラベル情報の割り当て処理と、連結領域ごとの位置情報および面積情報の更新処理とを、それぞれ行うか否かについて判定するものである。具体的には、注目画素における画素データの値の有効または無効の判定（ここでは、有効値「１」であるのか、無効値「０」であるかの判定）を行うと共に、周辺画素（ここでは、注目画素の左側の画素および上側の画素）ラベル情報を参照し、無効ラベルまたは新規ラベル（新たなラベル情報）の発行および割り当て、ならびにラベルの統合作業の指令を出すようになっている。また、この条件判定回路１４１は、注目画素が１ラインの終端（ここでは、右端）に位置する場合には、アドレスリストの整理の指令を出すようになっている。

新規ラベル発行回路１４２は、条件判定回路１４１による判定結果に基づいて、新規ラベルの発行を行うものである。具体的には、ラベルが新規の場合に、アドレスリスト１４３において、未使用のレジスタ番号（ラベル情報に対応）を発行するようになっている。

ラインバッファ１４４は、例えば図５に示したように、１ライン分のレジスタ番号（ラベル情報）を記憶する部分である。なお、図５等において示したラインバッファ（イメージ）１４４ａは、後述のラベリング処理の説明のために便宜上示したものであり、実際のラインバッファ１４４は１ライン分のバッファとなっている。

ラインバッファ制御回路１４５は、ラインバッファ１４４におけるレジスタ番号の書き込みおよび読み出し等の制御を行うものである。

付加情報メモリ１４８は、例えば図５に示したような付加情報、すなわち、各ラベル情報に対応する連結領域ごとの位置情報（ｘｓｕｍ；連結領域内のｘ座標値の合計値、ｙｓｕｍ；連結領域内のｙ座標値の合計値、ｒｅｇｉｏｎ；連結領域内のｘ座標，ｙ座標の最小値や最大値など）および面積情報（ｓｕｍ；連結領域内の画素数）をそれぞれ、ラベル番号（アドレス番号に対応）と対応づけて記憶するものである。

アドレスリスト１４３は、例えば図５に示したように、ラインバッファ１４４に記憶されているレジスタ番号（ＲｅｇＮｏ；ラベル情報に対応）と、付加情報メモリ１４８に記憶されているラベル番号（Ｎｏ；アドレス番号に対応）と、各ラベル情報についての割り当ての有無（Ｆｌａｇ）とを、それぞれ対応づけて記憶するものである。具体的には、レジスタ番号を配列のポインタとして保持し、配列の中にラベル番号が記述されるようになっており、このラベル番号は、ラベル番号の番地そのものともなっている。これにより、レジスタ番号に対するラベル番号のひも付けがなされている。

アドレスリスト制御回路１４６は、アドレスリスト１４３における情報の書き込みおよび読み出し等の制御を行うものである。

ラベルメモリコントローラ１４７は、付加情報メモリ１４８における付加情報の書き込みおよび読み出し等の制御を行い、前述した撮像画像全体についてのラベル情報、連結領域ごとの位置情報および面積情報をそれぞれ、ラベル情報Ｄoutとして出力するものである。

次に、図１〜図５に加えて図６〜図２３を参照して、本実施の形態の画像入出力装置１の作用について説明する。図６は、画像入出力装置１による画像処理全体の流れを表すものである。また、図７は、本実施の形態のラベリング処理の詳細を流れ図で表したものである。また、図８〜図２３は、本実施の形態のラベリング処理の詳細を模式的に表したものである。

まず、図６を参照して、画像入出力装置１の基本動作について説明する。

電子機器本体２０から出力された表示データは、表示信号処理部１２に入力される。表示信号処理部１２は、表示データに基づいて入出力パネル１１に画像が表示されるように、入出力パネル１１を駆動させる。

入出力パネル１１は、バックライトからの出射光を用いて画像を表示要素１１ａに表示する一方、受光要素１１ｂを駆動している。そして、表示要素１１ａに指等の外部近接物体が接触または近接すると、表示要素１１ａに表示された画像が外部近接物体で反射されて、この反射光が受光要素１１ｂで検出される。この検出によって、受光要素１１ｂからは受光信号が出力される。そして受光信号処理部１３は、この受光信号を入力して増幅等の処理を行い、受光信号を処理する（図６のステップＳ１０）。このようにして、受光信号処理部１３において、撮像画像が得られる。

次に、画像処理部１４は、受光信号処理部１３から撮像画像を入力し、この撮像画像に対し２値化処理を行う（ステップＳ１１）。すなわち、画像処理部１４は、予め設定された閾値を記憶しており、例えば、撮像画像データの信号強度が閾値よりも小さいか、または閾値以上であるかを比較して、それぞれ「０」または「１」に設定する２値化処理を行う。これにより外部近接物体で反射された光を受光した部分が「１」に設定され、他の部分が「０」に設定される。

そして、画像処理部１４は、２値化された撮像画像から、孤立点を除去する（ステップＳ１２）。すなわち、画像処理部１４は、上記のように２値化されている場合、外部近接物体から孤立している「１」に設定された部分を除去することにより、ノイズ除去を行う。

この後、画像処理部１４は、ラベリング処理部１４ａにおいて、ラベリング処理を行う（ステップＳ１３）。すなわち、ラベリング処理部１４ａは、上記のように２値化されている場合、「１」に設定された部分に対してラベリング処理を行う。そして、ラベリング処理部１４ａは、「１」に設定された領域を外部近接物体の領域として検出し、この領域の重心または中心座標を得る。このようなデータは、点情報（前述したラベル情報Ｄout）として制御部２１に出力される。

次に、制御部２１は、画像処理部１４から入力した点情報を用いて、表示画像を変化させる等の必要な処理を行う。例えば、画面に何らかの操作メニューを表示した場合を仮定すると、その操作メニューの中のどのボタンがユーザの指によって選択されたのかを検知し、その選択されたボタンに対応する命令を実行する。以上により、画像入出力装置１における基本動作が終了となる。

次に、図７〜図２３を参照して、本発明の特徴部分の１つであるラベリング処理部１４ａによるラベリング処理について、詳細に説明する。

最初に、例えば図８に示したように、ラインバッファ１４４、アドレスリスト１４３および付加情報メモリ１４８ではそれぞれ、値が初期化されている。そして、まず条件判定回路１４１は、２値化データＤinからなる撮像画像において、注目画素の画素値（画素データ）が「１」（有効値）であるか否かを判定する（図７のステップＳ１３１）。

ここで、例えば図９に示したように、注目画素の画素データが「０」（無効値）である場合には（ステップＳ１３１：Ｎ）、ラインバッファ制御部１４５およびアドレスリスト制御部１４６はそれぞれ、この注目画素においてラベル情報の発行および割り当てを行わない。すなわち、例えば図１０に示したように、ラインバッファ１４４およびアドレスリスト１４３において、「ｚ」（無効ラベル）を割り当てる（ステップＳ１３２）。そしてその後は、条件判定部１４１は、１ライン分の走査が終了したか否か（注目画素が１ラインの右端に位置するのか否か）を判定する（ステップＳ１４４）。

ここで、１ライン分の走査がまだ終了していない場合には（ステップＳ１４４：Ｎ）、例えば図１１に示したように、そのライン内で次の画素（右隣の画素）へ、注目画素を移動させる（順次走査する）（ステップＳ１４５）。そして次に、再びステップＳ１３１へと戻る。

ここで、例えば図１１に示したように、注目画素の画素データが「１」（有効値）である場合には（ステップＳ１３１：Ｙ）、次に条件判定回路１４１は、その周辺画素（ここでは、注目画素の上側および左側の画素）のラベルが有効であるのかまたは無効であるのか（周辺画素の画素データが有効値であるのか無効値であるのか、注目画素が孤立点であるのか否か）を判定する（ステップＳ１３３）。ここでは、図１１に示したように、注目画素の上側の画素および左側の画素において、いずれもラベルが無効（画素データが「０」（無効値）、注目画素が孤立点である）であるため（ステップＳ１３３：両方無効）、新規ラベル発行回路１４２は、例えば図１２に示したように、この注目画素において、新規ラベル（新たなラベル情報）を発行して割り当てる（ステップＳ１３４）。また、それと共に、ラインバッファ制御部１４５、アドレスリスト制御部１４６およびラベルメモリコントローラ１４７はそれぞれ、例えば図１２に示したように、付加情報も併せて更新する（ステップＳ１３５）。その後はこの場合、例えば図１３に示したように、再びステップＳ１４４，Ｓ１４５の処理が繰り返されることになる。なお、図１３等において、２値化データＤin内の画素中に示した「（１）」等は、その画素に割り当てられたレジスタ番号（ラベル情報）を意味している。

次に、例えば図１４に示したように、ステップＳ１３１，Ｓ１３２，Ｓ１４４，Ｓ１４５の処理、または、ステップＳ１３１，Ｓ１３４，Ｓ１３５，Ｓ１４４，Ｓ１４５の処理が繰り返される。そして、１ライン分の走査が終了したと判定された場合（ステップＳ１４４：Ｙ）、次に条件判定回路１４１は、撮像画像内の全ラインの走査が終了したか否かを判定する（ステップＳ１４６）。

ここで、図１４に示したように、全ライン分の走査がまだ終了していない場合には（ステップＳ１４６：Ｎ）、次に、１ライン分の走査終了時のアドレスリストの整理が行われ（ステップＳ１４７）、例えば図１５に示したように、次のライン内の最初の画素（左端の画素）へ、注目画素を移動させる（順次走査する）（ステップＳ１４８）。ただし、ここでは（図１４に示した場合では）アドレスリストの整理が行われないため、このアドレスリストの整理については後述する。なお、その後はステップＳ１３１へと戻ることになる。

一方、例えば図１６に示したような場合には、アドレスリスト制御回路１４６は、以下説明するアドレスリストの整理を行う（ステップＳ１４７）。具体的には、例えば図１７に示したように、アドレスリスト１４３において、ラインバッファ１４４内に存在しないレジスタ番号のフラグを「０」（そのレジスタ番号に対応するラベル情報が割り当てられていないことを示す）に設定する。これにより、例えば図１８に示したように、その後、アドレスリスト１４３においてフラグが「０」となっているレジスタ番号の再利用（ラベル情報の再利用）が可能となる。なお、その後は、図１８に示したように次のライン内の最初の画素へ注目画素が移動し（ステップＳ１４８）、ステップＳ１３１へと戻ることになる。

次に、例えば図１９に示したように、ステップＳ１３１において注目画素の画素データが「１」（有効値）であると判定される（ステップＳ１３１：Ｙ）と共に、ステップＳ１３３において、注目画素の上側の画素のラベルのみが有効（画素データが「１」（有効値））であると判定された場合（ステップＳ１３３：上のみ有効）、以下説明するステップＳ１３６，Ｓ１３７の処理が行われる。すなわち、例えば図１９に示したように、注目画素において、上側の画素と同一のラベルが割り当てられる（有効値を示す画素に割り当てられている発行済みのラベル情報が割り当てられる）（ステップＳ１３６）と共に、付加情報（連結領域ごとの位置情報および面積情報）がそれぞれ更新される（ステップＳ１３７）。

一方、ステップＳ１３１において注目画素の画素データが「１」であると判定される（ステップＳ１３１：Ｙ）と共に、ステップＳ１３３において、注目画素の左側の画素のラベルのみが有効であると判定された場合（ステップＳ１３３：左のみ有効）、以下説明するステップＳ１３８，Ｓ１３９の処理が行われる。すなわち、注目画素において、左側の画素と同一のラベルが割り当てられる（ステップＳ１３８）と共に、付加情報がそれぞれ更新される（ステップＳ１３９）。

また、例えば図２０に示したように、ステップＳ１３１において注目画素の画素データが「１」であると判定される（ステップＳ１３１：Ｙ）と共に、ステップＳ１３３において、注目画素の上側の画素および左側の画素のラベルが両方とも有効であると判定された場合（ステップＳ１３３：両方有効）、次に条件判定回路１４１は、上側の画素と左側の画素とでラベルが異なるのか否かを判定する（ステップＳ１４０）。ここで、上側の画素と左側の画素とでラベルが同一である場合には（ステップＳ１４０：Ｎ）、前述したステップＳ１３８，Ｓ１３９の処理が行われる。

一方、ステップＳ１４０において、上側の画素と左側の画素とでラベルが異なると判定された場合（ステップＳ１４０：Ｙ）、以下説明するアドレスリストの統合処理（ステップＳ１４１）が行われ、上側の画素および左側の画素のうちの選択した１画素と同一のラベルが割り当てられる（ステップＳ１４２）と共に、付加情報がそれぞれ更新される（ステップＳ１４３）。具体的には、ラインバッファ制御部１４５、アドレスリスト制御部１４６およびラベルメモリコントローラ１４７はそれぞれ、例えば図２１および図２２に示したように、上側の画素および左側の画素のうち、左側の画素のレジスタ番号（ＲｅｇＮｏ；ラベル情報に対応）を選択すると共に、ラベル番号（Ｎｏ；アドレス番号に対応）の小さいほうに付加情報を統合させる。これにより、２つの連結領域の統合がなされ、同じラベルが割り当てられることになる。

このようにして、ステップＳ１３１〜Ｓ１４８に示したラベリング処理が行われることにより、例えば図２３に示したように、撮像画像全体についてのラベル情報、連結領域ごとの位置情報および面積情報をそれぞれ、ラベル情報Ｄoutとして得られる。そして、ステップＳ１４６において、全ライン分の走査が終了したと判定された場合には（ステップＳ１４６：Ｙ）、ラベリング処理が終了となる。

このように本実施の形態のラベリング処理では、２値化データＤinによって表現される撮像画像において、各画素が順次走査される。そして、その順次走査の際に、注目画素およびその周辺画素の画素データの値に応じて、レジスタ番号（ラベル情報）が注目画素において随時割り当てつつ、各ラベル情報に対応する連結領域ごとの付加情報（位置情報および面積情報）が随時更新される。これにより、そのような順次走査の完了時点で、撮像画像全体についてのラベル情報、連結領域ごとの位置情報および面積情報がそれぞれ得られる。すなわち、従来のようなラベリング画像の作成が不要となり、１回の順次走査によって、画像全体についてのラベル情報等がそれぞれ得られる。

以上のように本実施の形態では、２値化データＤinによって表現される撮像画像において各画素を順次走査すると共に、その順次走査の際に、注目画素およびその周辺画素の画素データの値に応じて、撮像画像内における連結領域ごとの識別番号を示すレジスタ番号（ラベル情報）を注目画素において随時割り当てつつ、各ラベル情報に対応する連結領域ごとの付加情報（位置情報および面積情報）を随時更新するようにしたので、１回の順次走査によって、撮像画像全体についてのラベル情報、位置情報および面積情報をそれぞれ取得することができる。よって、従来よりも高速なラベリング処理を実現することが可能となる。

また、高速なラベリング処理が実現されるため、従来と比べてラベリング処理のリアルタイム性を向上させることができ、ストリーミング処理を実現することが可能となる。

また、従来のようなラベリング画像の作成が不要となるため、そのような画像を保持するためのフレームメモリも不要となる。すなわち、本実施の形態ではラインバッファを用いてラベリング処理が行われるため、従来と比べて使用するメモリ量を小さくすることができる。よって、ラベリング処理のハードウェア上での実現が容易となる。

［第２の実施の形態］ 次に、本発明の第２の実施の形態について説明する。本実施の形態の画像入出力装置は、図１に示した第１の実施の形態の画像入出力装置１において、ラベリング処理部１４ａの代わりに、後述するラベリング処理部１４ｂを設けるようにしたものである。なお、第１の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。

図２４は、本実施の形態のラベリング処理部１４ｂのブロック構成を表したものである。このラベリング処理部１４ｂは、条件判定回路１４１と、新規ラベル発行回路１４２と、ラインバッファ１４４ｂと、ラベルメモリコントローラ１４７と、付加情報メモリ１４８と、空き番地情報レジスタ１４９とを有している。すなわち、図４に示した第１の実施の形態のラベリング処理部１４ａにおいて、アドレスリスト１４３およびアドレスリスト制御部１４６の代わりに空き番地情報レジスタ１４９を設けると共に、ラインバッファ１４４およびラインバッファ制御部１４５の代わりにラインバッファ１４４ｂを設けるようにしたものである。

ラインバッファ１４４ｂは、例えば図２５に示したように、１ライン分のラベル番号（ラベル情報に対応）を記憶する部分である。また、このラインバッファ１４４ｂは、画素単位のコントローラを含んで構成され、これにより、注目画素およびその周辺画素（ここでは、上側の画素および左側の画素）のラベル番号の参照、書き込みおよび更新等が可能となっている。なお、図２５等において示したラインバッファ（イメージ）１４８ａは、後述のラベリング処理の説明のために便宜上示したものであり、実際のラインバッファ１４８は１ライン分のバッファとなっている。

空き番地情報レジスタ１４９は、例えば図２５に示したように、各ラベル番号についての割り当ての有無（Ｂｌａｎｋ ｌｉｓｔ）を記憶するものである。この空き番地情報レジスタ１４９は、新規ラベル発行回路１４２と共に、使用中または未使用のラベル番号の管理、新規ラベル番号の検索等を行うようになっている。具体的には、新規発行したラベル番号は使用中となると共に、統合によって消滅したラベル番号は未使用への番号として適時書き換えられる。これにより、使用したラベル番号を何度でも再利用することができるようになっている。なお、ここでは、番号の若い順にラベル番号を使用するようになっている。

また、本実施の形態の付加情報メモリ１４８は、例えば図２５に示したような付加情報、すなわち、上記したラベル番号（Ｎｏ）と、各ラベル情報に対応する連結領域ごとの位置情報（ｘｓｕｍ、ｙｓｕｍ、ｒｅｇｉｏｎ）および面積情報（ｓｕｍ）とを、それぞれ対応づけて記憶するものである。また、ラベル番号の更新は、ラベルメモリコントローラ１４７においてアクセス中（注目画素）のカレントラベル上で行われ、番号が変化する場合、または１ラインの走査が終了した時点で、付加情報メモリ１４８への書き込みが行われるようになっている。

次に、図２４および図２５に加えて図２６〜図３７を参照して、本実施の形態の画像入出力装置の作用について説明する。図２６および図２７は、本実施の形態のラベリング処理の詳細を流れ図で表したものである。また、図２８〜図３７は、本実施の形態のラベリング処理の詳細を模式的に表したものである。なお、画像入出力装置の基本動作は第１の実施の形態と同様であるため、説明を省略する。

最初に、例えば図２８に示したように、ラインバッファ１４８、付加情報メモリ１４８および空き番地情報レジスタ１４９ではそれぞれ、値が初期化されている。そして、まず条件判定回路１４１は、２値化データＤinからなる撮像画像において、注目画素の画素値（画素データ）が「１」（有効値）であるか否かを判定する（図２６のステップＳ２３１）。

ここで、例えば図２９に示したように、注目画素の画素データが「０」（無効値）である場合には（ステップＳ２３１：Ｎ）、この注目画素において、ラベル番号の発行および割り当てが行われない。具体的には、条件判定回路１４１は、次に、注目画素の左側の画素のラベルが「０」であるか否かを判断する（ステップＳ２３２）。ここでは、左側の画素のラベルが「０」ではないため（ステップＳ２３２：Ｎ）、ラインバッファ１４４ｂおよびラベルメモリコントローラ１４７はそれぞれ、以下のステップＳ２３３，２３４の処理を行う。すなわち、図２９に示したように、カレントラベル情報「０」を付加情報メモリ１４８に記録する（ステップＳ２３３）と共に、カレントラベル情報をラベルメモリコントローラ１４７から消去し（ステップＳ２３４）、次にステップＳ２４５へと進む。なお、左側の画素のラベルが「０」である場合には（ステップＳ２３２：Ｙ）、直接ステップＳ２４５へと進む。このステップＳ２４５では、条件判定回路１４１は、１ライン分の走査が終了したか否か（注目画素が１ラインの右端に位置するのか否か）を判定する（図２７のステップＳ２４５）。

ここで、１ライン分の走査がまだ終了していない場合には（ステップＳ２４５：Ｎ）、例えば図３０に示したように、そのライン内で次の画素（右隣の画素）へ、注目画素を移動させる（順次走査する）（ステップＳ２４６）。そして次に、再びステップＳ２３１へと戻る。

一方、１ライン分の走査が終了したと判定された場合（ステップＳ２４５：Ｙ）、次に条件判定回路１４１は、注目画素の左側の画素のラベルが「０」であるか否かを判断する（ステップＳ２４７）。ここでは、左側の画素のラベルが「０」であるため（ステップＳ２３２：Ｙ）、次にステップＳ２５０へと進む。なお、左側の画素のラベルが「１」である場合には（ステップＳ２４７：Ｎ）、ラインバッファ１４４ｂおよびラベルメモリコントローラ１４７はそれぞれ、以下のステップＳ２４８，２４９の処理を行う。すなわち、カレントラベル情報「０」を付加情報メモリ１４８に記録する（ステップＳ２４８）と共に、カレントラベル情報をラベルメモリコントローラ１４７から消去し（ステップＳ２４９）、ステップＳ２５０へと進む。

このステップＳ２５０では、条件判定回路１４１は、撮像画像内の全ラインの走査が終了したか否かを判定する（ステップＳ２５０）。ここでは、全ライン分の走査がまだ終了していないため（ステップＳ２５０：Ｎ）、例えば図３０に示したように、次のライン内の画素へ注目画素が移動し（順次走査し）（ステップＳ２５１）、ステップＳ２３１へと戻る。この際、本実施の形態ではアドレスリスト１４３が設けられていないため、第１の実施の形態とは異なり、アドレスの整理が行われない。

一方、例えば図３０に示したように、注目画素の画素データが「１」（有効値）である場合には（ステップＳ２３１：Ｙ）、次に条件判定回路１４１は、その周辺画素（ここでは、注目画素の上側および左側の画素）のラベルが有効であるのかまたは無効であるのか（周辺画素の画素データが有効値であるのか無効値であるのか、注目画素が孤立点であるのか否か）を判定する（ステップＳ２３５）。ここでは、図３０に示したように、注目画素の上側の画素および左側の画素において、いずれもラベルが無効（画素データが「０」（無効値）、注目画素が孤立点である）であるため（ステップＳ２３５：両方無効）、新規ラベル発行回路１４２は、空き番地情報レジスタ１４９を用いて、例えば図３０に示したように、空きラベル番号の検索を行う（ステップＳ２３６）。また、それと共に、ラインバッファ１４４ｂおよびラベルメモリコントローラ１４７はそれぞれ、例えば図３０に示したように、現在地情報をカレントラベル情報とすることにより、注目画素において新規ラベル（新たなラベル情報）を割り当てる（ステップＳ２３７）。なお、その後はこの場合、例えば図３１に示したように、再びステップＳ２４５，Ｓ２４６の処理が繰り返されることになる。なお、図３１等において、２値化データＤin内の画素中に示した「（１）」等は、その画素に割り当てられたラベル番号（ラベル情報）を意味している。

次に、例えば図３２に示したように、この場合、ステップＳ２３１，Ｓ２３２〜Ｓ２３４，Ｓ２４５，Ｓ２４６の処理、または、ステップＳ２３１，Ｓ２３５，Ｓ２３６，Ｓ２３７，Ｓ２４５，Ｓ２４６の処理が繰り返される。

次に、例えば図３２に示したように、ステップＳ２３１において注目画素の画素データが「１」（有効値）であると判定される（ステップＳ２３１：Ｙ）と共に、ステップＳ２３５において、注目画素の上側の画素のラベルのみが有効（画素データが「１」（有効値））であると判定された場合（ステップＳ２３５：上のみ有効）、以下説明するステップＳ２３８の処理が行われる。すなわち、ラインバッファ１４４ｂおよびラベルメモリコントローラ１４７はそれぞれ、例えば図３２に示したように、（現在地情報＋上側の画素のラベル情報）をカレントラベル情報とすることにより、注目画素において、上側の画素と同一のラベルが割り当てられる。これにより、例えば図３３に示したように、付加情報（連結領域ごとの位置情報および面積情報）がそれぞれ更新される。

一方、例えば図３４に示したように、ステップＳ２３１において注目画素の画素データが「１」であると判定される（ステップＳ２３１：Ｙ）と共に、ステップＳ２３５において、注目画素の左側の画素のラベルのみが有効であると判定された場合（ステップＳ２３５：左のみ有効）、以下説明するステップＳ２３９の処理が行われる。すなわち、例えば図３４に示したように、（現在地情報＋左側の画素のラベル情報）をカレントラベル情報とすることにより、注目画素において、左側の画素と同一のラベルが割り当てられる。

また、例えば図３５に示したように、ステップＳ２３１において注目画素の画素データが「１」であると判定される（ステップＳ２３１：Ｙ）と共に、ステップＳ２３５において、注目画素の上側の画素および左側の画素のラベルが両方とも有効であると判定された場合（ステップＳ２３５：両方有効）、次に条件判定回路１４１は、上側の画素と左側の画素とでラベルが異なるのか否かを判定する（ステップＳ２４０）。ここで、上側の画素と左側の画素とでラベルが同一である場合には（ステップＳ２４０：Ｎ）、前述したステップＳ２３９の処理が行われる。

一方、ステップＳ２４０において、上側の画素と左側の画素とでラベルが異なると判定された場合（ステップＳ２４０：Ｙ）、以下説明するステップＳ２４１〜Ｓ２４４の処理が行われ、上側の画素および左側の画素のうちの選択した１画素と同一のラベルが割り当てられると共に、付加情報がそれぞれ更新される。具体的には、ラインバッファ１４４ｂおよびラベルメモリコントローラ１４７はそれぞれ、例えば図３５に示したように、（現在地情報＋上側の画素のラベル情報＋左側の画素のラベル情報）をカレントラベル情報とする（ステップＳ２４１）。また、それと共に、例えば図３５に示したように、ラインバッファ１４４ｂ上のラベル番号を、更新先のラベル番号へ一括更新する（ステップＳ２４２）。そして、上側の画素および左側の画素のうちの大きいほうのラベル番号が付加情報メモリ１４８から消去され（ステップＳ２４３）、空き番地情報（空きラベル番号）が更新される（ステップＳ２４４）。これにより、例えば図３６に示したように、２つの連結領域の統合がなされ、同じラベルが割り当てられることになる。

このようにして、ステップＳ２３１〜Ｓ２５１に示したラベリング処理が行われることにより、例えば図３７に示したように、撮像画像全体についてのラベル情報、連結領域ごとの位置情報および面積情報をそれぞれ、ラベル情報Ｄoutとして得られる。そして、ステップＳ２５０において、全ライン分の走査が終了したと判定された場合には（ステップＳ２５０：Ｙ）、ラベリング処理が終了となる。

ここで、本実施の形態のラベリング処理においても、第１の実施の形態と同様に、２値化データＤinによって表現される撮像画像において、各画素が順次走査される。そして、その順次走査の際に、注目画素およびその周辺画素の画素データの値に応じて、ラベル番号（ラベル情報）が注目画素において随時割り当てつつ、各ラベル情報に対応する連結領域ごとの付加情報（位置情報および面積情報）が随時更新される。これにより、そのような順次走査の完了時点で、撮像画像全体についてのラベル情報、連結領域ごとの位置情報および面積情報がそれぞれ得られる。すなわち、従来のようなラベリング画像の作成が不要となり、１回の順次走査によって、画像全体についてのラベル情報等がそれぞれ得られる。

以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、１回の順次走査によって、撮像画像全体についてのラベル情報、位置情報および面積情報をそれぞれ取得することができる。よって、従来よりも高速なラベリング処理を実現することが可能となる。

また、本実施の形態では、第１の実施の形態におけるアドレスリスト１４３が不要となっており、ラベル情報を直接更新することができるため、第１の実施の形態と比べてリアルタイム性をより向上させることができる。よって、ハードウェア上でのラベリング処理の実現がより容易となると共に、使用するメモリ量をより小さくすることができる。

以上、第１および第２の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々変形が可能である。

例えば、上記実施の形態では、注目画素の周辺画素として、注目画素の上側および左側の２方向の画素を用いてラベリング処理を行う場合について説明したが、例えば、注目画素の上側、左側および右上側の３方向の画素を周辺画素としてラベリング処理を行うようにしてもよい。

また、上記実施の形態では、画素データの値が「１」のときを有効値とすると共に、画素データが「０」のときを無効値とした場合について説明したが、逆に、画素データの値が「０」のときを有効値とすると共に、画素データが「１」のときを無効値としてもよい。

また、図２および図３に示した例では、１つの発光セルに対応して１つの受光セルを設けるようにしたが、複数の発光セルに対応して１つの受光セルを設けるようにしてもよい。

また、上記実施の形態で説明した画像入出力装置１，２では、入出力パネル１１として、液晶ディスプレイパネルを用いた構成について説明した。しかしながら、本発明の画像入出力装置は、入出力パネルとして、有機エレクトロルミネッセンス（ＥＬ）パネル等を用いた構成にすることもできる。有機ＥＬ素子は、順方向バイアス電圧を印加すると発光動作をし、逆方向バイアス電圧を印加すると受光して電流を発生する性質を有する。このため、有機ＥＬ素子は、表示要素１１ａと受光要素１１ｂとを有することになる。入出力パネル１１は、有機ＥＬ素子を画素１６毎に配置することで構成され、表示データに応じて各有機ＥＬ素子に順方向バイアス電圧を印加して発光動作をさせると画像を表示し、他の有機ＥＬ素子に逆方向バイアス電圧を印加して反射光を受光することになる。

また、上記実施の形態では、複数の表示要素１１ａと複数の受光要素１１ｂとを有する入出力パネル１１を備えた画像入出力装置１を例に挙げて本発明を説明したが、本発明は、複数の受光要素１１ｂを有する入力パネルを備えた画像入力装置（撮像装置）にも適用することが可能である。

また、本発明の画像処理装置は、受光要素１１ｂにより得られた受光信号に基づく撮像画像だけでなく、他の手法により生成された画像にも適用することが可能である。具体的には、本発明の画像処理装置は、例えば、図３８に示した入出力パネル５（画素Ｐｘにおける断面構造）を備えた画像入出力装置において生成された画像にも適用することが可能である。この入出力パネル５は、ガラス基板５０Ａ、ゲート絶縁膜５１Ａ、第１層間絶縁膜１２Ａ、シグナルラインＳＬ、第２層間絶縁膜５２Ｂ、コモン電極５３、第３層間絶縁膜５２Ｃおよび画素電極５４（第１センサ電極）を有する第１基板５０と、ガラス基板６０Ａ、カラーフィルタ６１および対向センサ電極６２（第２センサ電極）を有する第２基板６０と、液晶分子７１を含む液晶層７０とを備えている。すなわち、入出力パネル５内には、画素電極５４と対向センサ電極６２とにより抵抗型タッチセンサが構成されている。ここで、画素電極５４は、例えば、複数のエッジ５４Ｂを含む断面形状となっている。エッジ５４Ｂでは配向膜（図示せず）が薄くなる傾向があり、エッジ５４Ｂが配向膜から露出している。また、エッジ５４Ｂに対向して、対向センサ電極６２（スリット６２Ａおよびパターン６２Ｂからなる）が配置されている。これにより、第２基板６０がたわむと、対向センサ電極６２は画素電極５４の露出したエッジ５４Ｂに接触し、直接導通がとれるので、位置検出の不安定性が抑えられる。特に、この入出力パネル５がＦＦＳ（Fringe Field Switching）方式の液晶表示パネルの場合には、画素電極５４がもともと複数のスリット５４Ａを含む平面形状を有することから、開口率を低下させることなく位置検出性能を高めることが可能となる。

さらに、上記実施の形態において説明した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされるようになっている。このようなプログラムは、コンピュータに内蔵されている記録媒体に予め記録してさせておくようにしてもよい。

本発明の第１の実施の形態に係る画像入出力装置の構成を表すブロック図である。 図１の画像入出力装置の構成をより詳細に表すブロック図である。 入出力パネルの一部を拡大した断面である。 図１のラベリング処理部の構成をより詳細に表すブロック図である。 第１の実施の形態のラベリング処理の際に用いられる２値化データ、ラインバッファ、アドレスリストおよび付加情報の一例を表す模式図である。 画像入出力装置による画像処理全体の流れ図である。 第１の実施の形態のラベリング処理の詳細を表す流れ図である。 第１の実施の形態のラベリング処理の詳細を説明するための模式図である。 図８に続いてラベリング処理の詳細を説明するための模式図である。 図９に続いてラベリング処理の詳細を説明するための模式図である。 図１０に続いてラベリング処理の詳細を説明するための模式図である。 図１１に続いてラベリング処理の詳細を説明するための模式図である。 図１２に続いてラベリング処理の詳細を説明するための模式図である。 図１３に続いてラベリング処理の詳細を説明するための模式図である。 図１４に続いてラベリング処理の詳細を説明するための模式図である。 図１５に続いてラベリング処理の詳細を説明するための模式図である。 図１６に続いてラベリング処理の詳細を説明するための模式図である。 図１７に続いてラベリング処理の詳細を説明するための模式図である。 図１８に続いてラベリング処理の詳細を説明するための模式図である。 図１９に続いてラベリング処理の詳細を説明するための模式図である。 図２０に続いてラベリング処理の詳細を説明するための模式図である。 図２１に続いてラベリング処理の詳細を説明するための模式図である。 図２２に続いてラベリング処理の詳細を説明するための模式図である。 第２の実施の形態に係るラベリング処理部の詳細構成を表すブロック図である。 第２の実施の形態のラベリング処理の際に用いられる２値化データ、ラインバッファ、付加情報および空き番地情報の一例を表す模式図である。 第２の実施の形態のラベリング処理の詳細を表す流れ図である。 図２６に続いて第２の実施の形態のラベリング処理の詳細を表す流れ図である。 第２の実施の形態のラベリング処理の詳細を説明するための模式図である。 図２８に続いてラベリング処理の詳細を説明するための模式図である。 図２９に続いてラベリング処理の詳細を説明するための模式図である。 図３０に続いてラベリング処理の詳細を説明するための模式図である。 図３１に続いてラベリング処理の詳細を説明するための模式図である。 図３２に続いてラベリング処理の詳細を説明するための模式図である。 図３３に続いてラベリング処理の詳細を説明するための模式図である。 図３４に続いてラベリング処理の詳細を説明するための模式図である。 図３５に続いてラベリング処理の詳細を説明するための模式図である。 図３６に続いてラベリング処理の詳細を説明するための模式図である。 本発明の変形例に係る入出力パネルの構成を表す断面図である。

符号の説明

１…画像入出力装置、１０…ディスプレイ、１１…入出力パネル、１１ａ…表示要素、１１ｂ…受光要素、１２…表示信号処理部、１３…受光信号処理部、１４…画像処理部、１４ａ，１４ｂ…ラベリング処理部、１４１…条件判定回路、１４２…新規ラベル発行回路、１４３…アドレスリスト、１４４，１４４ｂ…ラインバッファ、１４５…ラインバッファ制御回路、１４６…アドレスリスト制御回路、１４７…ラベルメモリコントローラ、１４８…付加情報メモリ、１４９…空き番地情報レジスタ、１６…画素、２０…電子機器本体、２１…制御部、５…入出力パネル、５０…第１基板、５４…画素電極、６０…第２基板、６２…対向センサ電極、７０…液晶層、Ｄin…２値化データ、Ｄout…ラベル情報。

Claims (11)

1. ２値化された画素データによって表現される画像において、各画素を順次走査する走査部と、
   各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、前記画像内における連結領域ごとの識別番号を示すラベル情報を注目画素において随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、前記画像全体についてのラベル情報、前記位置情報および前記面積情報がそれぞれ取得されるように処理を行う情報取得部と
   を備えた画像処理装置。
2. 前記情報取得部は、注目画素の画素データが有効値を示すものであると共に、その周辺画素の画素データがいずれも無効値を示すものである場合には、この注目画素において、新たなラベル情報を発行して割り当てる
   請求項１に記載の画像処理装置。
3. 前記情報取得部は、注目画素の画素データが有効値を示すものであると共に、その周辺画素のうちの１画素の画素データのみが有効値を示すものである場合には、この注目画素において、有効値を示す１画素に割り当てられている発行済みのラベル情報を割り当てることにより、前記連結領域ごとの位置情報および面積情報をそれぞれ更新する
   請求項１または請求項２に記載の画像処理装置。
4. 前記情報取得部は、注目画素の画素データが有効値を示すものであると共に、その周辺画素のうちの複数の画素の画素データがそれぞれ有効値を示すものである場合には、この注目画素において、有効値を示す複数の画素のうちの選択した１画素に割り当てられている発行済みのラベル情報を割り当てることにより、前記連結領域ごとの位置情報および面積情報をそれぞれ更新する
   請求項１または請求項２に記載の画像処理装置。
5. 前記情報取得部は、注目画素の画素データが無効値を示すものである場合には、この注目画素において、ラベル情報の発行および割り当てを行わない
   請求項１または請求項２に記載の画像処理装置。
6. 前記情報取得部は、
   注目画素およびその周辺画素の画素データの値に応じて、前記ラベル情報の割り当て処理と、前記連結領域ごとの位置情報および面積情報の更新処理とを、それぞれ行うか否かについて判定する判定部と、
   前記判定部による判定結果に基づいて、新たなラベル情報を発行するラベル発行部と、
   画素単位のコントローラを含んで構成され、前記ラベル情報を記憶するラインバッファと、
   前記ラベル情報と、前記位置情報および面積情報とを、それぞれ対応づけて記憶する付加情報メモリと、
   各ラベル情報についての割り当ての有無を記憶する空き番地情報レジスタとを有する
   請求項１または請求項２に記載の画像処理装置。
7. 前記情報取得部は、
   注目画素およびその周辺画素の画素データの値に応じて、前記ラベル情報の割り当て処理と、前記連結領域ごとの位置情報および面積情報の更新処理とを、それぞれ行うか否かについて判定する判定部と、
   前記判定部による判定結果に基づいて、新たなラベル情報を発行するラベル発行部と、
   前記ラベル情報を記憶するラインバッファと、
   前記位置情報および面積情報をそれぞれ、アドレス番号と対応づけて記憶する付加情報メモリと、
   前記ラインバッファに記憶されているラベル情報と、前記付加情報メモリに記憶されているアドレス番号と、各ラベル情報についての割り当ての有無とを、それぞれ対応づけて記憶するアドレスリストとを有する
   請求項１または請求項２に記載の画像処理装置。
8. ２値化された画素データによって表現される画像において、各画素を順次走査すると共に、
   各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、前記画像内における連結領域ごとの識別番号を示すラベル情報を注目画素において随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、前記画像全体についてのラベル情報、前記位置情報および前記面積情報がそれぞれ取得されるように処理を行う
   画像処理方法。
9. 撮像面に沿って配列され、外部近接物体で反射された光を受光する複数の受光要素を有する入力パネルと、
   各受光要素からの受光信号に基づいて得られる、２値化された画素データによって表現される撮像画像において、各画素を順次走査する走査部と、
   各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、前記撮像画像内における連結領域ごとの識別番号を示すラベル情報を注目画素において随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、前記撮像画像全体についてのラベル情報、前記位置情報および前記面積情報がそれぞれ取得されるように処理を行う情報取得部と、
   前記情報取得部により得られたラベル情報、位置情報および面積情報に基づいて、前記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を取得する位置検出部と
   を備えた画像入力装置。
10. 表示面に沿って配列され、画像信号に基づいて画像を表示する複数の表示要素と、前記表示面に沿って配列され、前記表示面から出射されて外部近接物体で反射された光を受光する複数の受光要素とを有する入出力パネルと、
    各受光要素からの受光信号に基づいて得られる、２値化された画素データによって表現される撮像画像において、各画素を順次走査する走査部と、
    各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、前記撮像画像内における連結領域ごとの識別番号を示すラベル情報を注目画素において随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、前記撮像画像全体についてのラベル情報、前記位置情報および前記面積情報がそれぞれ取得されるように処理を行う情報取得部と、
    前記情報取得部により得られたラベル情報、位置情報および面積情報に基づいて、前記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を取得する位置検出部と
    を備えた画像入出力装置。
11. 第１基板および第２基板の間に液晶層を有する表示パネルと、この表示パネル内に形成され、前記第２基板のたわみにより接触可能な第１センサ電極および第２センサ電極を有すると共に前記第１センサ電極および前記第２センサ電極の接触による電位の変化を読み取ることにより、外部近接物体の位置に応じた第２基板のたわみ位置を検出する位置検出部とを備えた入出力パネルと、
    前記位置検出部からの位置検出信号に基づいて得られる、２値化された画素データによって表現される画像において、各画素を順次走査する走査部と、
    各画素を順次走査する際に、注目画素およびその周辺画素の画素データの値に応じて、前記画像内における連結領域ごとの識別番号を示すラベル情報を注目画素において随時割り当てつつ、各ラベル情報に対応する連結領域ごとの位置情報および面積情報を随時更新することにより、その順次走査の完了時点で、前記画像全体についてのラベル情報、前記位置情報および前記面積情報がそれぞれ取得されるように処理を行う情報取得部と、
    前記情報取得部により得られたラベル情報、位置情報および面積情報に基づいて、前記外部近接物体の位置、形状および大きさのうちの少なくとも１つに関する情報を取得する位置検出部と
    を備えた画像入出力装置。

Images