JP5191321B2 - 情報入力装置、情報入力方法、情報入出力装置および情報入力プログラム - Google Patents

Description

本発明は、外部近接物体に関する情報の入力に応じた処理を行う情報入力装置、情報入力方法、情報入力プログラムおよび情報入出力装置に関する。

画像表示装置には、タッチパネルを備えたものがある。このタッチパネルには、電気抵抗の変化を利用した抵抗型や、静電容量の変化を利用した静電容量型のほか、光学的に指等を検知する光学型タッチパネルがある。

この光学型タッチパネルでは、例えば、バックライトからの光を液晶素子で変調して画像を表示面に表示すると共に、表示面から出射されて指等の近接物体によって反射された光を、表示面に配列された受光素子によって受光し、近接物体の位置等を検出するものである。このような画像表示装置について記載したものには、特許文献１が挙げられる。特許文献１に記載された表示装置は、画像を表示する表示手段と、物体を撮像する撮像手段とを有する表示部を備えたものである。

特開２００８−１４６１６５号公報

ところで、このようなタッチパネルにおいて、ユーザの利便性向上のため、外部近接物体（例えば、ユーザの指など）の動きに応じて表示状態が変化するような、直感的な操作の実現が望まれている。具体的には、例えば、ユーザの指などの接触面積に応じて、その指などにより指定された部分の大きさを変化させて表示することなどが望まれる場合がある。

ところが、従来のタッチパネルでは、そのような外部近接物体の接触面積（検知面積）に応じた直感的な操作を可能とするようなものは実現されていなかった。したがって、そのような直感的な操作を可能とする情報入力装置の実現が望まれていた。

本発明はかかる問題点に鑑みてなされたもので、その目的は、外部近接物体に関する情報の入力に応じて、利便性の高い処理を行うことが可能な情報入力装置、情報入力方法、情報入出力装置および情報入力プログラムを提供することにある。

本発明の情報入力装置は、外部近接物体を検出する検出機能を有し、表示パネル上に表示された画像を指定可能な入力パネルと、入力パネルにより得られた外部近接物体の検出信号に基づいて、外部近接物体の位置および面積値を検出する検出部と、表示パネル上の、外部近接物体の検知位置により指定されて表示されている表示対象物の大きさが、外部近接物体の検知された面積値に応じて変化するように、表示対象物を含む画像を表示させるための表示データを生成する画像生成部と、を備え、画像生成部は、面積値の時間変化量が所定の範囲内に維持されているときの面積値である飽和面積値を保持し、飽和面積値に第１の係数を乗じた第１の閾値と、飽和面積値に第２の係数を乗じた第２の閾値とを生成し、面積値の変化率が第１の閾値よりも大きいときには、表示対象物の大きさが拡大するように表示データを生成し、面積値の変化率が第２の閾値よりも小さいときには、表示対象物の大きさが縮小するように表示データを生成し、面積値の変化率が第１の閾値以下かつ第２の閾値以上であるときには、表示対象物の大きさがそのままに保持されるように表示データを生成するものである。

本発明の情報入力方法は、表示パネル上に表示された画像を指定可能な入力パネルにより得られた外部近接物体の検出信号に基づいて、外部近接物体の位置および面積値を検出し、表示パネル上の、外部近接物体の検知位置により指定されて表示されている表示対象物の大きさが、外部近接物体の検知された面積値に応じて変化するように、表示対象物を含む画像を表示させるための表示データを生成する、情報入力方法であって、面積値の時間変化量が所定の範囲内に維持されているときの面積値である飽和面積値を保持し、飽和面積値に第１の係数を乗じた第１の閾値と、飽和面積値に第２の係数を乗じた第２の閾値とを生成し、面積値の変化率が第１の閾値よりも大きいときには、表示対象物の大きさが拡大するように表示データを生成し、面積値の変化率が第２の閾値よりも小さいときには、表示対象物の大きさが縮小するように表示データを生成し、面積値の変化率が第１の閾値以下かつ第２の閾値以上であるときには、表示対象物の大きさがそのままに保持されるように表示データを生成するものである。

本発明の情報入出力装置は、外部近接物体を検出する検出機能と、画像表示機能とを有する入出力パネルと、入出力パネルにより得られた外部近接物体の検出信号に基づいて、外部近接物体の位置および面積値を検出する検出部と、入出力パネル上の、外部近接物体の検知位置により指定されて表示されている表示対象物の大きさが、外部近接物体の検知された面積値に応じて変化するように、表示対象物を含む画像を表示させるための表示データを生成する画像生成部とを備え、画像生成部は、面積値の時間変化量が所定の範囲内に維持されているときの面積値である飽和面積値を保持し、飽和面積値に第１の係数を乗じた第１の閾値と、飽和面積値に第２の係数を乗じた第２の閾値とを生成し、面積値の変化率が第１の閾値よりも大きいときには、表示対象物の大きさが拡大するように表示データを生成し、面積値の変化率が第２の閾値よりも小さいときには、表示対象物の大きさが縮小するように表示データを生成し、面積値の変化率が第１の閾値以下かつ第２の閾値以上であるときには、表示対象物の大きさがそのままに保持されるように表示データを生成し、入出力パネルは、表示データに基づいて表示対象物を含む画像を表示するものである。

本発明の情報入力プログラムは、表示パネル上に表示された画像を指定可能な入力パネルにより得られた外部近接物体の検出信号に基づいて、外部近接物体の位置および面積値を検出し、表示パネル上の、外部近接物体の検知位置により指定されて表示されている表示対象物の大きさが、外部近接物体の検知された面積値に応じて変化するように、表示対象物を含む画像を表示させるための表示データを生成する、処理をコンピュータに実行させる情報入力プログラムであって、コンピュータに、面積値の時間変化量が所定の範囲内に維持されているときの面積値である飽和面積値を保持し、飽和面積値に第１の係数を乗じた第１の閾値と、飽和面積値に第２の係数を乗じた第２の閾値とを生成し、面積値の変化率が第１の閾値よりも大きいときには、表示対象物の大きさが拡大するように表示データを生成し、面積値の変化率が第２の閾値よりも小さいときには、表示対象物の大きさが縮小するように表示データを生成し、面積値の変化率が第１の閾値以下かつ第２の閾値以上であるときには、表示対象物の大きさがそのままに保持されるように表示データを生成する、処理を実行させるものである。

本発明の情報入力装置、情報入力方法、情報入出力装置および情報入力プログラムでは、入力パネルまたは入出力パネルにより得られた外部近接物体の検出信号に基づいて、外部近接物体の位置および面積値が検出される。そして、表示パネル上または入出力パネル上の、外部近接物体の検知位置により指定されて表示されている表示対象物の大きさが、外部近接物体の検知された面積値に応じて変化するように、表示対象物を含む画像を表示させるための表示データが生成される。

本発明の情報入力装置、情報入力方法、情報入出力装置または情報入力プログラムによれば、入力パネルまたは入出力パネルにより得られた外部近接物体の検出信号に基づいて、外部近接物体の位置および面積値を検出すると共に、表示パネル上または入出力パネル上の、外部近接物体の検知位置により指定されて表示されている表示対象物の大きさが、外部近接物体の検知された面積値に応じて変化するように、表示対象物を含む画像を表示させるための表示データを生成するようにしたので、外部近接物体に関する情報の入力に応じて、利便性の高い処理を行うことが可能となる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る情報入出力装置１の概略構成を表すものである。また、図２は、本実施の形態に係る情報入出力装置１の詳細構成を表すものである。また、図３は、入出力パネルの一部を拡大した断面を表すものである。本実施の形態に係る情報入出力装置１は、図１に示すように、ディスプレイ１０と、このディスプレイ１０を利用する電子機器本体２０とを備えたものである。ディスプレイ１０は、入出力パネル１１、表示信号処理部１２、受光信号処理部１３および画像処理部１４を有し、電子機器本体２０は、制御部２１を有する。なお、本発明の一実施の形態に係る情報入力方法および情報入力プログラムは、本実施の形態の情報入出力装置１において具現化されるため、以下併せて説明する。

入出力パネル１１は、図２に示すように、複数の画素１６がマトリクス状に配列された液晶ディスプレイパネルで構成されたものであり、表示要素１１ａおよび受光要素１１ｂを備えている。表示要素１１ａは、光源となるバックライトから出射された光を利用して、図形や文字等の画像を表示面に表示する液晶素子である。受光要素１１ｂは、光を受光して電気信号として出力する、例えばフォトダイオード等の受光素子である。受光要素１１ｂは、バックライトの出射光が入出力パネル１１の外部の指等の外部近接物体によって反射されて戻ってきた反射光を受光して、受光信号（検出信号）を出力するものである。受光要素１１ｂは、本実施の形態の場合、画素１６毎に配置されて、面内に複数配列されている。

入出力パネル１１は、図２および図３に示したように、１対の透明基板３０，３１の間に、隔壁３２によって互いに分離された構造の複数の発光受光セルＣＷＲをマトリクス状に配列して構成されている。各発光受光セルＣＷＲは、発光セルＣＷ（ＣＷ１，ＣＷ２，ＣＷ３，…）と、これらの発光セルＣＷに内包された複数の受光セルＣＲ（ＣＲ１，ＣＲ２，ＣＲ３，…）とを備えている。発光セルＣＷは、表示要素１１ａとしての液晶セルからなり、受光セルＣＲは、受光要素１１ｂとしての受光素子ＰＤを含む。なお、受光セルＣＲにおいては、バックライトから出射された光ＬＢが入射しないように、バックライト側の透明基板３０と受光素子ＰＤとの間に遮蔽層３３が配置され、各受光素子ＰＤはバックライト光ＬＢの影響を受けず、バックライトと反対側の透明基板３１の方向から入射された光のみを検出するようになっている。

図１に示す表示信号処理部１２は、入出力パネル１１の前段に接続され、入出力パネル１１が表示データに基づいて画像を表示するように、入出力パネル１１の駆動を行う回路である。

表示信号処理部１２は、図２に示すように、表示信号保持制御部４０、発光側スキャナ４１、表示信号ドライバ４２および受光側スキャナ４３を備えている。表示信号保持制御部４０は、表示信号生成部４４から出力される表示信号を１画面毎（１フィールドの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）等で構成されるフィールドメモリに格納して保持すると共に、各発光セルＣＷを駆動する発光側スキャナ４１および表示信号ドライバ４２、および各受光セルＣＲを駆動する受光側スキャナ４３を連動して動作するように制御する機能を有する。具体的には、発光側スキャナ４１には発光タイミング制御信号を、受光側スキャナ４３には受光タイミング制御信号を、表示信号ドライバ４２には制御信号およびフィールドメモリに保持されている表示信号に基づいて、１水平ライン分の表示信号を出力する。これらの制御信号および表示信号により、線順次動作が行われるようになっている。

発光側スキャナ４１は、表示信号保持制御部４０から出力される発光タイミング制御信号に応じて駆動対象の発光セルＣＷを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された発光用ゲート線を介して発光用選択信号を供給し、発光素子選択スイッチを制御する。つまり、発光用選択信号によりある画素１６の発光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６では表示信号ドライバ４２から供給された電圧に対応した輝度の発光動作がなされるようになっている。

表示信号ドライバ４２は、表示信号保持制御部４０から出力される１水平ライン分の表示信号に応じて駆動対象の発光セルＣＷに表示データを供給する機能を有する。具体的には、入出力パネル１１の各画素１６に接続されたデータ供給線を介して前述の発光側スキャナ４１により選択された画素１６に表示データに対応する電圧を供給する。この発光側スキャナ４１および表示信号ドライバ４２が連動して線順次動作することにより、任意の表示データに対応する画像が入出力パネル１１に表示される。

受光側スキャナ４３は、表示信号保持制御部４０から出力される受光タイミング制御信号に応じて駆動対象の受光セルＣＲを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された受光用ゲート線を介して受光用選択信号を供給し、受光素子選択スイッチを制御する。つまり、前述の発光側スキャナ４１の動作と同様に、受光用選択信号によりある画素１６の受光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６から検出された受光信号が受光信号レシーバ４５に出力されるようになっている。これにより、例えばある発光セルＣＷからの出射光に基づいて接触あるいは近接する物体において反射した光を、受光セルＣＲが受光し、検出することが可能となる。また、この受光側スキャナ４３からは、受光信号レシーバ４５および受光信号保持部４６へ受光ブロック制御信号が出力され、これら受光動作に寄与するブロックを制御する機能も有する。なお、本実施の形態の情報入出力装置１においては、前述の発光用ゲート線および受光用ゲート線は各発光受光セルＣＷＲに対して別個に接続され、発光側スキャナ４１および受光側スキャナ４３はそれぞれ、独立して動作することが可能となっている。

図１に示す受光信号処理部１３は、入出力パネル１１の後段に接続され、受光要素１１ｂからの受光信号を取り込んで増幅等を行うものである。この受光信号処理部１３は、図２に示すように、受光信号レシーバ４５および受光信号保持部４６を備えている。

受光信号レシーバ４５は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、各受光セルＣＲから出力された１水平ライン分の受光信号を取得する機能を有する。この受光信号レシーバ４５において取得された１水平ライン分の受光信号は、受光信号保持部４６へ出力される。

受光信号保持部４６は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、受光信号レシーバ４５から出力される受光信号を１画面ごと（１フィールドの表示ごと）の受光信号に再構成し、例えば、ＳＲＡＭなどから構成されるフィールドメモリに格納して保持する機能を有する。受光信号保持部４６において格納された受光信号のデータは、画像処理部１４（図１）内の位置検出部４７へ出力される。なお、この受光信号保持部４６はメモリ以外の記憶素子から構成されていてもよく、例えば受光信号をアナログデータ（電荷）として容量素子に保持しておくことも可能である。

画像処理部１４（図１）は、受光信号処理部１３の後段に接続され、受光信号処理部１３から検出画像を取り込んで、２値化やノイズ除去、ラベリング等の処理を行い、外部近接物体の点情報、すなわち外部近接物体の重心や中心座標、および外部近接物体の領域（サイズや形状）を示す情報を得る回路である。具体的には、画像処理部１４におけるラベリング処理部（図示せず）は、ラベリング処理を行うことにより、検出画像全体についてのラベル情報（検出画像内における連結領域ごとの識別番号を示す情報）、連結領域ごとの位置情報および面積情報をそれぞれ取得するようになっている。

また、画像処理部１４における位置検出部４７（図２）は、ラベリング処理部より得られた上記ラベル情報、位置情報および面積情報に基づいて信号処理を行い、検出された物体が存在する位置等を特定するようになっている。これにより、接触あるいは近接する指等の位置を特定することが可能となる。

電子機器本体２０（図１）は、ディスプレイ１０の表示信号処理部１２に対して表示データを出力すると共に、画像処理部１４から点情報を入力するようになっている。制御部２１は、点情報を用いて表示画像を変化させるものである。

制御部２１（図１）は、点情報を用いて表示画像を変化させるものであり、例えばＣＰＵ（Central Processing Unit）などにより構成されている。制御部２１は、図２に示すように、表示信号生成部４４を備えている。表示信号生成部４４は、図示しないＣＰＵ（Central Processing Unit）などにより生成され、供給された画像データに基づいて、例えば、１画面ごと（１フィールドの表示ごと）に表示するための表示信号を生成し、それを表示信号保持制御部４０に出力するようになっている。

また、この制御部２１は、例えば図４に示したように、外部近接物体であるユーザの指８等を入出力パネル１１へ接触させる場合において、検知された指８等の面積情報に基づいて、表示データを生成するものである。具体的には、指８等によって入出力パネル１１へ接触した際に、押圧（接触圧力）に応じて指８等の検知面積が変化することを利用している。この制御部２１は、画像処理部１４（位置検出部４７）により得られた指８等の位置情報および面積情報を用いて、その指８等の面積値に応じてこの指８等により指定された表示対象物の大きさが変化するように表示データを生成し、その表示データを表示信号処理部１２へ供給するようになっている。そして、入出力パネル１１では、このようにして生成された表示データに基づいて、指８等により指定された表示対象物を含む画像の表示が行われるようになっている。なお、この制御部２１が、本発明における「画像生成部」の一具体例に対応する。

また、制御部２１は、具体的には、指８等の面積値の時間変化量が所定の範囲内に維持されているときの面積値である飽和面積値（後述するＳ値）を保持すると共に、この飽和面積値に対する面積値の変化率に応じて表示対象物の大きさが変化するように、表示データを生成するようになっている。より具体的には、面積値の変化率が所定の上限閾値（後述する（Ｓ値×係数ｋ１）の値）よりも大きいときには、表示対象物の大きさが拡大するように表示データを生成する（拡大表示モード；図中の「ｅｘｐａｎｄｉｎｇ」）。また、面積値の変化率が所定の下限閾値（後述する（Ｓ値×係数ｋ２）の値）よりも小さいときには、表示対象物の大きさが縮小するように表示データを生成する（縮小表示モード；図中の「ｃｏｎｔｒａｃｔｉｏｎ」）。また、面積値の変化率が上記下限値以上かつ上記上限値以下であるときには、表示対象物の大きさが保持されるように表示データを生成する（保持表示モード；図中の「ｓｔａｙ」）。

すなわち、例えば図４に示した例では、「１．非接触」に対応する期間ΔＴ１、「２．接触」に対応する期間ΔＴ２、および「４．浮かし」に対応する期間ΔＴ４では、保持表示モード（「ｓｔａｙ」）となっている。また、「３．押し付け」に対応する期間ΔＴ３では、拡大表示モード（「ｅｘｐａｎｄｉｎｇ」）となっている。また、「５．更に浮かし」に対応する期間ΔＴ５では、縮小表示モード（「ｃｏｎｔｒａｃｔｉｏｎ」）となっている。なお、例えば、期間ΔＴ３における「ｅｘｐａｎｄｉｎｇ」から期間ΔＴ５における「ｃｏｎｔｒａｃｔｉｏｎ」へ表示モードが遷移する際に、場合によっては、図４に示したように期間ΔＴ４における「Ｓｔａｙ」を介さないで、直接、「ｅｘｐａｎｄｉｎｇ」と「ｃｏｎｔｒａｃｔｉｏｎ」との間で表示モード遷移させるようにしてもよい。

次に、図１〜図４に加えて図５〜図９を参照して、本実施の形態の情報入出力装置１の作用および効果について説明する。

まず、図５を参照して、情報入出力装置１の基本動作について説明する。図５は、情報入出力装置１による画像処理全体の流れを表すものである。

電子機器本体２０から出力された表示データは、表示信号処理部１２に入力される。表示信号処理部１２は、表示データに基づいて入出力パネル１１に画像が表示されるように、入出力パネル１１を駆動させる。

入出力パネル１１は、バックライトからの出射光を用いて画像を表示要素１１ａに表示する一方、受光要素１１ｂを駆動している。そして、表示要素１１ａに指等の外部近接物体が接触または近接すると、表示要素１１ａに表示された画像が外部近接物体で反射されて、この反射光が受光要素１１ｂで検出される。この検出によって、受光要素１１ｂからは受光信号が出力される。そして受光信号処理部１３は、この受光信号を入力して増幅等の処理を行い、受光信号を処理する（図５のステップＳ１０）。このようにして、受光信号処理部１３において、撮像画像が得られる。

次に、画像処理部１４は、受光信号処理部１３から撮像画像を入力し、この撮像画像に対し２値化処理を行う（ステップＳ１１）。すなわち、画像処理部１４は、予め設定された閾値を記憶しており、例えば、撮像画像データの信号強度が閾値よりも小さいか、または閾値以上であるかを比較して、それぞれ「０」または「１」に設定する２値化処理を行う。これにより外部近接物体で反射された光を受光した部分が「１」に設定され、他の部分が「０」に設定される。

そして、画像処理部１４は、２値化された撮像画像から、孤立点を除去する（ステップＳ１２）。すなわち、画像処理部１４は、上記のように２値化されている場合、外部近接物体から孤立している「１」に設定された部分を除去することにより、ノイズ除去を行う。

この後、画像処理部１４は、ラベリング処理部（図示せず）において、ラベリング処理を行う（ステップＳ１３）。すなわち、ラベリング処理部は、上記のように２値化されている場合、「１」に設定された部分に対してラベリング処理を行う。そして、ラベリング処理部は、「１」に設定された領域を外部近接物体の領域として検出し、上記ラベル情報、位置情報および面積情報をそれぞれ取得する。そしてこのようなデータは、点情報として制御部２１に出力される。

次に、制御部２１は、画像処理部１４から入力した点情報を用いて、表示画像を変化させる等の必要な処理を行う。例えば、画面に何らかの操作メニューを表示した場合を仮定すると、その操作メニューの中のどのボタンがユーザの指によって選択されたのかを検知し、その選択されたボタンに対応する命令を実行する。以上により、情報入出力装置１における基本動作が終了となる。

次に、図６および図７を参照して、制御部２１による表示データの生成処理について詳細に説明する。図６および図７は、制御部２１による表示データの生成処理の詳細を流れ図および模式図で表したものである。

まず、制御部２１は、数フレーム分の面積情報を、画像処理部１４（位置検出部４７）から取得する（図６のステップＳ２０１）。そして、その数フレーム分の面積情報に基づいて、数フレーム分の平均面積値Ｓaveを算出する（ステップＳ２０２）。

次に、制御部２１は、現在の表示モードＳｔａｔｕｓが、保持表示モード（「ｓｔａｙ」）、拡大表示モード（「ｅｘｐａｎｄｉｎｇ」）および縮小表示モード（「ｃｏｎｔｒａｃｔｉｏｎ」）のいずれであるかを、判断する（ステップＳ２０３）。

ここで、ステップＳ２０３において、現在の表示モードＳｔａｔｕｓが保持表示モード（「ｓｔａｙ」）であると判断された場合には、次に制御部２１は、図７に示したように、算出された平均面積値Ｓaveが、現在の飽和面積値（Ｓ値）と所定の係数ｋ１（＞１；例えば１．１）との乗算値（Ｓ×ｋ１；上限閾値）よりも大きいか否かを判断する（ステップＳ２０４）。平均面積値Ｓaveが（Ｓ×ｋ１）よりも大きいと判断された場合（ステップＳ２０４：Ｙ；Ｓave＞（Ｓ×ｋ１））には、表示モードＳｔａｔｕｓを拡大表示モード（「ｅｘｐａｎｄｉｎｇ」）に更新すると共に、最大面積値Ｓmaxを現在の平均面積値Ｓaveに更新する（ステップＳ２０５）。そして、そのようにして制御部２１において、拡大表示モード用に表示データが生成され、入出力パネル１１において拡大表示がなされる（ステップＳ２０６）。

一方、ステップＳ２０４において、平均面積値Ｓaveが（Ｓ×ｋ１）以下であると判断された場合（ステップＳ２０４：Ｎ；Ｓave≦（Ｓ×ｋ１））には、次に制御部２１は、図７に示したように、平均面積値Ｓaveが、現在の飽和面積値（Ｓ値）と所定の係数ｋ２（＜１；例えば０．９）との乗算値（Ｓ×ｋ２；下限閾値）よりも小さいか否かを判断する（ステップＳ２０７）。平均面積値Ｓaveが（Ｓ×ｋ２）よりも小さいと判断された場合（ステップＳ２０７：Ｙ；Ｓave＜（Ｓ×ｋ２））には、表示モードＳｔａｔｕｓを縮小表示モード（「ｃｏｎｔｒａｃｔｉｏｎ」）に更新すると共に、最小面積値Ｓminを現在の平均面積値Ｓaveに更新する（ステップＳ２０８）。そして、そのようにして制御部２１において、縮小表示モード用に表示データが生成され、入出力パネル１１において縮小表示がなされる（ステップＳ２０９）。一方、ステップＳ２０７において、平均面積値Ｓaveが（Ｓ×ｋ２）以上であると判断された場合（ステップＳ２０７：Ｎ；Ｓave≧（Ｓ×ｋ２））には、図７に示したように、表示モードＳｔａｔｕｓは保持表示モード（「ｓｔａｙ」）のままとなるため、現状維持（変化なし）となるような表示データが生成され、入出力パネル１１において表示される（ステップＳ２１０）。

なお、このような拡大表示または縮小表示の際の拡大率（表示対象物を拡大させる際の拡大率）および縮小率（表示対象物を縮小させる際の縮小率）は、それぞれ、固定値（例えば、拡大率＝１．５、縮小率＝０．５など）であってもよいし、平均面積値Ｓaveの変化率に応じた変動値であってもよい。また、上記した、上限閾値を規定する係数ｋ１および下限閾値を規定する係数ｋ２はそれぞれ、表示対象物の大きさを変化させる際の感度の設定値に応じて変化するようになっていてもよい。係数ｋ１，ｋ２の値が１に近くなるように設定すれば感度が高くなり、逆に１から遠ざかるように設定すれば感度が低くなるためである。

また、ステップＳ２０３において、現在の表示モードＳｔａｔｕｓが拡大表示モード（「ｅｘｐａｎｄｉｎｇ」）であると判断された場合には、次に制御部２１は、平均面積値Ｓaveが、現在の最大面積値Ｓmaxよりも大きいか否かを判断する（ステップＳ２１１）。平均面積値Ｓaveが現在の最大面積値Ｓmaxよりも大きいと判断された場合（ステップＳ２１１：Ｙ；Ｓave＞Ｓmax）には、表示モードＳｔａｔｕｓが拡大表示モード（「ｅｘｐａｎｄｉｎｇ」）のまま保持されると共に、最大面積値Ｓmaxを現在の平均面積値Ｓaveに更新する（ステップＳ２１２）。なお、この場合は現在の表示モードＳｔａｔｕｓが拡大表示モード（「ｅｘｐａｎｄｉｎｇ」）であるため、現状維持（変化なし）となるような表示データが生成され、入出力パネル１１において表示される（ステップＳ２１０）。すなわち、制御部２１は、飽和面積値（Ｓ値）に対する平均面積値Ｓaveの変化率に応じて、表示対象物の大きさが変化するように表示データを生成するようになっているからである。言い換えると、現在の表示モードＳｔａｔｕｓが保持表示モード（「ｓｔａｙ」）の場合において、図７に示したように、表示モードＳｔａｔｕｓが拡大表示モード（「ｅｘｐａｎｄｉｎｇ」）または縮小表示モード（「ｃｏｎｔｒａｃｔｉｏｎ」）へ遷移したときにのみ、表示対象物の大きさが変化するように表示データが生成されるようになっているからである。

一方、ステップＳ２１１において、平均面積値Ｓaveが現在の最大面積値Ｓmax以下であると判断された場合（ステップＳ２１１：Ｎ；Ｓave≦Ｓmax）には、次に制御部２１は、図７に示したように、平均面積値Ｓaveが、現在の最大面積値Ｓmaxと所定の係数ｋ３（＜１；例えば０．９）との乗算値（Ｓmax×ｋ３）よりも小さいか否かを判断する（ステップＳ２１３）。平均面積値Ｓaveが（Ｓmax×ｋ３）よりも小さいと判断された場合（ステップＳ２１３：Ｙ；Ｓave＜（Ｓmax×ｋ３））には、表示モードＳｔａｔｕｓを保持表示モード（「ｓｔａｙ」）に更新すると共に、飽和面積値（Ｓ値）を現在の平均面積値Ｓaveに更新する（ステップＳ２１４）。一方、ステップＳ２１３において、平均面積値Ｓaveが（Ｓmax×ｋ３）以上であると判断された場合（ステップＳ２１３：Ｎ；Ｓave≧（Ｓmax×ｋ３））には、表示モードＳｔａｔｕｓは拡大表示モード（「ｅｘｐａｎｄｉｎｇ」）のままとなる。なお、これらステップＳ２１３，Ｓ２１４の処理後の場合も、現在の表示モードＳｔａｔｕｓが拡大表示モード（「ｅｘｐａｎｄｉｎｇ」）であったため、現状維持（変化なし）となるような表示データが生成され、入出力パネル１１において表示される（ステップＳ２１０）。

また、ステップＳ２０３において、現在の表示モードＳｔａｔｕｓが縮小表示モード（「ｃｏｎｔｒａｃｔｉｏｎ」）であると判断された場合には、次に制御部２１は、平均面積値Ｓaveが、現在の最小面積値Ｓminよりも小さいか否かを判断する（ステップＳ２１５）。平均面積値Ｓaveが現在の最小面積値Ｓminよりも小さいと判断された場合（ステップＳ２１５：Ｙ；Ｓave＜Ｓmin）には、表示モードＳｔａｔｕｓが縮小表示モード（「ｃｏｎｔｒａｃｔｉｏｎ」）のまま保持されると共に、最小面積値Ｓminを現在の平均面積値Ｓaveに更新する（ステップＳ２１６）。

一方、ステップＳ２１５において、平均面積値Ｓaveが現在の最小面積値Ｓmin以上であると判断された場合（ステップＳ２１５：Ｎ；Ｓave≧Ｓmin）には、次に制御部２１は、図７に示したように、平均面積値Ｓaveが、現在の最小面積値Ｓminと所定の係数ｋ４（＞１；例えば１．１）との乗算値（Ｓmin×ｋ４）よりも大きいか否かを判断する（ステップＳ２１７）。平均面積値Ｓaveが（Ｓmin×ｋ４）よりも大きいと判断された場合（ステップＳ２１７：Ｙ；Ｓave＞（Ｓmin×ｋ４））には、表示モードＳｔａｔｕｓを保持表示モード（「ｓｔａｙ」）に更新すると共に、飽和面積値（Ｓ値）を現在の平均面積値Ｓaveに更新する（ステップＳ２１８）。一方、ステップＳ２１７において、平均面積値Ｓaveが（Ｓmin×ｋ４）以下であると判断された場合（ステップＳ２１７：Ｎ；Ｓave≦（Ｓmin×ｋ４））には、表示モードＳｔａｔｕｓは縮小表示モード（「ｃｏｎｔｒａｃｔｉｏｎ」）のままとなる。なお、これらステップＳ２１７，２１８の処理後の場合も、現在の表示モードＳｔａｔｕｓが縮小表示モード（「ｃｏｎｔｒａｃｔｉｏｎ」）であったため、現状維持（変化なし）となるような表示データが生成され、入出力パネル１１において表示される（ステップＳ２１０）。

なお、ステップＳ２０６，Ｓ２０９，Ｓ２１０の処理後は、全体の処理を終了するか否かの判断がなされ（ステップＳ２１９）、処理を継続する場合（ステップＳ２１９：Ｎ）にはステップＳ２０１へと戻る一方、処理を終了する場合（ステップＳ２１９：Ｙ）、全体の処理が終了となる。

このようにして本実施の形態の表示データの生成処理では、入出力パネル１１により得られた外部近接物体の受光信号に基づいて、受光信号処理部１３および画像処理部１４により、外部近接物体の位置情報および面積情報がそれぞれ取得される。そして、制御部２１では、例えば前述の図４、図６および図７に示したようにして、取得された位置情報および面積情報を用いて、外部近接物体の面積値に応じてこの外部近接物体により指定された表示対象物の大きさが変化するように、表示データが生成される。そして、入出力パネル１１では、このようにして生成された表示データに基づいて、指定された表示対象物を含む画像の表示が行われる。

これにより、例えば図８（Ａ）に示したように、入出力パネル１１上に表示された表示対象物Ｐ１に対して外部近接物体（指８）が接触（図中の符号Ｐ３２参照）したときに、この表示対象物Ｐ１が入出力パネル１１上で拡大表示される（図中の符号Ｐ１１参照）ような、アプリケーションの実行が可能となる。また、例えば図８（Ｂ）に示したように、入出力パネル１１上に表示された表示対象物Ｐ１に対して外部近接物体（指８）がさらに押し付けたとき（図中の符号Ｐ３３参照）に、この表示対象物Ｐ１が入出力パネル１１上でさらに拡大表示される（図中の符号Ｐ１２参照）ような、アプリケーションの実行も可能となる。一方、例えば図９（Ａ）に示したように、入出力パネル１１上に表示された表示対象物Ｐ２に対して外部近接物体（指８）が接触（図中の符号Ｐ３２参照）したときに、この表示対象物Ｐ２が入出力パネル１１上で拡大表示される（図中の符号Ｐ２１参照）ような、アプリケーションの実行が可能となる。また、例えば図９（Ｂ）に示したように、入出力パネル１１上に表示された表示対象物Ｐ２に対して外部近接物体（指８）がさらに押し付けたとき（図中の符号Ｐ３３参照）に、この表示対象物Ｐ２が入出力パネル１１上でさらに拡大表示される（図中の符号Ｐ２２参照）ような、アプリケーションの実行も可能となる。ここで、この際に、図８および図９に示したように、制御部２１は、画像処理部１４（位置検出部４７）により得られた位置情報を用いて、入出力パネル１１上において外部近接物体の検知位置とは離れた領域に表示対象物Ｐ１，Ｐ２等が表示されるように、表示データを生成するのが好ましい。なお、図８および図９に示したようなアプリケーションの他にも、表示対象物の音量や、画像輝度（濃淡）、コントラスト、色合いバランスなどが変化するようにしたり、数値（パラメータ）入力などを行うようなアプリケーションに適用するようにしてもよい。

以上のように本実施の形態では、入出力パネル１１により得られた外部近接物体の検出信号に基づいて、検出信号処理部１３および画像処理部１４において、外部近接物体の位置情報および面積情報をそれぞれ取得すると共に、制御部２１において、取得した位置情報および面積情報を用いて、外部近接物体の面積値に応じてこの外部近接物体により指定された表示対象物の大きさが変化するように表示データを生成するようにしたので、外部近接物体に関する情報を入力する際に、簡易な構造で利便性の高い情報入力を行うことが可能となる。

また、上限閾値を規定する係数ｋ１および下限閾値を規定する係数ｋ２がそれぞれ、表示対象物の大きさを変化させる際の感度の設定値に応じて変化するようにした場合には、より利便性の高い情報入力を行うことが可能となる。

また、制御部２１において、画像処理部１４（位置検出部４７）により得られた位置情報を用いて、入出力パネル１１上において外部近接物体の検知位置とは離れた領域に表示対象物が表示されるように、表示データを生成するようにした場合には、利便性の高い情報出力（画像表示）を行うことが可能となる。

以上、実施の形態を挙げて本発明を説明したが、本発明はこの実施の形態に限定されるものではなく、種々変形が可能である。

例えば、図６および図７に示した制御部２１による表示データの生成処理の際に、ステップＳ２１３とステップＳ２１４との間で、現在の平均面積値Ｓaveの大きさに応じて、保持表示モード（「ｓｔａｙ」）と縮小表示モード（「ｃｏｎｔｒａｃｔｉｏｎ」）とのいずれの表示モードへ遷移するかを選択するようにしてもよい。また、同様にステップＳ２１３とステップＳ２１４との間で、現在の平均面積値Ｓaveの大きさに応じて、保持表示モード（「ｓｔａｙ」）と拡大表示モード（「ｅｘｐａｎｄｉｎｇ」）とのいずれの表示モードへ遷移するかを選択するようにしてもよい。

また、上記実施の形態では、時間軸に沿った複数の面積情報の平均値（平均面積値Ｓmax）を、制御部２１において面積値として用いる場合について説明したが、各フレームの面積値をそのまま制御部２１において用いるようにしてもよい。

また、本発明の情報入出力装置は、上記実施の形態で説明した情報入出力装置１だけでなく、例えば図１０に示したような情報入出力装置２にも適用することが可能である。この情報入出力装置２は、上記実施の形態に係る情報入出力装置１と比較して、画像処理部１４が電子機器本体２０に設けられた点が異なっている。すなわち、この情報入出力装置２は、表示信号処理部１２、入出力パネル１１および受光信号処理部１３がディスプレイ１０に設けられ、制御部２１および画像処理部１４が電子機器本体２０に設けられたものである。このような情報入出力装置２であっても、上記実施の形態に係る情報入出力装置１と同様の効果を奏することができる。

また、これまでは、制御部２１が電子機器本体２０内に設けられている場合について説明したが、制御部２１をディスプレイ１０内に設けるようにしてもよい。

また、図２および図３に示した例では、１つの発光セルに対応して１つの受光セルを設けるようにしたが、複数の発光セルに対応して１つの受光セルを設けるようにしてもよい。

また、上記実施の形態で説明した情報入出力装置１，２では、入出力パネル１１として、液晶ディスプレイパネルを用いた構成について説明した。しかしながら、本発明の情報入出力装置は、入出力パネルとして、有機エレクトロルミネッセンス（ＥＬ）パネル等を用いた構成にすることもできる。有機ＥＬ素子は、順方向バイアス電圧を印加すると発光動作をし、逆方向バイアス電圧を印加すると受光して電流を発生する性質を有する。このため、有機ＥＬ素子は、表示要素１１ａと受光要素１１ｂとを有することになる。入出力パネル１１は、有機ＥＬ素子を画素１６毎に配置することで構成され、表示データに応じて各有機ＥＬ素子に順方向バイアス電圧を印加して発光動作をさせると画像を表示し、他の有機ＥＬ素子に逆方向バイアス電圧を印加して反射光を受光することになる。

また、上記実施の形態では、複数の表示要素１１ａと複数の受光要素１１ｂとを有する（外部近接物体を検出する検出機能と画像表示機能とを有する）入出力パネル１１を備えた情報入出力装置１を例に挙げて本発明を説明したが、本発明は、複数の受光要素１１ｂを有する（外部近接物体を検出する検出機能を有する）入力パネルを備えた情報入力装置（撮像装置）にも適用することが可能である。すなわち、そのような入力パネルと、制御部２１により生成された表示データに基づく画像表示を行う出力パネル（表示パネル）とを、別々に設けるようにしてもよい。

また、これまでは、複数の表示要素１１ａと複数の受光要素１１ｂとを有する入出力パネル１１（光学式タッチセンサを含んで構成されたもの）を備えた情報入出力装置１，２等を例に挙げて本発明を説明したが、本発明は、例えば図１１に示した入出力パネル５（抵抗膜方式タッチセンサを含んで構成されたもの；画素Ｐｘにおける断面構造）を備えた情報入出力装置にも適用することが可能である。この入出力パネル５は、ガラス基板５０Ａ、ゲート絶縁膜５１Ａ、第１層間絶縁膜１２Ａ、シグナルラインＳＬ、第２層間絶縁膜５２Ｂ、コモン電極５３、第３層間絶縁膜５２Ｃおよび画素電極５４（第１センサ電極）を有する第１基板５０と、ガラス基板６０Ａ、カラーフィルタ６１および対向センサ電極６２（第２センサ電極）を有する第２基板６０と、液晶分子７１を含む液晶層７０とを備えている。すなわち、入出力パネル５内には、画素電極５４と対向センサ電極６２とにより抵抗型タッチセンサが構成されている。ここで、画素電極５４は、例えば、複数のエッジ５４Ｂを含む断面形状となっている。エッジ５４Ｂでは配向膜（図示せず）が薄くなる傾向があり、エッジ５４Ｂが配向膜から露出している。また、エッジ５４Ｂに対向して、対向センサ電極６２（スリット６２Ａおよびパターン６２Ｂからなる）が配置されている。これにより、第２基板６０がたわむと、対向センサ電極６２は画素電極５４の露出したエッジ５４Ｂに接触し、直接導通がとれるので、位置検出の不安定性が抑えられる。特に、この入出力パネル５がＦＦＳ（Fringe Field Switching）方式の液晶表示パネルの場合には、画素電極５４がもともと複数のスリット５４Ａを含む平面形状を有することから、開口率を低下させることなく位置検出性能を高めることが可能となる。

また、上記実施の形態において説明した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされるようになっている。このようなプログラムは、コンピュータに内蔵されている記録媒体に予め記録してさせておくようにしてもよい。

さらに、これまで説明した情報入出力装置等は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなど、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。

本発明の一実施の形態に係る情報入出力装置の構成を表すブロック図である。 図１の情報入出力装置の構成をより詳細に表すブロック図である。 入出力パネルの一部を拡大した断面である。 入出力パネルにおける検知面積と表示モードとの関係の一例を時間軸に沿って表す模式図である。 情報入出力装置による画像処理全体の流れ図である。 実施の形態に係る表示データの生成処理の詳細を表す流れ図である。 図６に示した表示データの生成処理の詳細について説明するための模式図である。 情報入出力パネルにおけるアプリケーションの適用例を表す模式図である。 情報入出力パネルにおける他のアプリケーションの適用例を表す模式図である。 本発明の変形例に係る情報入出力装置の構成を表すブロック図である。 本発明の変形例に係る入出力パネルの構成を表す断面図である。

符号の説明

１，２…情報入出力装置、１０…ディスプレイ、１１…入出力パネル、１１ａ…表示要素、１１ｂ…受光要素、１２…表示信号処理部、１３…受光信号処理部、１４…画像処理部、１６…画素、２０…電子機器本体、２１…制御部、５…入出力パネル、５０…第１基板、５４…画素電極、６０…第２基板、６２…対向センサ電極、７０…液晶層、８…外部近接物体（指）、ΔＴ１〜ΔＴ５…期間、Ｓave…数フレーム分の平均面積（平均面積値）、ｋ１〜ｋ４…係数、Ｓ…Ｓ値（飽和面積値）、Ｓmax…最大面積値、Ｓmin…最小面積値、Ｓｔａｔｕｓ…表示モード。

Claims (13)

1. 外部近接物体を検出する検出機能を有し、表示パネル上に表示された画像を指定可能な入力パネルと、
   前記入力パネルにより得られた外部近接物体の検出信号に基づいて、前記外部近接物体の位置および面積値を検出する検出部と、
   前記表示パネル上の、前記外部近接物体の検知位置により指定されて表示されている表示対象物の大きさが、前記外部近接物体の検知された面積値に応じて変化するように、前記表示対象物を含む画像を表示させるための表示データを生成する画像生成部と、
   を備え、
   前記画像生成部は、
   前記面積値の時間変化量が所定の範囲内に維持されているときの面積値である飽和面積値を保持し、
   前記飽和面積値に第１の係数を乗じた第１の閾値と、前記飽和面積値に第２の係数を乗じた第２の閾値とを生成し、
   前記面積値の変化率が前記第１の閾値よりも大きいときには、前記表示対象物の大きさが拡大するように前記表示データを生成し、
   前記面積値の変化率が前記第２の閾値よりも小さいときには、前記表示対象物の大きさが縮小するように前記表示データを生成し、
   前記面積値の変化率が前記第１の閾値以下かつ前記第２の閾値以上であるときには、前記表示対象物の大きさがそのままに保持されるように前記表示データを生成する、
   情報入力装置。
2. 前記画像生成部において、前記表示対象物を拡大させる際の拡大率および縮小させる際の縮小率が、それぞれ、固定値となっている
   請求項１記載の情報入力装置。
3. 前記画像生成部において、前記表示対象物を拡大させる際の拡大率および縮小させる際の縮小率が、それぞれ、前記面積値の変化率に応じた変動値となっている
   請求項１記載の情報入力装置。
4. 前記第１の係数および前記第２の係数がそれぞれ、前記表示対象物の表示サイズを変化させる際の感度の設定値に応じて変化する、
   請求項２または請求項３記載の情報入力装置。
5. 前記画像生成部は、前記外部近接物体の検知位置とは離れた領域に前記表示対象物を表示する、前記表示データを生成する、
   請求項１乃至請求項４のいずれか１項に記載の情報入力装置。
6. 前記画像生成部は、時間軸に沿った得られた複数の面積検出値の平均値を、前記面積値として用いる、
   請求項１乃至請求項５のいずれか１項に記載の情報入力装置。
7. 前記入力パネルは、撮像面に沿って配列され、前記外部近接物体の反射光を受光する複数の受光要素を有する、
   請求項１乃至請求項６のいずれか１項に記載の情報入力装置。
8. 前記入力パネルは、
   互いに対向する第１基板および第２基板と、
   前記第１基板と前記第２基板との間に形成され、前記外部近接物体の接触圧力による前記第２基板のたわみにより互いに接触可能な第１センサ電極および第２センサ電極と、
   を有し、
   前記第１センサ電極および前記第２センサ電極の接触による電位の変化に基づき、前記外部近接物体の接触位置に応じた前記第２基板のたわみ位置を検出する、
   請求項１乃至請求項７のいずれか１項に記載の情報入力装置。
9. 表示パネル上に表示された画像を指定可能な入力パネルにより得られた外部近接物体の検出信号に基づいて、前記外部近接物体の位置および面積値を検出し、
   前記表示パネル上の、前記外部近接物体の検知位置により指定されて表示されている表示対象物の大きさが、前記外部近接物体の検知された面積値に応じて変化するように、前記表示対象物を含む画像を表示させるための表示データを生成する、情報入力方法であって、
   前記面積値の時間変化量が所定の範囲内に維持されているときの面積値である飽和面積値を保持し、
   前記飽和面積値に第１の係数を乗じた第１の閾値と、前記飽和面積値に第２の係数を乗じた第２の閾値とを生成し、
   前記面積値の変化率が前記第１の閾値よりも大きいときには、前記表示対象物の大きさが拡大するように前記表示データを生成し、
   前記面積値の変化率が前記第２の閾値よりも小さいときには、前記表示対象物の大きさが縮小するように前記表示データを生成し、
   前記面積値の変化率が前記第１の閾値以下かつ前記第２の閾値以上であるときには、前記表示対象物の大きさがそのままに保持されるように前記表示データを生成する、
   情報入力方法。
10. 外部近接物体を検出する検出機能と、画像表示機能とを有する入出力パネルと、
    前記入出力パネルにより得られた外部近接物体の検出信号に基づいて、前記外部近接物体の位置および面積値を検出する検出部と、
    前記入出力パネル上の、前記外部近接物体の検知位置により指定されて表示されている表示対象物の大きさが、前記外部近接物体の検知された面積値に応じて変化するように、前記表示対象物を含む画像を表示させるための表示データを生成する画像生成部と
    を備え、
    前記画像生成部は、
    前記面積値の時間変化量が所定の範囲内に維持されているときの面積値である飽和面積値を保持し、
    前記飽和面積値に第１の係数を乗じた第１の閾値と、前記飽和面積値に第２の係数を乗じた第２の閾値とを生成し、
    前記面積値の変化率が前記第１の閾値よりも大きいときには、前記表示対象物の大きさが拡大するように前記表示データを生成し、
    前記面積値の変化率が前記第２の閾値よりも小さいときには、前記表示対象物の大きさが縮小するように前記表示データを生成し、
    前記面積値の変化率が前記第１の閾値以下かつ前記第２の閾値以上であるときには、前記表示対象物の大きさがそのままに保持されるように前記表示データを生成し、
    前記入出力パネルは、前記表示データに基づいて前記表示対象物を含む画像を表示する、
    情報入出力装置。
11. 前記入出力パネルは、
    表示面に沿って配列され、前記表示データに基づいて画像を表示する複数の表示要素と、
    前記表示面に沿って配列され、前記外部近接物体の反射光を受光する複数の受光要素と
    を有する、
    請求項１０記載の情報入出力装置。
12. 前記入出力パネルは、
    第１基板および第２基板と、前記第１基板と前記第２基板の間に設けられた液晶層と、を有する表示パネルと、
    前記表示パネル内に形成され、前記外部近接物体の接触圧力による前記第２基板のたわみにより互いに接触可能な第１センサ電極および第２センサ電極と、
    を有し、
    前記第１センサ電極および前記第２センサ電極の接触による電位の変化に基づき、前記外部近接物体の接触位置に応じた前記第２基板のたわみ位置を検出する、
    請求項１０記載の情報入出力装置。
13. 表示パネル上に表示された画像を指定可能な入力パネルにより得られた外部近接物体の検出信号に基づいて、前記外部近接物体の位置および面積値を検出し、
    前記表示パネル上の、前記外部近接物体の検知位置により指定されて表示されている表示対象物の大きさが、前記外部近接物体の検知された面積値に応じて変化するように、前記表示対象物を含む画像を表示させるための表示データを生成する、処理をコンピュータに実行させる情報入力プログラムであって、
    前記コンピュータに、
    前記面積値の時間変化量が所定の範囲内に維持されているときの面積値である飽和面積値を保持し、
    前記飽和面積値に第１の係数を乗じた第１の閾値と、前記飽和面積値に第２の係数を乗じた第２の閾値とを生成し、
    前記面積値の変化率が前記第１の閾値よりも大きいときには、前記表示対象物の大きさが拡大するように前記表示データを生成し、
    前記面積値の変化率が前記第２の閾値よりも小さいときには、前記表示対象物の大きさが縮小するように前記表示データを生成し、
    前記面積値の変化率が前記第１の閾値以下かつ前記第２の閾値以上であるときには、前記表示対象物の大きさがそのままに保持されるように前記表示データを生成する、
    処理を実行させる情報入力プログラム。

Images