JP7349441B2 - タッチパネルディスプレイ付きデバイス及びその制御方法、並びにプログラム - Google Patents

Description

本発明はタッチパネルディスプレイ付きデバイス及びその制御方法、並びにプログラムに係り、特に画像に対して直観的動作で所望の処理を行う技術に関する。

近年、ディスプレイ上に接触動作による入力を検出するためのタッチパネルを配置したタッチパネルディスプレイが普及しており、スマートフォン等のモバイル機器に使用されている。

タッチパネルディスプレイを用いた機器では、ユーザによるタッチパネルからの入力によってディスプレイに表示された画像に変更を加えることが行われている。

例えば、特許文献１には、表示されたオブジェクトのうち第１マルチタッチ入力に対応した任意のオブジェクトをピックアップして保存し、保存されたオブジェクトを第２マルチタッチ入力に対応して呼び出す技術が開示されている。

また、特許文献２には、選択した領域をドラッグすることで選択した領域の画像内の位置を修正する技術が開示されている。

さらに、非特許文献１には、オブジェクトの領域を自動で判別して切り取りを行う技術が開示されている。

特許第５７３１９７９号 米国特許第９５７５６４１号明細書

ペイント 3D（Microsoft Corporation）Magic Select（マジック選択）＜ＵＲＬ：https://www.microsoft.com/ja-jp/p/%E3%83%9A%E3%82%A4%E3%83%B3%E3%83%88-3d/9nblggh5fv99?activetab=pivot%3aoverviewtab＞

特許文献１に記載の技術では、ピックアップできるオブジェクトは既にシステムからオブジェクトとして認識されているものに限定されており、オブジェクトとして認識されていないものをピックアップすることはできない。

また、特許文献２に記載の技術では、ユーザが所望の領域を選択するためには数多くのステップを有し、簡便な操作を実現できていない。

さらに、非特許文献１の技術では、シード点特定のための矩形範囲指定が必要であり、簡便な操作を実現できていない。

本発明はこのような事情に鑑みてなされたもので、簡便な操作で画像内のオブジェクトに対して所望の処理を行うタッチパネルディスプレイ付きデバイス、及びその制御方法、並びにプログラムを提供することを目的とする。

上記目的を達成するためにタッチパネルディスプレイ付きデバイスの一の態様は、タッチパネルディスプレイと、タッチパネルディスプレイに画像を表示させる画像表示部と、タッチパネルディスプレイに対するユーザのピンチイン動作を認識するピンチイン動作認識部と、ピンチイン動作によってタッチパネルディスプレイと接触した接触領域を認識する接触領域認識部と、接触領域認識部が認識した接触領域に基づいて、画像に対して接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定するオブジェクト領域決定部と、ピンチイン動作からピンチイン動作以外の動作に遷移したことを認識する動作遷移認識部と、ピンチイン動作以外の動作に遷移したと認識した場合に、タッチパネルディスプレイに表示された画像に対してオブジェクト領域に関するアクションを行う出力アクション部と、を備えたタッチパネルディスプレイ付きデバイスである。

本態様によれば、ピンチイン動作の接触領域に基づいて、画像に対して接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定し、ピンチイン動作からピンチイン動作以外の動作に遷移した場合に、タッチパネルディスプレイに表示された画像に対してオブジェクト領域に関するアクションを行うようにしたので、簡便な操作で画像内のオブジェクトに対して所望の処理を行うことができる。

ピンチイン動作以外の動作はピンチアウト動作、タッチパネルディスプレイとの接触を非接触にする動作、ドラッグ動作、及びタッチパネルディスプレイに対する押圧力をピンチイン動作における押圧力より強くする動作のうちの少なくとも１つであることが好ましい。これにより、ピンチイン動作から一連の動作で画像内のオブジェクトに対して所望の処理を行うことができる。

オブジェクト領域に関するアクションは、オブジェクト領域をコピー又は移動するアクション、オブジェクト領域をメモリに記録させるアクション、オブジェクト領域の向きを変更するアクション、及びオブジェクト領域を拡大又は縮小させるアクションのうちの少なくとも１つであることが好ましい。これにより、画像内のオブジェクトに対して適切な処理を行うことができる。

画像は撮像素子により得られた撮像画像であることが好ましい。本態様によれば、オブジェクト領域抽出がなされていない画像に対しても、画像内のオブジェクトに対して所望の処理を行うことができる。

上記目的を達成するためにタッチパネルディスプレイ付きデバイスの制御方法の一の態様は、タッチパネルディスプレイに画像を表示させる画像表示工程と、タッチパネルディスプレイに対するユーザのピンチイン動作を認識するピンチイン動作認識工程と、ピンチイン動作によってタッチパネルディスプレイと接触した接触領域を認識する接触領域認識工程と、接触領域認識工程が認識した接触領域に基づいて、画像に対して接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定するオブジェクト領域決定工程と、ピンチイン動作からピンチイン動作以外の動作に遷移したことを認識する動作遷移認識工程と、ピンチイン動作以外の動作に遷移したと認識した場合に、タッチパネルディスプレイに表示された画像に対してオブジェクト領域に関するアクションを行う出力アクション工程と、を備えたタッチパネルディスプレイ付きデバイスの制御方法である。

本態様によれば、簡便な操作で画像内のオブジェクトに対して所望の処理を行うことができる。上記のタッチパネルディスプレイ付きデバイスの制御方法をコンピュータに実行させるためのプログラムも本態様に含まれる。

本発明によれば、簡便な操作で画像内のオブジェクトに対して所望の処理を行うことができる。

図１は、タブレットＰＣの正面斜視図である。 図２は、タブレットＰＣの背面斜視図である。 図３は、タブレットＰＣのシステム構成を示すブロック図である。 図４は、タッチパネルディスプレイ制御部のシステム構成を示すブロック図である。 図５は、接触領域を説明するための図である。 図６は、タブレットＰＣの制御方法を示すフローチャートである。 図７は、タッチパネルディスプレイに画像が表示された例を示す図である。 図８は、タッチパネルディスプレイに対するピンチイン動作を説明するための図である。 図９は、ピンチイン動作からピンチイン動作以外の動作への遷移とオブジェクト領域に関するアクションを説明するための図である。 図１０は、一連の動作を終了した時点におけるタッチパネルディスプレイに表示された画像を示す図である。 図１１は、異なる画像間でのオブジェクトのコピーについて説明するための図である。 図１２は、一連の動作を終了した時点におけるタッチパネルディスプレイに表示された画像を示す図である。 図１３は、オブジェクトのコピーについて説明するための図である。 図１４は、一連の動作を終了した時点におけるタッチパネルディスプレイに表示された画像を示す図である。 図１５は、オブジェクトの回転について説明するための図である。 図１６は、一連の動作を終了した時点におけるタッチパネルディスプレイに表示された画像を示す図である。 図１７は、オブジェクトの拡大について説明するための図である。 図１８は、一連の動作を終了した時点におけるタッチパネルディスプレイに表示された画像を示す図である。

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

＜タッチパネルディスプレイ付きデバイス＞
図１は、本実施形態に係るタッチパネルディスプレイ付きデバイスの一例であるタブレット型コンピュータ端末１０（以下、タブレットＰＣ１０と呼ぶ。ＰＣはPersonal Computerの略）の正面斜視図であり、図２は背面斜視図である。図１及び図２に示すように、タブレットＰＣ１０は、矩形の輪郭を有する平板状の筐体１２を備えている。筐体１２は、タッチパネルディスプレイ１４と、操作ボタン１６と、スピーカ１８と、内蔵カメラ２０と、外部接続端子２４と、を備えて構成される。

図３は、タブレットＰＣ１０のシステム構成を示すブロック図である。図３に示すように、タブレットＰＣ１０は、タブレットＰＣ１０の全体の動作を制御するＣＰＵ（Central Processing Unit）３０を備えている。ＣＰＵ３０には、システムバス３２を介して、メインメモリ３４と、不揮発性メモリ３６と、モバイル通信部３８と、無線ＬＡＮ（Local Area Network）通信部４０と、近距離無線通信部４２と、有線通信部４４と、キー入力部５０と、音声処理部５２と、撮像制御部５４と、タッチパネルディスプレイ制御部６０と、が接続されている。

ＣＰＵ３０は、不揮発性メモリ３６に記憶されたＯＳ（Operating System）、及びＯＳ上で動作するアプリケーションプログラム、及び定型データ等を読み出し、メインメモリ３４に展開して動作プログラムを実行することにより、このコンピュータ全体の動作を制御する制御部として機能する。

メインメモリ３４は、例えば、ＲＡＭ（Random Access Memory）で構成され、ＣＰＵ３０のワークメモリとして機能する。

不揮発性メモリ３６は、例えば、フラッシュＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）で構成され、ＯＳ、アプリケーションプログラム、及び各種定型データを記憶する。また、不揮発性メモリ３６は、タブレットＰＣ１０の記憶部として機能し、各種データを記憶する。

モバイル通信部３８は、第４世代移動通信システム（４Ｇ：4th Generation）又は第５世代移動通信システム（５Ｇ：5th Generation）によって、アンテナ３８Ａを介して不図示の最寄りの無線基地局との間でデータの送受信を行う。

無線ＬＡＮ通信部４０は、アンテナ４０Ａを介して、無線ＬＡＮアクセスポイント又は無線ＬＡＮ通信が可能な外部機器との間で例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇ／ｎ規格等の無線ＬＡＮ通信規格に従った無線ＬＡＮ通信を行う。

近距離無線通信部４２は、アンテナ４２Ａを介して、例えばクラス２（半径約１０ｍ以内）の範囲にある他のＢｌｕｅｔｏｏｔｈ（登録商標）規格の機器との間で通信を行う。

有線通信部４４は、外部接続端子２４を介して不図示のケーブルで接続された外部機器との間で所定の通信規格に従った通信を行う。

キー入力部５０は、複数の操作ボタン１６を駆動する駆動回路で構成される。

音声処理部５２は、システムバス３２を介して与えられるデジタル音声データをアナログ化する。アナログ化された音声信号は、スピーカ１８から再生出力される。

撮像制御部５４は、撮像レンズ２０Ａ及び撮像素子２０Ｂを備えた内蔵カメラ２０から出力されるアナログの画像信号をデジタル化し、所要の信号処理を施して出力する。

タッチパネルディスプレイ１４は、画像等を表示するカラーＬＣＤ（Liquid Crystal Display）パネル等のディスプレイ部１４Ａと、カラーＬＣＤパネルの前面に配置され、タッチ入力を受け付ける透明電極等のタッチパネル部１４Ｂと、タッチパネル部１４Ｂの接触位置の押圧力を検知する押圧力センサ１４Ｃと、を備えている。

タッチパネル部１４Ｂは、例えばガラス又はプラスティック等からなり、光透過性を有する基板本体と、基板本体の上に面状に設けられ、光透過性を有する位置検出用電極と、位置検出用電極上に設けられた絶縁層とを有する静電容量式タッチパネルである。タッチパネル部１４Ｂは、ディスプレイ部１４Ａの前面に配置されており、ユーザのタッチ操作に対応した２次元の位置座標情報を生成して出力する。

タッチパネルディスプレイ制御部６０は、タッチパネルディスプレイ１４を制御する。タッチパネルディスプレイ制御部６０は、ディスプレイ部１４Ａに表示した画像の座標とタッチパネル部１４Ｂにおいてタッチ操作された座標とを対応付ける。

図４は、タッチパネルディスプレイ制御部６０のシステム構成を示すブロック図である。図４に示すように、タッチパネルディスプレイ制御部６０は、表示制御部６２と、入力認識部６８と、画像処理部７６と、を備えている。

表示制御部６２は、ＣＰＵ３０からの指令に基づいて、ディスプレイ部１４Ａに各種情報を表示させる。表示制御部６２は、画像表示部６４を備えている。

画像表示部６４は、ＣＰＵ３０からの指令に基づいて、ディスプレイ部１４Ａに各種画像を表示させる。画像表示部６４は、例えば内蔵カメラ２０によって撮像された撮像画像をディスプレイ部１４Ａに表示させる。また、画像表示部６４は、不揮発性メモリ３６から読み出した画像をディスプレイ部１４Ａに表示させる。さらに、画像表示部６４は、モバイル通信部３８、無線ＬＡＮ通信部４０、近距離無線通信部４２、及び有線通信部４４を介して取得した画像をディスプレイ部１４Ａに表示させる。

入力認識部６８は、タッチパネル部１４Ｂからユーザのタッチ操作に対応した２次元の位置座標情報を取得してユーザの入力動作を認識する。入力認識部６８は、ピンチイン動作認識部７０と、接触領域認識部７２と、動作遷移認識部７４と、を備えている。

ピンチイン動作認識部７０は、タッチパネル部１４Ｂに対するユーザのピンチイン動作を認識する。ピンチイン動作とは、タッチパネル部１４Ｂの２箇所の位置に例えば指を接触させた状態で、２点間の距離を縮小するように接触位置を近づける動作である。

接触領域認識部７２は、ピンチイン動作において例えば指がタッチパネル部１４Ｂと接触した接触領域を認識する。

図５は、接触領域を説明するための図である。タッチパネルディスプレイ１４上の位置である始点ＰＳ１に右手人差し指を接触させ、かつタッチパネルディスプレイ１４上の位置である始点ＰＳ２に右手親指を接触させた状態から、右手人差し指を終点ＰＥ１までタッチパネルディスプレイ１４上で移動させ、かつ右手親指を終点ＰＥ２までタッチパネルディスプレイ１４上で移動させて、ピンチイン動作を行ったものとする。この場合において接触領域とは、始点ＰＳ１から終点ＰＥ１まで右手人差し指がタッチパネルディスプレイ１４に接触していた領域Ａ１、及び始点ＰＳ２から終点ＰＥ２まで右手親指がタッチパネルディスプレイ１４に接触していた領域Ａ２を指す。領域Ａ１は始点ＰＳ１及び終点ＰＥ１を含み、領域Ａ２は始点ＰＳ２及び終点ＰＥ２を含む。このように、接触領域とは、ピンチイン動作においてタッチパネルディスプレイ１４と接触した領域を指す。

図４の説明に戻り、動作遷移認識部７４は、ピンチイン動作からピンチイン動作以外の動作に遷移したことを認識する。ピンチイン動作以外の動作は、例えば、ピンチアウト動作、ドラッグ動作、回転動作、非接触動作等である。

ピンチアウト動作とは、タッチパネル部１４Ｂの２箇所の位置に例えば指を接触させた状態で、２点間の距離を拡大するように接触位置を遠ざける動作である。ドラッグ動作とは、タッチパネル部１４Ｂの接触位置を移動させる動作であり、ここではピンチイン動作した状態（ピンチイン状態）から２点間の距離を一定としたまま接触位置を移動させる動作を含む。

回転動作とは、ピンチイン状態から指を回転させて（捻って）２点の接触位置の相対的な位置関係を回転させる動作である。非接触動作とは、タッチパネル部１４Ｂとの接触を非接触にする動作である。

また、ピンチイン動作以外の動作は、タッチパネル部１４Ｂに対する押圧力をピンチイン動作における押圧力より相対的に大きくする押し込み動作であってもよい。

画像処理部７６は、入力された画像に対して処理を行う。画像処理部７６は、オブジェクト領域決定部７８と、出力アクション部８０と、を備えている。

オブジェクト領域決定部７８は、接触領域認識部７２が認識した接触領域に基づいて、ディスプレイ部１４Ａに表示された画像に対して接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定する。

出力アクション部８０は、ピンチイン動作からピンチイン動作以外の動作に遷移した場合に、ディスプレイ部１４Ａに表示された画像に対してオブジェクト領域に関するアクションを行う。

以下の説明において、ディスプレイ部１４Ａの表示、及びタッチパネル部１４Ｂに対するタッチ操作を、単にタッチパネルディスプレイ１４の表示、及びタッチパネルディスプレイ１４に対する操作と表記する。

＜タッチパネルディスプレイ付きデバイスの制御方法＞
タブレットＰＣ１０は、ユーザの操作により画像内のオブジェクトについて所望の処理を行うことができる。図６は、タブレットＰＣ１０の制御方法を示すフローチャートである。図６に示すように、タブレットＰＣ１０の制御方法は、画像表示工程（ステップＳ１）と、ピンチイン動作認識工程（ステップＳ２）と、接触領域認識工程（ステップＳ３）と、オブジェクト領域決定工程（ステップＳ４）と、動作遷移認識工程（ステップＳ５）と、出力アクション工程（ステップＳ６）と、を含んでいる。

ステップＳ１では、画像表示部６４は、画像をタッチパネルディスプレイ１４に表示させる。ユーザはタッチパネルディスプレイ１４をタッチ操作することで、所望の画像をタッチパネルディスプレイ１４に表示させることができる。本実施形態では、画像表示部６４は、例えば不揮発性メモリ３６から読み出した画像を表示させる。ここで表示される画像は、撮像素子を用いて撮像された撮像画像、コンピュータで作成したものではない画像、及びセグメンテーションされていない画像のいずれかである。

ステップＳ２では、ピンチイン動作認識部７０は、タッチパネルディスプレイ１４に対するユーザのピンチイン動作を認識する。ユーザは、タッチパネルディスプレイ１４に表示された画像に含まれるオブジェクトのうち、所望の処理を行いたいオブジェクトの少なくとも一部が接触領域となるようにピンチイン動作を行う。ピンチイン動作認識部７０がピンチイン動作を認識した場合は、ステップＳ３へ移行する。

ステップＳ３では、接触領域認識部７２は、ピンチイン動作によってタッチパネルディスプレイ１４と接触した接触領域を認識する。

ステップＳ４では、オブジェクト領域決定部７８は、ユーザが選択したオブジェクト領域を決定する。具体的には、ステップＳ３で認識した接触領域に基づいて、タッチパネルディスプレイ１４に表示された画像に対して接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定する。

このために、オブジェクト領域決定部７８は、最初に、タッチパネルディスプレイ１４に表示された画像についてセグメンテーション処理を行い、画像から複数のオブジェクト領域を抽出する。領域抽出処理には、画素値分布に基づいた二値化（多値化）、隣接画素間の繋がりからセグメンテーションするグラフカット、条件を満たす画素の領域を拡張しながら抽出する領域拡張法（Region Growing）、及び畳み込みニューラルネットワーク（Convolutional Neural Network）を用いた領域抽出等が考えられるが、これらに限定されるものではなく、他の公知の手法を用いてもよい。

次に、オブジェクト領域決定部７８は、接触領域の位置座標情報と複数のオブジェクト領域の位置座標情報とを比較し、接触領域の少なくとも一部を含むオブジェクト領域を探索する。

オブジェクト領域決定部７８は、接触領域をシード点（前景シード、前景ラベル）として用いてグラフカットや領域拡張法による領域抽出処理を行うことで、接触領域の少なくとも一部を含むオブジェクト領域を探索してもよい。

接触領域の少なくとも一部を含むオブジェクト領域が１つのみの場合は、オブジェクト領域決定部７８は、そのオブジェクト領域をユーザが選択したオブジェクト領域として決定する。また、接触領域の少なくとも一部を含むオブジェクト領域が複数存在する場合は、接触領域を最も多く含むオブジェクト領域をユーザが選択したオブジェクト領域として決定してもよいし、２つの接触領域（図５に示した領域Ａ１及び領域Ａ２）の両方を含むオブジェクト領域をユーザが選択したオブジェクト領域として決定してもよい。

ステップＳ５では、動作遷移認識部７４は、ピンチイン動作からピンチイン動作以外の動作に遷移したことを認識する。ユーザは、タッチパネルディスプレイ１４に対するタッチ操作を、ピンチイン動作からピンチイン動作以外の動作に遷移させることで、選択したオブジェクトに対して所望の処理を施すことができる。動作遷移認識部７４がピンチイン動作以外の動作に遷移したと認識すると、ステップＳ６に移行する。

ステップＳ６では、出力アクション部８０は、タッチパネルディスプレイ１４に表示された画像に対してステップＳ４で決定したオブジェクト領域に関するアクションであって、ステップＳ５によるピンチイン動作以外の動作に割り当てられたアクションを行う。

このように、本実施形態によれば、ユーザの簡便な操作で画像内のオブジェクトについてオブジェクト領域に関する所望のアクションを行うことができる。以下においては、「ピンチイン動作以外の動作」と「オブジェクト領域に関するアクション」の詳細について説明する。

〔同一画像内へのコピー・移動〕
図７は、タッチパネルディスプレイ１４に画像Ｇ１が表示された例を示す図である。画像Ｇ１は、昆虫と樹木が写った撮像画像である。画像Ｇ１は、画像内のセグメンテーションが行われていない画像である。

図８は、タッチパネルディスプレイ１４に対するピンチイン動作を説明するための図である。図８に示すように、ピンチイン動作は例えば２本の指を用いて行う。図８に示す例では、ユーザは画像Ｇ１の昆虫が写った領域の付近についてピンチイン動作を行っている。より詳細には、ユーザは、昆虫の少なくとも一部が接触領域となるようにピンチイン動作を行っている。

このピンチイン動作に対して、オブジェクト領域決定部７８は、画像Ｇ１についてセグメンテーション処理を行い、画像Ｇ１から昆虫のオブジェクト領域及び樹木のオブジェクト領域を抽出する。さらに、オブジェクト領域決定部７８は、昆虫のオブジェクト領域及び樹木のオブジェクト領域から、接触領域の少なくとも一部を含むオブジェクトが占めるオブジェクト領域を決定する。この例では、オブジェクト領域決定部７８は、昆虫のオブジェクト領域ＯＢ１Ａを決定する。

図９は、ピンチイン動作からピンチイン動作以外の動作への遷移とオブジェクト領域に関するアクションを説明するための図である。図９に示す例では、ユーザは、ピンチイン動作から指をピンチイン状態としたままドラッグ動作に遷移させている。

このドラッグ動作への遷移に応じた出力アクションとして、出力アクション部８０は、タッチパネルディスプレイ１４の指の接触位置に、昆虫のオブジェクト領域ＯＢ１Ａのコピー領域であって、色が透過したコピー領域であるオブジェクト領域ＯＢ１Ｂを表示させる。

さらに、図９に示す例では、ユーザは、昆虫をコピーしたい位置においてドラッグ動作からピンチアウト動作に遷移させている。

このピンチアウト動作への遷移に応じた出力アクションとして、出力アクション部８０は、昆虫のオブジェクト領域ＯＢ１Ａのコピー領域であるオブジェクト領域ＯＢ１Ｃを、ピンチアウト動作を行った位置にコピーする。ピンチアウト動作を行った位置とは、例えばピンチアウト動作の始点の２点の接触位置の中心位置である。また、ピンチアウト動作を行った位置は、ピンチアウト動作の終点の２点の接触位置の中心位置であってもよい。

図１０は、この一連の動作を終了した時点におけるタッチパネルディスプレイ１４に表示された画像Ｇ２を示す図である。画像Ｇ２は、図７に示した画像Ｇ１から、昆虫がコピーされて増加した画像となっている。

以上のように、本実施形態によれば、ユーザの簡便な操作で画像内のオブジェクトを同一画像内の異なる位置にコピーすることができる。即ち、ユーザは、コピーしたいオブジェクトの少なくとも一部を接触するようにピンチイン動作を行うことで、所望のオブジェクト領域を抽出することができる。また、ピンチイン動作から連続的にドラッグ動作及びピンチアウト動作を行うだけで、同一画像内の所望の位置にオブジェクトをコピーすることができる。

従来は、オブジェクト領域の抽出には多くのステップが必要であり、ユーザにとって操作が煩雑であった。例えば、非特許文献１のソフトウェアにおいては、シード点のユーザによる設定、オブジェクト領域決定ステップのユーザによる開始、決定されたオブジェクト領域のユーザによる選択という、独立した３動作が少なくとも必要であった。しかしながら、本実施形態では、ピンチイン動作が、従来の技術における上記の３動作を１動作で代替することを可能としており、必要とされるユーザ動作の直観化に寄与している。

このように、本実施形態では、指をタッチパネルディスプレイから離してボタンの操作を行う等の余分なアクションをユーザに強いることなく、未だオブジェクト領域抽出がなされていない画像に対しても、直観的な操作によりユーザがオブジェクトのコピーを行うことができる。

なお、本実施形態では、画像内のオブジェクトを同一画像内の異なる位置にコピーする例を説明したが、画像内のオブジェクトを同一画像内の異なる位置に移動させてもよい。この場合、移動したオブジェクト領域の元の位置を、周囲の画素値を用いて補間してもよい。

〔異なる画像間でのコピー・移動〕
画像内のオブジェクトは、異なる画像にコピー又は移動することも可能である。

図１１は、異なる画像間でのオブジェクトのコピーについて説明するための図である。図１１に示す例では、画像表示部６４は、タッチパネルディスプレイ１４に画像Ｇ１及び画像Ｇ３を並べて表示させている。画像Ｇ１は、昆虫と樹木が写った撮像画像であり、画像Ｇ３は樹木が写った画像である。

図１１に示すように、ユーザがピンチイン動作を行うと、同一画像内のコピーの場合と同様に、オブジェクト領域決定部７８は、接触領域の少なくとも一部を含むオブジェクトが占めるオブジェクト領域として、昆虫のオブジェクト領域ＯＢ１Ａを決定する。

また、図１１に示すように、ユーザがピンチイン動作からドラッグ動作に遷移させると、このドラッグ動作への遷移に応じた出力アクションとして、出力アクション部８０は、タッチパネルディスプレイ１４の指の接触位置に、昆虫のオブジェクト領域ＯＢ１Ａのコピー領域であって、色が透過したコピー領域であるオブジェクト領域ＯＢ１Ｄを表示させる。

ここでのドラッグ動作は、画像Ｇ１が表示された位置から画像Ｇ３が表示された位置まで跨いで行われている。さらに、ユーザは、図１１に示すように、昆虫のオブジェクト領域をコピーしたい画像Ｇ３の位置においてピンチアウト動作に遷移させる。

このピンチアウト動作への遷移に応じた出力アクションとして、出力アクション部８０は、昆虫のオブジェクト領域ＯＢ１Ａのコピー領域であるオブジェクト領域ＯＢ１Ｅを、ピンチアウト動作を行った位置にコピーする。

図１２は、この一連の動作を終了した時点におけるタッチパネルディスプレイ１４の表示を示す図である。図１２に示すように、タッチパネルディスプレイ１４には、画像Ｇ１と画像Ｇ４が並べて表示されている。画像Ｇ４は、図１１に示した画像Ｇ３から、昆虫がコピーされて増加した画像となっている。

以上のように、ユーザの簡便な操作で画像内のオブジェクトを異なる画像の所望の位置にコピーすることができる。オブジェクトはコピーではなく移動させてもよい。

ここまでは、画像Ｇ１の昆虫のオブジェクト領域をコピーする例を説明したが、ピンチイン動作によって樹木のオブジェクト領域を選択し、樹木のオブジェクト領域をコピー又は移動することも当然可能である。

図１３は、図１１に示す場合とは異なるオブジェクトのコピーについて説明するための図である。図１３に示す例では、画像表示部６４は、タッチパネルディスプレイ１４に画像Ｇ１及び画像Ｇ５を並べて表示させている。画像Ｇ１は、昆虫と樹木が写った撮像画像であり、画像Ｇ３は動物が写った画像である。

図１３に示すように、まず、ユーザがピンチイン動作を行う。図１３に示す例では、ユーザは画像Ｇ１の樹木が写った領域の付近についてピンチイン動作を行っている。より詳細には、ユーザは、樹木の少なくとも一部が接触領域となるようにピンチイン動作を行っている。

オブジェクト領域決定部７８は、接触領域の少なくとも一部を含むオブジェクトが占めるオブジェクト領域として、樹木のオブジェクト領域ＯＢ２Ａを決定する。

また、ユーザは、図１３に示すように、ピンチイン動作からドラッグ動作に遷移させる。このドラッグ動作への遷移に応じた出力アクションとして、出力アクション部８０は、タッチパネルディスプレイ１４の指の接触位置に、樹木のオブジェクト領域ＯＢ２Ａのコピー領域であって、色が透過したコピー領域を表示させてもよい。

さらに、ユーザは、樹木のオブジェクト領域をコピーしたい画像Ｇ５の位置においてピンチアウト動作に遷移させている。このドラッグ動作及びピンチアウト動作への遷移に応じた出力アクションとして、出力アクション部８０は、樹木のオブジェクト領域ＯＢ２Ａのコピー領域であるオブジェクト領域ＯＢ２Ｂを、ピンチアウト動作を行った位置にコピーする。

図１４は、この一連の動作を終了した時点におけるタッチパネルディスプレイ１４の表示を示す図である。図１４に示すように、タッチパネルディスプレイ１４には、画像Ｇ１と画像Ｇ６が並べて表示されている。画像Ｇ６は、図１３に示した画像Ｇ５から、樹木がコピーされて増加した画像となっている。

ここでは、樹木は昆虫ごとコピーされているが、昆虫のオブジェクトと樹木のオブジェクトを区別して樹木のオブジェクトのみコピーしてもよい。

このように、ユーザはピンチイン動作の接触領域を異ならせることで、画像に含まれる複数のオブジェクトのうち所望のオブジェクト領域を選択することができる。

異なる画像間に限られず、同一画像内で樹木のオブジェクト領域をコピー又は移動することも当然可能である。

〔回転〕
タブレットＰＣ１０は、所望のオブジェクトの向きを変更することが可能である。図１５は、オブジェクトの回転について説明するための図である。

図７に示した画像Ｇ１についてユーザがピンチイン動作を行って、その後ドラッグ動作に遷移させると、図１５に示すように、このドラッグ動作への遷移に応じた出力アクションとして、出力アクション部８０は、タッチパネルディスプレイ１４の指の接触位置に、抽出したオブジェクト領域ＯＢ１Ａのコピー領域であって、色が透過したコピー領域であるオブジェクト領域ＯＢ１Ｂを表示する。

その後、ユーザは、ピンチイン状態から回転動作に遷移させる。この回転動作への遷移に応じた出力アクションとして、出力アクション部８０は、２点の接触位置の相対的な位置関係の回転量に応じて、オブジェクト領域ＯＢ１Ｂの向きを変更して表示する。したがって、ユーザは回転動作を行うことで、抽出したオブジェクトを回転（向きを変更）させることができる。

その後、ユーザがピンチアウト動作を行うと、出力アクション部８０は、このピンチアウト動作への遷移に応じて、向きが変更されたオブジェクト領域ＯＢ１Ｂを、ピンチアウト動作を行った位置にコピーする。

図１６は、この一連の動作を終了した時点におけるタッチパネルディスプレイ１４に表示された画像Ｇ７を示す図である。画像Ｇ７は、図７に示した画像Ｇ１から、向きが変更された昆虫がコピーされて増加した画像となっている。

ここではピンチイン動作後に、ドラッグ動作、回転動作、及びピンチアウト動作の順に遷移させているが、回転動作、ドラッグ動作、及びピンチアウト動作の順に遷移させても同様の結果を得ることができる。また、回転動作にドラッグ動作及びピンチアウト動作は必須ではない。例えば、ピンチイン動作後に回転動作を行い、その後非接触動作に遷移させることで、決定したオブジェクト領域について元の位置で向きを変更し、向きを変更したオブジェクトをその元の位置に配置することも可能である。

〔拡大／縮小〕
タブレットＰＣ１０は、所望のオブジェクトの拡大又は縮小を行うことも可能である。図１７は、オブジェクトの拡大について説明するための図である。

図７に示した画像Ｇ１についてユーザがピンチイン動作を行い、指とタッチパネルディスプレイ１４との接触状態を維持したまま、ピンチアウト動作に遷移させると、図１７に示すように、このピンチアウト動作への遷移に応じた出力アクションとして、出力アクション部８０は、タッチパネルディスプレイ１４に、抽出したオブジェクト領域ＯＢ１Ａを拡大したオブジェクト領域ＯＢ１Ｆを配置する。

この場合、ピンチアウト動作を拡大する出力アクションに割り当てているため、配置する出力アクションは、非接触動作で行う。ただし、動作とアクションの割り当てはこれに限定されるものではない。

ピンチアウト動作の接触領域の大きさ（ピンチイン動作の始点と終点との間の距離）によって拡大率を変更してもよい。

図１８は、この一連の動作が終了した時点におけるタッチパネルディスプレイ１４に表示された画像Ｇ８を示す図である。画像Ｇ８は、図７に示した画像Ｇ１から、昆虫が拡大された画像となっている。このように、ユーザは所望のオブジェクトのサイズを変更することができる。

また、オブジェクトのサイズを縮小する場合は、押し込み動作によって行う。即ち、タッチパネルディスプレイ１４に表示された画像に対してユーザがピンチイン動作を行って、その後、ピンチイン状態で指とタッチパネルディスプレイ１４との接触状態を維持したまま、押し込み動作に遷移させると、この押し込み動作への遷移に応じた出力アクションとして、出力アクション部８０は、タッチパネルディスプレイ１４に、抽出したオブジェクト領域を縮小したオブジェクト領域を表示する。

この場合、押し込み回数、あるいは押し込み時間で縮小率を変更してもよい。

〔保存〕
タブレットＰＣ１０は、所望のオブジェクトを不揮発性メモリ３６に保存することもできる。

例えば、ピンチイン動作の後、非接触動作に遷移させることで抽出したオブジェクト領域の画像を保存する。保存のための動作は、非接触動作に限定されるものではなく、ピンチアウト動作、押し込み動作等であってもよい。

また、上記の例と組み合わせることで、「抽出→回転→保存」、「抽出→拡大→保存」のように、抽出したオブジェクト領域に対して編集を加えた画像を保存してもよい。

不揮発性メモリ３６に保存したオブジェクト領域の画像は、適宜読み出してタッチパネルディスプレイ１４に表示させることができる。

＜その他＞
どの「ピンチイン動作以外の動作」をどの「オブジェクト領域に関するアクション」に割り当てるかは、上記の例に限定されず、適宜決めればよい。１回のピンチイン動作というユーザの簡便な操作でオブジェクトを指定することができる点が重要である。

ここではタッチパネルディスプレイ付きデバイスの一例としてタブレット型コンピュータ端末について説明したが、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、ノート型のパーソナルコンピュータ等に適用することも可能である。

上記のタッチパネルディスプレイ付きデバイスの制御方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。

ここまで説明した実施形態において、タッチパネルディスプレイ制御部６０の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。

本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。

１０…タブレット型コンピュータ端末（タブレットＰＣ）
１２…筐体
１４…タッチパネルディスプレイ
１４Ａ…ディスプレイ部
１４Ｂ…タッチパネル部
１４Ｃ…押圧力センサ
１６…操作ボタン
１８…スピーカ
２０…内蔵カメラ
２０Ａ…撮像レンズ
２０Ｂ…撮像素子
２４…外部接続端子
３２…システムバス
３４…メインメモリ
３６…不揮発性メモリ
３８…モバイル通信部
３８Ａ…アンテナ
４０…無線ＬＡＮ通信部
４０Ａ…アンテナ
４２…近距離無線通信部
４２Ａ…アンテナ
４４…有線通信部
５０…キー入力部
５２…音声処理部
５４…撮像制御部
６０…タッチパネルディスプレイ制御部
６２…表示制御部
６４…画像表示部
６８…入力認識部
７０…ピンチイン動作認識部
７２…接触領域認識部
７４…動作遷移認識部
７６…画像処理部
７８…オブジェクト領域決定部
８０…出力アクション部
Ｓ１～Ｓ６…タブレットＰＣの制御方法の各ステップ

Claims (20)

1. タッチパネルディスプレイと、
   前記タッチパネルディスプレイに第１の画像及び第２の画像を並べて表示させる画像表示部と、
   前記タッチパネルディスプレイに対するユーザのピンチイン動作を認識するピンチイン動作認識部と、
   前記ピンチイン動作によって前記タッチパネルディスプレイと接触した接触領域を認識する接触領域認識部と、
   前記接触領域認識部が認識した接触領域に基づいて、前記第１の画像に対して前記接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定するオブジェクト領域決定部と、
   前記ピンチイン動作から前記ピンチイン動作以外の動作に遷移したことを認識する動作遷移認識部と、
   前記ピンチイン動作以外の動作に遷移したと認識した場合に、前記タッチパネルディスプレイに表示された前記第１の画像又は前記第２の画像に対して前記オブジェクト領域に関するアクションを行う出力アクション部と、
   を備え、
   前記第１の画像は少なくとも第１オブジェクトの領域が第２オブジェクトの領域内に含まれる画像であり、
   前記オブジェクト領域決定部は、前記接触領域の少なくとも一部が第２オブジェクトの領域内における前記第１オブジェクトの領域に含まれる場合、第１オブジェクトの領域をオブジェクト領域として決定し、
   前記出力アクション部は、前記ピンチイン動作以外の動作に遷移した位置が前記第１の画像の位置の場合は前記第１の画像に対して前記オブジェクト領域に関するアクションを行い、前記第２の画像の位置の場合は前記第２の画像に対して前記オブジェクト領域に関するアクションを行い、
   前記ピンチイン動作以外の動作は前記タッチパネルディスプレイに対する押圧力を前記ピンチイン動作における押圧力より強くする動作であるタッチパネルディスプレイ付きデバイス。
2. タッチパネルディスプレイと、
   前記タッチパネルディスプレイに第１の画像及び第２の画像を並べて表示させる画像表示部と、
   前記タッチパネルディスプレイに対するユーザのピンチイン動作を認識するピンチイン動作認識部と、
   前記ピンチイン動作によって前記タッチパネルディスプレイと接触した接触領域を認識する接触領域認識部と、
   前記接触領域認識部が認識した接触領域に基づいて、前記第１の画像に対して前記接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定するオブジェクト領域決定部と、
   前記ピンチイン動作から前記ピンチイン動作以外の動作に遷移したことを認識する動作遷移認識部と、
   前記ピンチイン動作以外の動作に遷移したと認識した場合に、前記タッチパネルディスプレイに表示された前記第２の画像に対して前記オブジェクト領域に関するアクションを行う出力アクション部と、
   を備え、
   前記第１の画像は少なくとも第１オブジェクトの領域が第２オブジェクトの領域内に含まれる画像であり、
   前記オブジェクト領域決定部は、前記接触領域の少なくとも一部が第２オブジェクトの領域内における前記第１オブジェクトの領域に含まれる場合、第１オブジェクトの領域をオブジェクト領域として決定し、
   前記ピンチイン動作以外の動作は前記タッチパネルディスプレイに対する押圧力を前記ピンチイン動作における押圧力より強くする動作であるタッチパネルディスプレイ付きデバイス。
3. 前記オブジェクト領域に関するアクションは、前記オブジェクト領域の向きを変更するアクションである請求項１又は２に記載のタッチパネルディスプレイ付きデバイス。
4. タッチパネルディスプレイと、
   前記タッチパネルディスプレイに第１の画像及び第２の画像を並べて表示させる画像表示部と、
   前記タッチパネルディスプレイに対するユーザのピンチイン動作を認識するピンチイン動作認識部と、
   前記ピンチイン動作によって前記タッチパネルディスプレイと接触した接触領域を認識する接触領域認識部と、
   前記接触領域認識部が認識した接触領域に基づいて、前記第１の画像に対して前記接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定するオブジェクト領域決定部と、
   前記ピンチイン動作から前記ピンチイン動作以外の動作に遷移したことを認識する動作遷移認識部と、
   前記ピンチイン動作以外の動作に遷移したと認識した場合に、前記タッチパネルディスプレイに表示された前記第２の画像に対して前記オブジェクト領域に関するアクションを行う出力アクション部と、
   を備え、
   前記第１の画像は少なくとも第１オブジェクトの領域が第２オブジェクトの領域内に含まれる画像であり、
   前記オブジェクト領域決定部は、前記接触領域の少なくとも一部が第２オブジェクトの領域内における前記第１オブジェクトの領域に含まれる場合、第１オブジェクトの領域をオブジェクト領域として決定し、
   前記オブジェクト領域に関するアクションは、前記オブジェクト領域の向きを変更するアクションであるタッチパネルディスプレイ付きデバイス。
5. 前記オブジェクト領域に関するアクションは、前記オブジェクト領域を拡大又は縮小させるアクションである請求項１から４のいずれか１項に記載のタッチパネルディスプレイ付きデバイス。
6. タッチパネルディスプレイと、
   前記タッチパネルディスプレイに第１の画像及び第２の画像を並べて表示させる画像表示部と、
   前記タッチパネルディスプレイに対するユーザのピンチイン動作を認識するピンチイン動作認識部と、
   前記ピンチイン動作によって前記タッチパネルディスプレイと接触した接触領域を認識する接触領域認識部と、
   前記接触領域認識部が認識した接触領域に基づいて、前記第１の画像に対して前記接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定するオブジェクト領域決定部と、
   前記ピンチイン動作から前記ピンチイン動作以外の動作に遷移したことを認識する動作遷移認識部と、
   前記ピンチイン動作以外の動作に遷移したと認識した場合に、前記タッチパネルディスプレイに表示された前記第２の画像に対して前記オブジェクト領域に関するアクションを行う出力アクション部と、
   を備え、
   前記第１の画像は少なくとも第１オブジェクトの領域が第２オブジェクトの領域内に含まれる画像であり、
   前記オブジェクト領域決定部は、前記接触領域の少なくとも一部が第２オブジェクトの領域内における前記第１オブジェクトの領域に含まれる場合、第１オブジェクトの領域をオブジェクト領域として決定し、
   前記オブジェクト領域に関するアクションは、前記オブジェクト領域を拡大又は縮小させるアクションであるタッチパネルディスプレイ付きデバイス。
7. 前記ピンチイン動作以外の動作は前記第１の画像から前記第１の画像又は前記第２の画像へのドラッグ動作である請求項１から６のいずれか１項に記載のタッチパネルディスプレイ付きデバイス。
8. 前記ピンチイン動作以外の動作は前記ドラッグ動作後のピンチアウト動作である請求項７に記載のタッチパネルディスプレイ付きデバイス。
9. 前記ピンチイン動作以外の動作は前記ドラッグ動作後の前記タッチパネルディスプレイとの接触を非接触にする動作である請求項７又は８記載のタッチパネルディスプレイ付きデバイス。
10. 前記オブジェクト領域に関するアクションは、前記オブジェクト領域をコピー又は移動するアクションである請求項１から９のいずれか１項に記載のタッチパネルディスプレイ付きデバイス。
11. 前記オブジェクト領域に関するアクションは、前記オブジェクト領域をメモリに記録させるアクションである請求項１から１０のいずれか１項に記載のタッチパネルディスプレイ付きデバイス。
12. 前記画像は撮像素子により得られた撮像画像である請求項１から１１のいずれか１項に記載のタッチパネルディスプレイ付きデバイス。
13. 前記第１オブジェクトは、第２オブジェクトの上に配置されたオブジェクトである請求項１から１２のいずれか１項に記載のタッチパネルディスプレイ付きデバイス。
14. 前記オブジェクト領域決定部は、前記接触領域が第２オブジェクトの領域に含まれる場合、第１オブジェクトと第２オブジェクトの領域を、オブジェクト領域として決定する請求項１から１３のいずれか１項に記載のタッチパネルディスプレイ付きデバイス。
15. タッチパネルディスプレイに第１の画像及び第２の画像を並べて表示させる画像表示工程と、
    前記タッチパネルディスプレイに対するユーザのピンチイン動作を認識するピンチイン動作認識工程と、
    前記ピンチイン動作によって前記タッチパネルディスプレイと接触した接触領域を認識する接触領域認識工程と、
    前記接触領域認識工程が認識した接触領域に基づいて、前記第１の画像に対して前記接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定するオブジェクト領域決定工程と、
    前記ピンチイン動作から前記ピンチイン動作以外の動作に遷移したことを認識する動作遷移認識工程と、
    前記ピンチイン動作以外の動作に遷移したと認識した場合に、前記タッチパネルディスプレイに表示された前記第１の画像又は前記第２の画像に対して前記オブジェクト領域に関するアクションを行う出力アクション工程と、
    を備え、
    前記第１の画像は、少なくとも第１オブジェクトの領域が第２オブジェクトの領域内に含まれる画像であり、
    前記オブジェクト領域決定工程において、前記接触領域の少なくとも一部が第２オブジェクトの領域内における前記第１オブジェクトの領域に含まれる場合、第１オブジェクトの領域をオブジェクト領域として決定し、
    前記出力アクション工程は、前記ピンチイン動作以外の動作に遷移した位置が前記第１の画像の位置の場合は前記第１の画像に対して前記オブジェクト領域に関するアクションを行い、前記第２の画像の位置の場合は前記第２の画像に対して前記オブジェクト領域に関するアクションを行い、
    前記ピンチイン動作以外の動作は前記タッチパネルディスプレイに対する押圧力を前記ピンチイン動作における押圧力より強くする動作である、タッチパネルディスプレイ付きデバイスの制御方法。
16. タッチパネルディスプレイに第１の画像及び第２の画像を並べて表示させる画像表示工程と、
    前記タッチパネルディスプレイに対するユーザのピンチイン動作を認識するピンチイン動作認識工程と、
    前記ピンチイン動作によって前記タッチパネルディスプレイと接触した接触領域を認識する接触領域認識工程と、
    前記接触領域認識工程が認識した接触領域に基づいて、前記第１の画像に対して前記接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定するオブジェクト領域決定工程と、
    前記ピンチイン動作から前記ピンチイン動作以外の動作に遷移したことを認識する動作遷移認識工程と、
    前記ピンチイン動作以外の動作に遷移したと認識した場合に、前記タッチパネルディスプレイに表示された前記第２の画像に対して前記オブジェクト領域に関するアクションを行う出力アクション工程と、
    を備え、
    前記第１の画像は、少なくとも第１オブジェクトの領域が第２オブジェクトの領域内に含まれる画像であり、
    前記オブジェクト領域決定工程において、前記接触領域の少なくとも一部が第２オブジェクトの領域内における前記第１オブジェクトの領域に含まれる場合、第１オブジェクトの領域をオブジェクト領域として決定し、
    前記ピンチイン動作以外の動作は前記タッチパネルディスプレイに対する押圧力を前記ピンチイン動作における押圧力より強くする動作である、タッチパネルディスプレイ付きデバイスの制御方法。
17. タッチパネルディスプレイに第１の画像及び第２の画像を並べて表示させる画像表示工程と、
    前記タッチパネルディスプレイに対するユーザのピンチイン動作を認識するピンチイン動作認識工程と、
    前記ピンチイン動作によって前記タッチパネルディスプレイと接触した接触領域を認識する接触領域認識工程と、
    前記接触領域認識工程が認識した接触領域に基づいて、前記第１の画像に対して前記接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定するオブジェクト領域決定工程と、
    前記ピンチイン動作から前記ピンチイン動作以外の動作に遷移したことを認識する動作遷移認識工程と、
    前記ピンチイン動作以外の動作に遷移したと認識した場合に、前記タッチパネルディスプレイに表示された前記第２の画像に対して前記オブジェクト領域に関するアクションを行う出力アクション工程と、
    を備え、
    前記第１の画像は、少なくとも第１オブジェクトの領域が第２オブジェクトの領域内に含まれる画像であり、
    前記オブジェクト領域決定工程において、前記接触領域の少なくとも一部が第２オブジェクトの領域内における前記第１オブジェクトの領域に含まれる場合、第１オブジェクトの領域をオブジェクト領域として決定し、
    前記オブジェクト領域に関するアクションは、前記オブジェクト領域の向きを変更するアクションである、タッチパネルディスプレイ付きデバイスの制御方法。
18. タッチパネルディスプレイに第１の画像及び第２の画像を並べて表示させる画像表示工程と、
    前記タッチパネルディスプレイに対するユーザのピンチイン動作を認識するピンチイン動作認識工程と、
    前記ピンチイン動作によって前記タッチパネルディスプレイと接触した接触領域を認識する接触領域認識工程と、
    前記接触領域認識工程が認識した接触領域に基づいて、前記第１の画像に対して前記接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定するオブジェクト領域決定工程と、
    前記ピンチイン動作から前記ピンチイン動作以外の動作に遷移したことを認識する動作遷移認識工程と、
    前記ピンチイン動作以外の動作に遷移したと認識した場合に、前記タッチパネルディスプレイに表示された前記第２の画像に対して前記オブジェクト領域に関するアクションを行う出力アクション工程と、
    を備え、
    前記第１の画像は、少なくとも第１オブジェクトの領域が第２オブジェクトの領域内に含まれる画像であり、
    前記オブジェクト領域決定工程において、前記接触領域の少なくとも一部が第２オブジェクトの領域内における前記第１オブジェクトの領域に含まれる場合、第１オブジェクトの領域をオブジェクト領域として決定し、
    前記オブジェクト領域に関するアクションは、前記オブジェクト領域を拡大又は縮小させるアクションである、タッチパネルディスプレイ付きデバイスの制御方法。
19. 請求項１５から１８のいずれか１項に記載のタッチパネルディスプレイ付きデバイスの制御方法をコンピュータに実行させるためのプログラム。
20. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１９に記載のプログラムをコンピュータに実行させる記録媒体。

Images