JP2014209326A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】画像の一部分を使用者が指定する作業を、より簡便に実施する画像処理装置を提供する。【解決手段】画像処理装置１は、所定数の画素により構成される画像を表示する表示部５、画像に対する選択操作を受け付ける入力部６、表示部５と入力部６を制御する制御部２、及び制御部２がデータの読み出し又は書き込みを行う記憶部４を備える。制御部２は、画素値と画素位置に基づいて計算された類似性に応じて画像を分割することにより取得した複数の分割領域を生成する。制御部２はまた、入力部６により受け付けられた選択操作に応じて分割領域が選択される毎に、選択された分割領域の識別情報と選択順序とを対応させて記憶部４に記憶し、表示部５において、識別情報が記憶された分割領域を識別可能に表示させる。【選択図】図９

Description

本開示は、画像の一部を使用者が指定して画像処理などを行う画像処理装置において、使用者が指定した範囲を表示する技術に関する。

表示された画像の中から使用者が特定の領域を指定して、所定の画像処理、例えば指定された領域を切り抜く画像処理装置が知られている。このような画像処理装置では、使用者がディスプレイ上に表示された画像を参照しながら、切り抜きたい領域の輪郭部分をデジタイザ、あるいはマウス等のポインティング・デバイスを用いてトレースして、画素単位で領域を指示するものが一般的である（特許文献１）。

特開平５−２１６９９２号公報

本開示は、画像の一部分を使用者が指定する作業を、より簡便に実施できる画像処理装置、画像処理方法、及び画像処理プログラムを提供する。

本開示の一つの観点に係る画像処理装置は、表示した画像の領域指定を行う画像処理装置であって、所定数の画素により構成される画像を表示する表示部、画像に対する選択操作を受け付ける入力部、表示部と入力部を制御する制御部、及び制御部がデータの読み出し又は書き込みを行う記憶部、を備える。制御部は、画素値と画素位置に基づいて計算された類似性に応じて画像を分割することにより取得した複数の分割領域を生成する。制御部はまた、入力部により受け付けられた選択操作に応じて分割領域が選択される毎に、選択された分割領域の識別情報と選択順序とを対応させて記憶部に記憶し、表示部において、識別情報が記憶された分割領域を識別可能に表示させる。

本開示の他の観点に係る画像処理方法は、表示装置に表示した画像の領域指定を行う画像処理方法であって、所定数の画素により構成される画像を、画素値と画素位置に基づいて計算された類似性に応じて分割することにより複数の分割領域を取得し、使用者の選択操作に応じて分割領域が選択される毎に、選択された分割領域の識別情報と選択順序とを対応させてメモリに記憶し、識別情報が記憶された分割領域を表示装置において識別可能に表示させる。

本開示における画像処理装置、画像処理方法、及び画像処理プログラムは、画像の一部分を使用者が指定する作業を、より簡便に実施するのに有効である。

実施の形態に係る画像処理装置１の概略構成を示すブロック図 同画像処理装置１の動作を示すフローチャート 同画像処理装置１によるセグメント分割処理の動作を示すフローチャート 同画像処理装置１による入力画像の表示状態を示す図 同画像処理装置１によるセグメント分割処理の初期状態を説明する図 同画像処理装置１によるセグメント分割処理の処理結果を説明する図 同画像処理装置１による領域指定処理の動作を示すフローチャート 同領域指定処理時の表示状態を示す図 同画像処理装置１による個別選択処理の動作を示すフローチャート 同個別選択処理の動作を説明する図 同個別選択処理の動作を説明する図 同個別選択処理とＵＮＤＯ処理の動作を説明する図 同画像処理装置１によるＵＮＤＯ処理の動作を示すフローチャート 同画像処理装置１による統合選択処理の動作を示すフローチャート 同統合選択処理の動作を説明する図 同統合選択処理の動作を説明する図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜図１６を用いて、実施の形態１を説明する。
［１．構成］
図１は、画像処理装置１の構成を概略的に示すブロック図である。画像処理装置１は、任意の電子機器であり、例えば、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータ、携帯電話機、情報端末である。画像処理装置１は、画像処理装置１内の各部位の動作を統括的に制御する制御部２（制御部の一例）、レンズや撮像素子を備え画像を撮影するカメラやスキャナなどの画像入力部３、撮影した画像などの各種情報を記録する記憶部４（記憶部の一例）、画像などの映像情報を表示する液晶モニターや有機ＥＬディスプレイなどの表示部５（表示部の一例）、使用者からの各種操作の入力を受けるタッチパネルなどの操作入力部６（入力部の一例）を備えている。入力部６は、使用者の指などが表示部５の画面に接触したことを検知し、検知結果は制御部により判定される。

制御部２は、ＣＰＵ等のプロセッサを含み、所定のプログラムの処理を実行することによって画像処理装置１の動作を実行する。記憶部４は、ハードディスクやシリコンディスク、あるいはＳＤカード（半導体メモリ）などから構成してもよい。また、キャッシュやＲＡＭなどの一時的な記憶を行うもので構成してもよい。
また操作入力部６には、マウスやタブレットなどのポインティング・デバイスを用いてもよいし、キーボードを利用してもよい。あるいは、各種方式による電子ペンなどを用いてもよい。

［２．動作］
［２−１．画像処理装置の動作］
以上のように構成された画像処理装置１の動作を、図２のフローチャートを用いて説明する。画像処理装置１の制御部２は、使用者の操作による指示に応じて、画像入力部３が撮影した画像を表示部５に表示させる。この場合、あらかじめ画像入力部３が撮影した画像を記憶部４に記憶しておき、記憶部４からその画像を読み出して表示部５に表示してもよい（Ｓ１０１）。

次に制御部２は、画像の各画素の値の類似性に基づいて、画像を複数の小領域（セグメント）に分割するセグメント分割処理を行う（Ｓ１０２）。
そして、制御部２は、使用者からの入力待ちうけ状態となって、使用者の各種操作（イベント）に対して所定の処理を行う領域指定処理を行う（Ｓ１０３）。
使用者による領域指定が完了すると、制御部２は、指定された領域に対して所定の画像処理（例えば、指定された領域を切り抜く処理）を行う（Ｓ１０４）。

次に、セグメント分割処理（Ｓ１０２）と、領域指定処理（Ｓ１０３）の動作について、詳細に説明する。
［２−２．セグメント分割処理の動作］
以下に、画像の各画素の値の類似性に基づいて、画像を複数の小領域（分割領域の一例；以下、セグメントと呼ぶ）に分割するセグメント分割処理について説明する。本実施の形態では、このセグメント分割処理として、ｋ平均法（ｋ−ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）に基づくセグメント分割方法を用いている。

図３は、セグメント分割処理の動作を示すフローチャートである。また図４は、処理の対象となる入力画像の液晶画面への表示状態を示す図であり、図５は、セグメント分割処理の初期状態を説明する図、図６は、セグメント分割処理の処理結果を説明する図である。
図４に示すように、画像入力部３により取得され表示部５に表示された入力画像１０には、第１被写体１１、第２被写体１２、第３被写体１３などが含まれている。これら３つの被写体のなかから、第１被写体１１を使用者が指定する場合を例にとって、以下説明を続ける。

なお入力画像１０は、例えばＹＵＶ色空間で表現されるデジタルデータで、制御部２がデジタル処理を行うことができる。すなわち入力画像１０は、Ｍ×Ｎ個（例えば６４０×４８０個）の画素から構成されており、各画素は輝度Ｙ、色差Ｕ，Ｖの３つのデータ（以下画素値と呼ぶ）を有する。なお、画像のデータ形式としては、ＲＧＢ色空間やＬａｂ色空間などとの間で相互に変換可能であるので、他の色空間に変換した結果を画素値として処理してもよい。

制御部２は初期化作業として、画像１０をｋ個（ｋ：２以上の整数）の初期セグメントに分割する（Ｓ２０１）。このｋ個の初期セグメントの重心は、画像１０内に縦横均等に配置される。隣り合う重心間の間隔はＳ（画素）となる。図５はこの初期化状態を示しており、一例として２０×１５個の初期セグメント２０を縦横均等に配置した場合を示している。

さらに、各セグメントには個別にユニークなラベル（識別情報の一例）を付与する（Ｓ２０２）。例えば、図５のセグメントに画面の左上のセグメントを１番として、ラインスキャンするように、右下方向に増加させた番号ｋをラベルとして付与する。図示のセグメント２０のラベルは、ｋ＝５４となる。ここでラベルは、ランダムな数字でもアルファベットなどの文字でもよい。ただし、同じラベルを有するセグメントが同時に存在しないように、ユニークなものとする。

次に、制御部２は画像１０内の全画素に対してループＡの処理を行う（Ｓ２０３）。ループＡの処理としては、画像１０内の各画素に対して、ステップＳ２０４、Ｓ２０５の処理を行う。
制御部２は各画素について、各セグメントの重心に対する距離Ｄｓを算出する（Ｓ２０４）。この距離Ｄｓは、画素値と画素位置を用いて定義された類似性を示す値である。ここでは、距離Ｄｓが小さいほど、セグメントの重心に対する画素の類似性が高いと判断する。

例えば、i番目の画素の画素位置が（ｘｉ，ｙｉ）、画素値が（Ｙｉ，Ｕｉ，Ｖｉ）であった時に、ｋ番目のセグメントまでの距離Ｄｓは、以下の数式１によって算出する。

ここで、セグメントの重心は、画素位置（ｘｋ，ｙｋ）、画素値（Ｙｋ，Ｕｋ，Ｖｋ）である。このセグメント重心の初期値は、図５に示すように均等配置した後の各セグメント重心位置と、その位置における画素値を用いればよい。
またｍは、画素値に基づく距離Ｄ１と、画素位置に基づく距離Ｄ２とが、距離Ｄｓに及ぼす影響のバランスを取るための係数である。この係数ｍは、実験的あるいは経験的に予め定めておけばよい。

次に制御部２は、距離Ｄｓを用いて対象画素ｉが所属するセグメントを決定する（Ｓ２０５）。すなわち、距離Ｄｓが最も小さい重心を有するセグメントを対象画素ｉの所属セグメントと決定する。
このようなステップＳ２０４、Ｓ２０５の処理を画像１０に含まれる全ての画素について実施すること（Ｓ２０３）により、各画素の所属セグメントを決定する。すなわち、各画素が所属するセグメントのラベルを付与されたＭ×Ｎ個のデータが得られる。以下では、このデータを総称してラベル画像２１と呼ぶことにする。

次に制御部２は、ループＡの処理により所属する画素が変更された各セグメントの重心を更新する（Ｓ２０６）。各セグメントの重心を更新することで、より正確な分割処理が可能となる。制御部２は、以下の数式２に従って、新たな重心の画素位置（ｘｋ，ｙｋ）、画素値（Ｙｋ，Ｕｋ，Ｖｋ）を算出する。

ここで、数式２におけるΣはｋ番目のセグメントに含まれる全ての画素についての総和を意図しており、Ｎはｋ番目のセグメントに含まれる画素の総数である。
次に制御部２は、分割処理を終了するかどうかを判断する（Ｓ２０７）。分割処理を継続する場合（Ｓ２０７のＮｏ）は、ステップＳ２０３〜Ｓ２０６の処理を再び行い、ラベル画像２１を更新する。

このステップＳ２０７における終了判断は、例えば、数式２における重心の更新状態を監視して判断してもよい。すなわち、重心の画素位置（ｘｋ，ｙｋ）、画素値（Ｙｋ，Ｕｋ，Ｖｋ）の更新前後における変化が少なくなったらセグメント分割処理を終了（Ｓ２０７のＹｅｓ）と判断する。あるいは、ステップＳ２０３〜Ｓ２０６の繰り返し回数で終了を判定してもよい。例えば、Ｓ２０３〜Ｓ２０６の処理を１０回実施した場合は、セグメント分割処理を終了するようにしてもよい。

このようにして制御部２は、ラベル画像２１の更新を繰り返す。この結果、画像１０は、図６に示すような複数のセグメント２０に分割される。上述のようにステップＳ２０５において各画素の所属セグメントが更新されると、セグメントの形状も変化する。しかし、各セグメントに付与されるラベルは同じである。すなわち、図５に示されたセグメント２０のラベルは、ｋ＝５４であり、図６に示されたセグメント２０のラベルも、ｋ＝５４である。図６を見ると以下のような特徴があることがわかる。第１に、画像１０に含まれる物体（第１被写体１１、第２被写体１２、第３被写体１３）の境界と、セグメント２０の境界が一致していることである。第２に、各セグメント２０の大きさがほぼ均一であり、各物体は複数のセグメント２０から構成されていることである。しかもひとつのセグメント２０が複数の物体に跨って存在していないことがわかる。

したがって、使用者が第１被写体１１を指定する場合には、第１被写体１１に含まれるセグメントを指定するだけでよいことがわかる。従来のように、第１被写体１１の輪郭部分を慎重にトレースして、画素単位で領域を指示する必要がないため、領域指定がより簡便な作業で実行できる。
［２−３．領域指定処理の動作］
図２に示すように制御部２は、セグメント分割処理（Ｓ１０２）を行ったあと、使用者の各種操作（以下ではイベントと呼ぶ）に応じて所定の処理を行う領域指定処理を行う（Ｓ１０３）。

図７は、この領域指定処理の動作を示すフローチャートである。また、図８は領域指定処理時の表示状態を示す図である。表示部５の液晶モニターは、画像１０に加えて、画像処理開始ボタン３１とＵＮＤＯボタン３２を表示している。
初めに制御部２は初期化を行う（Ｓ３０１）。具体的には、使用者の操作履歴を管理する履歴番号Ｒを初期値（例えばＲ＝１）にセットする。また、使用者が選択したセグメントのラベルと履歴番号Ｒを登録するラベル登録リストＬを、記憶部４のＲＡＭ記憶領域に新たに確保する。

次に制御部２は、イベントが検出されるまでステップＳ３０２を繰り返し、使用者からの操作を待ち続ける。使用者が何らかの操作を行うと、操作入力部６が検出したイベントが発生しステップＳ３０３、Ｓ３０５、Ｓ３０７、Ｓ３０９へと進む。
表示部５の液晶モニター、すなわち画面に使用者が触れると、操作入力部６のタッチパネルがイベントとして検出する。使用者の動作がタップ（画面に短く触れるす動作）やドラッグ（画面に触れたまま移動）であった場合には、個別選択処理（Ｓ３０４）を実行する。個別選択処理が完了した後は、再び入力待ちの状態（Ｓ３０２）に戻る。

また、使用者の動作がダブルタップ（画面に短く２度触れる）であった場合には、統合選択処理（Ｓ３０６）を実行して、再び入力待ちの状態（Ｓ３０２）に戻る。なお、上述の入力動作は一例であって、これらに限定されない。また、一方の入力動作を他の入力動作に代えてもよい。
また、使用者がＵＮＤＯボタン３２に触れた場合には、ＵＮＤＯ処理（Ｓ３０８）を実行して、再び入力待ちの状態（Ｓ３０２）に戻る。

そして、使用者が画像処理開始ボタン３１に触れた場合には、制御部２は、領域指定処理の終了と判定（Ｓ３０９のＹｅｓ）して、領域指定処理（Ｓ１０３）を終了する。画像処理開始ボタン３１に触れていない場合には、領域指定を継続すると判定（Ｓ３０９のＮｏ）して、再び入力待ちの状態（Ｓ３０２）に戻る。
以下、個別選択処理（Ｓ３０４）、ＵＮＤＯ処理（Ｓ３０８）、統合選択処理（Ｓ３０６）について、詳細に説明する。

［２−３−１．個別選択処理（タップ時）の動作］
図９は、個別選択処理（Ｓ３０４）の動作を示すフローチャートである。また図１０および図１１は、個別選択処理の動作を説明する図である。
図１０（ａ）に示すように、使用者が画面に表示された第１被写体１１の範囲内の部分（以下では指定位置３０と呼ぶ）に触れると、操作入力部６のタッチパネルがイベントとして検出し、制御部２は図９に示す個別選択処理を開始する。

まず制御部２は、操作入力部６に、使用者の指定位置３０の画素位置（ｘｐ，ｙｐ）を入力するように要求する。操作入力部６は、図１０（ｂ）に示すように、画像１０の左上を原点とする画素位置（ｘｐ，ｙｐ）を制御部２に入力する（Ｓ４０１）。
すると制御部２は、図６のラベル画像２１の情報を参照して、画素位置（ｘｐ，ｙｐ）を含むセグメント３３を特定する（Ｓ４０２）。

そして、制御部２は、ラベル登録リストＬに、セグメント３３のラベルが登録されているかどうかを判定する（Ｓ４０３）。仮に、セグメント３３のラベルが既に登録済みであった場合には（Ｓ４０３のＹｅｓ）、ステップＳ４０７に進む。
セグメント３３が初めて指定された場合には、ラベル登録リストＬへの登録はないので、セグメント３３のラベルと、履歴番号Ｒ（Ｒ＝１）をペアにして記録する（Ｓ４０４）。そして、セグメント３３に含まれる全ての画素を選択画素として図１０（ｃ）に示すように強調表示する（Ｓ４０５）。さらに、履歴番号Ｒを１増加する（Ｒ＝２となる）（Ｓ４０６）。

次に制御部２は、操作入力部６に使用者の指の接触状態を問い合わせ、個別選択処理の終了を判定する（Ｓ４０７）。使用者の動作がタップ（画面に短く触れるす動作）であったので、既に指は画面から離れている。よって制御部２は、個別選択処理を終了し（Ｓ４０７のＹｅｓへ進む）、入力待ちの状態（図７のＳ３０２）に戻る。
次に使用者が、セグメント３３の外側を図１１（ａ）に示すようにタップすると（図７のＳ３０２）、ステップＳ４０１〜Ｓ４０６の処理が同様に行われる。これによって、セグメント３４のラベルと、履歴番号Ｒ（Ｒ＝２）がペアになって、ラベル登録リストＬに記録される（Ｓ４０４）。そして、セグメント３４に含まれる全ての画素（選択画素）が、図１１（ａ）に示すように強調表示される（Ｓ４０５）。さらに、履歴番号Ｒが１増加され（Ｒ＝３となる）（Ｓ４０６）、使用者の動作はタップであったので、Ｓ４０７のＹｅｓへ進み）、個別選択処理を終了する。

以上のように、制御部２は、使用者の動作(タップ)に応じて、セグメントの選択処理を行い、選択されたセグメントを表示部５に強調表示することにより、個別選択処理が実行される。
なお、使用者が誤って、セグメント３３の範囲内の部分を図１１（ｂ）に示すようにタップしてしまった場合は、次のように処理を実行する。制御部２は、ステップＳ４０１、Ｓ４０２の処理を同様に行うが、この場合、ステップＳ４０３においてラベル登録リストＬを参照することにより、セグメント３３は既に登録済みであると判断する。よって、ステップＳ４０４〜Ｓ４０６は実行されず、履歴番号Ｒも変化しないまま（Ｒ＝３のまま）、個別選択処理を終了する。

以上のように、使用者が表示された第１被写体１１の範囲内の部分をタップしていくだけで、第１被写体１１に含まれるセグメント３３、３４が順次選択できる。この結果、第１被写体１１などの領域を指定する作業を、より簡便に実行することができる。しかも誤って同じセグメントをタップした場合があったとしても、ステップＳ４０３において即座に排除され、指定結果に何らの影響も与えないという効果がある。

なお、使用者が既に選択済みのセグメント３３の範囲内の部分をプレス・アンド・ホールド（動かさずに押し続ける）を一定時間（例えば２秒）以上に渡って継続した場合には、別のイベントと判定して、図１１（ｃ）に示すように、セグメント３３の選択を取り消すようにしてもよい。あるいは、セグメントの選択と選択取り消し動作を、スイッチなどを設けて切り替えるようにしてもよい。すなわち、選択取り消し動作に切り替えた後、強調表示されているセグメントの範囲内の部分をタップすると、そのセグメントに関する登録を取り消し、ラベル登録リストＬの記録内容を修正・更新すればよい。

[２−３−２．個別選択処理（ドラッグ時）の動作］
図１２は、個別選択処理（ドラッグ時）とＵＮＤＯ処理の動作を説明するための図である。図１２（ａ）に示すように、使用者が第１被写体１１のセグメント３５からドラッグを開始する場合を説明する。この場合にも図９の動作のフローチャートを参照する。
タップの場合と同様に、使用者の操作により指定位置が入力された場合（Ｓ４０１）、制御部２は、図６のラベル画像２１の情報を参照して、指定された画素位置（ｘｐ，ｙｐ）を含むセグメント３５を特定する（Ｓ４０２）。そしてラベル登録リストＬに、セグメント３５のラベルが登録されているかどうかを判定する（Ｓ４０３）。セグメント３５の登録はないので、セグメント３５のラベルと、履歴番号Ｒ（Ｒ＝３）をペアにしてラベル登録リストＬに記録する（Ｓ４０４）。そして、制御部２は、セグメント３５に含まれる全ての画素を選択画素として図１２（ａ）に示すように表示部５上で強調表示する（Ｓ４０５）。さらに、制御部２は、履歴番号Ｒを１増加する（Ｒ＝４となる）（Ｓ４０６）。

次に制御部２は、操作入力部６に使用者の指の接触状態を問い合わせ、個別選択処理の終了を判定する（Ｓ４０７）。使用者の動作はドラッグ（画面に触れたまま移動）であるので、指の接触は続いている。よって、制御部２は、個別選択処理は継続すると判定し（Ｓ４０７のＮｏへ進み）、処理Ｓ４０１〜Ｓ４０７を再び実行する。
さらに、図１２（ｂ）に点線で示すような経路で、使用者がドラッグを続ける場合について説明をする。上記のように、処理Ｓ４０１〜Ｓ４０７が繰り返し実行されるので、点線で示す経路を含む各セグメントのラベルと、履歴番号Ｒがペアになって、ラベル登録リストＬに順次記録される。すなわち、制御部２は、セグメント３６のラベルと履歴番号Ｒ（Ｒ＝４）、セグメント３７のラベルと履歴番号Ｒ（Ｒ＝５）、セグメント３８のラベルと履歴番号Ｒ（Ｒ＝６）、セグメント３９のラベルと履歴番号Ｒ（Ｒ＝７）、セグメント４０のラベルと履歴番号Ｒ（Ｒ＝８）という順番で、ラベルと履歴番号Ｒをペアにしてラベル登録リストＬに記録する。また、使用者の指の動きに追従して、登録済みのセグメント３６、３７，３８、３９、４０に含まれる全ての画素（選択画素）が、表示部５に順に強調表示される。そして、履歴番号ＲはＲ＝９に増加する。

以上のように、使用者が第１被写体１１の範囲内の部分をラフになぞるだけで、第１被写体１１範囲内のセグメント３５〜３９が順次選択でき、第１被写体１１のエッジに沿った領域を簡単に指定することができる。しかも、選択画素の強調表示が逐次更新されるので、使用者は目視でそれを確認しながら表示部５上の画像に対して領域指定作業を行うことができるという効果を有する。

［２−３−３．ＵＮＤＯ処理の動作］
図１２（ｂ）に示すように、使用者がドラッグ操作を行った後、セグメント４０を選択してしまったことに気づいたとする。セグメント４０は、第１被写体１１に含まれるセグメントではない。そこで、使用者はドラッグ操作を中断して、指を画面から離す。制御部２はステップＳ４０７において（Ｙｅｓへ進み）、個別選択処理を終了する。

次に使用者は、セグメント４０の選択を取り消すために、図１２（ｃ）に示すようにＵＮＤＯボタン３２をタップする。すると制御部２は、ＵＮＤＯ処理（Ｓ３０８）を実行する。図１３は、ＵＮＤＯ処理の動作を示すフローチャートである。以下、ＵＮＤＯ処理の動作について説明をする。
初めに制御部２は、履歴の有無を判定する（Ｓ８０１）。具体的には、登録リストＬの履歴番号Ｒが初期値より大きければ（Ｒ＞１であれば）履歴があると判定する（Ｓ８０１のＹｅｓへ進む）。履歴が無いと判定した場合には、ＵＮＤＯ処理を終了する（Ｓ８０１のＮｏへ進む）。

次に制御部２は、履歴番号Ｒを１減じる（Ｓ８０２）。上記例では、ここまでの履歴番号はＲ＝９であるから、Ｒ＝８とすればよい。そして、制御部２は、画面に表示されている選択画素の強調表示を更新する（Ｓ８０３）。すなわち、制御部２は、現在の履歴番号（Ｒ＝８）にいたるまで（Ｒ＝１〜７の間）に、ラベル登録リストＬに登録されたセグメントを全て抽出し、対応する画素を強調表示する。セグメント３３、３４、３５、３６，３７、３８、３９が登録済みのセグメントであるので、それらに含まれる画素が強調表示される。セグメント４０は履歴番号Ｒ＝８になって登録されたので、制御部２は、セグメント４０を強調表示から通常表示に戻して、図１２（ｃ）に示すように表示部５に表示する。

なお、使用者がＵＮＤＯボタンをもう一度タップした場合には、制御部２は履歴番号をＲ＝７に減じ、セグメント３９に含まれる画素を通常表示に戻す。さらに、使用者がタップを続けるたびに、制御部２は、セグメント３８、３７、３６、３５、３４、３３の順に通常表示に戻す。この時、履歴番号は初期値（Ｒ＝１）にまで戻る。
以上のように、使用者がＵＮＤＯボタンをタップするだけで、直前に登録されたセグメントの登録を取り消すことができるので、使用者の操作ミスがあっても直ちに修正することができる。すなわち、第１被写体１１などの領域を指定する作業を、より簡便な作業とすることができる。しかも、選択画素の強調表示が逐次更新されるので、使用者は目視でそれを確認しながら指定作業を行うことができるという効果を有する。

なお、ＵＮＤＯ動作の反対となるＲＥＤＯ動作も容易に実現できる。すなわち、制御部２は、ＵＮＤＯ動作において減じた分だけ、履歴番号Ｒを増加させるだけでよい。
［２−３−４．統合選択処理（ダブルタップ時）の動作］
図１４は統合選択処理（Ｓ３０６）の動作を示すフローチャートである。また図１５および図１６は、統合選択処理の動作を説明する図である。

図１５（ａ）に示すように、使用者が画面に表示された第１被写体１１の範囲内の部分をダブルタップすると、操作入力部６のタッチパネルがイベントとして検出し、制御部２は図１４に示す統合選択処理（Ｓ３０６）を開始する。
個別選択処理のためのタップの場合と同様に、操作入力部６は、使用者が指定した位置の画素位置（ｘｐ，ｙｐ）を制御部２に入力する（Ｓ６０１）。制御部２は、図６のラベル画像２１の情報を参照して、画素位置（ｘｐ，ｙｐ）を含むセグメント４１を特定する。ここでは、制御部２は、追加候補リストＬａにセグメント４１のラベルだけを登録する（Ｓ６０２）。なお、追加候補リストＬａは、ラベル登録リストＬと同様に記憶部４のＲＡＭ記憶領域等に記憶される。

次に制御部２は、ステップＳ６０３において追加候補リストＬａに登録されたセグメントのラベル全てを、一つの履歴番号Ｒ（Ｒ＝８）とペアにしてラベル登録リストＬに記録する（Ｓ６０３）。ラベル登録リストＬへの記録が完了したら、追加候補リストＬａを初期化する。
次に制御部２は、ステップＳ６０３においてラベル登録リストＬに登録された全ての追加セグメントに対して、ループＢの処理を行う（Ｓ６０４〜Ｓ６０９）。以下ループＢの処理内容について順に説明を続ける。

初めに、ステップＳ６０５において、制御部２は、ラベル登録リストＬに追加登録された各追加セグメントについて、隣接セグメント（隣接分割領域の一例）を全て抽出する。ただし、隣接しているセグメントであっても、既にラベル登録リストＬや、既に追加候補リストＬａにラベルが登録されているセグメントは除くようにする。
そして制御部２は、抽出した全ての隣接セグメント対して、ループＣの処理を行う（Ｓ６０６）。以下ループＣの処理内容について順に説明を続ける。

ステップＳ６０７において制御部２は、追加セグメントと隣接セグメントそれぞれとの類似度Ｅを計算する。具体的には、図３のステップＳ２０６において更新した重心の画素値が（Ｙｉ，Ｕｉ，Ｖｉ）となるｉ番目の追加セグメントに対して、ｊ番目の隣接セグメントの重心の画素値が（Ｙｊ，Ｕｊ，Ｖｊ）であった時に、類似度Ｅは、以下の数式３によって算出する。

ここで、Ｃ１，Ｃ２，Ｃ３は、輝度Ｙと色差Ｕ，Ｖに対する重み付け用の係数である。これらの係数は、実験的あるいは経験的に予め定めておけばよい。
次に制御部２は、類似度Ｅの計算結果を、あらかじめ定められた閾値と比較して、統合すべきかどうかを判定する（Ｓ６０８）。
制御部２は、類似度Ｅが閾値より小さく、ｊ番目の隣接セグメントがｉ番目の追加セグメントとの類似性が高いと判定した場合には（Ｓ６０８のＹｅｓに進み）、ｊ番目の隣接セグメントのラベル番号を、追加候補リストＬａに登録する（Ｓ６０９）。

以上のようにして、ループＣの処理においては、各追加セグメントに隣接する全ての隣接セグメントに対して、Ｓ６０７〜Ｓ６０９の処理を実行する。また、ループＢの処理においては、ラベル登録リストＬに追加登録された全ての追加セグメントに対して、Ｓ６０５〜Ｓ６０９の処理を実行する。
次に制御部２は、統合選択処理を継続すべきかどうかを判定する（Ｓ６１０）。この判定は、追加候補リストＬａに登録されたセグメントの数をカウントして判定する。追加候補リストＬａに登録されたセグメントが１個でも存在する場合には、制御部２は、統合処理を継続し（Ｓ６１０のＹｅｓに進み）、ステップＳ６０３に戻る。

しかし、ステップＳ６０３においてリセットされた後、追加候補リストＬａに登録されたセグメントが無い場合には、制御部２は、統合処理を終了する（Ｓ６１０のＮｏに進む）。
そして、制御部２は、現在の履歴番号（Ｒ＝８）とペアにしてラベル登録リストＬに登録されたセグメントを全て抽出し、表示部５において対応する画素を強調表示する（Ｓ６１１）。さらに、制御部２は、履歴番号Ｒを１増加して（Ｒ＝９とした後）（Ｓ６１２）、統合選択処理を終了する。

図１５、１６を用いて、統合選択処理について、さらに詳しい説明を続ける。
図１５（ａ）に示すように、制御部２は、使用者が画面に表示された第１被写体１１の範囲内のダブルタップを行った位置から、セグメント４１を特定（Ｓ６０１）し、追加候補リストＬａにセグメント４１のラベルを登録（Ｓ６０２）する。その後、制御部２は、セグメント４１のラベルを履歴番号Ｒ（Ｒ＝８）とペアにしてラベル登録リストＬに記録する（Ｓ６０３）。その後、制御部２は、追加候補リストＬａを初期化する。

次に制御部２は、ラベル登録リストＬに追加登録されたセグメント４１について、隣接セグメント４２〜４８を図１５（ｂ）に示すように、全て抽出する（Ｓ６０５）。
そして制御部２は、セグメント４１と各隣接セグメントとの類似度Ｅを数式３に従って計算（Ｓ６０７）して、統合すべきかどうかを判定する（Ｓ６０８）。隣接セグメント４２〜４８は全て、第１被写体１１の範囲内に位置するセグメントであるので、セグメント４１との類似度は高い。よって、制御部２は、隣接セグメント４２〜４８は全て統合すると判定し、７個のセグメントのラベル番号を、追加候補リストＬａに登録する（Ｓ６０９）。さらに、ステップＳ６１０に進むと、制御部２は、ここでは追加候補リストＬａが空ではないと判定するため、ステップＳ６０３に戻る。

次いで、ステップＳ６０３においては、制御部２は、追加候補リストＬａに登録されたセグメント４２〜４８の７個のラベルを履歴番号Ｒ（Ｒ＝８）とペアにしてラベル登録リストＬに追加記録する。その後、制御部２は、追加候補リストＬａを初期化する。
次に制御部２は、ステップＳ６０３においてラベル登録リストＬに追加登録されたセグメント４２について、隣接セグメント４９〜５２を図１５（ｃ）に示すように抽出する（Ｓ６０５）。ここでセグメント４２には、４１、４３、４８の３個のセグメントも隣接するが、これらは既にラベル登録リストＬに登録されたセグメントであるので、隣接セグメントからは除外する。

そして制御部２は、セグメント４２と各隣接セグメントとの類似度Ｅを数式３に従って計算（Ｓ６０７）して、統合すべきかどうかを判定する（Ｓ６０８）。隣接セグメント４９〜５１は全て、第１被写体１１の範囲外に位置するセグメントであるので、セグメント４２との類似度は低い。よって、制御部２は、隣接セグメント４９〜５１は全て統合しないと判定する（Ｓ６０８のＮｏに進む）。しかし、残り１個のセグメント５２は、第１被写体１１の範囲内のセグメントであるので、セグメント４２との類似度は高い。よって、制御部２は、隣接セグメント５２は統合すると判定し（Ｓ６０８のＹｅｓに進む）、セグメント５２のラベル番号を、追加候補リストＬａに登録する（Ｓ６０９）。

同様にして、制御部２は、ステップＳ６０３においてラベル登録リストＬに追加登録されたセグメント４３について、隣接セグメント５３、５４を図１６（ａ）のように抽出する（Ｓ６０５）。そして制御部２は、セグメント４３と各隣接セグメントとの類似度Ｅを数式３に従って計算（Ｓ６０７）して、統合すべきかどうかを判定する（Ｓ６０８）。隣接セグメント５３，５４は、第１被写体１１の範囲内のセグメントであるので、セグメント４３との類似度は高い。よって、制御部２は、隣接セグメント５３、５４を統合すると判定し（Ｓ６０８）、セグメント５３，５４のラベル番号を、追加候補リストＬａに登録する（Ｓ６０９）。

制御部２は、さらに同様の処理を繰り返すことにより、図１６（ｂ）に示すように、セグメント５５、５６のラベル番号を、追加候補リストＬａに登録する（Ｓ６０９）。さらに、ステップＳ６１０に進んだ後、追加候補リストＬａが空ではないので、ステップＳ６０３に戻る。
そしてステップＳ６０３においては、追加候補リストＬａに登録されたセグメント５２〜５６の５個のラベルを、履歴番号Ｒ（Ｒ＝８）とペアにしてラベル登録リストＬに追加記録する。その後、制御部２は、追加候補リストＬａを初期化する。

次に制御部２は、ステップＳ６０３においてラベル登録リストＬに追加登録されたセグメント５２〜５６について、隣接セグメントを抽出し（Ｓ６０５）、類似度Ｅを数式３に従って計算（Ｓ６０７）して、統合すべきかどうかを判定する（Ｓ６０８）。しかし、既に第１被写体１１の範囲内に位置するセグメントは存在しないので、制御部２は、全ての隣接セグメントは統合されないと判定する。よって、ステップＳ６０３においてリセットされた後、追加候補リストＬａに登録されたセグメントは無くなるため、統合選択処理は終了したと判定される（Ｓ６１０）。

そして、制御部２は、現在の履歴番号（Ｒ＝８）とペアにしてラベル登録リストＬに登録されたセグメント４１〜４８、５２〜５６を全て抽出し、対応する画素を図１６（ｃ）に示すように強調表示する（Ｓ６１１）。さらに、制御部２は、履歴番号Ｒを１増加して（Ｒ＝９とした後）（Ｓ６１２）、統合選択処理を終了する。
なお、図１３のフローチャートで説明したように、使用者がＵＮＤＯボタン３２をタップした場合には、直前に登録されたセグメントの登録が全て取り消される。すなわち、履歴番号Ｒ＝８とペアになって記録されたセグメント４１〜４８、５２〜５６の選択が取り消される。このため、使用者はＵＮＤＯボタン３２を操作することにより、図１６（ｃ）の状態から、一気に図１２（ｃ）の状態に戻ることができる。

また、数式３において隣接セグメントの類似度Ｅを計算する際には、ｉ番目の追加セグメントとの類似度を計算していたが、最初にダブルタップしたセグメント、すなわちセグメント４１との類似度を計算するようにしてもよい。あるいはステップＳ６０３において、追加された全てのセグメントの平均値を求め、その平均値との類似度を計算するように定めてもよい。例えば、図１５（ｃ）において隣接セグメント４９〜５２の類似度Ｅを計算する際に、セグメント４２と類似度を計算するのではなく、セグメント４１〜４８の平均値との類似度を計算してもよい。

以上のように、使用者が第１被写体１１の範囲内をダブルタップするだけで、第１被写体１１の範囲内に含まれるセグメントを自動的に選択でき、第１被写体１１の領域全体を簡単に指定できる。また、ＵＮＤＯボタンをタップするだけで、ダブルタップ以前の状態にすばやく戻すこともできる。これによって、第１被写体１１などの画像領域の一部を指定する作業を、より簡便な作業とできる。

［３．まとめ］
以上のように、本実施の形態における画像処理装置１は、画像を表示し（図２のＳ１０１）、表示された画像を、画素値と画素位置に基づいて計算された類似性に応じて複数の小領域に分割した（同Ｓ１０２）後、分割した複数の小領域それぞれにラベルを付与し（図２のＳ２０２）、当該分割した小領域に対する使用者の選択をモニターし（図７のＳ３０２）、選択された小領域のラベルと選択順序を記録し（図９のＳ４０４）、選択された小領域を明示する（同Ｓ４０５）。このため、画像の一部分を使用者が指定する作業を、より簡便に実施することができる。

また、本実施の形態における画像処理装置１は、使用者による取り消し処理を検出した（図７のＳ３０７）後、記録された選択順序に基づいて、最後に選択された小領域から逆順方向に、１個以上の小領域の明示を取り消す（図１３のＳ８０２〜Ｓ８０３）。このため、直前に登録されたセグメントの登録を取り消すことができるので、使用者の操作ミスがあっても直ちに修正することができる。

（その他実施の形態）
上記実施の形態の各処理の一部または全部は、コンピュータプログラムにより実現されるものであってもよい。そして、画像処理装置１により実行される処理の一部または全部は、コンピュータにおいて、例えば、中央演算装置（ＣＰＵ）などのプロセッサにより行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、画像処理装置１により実行される各処理はハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
上記実施の形態による画像処理装置１は、画像処理方法または画像処理をコンピュータに実行させるコンピュータプログラムとしても実現し得る。また、そのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
また、上記実施形態における画像処理の実行順序は、必ずしも、上記実施の形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、画像表示機能を有するデジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータ、携帯電話機、情報端末などの電子機器に適用可能である。

１ 画像処理装置
２ 制御部
３ 画像入力部
４ 記憶部
５ 表示部
６ 操作入力部
１０ 画像
１１ 第１被写体
１２ 第２被写体
１３ 第３被写体
２０ セグメント
２１ ラベル画像
３０ 指定位置
３１ 画像処理開始ボタン
３２ ＵＮＤＯボタン
３３〜５５ セグメント

Claims (11)

1. 表示した画像の領域指定を行う画像処理装置であって、
   所定数の画素により構成される画像を表示する表示部、
   前記画像に対する選択操作を受け付ける入力部、
   前記表示部と前記入力部を制御する制御部、及び
   前記制御部がデータの読み出し又は書き込みを行う記憶部、
   を備え、
   前記制御部は、
   画素値と画素位置に基づいて計算された類似性に応じて前記画像を分割することにより取得した複数の分割領域を生成し、
   前記入力部により受け付けられた選択操作に応じて前記分割領域が選択される毎に、選択された前記分割領域の識別情報と選択順序とを対応させて前記記憶部に記憶し、
   前記表示部において、前記識別情報が記憶された分割領域を識別可能に表示させる、
   画像処理装置。
2. 前記入力部は更に、前記分割領域の選択を解除する操作を受け付け、
   前記制御部は、
   前記入力部により受け付けられた前記分割領域の選択を解除する操作に応じて、前記記憶部に記憶された前記識別情報を前記選択順序とは逆の順序で取り消し、
   前記表示部において、前記識別情報が取り消された分割領域の識別可能表示を解除する、
   請求項１記載の画像処理装置。
3. 前記入力部は、前記分割領域の選択を解除する操作を、前記表示部に表示される一つのボタンの選択により受け付ける、
   請求項２に記載の画像処理装置。
4. 前記制御部は、
   前記分割領域が選択されたとき、前記選択された分割領域に隣接する一以上の隣接分割領域を特定し、
   前記選択された分割領域と特定された前記隣接分割領域との類似度を計算し、
   前記類似度が所定値以上であれば、前記隣接分割領域の識別情報を前記記憶部に記憶し、
   前記隣接分割領域を前記選択された分割領域と共に前記表示部に識別可能に表示させる、
   請求項１から３のいずれかに記載の画像処理装置。
5. 前記制御部は、画素値の差に基づいて前記類似度を計算する、
   請求項４に記載の画像処理装置。
6. 前記記憶部に記憶された前記隣接分割領域と前記選択された分割領域とは一つの識別情報を有し、
   前記制御部は、前記選択された分割領域と前記隣接分割領域とを、前記表示部に同じタイミングで識別可能に表示させる、
   請求項４又は５に記載の画像処理装置。
7. 前記制御部は、前記類似性に応じて分割した前記画像に対し、更に画素値と画素位置に基づいて計算された類似性に応じて分割し、これを繰り返すことにより、前記複数の分割領域を取得する、
   請求項１から６のいずれかに記載の画像処理装置。
8. 前記入力部は、前記表示部に表示された各分割領域の一部分に対する使用者の接触を検知することにより、前記分割領域の選択を受け付ける、
   請求項１から７のいずれかに記載の画像処理装置。
9. 前記入力部は、前記選択された分割領域であって前記表示部に識別可能に表示された分割領域に対して選択操作を更に受け付けたとき、前記制御部は、前記分割領域に対する選択を解除する、
   請求項１から８のいずれかに記載の画像処理装置。
10. 表示装置に表示した画像の領域指定を行う画像処理方法であって、
    所定数の画素により構成される画像を、画素値と画素位置に基づいて計算された類似性に応じて分割することにより複数の分割領域を取得し、
    使用者の選択操作に応じて前記分割領域が選択される毎に、選択された前記分割領域の識別情報と選択順序とを対応させてメモリに記憶し、
    前記識別情報が記憶された分割領域を前記表示装置において識別可能に表示させる、
    画像処理方法。
11. 表示装置に表示した画像の領域指定をコンピュータに実行させる画像処理プログラムであって、
    所定数の画素により構成される画像を、画素値と画素位置に基づいて計算された類似性に応じて分割することにより複数の分割領域を取得し、
    使用者の選択操作に応じて前記分割領域が選択される毎に、選択された前記分割領域の識別情報と選択順序とを対応させてメモリに記憶し、
    前記識別情報が記憶された分割領域を前記表示装置において識別可能に表示させる、
    画像処理プログラム。

Images