JP2013029930A - 画像処理装置 - Google Patents

Abstract

【課題】大ざっぱな座標指定によっても、所望のセグメンテーション処理を達成でき、処理操作の利便性を向上できる画像処理装置を提供する。
【解決手段】処理対象となる画像情報を表示し、表示した画像情報内の点の指定を少なくとも一つ受け入れ、受け入れた点ごとに、当該点を含む所定形状の領域を画像情報内に形成して、当該形成した領域の情報を前景の初期領域として、セグメンテーション処理を実行し、画像情報を、前景と背景とに分離する画像処理装置である。
【選択図】図１

Description

本発明は、画像処理装置に係り、特に処理操作の利便性の向上に関する。

近年、いわゆるスマートフォン等、一般的なコンピュータと同様の処理が可能な携帯端末が広く利用されている。このようなスマートフォンでは、画面が比較的小さく、また操作もタッチパネルを利用するなど、画像上においても大ざっぱな点を指定できる程度となっているものが多い。

一方、与えられた画像情報から対象となる領域を抽出する技術として、画像セグメンテーションと呼ばれる技術が知られている。こうしたセグメンテーションの処理の方法として、グラフカット（Graph Cuts）、領域拡張法などの種々の方法がある。例えば特許文献１には、物体認識のためにセグメンテーション処理を利用する例が開示されている。

特開２０１０−０２７０２５号公報

こうした従来のセグメンテーション技術では、例えばグラフカットを用いる場合に、抽出したい領域（前景）を取り囲む形状を初期領域として事前に指定することが前提となっている。しかしながら、既に述べたように、これをスマートフォン上に実装する場合、詳細な領域指定が困難であるために、セグメンテーションの処理が必ずしも十分にできない場合がある。

本発明は上記実情に鑑みて為されたもので、大ざっぱな座標指定によっても、所望のセグメンテーション処理を達成でき、処理操作の利便性を向上できる画像処理装置を提供することをその目的の一つとする。

上記従来例の問題点を解決する本発明は、画像処理装置であって、処理対象となる画像情報を表示する手段と、前記表示した画像情報内の点の指定を少なくとも一つ受け入れる手段と、前記受け入れた点ごとに、当該点を含む所定形状の領域を前記画像情報内に形成する領域形成手段と、前記形成した領域の情報を前景の初期領域として、セグメンテーション処理を実行し、前記画像情報を、前景と背景とに分離する分離手段と、前記分離して得た前景の画像部分を出力する出力手段と、とを含むこととしたものである。

ここで前記領域形成手段は、所定形状の領域の大きさを、隣接する所定形状の領域に接する大きさとするか、または画像情報を取り囲む形状に接する大きさとしてもよい。

また、前記領域形成手段は、前記形成した所定形状の領域内の小領域であって、当該領域に含まれる前記指定された点を含む小領域をさらに形成し、前記分離手段は、当該小領域内のすべての画素が前景に含まれるものとして分離処理を行うこととしてもよい。

さらに本発明の一態様に係る画像処理装置は、さらに、前記分離手段は、前記領域形成手段が形成した所定形状の領域外の部分を、背景の初期領域として、セグメンテーション処理を実行することとしたものである。

また本発明の別の態様に係るプログラムは、コンピュータを、処理対象となる画像情報を表示する手段と、前記表示した画像情報内の点の指定を少なくとも一つ受け入れる手段と、前記受け入れた点ごとに、当該点を含む所定形状の領域を前記画像情報内に形成する領域形成手段と、前記形成した領域の情報を前景の初期領域として、セグメンテーション処理を実行し、前記画像情報を、前景と背景とに分離する分離手段と、前記分離して得た前景の画像部分を出力する出力手段と、として機能させることとしたものである。

このように点の指定に基づいて初期領域を形成し、セグメンテーション処理を行うことで、大ざっぱな座標指定によっても、所望のセグメンテーション処理を達成でき、処理操作の利便性を向上できる。

本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。 本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置が生成する処理対象座標情報のリストの例を表す説明図である。 本発明の実施の形態に係る画像処理装置が表示する画面例を表す説明図である。 本発明の実施の形態に係る画像処理装置の領域生成の処理例を表す説明図である。 本発明の実施の形態に係る画像処理装置が生成する領域の例を表す説明図である。 本発明の実施の形態に係る画像処理装置の動作例を表すフローチャート図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置１は、図１に例示するように、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、画像取得部１５とを含んで構成されている。

ここで制御部１１は、例えばＣＰＵ（Central Processing Unit）等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態では、この制御部１１は、処理対象となる画像情報を取得して表示部１４に表示出力させる。またこの制御部１１は、表示された画像情報内の点の指定を少なくとも一つ受け入れ、当該受け入れた各点を含む所定形状の各領域を画像情報内に形成する。そして制御部１１は、形成した領域の情報を前景の初期領域としてセグメンテーション処理を実行し、画像情報を、前景と背景とに分離し、当該分離して得た前景の画像部分を出力する。この制御部１１による具体的な処理の内容については後に詳しく述べる。

記憶部１２は、メモリデバイス等であり、制御部１１によって実行されるプログラムを保持する。このプログラムはＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）等のコンピュータ可読な記録媒体に格納されて提供され、この記憶部１２に複写されたものであってもよい。また、この記憶部１２は、制御部１１のワークメモリとしても動作する。

操作部１３は、例えば表示部１４に積層して配された透明のタッチパネルである。この操作部１３は、利用者が触れるなどして指示した位置を表す情報を生成して、制御部１１に出力する。表示部１４は、液晶ディスプレイパネルなどであり、制御部１１から入力される指示に従い、画像情報を表示出力する。

画像取得部１５は、例えばカメラなど、撮像により画像情報を取得する撮像部、あるいは、ネットワークインタフェース、ＵＳＢ（Universal Serial Bus）インタフェース等外部の装置との通信により画像情報を取得する通信部の少なくとも一方を含む。この画像取得部１５は、取得した画像情報を制御部１１に出力する。

次に本実施の形態の制御部１１の動作について説明する。本実施の形態の制御部１１は、画像取得部１５が取得して出力する画像情報を記憶部１２に格納する。また、この制御部１１は、記憶部１２に格納されたプログラムを実行することで、機能的に図２に例示する構成を有したものして動作する。すなわち、この制御部１１は機能的には、画像情報取得部２１と、画像表示制御部２２と、指定点受入部２３と、領域形成部２４と、分離部２５と、出力部２６と、情報処理部２７とを含んで構成される。

画像情報取得部２１は、利用者からの指示に従い、記憶部１２に格納した画像情報の一つを読み出す。また、この画像情報取得部２１は、利用者からの指示に従い、画像取得部１５の撮像部に指示して、画像情報を撮像して取得してもよい。画像表示制御部２２は、画像情報取得部２１が取得した画像情報を表示部１４に表示出力させる。

指定点受入部２３は、画像表示制御部２２によって表示部１４が表示出力している画像情報上で、利用者が操作部１３を操作して指示した位置（画像情報内の点の指定）を少なくとも一つ、受け入れる。操作部１３が表示部１４に積層されたタッチパネルである場合、操作部１３は、利用者が触れた位置に対応する、積層されている表示部１４上の画素の位置の情報（座標情報）を出力する。

指定点受入部２３は、操作部１３から利用者が指定した座標情報の入力を受けるごとに、当該座標情報Ｐを、記憶部１２に処理対象座標情報リストとして蓄積して格納する（図３）。また、この指定点受入部２３は、利用者が操作部１３上の一点を長押し（タッチパネル上の一点を抑えたまま、一定時間以上そのままにする操作）したことを表す情報を操作部１３から受け入れ、次の処理を行ってもよい。

すなわち、長押しされた座標情報Ｓが入力されると、処理対象座標情報リストに含まれる座標情報Ｐ1，Ｐ2，…Ｐnのうち、
｜Ｓ−Ｐi｜＜Ｔ
（ただし、｜Ｓ−Ｐi｜は、座標情報Ｓで表される座標と、Ｐiで表される座標との距離、ｉ＝１，２，…ｎ、Ｔは予め定めたしきい値）を満足する座標情報Ｐiがあるか否かを調べ、そのようなＰiがあれば（複数あれば、｜Ｓ−Ｐi｜が最も小さいＰiとする）、当該Ｐiを取り囲む所定形状の図形を表示部１４に表示し、また、当該図形の近傍に削除指示を受け入れるアイコン（例えばＸ印のアイコン）を表示する。この表示は例えば図４に例示するようになる。

そして利用者がこの所定形状の図形を表示部１４上でドラッグすると、ドラッグに従って座標情報Ｐiを変更する。また、利用者が当該図形近傍に配された削除指示用のアイコンに触れると、当該座標情報Ｐiを、処理対象座標情報リストから削除する等、処理対象座標情報リスト上の座標情報を追加、変更する処理を行わせてもよい。

領域形成部２４は、処理対象座標情報リストに含まれる座標情報を参照し、利用者の指示操作により受け入れた点ごとに、当該点を含む所定形状の領域を画像情報内に形成する。具体的にこの領域形成部２４は、処理対象座標情報リストに含まれる座標情報を順次、注目座標Ｐgとして選択する。

領域形成部２４は、注目座標Ｐgとの間で、距離
｜Ｐi−Ｐg｜
が最も小さい、最近傍の座標情報Ｐjを処理対象座標情報リストに含まれる座標情報Ｐi（ｉ＝１，２，…ｎ、ただしｉ≠ｇ）のうちから選択する。そして領域形成部２４は、最近傍の他の点までの距離｜Ｐj−Ｐg｜の半分を、点Ｐgを含む所定形状の領域の大きさを規定する情報ｒgとして算出する。つまり、
ｒg＝｜Ｐi−Ｐg｜／２
とする（図５）。

領域形成部２４は、処理対象座標情報リストに含まれる座標情報Ｐi（ｉ＝１，２，…ｎ）に関連して、それぞれの点を含む所定形状の領域の大きさを規定する情報ｒi（ｉ＝１，２，…ｎ）を生成すると、この情報ｒiを、対応する座標情報を特定する情報に関連づけて記憶部１２に格納する。領域形成部２４はそして、座標情報Ｐiがあらわす座標を中心とし、半径がｒiである円形状の領域（ｉ＝１，２…，ｎ）を生成する（図６）。このようにすることで、所定形状の領域の大きさが隣接する（最近傍の）所定形状の領域に接する大きさとなる。

またこの領域形成部２４は、ｎ＝１、つまり、処理対象座標情報リストに含まれる座標情報Ｐiが１つしかなければ、領域の大きさを画像情報を取り囲む形状に接する大きさとする。つまり座標情報Ｐiが表す座標を中心とし、画像情報に外接する矩形に内接する（枠に接する最大の大きさの）円形状の領域を生成することとすればよい。

分離部２５は、形成した領域の情報を前景の初期領域として、セグメンテーション処理を実行し、画像情報を、前景と背景とに分離する。このセグメンテーション処理については、例えばグラフカットなどの公知の処理を採用できるので、ここでの詳しい説明を省略する。具体的には、グラフカットの実装例であるグラブカット（GrabCut）の自動セグメンテーション（Automatic segmentation）を採用してもよい。このグラブカットは例えば、C. Rother, V. Kolmogorov, and A. Blake, GrabCut: Interactive foreground extraction using iterated graph cuts, ACM Trans. Graph., vol. 23, pp. 309−314, 2004に詳しい説明が記載されている。

出力部２６は、画像情報のうち、分離された前景の画像部分を出力する。本実施の形態では、座標情報Ｐiごとに前景となる画像部分が分離される。出力部２６は、座標情報Ｐiごとの前景となる画像部分を出力する。情報処理部２７は、出力部２６が出力した画像部分を用いて予め定めた情報処理を実行する。この情報処理部２７による処理の例については後に述べる。

本実施の形態は、以上の構成を備えており、次に述べるように動作する。利用者が本実施の形態の画像処理装置を操作して、画像情報を取得して表示するよう指示すると、図７に例示するように本実施の形態の画像処理装置１は、表示部１４に指示により取得した画像情報を表示し、点を指定する操作を待機する（Ｓ１）。

利用者が、表示された画像情報上で、抽出したい画像部分中の一点をタップすると画像処理装置１は、当該タップされた位置に対応する画像情報上の座標情報を取得して記録する（Ｓ２）。画像処理装置１は、利用者から指定が終了した旨の操作が行われるまで処理Ｓ２を繰り返して行い、少なくとも一つの指定点の座標情報を蓄積して記録する。

利用者が点の指定を終了した旨の操作を行うと、画像処理装置１は、処理対象座標情報リストに含まれる座標情報を参照し、利用者の指示操作により受け入れた点ごとに、当該点を含む所定形状の領域を画像情報内に形成する（Ｓ３）。ここでは所定形状は例えば円であるとする。また、各領域は重なり合わずに互いに接する大きさ以下の大きさとする。

画像処理装置１は、形成した領域を、前景を表す初期領域としてグラブカットなどのプログラムを利用してセグメンテーション処理を実行する（Ｓ４）。そしてセグメンテーションの処理により得られた画像情報のうち、前景となる部分画像を処理の対象として取り出して（Ｓ５）、予め定めた処理を実行する（Ｓ６）。

さらに本実施の形態の画像処理装置１の制御部１１は、領域形成部２４及び分離部２５の処理として次のような処理を行ってもよい。すなわち領域形成部２４は、座標情報Ｐiについて確定した円形状の領域（区別のため外周領域と呼ぶ）内に、さらに当該座標情報Ｐiによって表される座標を含む小領域をさらに形成してもよい。この小領域は具体的に、確定した外周領域の形状と相似の形状であって、予め定めた大きさのものとする。なお、この予め定めた大きさによって確定される小領域が、確定した外周領域からはみ出る場合は、外周領域と小領域とが重なりあっている（いわばそれらの論理積によって確定される）領域を小領域とする。

また別の例では、この小領域は、確定した外周領域の形状と相似の形状であって、外周領域の大きさに対して予め定めた比ないし大きさだけ小さい領域であるものとして設定してもよい。

そして制御部１１の分離部２５は、この小領域内にある画素はすべて前景を構成する画素であるとしてセグメンテーションの処理を実行する。具体的にグラブカットを用いる場合、外周領域を初期領域として自動セグメンテーションを行った後、この小領域が利用者から前景として指定された領域（C. Rother, V. Kolmogorov, and A. Blake, GrabCut: Interactive foreground extraction using iterated graph cuts, ACM Trans. Graph., vol. 23, pp. 309−314, 2004においてαn＝１（foreground brush）とされる領域）であるとして、再度セグメンテーションの評価を実行する。

さらに本実施の形態の画像処理装置１では、分離部２５の処理として、画像情報のうち、どの外周領域にも含まれない部分（領域外の部分）については、背景の初期領域としてセグメンテーションの処理を行ってもよい。具体的に、グラブカットを用いる場合、外周領域を初期領域として自動セグメンテーションを行った後、この小領域が利用者から前景として指定された領域（C. Rother, V. Kolmogorov, and A. Blake, GrabCut: Interactive foreground extraction using iterated graph cuts, ACM Trans. Graph., vol. 23, pp. 309−314, 2004においてαn＝０（background brush）とされる領域）であるとして、再度セグメンテーションの評価を実行する。

さらにここまでの説明において、領域形成部２４は、注目座標情報Ｐｇから最近傍の他の点（座標情報Ｐjで表される座標の点）までの距離｜Ｐj−Ｐg｜の半分、つまりこれらの各点の中点を、点Ｐgを含む所定形状の領域の外周が通る点として、領域の大きさを規定していた。つまり、
ｒg＝｜Ｐj−Ｐg｜／２
としていた。

しかしながら、本実施の形態はこれに限られるものではない。例えば領域形成部２４は、形成した領域を表す図形画像を、処理の対象となっている画像情報に重ね合わせて、表示部１４に表示出力し、領域の調整を利用者から受け入れる指示に従って行ってもよい。この調整は例えば次のようにして行うことができる。すなわち利用者が領域内の一点をタップするごとに、当該タップされた領域の大きさを拡大するようにする。

このために領域形成部２４は、この調整を受け入れる処理を行う際には、予め各座標情報Ｐi（ｉ＝１，２，…，ｎ）についてタップ回数を表す情報Ｔi（ｉ＝１，２，…，ｎ）を関連づけて記憶部１２に格納して保持する。このタップ回数Ｔiは、当初は、それぞれ１回ずつなのでそれぞれ「１」となる。

一例として、処理Ｓ３において領域を形成すると、形成した領域を表す図形画像を、処理の対象となっている画像情報に重ね合わせて表示部１４に表示出力し、領域の調整を利用者から受け入れる処理を行う。

ここで利用者が調整のために指定した点の座標情報が入力されると、領域形成部２４は形成した領域の情報を参照して、当該座標情報が表す点を含む領域を特定する。つまり、利用者が調整のために指定した点の座標情報をＰaとして、処理対象座標情報リストに含まれる座標情報Ｐi（ｉ＝１，２，…，ｎ）と、それぞれに対応する領域の大きさ（ここでは円の半径ｒi）とを用いて、
｜Ｐa−Ｐi｜≦ｒi
なる座標情報Ｐiを検索する。そして、そのような座標情報Ｐiがあれば、領域形成部２４は座標情報Ｐiに対応する領域を指定された領域として、当該座標情報Ｐiに関連づけられたタップ回数Ｔiを「１」だけインクリメントする。

そして領域形成部２４は、当該座標情報Ｐiとその最近傍の他の点までの距離｜Ｐj−Ｐi｜を用いて、まず指定した座標情報Ｐiに係る、指定された領域の大きさｒiを、
ｒ′i＝（Ｔi／（Ｔi＋Ｔj））×｜Ｐj−Ｐi｜
に更新する。なお、Ｔjは、座標情報Ｐjに関連づけられたタップ回数である。また領域形成部２４は、座標情報Ｐiの最近傍の座標情報Ｐjについて、当該座標情報Ｐjに係る領域の大きさｒjを
ｒ′j＝（Ｔj／（Ｔi＋Ｔj））×｜Ｐj−Ｐi｜
とする。

このとき、領域形成部２４は、
｜Ｐi−Ｐk｜＜ｒ′i＋ｒk
または
｜Ｐj−Ｐk｜＜ｒ′j＋ｒk
なる座標情報Ｐkならびに半径ｒkがないかを調べる。つまり領域の大きさを拡大等した結果、他の座標情報に係る領域と重なり合うこととならないかを調べる。そして座標情報Ｐiについて、｜Ｐi−Ｐk｜＜ｒ′i＋ｒkなる（重なり合うこととなる）Ｐk及びｒkが見出されたときには、領域形成部２４は、
ｒ′i＝｜Ｐi−Ｐk｜−ｒk
とする。また座標情報Ｐjについて、｜Ｐj−Ｐk｜＜ｒ′j＋ｒkなる（重なり合うこととなる）Ｐk及びｒkが見出されたときには、領域形成部２４は、
ｒ′j＝｜Ｐj−Ｐk｜−ｒk
とする。

また、利用者が領域の調整を終了する指示（領域を確定する指示）を入力すると、処理Ｓ４に移行して、処理を続ける。

次に、本実施の形態の画像処理装置１において制御部１１が、画像情報から処理対象として取り出した前景となる画像部分について行う処理の例について述べる。本実施の形態のある例によると、画像処理装置１が取得する画像情報は、例えば複数の皿のそれぞれに盛られた飲食物を撮像した画像情報である。

そして利用者は、表示された飲食物を撮像した画像から、各皿の飲食物の部分をタップする。画像処理装置１は、タップされた位置を含む領域を画定し、この領域を前景の初期領域としてセグメンテーション処理により、飲食物を含んだ画像部分を抽出する。

本実施の形態の画像処理装置１は、抽出した画像部分の画素値のヒストグラム等、画素値に基づいて演算される特徴量と、当該特徴量により識別される料理について、標準的なものについて予め定めた分量の場合（例えば１人分）の栄養成分値（例えばカロリーや塩分等）とを関連づけて保持したデータベース（成分値データベース）を参照して、抽出された画像部分ごとに、標準的、かつ予め定めた分量の栄養成分値を取得する。なお、こうしたデータベースは、文部科学省の「食品標準成分表」等の情報から作成できる。

画像処理装置１は、次に、抽出した前景の画像部分の数と大きさとにより、取得した栄養成分値を補正する。具体的に、通常の食事において一人が喫食する飲食物の種類を平均的にＮ皿として、抽出した前景の画像部分の数がこのＮを超えていなければ、この抽出した前景の画像部分の大きさ（例えば抽出した画像部分に外接する円の半径ｒiでよい）の平均値ｒaveを演算する。そして当該平均値を１人分の大きさとして、抽出した前景の各画像部分の大きさｒi／ｒaveを対応する画像部分について成分値データベースから取得した栄養成分値に乗じて、累算する。

また、抽出した前景の画像部分の数がこのＮを超えていれば、Ｎ以下の画像部分が得られるまで、抽出した前景の画像部分のうち大きさが大きいものから順にｎ個、または、小さいものから順にｍ個の少なくとも一方を、ｎ，ｍを漸増させつつ繰り返して、除いていく。そして、この結果、Ｎ以下の画像部分が得られたならば、それらの大きさの平均値ｒaveを演算する。そして当該平均値を１人分の大きさとして、抽出した前景の各画像部分の大きさｒi／ｒaveを対応する画像部分について成分値データベースから取得した栄養成分値に乗じて、累算する。そして画像処理装置１は、この累算の結果を表示部１４に表示し、利用者に提示する。

［個別の大きさ］
また領域形成部２４が、形成した領域の一つに対して利用者の調整の指示を受け入れる場合に、ここまでの説明では、調整の対象となった領域の大きさを指示に応じて拡大するとともに、隣接する領域の大きさについては、当該調整の対象となった領域と重なり合わず、接することとなるよう縮小することとしてきた。しかしながら本実施の形態はこれに限られるものではない。

個々の領域の大きさを個別のものとして、利用者による調整の対象となった領域を指示に応じて拡大ないし縮小するようにし、隣接する領域の大きさについては調整しないようにしても構わない。

すなわち、利用者が調整のために指定した点の座標情報Ｐaが入力されると、領域形成部２４は、形成した領域の情報を参照して、当該座標情報が表す点を含む領域を特定する。つまり、利用者が調整のために指定した点の座標情報をＰaとして、処理対象座標情報リストに含まれる座標情報Ｐi（ｉ＝１，２，…，ｎ）と、それぞれに対応する領域の大きさ（ここでは円の半径ｒi）とを用いて、
｜Ｐa−Ｐi｜≦ｒi
なる座標情報Ｐiを検索する。そして、そのような座標情報Ｐiがあれば、領域形成部２４は座標情報Ｐiに対応する領域を指定された領域として、当該指定された領域の座標情報Ｐiに関連づけられたタップ回数Ｔiを「１」だけインクリメントする。

そして領域形成部２４は、この座標情報Ｐiに係る、指定された領域の大きさｒiを、
ｒi＝ｒi＋Δｒ×Ｔi
として、ｒiを更新する（この場合の等号は、左辺の変数に右辺の値を代入することを意味する）。ここでΔｒはタップ一回分の増分として予め定めた値とする。

この場合、領域形成部２４は、利用者が領域の調整を終了する指示を入力すると、互いに異なる二つの座標情報Ｐi（ｉ＝１，２，…，ｎ）、Ｐj（ｊ＝１，２，…，ｎ）の組み合わせのすべてについて、｜Ｐi−Ｐj｜＜ｒi＋ｒjであるようなｉ，ｊの組み合わせがあるか否か（互いに重なり合う領域があるか否か）を調べる。

そして領域形成部２４は、重なり合う領域の有無を表す情報を分離部２５に出力する。分離部２５は、重なり合う領域がない旨の情報が入力されているときには、ここまでに説明したのと同様に、形成した領域の情報を前景の初期領域として、セグメンテーション処理を実行し、画像情報を、前景と背景とに分離する。

一方、分離部２５は、重なり合う領域がある旨の情報が入力されているときには、個々の座標情報Ｐi（ｉ＝１，２，…，ｎ）に係る領域の各々を、前景の初期領域として、個別にセグメンテーション処理を実行する。そして個別のセグメンテーション処理の結果、個別に得られる前景部分の論理和を、画像情報の前景部分とし、また、この前景部分以外の部分を背景とする。

この例のように、分離部２５は、少なくとも互いに重なり合わない領域については一括して、また重なり合う領域については個別にセグメンテーションの処理を実行して、前景と背景とを分離する。

［前景の大きさを変更する処理の変形例］
また、領域形成部２４は、領域の調整を受け入れる場合であって、領域間が離れても構わないとする場合には、入力された座標情報Ｐiに対する最近傍の座標情報に関わらず、予め定めた大きさｒdefaultを初期値として、座標情報Ｐiに対応する領域の大きさとしてもよい。つまり、
ｒi＝ｒdefault
とする。

この場合利用者は、当初領域に関する座標情報を指定して、その後、適宜タップを繰り返して、領域の大きさが所望のものとなるまでタップを繰り返すこととすればよい。

さらにここまでの説明では、領域形成部２４が調整の処理を受け入れるにあたっては、タップ回数に応じて領域を拡大する例について述べたが、調整の処理では、領域の拡大・縮小の双方を可能としてもよい。

この例では、領域形成部２４は、拡大・縮小の双方の調整を受け入れる処理を行うため、予め各座標情報Ｐi（ｉ＝１，２，…，ｎ）について拡大縮小の割合を表す重み値Ｗi（ｉ＝１，２，…，ｎ）を関連づけて記憶部１２に格納して保持する。この重み値Ｗiは、当初は、予め定めた初期値Ｘ、例えば「０」としておく。

また、入力された座標情報Ｐiに対する最近傍の座標情報に関わらず、予め定めた大きさｒdefaultを、座標情報Ｐiに対応する領域の大きさの初期値としておく。

一例として領域形成部２４は、処理Ｓ３において領域を形成すると、形成した領域を表す図形画像を、処理の対象となっている画像情報に重ね合わせて表示部１４に表示出力するとともに、各領域を表す図形画像の内部ないし外周上に重ね合わせて、領域の拡大を指示する際にタップするアイコン（例えば「＋」記号のアイコン）と、領域の縮小を指示する際にタップするアイコン（例えば「−」記号のアイコン）とを表示する。そして領域の調整を利用者から受け入れる処理を行う。これら、拡大ないし縮小指示のためのアイコンは、どの領域に関連するものかが指定できればそれでよく、表示位置は特に上記のものに限られない。

さらに別の例では、調整の対象となる領域を指定して、指二本で広げるあるいは狭めるような操作（アップル社のアイフォーンでいう、「ピンチアウト」ならびに「ピンチイン」操作）を行うことで、拡大縮小の指示が行われてもよい。

ここで利用者が調整のために、いずれかの領域の図形画像に関連づけられた拡大・縮小のためのアイコンがタップされるか、またはいずれかの領域を指定した「ピンチアウト」や「ピンチイン」といった操作が行われると、領域形成部２４は形成した領域の情報を参照して、指定された領域Ｐi（アイコンをタップしたときには当該タップされアイコンに関連する領域）を特定する。

そして領域形成部２４は、当該特定した座標情報Ｐiに関連づけられた重み値Ｗiを調整する。すなわち、領域の拡大を指示するアイコンがタップされたときには例えば重み値Ｗiをタップされた回数だけ増大させ、領域の縮小を指示するアイコンがタップされたときには例えば重み値Ｗiをタップされた回数だけ減少させる。

また「ピンチアウト」や「ピンチイン」といった操作の場合は、これらの操作において２つの指の触れている点が近接ないし離隔した量に応じ、近接したときには近接量（当初の２点間の距離と、操作後の２点間の距離との差の絶対値）に、予め定めた係数を乗じ、当該乗じた結果だけ、現在の重み値Ｗiから差引きする。

また、ピンチアウト操作（２つの指の触れている点が離隔していく操作）がされたときには、離隔量（当初の２点間の距離と、操作後の２点間の距離との差の絶対値）に、予め定めた係数を乗じ、当該乗じた結果だけ、現在の重み値Ｗiを増大させる。

領域形成部２４は、こうして調整した重み値Ｗiを用いて、先に特定した座標情報Ｐiに係る、指定された領域の大きさｒiを、
ｒi＝ｒdefault＋Δｒ×（Ｗi−Ｘ）
として、ｒiを更新する（この場合の等号は、左辺の変数に右辺の値を代入することを意味する）。ここでのΔｒは、重み値Ｗの増分「１」あたりの拡大縮小量として予め定めた値とし、ｒdefaultは、領域の大きさの初期値、Ｘは重み値の初期値とする。

さらに領域形成部２４は、利用者が領域の調整を終了する指示を入力すると、互いに異なる二つの座標情報Ｐi（ｉ＝１，２，…，ｎ）、Ｐj（ｊ＝１，２，…，ｎ）の組み合わせのすべてについて、｜Ｐi−Ｐj｜＜ｒi＋ｒjであるようなｉ，ｊの組み合わせがあるか否か（互いに重なり合う領域があるか否か）を調べる。

そして領域形成部２４は、重なり合う領域の有無を表す情報を分離部２５に出力する。処理Ｓ４以下の処理を行う分離部２５は、重なり合う領域がない旨の情報が入力されているときには、ここまでに説明したのと同様に、形成した領域の情報を前景の初期領域として、セグメンテーション処理を実行し、画像情報を、前景と背景とに分離する。

一方、分離部２５は、重なり合う領域がある旨の情報が入力されているときには、個々の座標情報Ｐi（ｉ＝１，２，…，ｎ）に係る領域の各々を、前景の初期領域として、個別にセグメンテーション処理を実行する。そして個別のセグメンテーション処理の結果、個別に得られる前景部分の論理和を、画像情報の前景部分とし、また、この前景部分以外の部分を背景とする。

この例のように、分離部２５は、少なくとも互いに重なり合わない領域については一括して、また重なり合う領域については個別にセグメンテーションの処理を実行して、前景と背景とを分離する。

［画像内容に応じて初期設定の前景の大きさを変更する例］
さらに領域形成部２４は、領域の拡大や縮小の調整を行う際には、調整後の大きさをタップの回数やピンチアウト操作等において指定された二点間の距離の変化に応じて、調整後の領域の大きさを定めるのではなく、予め定めた規則に従って、調整後の領域の大きさを定めてもよい。

一例として、領域形成部２４が重み値Ｗiを用いる場合、座標情報Ｐiに対応する領域について拡大の操作が行われたときには、Ｗiを「１」だけインクリメントし、
ｒ′i＝ｒdefault＋Δｒ×（Ｗi−Ｘ）
として仮の大きさを定め、この処理対象の画像情報のうち、この仮の大きさの領域が囲む部分の画素値の統計量と、領域外の部分の画素値の統計量とを比較して、この比較結果が、予め定めた条件に合致するまで、Ｗiを「１」ずつインクリメントしつつ、仮の大きさを調整してもよい。そして条件に合致したときにＷiのインクリメントを停止し、そのときの仮の大きさｒ′iを、座標情報Ｐiに対応する領域の新たな大きさとして設定する。つまり、
ｒi＝ｒ′i
とする。なお、タップ回数Ｔiを用いる場合も、ここでのＷiの代わりにＴiとして同様の処理を行えばよい。この場合、タップ回数Ｔiは実際のタップ回数ではなく、重み値と同様の意味を持つこととなる。

また同様に、座標情報Ｐiに対応する領域について縮小の操作が行われたときには、Ｗiを「１」だけデクリメントし、
ｒ′i＝ｒdefault＋Δｒ×（Ｗi−Ｘ）
として仮の大きさを定め、この処理対象の画像情報のうち、この仮の大きさの領域が囲む部分の画素値の統計量と、領域外の部分の画素値の統計量とを比較して、この比較結果が、予め定めた条件に合致するまで、Ｗiを「１」ずつデクリメントしつつ、仮の大きさを調整してもよい。そして条件に合致したときにＷiのデクリメントを停止し、そのときの仮の大きさｒ′iを、座標情報Ｐiに対応する領域の新たな大きさとして設定する。つまり、
ｒi＝ｒ′i
とする。

これらの場合において、画素値の統計量は、例えば画素値の平均、あるいは、ヒストグラムにおける最頻値などとしてもよい。そして、比較結果に係る条件とは、例えば領域内外における画素値の各平均の差の絶対値が予め定めたしきい値を超える、あるいは領域内外における各最頻値の差の絶対値が予め定めたしきい値を超える、などの条件としておけばよい。

また重み値Ｗiをインクリメント、またはデクリメントする場合において、仮の大きさｒ′iが予め定めた下限値を下回る場合はその時点でデクリメントを停止し、そのときの仮の大きさｒ′iを、座標情報Ｐiに対応する領域の新たな大きさとして設定してもよく、また、座標情報Ｐiに対応する仮の大きさｒ′iの領域が画像情報の辺に接したところでインクリメントを停止し、そのときの仮の大きさｒ′iを、座標情報Ｐiに対応する領域の新たな大きさとして設定してもよい。

本実施の形態によると、簡便な操作で、例えば飲食物の画像情報から、各飲食物の画像部分を特定できる。

１ 画像処理装置、１１ 制御部、１２ 記憶部、１３ 操作部、１４ 表示部、１５ 画像取得部、２１ 画像情報取得部、２２ 画像表示制御部、２３ 指定点受入部、２４ 領域形成部、２５ 分離部、２６ 出力部、２７ 情報処理部。

Claims (5)

1. 処理対象となる画像情報を表示する手段と、
   前記表示した画像情報内の点の指定を少なくとも一つ受け入れる手段と、
   前記受け入れた点ごとに、当該点を含む所定形状の領域を前記画像情報内に形成する領域形成手段と、
   前記形成した領域の情報を前景の初期領域として、セグメンテーション処理を実行し、前記画像情報を、前景と背景とに分離する分離手段と、
   前記分離して得た前景の画像部分を出力する出力手段と、
   とを含む画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記領域形成手段は、所定形状の領域の大きさを、
   隣接する所定形状の領域に接する大きさとするか、または画像情報を取り囲む形状に接する大きさとする
   画像処理装置。
3. 請求項１または２記載の画像処理装置であって、
   前記領域形成手段は、前記形成した所定形状の領域内の小領域であって、当該領域に含まれる前記指定された点を含む小領域をさらに形成し、
   前記分離手段は、当該小領域内のすべての画素が前景に含まれるものとして分離処理を行う
   画像処理装置。
4. 請求項１から３のいずれか一項に記載の画像処理装置であって、
   前記分離手段は、前記領域形成手段が形成した所定形状の領域外の部分を、背景の初期領域として、セグメンテーション処理を実行する
   画像処理装置。
5. コンピュータを、
   処理対象となる画像情報を表示する手段と、
   前記表示した画像情報内の点の指定を少なくとも一つ受け入れる手段と、
   前記受け入れた点ごとに、当該点を含む所定形状の領域を前記画像情報内に形成する領域形成手段と、
   前記形成した領域の情報を前景の初期領域として、セグメンテーション処理を実行し、前記画像情報を、前景と背景とに分離する分離手段と、
   前記分離して得た前景の画像部分を出力する出力手段と、
   として機能させるプログラム。

Images