JP6930099B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP6930099B2
JP6930099B2 JP2016238464A JP2016238464A JP6930099B2 JP 6930099 B2 JP6930099 B2 JP 6930099B2 JP 2016238464 A JP2016238464 A JP 2016238464A JP 2016238464 A JP2016238464 A JP 2016238464A JP 6930099 B2 JP6930099 B2 JP 6930099B2
Authority
JP
Japan
Prior art keywords
pixel
area
image
pixels
designated area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016238464A
Other languages
English (en)
Other versions
JP2018097414A (ja
Inventor
佐々木　信
信 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2016238464A priority Critical patent/JP6930099B2/ja
Publication of JP2018097414A publication Critical patent/JP2018097414A/ja
Application granted granted Critical
Publication of JP6930099B2 publication Critical patent/JP6930099B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。
画像から特定領域を切り出す処理は、特定領域の特性を解析、または特定領域をデザインするなど、画像編集や加工の分野では欠かせないものの１つである。特定領域を切り出す方法としては、様々なアプローチが考えられるが、例えば、グラフカット（GraphCut）法が公知の代表手法として挙げられる。
特許文献１には、画像の中からユーザが特定の画像領域として指定した指定領域の代表位置を表す位置情報を取得するユーザ指示受付部と、画像を構成する画素を頂点とみなすとともに、隣り合う画素を結ぶ辺および隣り合う画素同士の色度の近さに応じて決定される重みからなるグラフを設定するグラフ設定部と、設定されたグラフの頂点を予め定められた規則に従い縮約する縮約部と、縮約した頂点に対応する画素の位置を基に指定領域を検出する領域検出部と、を備えることを特徴とする画像処理装置が開示されている。
また特許文献２には、画像中の指定領域に含まれる画素を基準画素として一つ選択すると共に基準画素周辺の特定の範囲を第１の範囲として設定し、選択した一の基準画素のみを対象として第１の範囲に含まれる対象画素の各々について指定領域への属否の判定を行った後、新たに基準画素を一つ選択し、第１の範囲の設定および判定を再度行って、指定領域の検出を行う領域判定装置が開示されている。
特開２０１６−４３０９号公報 特開２０１６−６６４７号公報
ユーザが画像処理を行なう際には、ユーザが画像処理を行なう領域として指定する指定領域を切り出す処理が必要となる。この際、指定領域に対し指定領域の代表位置としてシードを入力し、そのシードを基に領域を拡張する領域拡張方法により指定領域を切り出すことがある。
しかしながら領域を拡張する際に、指定領域外の領域であっても類似色を有する領域について指定領域であるとする場合がある。
本発明は、指定領域の切り出しを行なう際に、指定領域をより精度よく切り出すことができる画像処理装置等を提供することを目的とする。
請求項１に記載の発明は、画像中の指定領域の代表位置を表す位置情報を取得する位置情報取得部と、位置情報から指定領域を検出する領域検出部と、を備え、前記領域検出部は、前記指定領域に属する画素の周囲のテクスチャと当該指定領域に含まれるか否かを判断する対象である画素の周囲のテクスチャとの類似度を基に当該指定領域を検出し、前記代表位置が設定された前記画像をブロック毎に分割する画像分割部と、当該ブロックを単位としテクスチャを算出するための範囲として、第１の局所領域および第２の局所領域を設定する局所領域設定部と、当該第１の局所領域内のテクスチャと当該第２の局所領域内のテクスチャとの類似度を算出する類似度算出部と、を備えることを特徴とする画像処理装置である。
請求項２に記載の発明は、前記類似度により前記第２の局所領域内の画素が前記指定領域に含まれると検出したときに、前記第２の局所領域内の何れの画素が当該指定領域に含まれるかを設定する画素設定部をさらに備えることを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記類似度算出部は、前記類似度を基に前記第２の局所領域が前記指定領域に属する強さをさらに算出し、前記強さを使用して前記第２の局所領域中の画素が前記指定領域に属するか否かを判断することにより、前記指定領域を検出することを特徴とする請求項１または２に記載の画像処理装置である。
請求項４に記載の発明は、前記領域検出部は、前記ブロックを単位とした指定領域を検出した後に、当該ブロックを単位とした指定領域の境界の領域において指定領域の設定を解除し、指定領域の設定を解除されなかった画素の中から選択された基準画素を基に当該指定領域の境界の領域において指定領域を再度検出することを特徴とする請求項１に記載の画像処理装置である。
請求項１の発明によれば、処理速度がさらに高速になる。
請求項２の発明によれば、指定領域を拡張するための画素を設定することができる。
請求項３の発明によれば、処理速度がさらに高速になる。
請求項４の発明によれば、さらに精度の高い指定領域の切り出しを行なうことができる。
本実施の形態における画像処理システムの構成例を示す図である。 本実施の形態における画像処理装置の機能構成例を表すブロック図である。 指定領域を指定する作業をユーザインタラクティブに行う方法の例を示した図である。 （ａ）〜（ｃ）は、図３で示した画像について、領域拡張方法により指定領域が切り出される様子を示している。 （ａ）〜（ｂ）は、ユーザが指定領域の選択を行なうときに、表示装置の表示画面に表示される画面の例を示している。 画像処理を行なう際に、表示装置の表示画面に表示される画面の例を示している。 （ａ）〜（ｃ）は、従来の領域拡張方法について説明した図である。 （ａ）〜（ｅ）は、従来の領域拡張方法を使用し、２つのシードが与えられた場合に、画像が２つの指定領域に分けられる様子を示した図である。 第１の範囲について説明した図である。 （ａ）〜（ｂ）は、影響力を決定する方法について示した図である。 図８−２で示す第１の範囲内の対象画素について、強さを基にした方法で判断を行なった結果を示した図である。 （ａ）〜（ｈ）は、図８−３〜図８−４で説明した領域拡張方法で順次ラベル付けがされていく過程の例を示した図である。 第１の実施形態における領域検出部の機能構成例を表すブロック図である。 第１の局所領域および第２の局所領域について説明した図である。 第１の局所領域のテクスチャと第２の局所領域のテクスチャとは類似し（類似度が小さく）、周辺画素が、基準画素と同じ指定領域に属すると判断される場合を示した図である。 第１の局所領域のテクスチャと第２の局所領域のテクスチャとは類似し（類似度が小さく）、周辺画素が、基準画素と同じ指定領域に属すると判断される場合を示した図である。 第１の実施形態における領域検出部の動作について説明したフローチャートである。 第２の実施形態における領域検出部の機能構成例を表すブロック図である。 シードが設定された画像を表す。 （ａ）は、シードが設定された画像を分割した例を示している。（ｂ）は、シードが設定された画像は、３画素×３画素からなるブロック毎に分割されていることを示す。 （ａ）〜（ｂ）は、シード反映部の動作について説明した図である。 （ａ）は、シード反映画像において、第１の局所領域と第２の局所領域とを設定した例を示している。（ｂ）は、第１の局所領域が、３画素×３画素＝９画素からなることを示す。（ｃ）は、第２の局所領域が、３画素×３画素＝９画素からなることを示す。 （ａ）は、従来手法における、基準画素とその周辺に関する影響力を示した図である。また（ｂ）は、基準ブロックとその周辺のブロックとの影響力の関係を示した図である。 図１８（ａ）のシード反映画像において、第２の局所領域中の画素が指定領域に含まれるとした例を示している。 画素設定部が画像において画素中の中心の一画素が指定領域に含まれるとしたときを示している。 第２の実施形態における領域検出部の動作について説明したフローチャートである。 （ａ）は、領域分離を行なった際に、領域の境界が、粗くなった場合を示した図である。（ｂ）は、境界領域付近のラベルや強さをリセットした未知領域を設定した場合を示した図である。（ｃ）は、領域の境界が滑らかになる領域分離結果を得た場合を示した図である。 前景として写る床と、床以外の後景とからなる写真の画像において、シード１およびシード２を設定した場合を示している。 過剰な検出や検出不足が伴う切り抜き結果について示した図である。 指定領域をより精度よく切り出すことができた切り抜き結果について示した図である。 画像処理装置のハードウェア構成を示した図である。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
＜画像処理システム全体の説明＞
図１は、本実施の形態における画像処理システム１の構成例を示す図である。
図示するように本実施の形態の画像処理システム１は、表示装置２０に表示される画像の画像情報に対し画像処理を行なう画像処理装置１０と、画像処理装置１０により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置２０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置３０とを備える。
画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。
表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。
入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、画像処理を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置１０に対し画像処理を行なうための指示を入力するのに使用する。
画像処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。
このような画像処理システム１において、表示装置２０には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置３０を使用して、画像処理装置１０に対し画像処理を行なうための指示を入力すると、画像処理装置１０により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置２０に表示される画像に反映され、画像処理後の画像が再描画されて表示装置２０に表示されることになる。この場合、ユーザは、表示装置２０を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を行える。
なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、画像処理装置１０により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。
＜画像処理装置の説明＞
図２は、本実施の形態における画像処理装置１０の機能構成例を表すブロック図である。なお図２では、画像処理装置１０が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置１０は、画像情報取得部１１と、ユーザ指示受付部１２と、領域検出部１３と、領域切替部１４と、画像処理部１５と、画像情報出力部１６とを備える。
画像情報取得部１１は、画像処理を行なう画像の画像情報を取得する。即ち、画像情報取得部１１は、画像処理を行なう前の原画像の画像情報を取得する。この画像情報は、表示装置２０で表示を行なうための、例えば、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）のビデオデータ（ＲＧＢデータ）である。
ユーザ指示受付部１２は、位置情報取得部の一例であり、入力装置３０により入力された画像処理に関するユーザによる指示を受け付ける。
具体的には、ユーザ指示受付部１２は、表示装置２０で表示している画像の中から、ユーザが特定の画像領域として指定した指定領域を指定する指示をユーザ指示情報として受け付ける。この特定の画像領域は、この場合、ユーザが画像処理を行なう画像領域である。実際には、本実施の形態では、ユーザ指示受付部１２は、ユーザ指示情報として、ユーザが入力した指定領域の代表位置を表す位置情報を取得する。
また詳しくは後述するが、ユーザ指示受付部１２は、ユーザが、この指定領域の中から実際に画像処理を行なうものを選択する指示をユーザ指示情報として受け付ける。さらにユーザ指示受付部１２は、選択された指定領域に対し、ユーザが画像処理を行う処理項目や処理量等に関する指示をユーザ指示情報として受け付ける。これらの内容に関するさらに詳しい説明については後述する。
本実施の形態では、指定領域を指定する作業を下記に説明するユーザインタラクティブに行う方法を採用する。
図３は、指定領域を指定する作業をユーザインタラクティブに行う方法の例を示した図である。
図３では、表示装置２０の表示画面２１で表示している画像が、人物と、人物の背後に写る背景とからなる写真の画像Ｇである場合を示している。そしてユーザが、前景として人物の顔の部分、および後景として顔以外の部分をそれぞれ指定領域として選択する場合を示している。即ち、この場合指定領域は２つある。以後、顔の部分の指定領域を「第１の指定領域」、顔以外の部分の指定領域を「第２の指定領域」と言うことがある。
そしてユーザは、指定領域のそれぞれに対し代表となる軌跡をそれぞれ与える。この軌跡は、入力装置３０により入力することができる。具体的には、入力装置３０がマウスであった場合は、マウスを操作して表示装置２０の表示画面２１で表示している画像Ｇをドラッグし軌跡を描く。また入力装置３０がタッチパネルであった場合は、ユーザの指やタッチペン等により画像Ｇをなぞりスワイプすることで同様に軌跡を描く。なお軌跡ではなく、点として与えてもよい。即ち、ユーザは、頭髪の部分などのそれぞれの指定領域に対し代表となる位置を示す情報を与えればよい。これは指定領域の代表位置を表す位置情報をユーザが入力する、と言い換えることもできる。なお以後、この軌跡や点等を「シード」と言うことがある。
図３の例では、顔の部分と顔以外の部分にそれぞれシードが描かれている。なお以後、前景である顔の部分に描かれたシードを「シード１」、後景である顔以外の部分に描かれたシードを「シード２」ということがある。
領域検出部１３は、シードの位置情報に基づき、表示装置２０で表示されている画像の中から指定領域を検出する。詳しくは後述するが、領域検出部１３は、指定領域に属する画素の周囲のテクスチャと指定領域に含まれるか否かを判断する対象である画素の周囲のテクスチャとの類似度を基に指定領域を検出する。
領域検出部１３が、シードの位置情報を基にして指定領域を切り出すには、まずシードが描かれた箇所の画素に対しラベルを付加する。図３の例では、顔の部分に描かれたシード１に対応する画素に「ラベル１」を、顔以外の部分に描かれたシード２に対応する画素に「ラベル２」を付加する。本実施の形態では、このようにラベルを付与することを「ラベル付け」と言う。
図４（ａ）〜（ｃ）は、図３で示した画像Ｇについて、領域拡張方法により指定領域が切り出される様子を示している。
このうち図４（ａ）は、図３と同様の図であり、画像Ｇにシードとしてシード１およびシード２が描かれた状態を示している。
そして図４（ｂ）で示すように、シードが描かれた箇所から指定領域内に領域が拡張していき、図４（ｃ）で示すように最後に指定領域として２つの指定領域である第１の指定領域Ｓ１、第２の指定領域Ｓ２が切り出される。
以上のような方法を採用することで、指定領域が複雑な形状であっても、ユーザは、より直感的に、またより容易に指定領域が切り出せる。
領域切替部１４は、複数の指定領域を切り替える。即ち、指定領域が複数存在した場合、ユーザが画像調整を行ないたい指定領域の選択を行ない、これに従い、領域切替部１４が指定領域を切り替える。
図５（ａ）〜（ｂ）は、ユーザが指定領域の選択を行なうときに、表示装置２０の表示画面２１に表示される画面の例を示している。
図５（ａ）〜（ｂ）に示した例では、表示画面２１の左側に指定領域が選択された状態の画像Ｇが表示され、表示画面２１の右側に領域１または領域２の何れかを選択するラジオボタン２１２ａ、２１２ｂが表示される。この場合、領域１は、第１の指定領域Ｓ１に、領域２は、第２の指定領域Ｓ２に対応する。そしてユーザが入力装置３０を使用して、このラジオボタン２１２ａ、２１２ｂを選択すると、指定領域が切り替わる。
図５（ａ）は、ラジオボタン２１２ａが選択されている状態であり、指定領域として、顔の部分の画像領域である第１の指定領域Ｓ１が選択されている。そしてユーザがラジオボタン２１２ｂを選択すると、図５（ｂ）に示すように指定領域として、顔の部分以外の画像領域である第２の指定領域Ｓ２に切り替わる。
実際には、図５で説明を行なった操作の結果は、ユーザ指示情報としてユーザ指示受付部１２により取得され、さらに領域切替部１４により指定領域の切り替えが行なわれる。
画像処理部１５は、選択された指定領域に対し実際に画像処理を行なう。
図６は、画像処理を行なう際に、表示装置２０の表示画面２１に表示される画面の例を示している。
ここでは、選択された指定領域に対し、色相、彩度、輝度の調整を行なう例を示している。この例では、表示画面２１の左上側に指定領域が選択された状態の画像Ｇが表示され、表示画面２１の右上側に領域１および領域２の何れかを選択するラジオボタン２１２ａ、２１２ｂが表示される。ここでは、ラジオボタンのうち２１２ａが選択されており、指定領域として、顔の部分の画像領域である第１の指定領域Ｓ１が選択されている。なおラジオボタン２１２ａ、２１２ｂを操作することで、指定領域の切り替えが可能であることは、図５の場合と同様である。
また表示画面２１の下側には、色相、彩度、輝度の調整を行なうためのスライドバー２１３ａと、スライダ２１３ｂが表示される。スライダ２１３ｂは、入力装置３０の操作によりスライドバー２１３ａ上において図中左右に移動し、スライドが可能である。スライダ２１３ｂは、初期状態ではスライドバー２１３ａの中央に位置し、この位置において色相、彩度、輝度の調整前の状態を表す。
そしてユーザが、入力装置３０を使用して、色相、彩度、輝度の何れかのスライダ２１３ｂをスライドバー２１３ａ上で図中左右にスライドさせると、選択された指定領域に対し画像処理がなされ、表示画面２１で表示される画像Ｇもそれに対応して変化する。この場合、図中右方向にスライダ２１３ｂをスライドさせると、対応する色相、彩度、輝度の何れかを増加させる画像処理がなされる。対して図中左方向にスライダ２１３ｂをスライドさせると、対応する色相、彩度、輝度の何れかを減少させる画像処理がなされる。
図２に戻り、画像情報出力部１６は、以上のように画像処理がなされた後の画像情報を出力する。画像処理がなされた後の画像情報は、表示装置２０に送られる。そして表示装置２０にてこの画像情報に基づき画像が表示される。
＜領域検出部の説明＞
次に領域検出部１３が領域拡張方法により指定領域を切り出す方法についてさらに詳しく説明を行なう。
ここではまず従来の領域拡張方法についての説明を行なう。
図７（ａ）〜（ｃ）は、従来の領域拡張方法について説明した図である。
このうち図７（ａ）は、原画像であり、縦３画素、横３画素の３×３＝９画素の領域からなる。この原画像は、２つの画像領域から構成される。図７（ａ）では、それぞれの画素の色の濃さの違いによりこの２つの画像領域を表している。それぞれの画像領域に含まれる画素値は互いに近い値を示すものとする。
そして図７（ｂ）に示すように、２行１列に位置する画素にシード１を、１行３列に位置する画素にシード２を与える。
このとき中央の画素である２行２列に位置する画素が、シード１が含まれる指定領域に属するか、シード２が含まれる指定領域に属するか否かを判定する場合を考える。ここでは、この中央の画素について、中央の画素の画素値と、中央の画素に接する周辺８画素の中に存在するシードの画素値を比較する。そして画素値が近ければ、中央の画素は、そのシードが含まれる指定領域に含まれると判定する。この場合、周辺８画素の中には、シード１とシード２の２つのシードが含まれるが、中央の画素の画素値は、シード１の画素値よりシード２の画素値とより近いため、シード１が含まれる指定領域に属すると判定される。
そして図７（ｃ）に示すように、中央の画素は、シード１の領域に属するようになる。そして中央の画素は、今度は、新たなシードとして扱われる。そしてこの場合、中央の画素は、シード１と同じ、「ラベル１」にラベル付けされる。
従来の領域拡張方法では、シードの画素に接する画素を指定領域に含まれるか否かの判定の対象となる対象画素として選択し（上述した例では、中央の画素）、この対象画素の画素値と、対象画素の周辺８画素の画素に含まれるシードの画素値とを比較する。そして対象画素は、画素値が近いシードに含まれる領域に属すると考え、ラベル付けをする。さらにこれを繰り返すことで領域を拡張していくのが基本的な考え方となる。
図８−１（ａ）〜（ｅ）は、従来の領域拡張方法を使用し、２つのシードが与えられた場合に、画像が２つの指定領域に分けられる様子を示した図である。
ここでは図８−１（ａ）の原画像に対し、図８−１（ｂ）で示すように、シードとしてシード１とシード２の２つを与える。そして各々のシードを基点に領域を拡張していく。この場合、上述したように原画像における周辺画素の画素値との近さ等に応じて領域を拡張していくことができる。このとき図８−１（ｃ）に示すように領域同士のせめぎ合いがある場合は、再判定の対象画素となり、再判定の対象画素の画素値と近傍の画素値との関係でどちらの領域に属するかを決めればよい。このとき、下記文献に記載されている方法を使うことができる。
V.Vezhnevets and V.Konouchine: "Grow-Cut" -Interactive Multi-label N-D Image Segmentation", Proc.Graphicon.pp 150-156(2005)
図８−１（ｄ）の例では、再判定の対象画素は、最終的にはシード２の領域として判定され、図８−１（ｅ）に示すように２つのシードを基に、２つの領域に切り分けられて収束する。なおこの例では、２つの領域に切り分ける場合を示したが、３つ以上のシードを与え、３つ以上の領域に切り分けることもできる。
このように従来の領域拡張方法では、対象画素に着目し、対象画素の画素値に対して周辺８画素にあるシードの画素の画素値を比較して対象画素が属する指定領域を決定する。
しかしながら従来の領域拡張方法では、画素を対象画素として１つずつ選択し、ラベル付けを行なっていく必要があり、処理速度が遅くなりやすい問題がある。また領域が入り組んでいる箇所などでは、切り分けの際の精度が低くなりやすい。この問題を解決するため、例えば、以下に説明するような領域拡張方法も存在する。
この領域拡張方法では、シード１やシード２の画素である基準画素を中心としてそれぞれ予め定められた第１の範囲を設定する。そしてこの第１の範囲内において、基準画素を除く画素を対象画素とし、この対象画素について、画素の「強さ」を利用してシード１が含まれる指定領域やシード２が含まれる指定領域に属するとの判断を行なう。
図８−２は、第１の範囲について説明した図である。
図示するように、２つの画像領域のそれぞれに基準画素であるシード１およびシード２が選択されている。そしてさらにこのシード１とシード２を中心に位置するようにして縦５画素×横５画素の範囲を第１の範囲とする。図では、この範囲を太線の枠内の範囲として表示している。
「強さ」は、ラベルに対応する指定領域に属する強さであり、ある画素がラベルに対応する指定領域に属する可能性の大きさを表す。強さが大きいほどその画素がラベルに対応する指定領域に属する可能性が高く、強さが小さいほどその画素がラベルに対応する指定領域に属する可能性が低い。強さは、次のようにして定まる。
まずユーザが最初に指定した代表位置に含まれる画素の強さは、初期値として１となる。つまり領域を拡張する前のシード１やシード２の画素は、強さが１である。またまだラベル付けがされていない画素については、強さは０である。
そして強さが与えられた画素が周辺の画素に及ぼす影響力を考える。
図８−３（ａ）〜（ｂ）は、影響力を決定する方法について示した図である。図８−３（ａ）〜（ｂ）において、横軸は、ユークリッド距離ｄｉを表し、縦軸は、影響力を表す。
このユークリッド距離ｄｉは、強さを与えられた画素とその画素の周辺に位置する画素との間で決まる画素値のユークリッド距離ｄｉである。画素値がＲＧＢ値で表される場合、ユークリッド距離ｄｉは、以下の数１式のように表すことができる。数１式では、強さを与えられた画素の画素値を（ＲＯ、ＧＯ、ＢＯ）とし、周辺に位置する画素の画素値を（Ｒｉ、Ｇｉ、Ｂｉ）とした場合のユークリッド距離ｄｉを示している。
Figure 0006930099
そして例えば、図８−３（ａ）に図示するように非線形の単調減少関数を定め、ユークリッド距離ｄｉに対し、この単調減少関数により決まる値を影響力とする。
つまりユークリッド距離ｄｉが小さいほど、影響力はより大きくなり、ユークリッド距離ｄｉが大きいほど、影響力はより小さくなる。
なお単調減少関数は、図８−３（ａ）のような形状のものに限られるものではなく、単調減少関数であれば特に限られるものではない。よって図８−３（ｂ）のような線形の単調減少関数であってもよい。またユークリッド距離ｄｉの特定の範囲で線形であり、他の範囲で非線形であるような区分線形の単調減少関数であってもよい。
そして指定領域に属すると判断された画素の強さは、基準画素の強さに影響力を乗じたものとなる。例えば、基準画素の強さが１で、その左側に隣接する対象画素に与える影響力が０．９だった場合、この左側に隣接する対象画素が指定領域に属すると判断されたときに与えられる強さは、１×０．９＝０．９となる。また例えば、基準画素の強さが１で、その２つ左側に隣接する対象画素に与える影響力が０．８だった場合、この対象画素が指定領域に属すると判断されたときに与えられる強さは、１×０．８＝０．８となる。
以上の計算方法を利用し、第１の範囲内の対象画素に与えられている強さにより判断を行なうこともできる。このとき対象画素が、ラベルを有しない場合は、基準画素が属する指定領域に含まれると判断し、対象画素が他の指定領域についてのラベルを既に有する場合は、強さが大きい方の指定領域に含まれると判断する。そして前者の場合は、全て基準画素と同じラベル付けを行なう。また後者の場合は、特性のうち強さが強い方のラベル付けを行う。
図８−４は、図８−２で示す第１の範囲内の対象画素について、強さを基にした方法で判断を行なった結果を示している。
図８−２に示す第１の範囲は、シード１とシード２とで一部重なる。そして第１の範囲が、重ならない箇所、即ち、シード１とシード２とで競合しない箇所では、この場合、ラベル付けされていないもので、全て基準画素であるシード１またはシード２と同じラベル付けを行なう。一方、第１の範囲が、シード１とシード２とで重なる箇所、即ち、競合する箇所では、強さが強い方のラベル付けをする。その結果、図８−４に示すようにラベル付けがなされる。
図８−５（ａ）〜（ｈ）は、図８−３〜図８−４で説明した領域拡張方法で順次ラベル付けがされていく過程の例を示した図である。
図８−５（ａ）は、このときシードの画素に対し設定される第１の範囲を示している。つまり基準画素であるシード１およびシード２が選択されている。そしてさらにこのシード１とシード２を中心に位置するようにして縦３画素×横３画素の範囲を第１の範囲としている。図では、この第１の範囲を太線の枠内の範囲として表示している。
本実施の形態では、図８−５（ｂ）に示すように２行２列の位置に設定されるシード２を起点とし、まず第１の範囲内の対象画素が何れの指定領域に属するか否かを判断する。そして図８−５（ｃ）〜（ｄ）に示すように基準画素を図中右側に一画素ずつ移動させつつ、第１の範囲内の対象画素が何れの指定領域に属するか否かを判断していく。この判断は、上述した強さによりなされる。
そして図中右端までを対象画素として判断した後は、次に基準画素を第３列に移し、同様に基準画素を図中右側に一画素ずつ移動させつつ、第１の範囲内の対象画素が何れの指定領域に属するか否かを判断していく。そして図中右端までを対象画素として判断した後は、さらに次の列に移る。これは図８−５（ｅ）〜（ｇ）に示すように繰り返され、図中右下端部に基準画素が移動するまで行なわれる。つまり基準画素を一画素毎に走査するように移動させつつ判断を行なう。
さらに右下端部に基準画素が達し、画素の移動がこれ以上できなくなった後は、上述した場合と逆向きに基準画素を移動させ、基準画素が左上端部に移動するまで同様の処理を行なう。これで基準画素が１回往復移動したことになる。さらに以後、収束するまでこの基準画素の往復移動を繰り返す。
そして最終的には、図８−５（ｈ）に示すように、第１の指定領域と第２の指定領域に切り分けが行なわれる。
以上の方法で領域拡張を行うことで、速度の向上や切り抜き境界の精度を高めることができる。しかしこの方法でも、画素間の色の距離を基に領域を拡張している。そのため指定領域外の領域であっても類似色を有する領域について誤ったラベル付けがなされ、同じ指定領域であるとする場合がある。
そこで本実施の形態では、領域検出部１３を以下の構成とし、類似色を有する画素間であっても、誤ったラベル付けが行われることを抑制し、切り抜き境界の精度の向上を図る。
［第１の実施形態］
まず領域検出部１３の第１の実施形態について説明を行なう。
図９は、第１の実施形態における領域検出部１３の機能構成例を表すブロック図である。
図示するように本実施の形態の領域検出部１３は、画素選択部１３１と、局所領域設定部１３２と、類似度算出部１３３と、判断部１３４と、特性変更部１３５と、収束判定部１３６とを備える。
第１の実施形態において、画素選択部１３１は、指定領域に属する画素の中から基準画素を選択する。ここで「指定領域に属する画素」は、例えば、ユーザが指定した代表位置に含まれる画素、即ち、上述したシードの画素である。またこれには、領域拡張により新たにラベル付けされた画素も含まれる。ここでは画素選択部１３１は、基準画素として指定領域に属する画素の中から１つの画素を選択する。
また画素選択部１３１は、基準画素に対し設定され、指定領域に含まれるか否かを判断する対象である周辺画素を選択する。ここでは画素選択部１３１は、周辺画素として基準画素の周辺にある画素の中から１つの画素を選択する。周辺画素は、シードが付与されていない画素から選択する。
局所領域設定部１３２は、基準画素の周囲のテクスチャを算出するための範囲として第１の局所領域を設定する。また局所領域設定部１３２は、周辺画素の周囲のテクスチャを算出するための範囲として第２の局所領域を設定する。
図１０は、第１の局所領域および第２の局所領域について説明した図である。
図示する例では、基準画素をＰ１とし、周辺画素をＰ２としている。そして基準画素Ｐ１を中心に位置するようにして、縦５画素×横５画素の範囲を第１の局所領域Ｒ１としている。同様に周辺画素Ｐ２を中心に位置するようにして、縦５画素×横５画素の範囲を第２の局所領域Ｒ２としている。図では、これらの範囲を太線の枠内の範囲として表示している。
類似度算出部１３３は、基準画素Ｐ１の周囲である第１の局所領域Ｒ１内のテクスチャと周辺画素Ｐ２の周囲である第２の局所領域Ｒ２内のテクスチャとの類似度を算出する。ここでテクスチャが類似するとは、それぞれの局所領域全体が作り出す印象が類似することである。例えば、木材からなる床と同様に木材からなる椅子を含む画像があった場合、色彩としては同じ茶色である。しかしこれらの表面の質感は異なり、その結果、人が受ける印象は異なる。本実施の形態では、この印象の類似度をテクスチャの類似度として算出する。さらに具体的には、テクスチャの類似度は、それぞれの局所領域内の全画素の特徴量の類似度として抽出できる。この特徴量は、例えば、局所領域内に含まれる画素の画素値、画素値の平均値、画素値の分散、画像の周波数スペクトル、繰り返しパターンなどである。以上のように、局所領域Ｒ１内および局所領域Ｒ２内において、輝度の高低差、輝度の頻度、輝度発生の規則、さらには色度等において同様のパターンが見られるような場合、テクスチャ類似度が大きいとし、ここでは、例えば、以下のようにして類似度を算出する。
第１の局所領域Ｒ１のテクスチャと第２の局所領域Ｒ２のテクスチャとの類似度をｓとすると、類似度ｓは、例えば、下記数２式で算出できる。数２式では、第１の局所領域Ｒ１内や第２の局所領域Ｒ２内の画素位置の座標を（ｘ、ｙ）で表わしている。そして第１の局所領域Ｒ１内の画素位置（ｘ、ｙ）における画素値をＩ１（ｘ、ｙ）とし、第２の局所領域Ｒ２内の画素位置（ｘ、ｙ）における画素値をＩ２（ｘ、ｙ）とした場合の類似度ｓを求めている。なおここでは画素値として、輝度成分Ｉのみを使用している。
Figure 0006930099
なお数２式では、画素値の差の２乗を利用して類似度ｓを算出しているが、下記数３式のように画素値の差の絶対値を利用して類似度ｓを算出してもよい。また他にもテクスチャの類似度を表すものであれば、いかなる指標でもよい。
Figure 0006930099
つまり局所領域を画素数分の次元（この場合、５×５＝２５次元）を有する多次元ベクトルを考え、類似度ｓは、第１の局所領域Ｒ１および第２の局所領域Ｒ２の画素値から求まる２つの多次元ベクトル間の距離に基づく量であると考えることもできる。また数２式および数３式における類似度ｓは、値が小さいほど第１の局所領域Ｒ１のテクスチャと第２の局所領域Ｒ２のテクスチャとが類似していることを意味する。また値が大きいほど第１の局所領域Ｒ１のテクスチャと第２の局所領域Ｒ２のテクスチャとが類似していないことを意味する。
ここで各画素の色データがＲＧＢデータである場合は、例えばＬ＊ａ＊ｂ＊データやＹＣｂＣｒデータなどの輝度色差空間に変換し、輝度成分のＬ＊やＹなどをＩ１（ｘ、ｙ）やＩ２（ｘ、ｙ）にしてもよい。また、輝度成分としてＨＳＶデータのＶなどでもよい。また輝度成分に限らず、色度や彩度を表す値でもよい。例えば、ＨＳＶデータであればＳやＨを用いてもよい。またＬ＊ａ＊ｂ＊データでは、下記数４式により算出される値を用いてもよく、ＹＣｂＣｒデータでは、下記数５式により算出される値を用いてもよい。即ち、輝度、色度、彩度の程度を表すものであればどのような基準でもよく、これをＩ１（ｘ、ｙ）やＩ２（ｘ、ｙ）の画素値とすればよい。
Figure 0006930099
Figure 0006930099
判断部１３４は、類似度算出部１３３が算出したテクスチャの類似度により、周辺画素Ｐ２が指定領域に含まれるか否かを判断する。
判断部１３４は、例えば、閾値θを設け、数６式に示すように類似度ｓが閾値θより小さい場合は、周辺画素Ｐ２が、基準画素Ｐ１と同じ指定領域に属すると判断する。また類似度ｓが閾値θ以上である場合は、周辺画素Ｐ２が、基準画素Ｐ１と同じ指定領域に属さないと判断する。
Figure 0006930099
また閾値θは、固定値に限られるものではなく、画像に応じて変化させてもよい。また閾値θは、基準画素Ｐ１や周辺画素Ｐ２の画像中における位置に応じて変化させてもよい。
または、判断部１３４は、上述した強さを基にした方法で判断を行なってもよい。例えば、基準画素Ｐ１は、前述のように、シードまたは更新によってラベル付けがされた画素であるので強さを１としておき、第１の局所領域Ｒ１のテクスチャと第２の局所領域Ｒ２のテクスチャとの類似度ｓから、図８−３で説明した方法で影響力を算出する（ただしこの場合、横軸はユークリッド距離ｄｉではなく、類似度ｓとなる）。そして基準画素Ｐ１の強さと影響力によって、周辺画素Ｐ２に強さが伝搬されるようにしてもよい。仮に、基準画素Ｐ１が持つ強さをｕ１とし、基準画素Ｐ１から周辺画素Ｐ２への影響力をｗ１２とすると、ｕ１ｗ１２が周辺画素Ｐ２に伝搬される強さとなる。
下記数７式の条件を満たすかどうかで、ラベル付けをするか否かの判断をおこなってもよい。数６式では、類似度が小さいほど指定領域に属すことになるが、数７式の場合は、強さを基に判断しているので、強さｕ１ｗ１２が、閾値θｗを超えることが、判断部１３４が、周辺画素Ｐ２が、基準画素Ｐ１と同じ指定領域に属する（ラベル付けする）と判断する基準となる。なお強さｕ１ｗ１２が、閾値θｗ以下である場合は、判断部１３４は、周辺画素Ｐ２が、基準画素Ｐ１と同じ指定領域に属さないと判断し、ラベル付けは行なわない。また閾値θｗは、前述と同様、固定値に限らず、基準画素Ｐ１や周辺画素Ｐ２の画像中における位置に応じて変化させてもよい。
Figure 0006930099
なお図１０の場合は、閾値θの値にもよるが、第１の局所領域Ｒ１のテクスチャと第２の局所領域Ｒ２のテクスチャとは類似せず（類似度ｓが大きく、伝搬される強さは小さい）、周辺画素Ｐ２が、基準画素Ｐ１と同じ指定領域に属しないと判断される場合である。
図１１および図１２は、第１の局所領域Ｒ１のテクスチャと第２の局所領域Ｒ２のテクスチャとは類似し（類似度ｓが小さく）、周辺画素Ｐ２が、基準画素Ｐ１と同じ指定領域に属すると判断される場合を示した図である。
例えば、図１２では、基準画素Ｐ１と周辺画素Ｐ２の画素値（この場合、輝度値）は大きく異なるが、第１の局所領域Ｒ１のテクスチャと第２の局所領域Ｒ２のテクスチャとが類似するため、周辺画素Ｐ２が、基準画素Ｐ１と同じ指定領域に属すると判断される。
判断部１３４を以上のように動作させることで、与えたシードに対して、自動でシードを拡散する効果がある。
特性変更部１３５は、周辺画素Ｐ２に対し付与される特性を変更する。
ここで特性とは、その画素に付与されるラベルや強さのことを言い、前述のように、シードとなっている基準画素Ｐ１の強さは１で、周辺画素Ｐ２の強さは伝搬されたｕ１ｗ１２となる（ここでは例えば、これをｕ２とする）。
ラベルは、上述したようにその画素が何れの指定領域に属するかを表すものであり、指定領域１に属する画素は、ラベル１、指定領域２に属する画素は、ラベル２が付与される。ここではシード１のラベルはラベル１、シード２のラベルはラベル２となるので、判断部１３４で指定領域１に属する画素と判断された場合は、周辺画素Ｐ２は、ラベル１にラベル付けされる。また判断部１３４で指定領域２に属する画素と判断された場合は、周辺画素Ｐ２は、ラベル２にラベル付けされる。ここで、数７式の場合は、閾値θｗによってラベルを決定していたが、もし周辺画素Ｐ２にラベル付けがされていなければ、そのまま基準画素Ｐ１のラベルとし、ｕ１ｗ１２を周辺画素Ｐ２の強さｕ２としてもよい。またこの後で、他から伝搬されてきた強さがｕ２より大きかった場合は、強い方の強さとラベルに変えていき、これを繰り返して収束させてもよい。
なお周辺画素Ｐ２は、画像中における基準画素Ｐ１以外の全ての画素について順次選択され、選択された周辺画素Ｐ２について基準画素Ｐ１と同じ指定領域に属するか否かが判断される。さらに基準画素Ｐ１についてもシードが付与される画素について同様に順次選択されていく。この処理は、基準画素Ｐ１や周辺画素Ｐ２の選択は、画素選択部１３１が順次行なっていく。
そしてこの一連の処理は収束するまで繰り返し行なわれる。即ち、新たに指定領域１や指定領域２に属すると判断された画素は、新たに基準画素Ｐ１として選択され、さらに周辺画素Ｐ２が選択されて周辺画素Ｐ２について、指定領域１や指定領域２に属するかの判断が行なわれることになる。この処理を繰り返し、更新していくことで、ラベル付けの特性変更がされる領域は順次拡張されていき、指定領域１および指定領域２の切り出しが行なえる。なおこの方法によれば、上述したように、いったんあるラベルにラベル付けされた画素についても、他のラベルに変更されることがあり得る。
収束判定部１３６は、上記一連の処理が収束したか否かを判定する。
収束判定部１３６は、例えば、ラベルが変更される画素がなくなった、または、強さが変わらなくなったときに収束したと判定する。また予め最大更新回数を定めておき、最大更新回数に達したときに収束したものとみなすこともできる。
次に第１の実施形態における領域検出部１３の動作について説明を行なう。
図１３は、第１の実施形態における領域検出部１３の動作について説明したフローチャートである。
まず画素選択部１３１が、指定領域に属する画素の中から基準画素Ｐ１を選択する（ステップ１０１）。さらに画素選択部１３１は、基準画素Ｐ１に対し設定され、指定領域に含まれるか否かを判断する対象である周辺画素Ｐ２を選択する（ステップ１０２）。
次に局所領域設定部１３２が、基準画素Ｐ１の周囲のテクスチャを算出するための範囲として第１の局所領域Ｒ１を設定する（ステップ１０３）。さらに局所領域設定部１３２は、周辺画素Ｐ２の周囲のテクスチャを算出するための範囲として第２の局所領域Ｒ２を設定する（ステップ１０４）。
そして類似度算出部１３３が、基準画素Ｐ１の周囲である第１の局所領域Ｒ１内のテクスチャと周辺画素Ｐ２の周囲である第２の局所領域Ｒ２内のテクスチャとの類似度を算出する（ステップ１０５）。これは例えば、上述した数１式や数２式により算出することができる。また判断部１３４が強さを基に判断を行なう場合は、さらに基準画素Ｐ１の強さと影響力を基に周辺画素Ｐ２に伝搬される強さを算出する。
次に判断部１３４は、類似度算出部１３３が算出したテクスチャの類似度あるいは強さにより、周辺画素Ｐ２が指定領域に含まれるか否かを判断する（ステップ１０６）。
その結果、周辺画素Ｐ２が指定領域に含まれると判断された場合（ステップ１０６でＹｅｓ）、特性変更部１３５が、周辺画素Ｐ２に対し付与される特性としてラベルを変更する（ステップ１０７）。また判断部１３４が強さを基に判断を行なった場合は、特性変更部１３５は、周辺画素Ｐ２に対し付与される特性としてさらに強さを変更する。
ステップ１０７の後、および周辺画素Ｐ２が指定領域に含まれないと判断された場合（ステップ１０６でＮｏ）、収束判定部１３６が、上記一連の処理が収束したか否かを判定する（ステップ１０８）。
その結果、処理が収束した場合（ステップ１０８でＹｅｓ）、全ての処理を終了する。
対して処理が収束していない場合（ステップ１０８でＮｏ）、ステップ１０１に戻り、新たに基準画素Ｐ１や周辺画素Ｐ２を選択し、収束するまで周辺画素Ｐ２が指定領域に含まれるか否かが判断されていく。
［第２の実施形態］
次に領域検出部１３の第２の実施形態について説明を行なう。
図１４は、第２の実施形態における領域検出部１３の機能構成例を表すブロック図である。
図示するように本実施の形態の領域検出部１３は、画像分割部１３７と、シード反映部１３８と、局所領域設定部１３２と、類似度算出部１３３と、判断部１３４と、画素設定部１３９と、特性変更部１３５と、収束判定部１３６とを備える。
図１４に示した領域検出部１３は、図９に示した領域検出部１３と比較して、画素選択部１３１が存在しない。一方、画像分割部１３７、シード反映部１３８および画素設定部１３９が加わっている。
画像分割部１３７は、シードが設定された画像をブロック毎に分割する。
図１５は、シードが設定された画像Ｇを表す。ここでは、画像Ｇに、シード１、シード２、シード３が設定されている。
また図１６（ａ）は、シードが設定された画像Ｇを分割した例を示している。
ここではシードが設定された画像Ｇは、図１６（ｂ）に示す３画素×３画素からなるブロックＢ毎に分割されている。なおここでは３画素×３画素＝９画素からなるブロックＢを設定したが、これに限られるものではない。例えば、ｎ画素×ｎ画素、ｎ画素×ｍ画素（ｎ、ｍは１以上の整数、ただしｎ、ｍは少なくとも一方が２以上である）であってもよい。
シード反映部１３８は、代表位置反映部の一例であり、ブロックＢを一画素とした画像に対し、シードを反映させる。
図１７（ａ）〜（ｂ）は、シード反映部１３８の動作について説明した図である。
ここで図１７（ａ）は、図１６（ａ）と同様の図であり、シードが設定された画像ＧをブロックＢ毎に分割した例を示している。また図１７（ｂ）は、ブロックＢを一画素とし、画像Ｇでシードが設定された画素を含むブロックＢには、シードを付与することで、シードを反映させたシード反映画像Ｇｓを示している。この場合、画像Ｇｓに、シード１、シード２、シード３を反映した場合を示している。その結果、このシード反映画像Ｇｓには、図１７（ａ）と同様にシード１、シード２、シード３が設定される。この場合、図１７（ｂ）で示したシード反映画像Ｇｓは、図１７（ａ）で示した画像Ｇを縮小したものであると見ることができる。
局所領域設定部１３２は、ブロックＢを単位としテクスチャを算出するための範囲として第１の局所領域Ｒ１を設定する。ここではシード反映画像Ｇｓのシードが反映された画素の中から一画素を選択し、これを第１の局所領域Ｒ１とする。シード反映画像Ｇｓの一画素は、画像Ｇでは、３画素×３画素＝９画素の画素からなるブロックＢであるため、これを画像Ｇにおける局所領域とみなすことができる。同様に、局所領域設定部１３２は、ブロックＢを単位としテクスチャを算出するための範囲として第２の局所領域Ｒ２を設定する。即ち、シード反映画像Ｇｓにおいて第１の局所領域Ｒ１として選択された一画素の周囲の一画素をさらに選択する。これはシード反映画像Ｇｓにおいてシードが反映されなかった画素の中から選択される。そしてこれを第２の局所領域Ｒ２とする。なおここではブロックＢを１つ選択したが、複数選択して第１の局所領域Ｒ１や第２の局所領域Ｒ２としてもよい。
図１８（ａ）は、シード反映画像Ｇｓにおいて、第１の局所領域Ｒ１と第２の局所領域Ｒ２とを設定した例を示している。第１の局所領域Ｒ１は、シード反映画像Ｇｓでは、一画素となるが、第１の局所領域Ｒ１は、図１８（ｂ）に示すように画像Ｇでは、３画素×３画素＝９画素からなる。同様に第２の局所領域Ｒ２は、図１８（ｃ）に示すように画像Ｇでは、３画素×３画素＝９画素からなる。
類似度算出部１３３は、画像Ｇの画素値を用い、第１の局所領域Ｒ１のテクスチャと第２の局所領域Ｒ２のテクスチャとの類似度を算出する。
判断部１３４は、類似度算出部１３３が算出したテクスチャの類似度により、第２の局所領域Ｒ２中の画素が指定領域に含まれるか否かを判断する。そして指定領域に含まれれば、その指定領域に含まれるシードが表す指定領域のラベルが付与される。この判断は、第１の実施形態の場合と同様の考えでよく、類似度ｓを基に行なうことができる。また類似度ｓから強さを算出しこの強さにより判断してもよい、または、ラベル付けに関しても、第１の実施形態と同様に行うことができる。
第２の実施形態では、画素をブロック化し、ブロックＢ単位の関係性を利用する、つまりは、基準となるブロックＢとその周辺ブロックＢとの関係（近さ）を利用することがポイントとなる。
図１９（ａ）は、従来手法における、基準画素Ｐ１とその周辺画素Ｐ２に関する影響力を示したものであり、太い線ほど画素の色が近く影響力が大きいことを表す。この影響力は、前述の図８−３で説明したものである。そして図１９（ａ）と同様にして、本実施の形態では、これをブロックＢの場合に拡張することができ、例えば、図１９（ａ）の１画素を３×３の１ブロックに置き換えると、基準のブロックＢ１とその周辺のブロックＢ２との影響力の関係は、図１９（ｂ）に示すようになる。ここでは、太い線ほどブロックＢ１とブロックＢ２との間の影響力が大きいことを表す。
第１の実施形態では、ブロックＢ同士のつながりではなくてもよかったが、第２の実施形態は、図１９（ｂ）に示すように１つのブロックＢを１画素のように捉え、影響力を導入した例である。図１９（ｂ）からわかるように、中央の基準のブロックＢ１の輝度発生特徴に対して、周辺のブロックＢ２との関係をみると、中央の基準のブロックＢ１の右の列に位置する３つのブロックＢ２と、真下の１つのブロックＢ２とは、テクスチャが近いので太線で示されている（影響力が大きいことに相当）。また、それ以外のブロックＢ２は、類似していないので細い線で示されている（影響力が小さいことに相当）。またここでは第１の局所領域Ｒ１や第２の局所領域Ｒ２を、１つのブロックＢで構成した例を説明したが、第１の局所領域Ｒ１や第２の局所領域Ｒ２を、複数のブロックＢで構成する場合は、複数のブロックＢ同士での関係となる。即ち、第１の局所領域Ｒ１と第２の局所領域Ｒ２との関係となる。
ブロックＢにシードの画素が含まれている場合のブロックＢの強さを１とすれば、シードの拡散方法や、強さの更新方法は第１の実施形態の場合と同様に行うことができ、また、ブロックＢを画素と見立てれば、図８−５と同じ考えでラベル付けや、特定の領域の切り抜きを行うことができる。この場合、１画素が持つ色の近さだけではない影響力を基にした強さを伝搬するので、人が領域を判断するのに近いラベル付けを行うことができる。
なお図１７で示すようにブロック化した後、図１９（ｂ）で示す影響力の計算を最初に全ブロックＢで行っておけば、この影響力は変化することがないので、全体の処理を高速に行うこともできる。
図２０は、図１８（ａ）のシード反映画像Ｇｓにおいて、第２の局所領域Ｒ２中の画素が指定領域に含まれるとした例を示している。この場合、第２の局所領域Ｒ２は、シード２が属する指定領域に含まれるようになったことを示している。
画素設定部１３９は、類似度により第２の局所領域Ｒ２内の画素が指定領域に含まれると検出したときに、第２の局所領域Ｒ２内の何れの画素が指定領域に含まれるかを設定する。
つまり判断部１３４が、第２の局所領域Ｒ２中の画素が指定領域に含まれると判断したとき、第２の局所領域Ｒ２中の画素は、３画素×３画素＝９画素ある。そのためこの中の何れの画素が指定領域に含まれるようにするかが問題となる。この場合、９画素中の何れか１画素を選択してもよく、複数の画素を選択してもよい。例えば、９画素中の中心の１画素としてもよく、９画素中の中から１画素以上をランダムに選択してもよい。また９画素全てが指定領域に含まれるとしてもよい。
図２１は、画素設定部１３９が画像Ｇにおいて第２の局所領域Ｒ２中の中心の一画素が指定領域に含まれるとしたときを示している。またこの場合、３つの画素が、シード２に含まれるようになったことを示している。
なお以後の特性変更部１３５、収束判定部１３６の動作は、第１の実施形態と同様である。第１の実施形態と同様、シードとして拡散させることもできれば、または、図１７（ｂ）のように、１つのブロックＢを１画素とした画像と捉えれば、図８−５のように従来の伝搬方法で実施すれば、より精度の高い切り抜きや領域分離を行うことができる。
次に第２の実施形態における領域検出部１３の動作について説明を行なう。
図２２は、第２の実施形態における領域検出部１３の動作について説明したフローチャートである。
まず画像分割部１３７は、シードが設定された画像をブロックＢ毎に分割する（ステップ２０１）。
次にシード反映部１３８が、ブロックＢを一画素とした画像に対し、シードを反映させる（ステップ２０２）。これは図１７で説明した方法により行うことができる。
そして局所領域設定部１３２が、ブロックＢを単位としテクスチャを算出するための範囲として第１の局所領域Ｒ１を、シード反映画像Ｇｓのシードが反映された画素の中から設定する（ステップ２０３）。さらに局所領域設定部１３２は、ブロックＢを単位としテクスチャを算出するための範囲として第２の局所領域Ｒ２をシード反映画像Ｇｓのシードが反映されなかった画素の中から設定する（ステップ２０４）。
次に類似度算出部１３３が、画像Ｇの画素値を用い、第１の局所領域Ｒ１のテクスチャと第２の局所領域Ｒ２のテクスチャとの類似度を算出する（ステップ２０５）。また判断部１３４が強さを基に判断を行なう場合は、さらに基準のブロックＢ１の強さと影響力を基に周辺のブロックＢ２に伝搬される強さを算出する。
また判断部１３４は、類似度算出部１３３が算出したテクスチャの類似度あるいは強さにより、第２の局所領域Ｒ２中の画素が指定領域に含まれるか否かを判断する（ステップ２０６）。
その結果、第２の局所領域Ｒ２中の画素が指定領域に含まれると判断された場合（ステップ２０６でＹｅｓ）、画素設定部１３９が、第２の局所領域Ｒ２内の何れの画素が指定領域に含まれるかを設定する（ステップ２０７）。そして特性変更部１３５が、画素設定部１３９が設定した画素に対し付与される特性としてラベルを変更する（ステップ２０８）。また判断部１３４が強さを基に判断を行なった場合は、特性変更部１３５は、画素設定部１３９が設定した画素に対し付与される特性としてさらに強さを変更する。
ステップ２０８の後、および第２の局所領域Ｒ２中の画素が指定領域に含まれないと判断された場合（ステップ２０６でＮｏ）、収束判定部１３６が、上記一連の処理が収束したか否かを判定する（ステップ２０９）。
その結果、処理が収束した場合（ステップ２０９でＹｅｓ）、全ての処理を終了する。
対して処理が収束していない場合（ステップ２０９でＮｏ）、ステップ２０２に戻り、新たに第１の局所領域Ｒ１や第２の局所領域Ｒ２を設定し、収束するまで第２の局所領域Ｒ２中の画素が指定領域に含まれるか否かが判断されていく。
第２の実施形態の利用方法としては、例えば、２通りある。１つ目は、図２１のようにシードを拡散させる目的で使用することであり、拡散した状態を収束とみなして一旦終了する。その後、ブロックＢを解除して、今度は元のとおりの画素を有する画像Ｇとして考え、図８−２〜８−５に示すような強さの伝搬によって、領域を分離する方法である。
また、２つ目としては、図１７（ｂ）のようにブロック化した後、ブロックＢを画素とみなし、この場合は、閾値による判断のみに依存するシードの拡散というよりは、強さ比較の更新ルールで収束させる伝搬を行って、収束した結果を領域分離の結果とする方法である。画像Ｇが大きいときはこれでもよい。
［第３の実施形態］
第２の実施形態で、シードの拡散のみならず、強さの更新に基づく収束方法で領域分離までを行った場合、画像Ｇの大きさやブロックＢの大きさによっては、図２３（ａ）に示すように、領域の境界が、粗くなることがある。
この場合は、図２３（ｂ）に示すように、境界領域付近のラベルや強さをリセットした未知領域Ｍを設定する。そしてブロックＢを解除して、画素単位の構造に戻し、未知領域Ｍ以外のラベルを付した画素はシードとして利用する。さらに図１９（ａ）で示した画素単位の影響力を用いて、これまでと同様に、図８−５で示した領域拡張方法で強さの伝搬を行えば、図２３（ｃ）のような領域の境界が滑らかになる領域分離の結果を得ることができる。
これは領域検出部１３は、ブロックＢを単位とした指定領域を検出した後に、ブロックＢを単位とした指定領域の境界の領域において指定領域の設定を解除し、指定領域の設定を解除されなかった画素の中から選択された基準画素を基に指定領域の境界の領域において指定領域を再度検出する、と言うこともできる。
このような方法を使用する利点は、画像Ｇに対し、縮小画像を使用して処理することと等価になるので、より高速になる。また単に色の近さを比較する場合に比較してテクスチャの類似度を比較することで、影響力を計算する際の情報量が増えるので、従来よりも精度の高い領域分離が行えることにある。
以上説明した第１の実施形態〜第３の実施形態により、指定領域の切り出しを行なうことができる。
図２４は、前景として写る床と、床以外の後景とからなる写真の画像Ｇにおいて、シード１およびシード２を設定した場合を示している。
本実施の形態では、図２５のような切り抜き結果（過剰な検出や、検出不足が伴う結果）が生じにくく、図２６のように、第１の指定領域Ｓ１、第２の指定領域Ｓ２をより精度よく切り出すことができる。
なおシードの拡散は、前景だけで行なってもよく、後景だけで行なってもよい。また、前景および後景の両方で行ってもよい。前景および後景の両方で行なう場合は、類似度ｓがどちらも閾値θ以下である場合は、より小さい方を選択するなどの判断を行えばよい。
また上述した例では、第１の局所領域Ｒ１および第２の局所領域Ｒ２に含まれる画素は、同数であったが、異なっていてもよい。
なお以上説明した領域検出部１３で行われる処理は、画像中の指定領域の代表位置（シード）を表す位置情報を取得する位置情報取得工程と、位置情報から指定領域を検出する領域検出工程と、を備え、領域検出工程は、指定領域に属する画素の周囲のテクスチャと指定領域に含まれるか否かを判断する対象である画素の周囲のテクスチャとの類似度を基に指定領域を検出することを特徴とする画像処理方法として捉えることもできる。
＜画像処理装置のハードウェア構成例＞
次に、画像処理装置１０のハードウェア構成について説明する。
図２７は、画像処理装置１０のハードウェア構成を示した図である。
画像処理装置１０は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２、およびＨＤＤ（Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ９２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤ９３は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置１０は、外部との通信を行うための通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）９４を備える。
＜プログラムの説明＞
ここで以上説明を行った本実施の形態における画像処理装置１０が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
よって本実施の形態で、画像処理装置１０が行なう処理は、コンピュータに、画像中の指定領域の代表位置（シード）を表す位置情報を取得する位置情報取得機能と、位置情報から指定領域を検出する領域検出機能と、を実現させ、領域検出機能は、指定領域に属する画素の周囲のテクスチャと指定領域に含まれるか否かを判断する対象である画素の周囲のテクスチャとの類似度を基に指定領域を検出するプログラムとして捉えることもできる。
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
１…画像処理システム、１０…画像処理装置、１１…画像情報取得部、１２…ユーザ指示受付部、１３…領域検出部、１４…領域切替部、１５…画像処理部、１６…画像情報出力部、２０…表示装置、３０…入力装置、１３１…画素選択部、１３２…局所領域設定部、１３３…類似度算出部、１３４…判断部、１３５…特性変更部、１３６…収束判定部、１３７…画像分割部、１３８…シード反映部

Claims (4)

  1. 画像中の指定領域の代表位置を表す位置情報を取得する位置情報取得部と、
    位置情報から指定領域を検出する領域検出部と、
    を備え、
    前記領域検出部は、
    前記指定領域に属する画素の周囲のテクスチャと当該指定領域に含まれるか否かを判断する対象である画素の周囲のテクスチャとの類似度を基に当該指定領域を検出し、
    前記代表位置が設定された前記画像をブロック毎に分割する画像分割部と、当該ブロックを単位としテクスチャを算出するための範囲として、第１の局所領域および第２の局所領域を設定する局所領域設定部と、当該第１の局所領域内のテクスチャと当該第２の局所領域内のテクスチャとの類似度を算出する類似度算出部と、を備える
    ことを特徴とする画像処理装置。
  2. 前記類似度により前記第２の局所領域内の画素が前記指定領域に含まれると検出したときに、前記第２の局所領域内の何れの画素が当該指定領域に含まれるかを設定する画素設定部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  3. 前記類似度算出部は、前記類似度を基に前記第２の局所領域が前記指定領域に属する強さをさらに算出し、
    前記強さを使用して前記第２の局所領域中の画素が前記指定領域に属するか否かを判断することにより、前記指定領域を検出することを特徴とする請求項１または２に記載の画像処理装置。
  4. 前記領域検出部は、前記ブロックを単位とした指定領域を検出した後に、当該ブロックを単位とした指定領域の境界の領域において指定領域の設定を解除し、指定領域の設定を解除されなかった画素の中から選択された基準画素を基に当該指定領域の境界の領域において指定領域を再度検出することを特徴とする請求項１に記載の画像処理装置。
JP2016238464A 2016-12-08 2016-12-08 画像処理装置 Active JP6930099B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016238464A JP6930099B2 (ja) 2016-12-08 2016-12-08 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016238464A JP6930099B2 (ja) 2016-12-08 2016-12-08 画像処理装置

Publications (2)

Publication Number Publication Date
JP2018097414A JP2018097414A (ja) 2018-06-21
JP6930099B2 true JP6930099B2 (ja) 2021-09-01

Family

ID=62632973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016238464A Active JP6930099B2 (ja) 2016-12-08 2016-12-08 画像処理装置

Country Status (1)

Country Link
JP (1) JP6930099B2 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000216979A (ja) * 1999-01-22 2000-08-04 Canon Inc 画像抽出方法及び装置並びに記憶媒体
US20150347862A1 (en) * 2014-05-30 2015-12-03 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method, image processing system, and non-transitory computer readable medium storing program

Also Published As

Publication number Publication date
JP2018097414A (ja) 2018-06-21

Similar Documents

Publication Publication Date Title
KR101719088B1 (ko) 영역 분할 방법 및 검사 장치
US9792695B2 (en) Image processing apparatus, image processing method, image processing system, and non-transitory computer readable medium
JP5880767B2 (ja) 領域判定装置、領域判定方法およびプログラム
US20090304280A1 (en) Interactive Segmentation of Images With Single Scribbles
US20150043820A1 (en) Area designating method and area designating device
JP2017126304A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP6287337B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
AU2020201976B2 (en) Two dimensional touch interaction screens with content-aware sensors
JP5907196B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN106033334B (zh) 绘制界面元素的方法和装置
JP6241320B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
AU2014280985B2 (en) Image processing apparatus, image processing method, image processing system, and program
US9875555B2 (en) Partitioning an image
JP6550819B2 (ja) 選択支援装置及びプログラム
JP6930099B2 (ja) 画像処理装置
US20210072884A1 (en) Information processing apparatus and non-transitory computer readable medium
JP2018097415A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
US20230215050A1 (en) Information processing apparatus, method, and storage medium to generate a color-difference map
JP2019101844A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2016004309A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2024000678A (ja) データ比較装置、該方法および該プログラム
CN117475053A (zh) 草地渲染方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210726

R150 Certificate of patent or registration of utility model

Ref document number: 6930099

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150