JP6949795B2 - 画像処理装置、画像処理システム、画像処理方法、及びプログラム - Google Patents

Description

本発明は画像処理装置、画像処理システム、画像処理方法、及びプログラムに係り、特にカラー画像の領域抽出に関する。

写真等のカラー画像からオブジェクトを抽出する手法が知られている。カラー画像から抽出したオブジェクトは、スタンプの作成等に利用することが可能である。

非特許文献１は、スマートフォンを用いて撮影した画像をアルバムから取り込み、トリミング範囲を指定してオブジェクトを抽出し、スタンプを作成する手法が記載されている。しかし、この手法はオブジェクトの輪郭を直接指定する必要があり手間がかかる。これに対して、グラフカット及びディープラーニング等を用いて、オブジェクトの輪郭を直接指定せずに、画像からオブジェクトの輪郭を抽出する手法が知られている。

特許文献１は、画素が前景画像に属する確率に基づいて、透明度を表すα値を算出し、α値と画素値とを乗じて前景画像を抽出する画像処理装置が記載されている。また、特許文献２は、前景領域の輪郭線上で隣り合う画素同士に無限小のコストを付与した輪郭候補確率場を生成し、初期確率場に対して輪郭候補確率場で重み付けをして処理確率場を生成することが記載されている。

同文献に記載の画像処理装置は、処理確率場をコスト関数として、元画像の全画素に前景又は背景のラベルを付けた際にコストが最小となる組み合わせを、グラフカットを用いて求めて前景と背景とを分離し、前景領域を抽出している。

特開２０１４−７１６６６号公報 特開２０１７−２２００９８号公報

「Line Creators Studio」、インターネット<URL:https://creator.line.me/ja/studio/>

しかしながら、画像から抽出したオブジェクトと背景との境界は、オブジェクトに属する画素と背景に属する画素とが混在する。そうすると、オブジェクトと背景との境界では、オブジェクトに背景等の色が混入してしまい、オブジェクトの色が不自然になってしまう。また、高精細なカラー画像から抽出されるオブジェクトは、オブジェクトの色の不自然さが顕著となる。

上記した先行技術文献は、オブジェクトの色が不自然になるという課題の開示はなく、かかる課題を解決するための技術を開示していない。すなわち、上記した先行技術文献に記載の技術を適用して抽出されたオブジェクト等は、色の不自然さが発生し得る。

本発明はこのような問題点に鑑みてなされたもので、カラー画像から抽出したオブジェクトの色の不自然さを抑制し得る画像処理装置、画像処理システム、画像処理方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、次の発明態様を提供する。

第１態様に係る画像処理装置は、カラー画像のオブジェクト領域を判定するオブジェクト領域判定部と、オブジェクト領域のマスク画像を生成するマスク画像生成部と、オブジェクト領域を抽出し、オブジェクト領域に基づいてオブジェクト画像を生成するオブジェクト画像生成部と、オブジェクト領域に適用される色から減色する色を判定し、オブジェクト領域よりも少ない数の色をオブジェクト画像の色に設定する色判定部と、マスク画像の画素が、オブジェクト領域の画素である確率を算出する確率算出部と、を備え、オブジェクト画像生成部は、確率に基づいて、色判定部を用いて設定された色をオブジェクト画像の縁領域の色として設定する画像処理装置である。

第１態様によれば、マスク画像の境界領域に設定されたオブジェクト領域である確率に基づいて、マスク画像の境界領域に対応するオブジェクト画像の縁領域の色が設定される。これにより、オブジェクト画像への背景等の色の混色を抑制し得る。

オブジェクト画像の縁領域は、オブジェクト画像の縁の画素が含まれる。オブジェクト画像の縁領域は、二画素以上の幅を有していてもよい。

第２態様は、第１態様の画像処理装置において、確率算出部は、マスク画像における境界領域の画素について、オブジェクト領域である確率を算出する構成としてもよい。

第２態様によれば、マスク画像の全画素にオブジェクト領域である確率を適用する場合と比較して、演算の処理負荷を低減させることが可能となる。

第３態様は、第１態様又は第２態様の画像処理装置において、確率に基づいて、オブジェクト領域の縁領域の透明度を設定する透明度設定部と、透明度を適用した画素を、オブジェクト画像に統合する画素統合部と、を備えた構成としてもよい。

第３態様によれば、オブジェクト画像の縁に適切な透明度が設定される。これにより、オブジェクト画像の縁におけるジャギー等の発生が抑制される。

第４態様は、第１態様から第３態様のいずれか一態様の画像処理装置において、色判定部は、オブジェクト領域に適用される色から、オブジェクト画像に適用される色を設定する構成としてもよい。

第５態様は、第１態様から第４態様のいずれか一態様の画像処理装置において、色判定部は、予め決められた規定色から、オブジェクト画像に適用される色を設定する構成としてもよい。

第６態様は、第５態様の画像処理装置において、色判定部は、規定色からユーザが指定した色をオブジェクト画像に適用される色として設定する構成としてもよい。

第６態様において、ユーザ端末の表示装置に規定色を設定する設定画面を表示させ、ユーザが設定画面を用いて、オブジェクト画像に適用される色を指定してもよい。

第７態様は、第１態様から第６態様のいずれか一態様の画像処理装置において、色判定部は、機械学習を用いて、オブジェクト領域に適用される色から減色する色を判定する構成としてもよい。

第８態様は、第１態様から第７態様のいずれか一態様の画像処理装置において、オブジェクト画像生成部は、オブジェクト領域において異なる色の画素が隣接する場合に、隣接する異なる色の画素に、異なる色同士の中間色を設定する構成としてもよい。

第８態様によれば、オブジェクト画像における色間の不自然さを抑制し得る。

第９態様は、第１態様から第８態様のいずれか一態様の画像処理装置において、オブジェクト領域判定部は、ユーザが指定した領域に基づいてオブジェクト領域を判定する構成としてもよい。

第１０態様は、第１態様から第８態様のいずれか一態様の画像処理装置において、オブジェクト領域判定部は、機械学習を用いてオブジェクト領域を判定する構成としてもよい。

第１１態様は、第１態様から第１０態様のいずれか一態様の画像処理装置において、オブジェクト領域は、顔領域を含む構成としてもよい。

第１２態様は、第１態様から第１１態様のいずれか一態様の画像処理装置において、オブジェクト画像に基づいてスタンプを生成するスタンプ生成部を備えた構成としてもよい。

第１３の態様に係る画像処理システムは、ネットワークと接続されるサーバ装置を備える画像処理システムであって、サーバ装置は、カラー画像のオブジェクト領域を判定するオブジェクト領域判定部と、オブジェクト領域のマスク画像を生成するマスク画像生成部と、オブジェクト領域を抽出し、オブジェクト領域に基づいてオブジェクト画像を生成するオブジェクト画像生成部と、オブジェクト領域に適用される色から減色する色を判定し、オブジェクト領域よりも少ない数の色をオブジェクト画像の色に設定する色判定部と、マスク画像の画素が、オブジェクト領域の画素である確率を算出する確率算出部と、を備え、オブジェクト画像生成部は、色判定部を用いて設定された色をオブジェクト画像の縁領域の色として確率に基づいて設定する画像処理システムである。

第１３態様によれば、第１態様と同様の効果を得ることが可能である。

第１３態様において、第２態様から第１２態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理システムの構成要素として把握することができる。

第１４の態様に係る画像処理方法は、カラー画像のオブジェクト領域を判定するオブジェクト領域判定工程と、オブジェクト領域のマスク画像を生成するマスク画像生成工程と、オブジェクト領域を抽出し、オブジェクト領域に基づいてオブジェクト画像を生成するオブジェクト画像生成工程と、オブジェクト領域に適用される色から減色する色を判定し、オブジェクト領域よりも少ない数の色をオブジェクト画像の色に設定する色判定工程と、マスク画像の画素が、オブジェクト領域の画素である確率を算出する確率算出工程と、を含み、オブジェクト画像生成工程は、確率に基づいて、色判定工程において設定された色をオブジェクト画像の縁領域の色として設定する画像処理方法である。

第１４態様によれば、第１態様と同様の効果を得ることが可能である。

第１４態様において、第２態様から第１２態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理方法の構成要素として把握することができる。

第１５態様に係るプログラムは、コンピュータに、カラー画像のオブジェクト領域を判定するオブジェクト領域判定機能、オブジェクト領域のマスク画像を生成するマスク画像生成機能、オブジェクト領域を抽出し、オブジェクト領域に基づいてオブジェクト画像を生成するオブジェクト画像生成機能、オブジェクト領域に適用される色から減色する色を判定し、オブジェクト領域よりも少ない数の色をオブジェクト画像の色に設定する色判定機能、及びマスク画像の画素が、オブジェクト領域の画素である確率を算出する確率算出機能を実現させるプログラムであって、オブジェクト画像生成機能は、確率に基づいて、色判定機能を用いて設定された色をオブジェクト画像の縁領域の色として設定するプログラムである。

第１５態様によれば、第１態様と同様の効果を得ることが可能である。

第１５態様において、第２態様から第１２態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。

本発明によれば、マスク画像の境界領域に設定されたオブジェクト領域である確率に基づいて、マスク画像の境界領域に対応するオブジェクト画像の縁領域の色が設定される。これにより、オブジェクト画像への背景等の色の混色を抑制し得る。

図１は画像処理装置の機能ブロック図である。 図２は入力画像の一例を示す図である。 図３はマスク画像の一例を示す図である。 図４はマスク画像におけるマスク領域と非マスク領域との境界の一部拡大図である。 図５はオブジェクト領域である確率が設定された境界領域の画素の一例を示す図である。 図６はオブジェクト画像の一例を示す図である。 図７は画像処理装置のハードウェア構成を示すブロック図である。 図８は画像処理方法の手順を示すフローチャートである。 図９はネットワークシステムへの適用例に係る画像処理システムのブロック図である。

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略することとする。

［画像処理装置］
〔画像処理装置の機能の説明〕
図１は画像処理装置の機能ブロック図である。画像処理装置１０は、画像取得部１２、オブジェクト領域判定部１４、マスク画像生成部１６、確率算出部１８、色判定部２０、オブジェクト画像生成部２４、及び記憶部２６を備える。また、画像処理装置１０は、透明度設定部２８、画素統合部３０、及びスタンプ生成部３２を備える。

画像処理装置１０は、カラー画像からオブジェクト領域を自動的に判定し、オブジェクト領域を抽出し、オブジェクトよりも色数を減色したオブジェクト画像を生成する。画像処理装置１０は、カラー画像のオブジェクトよりも減色したオブジェクト画像を用いて、イラスト的なスタンプを生成する。

画像取得部１２は、カラー画像を取得する。画像取得部１２は、取得した画像を記憶部２６へ記憶する。なお、図１に示す記憶部２６は各種データ等を記憶する記憶部の総称である。例えば、記憶部２６は、データの種類ごとの複数の記憶装置を用いて構成される。

カラー画像の一例として、赤、緑、及び青の各色を８ビットで表し、２４ビットの値で色情報を表現したフルカラー画像が挙げられる。人物のカラー画像から人物の顔を抽出し、人物の顔のスタンプを生成する場合、画像取得部１２は人物の顔が画像のおおよそ中心付近に写っているカラー画像を取得する。

人物の顔が画像のおおよそ中心付近に写っていないカラー画像を取得した場合は、カラー画像から人物の顔を含むオブジェクト領域の位置及びオブジェクト領域のサイズを判定する。実施形態に示す人物の顔は、顔領域の一例である。

本明細書では、画像という用語を画像データの意味で使用することがあり得る。すなわち、画像取得部１２は、撮像装置を用いて撮像して得られた画像データを取得する。

図２は入力画像の一例を示す図である。図２に示す入力画像１００は、主要被写体として看板１０２が写っている。また、入力画像１００は、背景としてパーテーション１０４が写っている。看板１０２は、文字１０６に下地１０８と異なる二色が用いられる。例えば、下地１０８は緑色が用いられる。文字１０６Ａは白が用いられる。文字１０６Ｂは赤が用いられる。

オブジェクト領域判定部１４は、図２に示す看板１０２を、入力画像１００のオブジェクト領域として自動的に判定する。オブジェクト領域判定部１４は、オブジェクト領域の情報を記憶部２６へ記憶する。

オブジェクト領域の自動判定は、ディープラーニングなどの機械学習、及びグラフカット等の手法を適用し得る。ディープラーニングの一例として、畳み込みニューラルネットワークが挙げられる。畳み込みニューラルネットワークは、英語表記のConvolutional neural networkの省略語を用いてＣＮＮと呼ばれる場合がある。

畳み込みニューラルネットワークが適用されるオブジェクト領域判定部１４は、入力層、中間層、及び出力層を備える。中間層は、畳み込み層とプーリング層から構成された複数セット、及び全結合層を備える。各層は複数のノードがエッジを用いて結ばれる構造となっている。

入力層は、入力画像１００が入力される。中間層は、入力層から入力した入力画像１００から特徴を抽出する。畳み込み層は、前の層で近くにあるノードにフィルタ処理を施して特徴マップを取得する。畳み込み層は、フィルタ処理として、フィルタを使用した畳み込み演算を実施する。

プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。畳み込み層は、画像データからのエッジ抽出等の特徴抽出の役割を担う。プーリング層は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。

中間層は、畳み込み層が連続する態様、及び正規化層を備える態様を採用し得る。また、各畳み込み層にて使用されるフィルタの重み及びバイアスは、予め多数の学習データを用いて自動的に学習されている。

オブジェクト領域判定部１４は、ユーザがカラー画像上のオブジェクトを指定した場合に、カラー画像におけるユーザが指定したオブジェクトを含むオブジェクト領域を判定してもよい。

例えば、人物の顔がカラー画像の中心に位置していない場合に、スマートフォンのディスプレイに表示されたカラー画像の顔の位置をユーザがタップして、カラー画像上のオブジェクトを指定してもよい。

図１に示すマスク画像生成部１６は、マスク画像を生成する。マスク画像生成部１６はマスク画像を記憶部２６へ記憶する。図３はマスク画像の一例を示す図である。図３に示すマスク画像１１０は、マスク領域１１２、非マスク領域１１４、及び境界領域１１６が含まれる。

マスク領域１１２は、カラー画像のオブジェクト領域以外の領域に対応する領域である。非マスク領域１１４は、カラー画像のオブジェクト領域に対応する領域である。境界領域１１６は、マスク領域１１２と非マスク領域１１４との境界を含む領域である。境界領域１１６は一画素の幅を有していてもよいし、二画素以上の幅を有していてもよい。

図４はマスク画像におけるマスク領域と非マスク領域との境界の一部拡大図である。図４は図３の符号１１６Ａを付した部分を拡大した拡大図である。図４に示す黒色の正方形は、マスク領域１１２の画素である。また、白色の正方形は非マスク領域１１４の画素である。

符号１１７はマスク領域１１２と非マスク領域１１４との境界を表す。図５に示す境界領域１１６は、境界１１７からマスク領域１１２の側へ一画素の幅を有し、境界１１７から非マスク領域１１４の側へ一画素の幅を有している。

確率算出部１８は、マスク画像１１０の境界領域１１６の各画素について、オブジェクト領域である確率を算出する。確率算出部１８は、マスク画像１１０の境界領域１１６の画素に設定された、オブジェクト領域である確率を記憶部２６へ記憶する。

すなわち、マスク画像１１０の境界領域１１６の画素は、０パーセントを超え、１００パーセント未満の数値を用いて表される、オブジェクト領域である確率が設定される。

確率算出部１８は、オブジェクト領域である確率として、オブジェクト領域の境界を表す閉曲線上の画素について、オブジェクト領域に含まれる信頼度を算出してもよい。オブジェクト領域の境界を表す閉曲線は一画素の幅を有していてもよいし、二画素以上の幅を有していてもよい。

オブジェクト領域の画素の画素値の平均に対する、オブジェクト領域の縁を表す閉曲線上の特定の画素における画素値の二乗誤差の逆数を算出する。この値は、オブジェクト領域の縁を表す閉曲線上の特定の画素が、オブジェクト領域に含まれる信頼度を表す。

閉曲線の画素数を相対的に多くした場合、オブジェクト領域である確率の精度が向上する。一方、閉曲線の画素数を相対的に少なくした場合、オブジェクト領域である確率の計算量が相対的に少なくなる。

閉曲線は、二画素から十画素までの任意の画素数とした場合、オブジェクト領域である確率の精度と、オブジェクト領域である確率の計算量とのバランスが良好となる。なお、オブジェクト領域である確率の算出は、上記の手法に限定されず、他の手法を適用してもよい。

図５はオブジェクト領域である確率が設定された境界領域の画素の一例を示す図である。画素１１６Ｂは、オブジェクト領域である確率が９０パーセントである。画素１１６Ｃ、画素１１６Ｄ、及び画素１１６Ｆのそれぞれに付した数値は、各画素のオブジェクト領域である確率を表している。

なお、画素１１２Ａは、マスク領域１１２の画素である。マスク領域１１２の画素はオブジェクト領域である確率が０パーセントである。また、画素１１４Ａは、非マスク領域１１４の画素である。画素１１４Ａはオブジェクト領域である確率が１００パーセントである。

確率算出部１８は、マスク画像の全画素についてオブジェクト領域である確率を算出してもよい。マスク画像生成部１６は、確率が０パーセントの画素をマスク領域１１２の画素とし、確率が１００パーセントの画素を非マスク領域の画素とし、確率が０パーセントを超え１００パーセント未満の画素を境界領域の画素としてもよい。

色判定部２０は、オブジェクト領域に適用される色の中から、減色すべき色を判定する。減色の一例として、２４ビットフルカラーである１６７７万色を、三色から数十色までの任意の色数に減色する例が挙げられる。

なお、減色数は、妥当性を表す数値を算出し、減色した画像において色の違和感がない色数から規定し得る。例えば、妥当性を表す数値としてエネルギーを算出し、エネルギーが安定する色数から減色数を規定してもよい。

オブジェクト画像を用いてスタンプを生成する場合、スタンプはイラスト的な要素を有する。イラスト的なスタンプは、フルカラーを適用して色表現を行う必要はなく、スタンプの一定の品質が維持される程度の色数を適用し得る。

例えば、スタンプの元画像となるカラー画像は、同系色が多階調で表現されている。一方、スタンプは、同系色が一色又は数色で表現されていると、スタンプとして使い勝手がよい。

色判定部２０は、オブジェクト領域に適用される色の中から、オブジェクト画像に適用される色を設定してもよい。オブジェクト画像は、カラー画像からオブジェクト領域を抽出して生成される。

色判定部２０は、オブジェクト領域から自動的に減色すべき色を判定してもよい。例えば、中間色を減色すべき色として判定してもよい。色判定部２０は、オブジェクト領域に使用される色を表すカラーパレットにおいて指定された色を、オブジェクト画像に適用する色として判定してもよい。実施形態に示すカラーパレットにおいて指定された色は規定色の一例である。

オブジェクト画像生成部２４は、カラー画像及びマスク画像を用いてオブジェクト画像を生成する。オブジェクト画像生成部２４は、オブジェクト画像の各画素について、色判定部２０を用いて指定された色を適用する。すなわち、オブジェクト画像生成部２４は、オブジェクト領域を減色して、オブジェクト画像を生成する。

図６はオブジェクト画像の一例を示す図である。図６に示すオブジェクト画像１２０は、図２に示した看板１０２よりも減色されている。例えば、入力画像１００の文字１０６Ａに対応するオブジェクト画像１２０の文字１２２Ａは、多階調のグレーが適用された文字１０６Ａに対して黒が適用される。

同様に、入力画像１００の文字１０６Ｂに対応するオブジェクト画像１２０の文字１２２Ｂは、多階調の赤が適用された文字１０６Ｂに対して一種類の赤が適用される。更に、入力画像１００の下地１０８に対応するオブジェクト画像１２０の下地１２８は、多階調の緑が適用された下地１０８に対して一種類の緑が適用される。

また、オブジェクト画像１２０の縁１２０Ａの画素は、マスク画像１１０の境界領域１１６に設定された、オブジェクト領域である確率に基づいて色が決められる。例えば、判定閾値を５０パーセントとした場合、オブジェクト領域である確率が５０パーセント以上の画素はオブジェクト画像の色が適用される。

これにより、オブジェクト領域以外の色が、オブジェクト画像の色として設定されることが抑制され、オブジェクト画像の色の不自然さを抑制し得る。なお、判定閾値の５０パーセントは例示であり、オブジェクト画像の画質、及び減色される色等のオブジェクト画像の生成条件に応じて、任意の判定閾値を規定し得る。

透明度設定部２８は、マスク画像１１０の境界領域１１６に適用されるオブジェクト領域である確率に応じて、オブジェクト画像１２０の縁領域の画素に透明度を設定する。縁領域とは、オブジェクト画像１２０の縁１２０Ａを含む、少なくとも一画素の幅を有する領域である。

例えば、オブジェクト領域である確率が相対的に高い画素は、透明度を相対的に低くして、オブジェクト領域に背景を透過させる程度を下げる。一方、オブジェクト領域である確率が相対的に低い画素は、透明度を相対的に高くして、オブジェクト領域に背景を透過させる程度を上げる。すなわち、透明度はオブジェクト領域に背景を透過させる程度と表す。例えば、透明度が０パーセントの場合は、オブジェクト領域に背景を全く透過させない。一方、透明度が１００パーセントの場合は、オブジェクト領域に背景を全て透過させる。

画素統合部３０は、透明度設定部２８を用いて透明度が設定された画素を、オブジェクト画像１２０に統合する。画素統合部３０は、透明度が設定された画素を統合したオブジェクト画像を記憶部２６へ記憶する。

オブジェクト画像１２０の縁１２０Ａ及び縁１２０Ａの近傍に透明度が設定された画素を統合する。これにより、オブジェクト画像１２０の縁１２０Ａ及び縁１２０Ａの近傍をぼかすことで、オブジェクト画像１２０の縁１２０Ａにおけるジャギーの発生を抑制し得る。

スタンプ生成部３２は、オブジェクト画像生成部２４を用いて生成されたオブジェクト画像からスタンプを生成する。スタンプ生成部３２は、生成したスタンプを記憶部２６へ記憶する。

スタンプは、カラー画像のオブジェクト領域よりも減色されているので、イラスト的なスタンプを生成し得る。また、スタンプの基となるオブジェクト画像１２０は、縁１２０Ａにおける色の不自然さが抑制され、かつ、ジャギーの発生が抑制される。これにより、色の不自然さが抑制され、かつ、ジャギーの発生が抑制されたスタンプを生成し得る。

〔画像処理装置のハードウェア構成の説明〕
図７は画像処理装置のハードウェア構成を示すブロック図である。

〈全体構成〉
図１に示す画像処理装置１０は、制御部４０、メモリ４２、ストレージ装置４４、ネットワークコントローラ４６、及び電源装置４８を備える。制御部４０、メモリ４２、ストレージ装置４４、及びネットワークコントローラ４６は、バス４１を介して通信可能に接続される。

画像処理装置１０は、ディスプレイコントローラ５２、入出力インターフェース５４、及び入力コントローラ５６を備えてもよい。画像処理装置１０は、制御部４０を用いて規定のプログラムを実行し、画像処理装置１０の各種機能を実現し得る。

〈制御部〉
制御部４０は、画像処理装置１０の全体制御部、各種演算部、及び記憶制御部として機能する。制御部４０は、メモリ４２に具備されるＲＯＭ（read only memory）に記憶されるプログラムを実行する。

制御部４０は、ネットワークコントローラ４６を介して、外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、ネットワーク５０を介して画像処理装置１０と通信可能に接続されていてもよい。

制御部４０は、メモリ４２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して、各種処理を実行する。これにより、画像処理装置１０の各種機能が実現される。

制御部４０は、ストレージ装置４４からのデータの読み出し及びストレージ装置４４へのデータの書き込みを制御する。制御部４０は、ネットワークコントローラ４６を介して、外部の記憶装置から各種データを取得してもよい。制御部４０は、取得した各種データを用いて、演算等の各種処理を実行可能である。

制御部４０は、一つ又は二つ以上のプロセッサ（processor）が含まれてもよい。プロセッサの一例として、ＦＰＧＡ（Field Programmable Gate Array）及びＰＬＤ（Programmable Logic Device）等が挙げられる。ＦＰＧＡ及びＰＬＤは、製造後に回路構成を変更し得るデバイスである。

プロセッサの他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。

制御部４０は、同じ種類の二つ以上のプロセッサを適用可能である。例えば、制御部４０は二つ以上のＦＰＧＡを用いてもよいし、二つのＰＬＤを用いてもよい。制御部４０は、異なる種類の二つ以上のプロセッサを適用してもよい。例えば、制御部４０は一つ以上のＦＰＧＡと一つ以上のＡＳＩＣとを適用してもよい。

複数の制御部４０を備える場合、複数の制御部４０は一つのプロセッサを用いて構成してもよい。複数の制御部４０を一つのプロセッサで構成する一例として、一つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて一つのプロセッサを構成し、このプロセッサが複数の制御部４０として機能する形態がある。なお、本明細書におけるソフトウェアはプログラムと同義である。

ＣＰＵに代わり、又はＣＰＵと併用して、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）を適用してもよい。複数の制御部４０が一つのプロセッサを用いて構成される代表例として、コンピュータが挙げられる。

複数の制御部４０を一つのプロセッサで構成する他の例として、複数の制御部４０を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサを使用する形態が挙げられる。複数の制御部４０を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサの代表例として、ＳｏＣ（System On Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。

このように、制御部４０は、ハードウェア的な構造として、各種のプロセッサを一つ以上用いて構成される。

〈メモリ〉
メモリ４２は、図示しないＲＯＭ及び図示しないＲＡＭを備える。ＲＯＭは、画像処理装置１０において実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域及び制御部４０のワーク領域等として機能する。

〈ストレージ装置〉
ストレージ装置４４は、各種データを非一時的に記憶する。ストレージ装置４４は、画像処理装置１０に外付けされてもよい。ストレージ装置４４に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。

〈ネットワークコントローラ〉
ネットワークコントローラ４６は、外部装置との間のデータ通信を制御する。データ通信の制御は、データ通信のトラフィックの管理が含まれてもよい。ネットワークコントローラ４６を介して接続されるネットワーク５０は、ＬＡＮ（Local Area Network）などの公知のネットワークを適用し得る。

〈電源装置〉
電源装置４８は、ＵＰＳ(Uninterruptible Power Supply)などの大容量型の電源装置が適用される。電源装置４８は停電等に起因して商用電源が遮断された際に、画像処理装置１０へ電源を供給する。

〈ディスプレイコントローラ〉
ディスプレイコントローラ５２は、制御部４０から送信される指令信号に基づいて表示部６０を制御するディスプレイドライバーとして機能する。

〈入出力インターフェース〉
入出力インターフェース５４は、画像処理装置１０と外部機器とを通信可能に接続する。入出力インターフェース５４は、ＵＳＢ（Universal Serial Bus）などの通信規格を適用し得る。

〈入力コントローラ〉
入力コントローラ５６は、操作部６２を用いて入力された信号の形式を画像処理装置１０の処理に適した形式に変換する。入力コントローラ５６を介して操作部６２から入力された情報は、制御部４０を介して各部へ送信される。

なお、図７に示す画像処理装置１０のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。

〔画像処理方法のフローチャート〕
図８は画像処理方法の手順を示すフローチャートである。図８に手順を示す画像処理方法は、入力画像取得工程Ｓ１０、オブジェクト領域判定工程Ｓ１２、マスク画像生成工程Ｓ１４、色判定工程Ｓ１６、確率算出工程Ｓ１８、オブジェクト画像生成工程Ｓ２０、及びスタンプ生成工程Ｓ２２が含まれる。

入力画像取得工程Ｓ１０では、図１に示す画像取得部１２は、カラー画像として図２に示す入力画像１００を取得する。入力画像取得工程Ｓ１０の後に、入力画像１００を記憶する入力画像記憶工程を実施してもよい。入力画像取得工程Ｓ１０の後にオブジェクト領域判定工程Ｓ１２へ進む。

オブジェクト領域判定工程Ｓ１２では、オブジェクト領域判定部１４は、入力画像１００からオブジェクト領域を自動判定する。オブジェクト領域判定工程Ｓ１２の後に、オブジェクト領域の情報を記憶するオブジェクト情報記憶工程を実施してもよい。オブジェクト領域判定工程Ｓ１２の後にマスク画像生成工程Ｓ１４へ進む。

マスク画像生成工程Ｓ１４では、マスク画像生成部１６は、図３に示すマスク画像１１０を生成する。マスク画像生成工程Ｓ１４の後に、マスク画像１１０を記憶するマスク画像記憶工程を実施してもよい。マスク画像生成工程Ｓ１４の後に、色判定工程Ｓ１６へ進む。

色判定工程Ｓ１６では、色判定部２０は、オブジェクトである図２に示す看板１０２に適用される色の中から、減色すべき色を判定する。例えば、看板１０２の下地に適用される中間色、文字に適用される中間色を減色すべき色と判定し得る。色判定工程Ｓ１６の後に、確率算出工程Ｓ１８へ進む。

確率算出工程Ｓ１８では、確率算出部１８は、図５に示すように、マスク画像１１０の境界領域１１６の画素についてオブジェクト領域である確率を算出する。確率算出工程Ｓ１８の後に、オブジェクト画像生成工程Ｓ２０へ進む。

オブジェクト画像生成工程Ｓ２０では、オブジェクト画像生成部２４は、図６に示すオブジェクト画像１２０を生成する。オブジェクト画像生成工程Ｓ２０は、色判定工程Ｓ１６において判定された減色すべき色に基づき、オブジェクト領域に適用される色を減色する減色処理工程が含まれる。

オブジェクト画像生成工程Ｓ２０は、マスク画像１１０の境界領域１１６の画素に設定された、オブジェクト領域である確率に応じて、オブジェクト画像の縁領域の画素に透明度を設定する透明度設定工程が含まれ得る。

また、オブジェクト画像生成工程Ｓ２０は、透明度設定工程において透明度が設定された画素をオブジェクト画像に統合する画素統合工程が含まれ得る。オブジェクト画像生成工程Ｓ２０の後に、スタンプ生成工程Ｓ２２へ進む。

スタンプ生成工程Ｓ２２では、スタンプ生成部３２は、オブジェクト画像に基づいてスタンプを生成する。スタンプ生成工程Ｓ２２の後に、スタンプを記憶するスタンプ記憶工程を実施してもよい。また、スタンプ生成工程Ｓ２２の後に、スタンプを出力するスタンプ出力工程を実施してもよい。スタンプの出力の一例として、ユーザが使用するスマートフォンのディスプレイを用いたスタンプの表示が挙げられる。

本実施形態では、スタンプ生成工程Ｓ２２を含む画像処理方法を例示したが、スタンプ生成工程Ｓ２２は、オブジェクト画像を用いたスタンプ生成以外の生成工程に変更し得る。例えば、スタンプ生成工程Ｓ２２に代わり、オブジェクト画像を用いた装飾品を生成する装飾品生成工程を適用し得る。

［作用効果］
上記の如く構成された画像処理装置及び画像処理方法によれば、以下の作用効果を得ることが可能である。

〔１〕
カラー画像から抽出されたオブジェクト領域を用いて生成されたオブジェクト画像の色は、オブジェクト領域に適用される色よりも減色される。オブジェクト画像の縁の画素は、カラー画像におけるオブジェクト領域である確率に基づいて、オブジェクト画像に適用される色とされる。これにより、オブジェクト画像に適用される色以外の色のオブジェクト画像への混入が抑制され、オブジェクト画像における色の不自然さを抑制し得る。

〔２〕
オブジェクト画像の縁領域は、カラー画像におけるオブジェクト領域である確率に基づいて設定された透明度が統合される。これにより、オブジェクト画像の縁領域が適切な透明度となり、ジャギー等が抑制されたオブジェクト画像の生成が可能となる。

〔３〕
カラー画像からオブジェクト領域が自動的に抽出される。オブジェクト領域の自動抽出は、ディープラーニングが適用される。これにより、オブジェクト領域抽出の高精度化が可能となる。

［応用例］
図６に示すオブジェクト画像１２０における色の境界の画素について、各色である確率を用いて各色同士の中間色を適用してもよい。例えば、オブジェクト画像１２０において、文字の色と下地の色との境界領域である文字の縁領域の画素について、文字である確率を算出する。文字である確率の算出は、カラー画像におけるオブジェクト領域である確率を算出する手法を適用し得る。オブジェクト領域に適用される色を減色する際に、誤差拡散法を適用してもよい。

中間色は、一階調でもよいし、多階調でもよい。色の境界領域の幅は一画素でもよいし、二画素以上でもよい。実施形態に示す文字の縁領域の画素は、隣接する異なる色の画素の一例である。

［応用例の作用効果］
応用例に係る画像処理装置及び画像処理方法によれば、オブジェクト画像における色の境界領域の画素について、一方の色である確率に基づく中間色を適用する。これにより、オブジェクト画像１２０の色間の不自然さの発生を抑制し得る。

［ネットワークシステムへの適用］
図１に示す画像処理装置１０は、デスクトップ型コンピュータを適用可能である。画像処理装置１０は、スマートフォン、タブレット型コンピュータ、及びノート型パソコンなどの携帯型情報処理端末を適用してもよい。

図９はネットワークシステムへの適用例に係る画像処理システムのブロック図である。図９に示す画像処理システム４００は、サーバ装置４１０を備える。サーバ装置４１０、第一ユーザ端末４２０、第二ユーザ端末４２２、及び第三ユーザ端末４２４は、ネットワーク４０２を介して通信可能に接続される。画像処理システム４００は、ネットワーク４０２を介して通信可能に接続されるストレージ装置等の大容量記憶装置を備えてもよい。

ネットワーク４０２は、ＷＡＮ（Wide Area Network）などの広域通信網を適用してもよいし、ＬＡＮ（Local Area Network）などの構内通信網を適用してもよい。ネットワーク４０２は、通信方式及び通信プロトコル等も限定されない。なお、図７に示すネットワーク５０は、図９に示すネットワーク４０２を適用し得る。

サーバ装置４１０は、図１から図８を用いて説明した画像処理装置１０が適用される。図９に示す態様では、図２に示すディスプレイコントローラ５２、入出力インターフェース５４、入力コントローラ５６、表示部６０、及び操作部６２を省略し得る。

図９に示すサーバ装置４１０において、図２に示すストレージ装置４４は、ネットワーク４０２を介してサーバ装置４１０と通信可能に接続されてもよい。図９には、第一ユーザ端末４２０及び第二ユーザ端末４２２として携帯端末が適用され、第三ユーザ端末４２４としてノート型パソコンが適用される例を示す。第一ユーザ端末４２０等のユーザ端末は、ネットワーク４０２を介してサーバ装置４１０と通信可能に接続される機器であればよい。

［プログラムへの適用例］
上述した画像処理装置１０及び画像処理方法は、コンピュータを用いて、画像処理装置１０における各部に対応する機能、又は画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。

各工程等に対応する機能の例として、入力画像取得機能、オブジェクト領域判定機能、マスク画像生成機能、色判定機能、確率算出機能、オブジェクト画像生成機能、透明度設定機能、及び画素統合機能が挙げられる。

入力画像取得機能は、図１に示す画像取得部１２に対応する。オブジェクト領域判定機能は、オブジェクト領域判定部１４に対応する。マスク画像生成機能は、マスク画像生成部１６に対応する。

確率算出機能は、確率算出部１８に対応する。色判定工程は、色判定部２０に対応する。オブジェクト画像生成機能は、オブジェクト画像生成部２４に対応する。記憶工程は記憶部２６に対応する。透明度設定機能は、透明度設定部２８に対応する。画素統合機能は、画素統合部３０に対応する。スタンプ生成機能は、スタンプ生成部３２に対応する。

上述した情報処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。

［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素、及び適用例等で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。

１０ 画像処理装置
１２ 画像取得部
１４ オブジェクト領域判定部
１６ マスク画像生成部
１８ 確率算出部
２０ 色判定部
２４ オブジェクト画像生成部
２６ 記憶部
２８ 透明度設定部
３０ 画素統合部
３２ スタンプ生成部
４０ 制御部
４１ バス
４２ メモリ
４４ ストレージ装置
４６ ネットワークコントローラ
４８ 電源装置
５０ ネットワーク
５２ ディスプレイコントローラ
５４ 入出力インターフェース
５６ 入力コントローラ
６０ 表示部
６２ 操作部
１００ 入力画像
１０２ 看板
１０４ パーテーション
１０６ 文字
１０６Ａ 文字
１０６Ｂ 文字
１０８ 下地
１１０ マスク画像
１１２ マスク領域
１１４ 非マスク領域
１１４Ａ 画素
１１６ 境界領域
１１６Ａ 画素
１１６Ｂ 画素
１１６Ｃ 画素
１１６Ｄ 画素
１１６Ｅ 画素
１１６Ｆ 画素
１１７ 境界
１２０ オブジェクト画像
１２０Ａ 縁
１２２Ａ 文字
１２２Ｂ 文字
１２８ 下地
４００ 画像処理システム
４０２ ネットワーク
４１０ サーバ装置
４２０ 第一ユーザ端末
４２２ 第二ユーザ端末
４２４ 第三ユーザ端末
Ｓ１０からＳ２２ 画像処理方法の各工程

Claims (15)

1. カラー画像のオブジェクト領域を判定するオブジェクト領域判定部と、
   前記オブジェクト領域のマスク画像を生成するマスク画像生成部と、
   前記オブジェクト領域を抽出し、前記オブジェクト領域に基づいてオブジェクト画像を生成するオブジェクト画像生成部と、
   前記オブジェクト領域に適用される色から減色する色を判定し、前記オブジェクト領域よりも少ない数の色を前記オブジェクト画像の色に設定する色判定部と、
   前記マスク画像の画素が、前記オブジェクト領域の画素である確率を算出する確率算出部と、
   を備え、
   前記オブジェクト画像生成部は、前記確率に基づいて、前記色判定部を用いて設定された色を前記オブジェクト画像の縁領域の色として設定する画像処理装置。
2. 前記確率算出部は、前記マスク画像における境界領域の画素について、前記オブジェクト領域である確率を算出する請求項１に記載の画像処理装置。
3. 前記確率に基づいて、前記オブジェクト領域の縁領域の透明度を設定する透明度設定部と、
   前記透明度を適用した画素を、前記オブジェクト画像に統合する画素統合部と、
   を備えた請求項１又は２に記載の画像処理装置。
4. 前記色判定部は、前記オブジェクト領域に適用される色から、前記オブジェクト画像に適用される色を設定する請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記色判定部は、予め決められた規定色から、前記オブジェクト画像に適用される色を設定する請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記色判定部は、前記規定色からユーザが指定した色を前記オブジェクト画像に適用される色として設定する請求項５に記載の画像処理装置。
7. 前記色判定部は、機械学習を用いて、前記オブジェクト領域に適用される色から減色する色を判定する請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記オブジェクト画像生成部は、前記オブジェクト領域において異なる色の画素が隣接する場合に、隣接する異なる色の画素に、前記異なる色同士の中間色を設定する請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記オブジェクト領域判定部は、ユーザが指定した領域に基づいて前記オブジェクト領域を判定する請求項１から８のいずれか一項に記載の画像処理装置。
10. 前記オブジェクト領域判定部は、機械学習を用いて前記オブジェクト領域を判定する請求項１から８のいずれか一項に記載の画像処理装置。
11. 前記オブジェクト領域は、顔領域を含む請求項１から１０のいずれか一項に記載の画像処理装置。
12. 前記オブジェクト画像に基づいてスタンプを生成するスタンプ生成部を備えた請求項１から１１のいずれか一項に記載の画像処理装置。
13. ネットワークと接続されるサーバ装置を備える画像処理システムであって、
    前記サーバ装置は、
    カラー画像のオブジェクト領域を判定するオブジェクト領域判定部と、
    前記オブジェクト領域のマスク画像を生成するマスク画像生成部と、
    前記オブジェクト領域を抽出し、前記オブジェクト領域に基づいてオブジェクト画像を生成するオブジェクト画像生成部と、
    前記オブジェクト領域に適用される色から減色する色を判定し、前記オブジェクト領域よりも少ない数の色を前記オブジェクト画像の色に設定する色判定部と、
    前記マスク画像の画素が、前記オブジェクト領域の画素である確率を算出する確率算出部と、
    を備え、
    前記オブジェクト画像生成部は、前記色判定部を用いて設定された色を前記オブジェクト画像の縁領域の色として前記確率に基づいて設定する画像処理システム。
14. カラー画像のオブジェクト領域を判定するオブジェクト領域判定工程と、
    前記オブジェクト領域のマスク画像を生成するマスク画像生成工程と、
    前記オブジェクト領域を抽出し、前記オブジェクト領域に基づいてオブジェクト画像を生成するオブジェクト画像生成工程と、
    前記オブジェクト領域に適用される色から減色する色を判定し、前記オブジェクト領域よりも少ない数の色を前記オブジェクト画像の色に設定する色判定工程と、
    前記マスク画像の画素が、前記オブジェクト領域の画素である確率を算出する確率算出工程と、
    を含み、
    前記オブジェクト画像生成工程は、前記確率に基づいて、前記色判定工程において設定された色を前記オブジェクト画像の縁領域の色として設定する画像処理方法。
15. コンピュータに、
    カラー画像のオブジェクト領域を判定するオブジェクト領域判定機能、
    前記オブジェクト領域のマスク画像を生成するマスク画像生成機能、
    前記オブジェクト領域を抽出し、前記オブジェクト領域に基づいてオブジェクト画像を生成するオブジェクト画像生成機能、
    前記オブジェクト領域に適用される色から減色する色を判定し、前記オブジェクト領域よりも少ない数の色を前記オブジェクト画像の色に設定する色判定機能、及び
    前記マスク画像の画素が、前記オブジェクト領域の画素である確率を算出する確率算出機能を実現させるプログラムであって、
    前記オブジェクト画像生成機能は、前記確率に基づいて、前記色判定機能を用いて設定された色を前記オブジェクト画像の縁領域の色として設定するプログラム。

Images