JP2016103759A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2016103759A JP2016103759A JP2014241381A JP2014241381A JP2016103759A JP 2016103759 A JP2016103759 A JP 2016103759A JP 2014241381 A JP2014241381 A JP 2014241381A JP 2014241381 A JP2014241381 A JP 2014241381A JP 2016103759 A JP2016103759 A JP 2016103759A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image data
- mask
- image
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
【課題】画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減する。【解決手段】画像データを取得し、画像データの少なくとも1部の領域を選択するためのマスクデータを取得する入力画像データ/入力マスクデータ取得部23と、画像データにおける選択領域に基づいて、画像特徴データを抽出する選択領域画像データ作成部25と、マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを予め記憶する外部記憶部12と、画像特徴データ、及びカテゴリ特徴データに基づいて、取得されたマスクデータを分類する選択領域画像データ分類部27と、を備える。【選択図】図2
Description
本発明は、入力画像データに参照画像データの色データを転写する際に用いるマスクデータの管理に好適な画像処理装置、画像処理方法、及びプログラムに関する。
従来、画像処理に係る分野にあっては、色調を変更する処理が知られている。
入力画像データのレタッチ(画像データ編集)をする場合には、色調を変更したい部分を選択領域(選択領域外部をマスクする)とし、その選択領域に対してのみ色調を変更する。他の部分にもこの処理を繰り返して行うことで、所望の色調に手動で変更していくという処理がPhotoshop(登録商標)やその他の画像処理ソフトとして知られている。
また、画像処理に係る分野にあっては、色彩転写処理が知られている。
画像データの一部の選択領域(オブジェクト)の色調を、別の参照画像データ中の選択領域の色調に似せるという色彩転写処理を行って、対象となる選択領域の色調を変更するという処理も既に知られている。
入力画像データのレタッチ(画像データ編集)をする場合には、色調を変更したい部分を選択領域(選択領域外部をマスクする)とし、その選択領域に対してのみ色調を変更する。他の部分にもこの処理を繰り返して行うことで、所望の色調に手動で変更していくという処理がPhotoshop(登録商標)やその他の画像処理ソフトとして知られている。
また、画像処理に係る分野にあっては、色彩転写処理が知られている。
画像データの一部の選択領域(オブジェクト)の色調を、別の参照画像データ中の選択領域の色調に似せるという色彩転写処理を行って、対象となる選択領域の色調を変更するという処理も既に知られている。
例えば、赤色の車両が写っている写真がユーザの写真アルバムに保存されていることとする。この写真上に写った車両の色が、くすんだ濃い目の赤色である場合に、例えばトマトのような鮮やかな赤色に修整して欲しいというユーザの要望がある。
このような要望に応える1つの方法として、入力画像データに参照画像データの色データを転写する色彩転写処理が知られている。
このような要望に応える1つの方法として、入力画像データに参照画像データの色データを転写する色彩転写処理が知られている。
このような色彩転写処理の方法では、マスクデータを用いて詳細な指定を行う方式の方が、ユーザの意図を反映させ易い。このためには、色彩転写の対象となる入力画像データと、入力画像データの色彩転写を行う部分を表す入力マスクデータ、色彩転写の参照元として用いる色彩データとなる参照用画像データ、参照画像データの色彩値を有する部分を表す参照マスクデータの4つが必要となる。マスクデータは、例えば人物の場合、肌、髪、口、目、背景のように分類された構成になっている。
ここで、図15、図16を参照して、色彩転写処理の概要について説明する。図15(a)は色彩転写処理の対象となる入力画像データであり、(b)は色彩転写結果である出力画像データであり、(c)はマスクデータであり、(d)は色彩転写処理に用いる色彩データの参照対象となる参照画像データである。
詳しくは、図15(b)は、複数のマスクデータ(c)を用いて参照画像データから抽出した夫々の色彩データを、入力画像データ(a)に対して色彩転写処理(d)を行ったときの結果画像データである。この場合、複数の部位を示すマスクデータ(c)から順次選択した1枚を用いて色彩転写処理を行った結果、複数の部分の色彩が変化した例となっている。
詳しくは、図15(b)は、複数のマスクデータ(c)を用いて参照画像データから抽出した夫々の色彩データを、入力画像データ(a)に対して色彩転写処理(d)を行ったときの結果画像データである。この場合、複数の部位を示すマスクデータ(c)から順次選択した1枚を用いて色彩転写処理を行った結果、複数の部分の色彩が変化した例となっている。
従来の色彩転写処理については、図16に示す処理フローを参照して説明する。
画像データファイルを読み出し、入力画像データを入力する(S1001)。入力画像データに対して、色修正を行いたい領域を対象領域として領域を設定する(S1003)。この対象領域を表すデータをマスクデータと呼ぶ。なお、マスクデータとは、処理対象以外をマスクして処理を行うという意味であり、選択領域のデータと同じ意味である。
このマスクデータを手動で設定することも可能であるが、自動処理を利用することも可能である。ただし、自動処理であっても、ユーザの意図が介在するため、どの部分の領域をユーザが必要としているのかをアプリケーション上で指し示すためのユーザインターフェースUIが必ず必要である。
画像データファイルを読み出し、入力画像データを入力する(S1001)。入力画像データに対して、色修正を行いたい領域を対象領域として領域を設定する(S1003)。この対象領域を表すデータをマスクデータと呼ぶ。なお、マスクデータとは、処理対象以外をマスクして処理を行うという意味であり、選択領域のデータと同じ意味である。
このマスクデータを手動で設定することも可能であるが、自動処理を利用することも可能である。ただし、自動処理であっても、ユーザの意図が介在するため、どの部分の領域をユーザが必要としているのかをアプリケーション上で指し示すためのユーザインターフェースUIが必ず必要である。
このマスク作成処理は、事前処理として、予め対象領域を表すマスクデータを複数作成しておき、作成済みのマスクデータを読み込むという使い方もある。
図15(a)に示す入力画像データは、予めア)〜キ)のマスクデータが作成されており、そのマスクデータは未だ分類されていない状態である。
入力画像データ(a)と、画像データ中のオブジェクト形状に対応したマスクデータ(c)は、複数枚分用意してあるが、マスクデータ(c)はカテゴリ分類がされていない状態である。
入力画像データに対して、処理対象領域を表すマスクデータを作成(又は選択)した状態において、次に参照画像データをユーザが選択する(S1005)。
参照画像データは、参照画像データベースDBに保存されており、1つ1つの参照画像データには、オブジェクト毎にマスクデータが作成されており、マスクデータも分類やキーワードが設定されている状態になっている。
それらの参照画像データに対して、使用できる参照画像データを一覧できるようになっており、ユーザが一覧を目視確認して所望の参照画像データを選択する。
参照画像データが選択されると、次にその参照画像データに関連するマスクデータをユーザに提示し、その中から所望のマスクデータを選択する(S1009)。
こうして入力画像データ、入力マスクデータ、参照画像データ、参照マスクデータの4つが揃い、このデータセットを用いて、色調補正処理(色彩転写処理)を実行する(S1011)ことで、入力画像データのユーザが決めた対象領域を所望の色調に変更することができる。
図15(a)に示す入力画像データは、予めア)〜キ)のマスクデータが作成されており、そのマスクデータは未だ分類されていない状態である。
入力画像データ(a)と、画像データ中のオブジェクト形状に対応したマスクデータ(c)は、複数枚分用意してあるが、マスクデータ(c)はカテゴリ分類がされていない状態である。
入力画像データに対して、処理対象領域を表すマスクデータを作成(又は選択)した状態において、次に参照画像データをユーザが選択する(S1005)。
参照画像データは、参照画像データベースDBに保存されており、1つ1つの参照画像データには、オブジェクト毎にマスクデータが作成されており、マスクデータも分類やキーワードが設定されている状態になっている。
それらの参照画像データに対して、使用できる参照画像データを一覧できるようになっており、ユーザが一覧を目視確認して所望の参照画像データを選択する。
参照画像データが選択されると、次にその参照画像データに関連するマスクデータをユーザに提示し、その中から所望のマスクデータを選択する(S1009)。
こうして入力画像データ、入力マスクデータ、参照画像データ、参照マスクデータの4つが揃い、このデータセットを用いて、色調補正処理(色彩転写処理)を実行する(S1011)ことで、入力画像データのユーザが決めた対象領域を所望の色調に変更することができる。
特許文献1には、デジタルカメラで画像データを撮影した時に、属性情報を付与するものではなく、PC等を用いて、画像データを他のマルチメディア情報と関連付けて、編集を容易にする目的で、(a)画像データ表示手段に表示された画像データの一部を選択する画像データ領域選択手段と、(b)画像データ領域選択手段により選択された領域に含まれる記号を認識する記号認識手段と、(c)記号認識手段により認識された記号を画像データと関連づけて、画像データと共に記憶する画像データ記憶手段とを備えた構成が開示されている。
特許文献2には、半導体製造装置の検査精度を向上する目的で、(a)マスクパターンの画像データを取得する工程と、(b)マスクパターン画像データから任意のパターン部分を切り出す工程と、(c)該パターン部と同じ位置の設計データ、又は正常なマスクパターンから正常なパターン部分の画像データを取得する工程と、(d)正常なパターン部分画像データの輪郭を抽出する工程と、(e)輪郭線からベクトルデータを生成する工程と、(f)ベクトルデータからパターン信号への変換を行う工程と、(g)パターン信号からパターン形状の種類を決定するパターン形状認識をする工程と、(h)パターン形状認識によって決定した形状の種類毎にパターン部分の形状特性値を計測する工程と、からなる各工程を実行することによりマスクパターン画像データの所望のパターン部分について自動分類及び形状特性値の自動計測を行うという構成が開示されている。
特許文献3には、人物姿勢に対応した画像処理を行う目的で、入力画像データに対して、人物領域を検出する人物領域検出手段と、前記人物領域検出手段により検出された人物領域内の人物の姿勢を認識する人物姿勢認識手段と、前記記憶手段に記憶されているデータベースを参照して、前記人物姿勢認識手段により認識された姿勢に適合する前記特定姿勢データを求めるマッチング手段と、前記マッチング手段により求められた前記特定姿勢データに対応付けられている前記演出加工データに基づいて、前記画像データに対する加工を施す加工手段の構成が開示されている。
しかしながら、上述した一連の処理において、参照画像データを選択するステップS1005では、大量にある参照画像データからユーザが所望のものを選択する必要があり、ユーザに作業の手間を掛けることになるといった問題があった。
特に、入力画像データが複数のマスクデータを持っていて、複数の領域の色調を変更しようとする場合、入力画像データの1つのマスクデータに対して、参照画像データと参照マスクデータのペアを設定するという作業を、入力マスクデータの数分繰り返す必要があり、ユーザに強いる手間が非常に大きなものとなるといった問題があった。
この原因は、画像データに対応したマスクデータの分類手法に起因しており、画像データの1部の領域を選択するために用いるマスクデータを分類する際の操作手間が掛かるといった問題があった。
特に、入力画像データが複数のマスクデータを持っていて、複数の領域の色調を変更しようとする場合、入力画像データの1つのマスクデータに対して、参照画像データと参照マスクデータのペアを設定するという作業を、入力マスクデータの数分繰り返す必要があり、ユーザに強いる手間が非常に大きなものとなるといった問題があった。
この原因は、画像データに対応したマスクデータの分類手法に起因しており、画像データの1部の領域を選択するために用いるマスクデータを分類する際の操作手間が掛かるといった問題があった。
特許文献1には、画像データに対して各種情報を付与する点が開示されている。しかし、特許文献1にあっては、認識処理の前に領域を設定する必要があり、領域を設定するための作業が必要(自動で領域を認識することができない)であるというという問題は解消できていない。また、ネットワーク接続を前提とした構成となっており、スタンドアロン運用(装置単体での運用)が困難であるというといった問題は解消できていない。
特許文献2には、形状パターンを認識して自動分類する点が開示されている。しかし、特許文献2にあっては、半導体や電気回路など、ある程度決まった形状のパターンを対象としており、人物像などをはじめとする決まった形状が少ないものに対して、パターン認識を行うには十分ではない(誤検出する)可能性があるといった問題は解消できていない。
特許文献3には、色形状を検出して、この形状に対応した画像処理を行う点が開示されている。しかし、特許文献3にあっては、人物姿勢を中心としており、顔、髪、口、体など人物像の各部位に対して形状を検出することができないといった問題は解消できていない。
特許文献2には、形状パターンを認識して自動分類する点が開示されている。しかし、特許文献2にあっては、半導体や電気回路など、ある程度決まった形状のパターンを対象としており、人物像などをはじめとする決まった形状が少ないものに対して、パターン認識を行うには十分ではない(誤検出する)可能性があるといった問題は解消できていない。
特許文献3には、色形状を検出して、この形状に対応した画像処理を行う点が開示されている。しかし、特許文献3にあっては、人物姿勢を中心としており、顔、髪、口、体など人物像の各部位に対して形状を検出することができないといった問題は解消できていない。
本発明は、上記に鑑みてなされたもので、その目的は、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することにある。
請求項1記載の発明は、上記課題を解決するため、画像データを取得する画像データ取得手段と、前記画像データの少なくとも1部の領域を選択するためのマスクデータを取得するマスクデータ取得手段と、前記画像データにおける前記選択領域に基づいて、画像特徴データを抽出する抽出手段と、マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを予め記憶するカテゴリ特徴データ記憶手段と、前記画像特徴データ、及び前記カテゴリ特徴データに基づいて、前記マスクデータ取得手段により取得されたマスクデータを分類するマスクデータ分類手段と、を備えることを特徴とする。
本発明によれば、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
以下、本発明を図面に示した実施の形態により詳細に説明する。
本発明は、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減するために、以下の構成を有する。
すなわち、本発明の画像処理装置は、画像データを取得する画像データ取得手段と、画像データの少なくとも1部の領域を選択するためのマスクデータを取得するマスクデータ取得手段と、画像データにおける選択領域に基づいて、画像特徴データを抽出する抽出手段と、マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを予め記憶するカテゴリ特徴データ記憶手段と、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータ取得手段により取得されたマスクデータを分類するマスクデータ分類手段と、を備えることを特徴とする。
以上の構成を備えることにより、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
上記の本発明の特徴に関して、以下、図面を用いて詳細に説明する。
本発明は、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減するために、以下の構成を有する。
すなわち、本発明の画像処理装置は、画像データを取得する画像データ取得手段と、画像データの少なくとも1部の領域を選択するためのマスクデータを取得するマスクデータ取得手段と、画像データにおける選択領域に基づいて、画像特徴データを抽出する抽出手段と、マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを予め記憶するカテゴリ特徴データ記憶手段と、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータ取得手段により取得されたマスクデータを分類するマスクデータ分類手段と、を備えることを特徴とする。
以上の構成を備えることにより、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
上記の本発明の特徴に関して、以下、図面を用いて詳細に説明する。
<第1実施形態>
図1を参照して、本発明の第1実施形態に係わる画像処理装置1のハードウエアのブロック構成について説明する。図1は、本発明の第1実施形態に係わる画像処理装置1のハードウエア構成を示すブロックである。
画像処理装置1は、CPU10、スキャナ部11、外部記憶部12、画像メモリ部13、表示部14、操作部15、画像処理部16、カメラ部17、通信制御部18、ネットワークNを備えている。
CPU10は、ROM(図示しない)又はハードディスクからプログラムを読み出してRAMに記憶し、RAMから順次にプログラムを読み出して装置全体の制御を実行する。
本実施形態では、本発明に係る画像処理をソフトウェア(もしくはプログラムをROMなどのハードウェアチップで収納されたもの)を用いて実現する構成である。
スキャナ部11は、原稿台上に置かれた例えば記録媒体(例えば、紙体)となる原稿に対してラインセンサを走査することで原稿から画像データを取得する。
図1を参照して、本発明の第1実施形態に係わる画像処理装置1のハードウエアのブロック構成について説明する。図1は、本発明の第1実施形態に係わる画像処理装置1のハードウエア構成を示すブロックである。
画像処理装置1は、CPU10、スキャナ部11、外部記憶部12、画像メモリ部13、表示部14、操作部15、画像処理部16、カメラ部17、通信制御部18、ネットワークNを備えている。
CPU10は、ROM(図示しない)又はハードディスクからプログラムを読み出してRAMに記憶し、RAMから順次にプログラムを読み出して装置全体の制御を実行する。
本実施形態では、本発明に係る画像処理をソフトウェア(もしくはプログラムをROMなどのハードウェアチップで収納されたもの)を用いて実現する構成である。
スキャナ部11は、原稿台上に置かれた例えば記録媒体(例えば、紙体)となる原稿に対してラインセンサを走査することで原稿から画像データを取得する。
外部記憶部12は、カメラ部17で被写体を撮影したことにより取得されたカメラ画像データや処理結果の情報をハードディスクやCD/DVD/メモリカードなどの記憶媒体に記憶する。記憶媒体としては、CD−ROM、DVD−ROM/R/RW/RAM、Blu−ray(登録商標) Discのようなディスク19、またはハードディスクHDD、SDやUSBメモリカード等のフラッシュメモリカードのような記憶装置20でもよい。
外部記憶部12は、マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを予め記憶する。外部記憶部12は、カテゴリ特徴データとして、マスクデータにより選択される選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、画像データ全体の色データを予め記憶する。
記憶装置20は、画像データの形状を有するテンプレートデータと、当該テンプレートデータの固有の分類データとを1個のレコードとしておき、異なる複数のテンプレートデータについての形状データベース20aを予め記憶している。すなわち、形状データベース20aは、基準画像データの形状に係る特徴量データを有するテンプレートデータと、当該テンプレートデータに固有の分類データとを1対1に対応させて記憶する。
外部記憶部12は、マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを予め記憶する。外部記憶部12は、カテゴリ特徴データとして、マスクデータにより選択される選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、画像データ全体の色データを予め記憶する。
記憶装置20は、画像データの形状を有するテンプレートデータと、当該テンプレートデータの固有の分類データとを1個のレコードとしておき、異なる複数のテンプレートデータについての形状データベース20aを予め記憶している。すなわち、形状データベース20aは、基準画像データの形状に係る特徴量データを有するテンプレートデータと、当該テンプレートデータに固有の分類データとを1対1に対応させて記憶する。
画像メモリ部13は、スキャナ部11、外部記憶部12、カメラ部17から取得した画像データを一時的に記憶(保管)する。
表示部14は、入力画像データをモニタの表示画面上に表示する。
操作部15は、表示部14の表示画面の表層に配置されたタッチパネルに対する利用者によるクリック操作やタップ操作やドラッグ操作等を入力するとともに、該操作時の座標データを入力する。操作部15は、画像データの取得や画像処理の制御等に関する操作を行う。
画像処理部16は、入力画像データをVRAM上に記憶しておき、VRAM上の画像データに対して位置合わせ処理、拡大縮小処理、回転処理、ノイズ付与・除去処理、スキュー補正処理などの画像処理を行う。
表示部14は、入力画像データをモニタの表示画面上に表示する。
操作部15は、表示部14の表示画面の表層に配置されたタッチパネルに対する利用者によるクリック操作やタップ操作やドラッグ操作等を入力するとともに、該操作時の座標データを入力する。操作部15は、画像データの取得や画像処理の制御等に関する操作を行う。
画像処理部16は、入力画像データをVRAM上に記憶しておき、VRAM上の画像データに対して位置合わせ処理、拡大縮小処理、回転処理、ノイズ付与・除去処理、スキュー補正処理などの画像処理を行う。
カメラ部17は、被写体を撮影して画像データを取得する。
通信制御部18は、インターネット、クラウドなどのネットワーク網Nを介して外部から入力画像データを受信する一方、処理結果の情報をネットワークNを介して外部に配信する。
なお、本実施形態では、画像処理装置1は、デジタルカメラとコンピュータを接続した構成を想定しており、コンピュータは、パソコン、ノートPC、スマートフォン端末、タブレット端末、多機能周辺装置MFP、専用装置などであり、特定の環境に依存しない構成であることを想定している。
また、本実施形態において行われる画像処理の全般については、ソフトウェア(もしくはプログラムをROMなどのハードウェアチップに収納されたもの)で実現する構成であることを想定している。
通信制御部18は、インターネット、クラウドなどのネットワーク網Nを介して外部から入力画像データを受信する一方、処理結果の情報をネットワークNを介して外部に配信する。
なお、本実施形態では、画像処理装置1は、デジタルカメラとコンピュータを接続した構成を想定しており、コンピュータは、パソコン、ノートPC、スマートフォン端末、タブレット端末、多機能周辺装置MFP、専用装置などであり、特定の環境に依存しない構成であることを想定している。
また、本実施形態において行われる画像処理の全般については、ソフトウェア(もしくはプログラムをROMなどのハードウェアチップに収納されたもの)で実現する構成であることを想定している。
次に、図2を参照して、本発明の第1実施形態に係る画像処理装置1に適用可能な機能ブロックについて説明する。図2は本発明の第1実施形態に係る画像処理装置1に適用可能な機能ブロックを示す図である。
画像処理装置1は、機能ブロックとして、入力画像データ/入力マスクデータ取得部23、選択領域画像データ作成部25、選択領域画像データ分類部27、参照画像データ表示部29、参照画像データ・参照マスク選択受付部31、色調補正処理部33、結果出力部35を備えている。
入力画像データ/入力マスクデータ取得部23は、スキャナ部11、外部記憶部12、表示部14、操作部15、カメラ部17、通信制御部18、ネットワークNにより構成されている。
入力画像データ/入力マスクデータ取得部23は、操作部15を介して入力されたユーザ操作に基づいて、スキャナ部11、又はカメラ部17を用いて撮影した大量の画像データを画像メモリ部13に取得する。また入力画像データ/入力マスクデータ取得部23は、操作部15を介して入力されたユーザ操作に基づいて、外部記憶部12、ディスク19、記憶装置20、ネットワークN(クラウドシステム)などを用いて大量の画像データを画像メモリ部13に取得する。
画像処理装置1は、機能ブロックとして、入力画像データ/入力マスクデータ取得部23、選択領域画像データ作成部25、選択領域画像データ分類部27、参照画像データ表示部29、参照画像データ・参照マスク選択受付部31、色調補正処理部33、結果出力部35を備えている。
入力画像データ/入力マスクデータ取得部23は、スキャナ部11、外部記憶部12、表示部14、操作部15、カメラ部17、通信制御部18、ネットワークNにより構成されている。
入力画像データ/入力マスクデータ取得部23は、操作部15を介して入力されたユーザ操作に基づいて、スキャナ部11、又はカメラ部17を用いて撮影した大量の画像データを画像メモリ部13に取得する。また入力画像データ/入力マスクデータ取得部23は、操作部15を介して入力されたユーザ操作に基づいて、外部記憶部12、ディスク19、記憶装置20、ネットワークN(クラウドシステム)などを用いて大量の画像データを画像メモリ部13に取得する。
入力画像データ/入力マスクデータ取得部23は、画像データの少なくとも1部の領域をマスクするための形状データを含むマスクデータを取得する。
選択領域画像データ作成部25は、CPU10、画像メモリ部13、表示部14、操作部15、画像処理部16により構成され、入力画像データ/入力マスクデータ取得部23によって取得された入力画像データ/入力マスクデータを利用して、入力画像データ中の選択領域画像データを作成する。
選択領域画像データ分類部27は、CPU10、画像メモリ部13、表示部14、操作部15、画像処理部16により構成され、選択領域画像データ作成部25で作成された選択領域の画像データに基づいて、特徴抽出処理を行い画像特徴データを抽出する。選択領域画像データ分類部27は、特徴抽出処理の結果として得られた画像特徴データと各カテゴリの特徴点データとのパターンマッチング処理を行い、類似度が基準値よりも高いカテゴリが画像データのカテゴリでることとして、カテゴリに分類する。詳しくは、選択領域画像データ分類部27は、選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、及び画像データ全体の色データのうち少なくとも2つ以上のデータ、カテゴリ特徴データに基づいて、入力画像データ/入力マスクデータ取得部23により取得されたマスクデータを分類する。
選択領域画像データ作成部25は、CPU10、画像メモリ部13、表示部14、操作部15、画像処理部16により構成され、入力画像データ/入力マスクデータ取得部23によって取得された入力画像データ/入力マスクデータを利用して、入力画像データ中の選択領域画像データを作成する。
選択領域画像データ分類部27は、CPU10、画像メモリ部13、表示部14、操作部15、画像処理部16により構成され、選択領域画像データ作成部25で作成された選択領域の画像データに基づいて、特徴抽出処理を行い画像特徴データを抽出する。選択領域画像データ分類部27は、特徴抽出処理の結果として得られた画像特徴データと各カテゴリの特徴点データとのパターンマッチング処理を行い、類似度が基準値よりも高いカテゴリが画像データのカテゴリでることとして、カテゴリに分類する。詳しくは、選択領域画像データ分類部27は、選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、及び画像データ全体の色データのうち少なくとも2つ以上のデータ、カテゴリ特徴データに基づいて、入力画像データ/入力マスクデータ取得部23により取得されたマスクデータを分類する。
参照画像データ表示部29は、CPU10、表示部14、により構成され、選択領域画像データ分類部27によって設定されたカテゴリを利用した、画像データ/マスクデータをユーザに提示(表示)する。詳しくは、参照画像データ表示部29は、選択領域画像データ分類部27による分類結果を用いて、別途用意してある参照画像データに対して絞込み処理を行った上で、ユーザに提示をする。
参照画像データ・参照マスク選択受付部31は、参照画像データ表示部29によって表示されている参照画像に対するユーザの参照画像データ・マスクデータ指定の指示を受け付ける。
色調補正処理部33は、CPU10、画像メモリ部13、表示部14、操作部15、画像処理部16により構成され、入力画像データ、入力マスクデータ、参照画像データ、参照マスクデータという4つのデータセットを用いて色調補正処理行う。
結果出力部35は、色調補正処理部33によって生成された結果を出力する。
参照画像データ・参照マスク選択受付部31は、参照画像データ表示部29によって表示されている参照画像に対するユーザの参照画像データ・マスクデータ指定の指示を受け付ける。
色調補正処理部33は、CPU10、画像メモリ部13、表示部14、操作部15、画像処理部16により構成され、入力画像データ、入力マスクデータ、参照画像データ、参照マスクデータという4つのデータセットを用いて色調補正処理行う。
結果出力部35は、色調補正処理部33によって生成された結果を出力する。
次に、図3を参照して、本発明の第1実施形態に係わる画像処理装置1における全体の処理について説明する。図3は本発明の第1実施形態に係わる画像処理装置1の動作を表すフローチャートである。
まず、入力画像データ/入力マスクデータ取得部23は、スキャナ部11、カメラ部17、ネットワークNなど様々なデバイスによって入力画像データ、入力マスクデータを取得する(S1)。
次いで、選択領域画像データ作成部25は、入力画像データに対して処理を行うための対象領域を設定する(S2)。
この対象領域(=選択領域)は、グラフィックユーザインターフェースGUI画面を表示部14に表示しておき、入力画像データを表示して、ユーザのGUI操作によって入力画像データの1部の領域が選択されると選択領域を作成する。なお、マスクデータを予め作成しておき、このマスクデータを読み込んでもよく、この場合、Adobe Photoshop(登録商標)などの画像処理ソフトなどでは、マスクデータなどを元画像データとあわせて、そのまま保存できるファイル形式を利用できる。
選択領域画像データ作成部25は、入力画像データと、処理対象領域を示すためのマスクデータを利用して、仮想的に選択領域画像データを作成する(S3)。
まず、入力画像データ/入力マスクデータ取得部23は、スキャナ部11、カメラ部17、ネットワークNなど様々なデバイスによって入力画像データ、入力マスクデータを取得する(S1)。
次いで、選択領域画像データ作成部25は、入力画像データに対して処理を行うための対象領域を設定する(S2)。
この対象領域(=選択領域)は、グラフィックユーザインターフェースGUI画面を表示部14に表示しておき、入力画像データを表示して、ユーザのGUI操作によって入力画像データの1部の領域が選択されると選択領域を作成する。なお、マスクデータを予め作成しておき、このマスクデータを読み込んでもよく、この場合、Adobe Photoshop(登録商標)などの画像処理ソフトなどでは、マスクデータなどを元画像データとあわせて、そのまま保存できるファイル形式を利用できる。
選択領域画像データ作成部25は、入力画像データと、処理対象領域を示すためのマスクデータを利用して、仮想的に選択領域画像データを作成する(S3)。
ここで、図4(a)〜(c)を参照して、選択領域画像データの一例について説明する。
この例に示すように、選択領域の画素だけで構成される画像データのことを選択領域画像データ(c)と呼ぶ。本来、分類の対象となるデータは、入力画像データ(a)を対象として入力マスクデータ(b)によって選択された部分なので、実質はこの選択領域画像データ(c)を分類することを意味している。
ただし、本実施形態では、この例のような選択領域画像データ(c)を作らずに、入力画像データ(a)と入力マスクデータ(b)を用いて選択領域画像データ(c)の画素のある部分だけを抽出するという方法もある。
なお、図4(c)では、チェッカ模様を用いて背景部分に画素がないことを示している。
この例に示すように、選択領域の画素だけで構成される画像データのことを選択領域画像データ(c)と呼ぶ。本来、分類の対象となるデータは、入力画像データ(a)を対象として入力マスクデータ(b)によって選択された部分なので、実質はこの選択領域画像データ(c)を分類することを意味している。
ただし、本実施形態では、この例のような選択領域画像データ(c)を作らずに、入力画像データ(a)と入力マスクデータ(b)を用いて選択領域画像データ(c)の画素のある部分だけを抽出するという方法もある。
なお、図4(c)では、チェッカ模様を用いて背景部分に画素がないことを示している。
図3に戻り、選択領域画像データ分類部27は、選択領域画像データをカテゴリ分類する(S5)。
選択領域画像データ分類部27は、選択領域画像データ作成部25で作成された選択領域の画像データに基づいて、特徴抽出処理を行い画像特徴データを抽出する。選択領域画像データ分類部27は、特徴抽出処理の結果として得られた画像特徴データと、外部記憶部12から取得した各カテゴリの特徴点データとのパターンマッチング処理を行い、類似度が基準値よりも高いカテゴリが画像データのカテゴリでることとして、カテゴリに分類する。
詳しくは、選択領域画像データ分類部27は、選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、及び画像データ全体の色データのうち少なくとも2つ以上のデータ、カテゴリ特徴データに基づいて、入力画像データ/入力マスクデータ取得部23により取得されたマスクデータを分類する。
ここで、最大カテゴリ数は予め指定されているものとする。例えば参照画像データはその選択領域毎に手動などにより分類され、さらに夫々の参照画像データはタグ付けなどがされており、その最大カテゴリ数以下の数のカテゴリに分類することが望ましい。
選択領域画像データ分類部27は、選択領域画像データ作成部25で作成された選択領域の画像データに基づいて、特徴抽出処理を行い画像特徴データを抽出する。選択領域画像データ分類部27は、特徴抽出処理の結果として得られた画像特徴データと、外部記憶部12から取得した各カテゴリの特徴点データとのパターンマッチング処理を行い、類似度が基準値よりも高いカテゴリが画像データのカテゴリでることとして、カテゴリに分類する。
詳しくは、選択領域画像データ分類部27は、選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、及び画像データ全体の色データのうち少なくとも2つ以上のデータ、カテゴリ特徴データに基づいて、入力画像データ/入力マスクデータ取得部23により取得されたマスクデータを分類する。
ここで、最大カテゴリ数は予め指定されているものとする。例えば参照画像データはその選択領域毎に手動などにより分類され、さらに夫々の参照画像データはタグ付けなどがされており、その最大カテゴリ数以下の数のカテゴリに分類することが望ましい。
選択領域画像データの分類ができた場合、入力画像データの中でユーザが処理をしたい(色調を変えたい)という領域(≒オブジェクト)の分類ができたことを意味する。
参照画像表示部29は、選択領域画像データ分類部27による分類結果を用いて、別途用意してある参照画像データの絞込みを行った上で、ユーザに提示をする。
分類結果として、カテゴリ内の参照画像データを表示する場合、例えば、分類結果が「髪」であったとすると、システム側は参照画像データベースDBから、「髪」の分類がされているマスクデータを持つ参照画像データを抽出(ピックアップ)し、その参照画像データを選択画面に表示する(S7)。
参照画像表示部29は、選択領域画像データ分類部27による分類結果を用いて、別途用意してある参照画像データの絞込みを行った上で、ユーザに提示をする。
分類結果として、カテゴリ内の参照画像データを表示する場合、例えば、分類結果が「髪」であったとすると、システム側は参照画像データベースDBから、「髪」の分類がされているマスクデータを持つ参照画像データを抽出(ピックアップ)し、その参照画像データを選択画面に表示する(S7)。
参照画像データ・参照マスク選択受付部31は、参照画像表示部29によって表示されている参照画像について、上述したGUI機能を用いてユーザによる選択を受け付ける(S9)。
このとき、ユーザは髪の色データを持つ参照画像データのみを選択する。このため、何もないランダムな参照画像データから選択するという手法よりも、無駄なく「髪」のカテゴリのマスク画像データを持つ参照画像データを閲覧して選択することが可能となる。
この段階において、特定の1画像データを選択した際には、分類結果であるカテゴリとして、システム側ではすでに「髪」が修正対象であることを解っているため、自動的に参照画像データの「髪」と同じカテゴリになっているマスクデータを、参照マスクデータとして読み込んで利用する(S11)。これにより、1手間を減らせることができる。
このとき、ユーザは髪の色データを持つ参照画像データのみを選択する。このため、何もないランダムな参照画像データから選択するという手法よりも、無駄なく「髪」のカテゴリのマスク画像データを持つ参照画像データを閲覧して選択することが可能となる。
この段階において、特定の1画像データを選択した際には、分類結果であるカテゴリとして、システム側ではすでに「髪」が修正対象であることを解っているため、自動的に参照画像データの「髪」と同じカテゴリになっているマスクデータを、参照マスクデータとして読み込んで利用する(S11)。これにより、1手間を減らせることができる。
他の例として、分類結果が「髪」である場合、参照画像データを表示する際に、画像データ全面のサムネールを使うのではなく、参照画像データ中の「髪」が含まれる領域を拡大したサムネールを表示してもよい。
このようにすることで、複数の人物が映っている写真を参照画像データとして用いる場合でも、その中のどの人物の髪の色を好みと感じたのかを指定するのが容易になる。この場合、全体を示した場合、写真指定を行った後に、人物指定を行うという二手間かかるが、「髪」中心の表示をした場合、ダイレクトに人物指定ができる。
色調補正処理部33は、これらの選択処理によって指定された参照画像データ、参照マスクデータを利用して色調補正処理を行う(S13)。例えば非特許文献1に記載されている色彩転写処理が使用できる。詳しくは、非特許文献1には、色相ヒストグラムHを定義しておき、入力画像データの対象領域と目標画像データ(論文では参照画像データ)の対象領域で、色相ヒストグラムHの形状を一致させることにより、色転写を行うという手法の色彩転写処理が記載されている。
なお、本実施形態では、このような色彩転写処理に留まらず、一般的に知られている方法で色調補正処理を行うことが可能である。
次いで、結果出力部35は、色調補正処理部33によって生成された結果を出力する(S15)。
このように、画像データにおける選択領域に基づいて、画像特徴データを抽出しておき、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータを分類することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
このようにすることで、複数の人物が映っている写真を参照画像データとして用いる場合でも、その中のどの人物の髪の色を好みと感じたのかを指定するのが容易になる。この場合、全体を示した場合、写真指定を行った後に、人物指定を行うという二手間かかるが、「髪」中心の表示をした場合、ダイレクトに人物指定ができる。
色調補正処理部33は、これらの選択処理によって指定された参照画像データ、参照マスクデータを利用して色調補正処理を行う(S13)。例えば非特許文献1に記載されている色彩転写処理が使用できる。詳しくは、非特許文献1には、色相ヒストグラムHを定義しておき、入力画像データの対象領域と目標画像データ(論文では参照画像データ)の対象領域で、色相ヒストグラムHの形状を一致させることにより、色転写を行うという手法の色彩転写処理が記載されている。
なお、本実施形態では、このような色彩転写処理に留まらず、一般的に知られている方法で色調補正処理を行うことが可能である。
次いで、結果出力部35は、色調補正処理部33によって生成された結果を出力する(S15)。
このように、画像データにおける選択領域に基づいて、画像特徴データを抽出しておき、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータを分類することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
ここで、図5を参照して、色調補正処理部による色彩転写処理について説明する。図5は色彩転写処理のサブルーチンを示すフローチャートである。
まず、色調補正処理部33は、入力画像データにおける選択領域内の色相ヒストグラムHiを生成する(S22)。次に、色調補正処理部33は、目標画像データにおける対象領域内の色相ヒストグラムHgを生成する(S21)。
次に、色調補正処理部33は、色相ヒストグラムHiの統計データとして平均値、及び分散値を計算する(S23)。次に、色調補正処理部33は、色相ヒストグラムHgの統計データとして平均値、及び分散値を計算する(S24)。
次に、色調補正処理部33は、色相ヒストグラムHiの統計データがHgの統計データと同一になるように変換式を作成する(S25)。次に、色調補正処理部33は、作成した変換式を用いて、入力画像データの選択領域の画素値(色)を変換する(S26)。
まず、色調補正処理部33は、入力画像データにおける選択領域内の色相ヒストグラムHiを生成する(S22)。次に、色調補正処理部33は、目標画像データにおける対象領域内の色相ヒストグラムHgを生成する(S21)。
次に、色調補正処理部33は、色相ヒストグラムHiの統計データとして平均値、及び分散値を計算する(S23)。次に、色調補正処理部33は、色相ヒストグラムHgの統計データとして平均値、及び分散値を計算する(S24)。
次に、色調補正処理部33は、色相ヒストグラムHiの統計データがHgの統計データと同一になるように変換式を作成する(S25)。次に、色調補正処理部33は、作成した変換式を用いて、入力画像データの選択領域の画素値(色)を変換する(S26)。
このように、入力画像データと入力画像データのマスクデータ、参照画像データと参照画像データのマスクデータを使用して行う色調補正処理において、ユーザが選択した選択領域(入力マスクデータ)についての分類を自動で行うことで、参照画像データDBの大量のデータから、その分類結果に一致するカテゴリに属するものを優先的にユーザに提示することで、ランダムに大量のデータを提示したり、手動でカテゴリを設置してそのカテゴリのものを手辞したりするよりも、無駄な参照画像データを閲覧することや、カテゴリ選択の手間をなく、参照画像データを選ぶことができ、しかも参照画像データに付随しているマスクデータも自動選択することができる。
<第2実施形態>
本発明の第2実施形態に係わる画像処理装置は、図1に示す画像処理装置1を用いるものであり、その説明を省略する。
図6を参照して、本発明の第2実施形態に係わる画像処理装置1の動作について説明する。図6は、本発明の第2実施形態に係わる画像処理装置1の動作を表すフローチャートである。
第2実施形態に係る画像処理装置1は、自動分類された結果の使い方が第1実施形態と異なっている。
第2実施形態では、入力画像データに予め選択領域が複数設定されているものを使用する。この場合、事前に複数の選択領域が設定されている状態から開始することとする。
本発明の第2実施形態に係わる画像処理装置は、図1に示す画像処理装置1を用いるものであり、その説明を省略する。
図6を参照して、本発明の第2実施形態に係わる画像処理装置1の動作について説明する。図6は、本発明の第2実施形態に係わる画像処理装置1の動作を表すフローチャートである。
第2実施形態に係る画像処理装置1は、自動分類された結果の使い方が第1実施形態と異なっている。
第2実施形態では、入力画像データに予め選択領域が複数設定されているものを使用する。この場合、事前に複数の選択領域が設定されている状態から開始することとする。
まず、CPU10は、入力画像データを読み込む(S31)。この際、処理番号i=1としてメモリに設定する。
次いで、CPU10は、処理番号iがn(入力マスクデータの数)以下か否かを判断する(S33)。
CPU10は、処理番号iがn以下である場合はステップS35に進み、処理番号iがn以上になった場合はステップS41に進む。CPU10は、処理番号iがn以下である場合は、入力マスクデータを読み込む(S35)。
次いで、CPU10は、入力マスクデータを用いて、入力画像データに含まれる入力マスクデータで選択された領域についての選択領域データを一つずつ読込み、選択領域画像データを作成する(S37)。
そして、CPU10は、その選択領域画像データを自動分類した結果をRAMに設けられたテーブル上に保持しておく(S39)。
次いで、CPU10は、処理番号iをインクリメントし、i=i+1を新たな処理番号iとしてメモリに設定する。本実施形態では、この選択領域画像データの自動分類を選択領域データの数n(マスクデータの数)だけ行う。
次いで、CPU10は、処理番号iがn(入力マスクデータの数)以下か否かを判断する(S33)。
CPU10は、処理番号iがn以下である場合はステップS35に進み、処理番号iがn以上になった場合はステップS41に進む。CPU10は、処理番号iがn以下である場合は、入力マスクデータを読み込む(S35)。
次いで、CPU10は、入力マスクデータを用いて、入力画像データに含まれる入力マスクデータで選択された領域についての選択領域データを一つずつ読込み、選択領域画像データを作成する(S37)。
そして、CPU10は、その選択領域画像データを自動分類した結果をRAMに設けられたテーブル上に保持しておく(S39)。
次いで、CPU10は、処理番号iをインクリメントし、i=i+1を新たな処理番号iとしてメモリに設定する。本実施形態では、この選択領域画像データの自動分類を選択領域データの数n(マスクデータの数)だけ行う。
処理番号iがn以上になった場合、すべての選択領域データにカテゴリが関連付けられ情報がテーブル上に保持されていることになる。
CPU10は、この状態で参照画像データ選択GUI(グラフィックユーザインターフェース)などを表示部14に表示し、表示画面に対するユーザからの参照画像データの選択指示を待つ(S43)。
このときに、第1実施形態の応用例として、入力画像データに付随するマスクデータのカテゴリがすべて入っている参照画像データのみを優先して提示することができる。
CPU10は、参照画像データ選択GUIによりユーザの選択を受け付けたら、そこに付随する参照マスクデータのカテゴリと、入力マスクデータのカテゴリを関連付ける関連付け処理を行う(S45)。
ここで、関連付け処理は、図7に示すように、入力画像データ(a)に対応した入力マスクデータ(c)のカテゴリと参照画像データ(b)に対応したマスクデータ(d)のカテゴリが一致するものを関連付けたペアのデータをRAM上のテーブルに作成しておく。
すなわち、本実施形態では、マスクデータの分類結果に基づいて、参照画像データの少なくとも1部の領域を選択するための第1のマスクデータと、入力画像データの少なくとも1部の領域を選択するための第2のマスクデータとが同一のカテゴリである場合に、第1のマスクデータと第2のマスクデータとを関連付けする。
CPU10は、この状態で参照画像データ選択GUI(グラフィックユーザインターフェース)などを表示部14に表示し、表示画面に対するユーザからの参照画像データの選択指示を待つ(S43)。
このときに、第1実施形態の応用例として、入力画像データに付随するマスクデータのカテゴリがすべて入っている参照画像データのみを優先して提示することができる。
CPU10は、参照画像データ選択GUIによりユーザの選択を受け付けたら、そこに付随する参照マスクデータのカテゴリと、入力マスクデータのカテゴリを関連付ける関連付け処理を行う(S45)。
ここで、関連付け処理は、図7に示すように、入力画像データ(a)に対応した入力マスクデータ(c)のカテゴリと参照画像データ(b)に対応したマスクデータ(d)のカテゴリが一致するものを関連付けたペアのデータをRAM上のテーブルに作成しておく。
すなわち、本実施形態では、マスクデータの分類結果に基づいて、参照画像データの少なくとも1部の領域を選択するための第1のマスクデータと、入力画像データの少なくとも1部の領域を選択するための第2のマスクデータとが同一のカテゴリである場合に、第1のマスクデータと第2のマスクデータとを関連付けする。
次いで、CPU10は、色調補正処理をマスク数分だけ繰り返して行う(S47)。
次いで、CPU10は、色調補正処理により得られた結果の画像データを出力(S49)して終了する。
次いで、CPU10は、色調補正処理により得られた結果の画像データを出力(S49)して終了する。
このように、参照画像データの複数のマスクデータと、入力画像データの複数のマスクデータを自動的に関連付けすることができるため、従来の手動で行う操作に比べて非常に容易に参照画像データから選択領域の画像データを取得することができる。このため、一度に複数領域(マスク)の色彩転写処理を容易に行うことができる。
また、画像データは、色彩転写処理に用いる色彩データの参照対象となる参照画像データ、又は/及び、色彩データの転写対象となる入力画像データ、であることで、参照画像データ又は/及び、入力画像データの少なくとも1部の領域を選択するためのマスクデータを分類する際の操作負荷を軽減することができる。
さらに、カテゴリを分類した後の入力画像データのマスクデータと参照画像データのマスクデータとを関連付けすることで、更に操作負荷を軽減することができる。
また、画像データは、色彩転写処理に用いる色彩データの参照対象となる参照画像データ、又は/及び、色彩データの転写対象となる入力画像データ、であることで、参照画像データ又は/及び、入力画像データの少なくとも1部の領域を選択するためのマスクデータを分類する際の操作負荷を軽減することができる。
さらに、カテゴリを分類した後の入力画像データのマスクデータと参照画像データのマスクデータとを関連付けすることで、更に操作負荷を軽減することができる。
<第3実施形態>
本発明の第3実施形態に係わる画像処理装置は、図1に示す画像処理装置1を用いるものであり、その説明を省略する。
図8を参照して、本発明の第3実施形態に係わる画像処理装置1の動作について説明する。図8は、本発明の第3実施形態に係わる画像処理装置1の動作を表すフローチャートである。
本発明の第3実施形態に係わる画像処理装置は、図1に示す画像処理装置1を用いるものであり、その説明を省略する。
図8を参照して、本発明の第3実施形態に係わる画像処理装置1の動作について説明する。図8は、本発明の第3実施形態に係わる画像処理装置1の動作を表すフローチャートである。
まず、CPU10は、スキャナ部11、カメラ部17、ネットワークNなどの何れか1つから入力画像データを取得する(S51)。
次いで、入力データに対して処理を行うための対象領域を設定する(S53)。
この対象領域(=選択領域)は、入力画像データを読み込んだ後にユーザの手で作成する形態を1つの実施例として想定しているが、マスクデータという形で予め作成しておいたものを読み込むタイプにも対応できる。Adobe Photoshop(登録商標)などの画像処理ソフトなどでは、マスクデータなどを元画像データと合わせて、そのまま保存できるファイル形式を利用できる。
CPU10は、入力画像データと、処理対象領域を示すためのマスクデータを利用して、仮想的に選択領域画像データを作成する(S55)。
次いで、入力データに対して処理を行うための対象領域を設定する(S53)。
この対象領域(=選択領域)は、入力画像データを読み込んだ後にユーザの手で作成する形態を1つの実施例として想定しているが、マスクデータという形で予め作成しておいたものを読み込むタイプにも対応できる。Adobe Photoshop(登録商標)などの画像処理ソフトなどでは、マスクデータなどを元画像データと合わせて、そのまま保存できるファイル形式を利用できる。
CPU10は、入力画像データと、処理対象領域を示すためのマスクデータを利用して、仮想的に選択領域画像データを作成する(S55)。
これまで説明してきたとおり、入力マスクデータは本発明の処理に入る前にユーザが手動あるいは自動で作成してもよいし、すでに作られている入力マスクデータを読み込むことをしてもよい。
第3実施形態では、図4に示すように、この入力画像データ(a)と入力マスクデータ(b)とに基づいて、仮想的な選択領域画像データ(c)を作成する。
ここで、仮想的な選択領域画像データ(c)としたのは、入力画像データ(a)と入力マスクデータ(b)との位置座標は一致しているため、実際に選択領域画像データ(c)という物理的な画像データを作るだけでなく、入力マスクデータ(b)の選択領域内に限定して入力画像データ(b)を抽出することで、選択領域画像データ(c)を作成しなくても同様の処理が可能である。ここで、CPU10は、選択領域内部の色データを抽出する(S57)。
第3実施形態では、図4に示すように、この入力画像データ(a)と入力マスクデータ(b)とに基づいて、仮想的な選択領域画像データ(c)を作成する。
ここで、仮想的な選択領域画像データ(c)としたのは、入力画像データ(a)と入力マスクデータ(b)との位置座標は一致しているため、実際に選択領域画像データ(c)という物理的な画像データを作るだけでなく、入力マスクデータ(b)の選択領域内に限定して入力画像データ(b)を抽出することで、選択領域画像データ(c)を作成しなくても同様の処理が可能である。ここで、CPU10は、選択領域内部の色データを抽出する(S57)。
さらに、第3実施形態では、図9に示すように、この入力画像データ(a)と入力マスクデータ(b)、反転マスクデータ(b‘)、仮想的な選択領域外部画像データ(c)を参照する。
CPU10は、入力マスクデータ(b)を白黒反転させた反転マスクデータ(b‘)と、入力画像データ(a)とで上記処理と同じ処理を行うことで、選択領域外部画像データを作成する(S59)。このデータを仮想的な選択領域外部画像データ(図9(c))と呼ぶ。
CPU10は、入力マスクデータ(b)を白黒反転させた反転マスクデータ(b‘)と、入力画像データ(a)とで上記処理と同じ処理を行うことで、選択領域外部画像データを作成する(S59)。このデータを仮想的な選択領域外部画像データ(図9(c))と呼ぶ。
次いで、CPU10は、選択領域外部画像データを抽出するための準備ができたら、それぞれの選択領域外部画像データから色特徴を抽出する(S61)。
ここで、色特徴とは、例えば平均色、輝度分布、何色あるか、といった情報である。ここで、選択領域外部画像データを扱う場合は、この画像データの全面を処理することも考えられるが、選択領域に近接している領域のみを使うという手法もとれる。なお、選択領域に近接するか否かの判断は選択領域(境界)から鉛直方向に一定距離離れているところまでとする方法や、選択領域の外接矩形から一定距離を離れている方法などの手法も選べる。
例えば顔の部位である唇や目、眉などはその周囲に肌色があるという傾向が強く、選択領域の周囲、つまり選択領域外部の境界付近の色データは十分に色特徴になり得る。
ここで、色特徴とは、例えば平均色、輝度分布、何色あるか、といった情報である。ここで、選択領域外部画像データを扱う場合は、この画像データの全面を処理することも考えられるが、選択領域に近接している領域のみを使うという手法もとれる。なお、選択領域に近接するか否かの判断は選択領域(境界)から鉛直方向に一定距離離れているところまでとする方法や、選択領域の外接矩形から一定距離を離れている方法などの手法も選べる。
例えば顔の部位である唇や目、眉などはその周囲に肌色があるという傾向が強く、選択領域の周囲、つまり選択領域外部の境界付近の色データは十分に色特徴になり得る。
次いで、CPU10は、選択領域画像データから外形特徴を抽出する(S63)。
ここで、入力画像データと選択領域の情報とに基づいて、選択領域の「周囲」とみなす領域の外形特徴を特定する。特定の方法としては例えば次の方法が使用できる。
[1]選択領域の境界を定める。選択領域と非選択が二値で表される場合はそのまま境界として使用できるし、もしも選択領域と選択領域外部の確率を濃度で示している場合には、0〜255の範囲の画素値であれば中間値の128を閾値として使用するなどの方法で、境界を確立させる。
[2]選択領域の境界領域の法線方向に一定の距離Dだけ離れているところを周囲領域の境界と考え、選択領域を1週することで、境界の領域が定まる。
[3]選択領域の内部に選択領域外部が(穴のように)含まれている場合は、その領域も周囲領域に含める。
[4]周囲領域として計算された座標値が入力画像データの外側にある場合には、画像データから外側にはみ出した部分は周囲領域には含めない。
[2]における一定の距離Dには、入力画像データのサイズに対して1/Xという値を用いる(Xの値は実験から決めた定数)ものとする。
ここで、入力画像データと選択領域の情報とに基づいて、選択領域の「周囲」とみなす領域の外形特徴を特定する。特定の方法としては例えば次の方法が使用できる。
[1]選択領域の境界を定める。選択領域と非選択が二値で表される場合はそのまま境界として使用できるし、もしも選択領域と選択領域外部の確率を濃度で示している場合には、0〜255の範囲の画素値であれば中間値の128を閾値として使用するなどの方法で、境界を確立させる。
[2]選択領域の境界領域の法線方向に一定の距離Dだけ離れているところを周囲領域の境界と考え、選択領域を1週することで、境界の領域が定まる。
[3]選択領域の内部に選択領域外部が(穴のように)含まれている場合は、その領域も周囲領域に含める。
[4]周囲領域として計算された座標値が入力画像データの外側にある場合には、画像データから外側にはみ出した部分は周囲領域には含めない。
[2]における一定の距離Dには、入力画像データのサイズに対して1/Xという値を用いる(Xの値は実験から決めた定数)ものとする。
この他に、この一定の距離Dには選択領域の面積の平方根、あるいは選択領域を囲む最小矩形サイズ(縦、横)のうち、大きい方の1/4という決め方もある。
この決め方では、入力画像データに対する選択領域の大きさに応じてパラメータを切り替える方法となるため、選択領域が小さければ小さい領域を、選択領域が大きければ大きい領域を周囲領域とする。
選択領域の内部の色クラスタリングの情報は、分類するのに有効な情報となる。
例えば人の肌の色分布は、モデル化することができ、そのモデルと測定した色分布の特徴量の距離を用いて、「肌らしい/肌らしくない」という判断を行うことが可能である。
同様に、オブジェクト抽出のときに、そのオブジェクトの背景となるものがある程度固定化されているもの、例えば、上述した唇、目、眉などの部位は、その対象の外側に肌があるという情報を利用できるため、選択領域外部の色データも、選択領域内の画像データを判断する情報となり得る。
この決め方では、入力画像データに対する選択領域の大きさに応じてパラメータを切り替える方法となるため、選択領域が小さければ小さい領域を、選択領域が大きければ大きい領域を周囲領域とする。
選択領域の内部の色クラスタリングの情報は、分類するのに有効な情報となる。
例えば人の肌の色分布は、モデル化することができ、そのモデルと測定した色分布の特徴量の距離を用いて、「肌らしい/肌らしくない」という判断を行うことが可能である。
同様に、オブジェクト抽出のときに、そのオブジェクトの背景となるものがある程度固定化されているもの、例えば、上述した唇、目、眉などの部位は、その対象の外側に肌があるという情報を利用できるため、選択領域外部の色データも、選択領域内の画像データを判断する情報となり得る。
本発明では、それらに加えて、外形特徴として選択領域の外形情報を使用することができる。
本発明におけるマスク画像データは、切り出し画像データとして用いるため、誤検出が存在しないとまでは断言できないが、少なくとも主に扱いたいオブジェクトは含まれており、境界部分に多少余計なデータが入っている程度の状態を想定している。この状態を想定している理由は、一般的な画像データの修正処理(レタッチ処理)を行う場合、このような選択領域を作って画像処理をした後、周囲との境界をぼかして全体としてなじませるという手法を使用することが多いからである。
このため、マスク領域から、主選択領域を明確に確定する前処理が必要な場合もある。この場合の前処理に適している処理の1つとして、グラフカット処理(グラフ構造のエネルギー最小化のアルゴリズム)である。
グラフカット処理については、特許文献4に、オブジェクトを枠で囲んだ情報を初期情報として内側の画素分布モデルと外側の画素分布モデルを作成し、モデル間のグラフ構造のエネルギー最小化のアルゴリズムを使うことで、前景つまり、対象のオブジェクトを分割する技術が開示されている。この手法を用いることで、多少の背景部分が前景部分に入っていたとしても影響を最小限に抑えることができる。
本発明におけるマスク画像データは、切り出し画像データとして用いるため、誤検出が存在しないとまでは断言できないが、少なくとも主に扱いたいオブジェクトは含まれており、境界部分に多少余計なデータが入っている程度の状態を想定している。この状態を想定している理由は、一般的な画像データの修正処理(レタッチ処理)を行う場合、このような選択領域を作って画像処理をした後、周囲との境界をぼかして全体としてなじませるという手法を使用することが多いからである。
このため、マスク領域から、主選択領域を明確に確定する前処理が必要な場合もある。この場合の前処理に適している処理の1つとして、グラフカット処理(グラフ構造のエネルギー最小化のアルゴリズム)である。
グラフカット処理については、特許文献4に、オブジェクトを枠で囲んだ情報を初期情報として内側の画素分布モデルと外側の画素分布モデルを作成し、モデル間のグラフ構造のエネルギー最小化のアルゴリズムを使うことで、前景つまり、対象のオブジェクトを分割する技術が開示されている。この手法を用いることで、多少の背景部分が前景部分に入っていたとしても影響を最小限に抑えることができる。
対象となるオブジェクトを明確に切り出した選択領域、あるいは上記グラフカット処理を用いて対象オブジェクトを抽出した選択領域は、誤検出の量が少ない状態になっていると考えられる。
その境界と考える成分(ほぼ輪郭と言える)を追跡することで、対象オブジェクトの形状がわかる。対象オブジェクトの形状がわかると、例えば、縦横比、まるいのか、多角形なのか、トポロジーがどうなのか、といった情報を抽出することができる。これらの情報を人手によるルールベース特徴、あるいは機械学習によって事前に特徴付けられた特徴と比較することで、選択領域のカテゴリを識別することができる。
その境界と考える成分(ほぼ輪郭と言える)を追跡することで、対象オブジェクトの形状がわかる。対象オブジェクトの形状がわかると、例えば、縦横比、まるいのか、多角形なのか、トポロジーがどうなのか、といった情報を抽出することができる。これらの情報を人手によるルールベース特徴、あるいは機械学習によって事前に特徴付けられた特徴と比較することで、選択領域のカテゴリを識別することができる。
次いで、ステップS65では、CPU10(選択領域画像データ分類部27)は、選択領域の色特徴データと、各カテゴリの色特徴データとのパターンマッチング処理を行い、類似度を算出する。
同様に、選択領域画像データ分類部27は、選択領域外部の色特徴データと、各カテゴリの色特徴データとのパターンマッチング処理を行い、類似度を算出する。
さらに、選択領域画像データ分類部27は、選択領域の外形特徴データと、各カテゴリの外形特徴データとのパターンマッチング処理を行い、類似度を算出する。
選択領域画像データ分類部27は、この結果として得られた、選択領域の色特徴データの類似度、選択領域外部の色特徴データの類似度、選択領域の外形特徴データの類似度をRAM上の処理テーブル(表2)に記憶する。
同様に、選択領域画像データ分類部27は、選択領域外部の色特徴データと、各カテゴリの色特徴データとのパターンマッチング処理を行い、類似度を算出する。
さらに、選択領域画像データ分類部27は、選択領域の外形特徴データと、各カテゴリの外形特徴データとのパターンマッチング処理を行い、類似度を算出する。
選択領域画像データ分類部27は、この結果として得られた、選択領域の色特徴データの類似度、選択領域外部の色特徴データの類似度、選択領域の外形特徴データの類似度をRAM上の処理テーブル(表2)に記憶する。
このように、選択領域の外形形状データと、カテゴリに係る特徴量データとをマッチングさせて、当該マッチングに係る類似度を算出することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
次いで、CPU10(選択領域画像データ分類部27)は、各特徴データの類似度とカテゴリとの組に対して、ソート処理、及び評価処理を行う(S67)。例えば、選択領域の色特徴データの類似度%とカテゴリとの組に対して、類似度%が高い順になるようにソート処理を行う。同様に、選択領域外部の色特徴データの類似度%とカテゴリとの組、選択領域の外形特徴データの類似度%とカテゴリとの組に対して、それぞれに類似度%が高い順になるようにソート処理を行う。この結果、各特徴データの類似度%が高い順にカテゴリもソートされるので、最も類似度が高いカテゴリが3種類とも同一の場合に最大評価となり、次に、最も類似度が高いカテゴリの3種類のうち2種類が同一の場合に中評価となる。
この結果、最大評価又は中評価となったカテゴリを、当該入力画像データに対して設定したマスク領域が属するカテゴリとして分類することができる。
次いで、CPU10は、色調補正処理により得られた結果の画像データを出力(S69)して終了する。
この結果、最大評価又は中評価となったカテゴリを、当該入力画像データに対して設定したマスク領域が属するカテゴリとして分類することができる。
次いで、CPU10は、色調補正処理により得られた結果の画像データを出力(S69)して終了する。
このように、画像特徴データとして、画像データにおける選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、及び画像データ全体の色データを抽出することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
また、画像データにおける選択領域に基づいて、画像特徴データを抽出しておき、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータを分類することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
また、画像データにおける選択領域に基づいて、画像特徴データを抽出しておき、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータを分類することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
<第4実施形態>
第4実施形態では、マスクデータ(切り出し画像データ)から特徴量抽出処理を行う点について説明する。
ここで、図10を参照して、特徴量抽出処理について概略的に説明する。
図10(a)は十字形状の画像データとその特徴点を示し、(b)は楕円形状の画像データとその特徴点を示し、(c)は特徴点の詳細な画素データを示す図である。
図10(a)(b)には、対象点Pa1〜Pa12、Pb1〜Pb12に明度が変化する箇所を表すエッジ部が存在する。このような対象点付近から延びるエッジが2本以上あり、その2つのエッジで表す2本の直線が同一直線上にない場合に、このような部分がある対象点Pを特徴点とする。本実施形態では、図10(c)に示すように、白画素〜黒画素までの中間値も当然あるため、中間値による影響を考慮している。
第4実施形態では、マスクデータ(切り出し画像データ)から特徴量抽出処理を行う点について説明する。
ここで、図10を参照して、特徴量抽出処理について概略的に説明する。
図10(a)は十字形状の画像データとその特徴点を示し、(b)は楕円形状の画像データとその特徴点を示し、(c)は特徴点の詳細な画素データを示す図である。
図10(a)(b)には、対象点Pa1〜Pa12、Pb1〜Pb12に明度が変化する箇所を表すエッジ部が存在する。このような対象点付近から延びるエッジが2本以上あり、その2つのエッジで表す2本の直線が同一直線上にない場合に、このような部分がある対象点Pを特徴点とする。本実施形態では、図10(c)に示すように、白画素〜黒画素までの中間値も当然あるため、中間値による影響を考慮している。
非特許文献2において、まず、図10に示すように、マスクデータの特徴点の部分の周辺パターンを例えばBOF(bag of features)という手法を用いてベクトル化(特徴点記述という)する。こうしてできたベクトルデータ(これを特徴量とする)は、非特許文献2の61ページに示すような数値の集合(又は行列)で表すことができる。数値の集合体の傾向性により形状を把握することができる。
これとは別の方法として、マスクデータに対してエッジ強調を行った結果として得られる線データを抽出する方法がある。非特許文献2の10ページ目にエッジ強調に関する概念図に示してある。
非特許文献2に示すように、形状の特徴をMean Shift法によって数値化する。その数値の集合体の傾向性で形状を把握することができる。数値データについては、非特許文献3の3ページ目以降に数値例が示されている。Mean Shift法とは、画素の座標値プラス色やその他の特徴を組み合わせた特徴空間で(ガウス関数等の)重み付平均を繰り返し適用し、特徴空間の同じ箇所に集まってきた(収束した)画素を同じ領域とする方法である。
非特許文献2に示すように、形状の特徴をMean Shift法によって数値化する。その数値の集合体の傾向性で形状を把握することができる。数値データについては、非特許文献3の3ページ目以降に数値例が示されている。Mean Shift法とは、画素の座標値プラス色やその他の特徴を組み合わせた特徴空間で(ガウス関数等の)重み付平均を繰り返し適用し、特徴空間の同じ箇所に集まってきた(収束した)画素を同じ領域とする方法である。
非特許文献4に示すように、テンプレートマッチングという方法で特徴量を抽出する方法がある。テンプレートはマスクパターンとして用意し、これらのマスクパターンと実際の画像データとの一致度合を計算しながら比較する。この計算値がエッジの強度であり、エッジの強度が有する傾向で形状を把握することができる。
なお、特徴量抽出については、画像データを入力しておき、マスクデータの形状からその特徴量を抽出する手法であれば適用できる。以上の特徴量抽出処理によって得られた値に対応した分類値を代入する。
特徴量から分類値を設定するための処理としては、テンプレートデータ(特定の形状を数値化したデータ)と比較対象画像データ(ここでは特徴量を数値化したマスクデータ)を重ね合わせ、その差異を算出してその差異値の範囲によって分類値を設定してもよい。
なお、特徴量抽出については、画像データを入力しておき、マスクデータの形状からその特徴量を抽出する手法であれば適用できる。以上の特徴量抽出処理によって得られた値に対応した分類値を代入する。
特徴量から分類値を設定するための処理としては、テンプレートデータ(特定の形状を数値化したデータ)と比較対象画像データ(ここでは特徴量を数値化したマスクデータ)を重ね合わせ、その差異を算出してその差異値の範囲によって分類値を設定してもよい。
マスク画像データは、切り出し画像データとして用いるため、誤検出が存在しない切り出し画像データであり、切り出し処理では誤検出が常に付きまとうものである。このため、最初(多値画像データ)から二値化/多値マスクデータ(ex.8bit 256階調グレースケール)して切り出し画像データを取得するというステップは不要である。
また、上述したGUI機能を用いて手動で作成したマスクデータの場合、顔肌のつもりが背景部分を切ったものになっていたりするなど、間違ったマスクデータになることはあり得えない。すなわち、マスクデータだけで判断すると、マスク部分の精度がある程度保証されているものとみなせるため、後述する特徴量抽出処理でもある程度精度が高まることが期待できる。
また、上述したGUI機能を用いて手動で作成したマスクデータの場合、顔肌のつもりが背景部分を切ったものになっていたりするなど、間違ったマスクデータになることはあり得えない。すなわち、マスクデータだけで判断すると、マスク部分の精度がある程度保証されているものとみなせるため、後述する特徴量抽出処理でもある程度精度が高まることが期待できる。
<第5実施形態>
図11は本発明の第5実施形態に係る画像処理装置100に適用可能な機能ブロックを示す図である。
画像処理装置100は、機能ブロックとして、入力画像データ取得部122、入力マスクデータ取得部123、参照画像データ取得部124、参照マスクデータ取得部125、特徴量抽出処理部126、マスクデータ分類設定部129、データ出力部130、データ入力部131を備えている。
入力画像データ取得部122は、スキャナ部11、外部記憶部12、表示部14、操作部15、カメラ部17、通信制御部18、ネットワークNにより構成されている。
図11は本発明の第5実施形態に係る画像処理装置100に適用可能な機能ブロックを示す図である。
画像処理装置100は、機能ブロックとして、入力画像データ取得部122、入力マスクデータ取得部123、参照画像データ取得部124、参照マスクデータ取得部125、特徴量抽出処理部126、マスクデータ分類設定部129、データ出力部130、データ入力部131を備えている。
入力画像データ取得部122は、スキャナ部11、外部記憶部12、表示部14、操作部15、カメラ部17、通信制御部18、ネットワークNにより構成されている。
入力画像データ取得部122は、操作部15を介して入力されたユーザ操作に基づいて、スキャナ部11、又はカメラ部17を用いて撮影した大量の画像データを画像メモリ部13に取得する。また入力画像データ取得部122は、操作部15を介して入力されたユーザ操作に基づいて、外部記憶部12、ディスク19、記憶装置20、ネットワークN(クラウドシステム)などを用いて大量の画像データを画像メモリ部13に取得する。
入力マスクデータ取得部123は、画像データの少なくとも1つの領域をマスクするための形状データを含むマスクデータを取得する。
なお、入力マスクデータ取得部123、参照画像データ取得部124、及び参照マスクデータ取得部125は、夫々に入力画像データ取得部122と同様に構成されているので、その説明を省略する。
入力マスクデータ取得部123は、画像データの少なくとも1つの領域をマスクするための形状データを含むマスクデータを取得する。
なお、入力マスクデータ取得部123、参照画像データ取得部124、及び参照マスクデータ取得部125は、夫々に入力画像データ取得部122と同様に構成されているので、その説明を省略する。
特徴量抽出処理部126は、CPU10、画像メモリ部13、表示部14、操作部15、画像処理部16により構成され、入力画像データ取得部122、入力マスクデータ取得部123、参照画像データ取得部124、参照マスクデータ取得部125によって取得された入力画像データ、入力マスクデータ、参照画像データ、及び参照マスクデータに対して、夫々に固有な形状の特徴量を抽出して数値化する。
マスクデータ分類設定部129は、CPU10、画像メモリ部13、表示部14、操作部15、画像処理部16により構成され、特徴量抽出処理部126によって抽出された特徴量データに基づいて、マスクデータの分類データをカテゴリとして設定する。
マスクデータ分類設定部129は、マスクデータに係る形状データに基づいてマスクデータに対して、1つの分類データを付与する。マスクデータ分類設定部129は、特徴量データを用いてマスクデータを分類する。特徴量データ、特徴量データのうちの代表的な特徴量データを複数組み合わせて分類する。
マスクデータ分類設定部129は、CPU10、画像メモリ部13、表示部14、操作部15、画像処理部16により構成され、特徴量抽出処理部126によって抽出された特徴量データに基づいて、マスクデータの分類データをカテゴリとして設定する。
マスクデータ分類設定部129は、マスクデータに係る形状データに基づいてマスクデータに対して、1つの分類データを付与する。マスクデータ分類設定部129は、特徴量データを用いてマスクデータを分類する。特徴量データ、特徴量データのうちの代表的な特徴量データを複数組み合わせて分類する。
マスクデータ分類設定部129は、形状認識処理部127により認識された特徴量データに対して、形状データベース20aから取得したある形状の特徴量データとマッチングさせて、当該マッチングに係る一致度が一定値以上である場合に、固有の分類データをマスクデータに設定する。
データ出力部130は、スキャナ部11、外部記憶部12、表示部14、操作部15、カメラ部17、通信制御部18、ネットワークNにより構成され、マスクデータ分類設定部129によって設定されたカテゴリと、画像データ又は/及びマスクデータを出力する。
データ入力部131は、外部記憶部12、記憶装置20により構成され、学習フェーズで作成したk個の代表局所特徴量を外部記憶部12から読み込む。
データ出力部130は、スキャナ部11、外部記憶部12、表示部14、操作部15、カメラ部17、通信制御部18、ネットワークNにより構成され、マスクデータ分類設定部129によって設定されたカテゴリと、画像データ又は/及びマスクデータを出力する。
データ入力部131は、外部記憶部12、記憶装置20により構成され、学習フェーズで作成したk個の代表局所特徴量を外部記憶部12から読み込む。
なお、特徴量抽出処理部126は、形状認識処理部127を有している。形状認識処理部127は、マスクデータに基づいて形状の特徴量を数値化することで、マスクデータに係る形状データについての特徴量データを認識する。
このように、マスクデータの形状を表す特徴量データを用いてマスクデータを分類することができ、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
外形形状データは、特徴量データ、特徴量データのうちの代表的な特徴量データを複数組み合わせて構成されることを特徴とする。
これにより、特徴量データ、特徴量データのうちの代表的な特徴量データを複数組み合わせて、マスクデータを分類することができ、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
このように、マスクデータの形状を表す特徴量データを用いてマスクデータを分類することができ、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
外形形状データは、特徴量データ、特徴量データのうちの代表的な特徴量データを複数組み合わせて構成されることを特徴とする。
これにより、特徴量データ、特徴量データのうちの代表的な特徴量データを複数組み合わせて、マスクデータを分類することができ、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
形状認識処理部127は、特徴ベクトル化部128を有する。
特徴ベクトル化部128は、画像データから該画像データの検出対象となる領域の特徴となる1つの特徴ベクトルを算出する。詳しくは、特徴ベクトル化部128は、局所特徴量算出部128a、代表局所特徴量作成部128b、最近傍代表局所特徴量選択部128c、差分ベクトル和算出部128d、差分ベクトル正規化部128eを備えている。
局所特徴量算出部128aは、一般的によく知られているSURF法(SURF:Speeded-Up Robust Features)やSIFT法(SIFT:Scale Invariant Feature Transformation)などを用いて、画像データから代表される局所特徴量を算出する。
特徴ベクトル化部128は、画像データから該画像データの検出対象となる領域の特徴となる1つの特徴ベクトルを算出する。詳しくは、特徴ベクトル化部128は、局所特徴量算出部128a、代表局所特徴量作成部128b、最近傍代表局所特徴量選択部128c、差分ベクトル和算出部128d、差分ベクトル正規化部128eを備えている。
局所特徴量算出部128aは、一般的によく知られているSURF法(SURF:Speeded-Up Robust Features)やSIFT法(SIFT:Scale Invariant Feature Transformation)などを用いて、画像データから代表される局所特徴量を算出する。
ここでは、スケール不変特徴変換(SIFT:Scale Invariant Feature Transformation)法を用いて特徴点抽出及び特徴量抽出を行なう際の方法について説明する。
この特徴点抽出処理においては、まず、画像データに含まれるノイズを取り除き、安定した特徴点を得るために、画像データにガウスフィルタを適用して平均化処理を行う。そして、ある周波数以上の成分をカットする処理を行う。また、ガウスフィルタを適用した画像データの二次微分を算出し、その極値を特徴点候補とする。さらに、ノイズに由来する特徴点を取り除くために、極値の絶対値が所定の閾値以上の点のみを特徴点として採用する。なお、特徴点候補を得るために二次微分を算出しているのは、均一な領域ではなく、変化があるエッジ部を画像データから抽出するためである。また、撮影において斜めから光源照射がなされたときにおいて、一定の傾きで変化する領域が画像データに生ずることがあるが、このような領域を特徴点候補としないためである。二次微分の算出は、具体的には、静脈画像データとガウス導関数の畳み込み積分により行われる。また、これにより特徴点の位置座標が取得される。
この特徴点抽出処理においては、まず、画像データに含まれるノイズを取り除き、安定した特徴点を得るために、画像データにガウスフィルタを適用して平均化処理を行う。そして、ある周波数以上の成分をカットする処理を行う。また、ガウスフィルタを適用した画像データの二次微分を算出し、その極値を特徴点候補とする。さらに、ノイズに由来する特徴点を取り除くために、極値の絶対値が所定の閾値以上の点のみを特徴点として採用する。なお、特徴点候補を得るために二次微分を算出しているのは、均一な領域ではなく、変化があるエッジ部を画像データから抽出するためである。また、撮影において斜めから光源照射がなされたときにおいて、一定の傾きで変化する領域が画像データに生ずることがあるが、このような領域を特徴点候補としないためである。二次微分の算出は、具体的には、静脈画像データとガウス導関数の畳み込み積分により行われる。また、これにより特徴点の位置座標が取得される。
代表局所特徴量作成部128bは、算出された局所特徴量からk個の代表局所特徴量を作成する部分であり、作成方法としては、例えば、局所特徴量からK−means法で作成してもよいし、より計算量を減らすためにランダムにk個選択するという方法でもよい。
最近傍代表局所特徴量選択部128cは、処理対象となる1個の局所特徴量に最も近い代表局所特徴量を選択するものである。
差分ベクトル和算出部128dは、選択された代表局所特徴量と局所特徴量との差分ベクトルを求め、その差分ベクトルの代表局所特徴量毎の和として差分ベクトル和を求める。
差分ベクトル正規化部128eは、差分ベクトル和を当該差分ベクトル和の長さで割って正規化し、正規化差分ベクトル和を出力する。
最近傍代表局所特徴量選択部128cは、処理対象となる1個の局所特徴量に最も近い代表局所特徴量を選択するものである。
差分ベクトル和算出部128dは、選択された代表局所特徴量と局所特徴量との差分ベクトルを求め、その差分ベクトルの代表局所特徴量毎の和として差分ベクトル和を求める。
差分ベクトル正規化部128eは、差分ベクトル和を当該差分ベクトル和の長さで割って正規化し、正規化差分ベクトル和を出力する。
以下、図12、図13を参照して、画像データのマスクデータに対応した画像データ部分のデータから特徴量を抽出するための限定的な領域、そして特徴量を抽出するための詳細について説明する。
まず、図12を参照して、本発明の実施例1の局所特徴量から特徴量を抽出する処理(学習フェーズ)の流れについて説明する。図12は、局所特徴量から特徴量を抽出する処理(学習フェーズ)のフローチャートである。
この学習フェーズは、色彩転写処理の実施に先立って、色彩転写処理に用いるマスクデータに係わる形状データベース120aを作成するためにある。
まず、局所特徴量算出部128aは、すべての訓練画像データについて画像データごとに複数の局所領域における局所特徴量を算出する(S101)。なお、ここの訓練画像データは、画像データのマスクデータに対応した画像データ部分のデータを指している。局所特徴量としては、例えばSURFやSIFT等が利用できる。
まず、図12を参照して、本発明の実施例1の局所特徴量から特徴量を抽出する処理(学習フェーズ)の流れについて説明する。図12は、局所特徴量から特徴量を抽出する処理(学習フェーズ)のフローチャートである。
この学習フェーズは、色彩転写処理の実施に先立って、色彩転写処理に用いるマスクデータに係わる形状データベース120aを作成するためにある。
まず、局所特徴量算出部128aは、すべての訓練画像データについて画像データごとに複数の局所領域における局所特徴量を算出する(S101)。なお、ここの訓練画像データは、画像データのマスクデータに対応した画像データ部分のデータを指している。局所特徴量としては、例えばSURFやSIFT等が利用できる。
次いで、代表局所特徴量作成部128bは、算出された局所特徴量からk個の代表局所特徴量を作成する(S102)。なお、代表局所特徴量作成部128bにおける代表局所特徴量の作成方法としては、例えば、局所特徴量からK−means法で作成してもよいし、より計算量を減らすためにランダムにk個選択するという方法でもよい。
次いで、各訓練画像データに対して、以下の処理を行う。差分ベクトル和算出部128dは、代表局所特徴量毎の差分ベクトル和を0に初期化しておく(S103)。
処理対象の1枚の画像データに含まれる各局所特徴量について以下の処理を行う(S104)。
次いで、各訓練画像データに対して、以下の処理を行う。差分ベクトル和算出部128dは、代表局所特徴量毎の差分ベクトル和を0に初期化しておく(S103)。
処理対象の1枚の画像データに含まれる各局所特徴量について以下の処理を行う(S104)。
最近傍代表局所特徴量選択部128cは、処理対象となる1個の局所特徴量に最も近い代表局所特徴量を選択する(S105)。
差分ベクトル和算出部128dは、選択された代表局所特徴量と局所特徴量と差分ベクトルを求める(ステップS106)。
差分ベクトル和算出部128dは、差分ベクトルを代表局所特徴量毎の和に加える(S107)。
処理対象画像データに含まれる全ての局所特徴量について処理が完了したかを判定し、まだ処理すべき局所特徴量が残っていればステップS104に戻って処理を続行し、完了していればステップS109に進む(S108)。
差分ベクトル正規化部128eは、差分ベクトル和をその長さで割って正規化する(S109)。
特徴ベクトル化部128は、各代表局所特徴量に対する正規化された差分ベクトル和を並べて対象画像データの1個の特徴ベクトルとする(S110)。
全ての訓練画像データについて処理が完了したかを判定し、まだ処理すべき画像データが残っていればステップS103に戻って処理を続行し、完了していれば特徴ベクトル化の処理を終了する(S111)。
差分ベクトル和算出部128dは、選択された代表局所特徴量と局所特徴量と差分ベクトルを求める(ステップS106)。
差分ベクトル和算出部128dは、差分ベクトルを代表局所特徴量毎の和に加える(S107)。
処理対象画像データに含まれる全ての局所特徴量について処理が完了したかを判定し、まだ処理すべき局所特徴量が残っていればステップS104に戻って処理を続行し、完了していればステップS109に進む(S108)。
差分ベクトル正規化部128eは、差分ベクトル和をその長さで割って正規化する(S109)。
特徴ベクトル化部128は、各代表局所特徴量に対する正規化された差分ベクトル和を並べて対象画像データの1個の特徴ベクトルとする(S110)。
全ての訓練画像データについて処理が完了したかを判定し、まだ処理すべき画像データが残っていればステップS103に戻って処理を続行し、完了していれば特徴ベクトル化の処理を終了する(S111)。
次に、図13を参照して、本発明の第5実施形態における局所特徴量から特徴量を抽出する処理(運用フェーズ)の流れについて説明する。図13は、局所特徴量から特徴量を抽出する処理(運用フェーズ)のフローチャートである。
この運用フェーズは、色彩転写処理の実施に先立って、入力された入力マスクデータ又は参照マスクデータから形状的な特徴量を抽出するためにある。
局所特徴量算出部128aは、すべての入力画像データ(マスクデータ)について画像データごとに複数の局所領域における局所特徴量を算出する(S201)。なお、この入力画像データは、修正対象画像データのマスクデータに対応した画像データ部分のデータのことを指している。局所特徴量としては、例えばSURFやSIFT等が利用できる。
データ入力部131は、学習フェーズで作成したk個の代表局所特徴量を外部記憶部12から読み込む(S202)。
次いで、差分ベクトル和算出部128dは、代表局所特徴量毎の差分ベクトル和を0に初期化しておく(ステップS203)。
次いで、処理対象の1枚の画像データに含まれる各局所特徴量について以下の処理を行う(ステップS204)。
この運用フェーズは、色彩転写処理の実施に先立って、入力された入力マスクデータ又は参照マスクデータから形状的な特徴量を抽出するためにある。
局所特徴量算出部128aは、すべての入力画像データ(マスクデータ)について画像データごとに複数の局所領域における局所特徴量を算出する(S201)。なお、この入力画像データは、修正対象画像データのマスクデータに対応した画像データ部分のデータのことを指している。局所特徴量としては、例えばSURFやSIFT等が利用できる。
データ入力部131は、学習フェーズで作成したk個の代表局所特徴量を外部記憶部12から読み込む(S202)。
次いで、差分ベクトル和算出部128dは、代表局所特徴量毎の差分ベクトル和を0に初期化しておく(ステップS203)。
次いで、処理対象の1枚の画像データに含まれる各局所特徴量について以下の処理を行う(ステップS204)。
次いで、最近傍代表局所特徴量選択部128cは、処理対象となる1個の局所特徴量に最も近い代表局所特徴量を選択する(ステップS205)。
次いで、差分ベクトル和算出部128dは、選択された代表局所特徴量と局所特徴量と差分ベクトルを求める(ステップS206)。
次いで、差分ベクトル和算出部128dは、差分ベクトルを代表局所特徴量毎の和に加算することで差分ベクトル和を求める(ステップS207)。
次いで、処理対象画像データに含まれる全ての局所特徴量について処理が完了したか否かを判定し、まだ処理すべき局所特徴量が残っていればステップS204に戻って処理を続行し、完了していればステップS39に進む(ステップS208)。
次いで、差分ベクトル和算出部128dは、選択された代表局所特徴量と局所特徴量と差分ベクトルを求める(ステップS206)。
次いで、差分ベクトル和算出部128dは、差分ベクトルを代表局所特徴量毎の和に加算することで差分ベクトル和を求める(ステップS207)。
次いで、処理対象画像データに含まれる全ての局所特徴量について処理が完了したか否かを判定し、まだ処理すべき局所特徴量が残っていればステップS204に戻って処理を続行し、完了していればステップS39に進む(ステップS208)。
次いで、差分ベクトル正規化部128eは、差分ベクトル和を当該差分ベクトル和の長さで除算して正規化し、正規化差分ベクトル和を出力する(ステップS209)。
次いで、特徴ベクトル化部128は、各代表局所特徴量に対する正規化差分ベクトル和を並べて対象画像データの1個の特徴ベクトルとする(ステップS210)。
次いで、全ての訓練画像データについて処理が完了したか否かを判定し、まだ処理すべき画像データが残っていればステップS203に戻って処理を続行し、完了していれば特徴ベクトル化の処理を終了する(ステップS211)。
次いで、特徴ベクトル化部128は、各代表局所特徴量に対する正規化差分ベクトル和を並べて対象画像データの1個の特徴ベクトルとする(ステップS210)。
次いで、全ての訓練画像データについて処理が完了したか否かを判定し、まだ処理すべき画像データが残っていればステップS203に戻って処理を続行し、完了していれば特徴ベクトル化の処理を終了する(ステップS211)。
次に、図14を参照して、本発明の第5実施形態に係わる画像処理装置100による特徴ベクトルの算出処理について説明する。
図14(A)は、学習フェーズにおける処理の流れを示す。ここで、局所特徴量算出部5aは、訓練画像データ(a)から局所特徴量算出処理(b)を行うことにより複数の局所領域における局所特徴量(c)を算出する。
次いで、代表局所特徴量作成部5bは、局所特徴量(c)から代表局所特徴量作成処理(d)を行うことによりk個の代表局所特徴量(e)を生成する。
図14(B)は、学習フェーズまたは運用フェーズにおける処理の流れを示す。ここで、局所特徴量算出部5aは、訓練画像データまたは入力画像データ(a)から局所特徴量算出処理(b)を行うことにより複数の局所領域における局所特徴量(c)を算出する。
次いで、差分ベクトル和算出部5dは、各局所特徴量(d)について、最も近い代表局所特徴量との差分ベクトルを求めて和(e)を取る。次いで、差分ベクトル正規化部5eは、差分ベクトル和(e)を該差分ベクトル和の長さで除算して正規化(f)し、正規化差分ベクトル和を出力する。各代表局所特徴量に対する正規化差分ベクトル和(g)を並べて(h)対象画像データの1個の特徴ベクトル(i)を生成する。
図14(A)は、学習フェーズにおける処理の流れを示す。ここで、局所特徴量算出部5aは、訓練画像データ(a)から局所特徴量算出処理(b)を行うことにより複数の局所領域における局所特徴量(c)を算出する。
次いで、代表局所特徴量作成部5bは、局所特徴量(c)から代表局所特徴量作成処理(d)を行うことによりk個の代表局所特徴量(e)を生成する。
図14(B)は、学習フェーズまたは運用フェーズにおける処理の流れを示す。ここで、局所特徴量算出部5aは、訓練画像データまたは入力画像データ(a)から局所特徴量算出処理(b)を行うことにより複数の局所領域における局所特徴量(c)を算出する。
次いで、差分ベクトル和算出部5dは、各局所特徴量(d)について、最も近い代表局所特徴量との差分ベクトルを求めて和(e)を取る。次いで、差分ベクトル正規化部5eは、差分ベクトル和(e)を該差分ベクトル和の長さで除算して正規化(f)し、正規化差分ベクトル和を出力する。各代表局所特徴量に対する正規化差分ベクトル和(g)を並べて(h)対象画像データの1個の特徴ベクトル(i)を生成する。
本実施形態によれば、入力画像データと入力画像データのマスクデータ、参照画像データと参照画像データのマスクデータを使用して行う色彩転写処理において、ユーザが選択した選択領域(入力マスクデータ)についての分類を自動で行うことで、参照画像データベースDBの大量のデータから、その分類結果に一致するカテゴリに属するものを優先的にユーザに提示するなど、ユーザが参照画像データの選択時に掛かる負担を軽減することができる。
本実施形態によれば、作成済みであるが分類していない段階のマスクデータによって示される選択領域を自動でカテゴリ分類することによって、ユーザが参照画像データの選択時に掛かる負担を軽減することができる。
本実施形態によれば、作成済みであるが分類していない段階のマスクデータによって示される選択領域を自動でカテゴリ分類することによって、ユーザが参照画像データの選択時に掛かる負担を軽減することができる。
また、選択領域を自動でカテゴリ分類するときには、入力画像データとマスクデータを使用する。これによって、マスクデータによって選択領域の形状データを知ることができると共に、選択領域の色データ(輝度・彩度)が分類時に利用できる。
また、選択領域がわかるということは、マスクデータの選択領域を逆転させることで選択領域外部がわかることと同意であり、この情報も追加することで、選択領域の色データに限らず、選択領域外部の色データも利用することができるため、これらの情報が無い状態で画像データを分類することに比べ、精度のよい分類方法を実現することができる。
この自動分類処理を行うことで、参照画像データの選択時にかかる負担を軽減することができる。
また、選択領域がわかるということは、マスクデータの選択領域を逆転させることで選択領域外部がわかることと同意であり、この情報も追加することで、選択領域の色データに限らず、選択領域外部の色データも利用することができるため、これらの情報が無い状態で画像データを分類することに比べ、精度のよい分類方法を実現することができる。
この自動分類処理を行うことで、参照画像データの選択時にかかる負担を軽減することができる。
<本発明の実施態様例の構成、作用、効果>
<第1態様>
本態様の画像処理装置1は、画像データを取得する入力画像データ/入力マスクデータ取得部23と、画像データの少なくとも1部の領域(選択領域)を選択するためのマスクデータを取得する入力画像データ/入力マスクデータ取得部23と、画像データにおける選択領域に基づいて、画像特徴データを抽出する選択領域画像データ分類部27と、マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを予め記憶する外部記憶部12(カテゴリ特徴データ記憶手段)と、画像特徴データ、及びカテゴリ特徴データに基づいて、入力画像データ/入力マスクデータ取得部23により取得されたマスクデータを分類する選択領域画像データ分類部27と、を備えることを特徴とする。
本態様によれば、画像データにおける選択領域に基づいて、画像特徴データを抽出しておき、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータを分類することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
<第1態様>
本態様の画像処理装置1は、画像データを取得する入力画像データ/入力マスクデータ取得部23と、画像データの少なくとも1部の領域(選択領域)を選択するためのマスクデータを取得する入力画像データ/入力マスクデータ取得部23と、画像データにおける選択領域に基づいて、画像特徴データを抽出する選択領域画像データ分類部27と、マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを予め記憶する外部記憶部12(カテゴリ特徴データ記憶手段)と、画像特徴データ、及びカテゴリ特徴データに基づいて、入力画像データ/入力マスクデータ取得部23により取得されたマスクデータを分類する選択領域画像データ分類部27と、を備えることを特徴とする。
本態様によれば、画像データにおける選択領域に基づいて、画像特徴データを抽出しておき、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータを分類することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
<第2態様>
本態様の選択領域画像データ作成部25(抽出手段)は、画像特徴データとして、画像データにおける選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、画像データ全体の色データを抽出することを特徴とする。
本態様によれば、画像特徴データとして、画像データにおける選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、及び画像データ全体の色データを抽出することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
本態様の選択領域画像データ作成部25(抽出手段)は、画像特徴データとして、画像データにおける選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、画像データ全体の色データを抽出することを特徴とする。
本態様によれば、画像特徴データとして、画像データにおける選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、及び画像データ全体の色データを抽出することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
<第3態様>
本態様の外部記憶部12は、カテゴリ特徴データとして、マスクデータにより選択される選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、画像データ全体の色データを予め記憶することを特徴とする。
本態様によれば、カテゴリ特徴データとして、マスクデータにより選択される選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、画像データ全体の色データを予め記憶しておくことで、カテゴリ特徴データに基づいてマスクデータを分類することができ、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
本態様の外部記憶部12は、カテゴリ特徴データとして、マスクデータにより選択される選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、画像データ全体の色データを予め記憶することを特徴とする。
本態様によれば、カテゴリ特徴データとして、マスクデータにより選択される選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、画像データ全体の色データを予め記憶しておくことで、カテゴリ特徴データに基づいてマスクデータを分類することができ、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
<第4態様>
本態様の入力画像データ/入力マスクデータ取得部23は、マスクデータの形状を表す外形形状データを認識する形状認識処理部127を備えることを特徴とする。
本態様によれば、マスクデータの形状を表す特徴量データを用いてマスクデータを分類することができ、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
本態様の入力画像データ/入力マスクデータ取得部23は、マスクデータの形状を表す外形形状データを認識する形状認識処理部127を備えることを特徴とする。
本態様によれば、マスクデータの形状を表す特徴量データを用いてマスクデータを分類することができ、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
<第5態様>
本態様の外形形状データは、特徴量データ、特徴量データのうちの代表的な特徴量データを複数組み合わせて構成されることを特徴とする。
本態様によれば、特徴量データ、特徴量データのうちの代表的な特徴量データを複数組み合わせて、マスクデータを分類することができ、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
本態様の外形形状データは、特徴量データ、特徴量データのうちの代表的な特徴量データを複数組み合わせて構成されることを特徴とする。
本態様によれば、特徴量データ、特徴量データのうちの代表的な特徴量データを複数組み合わせて、マスクデータを分類することができ、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
<第6態様>
本態様の選択領域画像データ分類部27は、選択領域の外形形状データと、外部記憶部12(カテゴリ特徴データ記憶手段)から取得したあるカテゴリに係る特徴量データとをマッチングさせて、当該マッチングに係る類似度を算出することを特徴とする。
本態様によれば、選択領域の外形形状データと、カテゴリに係る特徴量データとをマッチングさせて、当該マッチングに係る類似度を算出することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
本態様の選択領域画像データ分類部27は、選択領域の外形形状データと、外部記憶部12(カテゴリ特徴データ記憶手段)から取得したあるカテゴリに係る特徴量データとをマッチングさせて、当該マッチングに係る類似度を算出することを特徴とする。
本態様によれば、選択領域の外形形状データと、カテゴリに係る特徴量データとをマッチングさせて、当該マッチングに係る類似度を算出することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
<第7態様>
本態様の画像処理装置1は、画像データは、色彩転写処理に用いる色彩データの参照対象となる参照画像データ、又は/及び、前記色彩データの転写対象となる入力画像データ、であることを特徴とする。
本態様によれば、画像データは、色彩転写処理に用いる色彩データの参照対象となる参照画像データ、又は/及び、色彩データの転写対象となる入力画像データ、であることで、参照画像データ又は/及び、入力画像データの少なくとも1部の領域を選択するためのマスクデータを分類する際の操作負荷を軽減することができる。
本態様の画像処理装置1は、画像データは、色彩転写処理に用いる色彩データの参照対象となる参照画像データ、又は/及び、前記色彩データの転写対象となる入力画像データ、であることを特徴とする。
本態様によれば、画像データは、色彩転写処理に用いる色彩データの参照対象となる参照画像データ、又は/及び、色彩データの転写対象となる入力画像データ、であることで、参照画像データ又は/及び、入力画像データの少なくとも1部の領域を選択するためのマスクデータを分類する際の操作負荷を軽減することができる。
<第8態様>
本態様の画像処理装置1は、選択領域画像データ分類部27によるマスクデータの分類結果に基づいて、参照画像データの少なくとも1部の領域を選択するための第1のマスクデータと、入力画像データの少なくとも1部の領域を選択するための第2のマスクデータとが同一のカテゴリである場合に、第1のマスクデータと第2のマスクデータとを関連付けするCPU10(ステップS45)(関連付け手段)を備えることを特徴とする。
本態様によれば、カテゴリを分類した後の入力画像データのマスクデータと参照画像データのマスクデータとを関連付けすることで、更に操作負荷を軽減することができる。
本態様の画像処理装置1は、選択領域画像データ分類部27によるマスクデータの分類結果に基づいて、参照画像データの少なくとも1部の領域を選択するための第1のマスクデータと、入力画像データの少なくとも1部の領域を選択するための第2のマスクデータとが同一のカテゴリである場合に、第1のマスクデータと第2のマスクデータとを関連付けするCPU10(ステップS45)(関連付け手段)を備えることを特徴とする。
本態様によれば、カテゴリを分類した後の入力画像データのマスクデータと参照画像データのマスクデータとを関連付けすることで、更に操作負荷を軽減することができる。
<第9態様>
本態様の画像処理装置1による画像処理方法は、画像データを取得する画像データ取得ステップ(S51)と、画像データの少なくとも1部の領域(選択領域)を選択するためのマスクデータを取得するマスクデータ取得ステップ(S53)と、前記画像データにおける選択領域に基づいて、画像特徴データを抽出する抽出ステップ(S57、S59、S61、S63)と、マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを外部記憶部12に予め記憶する記憶ステップ(S65)と、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータ取得ステップ(S65)により取得されたマスクデータを分類するマスクデータ分類ステップ(S65、S67)と、を実行することを特徴とする。
本態様によれば、画像データにおける選択領域に基づいて、画像特徴データを抽出しておき、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータを分類することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
本態様の画像処理装置1による画像処理方法は、画像データを取得する画像データ取得ステップ(S51)と、画像データの少なくとも1部の領域(選択領域)を選択するためのマスクデータを取得するマスクデータ取得ステップ(S53)と、前記画像データにおける選択領域に基づいて、画像特徴データを抽出する抽出ステップ(S57、S59、S61、S63)と、マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを外部記憶部12に予め記憶する記憶ステップ(S65)と、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータ取得ステップ(S65)により取得されたマスクデータを分類するマスクデータ分類ステップ(S65、S67)と、を実行することを特徴とする。
本態様によれば、画像データにおける選択領域に基づいて、画像特徴データを抽出しておき、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータを分類することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
<第10態様>
本態様のプログラムは、第9態様に記載の各ステップをプロセッサに実行させることを特徴とする。
本態様によれば、各ステップをプロセッサに実行させることができる。
本態様のプログラムは、第9態様に記載の各ステップをプロセッサに実行させることを特徴とする。
本態様によれば、各ステップをプロセッサに実行させることができる。
1…画像処理装置、10…CPU、11…スキャナ部、12…外部記憶部、13…画像メモリ部、14…表示部、15…操作部、16…画像処理部、17…カメラ部、18…通信制御部、19…ディスク、20…記憶装置、20a…形状データベース、23…入力画像データ/入力マスクデータ取得部、25…選択領域画像データ作成部、27…選択領域画像データ分類部、29…参照画像データ表示部、31…参照画像データ・参照マスク選択受付部、33…色調補正処理部、35…結果出力部、122…入力画像データ取得部、123…入力マスクデータ取得部、124…参照画像データ取得部、125…参照マスクデータ取得部、126…特徴量抽出処理部、127…形状認識処理部、128…特徴ベクトル化部、129…マスクデータ分類設定部、130…データ出力部、131…データ入力部
色彩転写処理 https://sns.j−soft.org/920108/thesis/1666 http://www.ncs.co.jp/tech/imachanger/Chapter2/imc2.html http://nikomat.org/priv/camera/color/index.html
一般物体認識における機械学習の利用 http://img.cs.uec.ac.jp/pub/conf10/100615yanai_7_ppt.pdf
デジタル画像データと定量化 http://www.riken.jp/brict/Yoshizawa/Lectures/Kyuusyu/Lectures2011_05.pdf
C言語で学ぶ実践画像処理 書誌、オーム社刊行
Claims (10)
- 画像データを取得する画像データ取得手段と、
前記画像データの少なくとも1部の領域を選択するためのマスクデータを取得するマスクデータ取得手段と、
前記画像データにおける前記選択領域に基づいて、画像特徴データを抽出する抽出手段と、
マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを予め記憶するカテゴリ特徴データ記憶手段と、
前記画像特徴データ、及び前記カテゴリ特徴データに基づいて、前記マスクデータ取得手段により取得されたマスクデータを分類するマスクデータ分類手段と、を備えることを特徴とする画像処理装置。 - 前記抽出手段は、前記画像特徴データとして、前記画像データにおける前記選択領域の外形形状データ、前記選択領域内部の色データ、前記選択領域外部の色データ、前記画像データ全体の色データを抽出することを特徴とする請求項1に記載の画像処理装置。
- 前記カテゴリ特徴データ記憶手段は、前記カテゴリ特徴データとして、マスクデータにより選択される選択領域の外形形状データ、前記選択領域内部の色データ、前記選択領域外部の色データ、前記画像データ全体の色データを予め記憶することを特徴とする請求項1に記載の画像処理装置。
- 前記マスクデータ取得手段は、前記マスクデータの形状を表す外形形状データを認識する形状認識処理手段を備えることを特徴とする請求項1に記載の画像処理装置。
- 前記外形形状データは、前記特徴量データ、前記特徴量データのうちの代表的な特徴量データを複数組み合わせて構成されることを特徴とする請求項4に記載の画像処理装置。
- 前記マスクデータ分類手段は、
前記選択領域の外形形状データと、前記カテゴリ特徴データ記憶手段から取得したあるカテゴリに係る特徴量データとをマッチングさせて、当該マッチングに係る類似度を算出することを特徴とする請求項2に記載の画像処理装置。 - 前記画像データは、色彩転写処理に用いる色彩データの参照対象となる参照画像データ、又は/及び、前記色彩データの転写対象となる入力画像データ、であることを特徴とする請求項1乃至6の何れか1つに記載の画像処理装置。
- 前記マスクデータ分類手段による前記マスクデータの分類結果に基づいて、前記参照画像データの少なくとも1部の領域を選択するための第1のマスクデータと、前記入力画像データの少なくとも1部の領域を選択するための第2のマスクデータとが同一のカテゴリである場合に、前記第1のマスクデータと前記第2のマスクデータとを関連付けする関連付け手段を備えることを特徴とする請求項7に記載の画像処理装置。
- 請求項1乃至8の何れか1つに記載の画像処理装置による画像処理方法であって、
画像データを取得する画像データ取得ステップと、
前記画像データの少なくとも1部の領域を選択するためのマスクデータを取得するマスクデータ取得ステップと、
前記画像データにおける前記選択領域に基づいて、画像特徴データを抽出する抽出ステップと、
マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データをカテゴリ特徴データ記憶手段に予め記憶する記憶ステップと、
前記画像特徴データ、及び前記カテゴリ特徴データに基づいて、前記マスクデータ取得手段により取得されたマスクデータを分類するマスクデータ分類ステップと、を実行することを特徴とする画像処理方法。 - 請求項9に記載の各ステップをプロセッサに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014241381A JP2016103759A (ja) | 2014-11-28 | 2014-11-28 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014241381A JP2016103759A (ja) | 2014-11-28 | 2014-11-28 | 画像処理装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016103759A true JP2016103759A (ja) | 2016-06-02 |
Family
ID=56089691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014241381A Pending JP2016103759A (ja) | 2014-11-28 | 2014-11-28 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016103759A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6833233B1 (ja) * | 2020-06-16 | 2021-02-24 | 日本遮熱株式会社 | 凹凸屋根の遮熱構造 |
JP6862024B1 (ja) * | 2020-09-09 | 2021-04-21 | 日本遮熱株式会社 | 遮熱鋼板構造 |
WO2021106855A1 (ja) * | 2019-11-28 | 2021-06-03 | 株式会社Preferred Networks | データ生成方法、データ生成装置、モデル生成方法、モデル生成装置及びプログラム |
JP7130282B1 (ja) * | 2021-12-03 | 2022-09-05 | 日本遮熱株式会社 | 全遮熱外装構造 |
US11694354B2 (en) | 2019-10-18 | 2023-07-04 | Pictometry International Corp. | Geospatial object geometry extraction from imagery |
CN117094966A (zh) * | 2023-08-21 | 2023-11-21 | 青岛美迪康数字工程有限公司 | 基于图像扩增的舌图像识别方法、装置和计算机设备 |
-
2014
- 2014-11-28 JP JP2014241381A patent/JP2016103759A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11694354B2 (en) | 2019-10-18 | 2023-07-04 | Pictometry International Corp. | Geospatial object geometry extraction from imagery |
WO2021106855A1 (ja) * | 2019-11-28 | 2021-06-03 | 株式会社Preferred Networks | データ生成方法、データ生成装置、モデル生成方法、モデル生成装置及びプログラム |
JP7482620B2 (ja) | 2019-11-28 | 2024-05-14 | 株式会社Preferred Networks | データ生成方法、データ表示方法、データ生成装置及びデータ表示システム |
JP6833233B1 (ja) * | 2020-06-16 | 2021-02-24 | 日本遮熱株式会社 | 凹凸屋根の遮熱構造 |
JP6862024B1 (ja) * | 2020-09-09 | 2021-04-21 | 日本遮熱株式会社 | 遮熱鋼板構造 |
JP7130282B1 (ja) * | 2021-12-03 | 2022-09-05 | 日本遮熱株式会社 | 全遮熱外装構造 |
CN117094966A (zh) * | 2023-08-21 | 2023-11-21 | 青岛美迪康数字工程有限公司 | 基于图像扩增的舌图像识别方法、装置和计算机设备 |
CN117094966B (zh) * | 2023-08-21 | 2024-04-05 | 青岛美迪康数字工程有限公司 | 基于图像扩增的舌图像识别方法、装置和计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110532984B (zh) | 关键点检测方法、手势识别方法、装置及*** | |
CN110163198B (zh) | 一种表格识别重建方法、装置和存储介质 | |
TWI774659B (zh) | 圖像文字的識別方法和裝置 | |
Karayev et al. | Recognizing image style | |
JP2016103759A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US8565536B2 (en) | Material recognition from an image | |
JP4594372B2 (ja) | ドキュメント画像からのパラメータ化された形状の認識方法 | |
JP4623676B2 (ja) | 動的なコネクタ解析のための方法、装置及び記憶媒体 | |
CN111460782B (zh) | 一种信息处理方法、装置及设备 | |
JP6365024B2 (ja) | サービス提供装置、方法、及びプログラム | |
JP6937508B2 (ja) | 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム | |
JP6989450B2 (ja) | 画像解析装置、画像解析方法及びプログラム | |
De | Automatic data extraction from 2D and 3D pie chart images | |
JP7364639B2 (ja) | デジタル化された筆記の処理 | |
US11410278B2 (en) | Automatic artifact removal in a digital image | |
JP5020698B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
US8879804B1 (en) | System and method for automatic detection and recognition of facial features | |
CN112069342A (zh) | 图像分类方法、装置、电子设备及存储介质 | |
JP6432182B2 (ja) | サービス提供装置、方法、及びプログラム | |
JP5413156B2 (ja) | 画像処理プログラム及び画像処理装置 | |
Evangelou et al. | PU learning-based recognition of structural elements in architectural floor plans | |
JP4537097B2 (ja) | パターン検出方法及び装置 | |
Bhatt et al. | Text Extraction & Recognition from Visiting Cards | |
JP2016091100A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US11740849B1 (en) | Apparatuses and methods for generating a modular digital wall |