JP5265058B1 - 商品画像処理装置、商品画像処理方法、情報記録媒体、ならびに、プログラム - Google Patents

Abstract

商品画像から商品の特徴を表す特徴画像を得るため、商品画像処理装置（１０１）の受付部（１０２）は、複数の商品のそれぞれを共通する構図で表す複数の商品画像を受け付ける。計算部（１０３）は、構図内の位置のそれぞれにおいて、受け付けられた複数の商品画像のそれぞれの当該位置における画素値から、当該複数の画素値の散らばり度を計算する。生成部（１０４）は、構図内の位置のそれぞれにおいて計算された散らばり度に基づいて当該位置における透過度を定めたフィルタを生成する。適用部（１０５）は、受け付けられた複数の商品画像のそれぞれに、生成されたフィルタを適用することにより、複数の商品のそれぞれの特徴を表す複数の特徴画像を得る。

Description

本発明は、商品画像処理装置、商品画像処理方法、情報記録媒体、ならびに、プログラムに関する。特に、本発明は、複数の商品のそれぞれを表す商品画像から各商品の特徴を表す特徴画像を得る技術に関する。

従来から、商品を撮影したり、商品を絵で描いたりした画像を処理する画像処理技術が種々提案されている。

たとえば、以下の特許文献１では、チラシなどに掲載された商品の画像に商品の価格を表す文字が描画されている場合に、商品そのものの画像と商品の価格の画像とを分離する技術が提案されている。

一方で、化粧品や調味料などの商品では、容器の外観を揃えることで商品のブランドイメージを統一し、訴求力を高めることも多い。たとえば、各種の色彩が用意されたマニキュアや味付けが異なるマヨネーズでは、瓶の形状が統一されていることがある。

また商品画像においては、商品の周囲に余白を設けた構図を採用することが多い。この構図では、各商品が同じ向き、同じ大きさで同じ位置に表される。すなわち、一群の商品のそれぞれを表す複数の商品画像では、ブランドイメージを統一するため、共通する構図が採用されることが多い。

特開２００９−１４００５８号公報

このような商品画像をサムネール表示すると、商品そのものの大きさが極めて小さくなってしまう。たとえば、上記の例では、マニキュアでは、瓶から透けて見えるマニキュア液の色彩が異なり、マヨネーズでは、瓶から透けて見えるマヨネーズの色彩は類似し、瓶に貼付されたラベルに記載されている説明が異なるが、これらの見分けがつきにくくなる。

したがって、一群の商品のそれぞれを表す商品画像から、各商品の特徴を表す特徴画像、すなわち上記の例では、マニキュア液の色彩やマヨネーズのラベル部分の文字がよくわかるようにした画像を得る技術が強く求められている。

本発明は、上記のような課題を解決するもので、商品画像から商品の特徴を表す特徴画像を得るのに好適な商品画像処理装置、商品画像処理方法、情報記録媒体、ならびに、プログラムを提供することを目的とする。

本発明の第１の観点に係る商品画像処理装置は、
複数の商品のそれぞれを共通する構図で表す複数の商品画像を受け付ける受付部、
前記共通する構図内の位置のそれぞれにおいて、前記受け付けられた複数の商品画像のそれぞれの当該位置における画素値から、当該複数の画素値の散らばり度を計算する計算部、
前記共通する構図内の位置のそれぞれにおいて計算された散らばり度に基づいて当該位置における透過度を定めたフィルタを生成する生成部、
前記受け付けられた複数の商品画像のそれぞれに、前記生成されたフィルタを適用することにより、前記複数の商品のそれぞれの特徴を表す複数の特徴画像を得る適用部
を備える。

上記の商品画像処理装置において、前記散らばり度は、前記位置における複数の画素値のそれぞれと当該複数の画素値の平均との距離の、標準偏差、分散、最大値、もしくは、最大値と最小値の差、または、前記位置における複数の画素値同士の距離の最大値であるように構成することができる。

上記の商品画像処理装置において、前記生成部は、前記共通する構図内の位置のそれぞれにおいて計算された散らばり度に単調増加関数を適用した結果を、当該位置における透過度とするように構成することができる。

上記の商品画像処理装置において、前記生成部は、前記フィルタにおいて、前記共通する構図内の位置のそれぞれにおいて計算された散らばり度を平滑化してから、前記所定の単調増加関数を適用するように構成することができる。

上記の商品画像処理装置において、前記生成部は、前記共通する構図内において、あらかじめ定めた大きさの矩形領域内の散らばり度の総和が最大となる位置に当該矩形領域を配置し、前記フィルタは、当該矩形領域をクリッピングするように構成することができる。

上記の商品画像処理装置において、前記生成部は、前記散らばり度のヒストグラムを、
y = f(x)
により表される曲線であってx=0で極大となり、x=pで極小となり、x→∞でy→0となる曲線に対してカーブフィッティングを行い、
前記生成部は、前記共通する構図内の位置のそれぞれにおいて計算された散らばり度に、引数がp未満であれば０を適用結果とし、p以上であれば１を適用結果とする単調増加関数を適用した結果を、当該位置における透過度とするように構成することができる。

上記の商品画像処理装置において、前記曲線は、座標(0,A)，(p,B)，(q,C)，(r,0)，(∞,0)上の点を順に通過する折線であり、
前記生成部は、A，B，C，p，q，rをフィッティングパラメータとして、前記カーブフィッティングを行うように構成することができる。

上記の商品画像処理装置において、
前記受け付けられた複数の商品画像の特徴点を抽出し、当該抽出された特徴点を当該複数の商品画像の間で対応付け、当該対応付けられた特徴点同士の位置の前記構図内における散らばりを最小化するように、前記複数の商品画像をアフィン変換する変換部
をさらに備え、
前記計算部による計算は、前記アフィン変換済の複数の商品画像に対して実行されるように構成することができる。

本発明の第２の観点に係る商品画像処理方法は、
複数の商品のそれぞれを共通する構図で表す複数の商品画像を受け付ける受付工程、
前記共通する構図内の位置のそれぞれにおいて、前記受け付けられた複数の商品画像のそれぞれの当該位置における画素値から、当該複数の画素値の散らばり度を計算する計算工程、
前記共通する構図内の位置のそれぞれにおいて計算された散らばり度に基づいて当該位置における透過度を定めたフィルタを生成する生成工程、
前記受け付けられた複数の商品画像のそれぞれに、前記生成されたフィルタを適用することにより、前記複数の商品のそれぞれの特徴を表す複数の特徴画像を得る適用工程
を備える。

本発明の第３の観点に係る非一時的な情報記録媒体には、コンピュータを、
複数の商品のそれぞれを共通する構図で表す複数の商品画像を受け付ける受付部、
前記共通する構図内の位置のそれぞれにおいて、前記受け付けられた複数の商品画像のそれぞれの当該位置における画素値から、当該複数の画素値の散らばり度を計算する計算部、
前記共通する構図内の位置のそれぞれにおいて計算された散らばり度に基づいて当該位置における透過度を定めたフィルタを生成する生成部、
前記受け付けられた複数の商品画像のそれぞれに、前記生成されたフィルタを適用することにより、前記複数の商品のそれぞれの特徴を表す複数の特徴画像を得る適用部
として機能させることを特徴とするプログラムが記録される。

本発明の第４の観点に係るプログラムは、コンピュータを、
複数の商品のそれぞれを共通する構図で表す複数の商品画像を受け付ける受付部、
前記共通する構図内の位置のそれぞれにおいて、前記受け付けられた複数の商品画像のそれぞれの当該位置における画素値から、当該複数の画素値の散らばり度を計算する計算部、
前記共通する構図内の位置のそれぞれにおいて計算された散らばり度に基づいて当該位置における透過度を定めたフィルタを生成する生成部、
前記受け付けられた複数の商品画像のそれぞれに、前記生成されたフィルタを適用することにより、前記複数の商品のそれぞれの特徴を表す複数の特徴画像を得る適用部
として機能させる。

本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な、非一時的（non-transitory）な情報記録媒体に記録することができる。

上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網等の一時的（transitory）な媒体を介して、配布・販売することができる。また、上記情報記録媒体は、コンピュータとは独立して配布・販売することができる。

本発明によれば、商品画像から商品の特徴を表す特徴画像を得るのに好適な商品画像処理装置、商品画像処理方法、情報記録媒体、ならびに、プログラムを提供することができる。

本発明の一つの実施形態に係る商品画像処理装置の概要構成を示す説明図である。 商品画像の例を示す説明図である。 商品画像における散らばり度を示す説明図である。 特徴画像の様子を示す説明図である。 商品画像処理の手順を示すフローチャートである。 散らばり度とクリッピング領域の様子を示す説明図である。 特徴画像の様子を示す説明図である。 ある商品群の商品画像に対して計算された散らばり度の分布を示すヒストグラムである。 ある商品群の商品画像に対して計算された散らばり度の分布を示すヒストグラムである。 ヒストグラムに、折線をカーブフィッティングした様子を表す説明図である。 ヒストグラムに、折線をカーブフィッティングした様子を表す説明図である。

以下に本発明の実施形態を説明する。本実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

本実施形態に係る商品画像処理装置は、所定のプログラムをコンピュータで実行することにより実現されるのが典型的であるが、後述する各部の機能を電子回路などにより構成し、専用装置として実現することも可能である。

図１は、本実施形態に係る商品画像処理装置の概要構成を示す説明図である。以下、本図を参照して説明する。

本実施形態に係る商品画像処理装置１０１は、受付部１０２、計算部１０３、生成部１０４、適用部１０５を備える。また、本図には、省略可能な要素として、変換部１０６を図示している。

ここで、受付部１０２は、複数の商品のそれぞれを共通する構図で表す複数の商品画像を受け付ける。

図２は、商品画像の例を示す説明図である。以下、本図を参照して説明する。

本図に示すように、３枚の商品画像２０１ａ、２０１ｂ、２０１ｃのそれぞれには、一群をなす互いに異なる商品２０２ａ、２０２ｂ、２０２ｃの外観が表されている。これらの商品２０２ａ、２０２ｂ、２０２ｃは、同じメーカーの同じシリーズのマニキュアに係るものを想定している。

なお、以下では、総称して説明する際には、符号の末尾の「ａ」「ｂ」「ｃ」等を適宜省略して言及する。

商品画像２０１が商品２０２を製造するメーカーから提供されたものである場合には、商品画像２０１の構図において、商品２０２が配置される位置や向き、大きさは、ほぼ完全に一致するのが通例である。

一方、商品２０２を販売する商店主がディジタルカメラ等を用いて商品２０２を撮影した場合には、撮影された画像の構図内における商品２０２の位置、向き、大きさにはずれが生じるのが一般的である。

このような場合には、撮影された複数の画像から商品２０２の特徴点を抽出し、複数の画像における特徴点を対応付けて、アフィン変換等の変形を行う前処理を実行すれば、結果として得られる画像において、商品２０２が配置される位置、向き、大きさをできるだけ一致させることができる。このようなアフィン変換は、たとえば、特徴点の位置のずれならびに単位行列からのアフィン変換のずれを最小化するような最小自乗法を用いることによって、求めることができる。

したがって、受付部１０２と計算部１０３の間に、このような前処理を行う変換部１０６による処理を挟むことによって、計算部１０３の処理対象とするのに好適な商品画像２０１を得ることができる。

なお、受付部１０２により受け付けられる複数の商品画像２０１の構図を共通化する前処理が既に実行されている状況では、変換部１０６を省略して、受付部１０２から計算部１０３に直接商品画像２０１を渡す形態を採用することができる。

さて、本図に示す商品２０２は、瓶の形状をしている。そして、商品２０２ａ、２０２ｂ、２０２ｃのそれぞれの瓶の中身２０３ａ、２０３ｂ、２０３ｃの色彩が、互いに異なる。本図では、この色彩の相違をハッチングの有無やハッチングの密度によって表現している。

また、商品２０２の瓶の表面には、共通するロゴマーク２０４が配置されている。

なお、本図においては、理解を容易にするため、商品２０２、瓶の中身２０３、ロゴマーク２０４に輪郭線を描いているが、商品画像２０１が写真撮影によって得られたものである場合には、このような輪郭線は存在しないのが一般的である。

さて、各商品画像２０１には、共通する構図で商品２０２が配置されている。本実施形態では、各商品画像２０１が、横Wドット、縦Hドットの画素の集合により表現されている。

以下では、理解を容易にするため、適宜、商品画像２０１ａをimg[0]、商品画像２０１ｂをimg[1]、商品画像２０１ｃをimg[2]のように、n枚目の商品画像２０１をimg[n]と表記することとする。商品画像２０１が全部でN枚ある場合には、そのそれぞれを、img[0]，img[1]，...，img[N-1]と表記する。

さらに、商品画像２０１img[n]における横方向の位置x (0≦x<W)、縦方向の位置y (0≦y<H)に配置されている画素の画素値を、img[n](x,y)と表記する。

商品画像２０１が２４ビットカラーで表現される場合、１つの画素値img[n](x,y)は、３バイトのデータとして表現される。そこで、以下では、画素値img[n](x,y)の赤成分、緑成分、青成分を、それぞれ、img[n](x,y).r、img[n](x,y).g、img[n](x,y).bのように表記する。

２４ビットカラーでは、img[n](x,y).r、img[n](x,y).g、img[n](x,y).bは、いずれも、０から２５５までのいずれかの整数値をとる。

このほか、１５ビットカラーでは、画素値img[n](x,y)は、１５ビットのデータとして表現され、典型的には、２バイトの領域に格納される。この場合、img[n](x,y).r、img[n](x,y).g、img[n](x,y).bは、いずれも、０から３１までのいずれかの整数値をとる。

なお、本発明においては、画素値同士との距離が計算できれば、画素値の数値表現は種々の態様を採用することができる。すなわち、上記のようなＲＧＢ（Red，Green，Blue）表現ではなく、減法混色に基づくＣＭＹ（Cyan，Magenta，YelloW）表現や、色相、再度、明度からなるＨＳＶ（Hue，Saturation，brightness Value）表現など、種々の色表現を採用することができる。また、色を表すデータのビット数は、適宜変更することも可能である。

さて、商品画像２０１は、たとえば、ＢＭＰ（BitMap Picture format）やＪＰＥＧ（Joint Photographic Experts Group）等のような、電子的なファイル形式で受け付けられるのが典型的である。ＪＰＥＧなどの圧縮フォーマットで受け付けられた場合には、データの展開を行うことにより、各商品画像２０１の各画素img[n](x,y)を得ることができる。

なお、本実施形態では、横Wドット、縦Hドットの長方形の構図を採用しているが、商品画像２０１に含まれる各画素に所定の順序付けを行い、当該順序と構図内の位置とを１対１に対応付けることができれば、商品画像２０１全体の形状は、長方形に限られず、任意の形状とすることができる。

さて、計算部１０３は、共通する構図内の位置のそれぞれにおいて、受け付けられた複数の商品画像２０１のそれぞれの当該位置における画素値から、当該複数の画素値の散らばり度を計算する。

本実施形態では、商品画像２０１としてimg[0]，img[1]，...，img[N-1]が受け付けられる。構図内の位置は、0≦x<Wならびに0≦y<Hのすべての組み合わせによって表現される。この組み合わせは、全部でW×H個である。

計算部１０３は、構図内の各位置(x,y)についてN個の画素値
img[0](x,y)，img[1](x,y)，...，img[N-1](x,y)
を取得し、これらの散らばり度を計算する。

ここで、散らばり度とは、統計学で広く用いられる概念であり、標本値がどの程度拡散しているか、密集していないか、の程度を表す量である。広く利用されている散らばり度には、以下のようなものがある。
（１）分散。各標本値と、標本値の平均と、の差の自乗平均。
（２）標準偏差。分散の平方根。
（３）範囲（レンジ）。各標本値の最小値と最大値の差。
（４）各標本値と、標本値の平均と、の差の最大値。

本実施形態では、ＲＧＢ表現で画素値を表現している。ある位置(x,y)における画素値の平均ave(x,y)は、以下のように計算することができる。
ave(x,y).r = Σ_n=0 ^N-1 img[n](x,y).r/N；
ave(x,y).g = Σ_n=0 ^N-1 img[n](x,y).g/N；
ave(x,y).b = Σ_n=0 ^N-1 img[n](x,y).b/N

また、２つの画素値P，Qの差は、当該２つの画素値の色空間における距離により表現することができる。画素値P，Qの距離dist(P,Q)としては、たとえば、ユークリッド距離
dist(P,Q) = 〔(P.r-Q.r)² + (P.g-Q.g)² + (P.b-Q.b)²〕^1/2
や、マンハッタン距離
dist(P,Q) = |P.r-Q.r| + |P.g-Q.g| + |P.b-Q.b|
を利用することができるほか、色空間の定義に基づいて定められる種々の色距離を採用することができる。

すると、ある位置(x,y)における分散var(x,y)ならびに標準偏差sdev(x,y)は、以下のように計算することが可能である。
var(x,y) = Σ_n=0 ^N-1 dist(img[n](x,y),ave(x,y))²/N；
sdev(x,y) = var(x,y)^1/2

また、範囲range(x,y)ならびに平均との差の最大値maxdist(x,y)は、以下のように計算できる。
range(x,y) = max_i=0 ^N-1 dist(img[i](x,y),ave(x,y)) - min_i=0 ^N-1 dist(img[i](x,y),ave(x,y))；
maxdist(x,y) = max_i=0 ^N-1 dist(img[i](x,y),ave(x,y))

このように、ある位置(x,y)における散らばり度sca(x,y)として、var(x,y)，sdev(x,y)，range(x,y)，maxdist(x,y)等を採用することができる。

ここで得られる散らばり度sca(x,y)は、画素値
img[0](x,y)，img[1](x,y)，...，img[N-1](x,y)
がすべて一致していれば、０であり、異なっていれば異なっているほど大きくなる。

したがって、散らばり度sca(x,y)が大きければ、外観が類似する商品２０２を表す複数の商品画像２０１の位置(x,y)における画像間の違いが大きいことになる。すなわち、散らばり度sca(x,y)が大きい位置(x,y)は、各商品の特徴的な箇所の候補ということができる。

このほか、本実施例における画素値は、ＲＧＢ表現を採用しているため、画素値の最大値・最小値は、直接は得られない。そこで、範囲（レンジ）に相当するものとして、画素値同士の各距離を上記のように求め、そのうちの最大値を散らばり度として採用する、という手法を採用しても良い。

すなわち、
range'(x,y) = max_i=0 ^N-1 _j=i+1 ^N-1 dist(img[i](x,y),img[j](x,y))
を利用する。

図３は、図２に示す商品画像２０１における散らばり度を示す説明図である。以下、本図を参照して説明する。

本図では、構図全体を表す枠線３０１の中に、散らばり度が０であるところは白色で、散らばり度が高い領域３０２はハッチングを施すことにより、散らばり度を表示している。

散らばり度が高い領域３０２は、図２において、商品２０２の中身２０３のマニキュア液が見える領域に相当する。それ以外の部分は、各商品２０２で共通するため、白色で表示されている。

ここで、同じ形状の瓶に収納されるマニキュアにおいては、瓶から透けて見えるマニキュア液の色彩が、そのマニキュアの特徴部分であると考えられる。

このほかの例を考える。同じ形状の瓶に収納される種々の味付けがされたマヨネーズでは、ラベル部分に表記された「○○風味」などの味付けを示す部分は、そのマヨネーズの特徴部分に相当するが、この部分は、商品画像２０１内で、互いに異なる画素値を持つ。したがって、マヨネーズの特徴部分は、散らばり度sca(x,y)の値が大きいと考えられる。

本実施形態では、散らばり度sca(x,y)の値が大きい部分、すなわち、図３における例ではハッチングが施された部分が、各商品画像２０１における各商品２０２の特徴部分であると推定するのである。

そこで、生成部１０４は、共通する構図内の位置のそれぞれにおいて計算された散らばり度に基づいて当該位置における透過度を定めたフィルタを生成する。

本実施形態のフィルタにおける位置(x,y)の透過度trans(x,y)は、単調増加関数minc(.)を用いるもので、
trans(x,y) = minc(sca(x,y))
のように表現することができる。

もっとも単純なフィルタは、構図内の各位置(x,y)の散らばり度sca(x,y)が０であれば不透過（透過度０）、非０であれば完全透過（透過度１）とするものである。この場合、単調増加関数minc(s)は、以下のように表現することができる。
minc(s) = 0 (s = 0)；
= 1 (s ≠ 0)

また、閾値pを用いて、p未満であれば不透明、p以上であれば完全透明とするフィルタを採用することもできる。この場合の単調増加関数は、
minc(s) = 0 (s < p)；
= 1 (s ≧ p)
のようになる。なお、閾値pを定める手法については、後述する実施例３において説明する。

このほか、散らばり度sca(x,y)の最大値max_{0≦x<W，0≦y<H} sca(x,y)、あるいは、散らばり度sca(x,y)が理論的にとりうる上限値Uを用いて、
minc(s) = s/〔max_{0≦x<W，0≦y<H} sca(x,y)〕
あるいは、
minc(s) = s/U
のような、透過度として半透明も含むような単調増加関数を用意することもできる。

なお、２４ビットカラーでは、ユークリッド距離での上限値は、U = 255×3^1/3 ≒ 442、マンハッタン距離での上限値は、U = 255×3 = 765である。同様に、１５ビットカラーでは、ユークリッド距離での上限値は、U = 31×3^1/3 ≒ 54、マンハッタン距離での上限値は、U = 31×3 = 103である。

ここで生成されるフィルタは、横Wドット、縦Hドットの画像において、各位置(x,y)の画素を透過度minc(sca(x,y))で透過させるものである。

透過度minc(sca(x,y))は、いわゆるα値に類似する役割を果たす。α値は、一般には、０が完全透明であり、１もしくは上限値が完全不透明であるため、本実施形態の透過度とは、互いに補完し合う関係にある。

透過度minc(sca(x,y))が０か１のいずれか一方のみを値としてとる場合には、上記のフィルタは、W×Hビットで表現することができる。

また、透過度を２５６段階の固定小数点表現とする場合には、バイト値0が透過度0を、バイト値255が透過度1を、バイト値tが透過度t/255を、それぞれ表すように比例配分するのが典型的である。

そして、適用部１０５は、受け付けられた複数の商品画像２０１のそれぞれに、生成されたフィルタを適用することにより、複数の商品のそれぞれの特徴を表す複数の特徴画像を得る。

上記のように、受け付けられた商品画像２０１は、img[0]，img[1]，...，img[N-1]のN枚である。そこで、0≦n<Nを満たす整数nについて、n枚目のimg[n]に、上記のフィルタを適用することにより、特徴画像res[n]を得る。

本実施形態では、特徴画像res[n]は、商品画像２０１と同じく、横Wドット、縦Hドットのサイズを有する。

適用部１０５は、0≦n<Nのそれぞれのnについて、上記のフィルタを、以下のように適用する。ここで、画素値Cは、フィルタ処理を行う際のマスクの色を表す。
res[n](x,y).r = minc(sca(x,y))×img[n](x,y).r +〔1-minc(sca(x,y))〕×C.r；
res[n](x,y).g = minc(sca(x,y))×img[n](x,y).g +〔1-minc(sca(x,y))〕×C.g；
res[n](x,y).b = minc(sca(x,y))×img[n](x,y).b +〔1-minc(sca(x,y))〕×C.b

透過度minc(sca(x,y))が取る値が０か１のいずれかである場合には、画素値res[n](x,y)として、Cかimg[n](x,y)かのいずれか一方をそのまま使用することができる。したがって、この場合には、上記の乗算は不要である。

図４は、商品画像２０１に、上記のフィルタを適用することによって得られる特徴画像の様子を示す説明図である。以下、本図を参照して説明する。

本図に示すように、特徴画像４０１ａ、４０１ｂ、４０１ｃにおいては、瓶の中のマニュキュア液が見える部分４０２ａ、４０２ｂ、４０２ｃのみが抜き出されている。また、抜き出された部分４０２ａ、４０２ｂ、４０２ｃの色彩は、瓶の中身２０３ａ、２０３ｂ、２０３ｃと同じである。このようにして、マニキュア液の色、すなわち、商品２０２の特徴を表す特徴画像４０１が得られるのである。

さて、上記実施形態では、位置(x,y)の透過度trans(x,y)は、位置(x,y)での散らばり度sca(x,y)のみを参照して決めていたが、商品画像２０１に各種のノイズが含まれている場合には、平滑化を行った方が良い場合も多い。

このような平滑化を行うには、たとえば、
trans(x,y) = minc(〔sca(x,y)×4
+ sca(x-1,y)
+ sca(x+1,y)
+ sca(x,y-1)
+ sca(x,y+1)〕/8)
や
trans(x,y) = minc(〔sca(x,y)
+ sca(x-1,y)
+ sca(x+1,y)
+ sca(x,y-1)
+ sca(x,y+1)〕/5)
のように、上下左右と中央の（重み付き）平均をとる手法を採用することができる。

なお、位置(x,y)が画像の一番外側の周縁にある、すなわち、x=0，y=0，x=W-1，y=H-1のいずれか少なくとも１つが成立するために、その上下左右が画像の位置の範囲の外側になってしまう場合には、はみ出た場所の値として、sca(x,y)をそのまま利用しても良いし、値0などを採用することとしても良い。

このような平滑化には、画像処理におけるノイズ除去フィルタや高周波成分除去フィルタの各種の技術を、そのまま適用することができる。たとえば、位置(x,y)の上下左右だけではなく、その周囲のある程度の範囲の重み付き平均をとってから、単調増加関数を適用することとしても良い。

また、単調増加関数として、０と１の間の値を結果として返すようなものを採用した場合には、特徴画像４０１では、特徴となる部分は、元の商品画像２０１における色彩に近い色彩で、類似している部分は、画素値Cに近い色彩で、それぞれ描かれることになる。したがって、このような単調増加関数を採用するだけで、平滑化が行われることになる。

さて、以下では、商品画像処理装置１０１がプログラムを実行するコンピュータにより実現される場合の、処理の手順について説明する。

図５は、商品画像処理装置１０１により実行される商品画像処理の手順を示すフローチャートである。以下、本図を参照して説明する。

本実施形態の商品画像処理方法は、コンピュータがプログラムを非一時的な情報記録媒体から読み出し、あるいは、信号線などの伝送媒体を介して取得して、プログラムの解釈実行を開始することを契機として、開始される。

ここで、コンピュータの制御は、ＣＰＵ（Central Processing Unit）が担い、プログラムや一時的なデータ等は、ＲＡＭ（Random Access Memory）に記憶される。

本処理が開始されると、まず、受付部１０２が、商品画像２０１を受け付ける（ステップＳ５０１）。

本処理は、リーダ機器が各種のメモリカードからデータを読み出したり、ネットワークインターフェースカードが通信ネットワーク等からデータを読み出したり、商品画像２０１が記録されたハードディスク等をＣＰＵが制御して読み出すことによって実現される。

受け付けられた商品画像２０１の情報は、後述する処理を施すために、ＲＡＭ（Random Access Memory）などに蓄積される。

ついで、計算部１０３が、商品画像２０１の各位置の散らばり度を計算し（ステップＳ５０２）、生成部１０４が、フィルタを生成する（ステップＳ５０３）。

これらの計算や生成は、ＲＡＭ内に蓄積された商品画像２０１のデータに基づいて、ＣＰＵや画像処理計算コプロセッサ等が行う。計算により得られた各位置の散らばり度は、ＲＡＭ内に一時的に蓄積され、これを元にフィルタが生成されて、ＲＡＭ内に蓄積される。

最後に、適用部１０５が、フィルタを商品画像２０１に適用して、特徴画像４０１を得て（ステップＳ５０４）、本処理を終了する。

本適用処理は、ＲＡＭ内に蓄積された商品画像２０１のデータならびにフィルタのデータに基づいて、ＣＰＵや画像処理計算コプロセッサ等が行う。

得られた特徴画像４０１は、一時的にＲＡＭに出力された後、メモリカードやハードディスク等に保存、あるいは、通信ネットワークを介して外部に伝送される。

なお、商品画像処理装置１０１は、電子回路を用いた専用ハードウェアにより実現することも可能である。また、本実施形態と同様のアルゴリズムをプログラムとして記述し、当該プログラムを電子回路の構成情報にコンパイルした後、ＦＰＧＡ（Field Programmable Gate Array）を用いて電子回路を構成することも可能である。

このほうに、本実施形態によれば、商品画像２０１から、簡易な計算で、商品の特徴部分を抽出、あるいは、強調した特徴画像４０１を得ることができる。また、特徴部分を抽出等した特徴画像４０１を得ることで、複数の商品画像２０１間の比較が容易になる。

以下では、本実施形態の変形例について説明する。

上記実施形態のフィルタでは、商品画像２０１と特徴画像４０１は、縦横同じドット数で構成されていた。本実施形態におけるフィルタは、商品画像２０１の一部を抜き出すクリッピング処理を行うもので、特徴画像４０１の縦横のドット数は、商品画像２０１の縦横のドット数よりも小さい。

たとえば、ウェブ通信販売において商品を購買者に提示する場合には、商品の詳細な説明画面では商品画像２０１をそのまま表示し、商品を表やリストの形式で一覧表示して比較させる場合には、商品画像２０１を同じ大きさに縮小してアイコン表示することがある。しかしながら、単純な縮小では、商品の差異が目立たなくなってしまうことも多い。

そこで本実施形態では、散らばり度に基づいて、商品画像２０１の一部を抜き出すフィルタを構成する。

以下では、特徴画像４０１として、横Kドット、縦Jドットのものを想定する。すなわち、クリッピング領域の大きさも、横Kドット、縦Jドットとなる。

図６は、散らばり度とクリッピング領域の様子を示す説明図である。以下、本図を参照して説明する。

図３と同様に、本図では、構図全体を表す枠線３０１の中に、散らばり度が高い領域３０２が存在する。これに対して、例として、同じ大きさの４つのクリッピング領域６０１ａ、６０１ｂ、６０１ｃ、６０１ｄが配置されている。各クリッピング領域６０１の輪郭は、点線で図示されている。

クリッピング領域６０１ａは、散らばり度が高い領域３０２とまったく重なっていない。

クリッピング領域６０１ｂは、左下側の一部が散らばり度が高い領域３０２と重なっている。

クリッピング領域６０１ｃは、右側の約半分が散らばり度が高い領域３０２と重なっている。

クリッピング領域６０１ｄは、大半が散らばり度が高い領域３０２と重なっている。

したがって、４つのクリッピング領域６０１ａ、６０１ｂ、６０１ｃ、６０１ｄのうち、商品の特徴を最も良く抽出できるのは、クリッピング領域６０１ｄである、と考えられる。

一般に、商品画像２０１の構図内におけるクリッピングの開始位置(f,g)が与えられると、特徴画像４０１の位置(x,y)における画素値res[n](x,y)は、
res[n](x,y) = img[n](x+f,y+g)
のように表現できる。ここで、特徴画像４０１においては、0≦x<K，0≦y<Jである。

本実施形態では、開始位置(f,g)を、散らばり度に基づいて決定する。ここで、散らばり度は、特徴的な部分であると想定される度合を表すから、評価関数
φ(f,g) = Σ_x=0 ^K-1Σ_y=0 ^J-1 img[n](x+f,y+g)
を最大化するような、(f,g)を求めれば良い。

そこで、本実施形態では、生成部１０４が、0≦f<W-K，0≦g<H-Jのそれぞれの(f,g)について、評価関数φ(f,g)を計算し、最も大きな計算結果が得られた(f,g)を、クリッピングの開始位置として採用する。

なお、0≦f<W-K，0≦g<H-Jのそれぞれの(f,g)について、評価関数φ(f,g)を計算するのでは、大量の計算が必要となる。この場合には、fについては間隔Kごと、あるいは、間隔K/2ごとに、gについては間隔Jごと、あるいは、間隔J/2ごとに、間引いて評価関数φ(f,g)を計算することとして、間引いた候補の中から開始位置(f,g)を選び出すこととしても良い。

図７は、クリッピングを採用したフィルタを用いることで得られる特徴画像の様子を示す説明図である。以下、本図を参照して説明する。

本図に示す特徴画像７０１は、枠線が明示されている。

これらの特徴画像７０１ａ、７０１ｂ、７０１ｃは、図４に示す特徴画像４０１ａ、４０１ｂ、４０１ｃにそれぞれ対応するものであり、特徴画像７０１は、特徴画像４０１よりもサイズが小さい。

また、図４に示す特徴画像４０１ａ、４０１ｂ、４０１ｃは、元の商品画像２０１ａ、２０１ｂ、２０１ｃの画素に改変を施しているが、本図に示す特徴画像７０１ａ、７０１ｂ、７０１ｃは、元の商品画像２０１ａ、２０１ｂ、２０１ｃの一部をそのまま抜き出したものである。

すなわち、本実施例のクリッピングを採用したフィルタは、上記の態様において、散らばり度に基づいて商品画像内のいずれの位置が透過され、いずれの位置が不透過となるかを定め、さらに、透過させる面積が最大となるように、構図内におけるクリッピング領域の位置を定めたものである。

クリッピング領域を定めた後は、本図に示すように、元の商品画像２０１からそのまま抜き出しを行っても良いし、上記のように定めた透過処理とクリッピング処理の両方を適用しても良い。

本実施形態により得られる特徴画像７０１は、商品画像２０１の特徴部分を小さいサイズで抜き出したものであり、商品画像２０１に係る商品２０２を一覧表示する場合などには、商品画像２０１を縮小したアイコンにかえて、もしくは、商品画像２０１を縮小したアイコンに加えて、本特徴画像７０１をそのまま等倍で、もしくは、適宜拡縮して利用することにより、ユーザに商品の特徴をわかりやすく提示することができる。

なお、本実施形態は、上記実施形態と合わせて利用することも可能である。

たとえば、実施例１における透過処理を行った後に、実施例２におけるクリッピング処理を行うフィルタを生成して、当該フィルタにより商品画像２０１から特徴画像を得ることも可能である。この場合は、特徴部分の強調と抽出が同時に行われることになる。

本実施形態は、商品画像２０１の散らばり度のヒストグラムを用いて、単調増加関数を適応的に定めるものである。

図８Ａ、図８Ｂは、それぞれ、ある商品群の商品画像に対して計算された散らばり度の分布を示すヒストグラムである。以下、これらの図を参照して説明する。これらの図の横軸（x軸）は、散らばり度、縦軸（y軸）は、頻度を示す。

これらの図から明らかなように、ヒストグラム８０１は、x=0付近が大きなピークとなり、xが増加するにつれて減少した後、何個かのピークを経て、最終的にはx軸に落ち着く。

商品を写真で撮影する場合には、撮影の際のノイズの影響があるため、かりに同じ商品を何回か撮影したとしても、全く同一の商品画像は得られない。この場合、ノイズが正規分布にしたがうと仮定すると、散らばり度は、x=0で最大で、その後減衰するカイ自乗分布にしたがうと考えられる。

一方、一群の互いに類似する商品を撮影して撮影画像を得た場合には、商品同士の相違部分に起因するピークが、xが増えていく途中に現れる。このピークは、正規分布に類似すると考えられる。

xが増えていく途中に現れるピークは、図８Ａでは、１つであり、図８Ｂでは、２つである。これらのピークが現れる以前の部分が商品の共通部分を表す散らばり度であり、以降の部分が商品の特徴部分を表す散らばり度である、と考えることができる。

ここで、６つのフィッティングパラメータA，B，C，p，q，rを有し、座標(0,A)，(p,B)，(q,C)，(r,0)，(∞,0)を順に通過する折線により、ヒストグラムの形状を近似することを考える。

図９Ａ、図９Ｂは、図８Ａ、図８Ｂに示すヒストグラム８０１ａ、８０１ｂに、折線をカーブフィッティングした様子を表す説明図である。以下、本図を参照して説明する。

本図では、理解を容易にするため、ヒストグラム８０１を点線で、ヒストグラム８０１を近似する折線８０２を実線で、それぞれ表記している。

本図に示すように、最小自乗法を用いてヒストグラム８０１に対して折線８０２のカーブフィッティングを行い、パラメータA，B，C，p，q，rを同定すると、折線８０２の最初の極小点（ｐ,Ｂ）は、ヒストグラム８０１の最初の極小点８０３の近くに置かれることになる。

そこで、フィルタの生成の際には、
minc(s) = 0 (s < p)；
= 1 (s ≧ p)
とした単調増加関数を利用すれば、適応的に商品の共通部分と特徴部分の切れ目の散らばり度pを決定することができる。

なお、カーブフィッティングの対象とできる曲線は、上記の折線に限らず、一般には、
y = f(x)
により表され、x=0で極大となり、x=pで極小となり、x→∞でy→0となる曲線を採用することができる。

このような曲線の形状を定めるフィッティングパラメータを最小自乗法により調整して、ヒストグラムにカーブフィッテイングすることによって、商品の共通部分と特徴部分の切れ目の散らばり度pを決定する。

たとえば、上記の仮定の下では、カイ自乗分布に１つ以上の正規分布を加算したものを曲線とすることができる。この場合、カイ自乗分布の大きさや広がり、正規分布の位置や大きさ、広がりなどがフィッティングパラメータとなる。

このほか、次第に減衰する曲線を表す関数と、ピークを有する関数と、の線形和により表される曲線をカーブフィッティングして、最初の極小点を求めることとしても良い。

また、最初の極小点に限らず、２番目以降のの極小点も閾値pの候補として選び、特徴画像の候補をユーザに提示して、選択を行わせるという態様を採用することもできる。

本実施形態によれば、簡易な計算で、商品画像において、商品の共通部分と特徴部分を適応的に分離することができる。

本発明によれば、商品画像から商品の特徴を表す特徴画像を得るのに好適な商品画像処理装置、商品画像処理方法、情報記録媒体、ならびに、プログラムを提供することができる。

１０１ 商品画像処理装置
１０２ 受付部
１０３ 計算部
１０４ 生成部
１０５ 適用部
１０６ 変換部
２０１ 商品画像
２０２ 商品
２０３ 中身
２０４ ロゴマーク
３０１ 枠線
３０２ 散らばり度が高い領域
４０１ 特徴画像
６０１ クリッピング領域
７０１ 特徴画像
８０１ ヒストグラム
８０２ 折線
８０３ ヒストグラムの最初の極小点

Claims (10)

1. 複数の商品のそれぞれを共通する構図で表す複数の商品画像を受け付ける受付部、
   前記共通する構図内の位置のそれぞれにおいて、前記受け付けられた複数の商品画像のそれぞれの当該位置における画素値から、当該複数の画素値の散らばり度を計算する計算部、
   前記共通する構図内の位置のそれぞれにおいて計算された散らばり度に基づいて当該位置における透過度を定めたフィルタを生成する生成部、
   前記受け付けられた複数の商品画像のそれぞれに、前記生成されたフィルタを適用することにより、前記複数の商品のそれぞれの特徴を表す複数の特徴画像を得る適用部
   を備え、
   前記生成部は、前記共通する構図内において、あらかじめ定めた大きさの矩形領域内の散らばり度の総和が最大となる位置に当該矩形領域を配置し、前記フィルタは、当該矩形領域をクリッピングする
   ことを特徴とする商品画像処理装置。
2. 請求項１に記載の商品画像処理装置であって、
   前記散らばり度は、前記位置における複数の画素値のそれぞれと当該複数の画素値の平均との距離の、標準偏差、分散、最大値、もしくは、最大値と最小値の差、または、前記位置における複数の画素値同士の距離の最大値である
   ことを特徴とする商品画像処理装置。
3. 請求項１に記載の商品画像処理装置であって、
   前記生成部は、前記共通する構図内の位置のそれぞれにおいて計算された散らばり度に単調増加関数を適用した結果を、当該位置における透過度とする
   ことを特徴とする商品画像処理装置。
4. 請求項３に記載の商品画像処理装置であって、
   前記生成部は、前記フィルタにおいて、前記共通する構図内の位置のそれぞれにおいて計算された散らばり度を平滑化してから、前記所定の単調増加関数を適用する
   ことを特徴とする商品画像処理装置。
5. 請求項１に記載の商品画像処理装置であって、
   前記生成部は、前記散らばり度のヒストグラムを、
   y = f(x)
   により表される曲線であって、x=0で極大となり、x=pで極小となり、x→∞でy→0となる曲線に対してカーブフィッティングを行い、
   前記生成部は、前記共通する構図内の位置のそれぞれにおいて計算された散らばり度に、引数がp未満であれば０を適用結果とし、p以上であれば１を適用結果とする単調増加関数を適用した結果を、当該位置における透過度とする
   ことを特徴とする商品画像処理装置。
6. 請求項５に記載の商品画像処理装置であって、
   前記曲線は、座標(0,A)，(p,B)，(q,C)，(r,0)，(∞,0)上の点を順に通過する折線であり、
   前記生成部は、A，B，C，p，q，rをフィッティングパラメータとして、前記カーブフィッティングを行う
   ことを特徴とする商品画像処理装置。
7. 請求項１に記載の商品画像処理装置であって、
   前記受け付けられた複数の商品画像の特徴点を抽出し、当該抽出された特徴点を当該複数の商品画像の間で対応付け、当該対応付けられた特徴点同士の位置の前記構図内における散らばりを最小化するように、前記複数の商品画像をアフィン変換する変換部
   をさらに備え、
   前記計算部による計算は、前記アフィン変換済の複数の商品画像に対して実行される
   ことを特徴とする商品画像処理装置。
8. 複数の商品のそれぞれを共通する構図で表す複数の商品画像を受け付ける受付工程、
   前記共通する構図内の位置のそれぞれにおいて、前記受け付けられた複数の商品画像のそれぞれの当該位置における画素値から、当該複数の画素値の散らばり度を計算する計算工程、
   前記共通する構図内の位置のそれぞれにおいて計算された散らばり度に基づいて当該位置における透過度を定めたフィルタを生成する生成工程、
   前記受け付けられた複数の商品画像のそれぞれに、前記生成されたフィルタを適用することにより、前記複数の商品のそれぞれの特徴を表す複数の特徴画像を得る適用工程
   を備え、
   前記生成工程では、前記共通する構図内において、あらかじめ定めた大きさの矩形領域内の散らばり度の総和が最大となる位置に当該矩形領域を配置し、前記フィルタは、当該矩形領域をクリッピングする
   ことを特徴とする商品画像処理方法。
9. コンピュータを、
   複数の商品のそれぞれを共通する構図で表す複数の商品画像を受け付ける受付部、
   前記共通する構図内の位置のそれぞれにおいて、前記受け付けられた複数の商品画像のそれぞれの当該位置における画素値から、当該複数の画素値の散らばり度を計算する計算部、
   前記共通する構図内の位置のそれぞれにおいて計算された散らばり度に基づいて当該位置における透過度を定めたフィルタを生成する生成部、
   前記受け付けられた複数の商品画像のそれぞれに、前記生成されたフィルタを適用することにより、前記複数の商品のそれぞれの特徴を表す複数の特徴画像を得る適用部
   として機能させ、
   前記生成部は、前記共通する構図内において、あらかじめ定めた大きさの矩形領域内の散らばり度の総和が最大となる位置に当該矩形領域を配置し、前記フィルタは、当該矩形領域をクリッピングする
   ように機能させることを特徴とするプログラムが記録されたコンピュータ読取可能な非一時的な情報記録媒体。
10. コンピュータを、
    複数の商品のそれぞれを共通する構図で表す複数の商品画像を受け付ける受付部、
    前記共通する構図内の位置のそれぞれにおいて、前記受け付けられた複数の商品画像のそれぞれの当該位置における画素値から、当該複数の画素値の散らばり度を計算する計算部、
    前記共通する構図内の位置のそれぞれにおいて計算された散らばり度に基づいて当該位置における透過度を定めたフィルタを生成する生成部、
    前記受け付けられた複数の商品画像のそれぞれに、前記生成されたフィルタを適用することにより、前記複数の商品のそれぞれの特徴を表す複数の特徴画像を得る適用部
    として機能させ、
    前記生成部は、前記共通する構図内において、あらかじめ定めた大きさの矩形領域内の散らばり度の総和が最大となる位置に当該矩形領域を配置し、前記フィルタは、当該矩形領域をクリッピングする
    ように機能させることを特徴とするプログラム。

Images