WO2018151008A1

WO2018151008A1 - 画像認識システム、画像認識方法及び記録媒体

Info

Publication number: WO2018151008A1
Application number: PCT/JP2018/004422
Authority: WO
Inventors: 亮真飯尾; 岩元　浩太; 秀雄横井; 亮高田; 小山　和也
Original assignee: 日本電気株式会社
Priority date: 2017-02-14
Filing date: 2018-02-08
Publication date: 2018-08-23
Also published as: US20200012878A1; US11367266B2; US20220262088A1; CN110326032B; CN110326032A

Abstract

容易に商品の側面の画像認識を行うことができる画像認識システムを提供する。本発明の一実施形態に係る画像認識システムは、下方を撮像するように設けられる撮像装置（１１）の下方において商品を載置するための載置台（１４）と、商品を載置台（１４）の上面に対して所定の角度に支持する支持構造（２００）と、撮像装置（１１）によって取得される商品の画像に対して画像認識を行うことによって商品を識別する画像認識装置（１００）と、を備える。

Description

画像認識システム、画像認識方法及び記録媒体

　本発明は、画像認識システム、画像認識方法及び記録媒体に関する。

　従来、顧客が小売店等において商品を購入する際には、ＰＯＳ端末が商品に付されたバーコードを読み取ることによって商品を識別し、名称や価格等の商品情報を取得することが一般的であった。近年、商品にバーコードが付されていることを必要とせず、画像認識技術を用いて商品の外観的な特徴に基づいて商品を識別する技術が開発されている。

　特許文献１には、所定の認識領域に配置された複数の商品を複数の方向から撮像し、撮像された画像の特徴量から該複数の商品を一括して認識する技術が記載されている。特許文献１に記載の技術において、複数の方向からの撮像は、複数の撮像装置を用いること、あるいは１つの撮像装置の位置を変更することによって行われる。これにより、複数の商品を同時に識別して商品情報を効率的に取得することができる。

特開２０１３－５４６７３号公報

　一般的に商品は立体形状を有しているため、画像認識技術では商品の少なくとも一面について撮像された画像中の外観的な特徴を用いて商品の識別が行われる。例えば商品の上方に固定された１つの撮像装置を用いる場合に、台の上に置かれた商品の上面は自然と撮像されるが、商品の側面を撮像するためには商品を横倒しにする必要がある。しかしながら、顧客の口に触れる飲み口の部分が露出している飲料缶のように、横倒しにすることが衛生的に好ましくない商品がある。また、柔らかな生菓子のように、横倒しにできない、あるいは横倒しにすることによって破損してしまう商品がある。

　特許文献１に記載の技術のように複数の方向から商品を撮像する場合には、商品の上面だけでなく側面を容易に撮像できるものの、複数の撮像装置を設ける又は撮像装置を可動にするためのコストが大きく、また複数の画像の情報を統合する必要があるため処理が複雑である。

　本発明は、上述の問題に鑑みて行われたものであって、容易に商品の側面の画像認識を行うことができる画像認識システムを提供することを目的とする。

　また、飲料缶のように共通のロゴマークを含み様々な大きさで販売されている商品は、画像認識の処理で見分けることが難しい場合がある。また、生鮮食品のように形状や色が多様であり、形状や色を用いる画像認識の処理が適用しづらい商品がある。そのため、商品の種類や状態に従って異なる処理を行うことによって、画像認識の精度を向上させることができると考えられる。しかしながら、特許文献１に記載の技術では、認識領域内に配置される複数の商品が等しく扱われるため、商品によって異なる認識処理を適用することはできない。

　本発明は、上述の問題に鑑みて行われたものであって、画像認識対象の複数の商品に対してそれぞれ異なる認識処理を適用することができる画像認識システム、画像認識方法および記録媒体を提供することを他の目的とする。

　さらに、飲料缶のように共通のロゴマークを含み様々な大きさで販売されている商品は、外観が互いに類似しているため、特許文献１に記載の技術のように単純に商品の外観（特徴量）を用いる画像認識の処理で見分けることが難しい場合がある。

　本発明は、上述の問題に鑑みて行われたものであって、画像認識処理において大きさの異なる類似商品を容易に識別することができる画像認識システム、画像認識方法および記録媒体を提供することをさらに他の目的とする。

　本発明の第１の態様は、画像認識システムであって、下方を撮像するように設けられる撮像装置の下方において商品を載置するための載置台と、前記商品を前記載置台の上面に対して所定の角度に支持する支持構造と、前記撮像装置によって取得される前記商品の画像に対して画像認識を行うことによって前記商品を識別する画像認識装置と、を備える。

　本発明の第２の態様は、画像認識方法であって、認識領域に配置されている商品の画像を取得するステップと、取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別するステップと、を有する。

　本発明の第３の態様は、記録媒体であって、コンピュータに、認識領域に配置されている商品の画像を取得するステップと、取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別するステップと、を実行させるプログラムが記録されている。

　本発明の第４の態様は、画像認識方法であって、所定の面が基準座標の上に位置するように配置されている商品の画像を取得するステップと、取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出するステップと、取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ねるステップと、前記外縁と前記基準座標との差を算出するステップと、前記差に基づいて、取得した前記画像中の前記商品を決定するステップと、を有する。

　本発明の第５の態様は、記録媒体であって、コンピュータに、所定の面が基準座標の上に位置するように配置されている商品の画像を取得するステップと、取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出するステップと、取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ねるステップと、前記外縁と前記基準座標との差を算出するステップと、前記差に基づいて、取得した前記画像中の前記商品を決定するステップと、を実行させるプログラムが記録されている。

　本発明によれば、支持構造によって支持された商品の画像を撮像するため、商品の側面に対して容易に画像認識を行うことができる。

　また、本発明によれば、認識領域に配置されている複数の商品に対してそれぞれ商品の位置に基づいて異なる画像認識の処理を行うことができる。

　さらに、本発明によれば、商品が配置される基準座標を用いることによって、画像認識において大きさの異なる類似商品を容易に識別することができる。

第１の実施形態に係る画像認識システムの模式図である。第１の実施形態に係る支持部の斜視図である。第１の実施形態に係る商品が配置された状態の支持部の上面図である。第１の実施形態に係る載置台上の認識領域の上面図である。第１の実施形態に係る載置台上の認識領域の端の近傍から撮像装置に入射する光の面の模式図である。第１の実施形態に係るＰＯＳ端末のブロック図である。第１の実施形態に係るＰＯＳ端末の概略構成図である。第１の実施形態に係る画像認識方法のフローチャートを示す図である。第２の実施形態に係る支持部の斜視図である。第３の実施形態で認識対象とする商品の模式図である。第３の実施形態に係る商品が配置された状態の支持部の上面図である。第３の実施形態に係る商品が配置された状態の支持部の上面図である。第３の実施形態に係る支持部の斜視図である。第３の実施形態に係る画像認識方法のフローチャートを示す図である。第４の実施形態に係る載置台上の認識領域の上面図である。第４の実施形態に係る画像認識方法のフローチャートを示す図である。第５の実施形態に係る載置台上の認識領域の上面図である。第５の実施形態に係る画像認識方法のフローチャートを示す図である。第６の実施形態に係るＰＯＳ端末のブロック図である。第６の実施形態で識別情報記憶部に記録されている商品の識別情報を示す模式図である。第１の実施形態に係る商品が配置された状態の支持部の上面図である。第６の実施形態に係る画像認識システムによって行われる大きさ判定処理の模式図である。第６の実施形態に係る画像認識システムによって行われる大きさ判定処理の模式図である。第６の実施形態に係る画像認識システムによって行われる大きさ判定処理の模式図である。第６の実施形態に係る画像認識方法のフローチャートを示す図である。第７の実施形態に係る載置台上の認識領域の上面図である。第８の実施形態に係る画像認識システムの模式図である。第８の実施形態に係る棚の前面図である。各実施形態に係る画像認識システムの概略構成図である。各実施形態に係るＰＯＳ端末の概略構成図である。各実施形態に係る画像認識装置の概略構成図である。

　以下、図面を参照して、本発明の実施形態を説明するが、本発明は本実施形態に限定されるものではない。なお、以下で説明する図面で、同機能を有するものは同一符号を付け、その繰り返しの説明は省略することもある。

（第１の実施形態）
　図１は、本実施形態に係る画像認識システム１０の模式図である。画像認識システム１０は、画像認識装置としてのＰＯＳ端末（販売時点情報管理端末）１００、画像認識の対象とする商品を載置するための載置台１４、および載置台１４上において商品を支持するための支持部２００を備える。ＰＯＳ端末１００には、載置台１４上の商品を撮像可能な位置に設けられた撮像装置１１、載置台１４上に所定の像を投影可能な投影装置１２、および商品に係る情報を表示する表示装置１３が接続されている。本実施形態では、画像認識装置は、ＰＯＳ端末１００と一体として構成されているが、ＰＯＳ端末１００とは別に設けられ、ＰＯＳ端末１００と必要な情報を授受して本実施形態に係る画像認識方法を実施するように構成されてもよい。

　ＰＯＳ端末１００は、表示装置１３に会計中の商品情報、会計の金額、所定のメッセージ等を表示する。商品情報は、後述の画像認識方法によって取得される。また、ＰＯＳ端末１００は、入出金やレシートの印刷等、会計に係る任意の処理を行ってよい。

　載置台１４は、水平方向（すなわち重力方向に対して垂直な方向）に延在する載置面（上面）を有する。載置台１４の載置面上には１つ以上の商品Ｂが載置される。

　撮像装置１１は、重力方向に沿って載置台１４の上方に設けられ、不図示の柱、アーム、天井等に固定される。撮像装置１１は、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等のイメージセンサによって画像を取得するカメラ又はスキャナ等の任意の撮像装置である。撮像装置１１は、少なくとも載置台１４の載置面を含む領域を撮像可能であり、撮像した画像を示す信号をＰＯＳ端末１００に送信する。撮像装置１１が撮像した画像を示す信号は、直接ＰＯＳ端末１００に送信されてよく、あるいは一旦記憶装置に記録された後にＰＯＳ端末１００によって読み出されてよい。載置台１４上の商品を一様に撮像するために、撮像装置１１の光軸は載置台１４の載置面の法線と一致していることが望ましい。撮像装置１１は、所定の時間間隔で撮像を行ってよく、あるいはＰＯＳ端末１００からの指示に従って撮像を行ってよい。

　投影装置１２は、重力方向に沿って載置台１４の上方に設けられ、不図示の柱、アーム、天井等に固定される。投影装置１２はランプ、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の光源を用いて所望の像を投影するプロジェクタ等の任意の投影装置である。投影装置１２は、ＰＯＳ端末１００からの信号に従って、載置台１４の載置面上に像を投影する。投影装置１２は、このような投影が実現可能な所定位置に設置される。投影装置１２の設置位置は設計的事項である。例えば、投影装置１２は、載置面の真上や斜め上方に設置され、当該方向から像を投影してもよい。その他、投影装置１２は、載置面上に設置され、横方向から像を投影してもよい。その他、載置台１４を透明の部材で構成し、載置台１４の下方に投影装置１２を設置してもよい。この場合、投影装置１２は、載置台１４の下側から、載置台１４の載置面上に像を投影する。

　本実施形態において投影装置１２は、撮像装置１１によって撮像されて画像認識が行われる認識領域Ａを示す像（例えば認識領域Ａを取り囲む枠）を載置台１４の載置面上に投影する。認識領域Ａは、撮像装置１１の撮像領域と一致してよく、あるいは撮像装置１１の撮像領域の一部でよい。認識領域Ａは、ＰＯＳ端末１００において予め設定されてよく、あるいは利用者によって設定されてよい。

　支持部２００は、載置台１４の載置面上において、商品Ｂを重力方向に対して所定の角度に支持するための支持構造である。支持部２００は、認識領域Ａ内において、載置台１４と一体に（すなわち載置台１４の一部として）構成されてよく、あるいは載置台１４上に載置される部材として構成されてよい。支持部２００の詳細な構成については、図２～４を用いて後述する。

　表示装置１３は、利用者（すなわち店員又は顧客）に対して商品情報等の任意の情報を表示する表示装置である。表示装置１３として、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ等の任意の表示装置を用いてよい。

　商品認識方法を実行する際には、認識対象の各商品Ｂは載置台１４上の認識領域Ａ内に直接配置されるか、あるいは支持部２００に配置される。具体的には、商品Ｂが置かれる時に、商品Ｂの外観的な特徴を自然と重力方向に沿って上方に向けられる（すなわち撮像装置１１に向けられる）場合には、その商品Ｂは載置台１４上の認識領域Ａ内に直接配置される。一方、商品Ｂが置かれる時に、商品Ｂの外観的な特徴が重力方向に対して側方に向く（すなわち撮像装置１１に向かない）場合には、その商品Ｂは支持部２００の上に配置される。外観的な特徴が重力方向に対して側方に向く商品Ｂは、例えば、飲料缶のように略円柱形を有している物品、あるいは透明な容器に入った柔らかい菓子のように横倒しにすることで破損する物品である。

　図２は、本実施形態に係る商品支持構造としての支持部２００の斜視図である。本実施形態では支持部２００は載置台１４と別の部材として構成されているが、載置台１４の載置面の一部を図２の商品支持構造にすることによって構成されてよい。支持部２００は、側面支持体２１０および底面支持体２２０を備える。側面支持体２１０は商品の側面を支持する側面支持面２１１を有し、底面支持体２２０は商品の底面を支持する底面支持面２２１を有する。側面支持面２１１および底面支持面２２１が互いに垂直（すなわちそれらのなす角度が９０度）であり、かつ側面支持面２１１が水平方向（すなわち重力方向に対して垂直な方向）に対して所定の角度Ｃ１をなすように、側面支持体２１０および底面支持体２２０は設けられている。このような構成により、支持部２００は商品を角度Ｃ１で支持し、撮像装置１１による商品の側面の撮像を容易にすることができる。

　角度Ｃ１は、撮像装置１１が商品の側面を安定して撮像できるように、好ましくは０度より大きく９０度より小さい角度であり、より好ましくは３０度以上６０度以下の角度であり、本実施形態では４５度である。角度Ｃ１が水平方向に対して６０度より大きい角度である場合には、商品の側面を撮像装置１１から急角度で撮像することになるため、画像認識の精度が低下する。角度Ｃ１が水平方向に対して３０度より小さい角度である場合には、略円柱形の商品が転がったり、柔らかい商品が破損したりするおそれがある。

　図３は、本実施形態に係る商品支持構造としての支持部２００の上面図である。図３は、側面支持面２１１に対して垂直な方向から、商品Ｄを支持している状態の支持部２００を見た図である。例えば商品Ｄは、飲料缶のように略円柱形を有している物品、あるいは透明な容器に入った柔らかい菓子のように横倒しにすることで破損する物品である。このように側面支持面２１１が商品Ｄの側面を支持し、底面支持面２２１が商品Ｄの底面を支持するため、支持部２００は商品Ｄを安定的に支持するとともに、撮像装置１１による商品Ｄの撮像を容易にすることができる。

　側面支持面２１１の底面支持面２２１に対して垂直な方向に沿った長さＣ２（以下、高さという）は、支持部２００によって支持される略円柱形の商品Ｄの底面支持面２２１に対して垂直な方向に沿った長さ（以下、高さという）よりも小さいことが望ましい。略円柱形の商品Ｄが飲料缶である場合には、一般的に上部に飲み口が設けられる。側面支持面２１１の高さＣ２が商品Ｄの高さ以上である場合には、商品Ｄを支持部２００に配置する際に飲み口が側面支持面２１１に触れる場合がある。そのため、側面支持面２１１の高さＣ２を商品Ｄの高さよりも小さくすることによって、商品Ｄの飲み口が側面支持面２１１に触れづらく、衛生的に好ましい状態にすることができる。

　人間の手で商品を支持する場合には商品の角度が一定でないため、時間ごとに商品の角度が変化し、１つの商品を複数の商品であると誤認したり、画像認識の精度が低下したりするおそれがある。それに対して本実施形態では支持部２００が商品を所定の角度Ｃ１に支持するため、画像認識の精度を向上させることができる。

　図４Ａは、本実施形態に係る載置台１４上の認識領域Ａの上面図である。図４Ａには、撮像装置１１を載置台１４上に投影した位置が破線で示されている。支持部２００は、側面支持面２１１が撮像装置１１に対向するように、すなわち底面支持面２２１が側面支持面２１１よりも撮像装置１１に近いように設けられる。これにより、支持部２００に支持される商品の側面は、撮像装置１１に向くため、撮像装置１１によって撮像可能である。

　支持部２００は、認識領域Ａの端に接して又は端の近傍に設けられる。具体的には、支持部２００は、撮像装置１１の光軸が認識領域Ａと交わる点Ｅ１と、認識領域Ａの端とを結ぶ線分Ｅ２の中点よりも認識領域Ａの端に近い位置に配置されることが好ましい。さらに支持部２００は、線分Ｅ２の三等分点のうち認識領域Ａの端側の点よりも認識領域Ａの端に近い位置に配置されることがより好ましい。

　認識領域Ａにおいて、撮像装置１１の光軸から離れるほど、すなわち撮像装置１１の画角の端に近付くほど、撮像される像の歪みが大きくなる。これは、撮像装置１１に対して球面状に入射する光を平面の画像に投影するためである。図４Ｂは、認識領域Ａの端の近傍から撮像装置１１に入射する光の面Ｅ３の模式図である。認識領域Ａの端の近傍では、光の面Ｅ３の延在する方向は、図４Ｂに示すように重力方向に近い。したがって、載置台１４上に横倒しで載置される商品Ｆ２の側面は、重力方向に垂直な方向に延在するため、重力方向に近い光によって撮像される際に像の歪みが大きくなる。それに対して、支持部２００に０度より大きい所定の角度で支持される商品Ｆ１の側面の延在する方向は、重力方向に近い光の方向と近いため、像の歪みの影響が小さい。このように、本実施形態では支持部２００を認識領域Ａの端に接して又は端の近傍に配置するため、撮像装置１１の画角による影響を低減し、商品の認識精度を向上させることができる。

　図５は、本実施形態に係るＰＯＳ端末１００（画像認識装置）のブロック図である。図５において、矢印は主なデータの流れを示しており、図５に示したもの以外のデータの流れがあってよい。図５において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図５に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。

　ＰＯＳ端末１００は、処理部として、画像取得部１１０、画像認識部１２０、商品情報取得部１３０および表示制御部１４０を備える。また、ＰＯＳ端末１００は、記憶部として、識別情報記憶部１５１および商品情報記憶部１５２を備える。

　画像取得部１１０は、撮像装置１１によって撮像された画像を示す信号を受け取り、画像データとしてＰＯＳ端末１００に入力する。画像データは、撮像装置１１から直接取得されてよく、あるいは記憶装置に記録されたものを読み出すことにより取得されてよい。

　画像認識部１２０は、画像取得部１１０によって取得された画像データに含まれる各商品を抽出する。例えば、識別情報記憶部１５１には、様々な商品の基準画像から予め算出された特徴量が、各商品を識別する商品ＩＤと関連付けられて記録される。特徴量として、形状、色、色の分布等、画像データから算出可能な商品の外観を示す任意の情報を用いてよい。画像認識部１２０は、画像取得部１１０によって取得された画像データから特徴量を算出し、識別情報記憶部１５１に記録された特徴量と比較する。そして、画像認識部１２０は、識別情報記憶部１５１の中で最も類似する（すなわち所定の基準を満たす）特徴量を有する商品を、画像データ中の商品として識別する。画像認識部１２０は、識別された商品の商品ＩＤを識別情報記憶部１５１から取得する。画像認識部１２０によって実行される商品認識方法として、ここに示した具体的な方法に限定されず、画像データから商品を識別可能な任意の画像認識技術が用いられてよい。

　画像認識部１２０は、支持部２００によって支持される商品と、載置台１４に直接載置される（すなわち支持部２００によって支持されない）商品との間で異なる処理を行う。支持部２００が商品を支持する角度Ｃ１、および撮像装置１１と支持部２００との位置関係は一定であり、既知である。そのため、画像認識部１２０は、画像データの中で支持部２００に対応する領域に対して、角度Ｃ１および撮像装置１１と支持部２００との位置関係を用いて補正する。すなわち、画像認識部１２０は、撮像装置１１により撮像された商品の画像を、商品が支持される角度Ｃ１および撮像装置１１と支持部２００との位置関係を用いて伸長することによって、該商品の側面を真正面から撮像する場合の画像またはこの場合に近い画像を生成する。このように補正された画像は一般的に真正面から商品を撮像することによって取得される基準画像と近い状態となるため、上述の画像認識の精度を向上させることができる。

　商品情報記憶部１５２には、商品の名称、価格等の商品に係る任意の商品情報が、商品ＩＤと関連付けられて予め記録される。商品情報取得部１３０は、画像認識部１２０によって取得された商品ＩＤに基づいて、商品情報記憶部１５２に記録された商品情報を取得する。

　表示制御部１４０は、商品情報取得部１３０によって取得された各商品の商品情報を表示する制御を行う。本実施形態において表示制御部１４０は、表示装置１３による表示のほか、プリンタによるレシート印刷等、利用者に対して視覚的に所定の情報を示す処理を制御する。

　図６は、本実施形態に係るＰＯＳ端末１００（画像認識装置）の例示的な機器構成を示す概略構成図である。ＰＯＳ端末１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１と、メモリ１０２と、記憶装置１０３と、インターフェース１０４とを備える。ＰＯＳ端末１００は独立した装置でよく、あるいは他の装置と一体に構成されてよい。

　インターフェース１０４は、他の機器に接続されて信号の送受信を行う接続部である。インターフェース１０４は、信号の送受信に必要なプロセッサ、電気回路、アンテナ、接続端子等を含む。インターフェース１０４は、ＣＰＵ１０１からの信号に従って、接続された機器との間で信号の送受信を行う。インターフェース１０４は、例えば撮像装置１１、投影装置１２、表示装置１３および入力装置１５に接続され、それらと信号の送受信を行う。インターフェース１０４は、これらのほかネットワークやその他の機器に接続されてよい。

　記憶装置１０３は、ＰＯＳ端末１００が実行するプログラムや、プログラムによる処理結果のデータ等を記憶する。記憶装置１０３は、読み取り専用のＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）や、読み書き可能のハードディスクドライブ又はフラッシュメモリ等を含む。また、記憶装置１０３は、ＣＤ－ＲＯＭ等のコンピュータ読取可能な可搬記憶媒体を含んでもよい。メモリ１０２は、ＣＰＵ１０１が処理中のデータや記憶装置１０３から読み出されたプログラムおよびデータを一時的に記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等を含む。

　ＣＰＵ１０１は、処理に用いる一時的なデータをメモリ１０２に一時的に記録し、記憶装置１０３に記録されたプログラムを読み出し、該プログラムに従って該一時的なデータに対して種々の演算、制御、判別などの処理動作を実行するプロセッサである。また、ＣＰＵ１０１は、記憶装置１０３に処理結果のデータを記録し、またインターフェース１０４を介してデータや制御信号を外部に送信する。

　本実施形態においてＣＰＵ１０１は、記憶装置１０３に記録されたプログラムを実行することによって、図５の画像取得部１１０、画像認識部１２０、商品情報取得部１３０および表示制御部１４０として機能する。また、本実施形態において記憶装置１０３は、図５の識別情報記憶部１５１および商品情報記憶部１５２として機能する。

　ＰＯＳ端末１００は、図６に示す具体的な構成に限定されない。ＰＯＳ端末１００は、１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されていてもよい。ＰＯＳ端末１００に含まれる各部は、それぞれ電気回路構成により実現されていてもよい。ここで、電気回路構成とは、単一のデバイス、複数のデバイス、チップセット又はクラウドを概念的に含む文言である。

　また、ＰＯＳ端末１００の少なくとも一部がＳａａＳ（Ｓｏｆｔｗａｒｅ　ａｓ　ａ　Ｓｅｒｖｉｃｅ）形式で提供されてよい。すなわち、ＰＯＳ端末１００を実現するための機能の少なくとも一部が、ネットワーク経由で実行されるソフトウェアによって実行されてよい。

　図７は、本実施形態に係る画像認識方法のフローチャートを示す図である。図７のフローチャートは、利用者が画像認識システム１０に対して画像認識を実行するための所定の操作を行うことによって、あるいは所定の時間ごとに開始される。例えば、利用者がＰＯＳ端末１００に接続された入力装置１５（キーボードやタッチパネル）のボタンを押下することによって、図７のフローチャートが開始される。

　まず、画像取得部１１０は、撮像装置１１によって撮像された画像を示す信号を受け取り、画像データとしてＰＯＳ端末１００に入力する（ステップＳ１０１）。

　次に、画像認識部１２０は、ステップＳ１０１で取得された画像の中で、支持部２００に対応する領域（支持部領域）に対して、支持部２００の角度Ｃ１および撮像装置１１と支持部２００との位置関係を用いて補正を行い、１つの画像データとして出力する（ステップＳ１０２）。支持部領域は、画像中の位置（座標）として予め設定されている。また、画像認識によって画像から支持部２００の位置を決定し、該位置を支持部領域として用いてもよい。

　次に画像認識部１２０は、ステップＳ１０２で補正された画像データに対して画像認識処理を行い、識別情報記憶部１５１の識別情報に基づいて商品を識別する（ステップＳ１０３）。そして画像認識部１２０は、ステップＳ１０３で識別された商品を、画像中の商品として決定する（ステップＳ１０４）。１つの画像データ中に複数の商品が識別された場合には、各商品について以降の処理を行う。

　最後に、商品情報取得部１３０は、ステップＳ１０４で決定された商品の商品ＩＤに基づいて商品情報記憶部１５２から商品情報を取得し、表示制御部１４０は表示装置１３を用いて商品情報を表示する制御を行う（ステップＳ１０５）。

　特に所定の時間ごとに図７のフローチャートが実行される場合には、載置台１４に置かれたままの同一商品について繰り返し商品情報が取得されてしまい、会計において同一商品の価格が複数回集計されるおそれがある。そこで、画像認識部１２０が所定の時間以内又は所定のフレーム数以内に近似（例えば重心の位置の差が所定の値以下）の位置で同一の商品を識別した場合に、商品情報取得部１３０はステップＳ１０５において該商品についての商品情報の取得を行わない（図７のフローチャートには不図示）。

　ＰＯＳ端末１００のＣＰＵ１０１は、図７に示す画像認識方法に含まれる各ステップ（工程）の主体となる。すなわち、ＣＰＵ１０１は、図７に示す画像認識方法を実行するためのプログラムをメモリ１０２又は記憶装置１０３から読み出し、該プログラムを実行してＰＯＳ端末１００の各部を制御することによって図７に示す画像認識方法を実行する。

　本実施形態に係る画像認識システム１０は、支持部２００によって所定の角度に支持された商品を重力方向の上方に設けられた撮像装置１１から撮像し、画像認識を行う。１つの撮像装置のみで商品の側面に対する画像認識を行うことができるため、複数の撮像装置を設ける又は撮像装置を移動させることによって複数方向から商品を撮像するよりも低コストかつ簡単な処理を実現することができる。支持部２００は商品を重力方向に対して安定的に支持するため、撮像装置１１は商品の側面を容易に撮像し、人間の手で支持する場合よりも画像認識の精度を向上させることができる。

　また、載置台１４に直接載置される商品と、支持部２００によって所定の角度に支持される商品とを同時に認識することができるため、利用者が追加の操作を行う必要がない。

　また、支持部２００が商品の側面が水平方向に対して斜めになるように商品を支持するため、商品が転がりづらく、安定した画像認識を行うことができる。さらに、支持部２００が商品を支持する角度は固定され、かつ既知であるため、該角度を用いて商品の画像を補正することができる。これにより、画像認識の精度をさらに向上させることができる。

　また、支持部２００は認識領域Ａの端の近傍に設けられるため、商品の側面を撮像装置１１に入射する光の球面に沿って支持することができる。これにより、撮像装置１１の画角の端における歪みの影響を低減し、画像認識の精度をさらに向上させることができる。

（第２の実施形態）
　第１の実施形態に係る支持部２００は商品を斜めに支持することによって商品の側面を撮像しやすくしているが、本実施形態に係る支持部２００は商品の側面が水平方向に対して平行になるように商品を支持する。このような構成によっても撮像装置１１は商品の側面を容易に撮像することができる。本実施形態は、第１の実施形態と同様の構成を有する画像認識システム１０を用いる。本実施形態に係る支持部２００は、第１の実施形態に係る支持部２００の代わりに用いられてよく、あるいは第１の実施形態に係る支持部２００に加えて用いてられてよい。

　図８は、本実施形態に係る商品支持構造としての支持部２００の斜視図である。支持部２００は載置台１４と別の部材として構成されてよく、あるいは載置台１４の載置面の一部を図８の商品支持構造にすることによって構成されてよい。

　支持部２００は、側面支持体２１０を備える。側面支持体２１０は商品の側面を支持する側面支持面２１１を有する。側面支持面２１１は、水平方向（すなわち重力方向に対して垂直な方向）に対して平行に設けられている。すなわち本実施形態では、第１の実施形態における側面支持面２１１の水平方向に対する角度Ｃ１が０度に設定されている。このような構成により、支持部２００は商品の側面が撮像装置１１に向くように商品を支持し、撮像装置１１による商品の側面の撮像を容易にすることができる。

　さらに、側面支持面２１１上には、２つ以上の任意の数の突起部２３０が設けられる。突起部２３０は、配置される商品の側面に沿って、互いに平行に設けられる。このような突起部２３０によって商品の向きが制限されるため、利用者が支持部２００上に商品を所定の向きで配置しやすい。

　突起部２３０同士の間隔は、配置される商品の幅と略同一であり、好ましくは配置される商品の幅に所定のマージン（例えば幅の２％～１０％程度）を加えた値に設定される。これにより、円柱形や球形の商品が転がることを抑制し、商品の側面に対する画像認識を安定化することができる。

　本実施形態では底面支持体２２０は省略されているが、側面支持体２１０および突起部２３０に対して垂直に接するように底面支持体２２０が設けられてもよい。逆に、第１の実施形態に係る支持部２００に、突起部２３０が設けられてもよい。

　本実施形態に係る支持部２００を用いることによって、第１の実施形態と同様に、撮像装置１１は商品の側面を容易に撮像し、人間の手で支持する場合よりも画像認識の精度を向上させることができる。

（第３の実施形態）
　本実施形態は、第１又は第２の実施形態に係る画像認識システム１０において、さらに商品が配置される位置に基づいた画像認識を行う。すなわち、本実施形態では、商品が配置されている位置（領域）ごとに異なる画像認識処理を行う。

　図９は、本実施形態で認識対象とする商品Ｄ１、Ｄ２の模式図である。商品Ｄ１、Ｄ２は飲料缶のように略円柱形を有している物品である。商品Ｄ１、Ｄ２は互いに異なる大きさを有しており、例えば商品Ｄ１は３５０ｍｌ入りであり、商品Ｄ２は５００ｍｌ入りである。商品Ｄ１、Ｄ２の側面には、共通のロゴマークＧが表されている。すなわち、商品Ｄ１、Ｄ２は大きさが異なるバリエーションの商品である。一般的な画像認識技術は画像データ中の形状、色、色の分布等の外観の特徴量に基づいて画像認識を行う。そのため共通のロゴマークＧを有する商品Ｄ１、Ｄ２は、画像認識によって区別されづらく、同一の商品であると誤認されやすい。

　本実施形態では、このように外観が類似した商品Ｄ１、Ｄ２について、それらが配置される位置、領域または座標の情報を用いることによって画像認識の精度を向上させる。

　本実施形態に係る画像認識処理では、画像認識部１２０は、画像に含まれる商品が、商品が配置されている座標（位置）を用いて識別処理を行う対象であるかどうかを判定し、対象である商品に対しては座標を用いて識別処理を行う。座標を用いて識別処理を行う対象であるかどうかは、座標判定フラグとして商品ごとに予め設定される。例えば図９の商品Ｄ１、Ｄ２は、大きさが異なるバリエーションのある商品であるため、座標を用いて識別処理を行う対象である。これにより、大きさが異なるバリエーションのある商品であっても、利用者によって配置された商品の位置に基づいていずれかの大きさの商品を選択的に識別することができる。

　図１０Ａ、１０Ｂは、商品が配置された状態の支持部２００の上面図である。図１０Ａ、１０Ｂはそれぞれ、側面支持面２１１に対して垂直な方向から、商品Ｄ１、Ｄ２を支持している状態の支持部２００を見た図である。図１０Ａ、１０Ｂのように側面支持面２１１が商品Ｄ１、Ｄ２の側面を支持し、底面支持面２２１が商品Ｄ１、Ｄ２の底面を支持するため、支持部２００は商品Ｄ１、Ｄ２を安定的に支持するとともに、撮像装置１１による商品Ｄ１、Ｄ２の側面の撮像を容易にすることができる。

　図１０Ｃは、本実施形態に係る商品支持構造としての支持部２００の斜視図である。図２の構成に加えて、側面支持面２１１には、図１０Ｃに示すように、側面支持面２１１を２つの領域に区分する領域区分部２１２が設けられる。領域区分部２１２は、側面支持面２１１上において底面支持面２２１に垂直な方向に延在する突起である。領域区分部２１２は、領域を利用者に視覚的に示すことができれば、側面支持面２１１上に表された記号又は色、あるいは投影装置１２により投影された光、あるいは側面支持面２１１上に設けられた構造でよい。

　側面支持面２１１は、領域区分部２１２によって第１の領域Ｈ１および第２の領域Ｈ２に区分される。画像認識部１２０は、商品が領域Ｈ１およびＨ２のどちらに配置されているか（すなわち商品が配置されている位置）によって異なる認識処理を行う。

　領域Ｈ１、Ｈ２の判別のために、画像認識部１２０は、撮像装置１１によって取得される画像中の各画素が領域Ｈ１およびＨ２のどちらに属するかの情報を予め設定し、商品の位置に対応する画素に基づいて、商品が領域Ｈ１およびＨ２のどちらに配置されているかを判定してもよい。あるいは、画像認識部１２０は、領域区分部２１２の位置を認識し、領域区分部２１２の位置と商品との位置関係に基づいて、商品が領域Ｈ１およびＨ２のどちらに配置されているかを判定してもよい。

　例えば、商品Ｄ１、Ｄ２が第１の領域Ｈ１に配置されている場合には、画像認識部１２０は、商品Ｄ１、Ｄ２を小さい商品として判定する。すなわち、図１０Ａの例では小さい商品Ｄ１および大きい商品Ｄ２はいずれも小さい商品として判定される。また、商品Ｄ１、Ｄ２が第２の領域Ｈ２に配置されている場合には、画像認識部１２０は、商品Ｄ１、Ｄ２を大きい商品として判定する。すなわち、図１０Ｂの例では小さい商品Ｄ１および大きい商品Ｄ２はいずれも大きい商品として判定される。実際の運用においては、利用者が小さい商品Ｄ１を第１の領域Ｈ１に配置し、大きい商品Ｄ２を第２の領域Ｈ２に配置することによって、画像認識部１２０は類似する大きさ違いの商品Ｄ１、Ｄ２を正しく識別することができる。

　換言すると、画像認識部１２０は、商品の外観の情報に加えて、商品が配置されている位置の情報に基づいて、商品の識別を行う。これにより商品の外観からのみでは識別が難しい商品について、識別の精度を向上させることができる。

　画像認識部１２０が利用する領域の数は２つに限られず、区別すべき大きさの数に応じて少なくとも２つ以上の任意の数でよい。また、画像認識部１２０は、商品の大きさに限られず、外観のみから区別しづらい商品のその他の性質（味や香り等のバリエーション）を区別するために位置の情報を用いてよい。

　図１１は、本実施形態に係る画像認識方法のフローチャートを示す図である。図１１のフローチャートは、利用者が画像認識システム１０に対して画像認識を実行するための所定の操作を行うことによって、あるいは所定の時間ごとに開始される。例えば、利用者がＰＯＳ端末１００に接続された入力装置１５（キーボードやタッチパネル）のボタンを押下することによって、図１１のフローチャートが開始される。

　まず、画像取得部１１０は、撮像装置１１によって撮像された画像を示す信号を受け取り、画像データとしてＰＯＳ端末１００に入力する（ステップＳ２０１）。

　次に、画像認識部１２０は、ステップＳ２０１で取得された画像の中で、支持部２００に対応する領域（支持部領域）に対して、支持部２００の角度Ｃ１および撮像装置１１と支持部２００との位置関係を用いて補正を行い、１つの画像データとして出力する（ステップＳ２０２）。支持部領域は、画像中の位置（例えば画素の座標）として予め設定されている。また、画像認識によって画像から支持部２００の位置を決定し、該位置を支持部領域として用いてもよい。

　画像認識部１２０はステップＳ２０２で補正された画像データを用いて商品の画像認識処理を行い、識別情報記憶部１５１の識別情報に基づいて商品を識別する（ステップＳ２０３）。そして画像認識部１２０は、ステップＳ２０３で識別された商品を、画像中の商品として決定する（ステップＳ２０４）。１つの画像データ中に複数の商品が識別された場合には、各商品について以降の処理を行う。

　ステップＳ２０４で決定された商品に対して座標判定フラグが設定されている場合に（ステップＳ２０５のＹＥＳ）、画像認識部１２０は、画像中の商品の座標（位置）を取得する（ステップＳ２０６）。座標判定フラグは、商品が配置されている座標を用いて識別処理を行う対象である商品に対して予め設定される。座標判定フラグは、例えば識別情報記憶部１５１に記録される。商品の座標は、例えば画像中で商品の領域を示す座標の集合として表される。ステップＳ２０６の商品の座標の取得は、図１１のようにステップＳ２０５の座標判定フラグの判定の後に行われてよく、あるいはステップＳ２０３の画像認識とともに行われてもよい。

　画像認識部１２０は、ステップＳ２０６で取得された商品の座標に基づいて、ステップＳ２０４で決定された商品が正しいか否かを判定する（ステップＳ２０７）。具体的には画像認識部１２０は、ステップＳ２０６で取得された商品の座標が、ステップＳ２０４で決定された商品に対応する領域内であれば、正しい商品が決定されていると判定する。一方、画像認識部１２０は、ステップＳ２０６で取得された商品の座標が、ステップＳ２０４で決定された商品に対応する領域内でなければ、誤った商品が決定されていると判定する。

　例えば、以下のような処理が行われる。ここでは簡略化のために商品の種類が図１０Ａ、１０Ｂのように小さい商品および大きい商品の２つであることを想定する。画像認識部１２０は、ステップＳ２０４で決定された商品に対応する正しい位置（第１の領域Ｈ１又は第２の領域Ｈ２）を取得する。商品の正しい位置は、予め設定されている。図１０Ａ、１０Ｂの例では、小さい商品の正しい位置は第１の領域Ｈ１であり、大きい商品の正しい位置は第２の領域Ｈ２である。そして、画像認識部１２０は、ステップＳ２０６で取得された商品の座標が、その商品に対応する正しい位置（第１の領域Ｈ１又は第２の領域Ｈ２）にあるか否かを判定する。この判定は任意の方法で行われてよいが、例えば商品に対応する画素群のうち半数以上が、第１の領域Ｈ１に対応する画像中の領域内にある場合に商品の位置は第１の領域Ｈ１上にあると判定され、そうでない場合に第２の領域Ｈ２上にあると判定されてよい。あるいは、商品の領域の中心（重心）が第１の領域Ｈ１にある場合に商品の位置は第１の領域Ｈ１上にあると判定され、そうでない場合に第２の領域Ｈ２上にあると判定されてよい。第１の領域Ｈ１および第２の領域Ｈ２に対応する画像中の領域は、利用者によって予め設定されてよく、あるいは画像認識部１２０が第１の領域Ｈ１および第２の領域Ｈ２を区画する領域区分部２１２を画像認識することによって設定されてよい。

　商品の種類の数および領域の数は２つに限られず、少なくとも２つ以上の任意の数でよく、その場合には商品の配置される領域に応じた場合分けを適宜行えばよい。

　商品が正しい位置にない場合に（ステップＳ２０８のＮＯ）、ステップＳ２０４で決定された商品を、正しい商品に変更する（ステップＳ２０９）。正しい商品は、ステップＳ２０６で取得された商品の座標を含む領域に対応する商品である。図１０Ａ、１０Ｂの例では、ステップＳ２０６で取得された商品の座標が第１の領域Ｈ１内にある場合には正しい商品は小さい商品であり、第２の領域Ｈ２内にある場合には正しい商品は大きい商品である。

　ステップＳ２０４で決定された商品に対して座標判定フラグが設定されていない場合（ステップＳ２０５のＮＯ）又は商品が正しい位置にある場合に（ステップＳ２０８のＹＥＳ）、ステップＳ２０４で決定された商品をそのまま用いる。

　最後に、商品情報取得部１３０は、ステップＳ２０４で決定された商品又はステップＳ２０９で変更された商品の商品ＩＤに基づいて商品情報記憶部１５２から商品情報を取得し、表示制御部１４０は表示装置１３を用いて商品情報を表示する制御を行う（ステップＳ２１０）。

　特に所定の時間ごとに図１１のフローチャートが実行される場合には、載置台１４に置かれたままの同一商品について繰り返し商品情報が取得されてしまい、会計において同一商品の価格が複数回集計されるおそれがある。そこで、画像認識部１２０が所定の時間以内又は所定のフレーム数以内に近似（例えば重心の位置の差が所定の値以下）の位置で同一の商品を識別した場合に、商品情報取得部１３０はステップＳ１１０において該商品についての商品情報の取得を行わない（図１１のフローチャートには不図示）。

　図１１のフローチャートでは、ステップＳ２０４で商品を仮に決定し、該商品の座標が誤った領域である場合にステップＳ２０９において正しい商品に変更するが、この具体的な形態に限られない。例えばステップＳ２０４で画像中の商品に類似する商品の複数の候補を抽出し、該複数の候補のうち座標が正しい領域である候補を、画像中の商品として決定してもよい。

　ＰＯＳ端末１００のＣＰＵ１０１は、図１１に示す画像認識方法に含まれる各ステップ（工程）の主体となる。すなわち、ＣＰＵ１０１は、図１１に示す画像認識方法を実行するためのプログラムをメモリ１０２又は記憶装置１０３から読み出し、該プログラムを実行してＰＯＳ端末１００の各部を制御することによって図１１に示す画像認識方法を実行する。

　本実施形態に係る画像認識システム１０は、商品の外観に加えて、商品の配置される位置を用いて商品の画像認識を行う。これにより、商品の外観からのみでは画像認識による区別をしづらい商品（本実施形態では外観が類似しているが大きさの異なる飲料缶）について、商品が配置される位置に基づいて画像認識の結果を絞り込むことができるため、画像認識の精度を向上させることができる。

　また、支持部２００が商品を支持する角度は固定され、かつ既知であるため、該角度を用いて商品の画像を補正することができる。これにより、画像認識の精度をさらに向上させることができる。

（第４の実施形態）
　第３の実施形態では大きさの異なる商品を識別しやすくするために位置を用いるのに対して、本実施形態では種類の異なる商品を識別しやすくするために位置を用いる。本実施形態は、第３の実施形態と同様の構成を有する画像認識システム１０を用いる。本実施形態は、第１～第３のいずれかの実施形態の代わりに用いられてよく、あるいは第１～第３の少なくともいずれかの実施形態に組み合わせて用いてられてよい。

　図１２は、本実施形態に係る載置台１４上の認識領域Ａの上面図である。図１２には、撮像装置１１を載置台１４上に投影した位置が破線で示されている。

　認識領域Ａは、領域区分線Ｊによって第１の領域Ｊ１および第２の領域Ｊ２に区分される。領域区分線Ｊは、認識領域Ａ上に表された線である。領域区分線Ｊは、領域を利用者に視覚的に示すことができれば、認識領域Ａ上に表された記号又は色、あるいは投影装置１２により投影された光、あるいは認識領域Ａ上に設けられた構造でよい。画像認識部１２０は、商品が領域Ｊ１およびＪ２のどちらに配置されているか（すなわち商品が配置されている位置）によって異なる認識処理を行う。

　領域Ｊ１、Ｊ２の判別のために、画像認識部１２０は、撮像装置１１によって取得される画像中の各画素が領域Ｊ１およびＪ２のどちらに属するかの情報を予め設定し、商品の位置に対応する画素に基づいて、商品が領域Ｊ１およびＪ２のどちらに配置されているかを判定してもよい。あるいは、画像認識部１２０は、領域区分線Ｊの位置を認識し、領域区分線Ｊの位置と商品との位置関係に基づいて、商品が領域Ｊ１およびＪ２のどちらに配置されているかを判定してもよい。

　本実施形態において認識対象とする第１の種類の商品Ｋ１および第２の種類の商品Ｋ２は、互いに種類が異なる商品である。具体的には、商品Ｋ１は、商品の内容を表すパッケージに包まれており外観が一定の一般物品である。一般物品は、外観が安定しているため、外観を用いる画像認識の処理で識別しやすい。一方、商品Ｋ２は、パッケージに包まれていない、又は透明なパッケージに包まれており、商品そのものが見える状態の生鮮食品である。生鮮食品は形状や色等の外観が多様であり、外観を用いる画像認識の処理で識別しづらい。生鮮食品には、商品名、価格およびバーコードを含むラベルが付与されていることが多い。

　例えば、商品が第１の領域Ｊ１に配置されている場合には、画像認識部１２０は、商品が一般物品であるものとして画像認識処理を行う。すなわち、図１２の例では商品Ｋ１に対して一般物品用の画像認識処理が行われる。商品が第２の領域Ｊ２に配置されている場合には、画像認識部１２０は、商品が生鮮食品であるものとして画像認識処理を行う。すなわち、図１２の例では商品Ｋ２に対して生鮮食品用の画像認識処理が行われる。

　一般物品用の画像認識処理は、商品全体から算出される特徴量（形状、色、色の分布等）を用いて識別を行う。生鮮食品用の画像認識処理は、商品全体ではなく、商品に付与されたラベル内の領域から算出される特徴量を用いて識別を行う。これにより、一般物品については通常の画像認識を適用するのに対して、外観が不定の生鮮食品については外観が安定したラベルの情報を用いて画像認識を適用するため、画像認識の精度を向上させることができる。それぞれの種類の商品に対する具体的な画像認識処理として、ここに示したものに限られず、その種類に適した任意の方法が用いられてよい。

　実際の運用においては、利用者が一般物品である商品Ｋ１を第１の領域Ｊ１に配置し、生鮮食品である商品Ｋ２を第２の領域Ｊ２に配置することによって、画像認識部１２０は種類の異なる商品Ｋ１、Ｋ２に対してそれぞれ適切な画像認識処理を適用することができる。

　換言すると、画像認識部１２０は、商品の外観の情報に加えて、商品が配置されている位置の情報に基づいて、商品の識別を行う。これにより商品が配置される位置によって適切な画像認識処理を選択することができ、識別の精度を向上させることができる。

　画像認識部１２０が利用する領域の数は２つに限られず、区別すべき商品の種類に応じた少なくとも２つ以上の任意の数でよい。

　図１３は、本実施形態に係る画像認識方法のフローチャートを示す図である。図１３のフローチャートは、利用者が画像認識システム１０に対して画像認識を実行するための所定の操作を行うことによって開始される。例えば、利用者がＰＯＳ端末１００に接続された入力装置１５（キーボードやタッチパネル）のボタンを押下することによって、あるいは所定の時間ごとに、図１３のフローチャートが開始される。

　まず、画像取得部１１０は、撮像装置１１によって撮像された画像を示す信号を受け取り、画像データとしてＰＯＳ端末１００に入力する（ステップＳ３０１）。

　次に、画像認識部１２０は、ステップＳ３０１で取得された画像中の商品の位置を取得する（ステップＳ３０２）。画像中で検出された各商品について、以下のステップＳ３０３～Ｓ３０７を行う。

　画像認識部１２０は、商品の位置が認識領域Ａ上の第１の領域Ｊ１および第２の領域Ｊ２のどちらにあるかを判定する。この判定は任意の方法で行われてよいが、例えば商品に対応する画素群のうち半数以上が、第１の領域Ｊ１に対応する画像中の領域内にある場合に商品の位置は第１の領域Ｊ１上にあると判定され、そうでない場合に第２の領域Ｊ２上にあると判定されてよい。第１の領域Ｊ１および第２の領域Ｊ２に対応する画像中の領域は、利用者によって予め設定されてよく、あるいは画像認識部１２０が第１の領域Ｊ１および第２の領域Ｊ２を区画する領域区分線Ｊを画像認識することによって設定されてよい。

　ステップＳ３０２で取得された商品の位置が第１の領域Ｊ１内にある場合には（ステップＳ３０３のＹＥＳ）、画像認識部１２０は、該商品に対して一般物品用の画像認識処理を行い、識別情報記憶部１５１の識別情報に基づいて商品を識別する（ステップＳ３０４）。

　ステップＳ３０２で取得された商品の位置が第２の領域Ｊ２内にある場合には（ステップＳ３０３のＮＯ）、画像認識部１２０は、該商品に対して生鮮食品用の画像認識処理を行い、識別情報記憶部１５１の識別情報に基づいて商品を識別する（ステップＳ３０５）。

　そして画像認識部１２０は、ステップＳ３０４又はＳ３０５で識別された商品を、画像中の商品として決定する（ステップＳ３０６）。

　最後に、商品情報取得部１３０は、ステップＳ３０６で決定された商品の商品ＩＤに基づいて商品情報記憶部１５２から商品情報を取得し、表示制御部１４０は表示装置１３を用いて商品情報を表示する制御を行う（ステップＳ３０７）。

　ＰＯＳ端末１００のＣＰＵ１０１は、図１３に示す画像認識方法に含まれる各ステップ（工程）の主体となる。すなわち、ＣＰＵ１０１は、図１３に示す画像認識方法を実行するためのプログラムをメモリ１０２又は記憶装置１０３から読み出し、該プログラムを実行してＰＯＳ端末１００の各部を制御することによって図１３に示す画像認識方法を実行する。

　本実施形態に係る画像認識システム１０は、第３の実施形態と同様に、商品の外観に加えて、商品の配置される位置を用いて商品の画像認識を行う。これにより、商品が配置される位置に基づいて商品の種類（本実施形態では一般物品および生鮮食品）ごとに適切な画像認識処理を実行できるため、画像認識の精度を向上させることができる。

（第５の実施形態）
　第３の実施形態では大きさの異なる商品を識別しやすくするために位置を用いるのに対して、本実施形態では認識領域中の位置によって環境が異なる場合であっても画像認識の精度を向上させるために位置を用いる。本実施形態は、第３の実施形態と同様の構成を有する画像認識システム１０を用いる。本実施形態は、第１～第４のいずれかの実施形態の代わりに用いられてよく、あるいは第１～第４の少なくともいずれかの実施形態に組み合わせて用いてられてよい。

　図１４は、本実施形態に係る載置台１４上の認識領域Ａの上面図である。図１４には、撮像装置１１を載置台１４上に投影した位置が破線で示されている。

　認識領域Ａは、各領域上に異なる色が付されることによって第１の領域Ｍ１および第２の領域Ｍ２に区分される。図１４では、第２の領域Ｍ２上に多数の点を表すことによって、第１の領域Ｍ１とは色が異なることが示されている。各領域を利用者に視覚的に示すことができれば、認識領域Ａ上に表された記号又は色、あるいは投影装置１２により投影された光、あるいは認識領域Ａ上に設けられた構造によって各領域が表されてよい。画像認識部１２０は、商品が領域Ｍ１およびＭ２のどちらに配置されているか（すなわち商品が配置されている位置）によって異なる認識処理を行う。

　領域Ｍ１、Ｍ２の判別のために、画像認識部１２０は、撮像装置１１によって取得される画像中の各画素が領域Ｍ１およびＭ２のどちらに属するかの情報を予め設定し、商品の位置に対応する画素に基づいて、商品が領域Ｍ１およびＭ２のどちらに配置されているかを判定してもよい。あるいは、画像認識部１２０は、各領域の色に基づいて範囲を特定し、商品が領域Ｍ１およびＭ２のどちらに配置されているかを判定してもよい。

　本実施形態において、第１の領域Ｍ１および第２の領域Ｍ２では、環境光の明るさが異なる。光源と認識領域Ａとの間に遮蔽物が存在すると、認識領域Ａに影ができるため、認識領域Ａ上の位置によって明るさが変わる。その結果、商品が配置される位置によって撮像装置１１によって取得される商品の画像の明るさが変化するため、識別情報記憶部１５１に記録されている基準画像（特徴量）との比較結果に影響し得る。図１４の例では、第１の領域Ｍ１は相対的に明るい明領域であり、第２の領域Ｍ２は相対的に暗い暗領域である。

　例えば、商品が第１の領域Ｍ１に配置されている場合には、画像認識部１２０は、明るい状態に適した画像認識処理を行う。すなわち、図１４の例では商品Ｎ１に対して明領域用の画像認識処理が行われる。商品が第２の領域Ｍ２に配置されている場合には、画像認識部１２０は、暗い状態に適した画像認識処理を行う。すなわち、図１４の例では商品Ｎ２に対して暗領域用の画像認識処理が行われる。

　例えば明領域用の画像認識処理は商品の画像データに対して明度を下げる補正を行った後に画像認識を行い、暗領域用の画像認識処理は商品の画像データに対して明度を上げる補正を行った後に画像認識を行う。これによって明るさを一定に近付けて画像認識を行うことができるため、商品が配置される位置によらず類似の画像認識の条件にすることができ、画像認識の精度を向上させることができる。それぞれの明るさの領域の商品に対する具体的な画像認識処理として、ここに示したものに限られず、その明るさに適した任意の方法が用いられてよい。ここでは単純に画像の明るさを補正しているが、例えば暗領域用の画像認識処理では画像中の色を用いず、明領域用の画像認識処理では画像中の色を用いることのように、領域ごとに処理を大幅に変えてもよい。

　換言すると、画像認識部１２０は、商品の外観の情報に加えて、商品が配置されている位置の情報に基づいて、商品の識別を行う。これにより商品が配置される位置の環境に対して適切な画像認識処理を適用することができ、識別の精度を向上させることができる。

　画像認識部１２０が利用する領域の数は２つに限られず、区別すべき商品の種類に応じた任意の数でよい。太陽や蛍光灯等の光源の状態が変わるために認識領域Ａ上の明るさが変化する場合には、時間や日付によって各領域の範囲、ならびに各領域に対して行われる処理を変更してもよい。

　図１５は、本実施形態に係る画像認識方法のフローチャートを示す図である。図１５のフローチャートは、利用者が画像認識システム１０に対して画像認識を実行するための所定の操作を行うことによって開始される。例えば、利用者がＰＯＳ端末１００に接続された入力装置１５（キーボードやタッチパネル）のボタンを押下することによって、あるいは所定の時間ごとに、図１５のフローチャートが開始される。

　まず、画像取得部１１０は、撮像装置１１によって撮像された画像を示す信号を受け取り、画像データとしてＰＯＳ端末１００に入力する（ステップＳ４０１）。

　次に、画像認識部１２０は、ステップＳ４０１で取得された画像中の商品の位置を取得する（ステップＳ４０２）。画像中で検出された各商品について、以下のステップＳ４０３～Ｓ４０７を行う。

　画像認識部１２０は、商品の位置が認識領域Ａ上の第１の領域Ｍ１および第２の領域Ｍ２のどちらにあるかを判定する。この判定は任意の方法で行われてよいが、例えば商品に対応する画素群のうち半数以上が、第１の領域Ｍ１に対応する画像中の領域内にある場合に商品の位置は第１の領域Ｍ１上にあると判定され、そうでない場合に第２の領域Ｍ２上にあると判定されてよい。第１の領域Ｍ１および第２の領域Ｍ２に対応する画像中の領域は、利用者によって予め設定されてよく、あるいは画像認識部１２０が第１の領域Ｍ１および第２の領域Ｍ２の色を画像認識することによって設定されてよい。

　ステップＳ４０２で取得された商品の位置が第１の領域Ｍ１内にある場合には（ステップＳ４０３のＹＥＳ）、画像認識部１２０は、該商品に対して明領域用の画像認識処理を行い、識別情報記憶部１５１の識別情報に基づいて商品を識別する（ステップＳ４０４）。

　ステップＳ４０２で取得された商品の位置が第２の領域Ｍ２内にある場合には（ステップＳ４０３のＮＯ）、画像認識部１２０は、該商品に対して暗領域用の画像認識処理を行い、識別情報記憶部１５１の識別情報に基づいて商品を識別する（ステップＳ４０５）。

　そして画像認識部１２０は、ステップＳ４０４又はＳ４０５で識別された商品を、画像中の商品として決定する（ステップＳ４０６）。

　最後に、商品情報取得部１３０は、ステップＳ４０６で決定された商品の商品ＩＤに基づいて商品情報記憶部１５２から商品情報を取得し、表示制御部１４０は表示装置１３を用いて商品情報を表示する制御を行う（ステップＳ４０７）。

　ＰＯＳ端末１００のＣＰＵ１０１は、図１５に示す画像認識方法に含まれる各ステップ（工程）の主体となる。すなわち、ＣＰＵ１０１は、図１５に示す画像認識方法を実行するためのプログラムをメモリ１０２又は記憶装置１０３から読み出し、該プログラムを実行してＰＯＳ端末１００の各部を制御することによって図１５に示す画像認識方法を実行する。

　本実施形態に係る画像認識システム１０は、第３の実施形態と同様に、商品の外観に加えて、商品の配置される位置を用いて商品の画像認識を行う。これにより、商品が配置される位置の環境に対して適切な画像認識処理を実行できるため、画像認識の精度を向上させることができる。

（第６の実施形態）
　本実施形態は、第１～第５のいずれかの実施形態に係る画像認識システム１０において、さらに基準線を用いる大きさ判定処理を行うことによって、異なる大きさの類似商品を区別する。

　図１６は、本実施形態に係るＰＯＳ端末１００（画像認識装置）のブロック図である。図１６において、矢印は主なデータの流れを示しており、図１６に示したもの以外のデータの流れがあってよい。図１６において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図１６に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。

　本実施形態によるＰＯＳ端末１００は、処理部として、図５に示す画像取得部１１０、画像認識部１２０、商品情報取得部１３０および表示制御部１４０に加えて、大きさ判定部１６０を備える。

　画像認識部１２０（抽出部ともいう）は、画像取得部１１０によって取得された画像に含まれる各商品を抽出し、抽出された各商品の画像中の範囲とともに抽出結果を出力する。例えば、識別情報記憶部１５１には、様々な商品の基準画像から予め算出された特徴量が、各商品を識別する商品ＩＤと関連付けられて識別情報として記録される。特徴量として、形状、色、色の分布等、画像データから算出可能な商品の外観を示す任意の情報を用いてよい。画像認識部１２０は、画像取得部１１０によって取得された画像データから特徴量を算出し、識別情報記憶部１５１に記録された特徴量と比較する。そして、画像認識部１２０は、識別情報記憶部１５１の中で最も類似する（すなわち所定の基準を満たす）特徴量を有する商品を、画像中の商品として識別する。画像認識部１２０は、識別された商品の識別子である商品ＩＤを識別情報記憶部１５１から取得して出力する。また、画像認識部１２０は、識別された商品の範囲（例えば特徴量を算出した領域の左上点および右下点の座標）を出力する。画像認識部１２０によって実行される商品認識方法として、ここに示した具体的な方法に限定されず、画像データから商品を識別可能な任意の画像認識技術が用いられてよい。

　大きさ判定部１６０（決定部ともいう）は、画像認識部１２０によって決定された商品の大きさが画像中の商品の大きさに近いか否かを判定し、それによって最終的に商品を決定する。具体的な大きさ判定処理については図１９Ａ～１９Ｃを用いて後述する。

　本実施形態においてＣＰＵ１０１は、記憶装置１０３に記録されたプログラムを実行することによって、図１６の画像取得部１１０、画像認識部１２０、商品情報取得部１３０、表示制御部１４０及び大きさ判定部１６０として機能する。

　本実施形態に係る画像認識処理では、画像認識部１２０は、予め記録された商品画像の外縁を画像中の商品に重ね合わせ、所定の基準線と外縁との差に基づいて商品を識別する。これにより、大きさが異なるバリエーションのある商品であっても、画像中の商品に近い大きさの商品を選択的に識別することができる。

　本実施形態では、図９に示すように外観が類似した商品Ｄ１、Ｄ２について、商品Ｄ１、Ｄ２が配置される基準線（基準座標）からの差を用いることによって大きさの区別を容易にし、画像認識の精度を向上させる。

　図１７は、本実施形態で識別情報記憶部１５１に記録されている商品Ｄ１、Ｄ２の識別情報を示す模式図である。識別情報記憶部１５１には、商品Ｄ１、Ｄ２の識別情報として、商品Ｄ１、Ｄ２の商品ＩＤ、商品Ｄ１、Ｄ２の画像から算出される特徴量とともに、商品Ｄ１、Ｄ２のそれぞれの商品画像の外縁を囲む矩形の領域である外縁Ｐ１、Ｐ２の範囲（例えば左上点および右下点の座標）が記録される。外縁Ｐ１、Ｐ２は、商品Ｄ１、Ｄ２の外形を検出することによって自動的に検出されてよく、あるいは利用者によって設定されてよい。図１７には視認性のために商品Ｄ１、Ｄ２の画像そのものが示されているが、商品Ｄ１、Ｄ２から算出される特徴量および商品Ｄ１、Ｄ２の外縁Ｐ１、Ｐ２の範囲を示す情報が、文字列、バイナリデータ等の任意の形式で識別情報記憶部１５１に記録されていればよい。

　図１８は、商品が配置された状態の支持部２００の上面図である。図１８は、側面支持面２１１に対して垂直な方向から、商品Ｄ１、Ｄ２を支持している状態の支持部２００を見た図である。図１８のように側面支持面２１１が商品Ｄ１、Ｄ２の側面を支持し、底面支持面２２１が商品Ｄ１、Ｄ２の底面を支持するため、支持部２００は商品Ｄ１、Ｄ２の底面を底面支持面２２１に揃えて支持するとともに、撮像装置１１による商品Ｄ１、Ｄ２の側面の撮像を容易にすることができる。

　図１９Ａ～１９Ｃは、本実施形態に係る画像認識システム１０によって行われる大きさ判定処理の模式図である。図１９Ａ～１９Ｃにはそれぞれｘ軸およびｙ軸が示されているが、ｘ軸およびｙ軸のとり方は任意である。ここでは画像中の商品Ｄ１、Ｄ２は互いに類似しているため、商品Ｄ１、Ｄ２は従来の画像認識処理によって商品Ｄ１、Ｄ２のどちらにも決定され得る。本実施形態に係る大きさ判定処理は、画像中の商品Ｄ１、Ｄ２が、それぞれ大きさが異なる類似商品Ｄ１、Ｄ２のどちらであるか基準線（基準座標）を用いて高精度に識別する。ここでは商品の種類が２つの場合を示したが、種類の数は少なくとも２つの任意の数でよい。

　図１９Ａ～１９Ｃには、撮像装置１１によって取得される画像において、商品Ｄ１、Ｄ２とともに、大きさ判定の基準とする基準線Ｑ（すなわち基準座標の集まり）が示されている。基準線Ｑは、例えばｙ＝Ａ（Ａは定数）の式によって表される基準座標（基準点）であってもよい。商品Ｄ１、Ｄ２は支持部２００によって支持されているため、商品Ｄ１、Ｄ２の所定の面（ここでは底面）は底面支持面２２１に自然と揃えられている。そのため、本実施形態では底面支持面２２１の位置を基準線Ｑとして定義し、各商品の底面は基準線Ｑ上に位置する。基準線Ｑ上に位置させる所定の面は、底面に限らず、商品の形状に応じた任意の面でよい。

　まず大きさ判定部１６０は、図１９Ａに示すように、撮像装置１１によって取得される画像における商品Ｄ１、Ｄ２の位置および基準線Ｑの位置を取得する。大きさ判定部１６０は、画像認識部１２０が抽出した商品Ｄ１、Ｄ２の位置を画像認識部１２０から受け取る。撮像装置１１によって取得される画像中の基準線Ｑの位置は、利用者によって予め設定され、記憶装置に記録されてよい。その場合には、大きさ判定部１６０は、例えば撮像装置１１によって取得される画像における特定の画素の座標を、基準線Ｑの位置として記憶装置から読み出す。あるいは撮像装置１１によって取得される画像中の基準線Ｑの位置は、画像認識部１２０が支持部２００（底面支持面２２１）を画像認識することによって設定されてよい。その場合には、大きさ判定部１６０は、例えば画像認識部１２０が支持部２００の形状、色、模様等の外観に基づいて決定した底面支持面２２１の位置を、基準線Ｑの位置として画像認識部１２０から受け取る。

　第１に、画像認識部１２０によって商品Ｄ１、Ｄ２に対してともに商品Ｄ１が抽出された場合を説明する。大きさ判定部１６０は、抽出された商品Ｄ１に対応する外縁Ｐ１の範囲を画像認識部１２０から受け取る。そして大きさ判定部１６０は、図１９Ｂのように商品Ｄ１の外縁Ｐ１を、画像中の商品Ｄ１、Ｄ２に重ねる。外縁Ｐ１の範囲および画像中の商品Ｄ１、Ｄ２の範囲は、例えばそれぞれの領域の左下点および右下点の座標（ｘ座標およびｙ座標）によって表される。そして、外縁Ｐ１の範囲および画像中の商品Ｄ１、Ｄ２の範囲の向きおよび中心点（重心）が一致するように、外縁Ｐ１および商品Ｄ１、Ｄ２は重ねられる。この状態が図１９Ｂに示されている。大きさ判定部１６０は、画像中の各商品について基準線Ｑと外縁Ｐ１と間の距離を差Ｒとして算出する。画像認識部１２０は、差Ｒが所定の範囲内である場合（ここでは画像中の商品Ｄ１に商品Ｄ１の外縁Ｐ１が重ねられた場合）に、抽出された商品Ｄ１を採用し、所定の範囲内でない場合（ここでは画像中の商品Ｄ２に商品Ｄ１の外縁Ｐ１が重ねられた場合）に、抽出された商品Ｄ２を破棄する。差Ｒの所定の範囲は、利用者によって予め設定される。

　第２に、画像認識部１２０によって商品Ｄ１、Ｄ２に対してともに商品Ｄ２が抽出された場合を説明する。大きさ判定部１６０は、抽出された商品Ｄ２に対応する外縁Ｐ２の範囲を画像認識部１２０から受け取る。そして大きさ判定部１６０は、図１９Ｃのように商品Ｄ２の外縁Ｐ２を、画像中の商品Ｄ１、Ｄ２に重ねる。外縁Ｐ２の範囲および画像中の商品Ｄ１、Ｄ２の範囲は、例えばそれぞれの領域の左下点および右下点の座標（ｘ座標およびｙ座標）によって表される。そして、外縁Ｐ２の範囲および画像中の商品Ｄ１、Ｄ２の範囲の向きおよび中心点（重心）が一致するように、外縁Ｐ２および商品Ｄ１、Ｄ２は重ねられる。この状態が図１９Ｃに示されている。大きさ判定部１６０は、画像中の各商品について基準線Ｑと外縁Ｐ２と間の距離を差Ｒとして算出する。画像認識部１２０は、差Ｒが所定の範囲内である場合（ここでは画像中の商品Ｄ２に商品Ｄ２の外縁Ｐ２が重ねられた場合）に、抽出された商品Ｄ２を採用し、所定の範囲内でない場合（ここでは画像中の商品Ｄ１に商品Ｄ２の外縁Ｐ２が重ねられた場合）に、抽出された商品Ｄ１を破棄する。差Ｒの所定の範囲は、利用者によって予め設定される。

　ここでは差Ｒとして基準線Ｑと外縁（すなわち外縁の基準線Ｑに最も近い点）との間の距離を用いたが、基準線Ｑと外縁との間の相対的な位置関係を表すその他の値を用いてもよい。例えば、外縁のいずれかの辺の中点を外縁の基準点とし、該基準点と基準線Ｑとの間の距離を差Ｒとして用いてもよい。あるいは、外縁の各辺の中点をそれぞれ外縁の基準点とし、複数の該基準点のそれぞれと基準線Ｑとの間の複数の距離を差Ｒとして用いてもよい。あるいは、商品の向きを検出することによって外縁の底辺を特定し、底辺上の特定の点（例えば端点又は中点）を外縁の基準点とし、該基準点と基準線Ｑとの間の距離を差Ｒとして用いてもよい。

　このように本実施形態に係る大きさ判定部１６０は、商品の外縁と基準線との間の差を算出し、該差が所定の範囲内である場合に、画像中の商品に近い大きさであるとみなし、商品を高精度に判定することができる。また、支持部２００が商品を支持するため、商品（商品の底面）の位置を基準線に容易に揃えることができる。

　図２０は、本実施形態に係る画像認識方法のフローチャートを示す図である。図２０のフローチャートは、利用者が画像認識システム１０に対して画像認識を実行するための所定の操作を行うことによって、あるいは所定の時間ごとに開始される。例えば、利用者がＰＯＳ端末１００に接続された入力装置１５（キーボードやタッチパネル）のボタンを押下することによって、図２０のフローチャートが開始される。

　まず、画像取得部１１０は、撮像装置１１によって撮像された画像を示す信号を受け取り、画像データとしてＰＯＳ端末１００に入力する（ステップＳ５０１）。

　次に画像認識部１２０は、ステップＳ５０１で取得された画像の中で、支持部２００に対応する領域（支持部領域）に対して、支持部２００の角度Ｃ１および撮像装置１１と支持部２００との位置関係を用いて補正を行い、１つの画像データとして出力する（ステップＳ５０２）。支持部領域は、画像中の位置（例えば画素の座標）として予め設定されている。また、画像認識によって画像から支持部２００の位置を決定し、該位置を支持部領域として用いてもよい。

　画像認識部１２０はステップＳ５０２で補正された画像データを用いて商品の画像認識処理を行い、識別情報記憶部１５１の識別情報に基づいて商品を識別する（ステップＳ５０３）。そして画像認識部１２０は、ステップＳ５０３で識別された商品を、画像中の商品として決定する（ステップＳ５０４）。１つの画像データ中に複数の商品が識別された場合には、各商品について以降の処理を行う。

　次に大きさ判定部１６０は、ステップＳ５０１で取得された画像から基準線Ｑの位置を取得する（ステップＳ５０５）。商品の所定の面（例えば底面）は、基準線Ｑ上に位置している。画像中の基準線Ｑの位置は、例えば利用者によって予め設定された内容を読み出すこと、又はステップＳ５０１で取得された画像に対して画像認識を行うことによって取得される。

　次に大きさ判定部１６０は、画像中の商品の範囲およびステップＳ５０４で決定された商品の外縁の範囲を示す情報を画像認識部１２０から受け取り、ステップＳ５０４で決定された商品の外縁を画像中の商品に重ねる（ステップＳ５０６）。このとき、例えば外縁の範囲および商品の範囲の向きおよび中心点（重心）が一致するように、ステップＳ５０４で決定された商品の外縁が画像中の商品に重ねられる。商品の外縁は、例えば識別情報記憶部１５１に予め記録される。なお、商品の外縁とは、予め登録されている商品画像の外縁であってもよく、予め登録されている商品の外縁そのもの（すなわち外縁を表す点又は線の集まり）を記憶していてもよい。

　次に大きさ判定部１６０は、商品に重ねられた外縁の基準点と基準線Ｑとの間の距離を差Ｒとして算出する（ステップＳ５０７）。例えば、外縁の基準線Ｑに最も近い点を外縁の基準点とし、該基準点と基準線Ｑとの間の距離を差Ｒとして用いてもよい。あるいは、外縁のいずれかの辺の中点を外縁の基準点とし、該基準点と基準線Ｑとの間の距離を差Ｒとして用いてもよい。あるいは、外縁の各辺の中点をそれぞれ外縁の基準点とし、複数の該基準点のそれぞれと基準線Ｑとの間の複数の距離を差Ｒとして用いてもよい。あるいは、商品の向きを検出することによって外縁の底辺を特定し、底辺上の特定の点（例えば端点又は中点）を外縁の基準点とし、該基準点と基準線Ｑとの間の距離を差Ｒとして用いてもよい。

　ステップＳ５０７で算出された差Ｒが所定の範囲内である場合に（ステップＳ５０８のＹＥＳ）、商品情報取得部１３０は、ステップＳ５０４で決定された商品の商品ＩＤに基づいて商品情報記憶部１５２から商品情報を取得し、表示制御部１４０は表示装置１３を用いて商品情報を表示する制御を行う（ステップＳ５０９）。

　ステップＳ５０７で算出された差Ｒが所定の範囲内でない場合に（ステップＳ５０８のＮＯ）、商品情報取得部１３０は、ステップＳ５０４で決定された商品の識別結果を破棄する（ステップＳ５１０）。

　特に所定の時間ごとに図２０のフローチャートが実行される場合には、載置台１４に置かれたままの同一商品について繰り返し商品情報が取得されてしまい、会計において同一商品の価格が複数回集計されるおそれがある。そこで、画像認識部１２０が所定の時間以内又は所定のフレーム数以内に近似（例えば重心の位置の差が所定の値以下）の位置で同一の商品を識別した場合に、商品情報取得部１３０はステップＳ５０９において該商品についての商品情報の取得を行わない（図２０のフローチャートには不図示）。

　図２０のフローチャートでは、ステップＳ５０４で商品を仮に決定し、基準線との差が所定の範囲外であればステップＳ５１０で商品の識別結果を破棄するが、この具体的な形態に限られない。例えばステップＳ５０４で画像中の商品に類似する商品の複数の候補を抽出し、該複数の候補のうち基準線との差が所定の基準を満たす（例えば最も差が小さい）候補を、画像中の商品として決定してもよい。

　ＰＯＳ端末１００のＣＰＵ１０１は、図２０に示す画像認識方法に含まれる各ステップ（工程）の主体となる。すなわち、ＣＰＵ１０１は、図２０に示す画像認識方法を実行するためのプログラムをメモリ１０２又は記憶装置１０３から読み出し、該プログラムを実行してＰＯＳ端末１００の各部を制御することによって図２０に示す画像認識方法を実行する。

　本実施形態に係る画像認識システム１０は、商品の外観に加えて、商品の外縁と基準線（基準座標）との位置の差を用いて商品の識別を行う。これにより、大きさの異なる複数の類似商品がある場合であっても、画像中の商品に近い大きさを有する商品を決定することができるため、画像認識の精度を向上させることができる。

　また、本実施形態は商品の底面が基準線に揃っていることを前提とするが、支持部２００が商品を支持するとともに、基準線が底面支持面２２１に対応するため、商品（商品の底面）を基準線に容易に揃えることができる。

（第７の実施形態）
　第６の実施形態では支持部２００を用いて商品の位置を基準線Ｑに揃えているのに対して、本実施形態では利用者によって商品の位置を載置台１４上に表される基準線Ｑに揃える。本実施形態は、第６の実施形態と同様の構成を有する画像認識システム１０を用いる。本実施形態は、第１～第６のいずれかの実施形態の代わりに用いられてよく、あるいは第１～第６の少なくともいずれかの実施形態に組み合わせて用いてられてよい。

　図２１は、本実施形態に係る載置台１４上の認識領域Ａの上面図である。図２１には、撮像装置１１を載置台１４上に投影した位置が破線で示されている。認識領域Ａ内には、大きさ判定の基準とする基準線Ｑが表されている。基準線Ｑは、利用者に視覚的に示すことができる任意の方法によって表され、例えば載置台１４上の設けられた突起や窪み等の構造、載置台１４に表された記号や色、あるいは投影装置１２により投影された光によって表される。

　撮像装置１１によって取得される画像中の基準線Ｑの位置は、利用者によって予め設定されるか、あるいは画像認識部１２０が認識領域Ａ内の基準線Ｑを画像認識することによって設定されてよい。

　画像認識を行う前に、利用者は飲料缶等の大きさが異なるバリエーションがあり得る商品Ｄ１、Ｄ２を、その底面が基準線Ｑに揃うように配置する。なお、バリエーションのない商品については、利用者は認識領域Ａ上の任意の領域に配置してもよい。

　次に、利用者は画像認識システム１０に対して画像認識方法を実行するための操作を行う。画像認識システム１０は、図２０のフローチャートに示す画像認識方法に従って、載置台１４上に配置された商品Ｄ１、Ｄ２に対して画像認識を行う。そして、画像認識システム１０は、認識領域Ａ内に表された基準線Ｑに基づいて大きさの判定を行う。

　その後、画像認識システム１０は、画像認識によって識別された商品の商品情報を表示装置１３に表示する。

　本実施形態では、第１の実施形態とは異なり利用者の手で商品を基準線Ｑに揃うように配置する手間があるものの、大きさの異なる複数の類似商品がある場合であっても、画像中の商品に近い大きさを有する商品を選択的に識別することができるため、画像認識の精度を向上させることができる。

（第８の実施形態）
　第６および第７の実施形態はＰＯＳ端末において会計時の商品を画像認識の対象とするのに対して、本実施形態は棚に置かれた状態の商品を画像認識の対象とする。以下では主に第６の実施形態と異なる点を説明する。

　図２２は、本実施形態に係る画像認識システム２０の模式図である。画像認識システム２０は、画像認識装置３００、画像認識の対象とする商品を配置するための棚４００を備える。画像認識装置３００には、棚４００上の商品を撮像可能な位置に設けられた撮像装置１１、および商品に係る情報を表示する表示装置１３が接続されている。撮像装置１１および表示装置１３の構成は第６の実施形態と同様である。第６の実施形態に比べて投影装置１２は省略されているが、設けられてもよい。

　第６の実施形態ではＰＯＳ端末１００を画像認識装置としているが、本実施形態では一般的なコンピュータを画像認識装置３００とする。第６の実施形態のように、画像認識装置３００をＰＯＳ端末のような他の装置と一体に構成してもよい。

　画像認識装置３００の機器構成は、図６に示すＰＯＳ端末１００の機器構成と同様である。画像認識装置３００は、画像認識方法によって棚４００上の商品を識別し、表示装置１３に棚４００上の商品の配置に関する情報を表示する。商品の配置に関する情報は、例えば特定の商品が配置されている数および位置の情報、あるいは商品の配置が基準とする陳列条件を満たしているか否かの情報等である。

　撮像装置１１は、棚４００の前面を撮像可能な位置に設けられ、不図示の柱、アーム、天井等に固定される。１つの撮像装置１１で棚４００の広範囲の画像認識を行うために、撮像装置１１を可動にし、棚４００の異なる領域を撮像可能にすることが望ましい。撮像装置１１は、少なくとも棚４００の前面を含む領域を撮像可能であり、撮像した画像を示す信号を画像認識装置３００に送信する。撮像装置１１が撮像した画像を示す信号は、直接画像認識装置３００に送信されてよく、あるいは一旦記憶装置に記録された後に画像認識装置３００によって読み出されてよい。撮像装置１１は、所定の時間間隔で撮像を行ってよく、あるいは画像認識装置３００からの指示に従って撮像を行ってよい。

　図２３は、本実施形態に係る棚４００の前面図である。棚４００は、水平方向（すなわち重力方向に対して垂直な方向）に延在する少なくとも１つの棚板４１０を有する。棚板４１０上に商品Ｄ１、Ｄ２が載置される。撮像装置１１によって商品Ｄ１、Ｄ２の配置が撮像可能であれば、棚４００の前面側に透明な扉が設けられてもよい。

　本実施形態において、棚板４１０の上面が、大きさ判定の基準とする基準線Ｑに対応する。そのため、棚４００に配置されている商品Ｄ１、Ｄ２の所定の面（ここでは底面）は、基準線Ｑに自然と揃えられている。

　撮像装置１１によって取得される画像中の基準線Ｑの位置は、利用者によって予め設定されるか、あるいは画像認識部１２０が棚板４１０を画像認識することによって設定されてよい。

　画像認識を行う際に、利用者は画像認識システム２０に対して画像認識方法を実行するための操作を行う。画像認識システム２０は、図２０のフローチャートに示す画像認識方法に従って、棚４００に配置された商品Ｄ１、Ｄ２に対して画像認識を行う。そして、画像認識システム１０は、基準線Ｑ（すなわち棚板４１０の上面）に基づいて大きさの判定を行う。

　その後、画像認識システム２０は、画像認識によって識別された商品の商品情報を用いて、表示装置１３に棚４００上の商品の配置に関する情報を表示する。

　本実施形態に係る画像認識システム２０は、会計時の商品ではなく、棚に並んでいる商品に対して画像認識を行い、商品の配置に関する情報を出力する。このとき、大きさの異なる複数の類似商品がある場合であっても、画像中の商品に近い大きさを有する商品を選択的に識別することができるため、画像認識の精度を向上させることができる。また、商品が配置されている棚板の上面を大きさ判定の基準線とするため、商品（商品の底面）を基準線に容易に揃えることができる。

（その他の実施形態）
　図２４は、上述の各実施形態に係る画像認識システム１０の概略構成図である。図２４には、画像認識システム１０が商品の側面に対して画像認識を行うための構成例が示されている。画像認識システム１０は、下方を撮像するように設けられる撮像装置の下方において商品を載置するための載置台１４と、前記商品を前記載置台の上面に対して所定の角度に支持する支持構造（支持部）２００と、前記撮像装置によって取得される前記商品の画像に対して画像認識を行うことによって前記商品を識別する画像認識装置（ＰＯＳ端末）１００と、を備える。

　図２５は、上述の各実施形態に係るＰＯＳ端末１００の概略構成図である。図２５には、ＰＯＳ端末１００が商品の位置の情報を用いて画像認識を行う画像認識装置として機能するための構成例が示されている。ＰＯＳ端末１００は、認識領域に配置されている商品の画像を取得する画像取得部１１０と、取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別する画像認識部１２０と、を備える。

　図２６は、上述の各実施形態に係る画像認識装置の概略構成図である。図２６には、画像認識装置（すなわちＰＯＳ端末１００又は画像認識装置３００）が、基準座標の情報を用いて商品の画像認識を行う装置として機能するための構成例が示されている。画像認識装置（ＰＯＳ端末）１００、３００は、所定の面が基準座標の上に位置するように配置されている商品の画像を取得する画像取得部１１０と、取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出する画像認識部（抽出部）１２０と、取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ね、前記外縁と前記基準座標との差を算出し、前記差に基づいて、取得した前記画像中の前記商品を決定する大きさ判定部（決定部）１６０と、を備える。

　本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

　上述の各実施形態の機能を実現するように該実施形態の構成を動作させるプログラム（例えば、図７、１１、１３、１５および２０に示す処理をＰＯＳ端末１００に実行させるプログラム）を記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のコンピュータプログラムが記録された記録媒体はもちろん、そのコンピュータプログラム自体も各実施形態に含まれる。

　該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。

　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
　下方を撮像するように設けられる撮像装置の下方において商品を載置するための載置台と、
　前記商品を前記載置台の上面に対して所定の角度に支持する支持構造と、
　前記撮像装置によって取得される前記商品の画像に対して画像認識を行うことによって前記商品を識別する画像認識装置と、
　を備える画像認識システム。

（付記２）
　前記画像認識装置は、前記載置台に直接載置される前記商品と、前記支持構造に支持される前記商品との間で異なる前記画像認識を行うように構成されることを特徴とする、付記１に記載の画像認識システム。

（付記３）
　前記画像認識装置は、前記載置台上の所定の認識領域に対して前記画像認識を行うように構成され、
　前記支持構造は、前記認識領域の端に接して又は前記端の近傍に設けられることを特徴とする、付記１又は２に記載の画像認識システム。

（付記４）
　前記支持構造は、前記撮像装置の光軸が前記認識領域に交わる点と、前記認識領域の前記端とを結ぶ線分の中点よりも前記認識領域の前記端に近い位置に設けられることを特徴とする、付記３に記載の画像認識システム。

（付記５）
　前記認識領域を投影する投影装置をさらに備えることを特徴とする、付記３又は４に記載の画像認識システム。

（付記６）
　前記支持構造は、前記載置台の上面に対して前記角度をなす側面支持面を有することを特徴とする、付記１～５のいずれか一項に記載の画像認識システム。

（付記７）
　前記支持構造は、前記側面支持面に対して垂直な底面支持面を有することを特徴とする、付記６に記載の画像認識システム。

（付記８）
　前記角度は、０度より大きく９０度より小さいことを特徴とする、付記１～７のいずれか一項に記載の画像認識システム。

（付記９）
　前記角度は、３０度以上６０度以下であることを特徴とする、付記８に記載の画像認識システム。

（付記１０）
　前記画像認識装置は、前記角度を用いて前記画像を補正し、補正された前記画像に対して前記画像認識を行うように構成されていることを特徴とする、付記８又は９に記載の画像認識システム。

（付記１１）
　前記画像認識装置は、
　　認識領域に配置されている前記商品の前記画像を取得する画像取得部と、
　取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別する画像認識部と、
　を備えることを特徴とする、付記１～１０のいずれか一項に記載の画像認識システム。

（付記１２）
　前記認識領域は少なくとも２つの領域に区分されており、
　前記画像認識部は、前記少なくとも２つの領域に対してそれぞれ異なる処理を用いて前記商品を識別することを特徴とする、付記１１に記載の画像認識システム。

（付記１３）
　前記少なくとも２つの領域は、前記認識領域に表された記号又は色、前記認識領域に投影された光、および前記認識領域に設けられた構造のいずれかによって示されることを特徴とする、付記１２に記載の画像認識システム。

（付記１４）
　前記画像取得部は、前記認識領域に設けられた前記支持構造によって支持されている前記商品の前記画像を取得し、
　前記画像認識部は、取得した前記画像における前記商品の外観および前記商品の前記支持構造上の位置に基づいて、前記商品を識別することを特徴とする、付記１１～１３のいずれか一項に記載の画像認識システム。

（付記１５）
　前記画像認識部は、前記商品の前記認識領域中の前記位置に基づいて前記商品の大きさを判定し、前記大きさを用いて前記商品を識別することを特徴とする、付記１１～１４のいずれか一項に記載の画像認識システム。

（付記１６）
　前記画像認識部は、前記商品を識別する際に、前記商品の前記認識領域中の前記位置に基づいて前記商品の種類を判定し、前記種類を用いて前記商品を識別することを特徴とする、付記１１～１５のいずれか一項に記載の画像認識システム。

（付記１７）
　前記画像認識部は、前記商品を識別する際に、前記商品の前記認識領域中の前記位置に基づいて、取得した前記画像における前記商品の前記認識領域中の前記位置の明るさを判定し、前記明るさを用いて前記商品を識別することを特徴とする、付記１１～１６のいずれか一項に記載の画像認識システム。

（付記１８）
　認識領域に配置されている商品の画像を取得するステップと、
　取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別するステップと、
　を有する画像認識方法。

（付記１９）
　コンピュータに、
　認識領域に配置されている商品の画像を取得するステップと、
　取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別するステップと、
　を実行させるプログラムが記録された記録媒体。

（付記２０）
　前記画像認識装置は、
　　所定の面が基準座標の上に位置するように配置されている前記商品の前記画像を取得する画像取得部と、
　　取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出する抽出部と、
　　取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ね、前記外縁と前記基準座標との差を算出し、前記差に基づいて、取得した前記画像中の前記商品を決定する決定部と、
　を備えることを特徴とする、付記１～１７のいずれか一項に記載の画像認識システム。

（付記２１）
　前記決定部は、前記差が所定の範囲内である場合に、抽出した前記商品を、取得した前記画像中の前記商品として決定することを特徴とする、付記２０に記載の画像認識システム。

（付記２２）
　前記決定部は、取得した前記画像中の前記商品の中心が前記外縁の中心に一致するように、取得した前記画像中の前記商品に前記外縁を重ねることを特徴とする、付記２０又は２１に記載の画像認識システム。

（付記２３）
　前記外縁は、抽出した前記商品を囲む矩形の領域であることを特徴とする、付記２０～２２のいずれか一項に記載の画像認識システム。

（付記２４）
　前記商品は、前記商品の前記所定の面を支持する支持面を有する前記支持構造によって支持され、
　前記基準座標は前記支持面に対応することを特徴とする、付記２０～２３のいずれか一項に記載の画像認識システム。

（付記２５）
　前記商品は、水平方向に延在する前記載置台に載置され、
　前記基準座標は、前記載置台上に表されていることを特徴とする、付記２０～２３のいずれか一項に記載の画像認識システム。

（付記２６）
　前記商品は、水平方向に延在する棚板を有する棚に配置され、
　前記基準座標は、前記棚板の上面に対応することを特徴とする、付記２０～２３のいずれか一項に記載の画像認識システム。

（付記２７）
　所定の面が基準座標の上に位置するように配置されている商品の画像を取得するステップと、
　取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出するステップと、
　取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ねるステップと、
　前記外縁と前記基準座標との差を算出するステップと、
　前記差に基づいて、取得した前記画像中の前記商品を決定するステップと、
　を有する画像認識方法。

（付記２８）
　コンピュータに、
　所定の面が基準座標の上に位置するように配置されている商品の画像を取得するステップと、
　取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出するステップと、
　取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ねるステップと、
　前記外縁と前記基準座標との差を算出するステップと、
　前記差に基づいて、取得した前記画像中の前記商品を決定するステップと、
　を実行させるプログラムが記録された記録媒体。

　以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　この出願は、２０１７年２月１４日に出願された日本出願特願２０１７－０２４８９０を基礎とする優先権、２０１７年２月１４日に出願された日本出願特願２０１７－０２４８９１を基礎とする優先権、及び２０１７年２月１４日に出願された日本出願特願２０１７－０２４８９２を基礎とする優先権を主張し、それらの開示の全てをここに取り込む。

　１０、２０　画像認識システム
　１１　撮像装置
　１２　投影装置
　１３　表示装置
　１４　載置台
　１００、３００　ＰＯＳ端末（画像認識装置）
　１０１　ＣＰＵ
　１０２　メモリ
　１０３　記憶装置
　１０４　インターフェース
　１１０　画像取得部
　１２０　画像認識部
　１３０　商品情報取得部
　１４０　表示制御部
　１６０　大きさ判定部
　２００　支持部
　２１１　側面支持面
　２２１　底面支持面
　Ａ　認識領域
　Ｐ１、Ｐ２　外縁
　Ｑ　基準線

Claims

　下方を撮像するように設けられる撮像装置の下方において商品を載置するための載置台と、
　前記商品を前記載置台の上面に対して所定の角度に支持する支持構造と、
　前記撮像装置によって取得される前記商品の画像に対して画像認識を行うことによって前記商品を識別する画像認識装置と、
　を備える画像認識システム。
　前記画像認識装置は、前記載置台に直接載置される前記商品と、前記支持構造に支持される前記商品との間で異なる前記画像認識を行うように構成されることを特徴とする、請求項１に記載の画像認識システム。
　前記画像認識装置は、前記載置台上の所定の認識領域に対して前記画像認識を行うように構成され、
　前記支持構造は、前記認識領域の端に接して又は前記端の近傍に設けられることを特徴とする、請求項１又は２に記載の画像認識システム。
　前記支持構造は、前記撮像装置の光軸が前記認識領域に交わる点と、前記認識領域の前記端とを結ぶ線分の中点よりも前記認識領域の前記端に近い位置に設けられることを特徴とする、請求項３に記載の画像認識システム。
　前記認識領域を投影する投影装置をさらに備えることを特徴とする、請求項３又は４に記載の画像認識システム。
　前記支持構造は、前記載置台の上面に対して前記角度をなす側面支持面を有することを特徴とする、請求項１～５のいずれか一項に記載の画像認識システム。
　前記支持構造は、前記側面支持面に対して垂直な底面支持面を有することを特徴とする、請求項６に記載の画像認識システム。
　前記角度は、０度より大きく９０度より小さいことを特徴とする、請求項１～７のいずれか一項に記載の画像認識システム。
　前記角度は、３０度以上６０度以下であることを特徴とする、請求項８に記載の画像認識システム。
　前記画像認識装置は、前記角度を用いて前記画像を補正し、補正された前記画像に対して前記画像認識を行うように構成されていることを特徴とする、請求項８又は９に記載の画像認識システム。
　前記画像認識装置は、
　　認識領域に配置されている前記商品の前記画像を取得する画像取得部と、
　取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別する画像認識部と、
　を備えることを特徴とする、請求項１～１０のいずれか一項に記載の画像認識システム。
　前記認識領域は少なくとも２つの領域に区分されており、
　前記画像認識部は、前記少なくとも２つの領域に対してそれぞれ異なる処理を用いて前記商品を識別することを特徴とする、請求項１１に記載の画像認識システム。
　前記少なくとも２つの領域は、前記認識領域に表された記号又は色、前記認識領域に投影された光、および前記認識領域に設けられた構造のいずれかによって示されることを特徴とする、請求項１２に記載の画像認識システム。
　前記画像取得部は、前記認識領域に設けられた前記支持構造によって支持されている前記商品の前記画像を取得し、
　前記画像認識部は、取得した前記画像における前記商品の外観および前記商品の前記支持構造上の位置に基づいて、前記商品を識別することを特徴とする、請求項１１～１３のいずれか一項に記載の画像認識システム。
　前記画像認識部は、前記商品の前記認識領域中の前記位置に基づいて前記商品の大きさを判定し、前記大きさを用いて前記商品を識別することを特徴とする、請求項１１～１４のいずれか一項に記載の画像認識システム。
　前記画像認識部は、前記商品を識別する際に、前記商品の前記認識領域中の前記位置に基づいて前記商品の種類を判定し、前記種類を用いて前記商品を識別することを特徴とする、請求項１１～１５のいずれか一項に記載の画像認識システム。
　前記画像認識部は、前記商品を識別する際に、前記商品の前記認識領域中の前記位置に基づいて、取得した前記画像における前記商品の前記認識領域中の前記位置の明るさを判定し、前記明るさを用いて前記商品を識別することを特徴とする、請求項１１～１６のいずれか一項に記載の画像認識システム。
　認識領域に配置されている商品の画像を取得するステップと、
　取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別するステップと、
　を有する画像認識方法。
　コンピュータに、
　認識領域に配置されている商品の画像を取得するステップと、
　取得した前記画像における前記商品の外観および前記商品の前記認識領域中の位置に基づいて、前記商品を識別するステップと、
　を実行させるプログラムが記録された記録媒体。
　前記画像認識装置は、
　　所定の面が基準座標の上に位置するように配置されている前記商品の前記画像を取得する画像取得部と、
　　取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出する抽出部と、
　　取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ね、前記外縁と前記基準座標との差を算出し、前記差に基づいて、取得した前記画像中の前記商品を決定する決定部と、
　を備えることを特徴とする、請求項１～１７のいずれか一項に記載の画像認識システム。
　前記決定部は、前記差が所定の範囲内である場合に、抽出した前記商品を、取得した前記画像中の前記商品として決定することを特徴とする、請求項２０に記載の画像認識システム。
　前記決定部は、取得した前記画像中の前記商品の中心が前記外縁の中心に一致するように、取得した前記画像中の前記商品に前記外縁を重ねることを特徴とする、請求項２０又は２１に記載の画像認識システム。
　前記外縁は、抽出した前記商品を囲む矩形の領域であることを特徴とする、請求項２０～２２のいずれか一項に記載の画像認識システム。
　前記商品は、前記商品の前記所定の面を支持する支持面を有する前記支持構造によって支持され、
　前記基準座標は前記支持面に対応することを特徴とする、請求項２０～２３のいずれか一項に記載の画像認識システム。
　前記商品は、水平方向に延在する前記載置台に載置され、
　前記基準座標は、前記載置台上に表されていることを特徴とする、請求項２０～２３のいずれか一項に記載の画像認識システム。
　前記商品は、水平方向に延在する棚板を有する棚に配置され、
　前記基準座標は、前記棚板の上面に対応することを特徴とする、請求項２０～２３のいずれか一項に記載の画像認識システム。
　所定の面が基準座標の上に位置するように配置されている商品の画像を取得するステップと、
　取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出するステップと、
　取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ねるステップと、
　前記外縁と前記基準座標との差を算出するステップと、
　前記差に基づいて、取得した前記画像中の前記商品を決定するステップと、
　を有する画像認識方法。
　コンピュータに、
　所定の面が基準座標の上に位置するように配置されている商品の画像を取得するステップと、
　取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出するステップと、
　取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ねるステップと、
　前記外縁と前記基準座標との差を算出するステップと、
　前記差に基づいて、取得した前記画像中の前記商品を決定するステップと、
　を実行させるプログラムが記録された記録媒体。