JP6268350B1 - 情報処理システム - Google Patents

Abstract

【課題】所定エリアに置かれた物体の認識精度を高めるために、物体を高品質に撮像することができるようにした情報処理システムを提供すること。【解決手段】物体が置かれ得る所定エリアが撮像された結果として得られる撮像画像を取得する画像取得部２３４と、取得された前記撮像画像に基づいて、所定エリアにおける前記物体の存在を認識する存在認識部２３５と、撮像画像における前記物体の影が生じない又は減少するように、物体を照明する照明部２０８、を備える。【選択図】図１０

Description

本発明は、情報処理システムに関する。

従来より、コンビニエンスストア、スーパーマーケット、ショッピングセンター、各種の量販店などの商店では、購入者が商品棚から商品を取り、ショッピングカートや買い物かごに入れて、商店の出口付近に設けられた商品の代金を精算するためのキャッシュレジスター端末まで運び、セルフキャッシュレジスター等によって商品の代金の精算を行っている（例えば、特許文献１参照）。

ただし、ショッピングカートや買い物かごに入っている商品の代金をキャッシュレジスター端末で精算する場合には、セルフキャッシュレジスター端末による精算であっても、いずれかの商品を特定するために商品毎にバーコードの読み取りが発生してしまう。このため、精算を待つ購入者の列を解消することはできず、購入者は長時間キャッシュレジスター端末による代金の精算を待つことになる。
また、購入者が商店で購入したい商品を購入するときに、他に多数の購入者がいる場合、購入者は、長時間キャッシュレジスター端末による代金の精算を待つことを嫌がり、結果的に買い物自体を諦めてしまう場合がある。
上記のような事情を考慮すると、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化、及び商品の代金の精算にかかる時間の短縮化を図ることができるシステムが要求されている。
そこで、本出願人は、キャッシュレジスター等の所定領域に商品が置かれると、カメラ等のセンシングデバイスで当該所定領域を撮像し、その結果得られる撮像画像から当該商品候補の物体を認識し、当該物体（商品候補）が如何なる商品であるのかを特定し、特定された商品についての代金決済をするまでの一連の処理を実行可能な次世代レジシステムについて、既に特許出願をしている（特願２０１６−０８０６２４）。

特開２００１−７６２６１号公報

しかしながら、上述の特許文献１を含め従来のセルフレジシステムにあっては、レジの所定領域（所定エリア）に置かれた商品をセンシングデバイスで撮像するに際して、商品によって所定エリアに影が生じ、その影が撮像画像に映り込むことがある。そうすると、撮像画像を利用した情報処理システムは、商品を誤認したり、認識できなかったりする。

本発明は、所定エリアに置かれた物体の認識精度を高めるために、物体を高品質に撮像することができるようにした情報処理システムを提供することを目的とする。

上記目的を達成するため、本発明の一態様の情報処理システムは、
物体が置かれ得る所定エリアが撮像された結果として得られる撮像画像を取得する取得手段と、
取得された前記撮像画像に基づいて、前記所定エリアにおける前記物体の存在を認識する認識手段と、
前記撮像画像における前記物体の影が生じない又は減少するように、前記物体を照明する照明手段と、
を備える。

また、前記照明手段は、複数備えられ、一の前記照明手段で前記所定エリアに生じた影の少なくとも一部を別の前記照明手段によって除去するように配置されているようにすることができる。

また、前記照明手段は、二色以上に変色可能に発光することができる。

また、前記照明手段は、フラットな面全面で発光し、前記所定エリアを照明するディスプレイ装置であるとすることができる。

また、前記所定エリアの少なくとも一部は、波形状に形成されているようにすることができる。

また、情報処理システムは、前記所定エリアを囲む囲繞手段を備え、
前記囲繞手段は、前記所定エリアを視認できるように透明になる透明状態と、不透明になる不透明状態とに切替え可能とする遮光手段を有し、
前記遮光手段の前記透明状態と前記不透明状態とに切り替える遮光制御手段をさらに備えることができる。

また、情報処理システムは、前記情報処理システムに関する一以上の状態を提示する提示手段をさらに備えることができる。

本発明によれば、所定エリアに置かれた物体を精度よく撮像することができるようにした情報処理システムを提供することができる。

本発明の情報処理システムの一実施形態としての商品認識システムの構成を示す構成図である。 図１の商品認識システムを構成するサーバのハードウェア構成を示すブロック図である。 図１の商品認識システムを構成するレジ端末のハードウェア構成を示すブロック図である。 図３のレジ端末に備えられた囲繞部が不透明状態であるときの概観を示す概略斜視図である。 図３のレジ端末に備えられた囲繞部が透明状態であるときの概観を示す斜視図である。 図３のレジ端末の囲繞部を購入者と向き合う正面から見た内部を示す透視図である。 図３のレジ端末の所定エリアが波形状に形成された概観構成を示す概略正面図である。 図３のレジ端末の他実施形態の囲繞部が透明状態であるときの概観を示す斜視図である。 図３のレジ端末の他実施形態の所定エリアを含む部分を示す概略正面図である。 図２のサーバと図３のレジ端末との機能的構成の一例を示す機能ブロック図である。

先ず、本発明が適用される情報処理システムの一実施形態の概要について、説明する。

本発明の情報処理システムの一実施形態に係る商品認識システム（次世代レジシステム）は、少なくとも次の機能を有している。
即ち、本実施形態の商品認識システムは、取得機能と、認識機能と、特定機能とを少なくとも備える。

本実施形態の商品認識システムでは、これらの機能が発揮される前提として、所定エリアに物体が置かれると、カメラ等のセンシングデバイスが、当該所定エリアを撮像し、その結果得られる撮像画像のデータを出力する。

ここで、物体を撮像するセンシングデバイスは１台以上である。センシングデバイスの一例として、以下、カメラを採用した例について説明する。カメラは、所定エリアの上方に少なくとも１台固定される。カメラは、１台のカメラが移動する等して複数方向から物体を撮像してもよいし、複数台のカメラが複数方向から物体を撮像してもよい。
また、「撮像する」とは、所定エリア内を複数の領域に分割して、複数の分割領域の夫々に対応する各画素に対して画素値を持たすことを意味する。

このような前提のもと、「取得機能」とは、カメラから出力された撮像画像のデータを取得する機能である。
ここで、所定エリアに置かれた物体を被写体として含む撮像画像を、以下「物体撮像画像」と適宜呼ぶ。
また、商品認識システムは、物体撮像画像に対して各種画像処理を施す場合、実際にはデータの形態で取り扱うが、以下においては説明の便宜上、データは省略して説明する。

「認識機能」とは、取得された物体撮像画像に基づいて、物体の存在を認識する機能である。
本明細書では、どのような商品か特定されていないものを「物体」と呼ぶ。また、本明細書では、「物体」が商品として特定されたものを「商品」と呼ぶ。
また、ここで、「物体の存在を認識する」とは、背景差分等の画像処理方法による領域定義を行うことをいう。背景差分等の画像処理方法では、「物体」が所定エリアに置かれる前の撮像画像と、「物体」が所定エリアに置かれた後の物体撮像画像とが対比される。

「特定機能」とは、認識機能の発揮により存在が認識された物体が、いかなる商品であるのかを特定する機能である。
なお、本実施形態の商品認識システムは、特定された商品につていの代金決済（精算）をする機能も備えている。

このような機能を有する商品認識システムは、何ら措置を施さないと、次の（ａ）乃至（ｃ）の課題が生じる。
（ａ）カメラが、レジ端末の所定エリアに置かれた物体を撮像するに際して、物体の影が物体撮像画像に写り込むことで、認識機能では、その影が物体の一部として、影と物体が合わされた領域が物体の領域として定義されてしまったり、影自体１個の物体として、影の領域が物体の領域として誤って定義されてしまうことで、物体の認識の精度が落ちてしまう。その結果、特定機能において、商品を特定できないことがある。
（ｂ）物体が置かれる所定エリアが平坦であることにより、例えば円柱状の物体は、横臥姿勢で所定エリアに置かれたときに、わずかながらも転がる状態となる。カメラは、このような状態の物体を撮像するに際し、その物体へのピントが合わず、その物体を的確に撮像することができなかったたり、物体が停止して撮像可能な状態になるまでに時間が掛ったりする。
（ｃ）認識手段による認識精度や特定手段による特定精度を一定以上に保持すべく、外光が所定エリアに入り込まないように、所定エリアがカバー（以下「囲繞部」とも適宜呼ぶ）で覆われる場合がある。このような場合、認識機能や特定機能が発揮されているか否かに関わらず、所定エリアは囲繞部により常に覆われている。
このため、例えば、所定エリアでは、囲繞部内の視認性を確保することができない。したがって、購入者が所定エリアに商品を置きにくいだけでなく、店員は囲繞部内でなされる不正等を把握できない。
（ｄ）囲繞部の有無にかかわらず、所定エリアに置かれた物体について、外観しただけでは、精算中であるのか、精算後であるのか、さらに異常が発生しているのか否か等を店員又は精算を待つ購入者が把握できない。

そこで、本実施形態の商品認識システムは、上述の課題（ａ）乃至（ｄ）の夫々を解決すべく、次のような特徴（Ａ）乃至（Ｄ）の夫々を有している。
（Ａ）商品認識システムは、物体撮像画像における物体の影が生じない又は減少するように（影が物体撮像画像に写り込まないように）、所定エリアに置かれた物体を照明する照明手段を備えるという特徴。この特徴により、影が物体の領域として定義されず、物体の認識精度を高めることができる。
（Ｂ）商品認識システムは、所定エリアの少なくとも一部が波形状に形成されているという特徴。この特徴により、所定エリアには凹部と凸部とが繰り返し形成される。その結果、物体の少なくとも一部が２つの凸部と凸部の間で挟まれて保持されるので、物体が所定エリア上を転がることが防止される。
（Ｃ）商品認識システムは、所定エリアを囲む囲繞部を備え、その囲繞部が、店員又は精算を待つ購入者が所定エリアを視認できるように透明になる透明状態と、不透明になる不透明状態とに切替え可能とされるという特徴。この特徴により、撮像する時に不透明状態として物体撮像画像の画質を高めることができ、また、撮像しない時に透明状態として購入者が所定エリアに商品を置きやすく、さらに店員が囲繞部内での不正を把握することができる。
（Ｄ）商品認識システムは、商品認識システムに関する一以上の状態を提示する提示手段を備えているという特徴。この特徴により、所定エリアに置かれた商品がどのような状態であるかを店員又は精算を待つ購入者が把握することができる。

次に、図面を参照しながら、本発明の情報処理システムの一実施形態としての商品認識システムについて説明する。
図１は、本発明の情報処理システムの一実施形態としての商品認識システムの構成を示す構成図である。
本実施形態の商品認識システムは、所定エリアに置かれた物体を的確に撮像することを実現すべく、図１に示すような構成を有している。

即ち、商品認識システムは、サーバ１と、ｎ台（ｎは任意の整数）のレジ端末２−１乃至２−ｎと、を有している。
サーバ１と、レジ端末２−１乃至２−ｎとの夫々は、インターネット（Ｉｎｔｅｒｎｅｔ）回線等のネットワークＮを介して相互に接続されている。
なお、説明の便宜上、図１のサーバ１は１台しか描画されていないが、実際には複数台の場合もある。
また、以下、レジ端末２−１乃至２−ｎを個々に区別する必要がない場合、これらをまとめて「レジ端末２」と呼ぶ。

サーバ１は、レジ端末２の各動作を管理すべく、各処理を実行する。
図２は、サーバ１のハードウェア構成を示すブロック図である。

サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、バス１０４と、入出力インターフェース１０５と、出力部１０６と、入力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、を備えている。

ＣＰＵ１０１は、ＲＯＭ１０２に記憶されているプログラム、又は、記憶部１０８からＲＡＭ１０３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１０３には、ＣＰＵ１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１０１、ＲＯＭ１０２及びＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４には、また、入出力インターフェース１０５も接続されている。入出力インターフェース１０５には、出力部１０６、入力部１０７、記憶部１０８、通信部１０９及びドライブ１１０が接続されている。

出力部１０６は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
入力部１０７は、キーボードやマウス、タッチパネル等で構成され、各種情報を入力する。

記憶部１０８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１０９は、インターネットを含むネットワークＮ（図１）を介して他の装置（図１の例ではレジ端末２−１乃至２−ｎ）との間で通信を行う。

ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア１２０が適宜装着される。ドライブ１１０によってリムーバブルメディア１２０から読み出されたプログラムは、必要に応じて記憶部１０８にインストールされる。
また、リムーバブルメディア１２０は、記憶部１０８に記憶されている各種データも、記憶部１０８と同様に記憶することができる。

このようなサーバ１にネットワークＮを介して接続されたレジ端末２は、認識対象の商品が載置される商品認識エリアを備え、種々のハードウェア構成によって構成されている。

図３は、レジ端末２のハードウェア構成を示すブロック図である。
レジ端末２は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、バス２０４と、入出力インターフェース２０５と、出力部２０６と、入力部２０７と、照明部２０８と、遮光部２０９と、提示部２１０と、撮像部２１１と、記憶部２１２と、通信部２１３と、ドライブ２１４と、を備えている。
なお、レジ端末２は、図４乃至図６に示すように、所定エリアを囲む囲繞部３１０を備えている。囲繞部３１０は、所定エリアを視認できるように透明になる透明状態と、所定エリアを視認できないように不透明になる不透明状態とに切り替えられる。

レジ端末２のＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、バス２０４、入出力インターフェース２０５、記憶部２１２、通信部２１３、ドライブ２１４、リムーバブルメディア２２０は、サーバ１のこれらと同様に構成されている。

出力部２０６は、商品点数に関する情報や精算に関する情報などを表示する表示部Ｄと、レシートを出力するレシート出力部Ｒとを備えている。
入力部２０７は、タッチパネル（図示せず）やカードリーダ部Ｃを備えている。

照明部２０８は、所定エリアに置かれた物体が撮像された物体撮像画像に影が生じない又は減少するように（物体撮像画像に写り込まないように）、当該所定エリアを照明する。
遮光部２０９は、囲繞部３１０の一構成要素であって、囲繞部３１０が透明になる透明状態と、不透明になる不透明状態とに切り換えられるように、瞬間調光シートで構成されている。
瞬間調光シートは、液晶を２枚の透明電極膜で挟み、両透明電極膜に電圧が印加されると、透明状態となり、印加されないと、不透明状態となるように瞬時に変化することができるシートである。遮光部２０９が瞬間調光シートによって構成されることで、囲繞部３１０内を視認できたりできなかったりする。
提示部２１０は、所定エリアを囲む囲繞部３１０の一方の端面又は両方の端面に設けられ、又は、囲繞部３１０とは別に備えられ、商品認識システムに関連する一以上の状態を異なる色で発光することによって提示する。

撮像部２１１は、所定エリアに置かれた物体を撮像する１台のカメラによって構成されている。撮像部２１１は、囲繞部３１０の天板部に固定され、所定エリアを撮像する。撮像部２１１は、所定エリアに置かれた物体を撮像し、その結果として得られる複数の撮像画像を物体撮像画像として取得する。

ここで、上記のようなレジ端末２の外観的な構成の具体例について図４乃至図７を参照して説明する。
図４は、囲繞部３１０が不透明状態であるときのレジ端末２の概観構成を示す概略斜視図である。
図５は、囲繞部３１０が透明状態であるときのレジ端末２の概観構成を示す概略斜視図である。
図６は、囲繞部３１０を購入者と向き合う正面から見た内部を示す透視図である。
図７は、囲繞部３１０内の所定エリアＡが波形状に形成された概観構成を示す概略正面図である。

図４乃至図６に示すように、レジ端末２は、商品Ｇ（図７）が載置される所定エリアＡを囲む囲繞部３１０を備えている。囲繞部３１０は、天板部３１１と、底板部３１２と、一対の側板部３１３と、背板部３１４とを備えている。
底板部３１２上に筺体部３２０が設置されている。筺体部３２０は、レジ端末２のＣＰＵ２０１やＲＯＭ２０２やＲＡＭ２０３等を内蔵し、出力部２０６や入力部２０７を表面（購入者と向き合う正面）に設けている。
筺体部３２０上にプレート３３０が設置される。プレート３３０の盤面が所定エリアＡとされる。所定エリアＡと天板部３１１との間に空間が設けられる。

所定エリアＡの盤面下と天板部３１１内とには、照明部２０８Ｄ，２０８Ｕ（図５）が備えられている。図３の照明部２０８は、白色だけでなく青色や赤色その他限定しない種々の色で発光する照明部２０８Ｄ，２０８Ｕから構成されている。照明部２０８Ｄ，２０８Ｕの発光色は、システム上の制御で切り替えられる。照明部２０８Ｄ，２０８Ｕによって所定エリアＡに置かれた物体が上下両面から照明され、その物体の影が所定エリアＡに生じない又は減少するようにしている。
なお、物体を側面からも照明するため、一対の側板部３１３と背板部３１４とにも、照明部２０８を備えてもよい。このような照明部２０８を備えないときは、側板部３１３の内面と背板部３１４の内面が照明部２０８Ｄ，２０８Ｕから照射される光の反射面とされる。

プレート３３０は、白濁色に成形されている。照明部２０８（図５の例では照明部２０８Ｄ，２０８Ｕ）が白色や種々の色に切り替えられて発光すると、プレート３３０が白濁色であることから、所定エリアＡは白色や種々の色に切り替えられて照明される。商品は、一般的に着色されたり、図柄模様が施されたりしている。したがって、所定エリアＡが白色や種々の色で照明されることで、所定エリアＡ上には、物体の影が生じない又は減少するものとなる。したがって、商品認識システムは、認識機能を発揮しやすくすることができる。
すなわち、レジ端末２のＣＰＵ２０１では、認識機能を発揮することで、存在認識部２３５（図１０）が所定エリアＡに置かれる前と置かれた後の画像を比較し、背景差分処理により、白色や種々の色を背景とし、所定エリアＡに置かれた物体の領域を特定することができる。

所定エリアＡが白色で照明されても着色に照明されても、所定エリアＡの少なくとも一部には、テクスチャが形成されていても良い。例えば白色の照明に白色の物体が同化し、物体の領域を特定しにくくなる。しかし、テクスチャが形成されると、所定エリアＡに置かれた物体によってテクスチャが隠され、物体の領域が特定される。したがって、テクスチャによって、白色の物体は、白色に照明された所定エリアＡと同化せず、認識機能が発揮される。

テクスチャは、具体的には、ドットパターンや縞模様、格子模様など所定のパターンが繰り返される模様である。また、テクスチャは、所定エリアＡの全域で均一にしてもよいし、不均一にしてもよい。例えば、テクスチャが多数のドットによって形成されている場合は、ドットの大きさを所定エリアＡのある部位で大きく、他の部位で小さくしてもよい。
また、テクスチャがドットや縞模様で形成されている場合は、所定エリアＡのある部位でピッチを短く、別の部位でピッチを長くしてもよい。あるいは、所定エリアＡのある部位と別の部位とで別の模様にしてもよい。

購入者と向き合う囲繞部３１０の正面側端面が、レジ端末２の状態に応じて種々の色に発光する提示部２１０を構成する。提示部２１０は、レジ端末２の状態を提示する。例えば、提示部２１０が青色に発光しているときは、正常待機中であることを提示している。正常待機中とは、誰も操作していない状態や、決済完了後の状態などの状態のことである。
また、提示部２１０が緑色に発光しているときは、精算中であることを提示している。精算中には、物体が認識され、商品が特定されたことで、その結果が表示されてから、決済待ちの状態となっている場合なども含まれる。
また、提示部２１０が黄色に発光しているときは、店員操作中であることを提示している。店員操作中には、年齢確認待ちの状態や店員呼出待ちの状態なども含まれる。
また、提示部２１０が赤色に発光しているときは、異常状態であることを提示している。異常状態としては、停止したようなエラーの状態や購入者の不正などが該当する。

提示部２１０は、囲繞部３１０の正面側端面に備えられるだけでなく、囲繞部３１０の天板部３１１や側板部３１３、背板部３１４に備えられてもよい。さらに、天板部３１１や側板部３１３、背板部３１４に備えられた場合の提示部２１０は、異なる色に発光するだけでなく、文字などを表示するようにしてもよい。

囲繞部３１０の天板部３１１の内面には、撮像部２１１が取り付けられる。撮像部２１１は、当然、所定エリアＡを撮像するようにレンズを下向きにして取り付けられている。なお、撮像部２１１は、天板部３１１側の照明部２０８Ｕによる照明の邪魔にならないように配備される。

また、所定エリアＡは図７に示すように、波形状に形成されている。図７に示した所定エリアＡは、プレート３３０の表面を波形状に形成した盤面に設けられる。波形状は、図示したような正弦波状だけでなく、矩形波状であってもよく、さらに、ピッチや振幅は均等だけでなく、不均等であってもよい。いずれも所定エリアＡが凹部と凸部とが繰り返し形成された波形状に形成されることで、円柱状や球状の物体の少なくとも一部が凸部と凸部との間に挟まれて転がらないようにすることができる。

また、プレート３３０内に複数の照明部２０８Ｄが埋め込まれている。プレート３３０は、例えば照明部２０８Ｄの光を透過する白濁色とされる。照明部２０８Ｄの光がプレート３３０の盤面から射出したときに、所定エリアＡを白色に照明する。また、複数の照明部２０８Ｄが間隔を空けて配列されていても、照明部２０８の部分のみ明るくならず、所定エリアＡ全面を均等に照明する。
プレート３３０が何色であっても、プレート３３０の盤面にドットなどの模様が印刷されたりシールが貼付されたりすることで、所定エリアＡにテクスチャが形成される。

図３の照明部２０８は、図８及び図９に示すような薄型のディスプレイ装置２０８Ｐによって構成することもできる。このディスプレイ装置２０８Ｐは、筺体部３２０の上面に設置される。ディスプレイ装置２０８Ｐは、上向きとされるフラット面全面（枠部を除く）で発光し、所定エリアＡを任意の色で照明する。さらに、薄型のディスプレイ装置２０８Ｐは、照明だけでなく、テクスチャを含む画像を表示することもできる。このようなディスプレイ装置２０８Ｐの上面に波形状のプレート３３１が設置される。このプレート３３１は、ディスプレイ装置２０８Ｐの光を透過する透明部材とされる。

図１０は、図２のサーバ１と図３のレジ端末２との機能的構成の一例を示す機能ブロック図である。
サーバ１のＣＰＵ１０１（図２）においては、図１０に示すように、ＤＢ管理部４０１が機能する。
サーバ１の記憶部１０８（図２）の一領域には、商品ＤＢ４０２が設けられている。商品ＤＢ４０２は、商品に関する情報を記憶する。

ＤＢ管理部４０１は、商品を特定するために記憶部１０８の商品ＤＢ４０２に予め記憶されている商品画像を商品情報として管理する。なお、レジ端末２において、サーバ１のＤＢ管理部４０１と同様の商品登録を行うようにしてもよい。

レジ端末２のＣＰＵ２０１においては、図１０に示すように、遮光制御部２３０、発光制御部２３１と、提示制御部２３２と、画像取得部２３４と、存在認識部２３５と、商品特定部２３６と、精算部２３７と、表示制御部２３８と、が機能する。

遮光制御部２３０は、囲繞部３１０に備えられた遮光部２０９が所定エリアＡに置かれた物体を撮影するタイミングの透明状態と、撮像しないタイミングの不透明状態とに切り替える制御を実行する。
発光制御部２３１は、物体を撮像するタイミングで照明部２０８が発光する状態と、物体を撮像しないタイミングで発光しない状態とに切り替える制御や、所定エリアＡに置かれる物体を認識する状況などに応じて発光色を切り替える制御を実行する。
提示制御部２３２は、提示部２１０がレジ端末２の状態を提示するように発光する色が変化するように制御する。レジ端末２は、常に状態が変化しているため、状態が変化するたびに、提示部２１０の色が変化する。

画像取得部２３４は、物体が所定エリアＡに置かれて撮像部２１１によって撮像された物体画像のデータを取得する。
存在認識部２３５は、上述した所定の画像認識手法を用いて、所定エリアＡに置かれた物体の存在を認識する。

商品特定部２３６は、存在が認識された物体について、物体撮像画像と予め保持されている商品の画像情報をもとに、特定物体認識や一般物体認識等の画像認識手法を用いることで、所定エリアＡに置かれた物体がいずれの商品であるのか特定する。例えば、商品特定部２３６は、存在が認識された物体から得られる画像情報と、ＤＢ情報保持部２４１によって保持されている画像情報とをマッチングさせる。即ち、両画像情報が一致すると、存在認識部２３５によって存在が認識された物体が、ＤＢ情報保持部２４１に保持された商品であるため、商品特定部２３６は、そのＤＢ情報保持部２４１に保持された商品番号や商品名、価格等の商品情報を特定する。
精算部２３７は、所定エリアＡに置かれた商品を精算する。例えば、精算部２３７は、所定エリアＡに置かれた商品の価格をＤＢ情報保持部２４１から読み出して加算し、表示部Ｄに表示させることにより、精算を実施する。

表示制御部２３８は、取得された物体撮像画像及び当該物体撮像画像に基づいて加工又は創造された画像のうち、少なくとも一部の画像を逐次、購入者及び店員に向けて表示させる制御を実行する。具体的には、表示制御部２３８は、取得された物体撮像画像及び当該物体撮像画像に基づいて加工又は創造された画像のうち、少なくとも一部の画像を逐次、出力部２０６（表示部Ｄ）に表示させる制御を実行する。

本実施形態の商品認識システムでは、次のような動作（処理）が実行される。
提示部２１０が青色に発光していると、レジ端末２が待機中であることが外部から認識できる。
この待機中のレジ端末２の所定エリアＡに物体が置かれると、撮像部２１１がその物体を撮像する。また、囲繞部３１０の遮光部２０９が透明状態とされていることで、購入者が商品（物体）を所定エリアＡに置きやすくされている。

この物体の撮像画像を取得するに先立って、まず、囲繞部３１０の遮光部２０９が透明状態であると、遮光制御部２３０が遮光部２０９を不透明状態に切り替え、物体に当たる外光を遮断する。外光が遮断されることで、余分な光が写り込まない物体撮像画像を取得することができる。
次に、照明部２０８が発光していない場合、所定エリアＡに影が生じないようにするため、発光制御部２３１によって照明部２０８が発光するように切り替えられる。
そして、購入者が認識ボタン（図示せず）を押下すると、撮像部２１１は、所定エリアＡに対して所定の位置（例えば、所定エリアＡの前）を撮像する。このとき、照明部２０８によって照明されているため、所定エリアＡには、所定エリアＡに置かれた物体の影が生じない。
そして、画像取得部２３４は、所定エリアＡ上の物体を撮像した結果として得られる物体撮像画像を取得する。

撮像部２１１によって撮像された複数の物体撮像画像は、精度がよいものとして画像取得部２３４に入力される。そして、画像取得部２３４は、物体撮像画像を表示制御部２３８に出力する。表示制御部２３４は、画像取得部２３４から出力された物体撮像画像に基づいて、加工又は創造された画像のうち、少なくとも一部の画像を逐次、購入者及び店員に向けて表示させる制御を実行する。具体的には、表示制御部２３４は、取得された物体撮像画像及び加工又は創造された画像のうち、少なくとも一部の画像を逐次、出力部２０６（表示部Ｄ）に表示する制御を実行する。

そして、画像取得部２３４に取得された複数の物体撮像画像のデータは、存在認識部２３５に出力される。存在認識部２３５は、所定エリアＡを撮像した物体撮像画像から、物体の存在を認識する。この認識された物体のデータは、商品特定部２３６に出力される。

商品特定部２３６は、所定エリアＡに置かれている物体がいずれの商品であるのか特定する。商品特定部２３６は、例えば、存在が認識された物体から得られる情報と、ＤＢ情報保持部２４１によって保持されている商品情報とをマッチングさせる。これにより、商品特定部２３６は、マッチングした商品について、ＤＢ情報保持部２４１に保持された商品情報のうち、いずれの商品であるのかを特定する。この商品についての商品番号や商品名、価格などのデータが精算部２３７と表示制御部２３８に出力される。

精算部２３７は、所定エリアＡに置かれている商品を精算する。具体的には、精算部２３７が所定エリアＡに置かれている特定された商品を個々に精算することにより、所定エリアＡに置かれているすべての商品を精算する。この精算中であることは、提示制御部２３２によって提示部２１０が所定の色で発光するように切り替えられ、精算中であることが周囲に知らされる。
また、表示制御部２３８は、商品名や価格などを出力部２０６に出力する。出力部２０６は、商品名や価格などを表示部Ｄに出力する。
このようなレジ端末２において、提示部２１０が緑色に発光していると、外部から精算中であることが認識される。また、提示部２１０が赤色に発光していると、異常状態が発生していることが外部から認識される。

精算が終了したとき、又は撮像が終了したときには、遮光制御部２３０によって遮光部２０９は透明状態に切り替えられ、囲繞部３１０内を視認できるようにし、また、発光制御部２３１によって照明部２０８の照明が切られる。

以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形改良等は本発明に含まれるものである。

例えば、上述のＣＰＵ２０１による画像処理は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉt）による処理であってもよい。
また、図２及び図３に示すハードウェア構成は、本発明の目的を達成するための例示にすぎず、これに限定されない。

また、図４乃至図９に示されたレジ端末２の外観構成は例示であり、本発明はこの外観に限定されない。少なくとも撮像部２１１の数は、上記実施形態に限定されず、本発明を実施することができれば、例えば所定エリアＡの周囲を回転する支持部材を備え、この支持部材が１台の撮像部２１１を支持するようにしてもよい。

また、図１０に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備わっていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図１０の例に限定されない。

例えば、機能ブロックの存在場所は、図１０に限定されず、任意でよい。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせとして構成してもよい。
例えば、レジ端末２の認識機能は、サーバ１に移譲させることができる。より具体的には例えば、存在認識部２３５と商品特定部２３６の少なくとも一方をサーバ１に移譲させ、サーバ１による処理の結果のみをレジ端末２に送信させるようにすることもできる。また逆に、サーバ１のＤＢ管理部４０１等の少なくとも一部の機能をレジ端末２に移譲させることもできる。
各機能ブロックの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他、汎用のスマートフォンやパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、各ユーザにプログラムを提供するために装置本体とは別に配布される、リムーバブルメディアにより構成されるだけではなく、装置本体に予め組み込まれた状態で各ユーザに提供される記録媒体等で構成されてもよい。

さらに、上述の実施形態では、複数の照明部を備えるとしたが、所定エリアに物体の影が生じない又は減少するようにできれば、照明部は１か所にのみ備えるようにしてもよい。
また、上述の実施形態では、照明部がディスプレイ装置である場合において、二色以上に変色可能としたが、白色のみや青色のみのように一色で発光するようにしてもよい。

また、上述の実施形態では、所定エリアの少なくとも一部にテクスチャが形成されるとしたが、照明部が物体撮像画像における物体の影を生じさせない又は減少させることができれば、テクスチャを必ずしも形成する必要はない。
また、上述の実施形態では、所定エリアの少なくとも一部が波形状に形成されるとしたが、所定エリアが粘性を有していたり、毛羽立った状態としたり、さらに、円柱状の物体が置かれない場合においては、必ずしも波形状に形成されなくてもよい。

また、上述の実施形態では、透明状態と不透明状態とに切り替えられる囲繞部３１０を備えたが、囲繞部３１０は不透明状態のみで、透明状態に切り替えられないようにしてもよい。この場合は、遮光制御部は備えられない。
さらに、本情報処理システムは、そもそも囲繞部を備えないようにしてもよい。この場合は、撮像部２１１は別途、支柱などの保持部材に保持される。
また、上述の実施形態では、提示部２１０によって情報処理システムに関する一以上の状態を提示するようにしたが、その状態を提示する必要がない場合は、提示部２１０を備える必要がない。この場合は、提示制御部２３２は備えられない。

以上まとめると、本発明が適用される情報処理システムは、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理システム（例えば図１の商品認識システム）は、
物体が置かれ得る所定エリア（例えば、図４の所定エリアＡ）が撮像された結果として得られる撮像画像を取得する取得手段（例えば、図１０の画像取得部２３４）と、
取得された前記撮像画像に基づいて、前記所定エリアにおける前記物体の存在を認識する認識手段（例えば、図１０の存在認識部２３５）と、
前記撮像画像における前記物体の影が生じない又は減少するように、前記物体を照明する照明手段（例えば、図１０の照明部２０８）と、
を備える。
これにより、物体の影が生じない又は減少するように所定エリアを照明し、物体の認識の精度を高めることができる。

また、前記照明手段（例えば、図１０の照明部２０８）は、複数備えられ、一の前記照明手段で前記所定エリアに生じた影の少なくとも一部を別の前記照明手段によって除去するように配置されているようにすることができる。
これにより、一の照明手段と別の照明手段とが協働して撮像画像における物体の影が生じないようにする。

また、前記照明手段（例えば、図１０の照明部２０８）は、二色以上に変色可能に発光することができる。
これにより、所定エリアに置かれる物体の色彩に応じて、物体が照明色と同化せず、物体の画像領域を的確に特定することができる。

また、前記照明手段（例えば、図１０の照明部２０８）は、フラット面全面で発光し、所定エリアを照明するディスプレイ装置（例えば、図８の照明部２０８Ｐ）であるとすることができる。
これにより、種々の色に発光させたり、所定エリアのある部分と他の部分とで異なる色に発光させたり、テクスチャを出現させたりすることが容易になる。

また、前記所定エリア（例えば、図４の所定エリアＡ）の少なくとも一部は、波形状に形成されているようにすることができる。
これにより、所定エリアに置かれた物体が円柱状であっても、その物体が所定エリア状を転がらないようにすることができる。

また、情報処理システムは、前記所定エリアを囲む囲繞手段（例えば、図４の囲繞部３１０）を備え、
前記囲繞手段は、前記所定エリアを視認できるように透明になる透明状態と、不透明になる不透明状態とに切替え可能とする遮光手段（例えば、図１０の遮光部２０９）を有し、
前記遮光手段の前記透明状態と前記不透明状態とに切り替える遮光制御手段（例えば、図遮光制御図２３０）をさらに備えることができる。
囲繞手段が透明状態とされることで、囲繞手段内に物体が存在しているかどうかを容易に認知し、そして、囲繞手段が不透明状態とされることで、囲繞手段内の物体を外光の影響なく撮像することができる。

また、情報処理システムは、前記情報処理システムに関する一以上の状態を提示する提示手段（例えば、図１０の提示部２１０）をさらに備えることができる。
これにより、所定エリアに置かれた物体がどのような状態になっているかを容易に認知することができる。

また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものである。

１・・・サーバ
２，２−１，２−ｎ・・・レジ端末
１０１・・・ＣＰＵ
１０２・・・ＲＯＭ
１０３・・・ＲＡＭ
１０４・・・バス
１０５・・・入出力インターフェース
１０６・・・出力部
１０７・・・入力部
１０８・・・記憶部
１０９・・・通信部
１１０・・・ドライブ
１２０・・・リムーバブルメディア
２０１・・・ＣＰＵ
２０２・・・ＲＯＭ
２０３・・・ＲＡＭ
２０４・・・バス
２０５・・・入出力インターフェース
２０６・・・出力部
２０７・・・入力部
２０８・・・照明部
２０８Ｐ・・・ディスプレイ装置
２０９・・・遮光部
２１０・・・提示部
２１１・・・撮像部
２１２・・・記憶部
２１３・・・通信部
２１４・・・ドライブ
２２０・・・リムーバブルメディア
２３０・・・遮光制御部
２３１・・・発光制御部
２３２・・・提示制御部
２３４・・・画像取得部
２３５・・・存在認識部
２３６・・・商品特定部
２３７・・・精算部
２３８・・・表示制御部
３１０・・・囲繞部
３２０・・・筺体部
３３０・・・プレート
３３１・・・プレート
４０１・・・ＤＢ管理部
４０２・・・商品ＤＢ
Ａ・・・所定エリア（商品認識エリア）
Ｄ・・・表示部
Ｎ・・・ネットワーク

Claims (6)

1. 物体が置かれ得る所定エリアが撮像された結果として得られる撮像画像を取得する取得手段と、
   取得された前記撮像画像に基づいて、前記所定エリアにおける前記物体の存在を認識する認識手段と、
   前記撮像画像における前記物体の影が生じない又は減少するように、前記物体を含む前記所定エリア全面を均等に照明する照明手段と、
   外光が前記所定エリア内に入り込まないように、前記所定エリアを囲む囲繞手段であって、前記所定エリアを視認できるように透明になる透明状態と、不透明になる不透明状態とに切替え可能とする遮光手段を有する囲繞手段と、
   前記遮光手段の前記透明状態と前記不透明状態とに切り替える遮光制御手段と、
   を備える情報処理システム。
2. 前記照明手段は、複数備えられ、一の前記照明手段で前記所定エリアに生じた影の少なくとも一部を別の前記照明手段によって除去するように配置されている
   請求項１に記載の情報処理システム。
3. 前記照明手段は、二色以上に変色可能に発光する
   請求項１又は２に記載の情報処理システム。
4. 前記照明手段は、フラット面全面で発光し、所定エリアを照明するディスプレイ装置である
   請求項１乃至３のうち少なくともいずれか一項に記載の情報処理システム。
5. 前記所定エリアの少なくとも一部は、前記所定エリア上の物体の転がりを防止するように形成されている
   請求項１乃至４のうち少なくともいずれか一項に記載の情報処理システム。
6. 前記情報処理システムに関する一以上の状態を提示する提示手段をさらに備えている
   請求項１乃至５のうちいずれか一項に記載の情報処理システム。

Images