JP7338706B2 - 処理装置、処理方法及びプログラム - Google Patents

Description

本発明は、処理装置、処理方法及びプログラムに関する。

非特許文献１、特許文献１及び２は、レジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムを開示している。

具体的には、非特許文献１に開示の店舗システムでは、店舗の出入口にゲートを設置し、当該ゲートに設置したリーダーで読み取った情報に基づき、店舗内に入場した顧客を認識する。そして、当該店舗システムは、画像処理等で顧客が手に取った商品を認識し、顧客が当該ゲートを通って店舗外に出たタイミングで決済を行う。

特許文献１に開示の購入商品精算支援システムでは、ゲートが設置され、当該ゲートを通過する顧客の入退店を管理するとともに、当該ゲートを通過して退店した後に、顧客が店舗から持ち出した商品の決済処理を行う。

特許文献２に開示の車両用決済システムでは、車両の車室内に商品載置部を設け、車両の外部への商品の移動が検知されてから所定の条件が成立した時、その商品の決済処理を行う。

非特許文献２は、オフィスの一画に菓子や飲み物等の商品を陳列するとともに、キャッシュレス決済端末や現金回収ボックス等の決済手段を設置し、そのオフィスの従業員がセルフサービスで商品を購入する店舗を開示している。

特開２０１９－８６８３２号公報 特開２０１９－１１７４７３号公報

宮田拓弥、"Ａｍａｚｏｎ Ｇｏの仕組み「カメラとマイク」で実現するレジなしスーパー"、[online]、２０１６年１２月１０日、［２０１９年１２月６日検索］、インターネット<URL:https://www.huffingtonpost.jp/tak-miyata/amazon-go_b_13521384.html> "オフィスコンビニおすすめ比較１２選 仕組み・評判・導入メリット"、[online]、２０１９年１１月１８日、［２０１９年１２月６日検索］、インターネット<URL:https://boxil.jp/mag/a5253/?utm_source=***&utm_medium=cpc&utm_campaign=office_c-z&gclid=EAIaIQobChMIzJbdxKOg5gIVT3RgCh26uAb8EAAYAiAAEgKK-vD_BwE>

非特許文献１、特許文献１及び特許文献２に開示の技術を用いてレジカウンターでの決済処理をなくすことにより、利用者の利便性が向上するとともに、店舗の手間も省ける。しかし、非特許文献１及び特許文献１に開示の技術はゲートの存在が必須の技術であり、ゲートを設置できない環境では使用できない。また、特許文献１に開示の技術は車両の存在が必須の技術であり、車両を利用できない環境では使用できない。例えば、非特許文献２に開示のようなオフィスの一画に設置された店舗においては、コストやスペースの問題から、ゲートや車両を利用できない場合がある。

本発明の課題は、従来にない新たな手法で、レジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムを実現することである。

本発明によれば、
画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録手段と、
画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録手段による登録内容に基づく決済を行う決済手段と、
を有し、
前記決済手段は、前記商品識別情報が前記顧客識別情報に紐づけられてからの経過時間が閾値を超えた場合、前記顧客が所定の動作を実施したことの検出なしで、前記登録内容に基づく決済を行う処理装置が提供される。

また、本発明によれば、
コンピュータが、
画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録し、
画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記商品識別情報の登録内容に基づく決済を行い、
前記決済では、前記商品識別情報が前記顧客識別情報に紐づけられてからの経過時間が閾値を超えた場合、前記顧客が所定の動作を実施したことの検出なしで、前記登録内容に基づく決済を行う処理方法が提供される。

また、本発明によれば、
コンピュータを、
画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録手段、
画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録手段による登録内容に基づく決済を行う決済手段、
として機能させ、
前記決済手段は、前記商品識別情報が前記顧客識別情報に紐づけられてからの経過時間が閾値を超えた場合、前記顧客が所定の動作を実施したことの検出なしで、前記登録内容に基づく決済を行うプログラムが提供される。

本発明によれば、従来にない新たな手法で、レジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムが実現される。

上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。

本実施形態の処理装置の概要を説明するための図である。 本実施形態の処理装置の概要を説明するための図である。 本実施形態の処理装置の概要を説明するための図である。 本実施形態の処理装置の概要を説明するための図である。 本実施形態の処理装置の概要を説明するための図である。 本実施形態の処理装置のハードウエア構成の一例を示す図である。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の商品載置スペースの一例を示す図である。 本実施形態の商品載置スペースの一例を示す図である。 本実施形態の処理装置の機能ブロック図の一例である。 顧客の端末装置に表示される決済完了通知の一例を示す図である。

＜第１の実施形態＞
まず、図１乃至図５を用いて、本実施形態の処理装置の全体像及び概要を説明する。本実施形態の処理装置は、例えば、オフィスの一画に菓子や飲み物等の商品を陳列し、そのオフィスの従業員がセルフサービスで商品を購入する店舗で利用される。

図１に示すように、オフィス等の一画に商品３を載置する商品載置スペース２が設けられる。枠４に設置されたカメラ５は、商品載置スペース２から商品３を取り出す顧客１を撮影する。

図２に示すように、カメラ５が生成した画像には商品載置スペース２の前に位置する顧客１が含まれる。処理装置は、当該画像を解析し、画像に含まれる顧客１を認識する。

また、図３に示すように、カメラ５が生成した画像には商品載置スペース２の前に位置する顧客１が把持している商品３が含まれる。処理装置は、当該画像を解析し、顧客１が把持している商品３を認識する。

そして、処理装置は、画像を解析し、商品３を把持している顧客１が所定の動作を実施したことを検出すると、当該検出に応じて上記認識結果に基づく決済処理を行う。本実施形態における「所定の動作」は、「顧客１が基準範囲６の外に出たこと」であるとして説明する。より具体的に、処理装置は、商品３を把持している顧客１が基準範囲６の外に出たことを検出すると（図４及び図５参照）、当該検出に応じて上記認識結果に基づく決済処理を行う。本実施形態では、商品載置スペース２を基準に基準範囲６が定められる。例えば、商品載置スペース２の前方の所定エリア（商品３の購入を検討している顧客１が商品３を把持した状態で移動すると考えられるエリア）が基準範囲６として定められる。

このような本実施形態の処理装置によれば、従来にない新たな手法で、レジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムが実現される。

次に、処理装置の構成を詳細に説明する。まず、処理装置のハードウエア構成の一例を説明する。

処理装置の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図６は、処理装置のハードウエア構成を例示するブロック図である。図６に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。処理装置が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

図７に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、画像取得部１１と、登録部１２と、決済部１３と、記憶部１４とを有する。なお、処理装置１０は記憶部１４を備えなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１４を備える。

記憶部１４は、各種情報を記憶する。例えば、記憶部１４は、図８に示すような顧客情報や図９に示すような商品情報を記憶する。

顧客情報は、オフィス等の一画に設けられた店舗を利用する顧客１に関する情報である。当該店舗を利用する顧客１による事前の登録作業により、各顧客１の顧客情報が記憶部１４に記憶される。

図示する顧客情報では、複数の顧客を互いに識別するための顧客識別情報と、氏名と、連絡先と、顔画像と、当該顔画像から抽出された特徴量と、決済手段情報とが互いに紐づけられている。決済手段情報は、店舗での決済を行うための情報であり、例えば、クレジットカード情報や、口座情報や、給料からの天引きを希望する旨やその処理を実現するための情報や、決済サービス（コード決済サービス、電子マネーサービス、ポイントサービス等）のユーザ識別情報等が例示されるが、これらに限定されない。なお、図示する顧客情報はあくまで一例であり、その他の項目の情報を含んでもよいし、図示する項目の一部を含まなくてもよい。

商品情報は、店舗で扱っている商品３に関する情報である。図示する商品情報では、複数の商品を互いに識別するための商品識別情報と、商品名と、単価と、画像と、当該画像から抽出された特徴量とが互いに紐づけられている。なお、各商品３の画像は、商品３を複数の方向から撮影した複数の画像を含んでもよい。

画像取得部１１は、商品載置スペース２の前方（商品３を取り出す側）のエリアを撮影するカメラ５が生成した画像を取得する。処理装置１０とカメラ５とは有線及び／又は無線で接続され、互いに通信可能に構成される。画像取得部１１は、カメラ５が生成した画像をリアルタイム処理で取得する。

カメラ５は、「商品載置スペース２の前方に位置する顧客１の顔」及び「当該顧客１が把持している商品３」を含む画像を生成する位置及び向きで設置される。なお、カメラ５は、上記撮影対象に加えて、さらに「基準範囲６の境界」及び「商品載置スペース２に載置された商品３」の少なくとも一方を含む画像を生成する位置及び向きで設置されてもよい。

本実施形態では、１台のカメラ５が上述のような撮影対象を含む画像を生成する。カメラ５は、魚眼レンズを備えてもよいし、標準レンズ（例えば画角４０°前後～６０°前後）を備えてもよい。

カメラ５は、動画像を生成する。カメラ５は、常時撮影を行ってもよいし、所定の間だけ（例：人感センサーで商品載置スペース２の前方に存在する人を検知している間）撮影を行ってもよい。

登録部１２は、画像に含まれる顧客１の顧客識別情報を認識する。例えば、登録部１２は、画像から人物の顔を検出すると、検出した人物の顔から抽出した特徴量と、記憶部１４に記憶されている顧客１の特徴量（図８参照）とに基づく照合処理により、画像に含まれる顧客１を認識してもよい。

また、登録部１２は、画像処理により商品載置スペース２から取り出された商品３の商品識別情報を認識する。例えば、登録部１２は、認識した顧客１が物体を把持していることを検出すると、その物体から抽出した特徴量と、記憶部１４に記憶されている商品３の特徴量（図９参照）とに基づく照合処理により、顧客１が把持している商品３（商品載置スペース２から取り出した商品３）を認識してもよい。

そして、登録部１２は、認識結果を記憶部１４に記憶させる。図１０に、登録部１２が記憶部１４に記憶させた情報（認識情報）の一例を模式的に示す。図示するように、登録部１２は、認識した顧客識別情報を認識情報に登録する。そして、登録部１２は、認識した商品識別情報を、認識した顧客識別情報に紐づけて認識情報に登録する。なお、登録部１２は、さらに、認識した商品識別情報に紐づけられた単価等を商品情報（図９参照）から読み出し、認識情報に登録してもよい。

また、登録部１２は、画像処理により、顧客１が把持している商品３を商品載置スペース２に戻したことを検出する。そして、登録部１２は、顧客１が把持している商品３を商品載置スペース２に戻したことを検出すると、それに応じて認識情報（図１０参照）を更新する。具体的には、登録部１２は、商品載置スペース２に戻した商品３の商品識別情報等を認識情報から削除する。

ここで、顧客１が把持している商品３を商品載置スペース２に戻したことを検出するアルゴリズムの一例を説明する。例えば、登録部１２は、「顧客１が商品３を把持している状態」から「顧客１が商品３を把持していない状態」への状態変化を検出すると、顧客１が把持している商品３を商品載置スペース２に戻したと判定してもよい。しかし、このアルゴリズムでは、例えば顧客１が把持している商品３を自身のカバンの中に収納した場合、商品３を商品載置スペース２に戻したと誤検出してしまう。そこで、このような誤検出を回避するため、以下のようなアルゴリズムで当該検出を行ってもよい。

例えば、登録部１２は、「顧客１が商品３を把持している状態」から「顧客１が商品３を把持していない状態」への状態変化を検出すると、その状態変化の前における商品３の画像内での移動軌跡が所定条件を満たすか判定してもよい。そして、所定条件を満たす場合、顧客１が把持している商品３を商品載置スペース２に戻したと判定してもよい。

移動軌跡の所定条件は、「商品載置スペース２の方に向かう移動」や、「商品載置スペース２の方に向かい、かつ、画像内の所定位置に到達する移動」や、「画像内の所定位置に到達する移動」等である。画像内の所定位置は、画像に商品載置スペース２が含まれる場合は商品載置スペース２であり、画像に商品載置スペース２が含まれない場合は商品載置スペース２に向かう商品３がフレームアウトする直前に写り込む位置等である。

このような移動軌跡の所定条件を判定することで、顧客１が商品３をカバンや袋等に入れる動作や、顧客１が商品３を食べてしまう動作や、商品３の把持の仕方により商品３がカメラ５の死角になってしまう事象等に起因して、誤って認識情報を更新する不都合を抑制できる。

図７に戻り、決済部１３は、商品３を商品載置スペース２から取り出し、かつ、商品３を商品載置スペース２に戻していない顧客１が商品載置スペース２を基準に定められた基準範囲６の外に移動したことを画像処理により検出したことに応じて、登録部１２による登録内容に基づく決済を行う。より具体的には、決済部１３は、認識情報（図１０参照）において少なくとも１つの商品識別情報が登録されている顧客１が基準範囲６の外に移動したことを画像処理により検出したことに応じて、登録部１２による登録内容に基づく決済を行う。

基準範囲６は、商品載置スペース２の前方（商品３を取り出す側）のエリア（商品３の購入を検討している顧客１が商品３を把持した状態で移動すると考えられるエリア）である。基準範囲６の大きさや形状は、設計的事項である。予め、画像の中の基準範囲６を示す情報が記憶部１４に記憶されていてもよい。

例えば、カメラ５が基準範囲６の境界を含む画像を生成する場合、決済部１３は、画像処理により、顧客１の体の一部が基準範囲６の中にあるか否かを監視してもよい。たとえば、決済部１３は、顧客１の足が基準範囲６の外に出たことの検出に応じて、顧客１が基準範囲６の外に移動したと判定してもよい。なお、決済部１３は、顧客１の身体の足以外の部分が、画像内の所定のエリアの中にあるか否かを監視し、顧客１の身体のその部分が所定のエリアの外に出たことの検出に応じて、顧客１が基準範囲６の外に移動したと判定してもよい。

決済部１３は、予め顧客１毎に登録されている決済手段情報（図８参照）に基づき、所定の代金の決済を行う。

なお、１台のカメラ５が設置される本実施形態の場合、登録部１２及び決済部１３は、同一のカメラ５が生成した画像を処理して、顧客１や商品３の認識、及び、顧客１が基準範囲６の外に移動したことの検出を行うこととなる。

次に、図１１のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

画像取得部１１が画像を取得すると（Ｓ１０）、登録部１２は、画像から人物の顔を検出する処理を行う（Ｓ１１）。画像から人物の顔を検出しなかった場合（Ｓ１１のＮｏ）、Ｓ２１に進む。一方、画像から人物の顔を検出すると（Ｓ１１のＹｅｓ）、登録部１２は、検出した人物の顔から抽出した特徴量と、記憶部１４に記憶されている顧客１の特徴量（図８参照）とに基づく照合処理を含む顧客認識処理により、画像に含まれる顧客１を認識する（Ｓ１２）。

そして、登録部１２は、認識した顧客１の顧客識別情報が認識情報（図１０参照）に登録されていない場合（Ｓ１３のＮｏ）、その顧客識別情報を認識情報に登録する（Ｓ１４）。この時、その他の顧客情報が認識情報に登録されてもよい。その他の顧客情報は、その人の決済手段情報などである。決済手段情報は、予めアプリやホームページ等を介した顧客自身による登録処理により、記憶部１４に記憶されていてもよい。そして、登録部１２は、記憶部１４に記憶されている決済手段情報等を認識情報に登録してもよい。その他、その場で所定の入力装置を介して顧客から決済手段情報の入力を受付けてもよい。そして、登録部１２は、その場で入力された決済手段情報等を認識情報に登録してもよい。一方、認識した顧客１の顧客識別情報がすでに認識情報（図１０参照）に登録されている場合（Ｓ１３のＹｅｓ）、登録部１２は認識情報の更新を行わない。

その後、登録部１２は、画像に基づき、顧客１が物体を把持しているか判断する（Ｓ１５）。顧客１が物体を把持していることを検出しなかった場合（Ｓ１５のＮｏ）、Ｓ１９に進む。一方、顧客１が物体を把持していることを検出した場合（Ｓ１５のＹｅｓ）、登録部１２は、その物体から抽出した特徴量と、記憶部１４に記憶されている商品３の特徴量（図９参照）とに基づく照合処理により、顧客１が把持している商品（顧客１が商品載置スペース２から取り出した商品３）を認識する（Ｓ１６）。

そして、登録部１２は、認識した商品３の商品識別情報が認識情報（図１０参照）に登録されていない場合（Ｓ１７のＮｏ）、その商品識別情報を認識情報に登録する（Ｓ１８）。この時、登録部１２は、商品情報（図９参照）から、その商品識別情報に紐づけられた情報（単価、商品名等）を読み出し、認識情報に登録してもよい。一方、認識した商品３の商品識別情報がすでに認識情報（図１０参照）に登録されている場合（Ｓ１７のＹｅｓ）、登録部１２は認識情報の更新を行わない。

なお、商品の単価は、「性別、年齢層及び購買履歴の少なくとも１つを含む顧客情報」、及び、「その時点の商品の在庫及び売れ行きの少なくとも一方に関する在庫等情報」の少なくとも一方に基づき動的に決定されてもよい。

例えば、顧客情報及び／又は在庫等情報に含まれる所定のパラメータの値を入力すると単価を出力する関数や、顧客情報及び／又は在庫等情報に含まれる所定のパラメータの値と単価の対応関係を示すテーブル等が、記憶部１４に記憶されていてもよい。また、商品の在庫や売れ行きを示す情報が記憶部１４に記憶されていてもよい。また、上述のような顧客情報が記憶部１４に記憶されていてもよい。そして、登録部１２は、これらの情報に基づき、顧客毎に単価を決定してもよい。

そして、決済部１３は、画像処理により、その顧客１が基準範囲６の中にいるか判定する（Ｓ１９）。顧客１の位置が基準範囲６の外である場合（Ｓ１９のＮｏ）、決済部１３は、その時点の認識情報（図１０参照）に基づき決済処理を行う（Ｓ２０）。すなわち、決済部１３は、認識情報に基づき算出される支払代金を特定する。そして、特定した支払代金が「０」でない場合、決済部１３は、予めその顧客１に紐づけて登録されている決済手段情報を用いて、特定した支払代金の支払い処理を行う。特定した支払代金が「０」である場合、検出部１３は、決済手段情報を用いた支払処理を行わない。なお、顧客１の位置が基準範囲６の中である場合（Ｓ１９のＹｅｓ）、決済部１３は決済処理を実行しない。以降、Ｓ１０に戻り、同様の処理が繰り返される。

次に、本実施形態の処理装置１０の作用効果を説明する。本実施形態の処理装置１０によれば、従来にない新たな手法で、レジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムが実現される。このため、ゲートや車両を利用できない店舗においても、レジカウンターでの決済処理（商品登録及び支払い等）をなくすことによる利用者の利便性の向上や、店舗の手間の省略化が実現される。

また、本実施形態の処理装置１０によれば、１台のカメラ５が生成した画像に基づき、顧客１や商品３の認識や、顧客１が基準範囲６の外に移動したことの検出などを行うことができる。このため、設備費用等のコスト負担が軽減される。

ここで、本実施形態の変形例を説明する。

上記例では、処理装置１０は、例えばオフィス等の一画に菓子や飲み物等の商品を陳列し、そのオフィス等の従業員がセルフサービスで商品を購入する店舗で利用されることを前提に説明した。しかし、処理装置１０の利用場面はこれに限定されない。処理装置１０は、オフィス以外の場所で利用されてもよい。

また、商品載置スペース２は商品を載置できればよく、図１に示す台に代えて、棚、箱、椅子等のその他の物品で商品載置スペース２を構成してもよい。

図１３に一例を示す。図１２は、図１３の枠４を抽出した図である。枠４を構成する２つの部品各々には、カメラ５と照明とが設けられる。

照明の光放射面は一方向に延在しており、発光部及び発光部を覆うカバーを有している。照明は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、ＬＥＤなどの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がＬＥＤの場合、照明が延在する方向（図において上下方向）に、複数のＬＥＤが並んでいる。

そしてカメラ５は、直線状に延伸する枠４の部品の一端側に設けられており、照明の光が放射される方向を撮像範囲としている。例えば図１２の左側の枠４の部品において、カメラ５は下方及び右斜め下を撮像範囲としている。また、図１２の右側の枠４の部品において、カメラ５は上方及び左斜め上を撮像範囲としている。

図１３に示すように、枠４は、商品載置スペースを構成する商品棚の前面フレーム（又は両側の側壁の前面）に取り付けられる。この際、枠４の部品の一方は、一方の前面フレームに、カメラ５が下方に位置する向きに取り付けられ、枠４の部品の他方は、他方の前面フレームに、カメラ５が上方に位置する向きに取り付けられる。そして、枠４の部品の一方に取り付けられたカメラ５は、商品棚の開口部を撮像範囲に含むように、上方及び斜め上方を撮像する。一方、枠４の部品の他方に取り付けられたカメラ５は、商品棚の開口部を撮像範囲に含むように、下方及び斜め下方を撮像する。このように２つのカメラ５を用いることで、商品棚の開口部の全範囲を撮影することができる。

そして処理装置１０は、２つのカメラ５が撮像した画像を処理することにより、上記実施形態に示した各種の情報を生成する。例えば、一方のカメラ５は、上方及び斜め上方を撮像する。

また、図１に示す例では、カメラ５は枠４に設置されたが、この構成に代えて、天井、壁、支柱等のその他の物にカメラ５を設置してもよい。

また、上記例では、１台のカメラ５を設置し、１台のカメラで顧客１、商品３、基準範囲６等を含む撮影対象を撮影した。しかし、複数台のカメラ５を設置し、複数のカメラ５で分けて撮影対象を撮影してもよい。この場合、各カメラ５が撮影すべき撮影対象は限られるので（すなわち、すべての撮影対象を撮影する必要がない）、各カメラ５の設置などが比較的容易になる。

また、上記例では、画像に基づく顔認証で顧客１を認識した。しかし、画像解析以外の手段で顧客１を認識してもよい。例えば、処理装置１０は、所定の入力装置（指紋センサー、マイク等）を介して入力された指紋、声紋、虹彩などの生体情報に基づき顧客１を認識してもよい。その他、処理装置１０は、リーダー等を介して、顧客の携帯装置（ＩＣカード、スマートフォン、スマートウォッチ、タブレット端末、携帯電話等）から顧客識別情報を取得してもよい。この例の場合、カメラ５が生成する画像は、顧客１の顔を含まなくてもよい。これによりカメラ５が撮影すべき撮影対象が少なくなるので、必要なカメラ５の台数が減ったり、カメラ５の設置が容易になったりする。

また、決済部１３は、顧客１がカメラ５の画像からフレームアウトしたことをトリガにして、決済を行ってもよい。このようにすれば、予め、画像の中の基準範囲６を示す情報を記憶部１４に記憶させておく必要がなくなるので、オペレータの処理負担が軽減される。

その他、決済部１３は、顧客１が所定の動作を実施したことの検出として、「顧客１が所定方向（商品載置スペースから遠ざかる方向）に所定歩数移動したこと」の検出や、「顧客１が所定方向（商品載置スペースから遠ざかる方向）に所定時間移動したこと」の検出に応じて、決済を行ってもよい。このようにすれば、予め、画像の中の基準範囲６を示す情報を記憶部１４に記憶させておく必要がなくなるので、オペレータの処理負担が軽減される。

＜第２の実施形態＞
商品３の購入を検討している顧客１が商品３を把持した状態で移動すると考えられるエリアは、顧客１毎に異なると考えられる。すなわち、検討中、商品載置スペース２の前でじっとしている顧客１もいれば、商品載置スペース２から比較的離れた位置まで移動してしまう顧客１もいると考えられる。当該事情に鑑み、本実施形態の処理装置１０は、顧客１毎に適切な基準範囲６を設定する機能を備える。以下、詳細に説明する。

図１４に、本実施形態の処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、画像取得部１１と、登録部１２と、決済部１３と、記憶部１４と、完了通知部１５と、基準範囲修正部１６とを有する。

記憶部１４は、各顧客１の基準範囲６を示す情報（画像の中の基準範囲６を示す情報）を記憶している。そして、決済部１３は、顧客１各々の基準範囲６を示す情報に基づき、顧客１各々の基準範囲６を特定し、各顧客１がその基準範囲６の外に移動したことを検出する。

完了通知部１５は、決済部１３による決済後に、決済完了通知を顧客１の端末に送信し、決済完了通知に対する回答を顧客１の端末装置から受信する。決済完了通知は、例えば顧客１の端末にインストールされた所定のアプリケーションを介して実現されてもよいし、その他の手段で実現されてもよい。図１５に、顧客１の端末装置７に表示される決済完了通知の一例を示す。図示する決済完了通知は、決済対象の商品３の名称、代金、決済日等を含む。

図示しないが、端末装置７は、この決済完了通知の画面から、それに対する回答として、「問題ない旨の入力」及び「その商品３を購入していない旨の入力」を受付けてもよい。そして、そして、端末装置７は、その回答を処理装置１０に送信してもよい。

基準範囲修正部１６は、決済完了通知に対する回答が、決済完了通知で示される商品３を購入していない旨を示す場合、その顧客１の基準範囲６を広くする方向に修正し、修正後の内容を示す情報を記憶部１４に記憶させる。

ここで、顧客１毎に基準範囲６を修正する処理のアルゴリズムの一例を説明する。例えば、基準範囲修正部１６は、カメラ５が生成した画像に基づき、その商品３（購入していない旨の入力がなされた商品３）を把持した状態でのその顧客１（「その商品３を購入していない旨の入力」を行った顧客１）の移動軌跡を特定してもよい。そして、基準範囲修正部１６は、特定した移動軌跡に基づき、その顧客１の基準範囲６を決定してもよい。例えば、基準範囲修正部１６は、特定した移動軌跡を内包するように、その顧客の基準範囲６を決定してもよい。なお、上記特定した移動軌跡を学習データとした機械学習により、各顧客１の基準範囲６が決定されてもよい。

本実施形態の処理装置１０のその他の構成は、第１の実施形態と同様である。

以上、説明した本実施形態の処理装置１０によれば、第１の実施形態と同様な作用効果が実現される。また、本実施形態の処理装置１０によれば、顧客１毎に適切な基準範囲６が設定される。このため、顧客１が把持している商品３の購入を決定する前に誤って決済処理を行ってしまう不都合を軽減できる。

＜第３の実施形態＞
本実施形態の決済部１３は、商品識別情報が顧客識別情報に紐づけられた後、その商品３が商品載置スペース２に戻されたことや顧客１が基準範囲６の外に移動したことが検出されていない間、商品識別情報が顧客識別情報に紐づけられてからの経過時間を監視する。そして、決済部１３は、当該経過時間が閾値を超えた場合、顧客１が基準範囲６の外に移動したことの検出なしで、登録部１２による登録内容に基づく決済を行う。

本実施形態の処理装置１０のその他の構成は、第１及び第２の実施形態と同様である。

以上、説明した本実施形態の処理装置１０によれば、第１及び第２の実施形態と同様な作用効果が実現される。また、本実施形態の処理装置１０によれば、何らかの不具合により商品３を把持した顧客１（認識情報（図１０参照）において、顧客識別情報に紐づけて商品識別情報が登録されている顧客１）が基準範囲６の外に移動したことが検出されなかった場合でも、所定の時間経過に応じて決済処理を行うことができる。結果、決済漏れを抑制することができる。

＜第４の実施形態＞
本実施形態の決済部１３は、画像処理により顧客１の身体の向きの変化を検出し、その検出結果に基づき決済処理を行う。例えば、決済部１３は、商品３を把持している顧客１（認識情報（図１０参照）において、顧客識別情報に紐づけて商品識別情報が登録されている顧客１）の身体の向きが所定の条件（商品載置スペース２に正対した状態から１８０°反対側を向く）満たす場合、顧客１が基準範囲６の外に移動したことの検出なしで、登録部１２による登録内容に基づく決済を行ってもよい。

把持している商品３の購入を決めた顧客１は、身体の向きを変えて商品載置スペース２の前から離れると考えられる。一方で、把持している商品３を購入するか検討中の顧客１は、概ね商品載置スペース２の方を向いたまま、商品載置スペース２の周辺に位置すると考えられる。そこで、決済部１３は、当該例のように、顧客１の身体の向きが所定の条件を満たしたことに応じて、決済を行ってもよい。

その他、決済部１３は、商品３を把持している顧客１（認識情報（図１０参照）において、顧客識別情報に紐づけて商品識別情報が登録されている顧客１）の身体の向きが所定の条件（商品載置スペース２に正対した状態から１８０°反対側を向く）満たし、かつ、顧客１が基準範囲６の外に移動したことの検出に応じて、登録部１２による登録内容に基づく決済を行ってもよい。

上述の通り、把持している商品３を購入するか検討中の顧客１は、概ね商品載置スペース２の方を向いたまま、商品載置スペース２の周辺に位置すると考えられる。しかし、顧客１によっては、検討中、商品載置スペース２の方を向いたまま、基準範囲６の外に出てしまう場合がある。単に基準範囲６の外に移動したことを条件に決済を行うと、商品購入を検討中に決済を行うという不都合が発生し得る。そこで、決済部１３は、顧客１の身体の向きが所定の条件（商品載置スペース２に正対した状態から１８０°反対側を向く）を満たし、かつ、顧客１が基準範囲６の外に移動したことの検出に応じて、決済を行ってもよい。このようにすることで、上記不都合の発生を抑制できる。

本実施形態の処理装置１０のその他の構成は、第１乃至第３の実施形態と同様である。

以上、説明した本実施形態の処理装置１０によれば、第１乃至第３の実施形態と同様な作用効果が実現される。また、本実施形態の処理装置１０によれば適切なタイミングで決済を行うことができる。

＜第５の実施形態＞
本実施形態の決済部１３は、顧客１が基準範囲６の外に移動したことの検出に応じて決済を行うが、顧客１が基準範囲６の外に移動したことの検出をトリガにして決済を行うのでなく、顧客１が基準範囲６の外に移動したことの検出をトリガにして行われる所定の処理が行われたことの検出をトリガにして決済を行う。

具体的には、決済部１３は、顧客１が基準範囲６の外に移動したことの検出をトリガにして、登録部１２による登録内容に基づき決定された決済内容を示す情報を顧客１の端末装置７に送信し、決済内容が正しいか否かの回答を顧客１の端末装置７から受信する。

決済内容を示す情報は、決済対象の商品３の名称、代金等を含む。顧客１の端末装置７への決済内容を示す情報の送信、及び、顧客１の端末装置７からの回答の受信は、例えば顧客１の端末にインストールされた所定のアプリケーションを介して実現されてもよいし、その他の手段で実現されてもよい。

そして、決済部１３は、決済内容が正しい旨の回答の受信をトリガにして、決済内容で示される代金の決済を行う。

本実施形態の処理装置１０のその他の構成は、第１乃至第３の実施形態と同様である。

以上、説明した本実施形態の処理装置１０によれば、第１乃至第３の実施形態と同様な作用効果が実現される。また、本実施形態の処理装置１０によれば、決済前に事前に顧客１に確認する処理が行われるので、誤った内容で決済を行う不都合を抑制できる。

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１． 画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録手段と、
画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録手段による登録内容に基づく決済を行う決済手段と、
を有する処理装置。
２． 前記登録手段は、画像に含まれる前記顧客の顧客識別情報を認識し、認識した前記顧客識別情報に、認識した前記商品識別情報を紐づけて登録する１に記載の処理装置。
３． 前記登録手段及び前記決済手段は、同一のカメラが生成した画像を処理して、前記商品識別情報の認識、及び、前記顧客が前記所定の動作を実施したことの検出を行う１又は２に記載の処理装置。
４． 前記決済手段は、
前記顧客が前記所定の動作を実施したことの検出に応じて、前記登録内容に基づき決定された決済内容を示す情報を前記顧客の端末装置に送信し、
前記決済内容が正しいか否かの回答を前記顧客の端末装置から受信し、
前記決済内容が正しい旨の回答の受信に応じて、前記決済内容で示される代金の決済を行う１から３のいずれかに記載の処理装置。
５． 前記決済手段は、前記商品識別情報が前記顧客識別情報に紐づけられてからの経過時間が閾値を超えた場合、前記顧客が所定の動作を実施したことの検出なしで、前記登録内容に基づく決済を行う１から４のいずれかに記載の処理装置。
６． 前記登録手段は、顔画像又は虹彩で特定した前記顧客識別情報に前記商品識別情報を紐づけて登録する１から５のいずれかに記載の処理装置。
７． 前記登録手段は、画像処理により、前記顧客が前記商品を前記商品載置スペースに戻したことを検出し、前記商品識別情報と前記顧客識別情報とを紐づけた情報から前記商品載置スペースに戻した前記商品の前記商品識別情報を削除する１から６いずれかに記載の処理装置。
８． 前記決済手段は、画像処理により前記顧客の身体の向きが所定の条件を満たしたことの検出、前記顧客が所定方向に所定歩数移動したことの検出、又は、前記顧客が所定方向に所定時間移動したことを前記所定の動作として検出する１から７のいずれかに記載の処理装置。
９． 前記決済手段は、前記顧客が前記商品載置スペースを基準に定められた基準範囲の外に移動したことを前記所定の動作として検出する、１から８のいずれかに記載の処理装置。
１０． 前記基準範囲は、前記商品載置スペースの前方のエリアである９に記載の処理装置。
１１． 前記決済手段は、前記顧客各々の前記基準範囲を示す情報に基づき、前記顧客各々の前記基準範囲を特定し、
前記決済手段による決済後に、決済完了通知を前記顧客の端末装置に送信し、前記決済完了通知に対する回答を前記顧客の端末装置から受信する完了通知手段と、
前記決済完了通知に対する回答が、前記決済完了通知で示される商品を購入していない旨を示す場合、その前記顧客の前記基準範囲を広くする基準範囲修正手段と、
をさらに有する９又は１０に記載の処理装置。
１２． コンピュータが、
画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録し、
画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記商品識別情報の登録内容に基づく決済を行う処理方法。
１３． コンピュータを、
画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録手段、
画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録手段による登録内容に基づく決済を行う決済手段、
として機能させるプログラム。

Claims (16)

1. 画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録手段と、
   画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録手段による登録内容に基づく決済を行う決済手段と、
   を有し、
   前記決済手段は、前記商品識別情報が前記顧客識別情報に紐づけられてからの経過時間が閾値を超えた場合、前記顧客が所定の動作を実施したことの検出なしで、前記登録内容に基づく決済を行う処理装置。
2. 画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録手段と、
   画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録手段による登録内容に基づく決済を行う決済手段と、
   を有し、
   前記決済手段は、画像処理により前記顧客の身体の向きが所定の条件を満たしたこと、前記顧客が所定方向に所定歩数移動したこと、又は、前記顧客が所定方向に所定時間移動したことを前記所定の動作として検出する処理装置。
3. 画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録手段と、
   画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録手段による登録内容に基づく決済を行う決済手段と、
   を有し、
   前記決済手段は、前記顧客が前記商品載置スペースを基準に定められた基準範囲の外に移動したことを前記所定の動作として検出する処理装置。
4. 前記基準範囲は、前記商品載置スペースの前方のエリアである請求項３に記載の処理装置。
5. 前記決済手段は、前記顧客各々の前記基準範囲を示す情報に基づき、前記顧客各々の前記基準範囲を特定し、
   前記決済手段による決済後に、決済完了通知を前記顧客の端末装置に送信し、前記決済完了通知に対する回答を前記顧客の端末装置から受信する完了通知手段と、
   前記決済完了通知に対する回答が、前記決済完了通知で示される商品を購入していない旨を示す場合、その前記顧客の前記基準範囲を広くする基準範囲修正手段と、
   をさらに有する請求項３又は４に記載の処理装置。
6. 前記登録手段は、画像に含まれる前記顧客の顧客識別情報を認識し、認識した前記顧客識別情報に、認識した前記商品識別情報を紐づけて登録する請求項１から５のいずれか１項に記載の処理装置。
7. 前記登録手段及び前記決済手段は、同一のカメラが生成した画像を処理して、前記商品識別情報の認識、及び、前記顧客が前記所定の動作を実施したことの検出を行う請求項１から６のいずれか１項に記載の処理装置。
8. 前記決済手段は、
   前記顧客が前記所定の動作を実施したことの検出に応じて、前記登録内容に基づき決定された決済内容を示す情報を前記顧客の端末装置に送信し、
   前記決済内容が正しいか否かの回答を前記顧客の端末装置から受信し、
   前記決済内容が正しい旨の回答の受信に応じて、前記決済内容で示される代金の決済を行う請求項１から７のいずれか１項に記載の処理装置。
9. 前記登録手段は、顔画像又は虹彩で特定した前記顧客識別情報に前記商品識別情報を紐づけて登録する請求項１から８のいずれか１項に記載の処理装置。
10. 前記登録手段は、画像処理により、前記顧客が前記商品を前記商品載置スペースに戻したことを検出し、前記商品識別情報と前記顧客識別情報とを紐づけた情報から前記商品載置スペースに戻した前記商品の前記商品識別情報を削除する請求項１から９のいずれか１項に記載の処理装置。
11. コンピュータが、
    画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録し、
    画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記商品識別情報の登録内容に基づく決済を行い、
    前記決済では、前記商品識別情報が前記顧客識別情報に紐づけられてからの経過時間が閾値を超えた場合、前記顧客が所定の動作を実施したことの検出なしで、前記登録内容に基づく決済を行う処理方法。
12. コンピュータが、
    画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録し、
    画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記商品識別情報の登録内容に基づく決済を行い、
    前記決済では、画像処理により前記顧客の身体の向きが所定の条件を満たしたこと、前記顧客が所定方向に所定歩数移動したこと、又は、前記顧客が所定方向に所定時間移動したことを前記所定の動作として検出する処理方法。
13. コンピュータが、
    画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録し、
    画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記商品識別情報の登録内容に基づく決済を行い、
    前記決済では、前記顧客が前記商品載置スペースを基準に定められた基準範囲の外に移動したことを前記所定の動作として検出する処理方法。
14. コンピュータを、
    画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録手段、
    画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録手段による登録内容に基づく決済を行う決済手段、
    として機能させ、
    前記決済手段は、前記商品識別情報が前記顧客識別情報に紐づけられてからの経過時間が閾値を超えた場合、前記顧客が所定の動作を実施したことの検出なしで、前記登録内容に基づく決済を行うプログラム。
15. コンピュータを、
    画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録手段、
    画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録手段による登録内容に基づく決済を行う決済手段、
    として機能させ、
    前記決済手段は、画像処理により前記顧客の身体の向きが所定の条件を満たしたこと、前記顧客が所定方向に所定歩数移動したこと、又は、前記顧客が所定方向に所定時間移動したことを前記所定の動作として検出するプログラム。
16. コンピュータを、
    画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録手段、
    画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録手段による登録内容に基づく決済を行う決済手段、
    として機能させ、
    前記決済手段は、前記顧客が前記商品載置スペースを基準に定められた基準範囲の外に移動したことを前記所定の動作として検出するプログラム。

Images