JP7289613B2 - 商品管理システム及び商品管理方法 - Google Patents

Description

一実施形態は、商品管理システム及び商品管理方法に関する。

店舗にある商品を購入する購入者が、購入する商品を自らチェックして支払いを行う無人レジの導入が進んでいる。無人レジは、店舗運営の効率化や商品購入の際の決済にかかる時間の短縮化が見込まれるため、今後ますます導入が進む可能性がある。

特開２０１６－５３２９３２号公報

上記した無人レジは、購入する商品を決済する際に店舗利用者自身に購入商品をチェックさせる等、商品を購入するために必要となる作業を店舗利用者に負担させるものがある。

また、店舗利用者が購入商品として選択した商品を画像認識により判別することで、決済する際の購入商品のチェックを省くシステムも存在している。しかしこのシステムは、商品を選択する際の商品と店舗利用者との位置関係によっては、店舗利用者が選択した商品を画像認識により正しく判別できない場合もある。

そこで本実施形態では、商品購入の際に店舗利用者の作業負担を軽減し、かつ店舗利用者が選択した商品を正しく判別する無人レジにおける、商品管理システム及び商品管理方法を提供することを目的とする。

一実施形態の商品管理システムは、サーバと第１、第２及び第３のセンサ、援助要求手段とを備える。前記サーバは、無人レジスタを採用する店舗の陳列エリアを１つまたは複数に区分した個別エリアそれぞれに陳列されている商品と前記店舗の利用者を管理する。前記第１のセンサは、前記個別エリアに陳列されている前記商品の配置位置での重量の変化を検出して第１通知として前記サーバに通知し、第２のセンサは、前記個別エリアに陳列されている前記商品との間の距離の変化を検出して第２通知として前記サーバに通知し、第３のセンサは、前記個別エリアに存在する利用者の顔と足元を含む映像を撮影し、撮影した前記顔と足元を含む映像を第３通知として前記サーバに通知し、前記利用者の前記店舗の入退における操作の援助要求を受け付けて前記サーバに通知する。前記サーバは、前記第１のセンサ及び前記第２のセンサからの第１通知及び第２通知によって前記重量の変化と前記距離の変化が共に検出されたとき、前記商品が前記個別エリアから取り出されたと判定し、前記第３通知として通知された前記顔と足元を含む映像と予め登録してある顔と足元の映像と比較することで前記利用者を特定して、取り出されたと判定された商品と特定された利用者についての登録処理を行い、前記登録処理の結果に基づいて前記無人レジスタでの決済処理を行い、前記援助要求があった場合は前記店舗の入退における操作の援助処理を行う。

図１Ａは、一実施形態に係る商品移動検出装置の全体図である。 図１Ｂは、入店確認操作パネルの一例を示す図である。 図１Ｃは、陳列エリアの上に配置されるレールの配置の一例を示す図である。 図１Ｄは、退店確認操作パネルの一例を示す図である。 図２は、本実施形態の商品移動検出装置を備える店舗の利用者が、店舗を利用するための事前登録から実際に商品を購入して店舗から退店するまでの行動様式とその際に必要となるデバイスとの関係を示した図である。 図３は、図２のＳ１の事前登録の手順を示した図である。 図４Ａは、図２のＳ２の入店確認の様子を示した図である。 図４Ｂは、入店確認の処理フローを示した図である。 図５Ａは、図２のＳ３の商品選択の様子を示した図である。 図５Ｂは、利用者Ａが、棚の陳列エリアに陳列されている商品を自由に見たり選択したりしている様子を、真上から見た図である。 図６Ａは、個別エリアに配置される距離センサと重量センサの配置の例を示した図である。 図６Ｂは、取り出された商品とその商品を取り出した利用者Ａとを特定する場合の、距離センサと重量センサの処理フローを示した図である。 図６Ｃは、取り出された商品とその商品を取り出した利用者Ａとを特定する場合の、サーバの処理フローを示した図である。 図６Ｄは、足元認証を行う場合の、入店確認の処理フローを示した図である。 図６Ｅは、図６ＤのＳ６４３の足元の部分を撮影する処理の詳細フローの一例を示した図である。 図６Ｆは、足元認証を行う場合の、取り出された商品とその商品を取り出した利用者Ａとを特定する場合の、サーバの処理フローを示した図である 図７は、図２のＳ５の退店確認の様子を示した図である。 図８は、商品を陳列する棚の他の形態の例を示した図である。

以下、本発明の実施の形態について図面を用いて説明する。

図１Ａは、一実施形態にかかる商品移動検出装置の全体図である。

１は、一実施形態にかかる商品移動検出装置を備える店舗１である。

１００は、店舗１の入店ゲートである。店舗１の来店者は、店舗１に入店する際に、店舗１の正当な利用者であることを確認する入店確認を行う。確認の結果正当な利用者であると判断されると、来店者は入店ゲート１００を通過して店舗１に入店することができる。入店ゲート１００は、来店者に入店を許可するあるいは入店を許可しないことを通知する手段として、例えば通知音を出すスピーカ（図示しない）や通知ランプを光らせるＬＥＤ（Light Emitting Diode）を備えてもよい。

１１０は、店舗１の正当な利用者であることを来店者が確認する入店確認を行うための入店確認操作パネルである。入店確認操作パネル１１０は、図１Ｂに示すように、店舗１の正当な利用者に発行される会員番号を読み取るリーダ１１０－１と来店者の顔の部分を撮影するカメラ１１０－２とを備える。リーダ１１０－１が読み取った会員番号とカメラ１１０－２が撮影した顔の部分の映像とは、ネットワーク２０１を介してサーバ２００に通知され、店舗１の来店者が正当な利用者であることの確認が行われる。

会員番号は、文字で表示されてもよいし、例えばＱＲコード（登録商標）で表示されていてもよい。また入店確認操作パネル１１０は、入店確認操作パネル１１０の操作方法が分からない場合や操作上トラブルが発生した場合に、店舗１の店員を呼ぶためのおたすけボタン１１０－３を備えていてもよい。

会員番号および顔の部分の顔認証による入店確認の結果、店舗１の来店者が正当な利用者であると判断されると、来店者は入店ゲート１００を通過して店舗１に入店することができる。店舗１の正当な利用者となるためには、事前の登録が必要となる。事前の登録の手順については、図３を用いて説明する。

１２０は、横、奥行、高さ方向にある大きさを持つ持ち、店舗１の商品を陳列するための棚である。

１２１は、棚１２０が持つ、商品１つ１つを陳列するための板状に広がる陳列エリアである。陳列エリア１２１は、１段あるいは積層された複数段であってもよい。図１の棚１２０の例は、陳列エリア１２１が１段目の陳列エリア１２１－１、２段目の陳列エリア１２１－２、３段目の陳列エリア１２１－３、４段目の陳列エリア１２１－４、５段目の陳列エリア１２１－５である５段に積層された陳列エリアから構成されている例である。

１２２は、陳列エリア１２１を、適度な幅で棚１２０の高さ方向に仕切る仕切り板である。隣り合う仕切り板１２２の間隔は、利用者１人が陳列エリア１２１に陳列されている商品を見たり、手に取ったりするのに必要にして十分な間隔であることが望ましい。その間隔は、例えば１メートル程度である。

１２３は、板状に広がる陳列エリア１２１の上に配置されているレールである。このレール１２３は、板状の広がる陳列エリア１２１に対して垂直方向にある高さをもち、棚１２０の前に立った利用者から見て、仕切り板１２２に沿って棚１２０の奥行き方向に延びるように陳列エリア１２１の上に配置される。このレール１２３により、陳列エリア１２１は複数の個別エリア１２４に分かれる。陳列エリア１２１の上に配置されるレール１２３の配置の例は、図１Ｃを用いて説明する。

１２４は、レール１２３により陳列エリア１２１を分割することで構成される個別エリアである。個別エリア１２４は、商品を一列に並べるためのエリアである。１つの個別エリア１２４には、１種類の商品が同じ向きに陳列される。したがって、１つの個別エリア１２４を構成する隣り合うレール１２３の間隔は、陳列される商品の大きさ合うように変えることが可能である。このように陳列エリア１２１は、１つまたは複数の個別エリア１２４から構成される。個別エリア１２４には、ユニークに個別エリア識別番号が割り振られている。個別エリア識別番号を特定することで、その番号が割り振られた個別エリア１２４の場所を特定することができる。

１つの個別エリア１２４には、１つの距離センサ１３１と重量センサ１３２とが配置されている。距離センサ１３１と重量センサ１３２は、ネットワーク２０１を介してサーバ２００と通信可能である。

１１１は、店舗１の利用者が図２で示すバスケットに登録した商品の決済を完了していること確認する退店確認を行う退店確認操作パネルである。退店確認操作パネル１１１は、決済完了通知を読み取るリーダ１１１－１を備える。退店確認操作パネル１１１の構成は、図１Ｄを用いて説明する。

決済完了通知とは、図２を用いて説明するバスケットに登録されている商品を購入するために決済を行うと、店舗１のサーバ２００から利用者の携帯端末に送られる通知のことである。決済の処理については、図２および図７を用いて説明する。

１０１は、店舗１の退店ゲートである。利用者は、退店確認操作パネル１１１のリーダ１１１－１に決済完了の通知を読み取らせ、購入した商品の決済が完了していることの確認が完了すると、退店ゲート１０１を通過して店舗１から退店することができる。退店ゲート１０１は、利用者に退店を許可するあるいは入店を許可しないことを通知する手段として、例えば通知音を出すスピーカ（図示しない）や通知ランプを光らせるＬＥＤ（図示しない）を備えてもよい。

１３０は、棚１２０に設置されている、利用者を特定するためのカメラである。隣り合う仕切り板１２２の間には、少なくとも１台のカメラ１３０が任意の位置に設置されており、この設置されているカメラ１３０は、棚１２０に向かって立つ利用者の顔の部分を撮影するのに十分な画角を持つ。またカメラ１３０は、ネットワーク２０１を介してサーバ２００と接続されており、撮影した映像を逐次サーバ２００に送る。

２００は、店舗１のサーバである。サーバ２００は、入店確認操作パネル１１０、退店確認操作パネル１１１、距離センサ１３１、重量センサ１３２およびカメラ１３０とネットワーク２０１を介して通信可能である。

サーバ２００は、距離センサ１３１および重量センサ１３２から送られてくる検出結果をもとに、商品が陳列エリア１２１から除去されたことを判定する。またサーバ２００は、カメラ１３０から送られてくる映像を、事前登録で登録された顔イメージと比較することで、棚１２０の前に立つ利用者を特定する。

また入店確認操作パネル１１０による入店確認時、退店確認操作パネル１１１による退店確認時にも、送られてきたデータをもとに入店確認や退店確認の処理を行う。

さらにまたサーバ２００は、図２で説明する事前登録を行った店舗１の利用者が自身の携帯端末にインストールした特定アプリケーションとも通信を行う。またサーバ２００は、特定アプリケーションを用いて行った事前登録の内容も保存する。

サーバ２００は、制御部と称してもよい。またサーバ２００が置かれる場所は、限定しない。サーバ２００は例えば、棚１２０ごとに設置されてもよいし、陳列エリア１２１ごとに設置されてもよい。あるいはサーバ２００は、ネットワーク２０１で接続された店舗１とは別の場所にあってもよい。

図１Ｂは、入店確認操作パネル１１０の一例を示す図である。入店確認操作パネル１１０は、店舗１の正当な利用者に発行される会員番号を読み取るリーダ１１０－１と、来店者の顔部分を撮影して、リーダ１１０－１で読み取った会員番号を持つ利用者本人であることを顔認証により判定するためのカメラ１１０－２を備える。また入店確認操作パネル１１０は、操作方法が分からない場合や操作上トラブルが発生した場合に店舗１の店員を呼ぶためのおたすけボタン１１０－３を備えていてもよい。

図１Ｃは、陳列エリア１２１の上に配置されるレール１２３の配置の一例を示す図である。レール１２３は、板状の広がる陳列エリア１２１に対して垂直方向にある高さをもち、棚１２０の前に立った利用者から見て、仕切り板１２２に沿って棚１２０の奥行き方向に延びるように陳列エリア１２１の上に配置される。図１Ｃの例は、レール１２３－１からレール１２３－２までの幅と、レール１２３－２からレール１２３－３までの幅とが異なった例である。商品は、同じ向きに一列に陳列されているのが望ましい。またレール１２３は、直線状でも任意の形状でも構わないが、直線状であることが望ましい。

図１Ｄは、退店確認操作パネル１１１の一例を示す図である。退店確認操作パネル１１１は、決済完了通知を読み取るリーダ１１１－１を備える。また退店確認操作パネル１１１は、完了した決済の内容を再度確認できるように、表示画面１１１－２を備えてもよい。また退店確認操作パネル１１１は、操作方法が分からない場合や操作上トラブルが発生した場合に店舗１の店員を呼ぶためのおたすけボタン１１１－３を備えていてもよい。表示画面１１１－２は、完了した決済の内容を表示するだけなく、店舗１の今後の特売情報等を表示してもよい。あるいは利用者のこれまでの購入履歴から、次回来店時に購入を勧める商品の一覧を出してもよい。

図２は、本実施形態の商品移動検出装置を備える店舗１の利用者が、店舗１を利用するための事前登録から実際に商品を購入して店舗から退店するまでの行動様式とその際に必要となるデバイスとの関係を示した図である。

本実施形態の商品移動検出装置を備える店舗１の利用希望者は、店舗１を利用するために事前登録を行う（Ｓ１）必要がある。

事前登録とは、店舗１の利用希望者が、店舗１の利用資格を得るための登録作業である。事前登録は、店舗１の利用希望者が、店舗１が提供する特定アプリケーションを携帯端末にインストールし、そのインストールした特定アプリケーションを用いて行う。事前登録により店舗１の利用希望者には、会員番号が発行される。また店舗１のサーバ２００には、利用希望者に発行される会員番号と顔の部分の映像のセットが会員個別情報として登録される。事前登録の手順については、図３を用いて説明する。

店舗１の来店者は、店舗１を訪れた際に入店確認を行う（Ｓ２）。入店確認とは、店舗１の来店者が行う、店舗１の正当な利用者であることの確認作業である。

来店者は、入店確認操作パネル１１０のリーダ１１０－１に会員番号を読み取らせるとともに、カメラ１１０－２で自身の顔の部分を撮影される。リーダ１１０－１に読み取られた会員番号およびカメラ１１０－２で撮影された顔の部分の映像は、店舗１のサーバ２００に送られる。サーバ２００は、入店確認操作パネル１１０から送られてきた会員番号と顔の部分の映像を受信すると、事前登録（Ｓ１）で登録した会員個別情報と比較を行い、来店者が正当な利用者であるかの判断を行う。

なお会員個別情報に登録されている顔の部分の映像は、入店確認の際にカメラ１１０－２で撮影された顔の部分の映像により逐次更新されてもよい。

入店確認の流れについては、図４を用いて説明する。

店舗1の来店者は、入店確認（Ｓ２）の結果、店舗１の正当な利用者Ａであることが確認されると、入店ゲート１００を通過して店舗１に入店することが出来る。

店舗１に入店した利用者Ａは、棚１２０の陳列エリア１２１に陳列されている商品を自由に見たり選択したりする（Ｓ３）ことができる。利用者Ａが、棚１２０に陳列されている商品を購入するために、陳列エリア１２１から商品Ａを取り出すと、商品Ａを取り出した個別エリア１２４に配置されている距離センサ１３１および重量センサ１３２により、商品Ａが取り出されたことが特定される。また商品Ａを選択した利用者Ａ自身は、棚１２０に設置されているカメラ１３０により顔の部分が撮影される。撮影された利用者Ａの顔の部分の映像は、ネットワーク２０１を介してサーバ２００に送られ、事前登録（Ｓ１）で登録された会員個別情報として登録されている顔の部分の映像と比較して認証を行うことで、商品Ａを選択した人物が利用者Ａであると特定される。

このように棚１２０に配置されている距離センサ１３１および重量センサ１３２により、どの商品が選択されたかが特定され、棚１２０に配置されているカメラ１３０が撮影した映像により、誰が選択したかが特定される。この特定された利用者Ａと利用者Ａが個別エリア１２４から取り出した商品Ａとの情報は、サーバ２００に蓄えられる。サーバ２００は、利用者Ａと利用者Ａが個別エリア１２４から取り出した商品Ａの情報を、利用者ＡのバスケットＡに登録する。

なお利用者を映像により特定する方法は、顔の部分の映像を用いるだけでなく、店舗１に入店して退店するまでの間において、利用者の外観のうち変化が少ないと思われる部分の映像を加えてもよい。

入店して退店するまでの間において、利用者の外観のうち変化が少ないと思われる部分の映像は、例えば履いている靴やサンダル等を含む足元の部分の映像である。

バスケットとは、Ｓ３で利用者Ａが個別エリア１２４から取り出した商品Ａの情報をサーバ２００に登録するための、利用者ごとの保存エリアである。バスケットは、事前登録時に作成された会員個別情報の１つとして管理される。利用者ＡがＳ３で商品を個別エリア１２４から取り出すごとに、利用者ＡのバスケットＡには取り出した商品の情報が追加登録される。

利用者は、自身の携帯端末にインストールした特定アプリケーションを用いて、バスケットに登録された商品の情報をいつでも参照することが可能である。

また利用者は、バスケットに登録された商品を購入する場合は、特定アプリケーションを用いて決済を行うことが出来る。利用者Ａが特定アプリケーションを用いてバスケットＡに登録されている商品の決済を行う（Ｓ４）と、店舗１のサーバ２００は、利用者Ａの携帯端末に決済完了通知を通知する。

決済完了通知には、購入日時、購入した商品の一覧、支払金額、御釣り等の情報が含まれる。

利用者Ａは、バスケットＡに登録されている商品の決済（Ｓ４）を完了すると、退店確認操作パネル１１１を操作して退店確認を行う（Ｓ５）ことが出来る。

退店確認の確認作業は、自身の携帯端末に送られてき決済完了通知を、退店確認操作パネル１１１のリーダ１１１－１に読み取らせることで行われる。リーダ１１１－１が決済完了通知を読み取ると、リーダ１１１－１が読み取った決済完了通知は、ネットワーク２０１を介してサーバ２００に通知される。通知を受け取ったサーバ２００は、利用者Ａの決済が完了しているかの確認を行う。決済が完了している場合、サーバ２００はその旨を退店確認操作パネル１１１に通知し、通知を受けた確認操作パネル１１１が、利用者Ａが店舗１から退店できるように退店ゲート１０１を開放する。

図３は、図２のＳ１の事前登録の手順を示した図である。店舗１の利用希望者は、店舗１を利用するための事前登録に必要な特定アプリケーションを自身の携帯端末３０１にインストールする必要がある。携帯端末３０１は、スマートフォン、タブレット、モバイルＰＣ等、ユーザが携帯できる通信可能な端末ならいずれであってもよい。

図３（Ａ）は、店舗１の利用希望者が、携帯端末３０１の表示画面３１０に表示されている特定アプリケーションの指示に従って事前登録するために必要な、入力情報の一例である。

店舗１の利用希望者は、特定アプリケーションの指示に従って、利用希望者自身の顔を含む写真３１０－１、名前３１０－２、性別３１０－３、店舗１からの通知の送信先アドレス３１０－４を入力する。

利用希望者自身の顔を含む写真３１０－１は、複数枚登録することが望ましい。また複数枚のそれぞれの顔を含む写真３１０－１は、撮影のアングルや顔の表情、ポーズ等が異なるものであることが望ましい。図３の例は、５種類の顔を含む写真３１０－１を登録した例である。

送信先アドレスは、例えばメールのアドレスであったり、ＳＮＳ（Social NetworkingService）のアドレスであったりと、店舗１が使用する通信手段のいずれのアドレスであってもよい。また送信先アドレスは、複数入力可能であってもよい。

店舗１の利用希望者は、事前登録に必要な情報の入力を完了すると、特定アプリケーションが管理するボタン３１０－５を押下する。特定アプリケーションは、登録ボタン３１０－５が押下されたのを認識すると、入力済みの事前登録に必要な情報を、サーバ２００に送信する。

サーバ２００は、携帯端末３０１から送られてきた事前登録に必要な情報を受信すると、会員個別情報としてサーバ２００の保存エリアに保存するとともに、会員番号を発行して携帯端末３０１に対して送信する。発行した会員番号も、会員個別情報の１つとしてサーバ２００に保存される。

図３（Ｂ）は、サーバ２００から送られてきた会員番号を、携帯端末３０１の表示画面３１０に表示した場合の表示の一例である。

サーバ２００からの会員番号の通知を受けた携帯端末３０１の特定アプリケーションは、その通知された会員番号を表示画面３１０に表示する。会員番号の表示の方法は、例えば数値で表示したものであってもよいし、例えば数値で表現された会員番号をＱＲコードに変化して表示したものであってもよい。図３（Ｂ）の例は、会員番号の数値をＱＲコード３１１に変換して表示画面３１０に表示した例である。このようにして店舗１の利用希望者は、店舗１を利用する際に必要となる会員番号を取得することができる。

図４Ａは、図２のＳ２の入店確認の様子を示した図である。店舗１の来店者１０は、入店確認操作パネル１１０の前に立ち、店舗１に入るための入店確認を行う。

図４Ｂは、入店確認の処理フローを示した図である。

来店者１０が入店確認操作パネル１１０のリーダ１１０－１に、会員番号が表示された例えば会員カードや携帯端末の表示画面をかざすと、入店確認操作パネル１１０は、入店確認の処理を開始する（Ｓ４００）。入店確認操作パネル１１０のリーダ１１０－１は、かざされた会員カードや携帯端末の表示画面の中から会員番号を読み取る（Ｓ４０１）。

会員番号の読み取りが完了すると、入店確認操作パネル１１０は、カメラ１１０－２を用いて来店者１０の顔の部分の撮影を行う（Ｓ４０２）。入店確認操作パネル１１０は、リーダ１１０－１が読み取った会員番号とカメラ１１０－２が撮影した顔の部分の映像とを、サーバ２００に送る（Ｓ４０３）。

サーバ２００は、事前登録時に登録済みの会員個別情報と入店確認操作パネル１１０から送られてきた会員番号と顔の部分の映像の情報との比較を行う（Ｓ４０４）。

比較を行った（Ｓ４０５）結果、入店確認操作パネル１１０から送られてきた会員番号と顔の部分の映像の情報にマッチする会員個別情報が存在する場合（Ｓ４０５のＹｅｓ）、サーバ２００は、来店者１０を店舗１の正当な利用者であると判断する（Ｓ４０６）。

サーバ２００は、来店者１０の入店を許可する旨を入店確認操作パネル１１０に通知する（Ｓ４０７）。来店者１０の入店を許可する旨を受信した入店確認操作パネル１１０は、来店者１０の店舗１への入店を許可する処理を行い（Ｓ４０８）、入店確認処理を終了する（Ｓ４０９）。

入店を許可する処理は、例えば入店ゲート１００の扉を開いたり、音声により「ご入店ください」とアナウンスしたり、入店ゲート１００の通知ランプを青色に光らせたりする処理である。

比較を行った（Ｓ４０５）結果、入店確認操作パネル１１０から送られてきた会員番号と顔の部分の映像の情報にマッチする会員個別情報が存在しない場合（Ｓ４０５のＮｏ）、サーバ２００は、来店者１０を店舗１の正当でない利用者であると判断する（Ｓ４１０）。

サーバ２００は、来店者１０の入店を許可しない旨を入店確認操作パネル１１０に通知する（Ｓ４１１）。

来店者１０の入店を許可しない旨を受信した入店確認操作パネル１１０は、来店者１０の店舗１への入店を許可しない処理を行い（Ｓ４１２）、入店確認処理を終了する（Ｓ４０９）。

入店を許可しない処理は、例えば入店ゲート１００の扉を閉じたままにして音声により「入店できません」とアナウンスしたり、入店ゲート１００の通知ランプを赤色に光らせたりする処理である。入店を許可しない処理は、入店が許可されない利用者を導くために、例えば「おたすけボタンを押して係員とお話しください」とアナウンスする処理を加えてもよい。

図５Ａは、図２のＳ３の商品選択の様子を示した図である。

来店者１０は、店舗１の正当な利用者Ａと判定されると入店ゲート１００を通過して店舗１に入店することができる。

利用者Ａは、棚１２０の陳列エリア１２１に陳列されている商品を自由に見たり選択したりすることができる。

図５Ｂは、利用者Ａが、棚１２０の陳列エリア１２１に陳列されている商品を自由に見たり選択したりしている様子を、真上から見た図である。図５Ｂ（Ａ）に示すように、棚１２０を構成する仕切り板１２２は、陳列エリア１２１より利用者が立つ位置の方向に出ているのが望ましい。図５Ｂ（Ｂ）に示すように、仕切り板１２２とは別体のパーティション１２２－Ｐを配置してもよい。

以上のように棚１２０の仕切り板１２２を、陳列エリア１２１より利用者が立つ位置の方向に出すことで、陳列エリア１２１の前に立つ利用者を少数にすることが可能となり、カメラ１３０の撮影による個別エリア１２４に陳列してある商品を取り出す利用者の特定を、より容易にしている。

図６Ａは、個別エリア１２４に配置される距離センサ１３１と重量センサ１３２の配置の例を示した図である。図６Ａに示すように、１つの個別エリア１２４には１つの距離センサ１３１と重量センサ１３２が配置されている。

距離センサ１３１は、個別エリア１２４に陳列されている商品と対向する、個別エリア１２４の縁のうち、利用者が立つ位置に近い側の縁に配置することが望ましい。

重量センサ１３２は、個別エリア１２４に陳列されている商品の下に配置されることが望ましい。

図６Ａの例は、外装が変形しにくい厚紙で出来た箱状の商品と外装が変形しやすい袋状の商品とが、個別エリア１２４に陳列されている例である。外装が変形しやすい商品は、例えば、カメラ１３０で撮影した映像だけを用いて商品を特定する場合、外装の変形により特定が困難な場合がある。これに対して本実施形態の商品移動検出装置は、外装が変形しやすい物に対しても距離センサ１３１と重量センサ１３２を組み合わせることで、確実に商品を特定することができる。

図６Ｂおよび図６Ｃは、図２のＳ３で利用者Ａが個別エリア１２４に陳列されている商品を個別エリア１２４から取り出した場合の、距離センサ１３１の検出結果、重量センサ１３２の検出結果およびカメラ１３０が撮影した映像を用いて、取り出された商品とその商品を取り出した利用者Ａとを特定する処理フローを示した図である。

図６Ｂは、取り出された商品とその商品を取り出した利用者とを特定する場合の、距離センサ１３１と重量センサ１３２の処理フローを示した図である。個別エリア１２４ごとに配置されている距離センサ１３１と重量センサ１３２は、特定処理（Ｓ６００）を開始すると、逐次にセンシング処理を行う（Ｓ６０２）。

センシング処理（Ｓ６０２）の結果、距離センサ１３１が距離の変化を検出した場合（Ｓ６０３のＹｅｓ）、距離センサ１３１は、距離に変化があった旨を距離の変化量とともにサーバ２００に通知する（Ｓ６０４）。

同様にセンシング処理（Ｓ６０２）の結果、重量センサ１３２が重量の変化を検出した場合（Ｓ６０５のＹｅｓ）、重量センサ１３２は、重量に変化があった旨を重量の変化量とともにサーバ２００に通知する（Ｓ６０６）。なお、それぞれの通知は、距離センサ１３１および重量センサ１３２が配置されている個別エリア１２４の個別エリア識別番号を含む。

なおＳ６０２のセンシング処理のタイミングは、任意に調整することができる。センシングのタイミングは、例えばカメラ１３０による映像の撮影結果と連携することも可能である。つまり、利用者が近くに存在する場合だけ、その近傍の個別エリア１２４に配置されている距離センサ１３１と重量センサ１３２だけがセンシング処理（Ｓ６０２）を行ってもよい。このように、店舗１にいる利用者の位置あるいは店舗の大きさ等、いろいろな条件に合わせてよりセンシング処理（Ｓ６０２）を行うタイミングを制御することが可能であり、店舗１を効率的に運営することができる。Ｓ６０２のセンシング処理のタイミングは、例えばサーバ２００により管理制御してもよい。

またＳ６０３の処理における距離の変化の検出、およびＳ６０５の処理における重量の変化の検出は、予め設定した閾値を超えたかどうかで判定する。この閾値は、個別エリア１２４ごとに自由に変えることができる。具体的には例えば、個別エリアＡに配置された距離センサ１３１が距離の変化を検出する閾値を１ｃｍ、他の個別エリア１２４に配置された距離センサ１３１が距離の変化を検出する閾値を２ｃｍ、というように距離センサ１３１に設定する閾値は、個別エリア１２４ごとに変えてもよい。

同様に、例えば、個別エリアＢに配置された重量センサ１３２が重量の変化を検出する閾値を２ｇ、他の個別エリア１２４に配置された重量センサ１３２が重量の変化を検出する閾値を１０ｇ、というように重量センサ１３２に設定する閾値は、個別エリア１２４ごとに変えてもよい。

あるいはまたＳ６０３の処理における距離の変化の検出の精度、およびＳ６０５の処理における重量の変化の検出は、各々の検出精度を個別エリア１２４ごとに自由に変えることができる。また検出精度は、上述した閾値の大きさに合わせて自由に変えることができる。例えば個別エリアＡに比較的小さい商品が陳列されている場合、個別エリアＡに配置する距離センサ１３１の距離の検出精度を、他の個別エリア１２４に配置する距離センサ１３１の検出精度に比べて高くなるように設定してもよい。具体的には例えば、個別エリアＡに配置された距離センサ１３１が距離を検出する検出精度を０．５ｃｍ単位、他の個別エリア１２４に配置された距離センサ１３２が距離を検出する検出精度を１ｃｍ単位、というように距離センサ１３１に設定する検出精度は、個別エリア１２４ごとに変えてもよい、あるいは検出精度が異なる距離センサ１３１を個別エリア１２４ごとに配置してもよい。

同様に、例えば個別エリアＢには軽い商品が陳列されている場合、個別エリアＢに配置された重量センサ１３２の重量の検出精度を、他の個別エリア１２４に配置された重量センサ１３２の検出精度に比べて高くなるように設定してもよい。具体的には、個別エリアＢに配置された重量センサ１３２が重量を検出する検出精度を１ｇ単位、他の個別エリア１２４に配置された重量センサ１３２が重量を検出する検出精度を５ｇ単位、というように重量センサ１３２に設定する検出精度は、個別エリア１２４ごとに変えてもよい、あるいは検出精度が異なる重量センサ１３２を個別エリア１２４ごとに配置してもよい。

閾値や検出精度が設定可能な場合、例えばサーバ２００により閾値や検出精度を管理制御してもよい。

例えば個別エリア１２４に大きさの小さい商品が陳列されている場合、カメラ１３０で撮影した映像だけを用いて商品を特定する方法があるが、大きさ、形状、重さ等商品の特徴に応じてカメラの性能を変えることは難しいため、撮影した映像だけを用いて１つ１つの商品を特定することが困難な場合がある。これに対して本実施形態の商品移動検出装置は、距離センサ１３１と重量センサ１３２とを用いて商品の移動の検出を行うが、距離センサ１３１と重量センサ１３２の検出精度を商品ごとの特徴に応じて変えることで、確実に商品を特定することができる。

このように本実施形態の商品移動検出装置は、個別エリア１２４に陳列される商品の大きさや重さや形状等商品個々の特徴に応じて、商品が取り出されたことを検出するための閾値や精度を自由に変えることが可能であるため、商品の取り出しの検出を確実に実行することが可能である。

図６Ｃは、取り出された商品とその商品を取り出した利用者Ａとを特定する場合の、サーバ２００の処理フローを示した図である。

サーバ２００は、特定処理（Ｓ６２０）を開始すると、距離センサ１３１あるいは重量センサ１３２から通知があるごとに受信処理を行う（Ｓ６２２）。サーバ２００は、距離センサ１３１あるいは重量センサ１３２から通知された内容を解析し、同じ個別エリア識別番号を持つ距離センサ１３１からの通知と重量センサ１３２から通知との両方の通知を受信したかの確認を行う（Ｓ６２３）。確認結果、同じ個別エリア識別番号を持つ距離センサ１３１からの通知と重量センサ１３２からの通知の両方を受信した場合（Ｓ６２３のＹｅｓ）、サーバ２００は、両方の通知に含まれている距離の変化量と重量の変化量から、個別エリア１２４から商品が除去されたかを判定する（Ｓ６２４）。

判定（Ｓ６２４）の結果、除去されている場合（Ｓ６２５のＹｅｓ）、カメラ１３０から逐次送られてくる顔の部分の映像データのうち、Ｓ６２２で距離センサ１３１からの通知あるいは重量センサ１３２からの通知を受信したタイミングの近傍の映像データと会員個別情報として登録されている顔の部分の映像とを比較して認証することで、商品を除去した利用者を利用者Ａとして特定する（Ｓ６２６）。

サーバ２００は次に、特定した利用者ＡのバスケットＡに、Ｓ６２４で除去されたと判定した商品の情報を登録する（Ｓ６２７）。

判定（Ｓ６２５）の結果、除去されていない場合（Ｓ６２５のＮｏ）、サーバ２００は、何も処理を行わずに、次の通知を待つ。

利用者Ａが個別エリア１２４に陳列されている商品を取り出すたびに、距離センサ１３１、重量センサ１３２およびサーバ２００は、以上の取り出された商品の特定、商品を取り出し利用者の特定、特定した利用者のバスケットに取り出されたと特定した商品の情報の登録、の処理を繰り返し行う。これにより、個別エリア１２４から利用者Ａによって取り出された商品は、すべて利用者ＡのバスケットＡに登録される。

なおＳ６２６の処理で、カメラ１３０から逐次送られてくる映像データを用いて商品を除去した利用者を特定する際に、顔以外の部分の映像を加えてもよい。顔以外の部分の映像を用いる場合その映像は、利用者の外観のうち、入店して退店するまでの間において、変化が少ないと思われる部分の映像であることが望ましい。

先に説明したように、入店して退店するまでの間において、利用者の外観のうち変化が少ないと思われる部分の映像は、例えば履いている靴やサンダル等を含む足元の部分の映像である。足元の部分は、来店者が履いている靴やサンダル等を含み、さらに足首や脛の部分に相当する高さまでを含んでいることが望ましい。足元の部分の映像を用いて、個別エリア１２４に陳列されている商品を除去した利用者を特定する方法は、足元認証と称してもよい。

足元認証を行う場合、図２のＳ２における入店確認において、利用者の足元の部分をカメラにより撮影する必要がある、また図２のＳ３における商品の選択において、商品を選択した利用者を特定する際に、顔の部分をカメラにより撮影するのに加え足元の部分もカメラにより撮影する必要がある。またサーバ２００は、サンダルやスニーカー、ブーツ等の靴の種類ごとの特徴点、また人間の足の指やかかと等の人物の足の特徴点、等足元認証に必要な特徴的な画像パターンのデータを蓄積している。

Ｓ２における入店確認において利用者の足元の部分を撮影するカメラ１１０－４（図示せず）は、入店確認操作パネル１１０の下部に設置してもよい。またＳ３における商品の選択において利用者の足元の部分を撮影するカメラ１３０は、棚１２０の下部に設置してもよい。

図６Ｄは、足元認証を行う場合の、入店確認の処理フローを示した図である。図４Ｂの処理フローと比べて、カメラ１１０－４により足元の部分を撮影する処理（Ｓ６４３）が追加されている点が相違点である。それ以外のＳ６３０からＳ６４２の処理は、図４のＳ４００からＳ４１２の処理と同一である。

図６Ｅは、図６ＤのＳ６４３の足元の部分を撮影する処理の詳細フローの一例を示した図である。

入店確認操作パネル１１０は、カメラ１１０－４から入力される映像とサーバ２００から取得して内部に保存する足元認証に必要な特徴的な画像パターンとを照合して、カメラ１１０－４のアングルを調整することで利用者の足元の部分を特定する（Ｓ６５１）。これにより入店確認操作パネル１１０は、足元認証に必要な利用者が履いている靴や足の形状等を認識する。

入店確認操作パネル１１０は、アングルの調整が完了すると、この状態で写真を撮影する。これにより入店確認操作パネル１１０は、利用者が履いている靴や足の形状等の画像情報を取得する（Ｓ６５２）。

さらに入店確認操作パネル１１０は、さらに利用者が履いている靴下、またズボンやスカートの裾の部分等、利用者の脛のあたりの高さまでの映像も取得するためにカメラ１１０－４のアングルをさらに調整する（Ｓ６５３）。

入店確認操作パネル１１０は、アングルの調整が完了すると、この状態で写真を撮影する。これにより入店確認操作パネル１１０は、利用者が履いている靴や足の形状だけでなく脛のあたりの高さまでの外観の画像情報を取得する（Ｓ６５４）。

入店確認操作パネル１１０がカメラ１１０－４により取得した映像は、逐次サーバ２００に送られ（Ｓ６５５）、顔の部分の映像とともに会員個別情報に登録される。

図６Ｆは、足元認証を行う場合の、取り出された商品とその商品を取り出した利用者Ａとを特定する場合の、サーバ２００の処理フローを示した図である。図６Ｃの処理フローと比べて、カメラから送られてくる顔の部分の映像および足元の部分の映像を用いて、商品を除去した利用者を特定（Ｓ６６６）に変更されている点が相違点である。それ以外のＳ６６０からＳ６６５とＳ６６７以降の処理は、図６ＣのＳ６２０からＳ６２５とＳ６２７以降の処理と同一である。サーバ２００は、カメラから送られてくる顔の部分の映像データに加え足元の部分の映像データも、会員個別情報として登録されている足元の部分の映像と比較して認証することで商品を除去した利用者を利用者Ａとして特定する（Ｓ６６６）
映像により利用者を特定する場合、このように顔の部分の映像に加え、顔以外の部分の映像を用いることで、特定の精度を上げることができる。

また顔の部分の撮影に対しては、利用者によっては抵抗感を示す場合もある。このような利用者の感情に配慮する意味から、顔の部分の映像を用いた利用者の特定と顔以外の部分の映像を用いた利用者の特定を、カメラを設置する場所等に応じて使い分けてもよい。このように、顔の部分の映像を用いた利用者の特定に加えて、顔以外の部分の映像を用いた利用者の特定は、店舗１の利用者の満足度向上の観点から非常に効果的である。

サーバ２００は、Ｓ６２４の処理で除去された判定した商品の情報を、利用者ＡのバスケットＡに登録する際に、除去された商品が陳列されていた個別エリア１２４がもつ個別エリア識別番号から具体的な商品名に置き換えて登録する。

例えばある商品Ａが、個別エリア識別番号Ａをもつ個別エリアＡに陳列されていたとする。利用者Ａが、この商品Ａを個別エリアＡから取り出した場合、Ｓ６２４の処理においては、個別エリア識別番号Ａをもつ個別エリアＡに陳列された商品Ａを利用者が取り出し、という情報だけが存在している。この個別エリア識別番号Ａをもつ個別エリアＡに陳列された商品が、例えばスナックＡである場合、個別エリア識別番号Ａをもつ個別エリアＡに陳列された商品という情報を、利用者がわかるスナックＡという具体的な商品名の情報に変換する必要がある。

サーバ２００は、このようにある個別エリア識別番号をもつある個別エリア１２４に陳列された商品の情報を、利用者がわかる具体的な商品名に変換する変換テーブルおよび変換機能を有している。サーバ２００は、Ｓ６２７の処理において、この変換テーブルおよび変換機能により、利用者Ａが個別エリア１２４から取り出した商品の情報を、バスケットＡに登録する際に、利用者がわかる具体的な商品名に変換して登録する。

なお距離センサ１３１および重量センサ１３２から送られてくる通知に、時刻情報が含まれていてもよい。また、カメラ１３０から逐次送られてくる撮影した映像にも時刻情報が付随していてもよい。この場合サーバ２００は、例えばＳ６２３の処理やＳ６２７の処理において、それぞれ距離センサ１３１、重量センサ１３２、カメラ１３０から送られ情報に含まれる時刻情報も含めて処理することで、より効率的に特定処理を行うことが可能である。

さらにサーバ２００は、Ｓ６２７において、Ｓ６２４で除去されたと判定した商品Ａの情報を利用者ＡのバスケットＡに登録するだけでなく、バスケットＡに商品Ａが登録されたことを利用者Ａに通知するようにしてもよい。

バスケットＡに商品Ａが登録されたことを利用者Ａに通知するとは、例えば個別エリア１２４ごとに通知音を出すスピーカ（図示せず）や通知ランプを光らせるＬＥＤ（図示せず）を設置して、商品Ａが陳列されていた個別エリアＡに設置されたスピーカから通知音を出したり通知ランプを光らせたりすることである。またバスケットＡに商品Ａが登録されたことを利用者に通知するとは、図２に示す事前登録（Ｓ１）で登録された利用者Ａの送信先アドレス宛に、商品Ａがバスケットに登録された旨の通知であってもよい。

利用者Ａは、これらの通知音や通知ランプやメール等による通知により、個別エリア１２４から商品Ａを取り出したこと、またその取り出し商品ＡがバスケットＡに登録されたことを認識することが出来る。これにより利用者Ａは、個別エリア１２４から他人が取り出した商品が間違って自らのバスケットＡに登録されたことをすぐに気づくことが可能となり、商品の選択における問題をいち早く解決することが可能となる。

図７は、図２のＳ５の退店確認の処理フローを示した図である。

利用者Ａが店舗１から退店するために退店確認操作パネル１１１のリーダ１１１－１に決済完了通知が表示された携帯端末の表示画面をかざすと、退店確認操作パネル１１１は、退店確認の処理を開始する（Ｓ７００）。退店確認操作パネル１１１のリーダ１１１－１は、かざされた携帯端末の表示画面の中から決済完了通知を読み取る（Ｓ７０１）。退店確認操作パネル１１１は、リーダ１１０－１が読み取った決済完了通知を、サーバ２００に送る（Ｓ７０２）。

サーバ２００は、退店確認操作パネル１１１から送られてきた決済完了通知を受信すると、会員個別情報に保存されているバスケットに登録されていた商品の決済状況と比較を行う（Ｓ７０３）。

比較を行った結果、正しく決済が完了している場合（Ｓ７０４のＹｅｓ）、サーバ２００は、利用者Ａの退店を許可する旨を退店確認操作パネル１１１に通知する（Ｓ７０５）。利用者Ａの退店を許可する旨を受信した退店確認操作パネル１１１は、利用者Ａの店舗１からの退店を許可する処理を行い（Ｓ７０６）、退店確認処理を終了する（Ｓ７０７）。

退店を許可する処理は、例えば退店ゲート１０１の扉を開いたり、音声により「ご利用ありがとうございました」とアナウンスしたり、退店ゲート１０１の通知ランプを青色に光らせたりする処理である。

比較を行った結果、正しく決済が完了していない場合（Ｓ７０４のＮｏ）、サーバ２００は、利用者Ａの退店を許可しない旨を退店確認操作パネル１１１に通知する（Ｓ７０８）。利用者Ａの退店を許可しない旨を受信した退店確認操作パネル１１１は、利用者Ａの店舗１からの退店を許可しない処理を行い（Ｓ７０９）、退店確認処理を終了する（Ｓ７０７）。

退店を許可しない処理は、例えば退店ゲート１００の扉を閉じたままにして音声により「退店できません」とアナウンスしたり、退店ゲート１０１の通知ランプを赤色に光らせたりする処理である。退店を許可しない処理は、退店が許可されない利用者を導くために、例えば「おたすけボタンを押して係員とお話しください」とアナウンスする処理を加えてもよい。

さらに退店確認操作パネル１１１は、バスケットに登録されている商品の決済を完了した利用者に対して、決済済み商品に貼るシールを発行する機能を有してもよい。

決済済み商品に貼るシールは、決済が済んだ商品に店舗１の利用者が自ら貼る決済済み表示シールであり、例えば貼ったシールを剥がそうとするとシールが裂ける特殊な切れ目加工がされている。

この決済済み商品に貼るシールは、Ｓ７０６の退店を許可する処理の１つとして、退店確認操作パネル１１１に接続されたシール発行機から発行される。発行されるシールは、決済済みの商品の商品名が記載されていてもよい。また発行されるシールの大きさは、決済済みの商品の大きさに応じて任意に変えてもよい。

上記で説明した商品選択の処理は、利用者が個別エリア１２４に陳列されている商品を自ら取り出す場合であるが、利用者によっては自ら商品を取り出すことが困難な場合もある。

図８は、商品を陳列する棚１２０の他の形態の例を示した図である。

自ら商品を取り出すことが困難な利用者を想定して、棚１２０に例えばモニター１３５を配置してもよい。このモニター１３５は、例えば店舗１の店員が常駐しているサービスコーナー１４０とネットワーク２０１で接続されており、利用者が店員と対話したり、購入したい商品をサービスコーナー１４０で受け取るための取り置きの指示を出したりすることが可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらにまた、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また、複数の実施形態を組み合わせてもよく、この組み合わせで構成される実施例も発明の範疇である。

また、本明細書と各図において、既出の図に関して前述したものと同一又は類似した機能を発揮する構成要素には同一の参照符号を付し、重複する詳細な説明を適宜省略することがある。また請求項を制御ロジックとして表現した場合、コンピュータを実行させるインストラクションを含むプログラムとして表現した場合、及び前記インストラクションを記載したコンピュータ読み取り可能な記録媒体として表現した場合でも本発明の装置を適用したものである。また、使用している名称や用語についても限定されるものではなく、他の表現であっても実質的に同一内容、同趣旨であれば、本発明に含まれるものである。

１００・・・入店ゲート、１０１・・・退店ゲート、１１０・・・入店確認操作パネル、１１１・・・退店確認操作パネル、１２０・・・棚、１２１・・・陳列エリア、１２２・・・仕切り板、１２３・・・レール、１２４・・・個別エリア、１３０・・・カメラ、１３１・・・距離センサ、１３２・・・重量センサ

Claims (6)

1. 無人レジスタを採用する店舗の陳列エリアを１つまたは複数に区分した個別エリアそれぞれに陳列されている商品と前記店舗の利用者を管理するサーバと、
   前記個別エリアに陳列されている前記商品の配置位置での重量の変化を検出して第１通知として前記サーバに通知する第１のセンサと、
   前記個別エリアに陳列されている前記商品との間の距離の変化を検出して第２通知として前記サーバに通知する第２のセンサと、
   前記個別エリアに存在する利用者の顔と足元を含む映像を撮影し、撮影した前記顔と足元を含む映像を第３通知として前記サーバに通知する第３のセンサと、
   前記利用者が前記店舗の入退における操作について前記サーバに援助を要求する援助要求手段と
   を備え、
   前記サーバは、前記第１のセンサ及び前記第２のセンサからの第１通知及び第２通知によって前記重量の変化と前記距離の変化が共に検出されたとき、前記商品が前記個別エリアから取り出されたと判定し、前記第３通知として通知された前記顔と足元を含む映像と予め登録してある顔と足元の映像と比較することで、前記利用者を特定して、取り出されたと判定された商品と特定された利用者についての登録処理を行い、前記登録処理の結果に基づいて前記無人レジスタによる決済処理を行い、前記援助要求手段による要求があった場合には前記店舗の入退における操作の援助処理を行う、
   商品管理システム。
2. さらに、前記店舗の利用者の入店を確認する入店確認手段を備え、
   前記入店確認手段は、入店時に前記店舗の正当な利用者に発行される会員番号を読み取って前記サーバに通知するリーダと、前記店舗に入店する利用者の顔と足元とを撮影しその映像を前記サーバに通知するカメラとを備え、
   前記サーバは、前記入店確認手段から通知される会員番号及び前記映像に基づいて前記店舗に入店する利用者が正当な利用者であることを確認する、
   請求項１記載の商品管理システム。
3. さらに、前記店舗の利用者の退店時に正当性を確認する退店確認手段を備え、
   前記退店確認手段は、前記サーバから前記商品の決済完了通知を受けた場合、前記店舗の利用者の退店を許可する、
   請求項２記載の商品管理システム。
4. 前記サーバは、前記商品を移動した前記利用者を特定した際に、前記商品を前記利用者が移動した旨を前記利用者に通知する、
   請求項１に記載の商品管理システム。
5. 前記サーバは、前記利用者に前記店舗の今後の特売商品情報、あるいは前記利用者の購入履歴に基づくお勧め商品情報を提示する、
   請求項１に記載の商品管理システム。
6. サーバによって無人レジスタを採用する店舗の陳列エリアを１つまたは複数に区分した個別エリアそれぞれに陳列されている商品と前記店舗の利用者を管理し、
   第１のセンサによって前記個別エリアに陳列されている前記商品の配置位置での重量の変化を検出して第１通知として前記サーバに通知し、
   第２のセンサによって前記個別エリアに陳列されている前記商品との間の距離の変化を検出して第２通知として前記サーバに通知し、
   第３のセンサによって前記個別エリアに存在する利用者の顔と足元を含む映像を撮影し、撮影した前記顔と足元を含む映像を第３通知として前記サーバに通知し、
   前記利用者の前記店舗の入退における操作の援助要求を受け付けて前記サーバに通知し、
   前記サーバが、前記第１のセンサ及び前記第２のセンサからの第１通知及び第２通知によって前記重量の変化と前記距離の変化が共に検出されたとき、前記商品が前記個別エリアから取り出されたと判定し、前記第３通知として通知された前記顔と足元を含む映像と予め登録してある顔と足元の映像と比較することで前記利用者を特定して、取り出されたと判定された商品と特定された利用者についての登録処理を行い、前記登録処理の結果に基づいて前記無人レジスタでの決済処理を行い、前記援助要求があった場合は前記店舗の入退における操作の援助処理を行う、
   商品管理方法。

Images