JP7156916B2 - 商品取出装置 - Google Patents

Description

本発明の実施形態は、商品取出装置に関する。

近年、人手不足などから店舗において顧客に商品を販売するための業務を省力化または無人化することが要望されている。従来、特定の種類の商品については、顧客が店員に購入を希望する商品を伝え、顧客が希望する商品を店員が手作業で渡す販売形態がある。例えば、煙草や酒類などの商品は、未成年者への販売防止などの観点から、店員が顧客の年齢などを確認しつつ顧客に商品を手渡しする運用とする店舗が多い。また、煙草などの商品は、レジ奥の棚などの顧客が直接ふれられない場所に配置されることも多い。

このような商品の購入の希望を顧客から受けた場合、店員は、必要に応じて顧客の年齢などを確認し、レジ奥の棚から顧客が希望する商品を取り出す。また、店員が、レジ奥の棚から取り出した商品の情報を精算対象の商品情報として精算装置に入力する運用としている店舗もある。このような運用の店舗では、店員は、商品情報を入力した精算装置での精算処理が完了した後に当該商品を顧客に渡す。上記のように、顧客（利用者）からの要望に応じて取り出す商品を販売する作業は、不慣れな店員にとっては大きな負担であるという問題がある。

特開２０１６－１６７２４６号公報

本発明は、上記した課題を解決するために、人手によらずに利用者が希望する商品を確実に取り出すことができる商品取出装置を提供することを目的とする。

実施形態によれば、商品取出装置は、カメラとコントローラとアームと把持機構とを有する。カメラは、所定の配置位置に配置される取出対象商品を含む撮影範囲の画像を撮影する。コントローラは、カメラが撮影する撮影画像から取出対象商品における基準位置を特定し、基準位置を基準として取出対象商品のサイズから取出対象商品の両側面の位置を特定する。アームは、取出対象商品の正面に先端部を移動させる。把持機構は、アームの先端部に設けられ、コントローラが特定する取出対象商品の両側面の位置に基づいて取出対象商品の側方に挿入する把持部材によって取出対象商品を把持する。前記コントローラは、前記把持機構が把持する前記取出対象商品を前記配置位置から取り出した後、前記取出対象商品を取り出した位置を再撮影した画像において前記取出対象商品と同一の商品が前記配置位置になければ前記配置位置に補充すべき在庫があるかを判定し、補充すべき在庫があると判定した場合は前記配置位置への補充を報知し、補充すべき在庫がないと判定した場合は在庫が無いことを報知する。

図１は、実施形態に係る商品取出装置としてのロボットの設置例を概略的に示す図である。 図２は、実施形態に係る商品取出装置としてのロボットのアームに設けた把持機構の構成例を示す図である。 図３は、実施形態に係る商品取出装置としてのロボットの制御系の構成例を示すブロック図である。 図４は、実施形態に係る商品取出装置としてのロボットが参照する商品管理データベースの構成例を示す図である。 図５は、実施形態に係る商品取出装置としてのロボットが参照する棚管理データベースの構成例を示す図である。 図６は、実施形態に係る商品取出装置としてのロボットの動作例を説明するためのフローチャートである。 図７は、実施形態に係る商品取出装置としてのロボットの動作例を説明するためのフローチャートである。 図８は、実施形態に係る商品取出装置としてのロボットの動作例を説明するためのフローチャートである。 図９は、実施形態に係る商品取出装置としてのロボットの動作例を説明するためのフローチャートである。 図１０は、実施形態に係る商品取出装置が把持する商品が棚に配置された状態を示す図である。 図１１は、実施形態に係る商品取出装置としてのロボットの把持機構が商品を把持する状態を示す図である。 図１２は、実施形態に係る商品取出装置としてのロボットが取出対象とする商品が吊り下げられる例を示す図である。 図１３は、実施形態に係る商品取出装置としてのロボットが吊り下げられた商品を把持する様子を示す図である。

以下、図面を参照しながら実施形態について説明する。
図１は、実施形態に係る商品取出装置（ロボット）１および商品取出装置１と精算装置２とを含む取引システムの外観構成を概略的に示す模式図である。
商品取引装置（以下、単にロボットとも称する）１は、顧客（利用者）に指示された商品を所定の配置位置から取り出す装置である。図１に示す構成例において、ロボット１は、精算装置（レジ）２が設置されるレジ台３とレジ台３の奥側に設置された棚４との間に配置されるものとする。例えば、ロボット１は、顧客が親しみやすいような人物を模した人型の外観を有し、顧客が発する音声から顧客が購入を希望する商品を認識する。ロボット１は、認識した商品を棚４から取り出す。

ロボット１を配置するレジ台３の奥側には、特定の種類の商品を配置する棚４が設置される。棚４に配置される商品としては、煙草、或は、酒類などが想定される。棚４は、前面（正面）をレジ台３側に向けて配置される。棚４には、同一の商品が手前（前面側）から奥側に一列に並べて配置される。棚４の正面には、商品を一列に並べて配置する配置位置（列）に対応する位置ごとにプレートＰが設けられる。言換えると、棚４における各プレートＰの後ろには、プレートＰに対応する同一の商品が並べて配置される。

棚４における各プレートＰを設けた各配置位置は、手前（最前面）の商品を取り去るごとに後ろ側の商品が手前に押し出される押し出し機構を有する。押し出し機構によって、各配置位置における列の先頭にある商品（最前面の商品）は、プレートＰに押し付けられた状態で保持される。押し出し機構は、弾性部材によって列の最も後ろの商品を前方に押し出す機構であっても良いし、各商品の自重によって各商品が前方に移動する機構であっても良い。

なお、以下に説明する本実施形態では、主として、図１に示すような箱型の形状を有する煙草が商品として棚４に配置される場合を想定して説明するものとする。ただし、棚４に配置する商品は、ロボット１が取出し可能な商品であれば良い。例えば、棚４に配置する商品は、缶、瓶、ペットボトルなどの円筒形の形状を含む商品であっても良い。

精算装置２は、顧客が購入する商品の代金を精算する装置である。図１に示す構成例において、レジ台３に設置される精算装置２は、ロボット１に接続する。ロボット１と精算装置２とは、商品の精算業務を行う取引システムを構成する。例えば、ロボット１が棚４から取り出した商品をレジ台３上に置く場合、精算装置２は、ロボット１からレジ台３に置いた商品を示す情報（商品情報）を取得する。レジ台３に置いた商品の商品情報を取得すると、精算装置２は、取得した商品情報に基づいて精算処理を行う。

図１に示す構成例において、ロボット１は、本体１０、センサ１１、カメラ１２、第１アーム１３Ａ、第２アーム１３Ｂ、アームカメラ１６、スピーカ１７、マイク１８、表示器１９、および、情報入力器２０などを有する。
本体１０は、センサ１１、カメラ１２、スピーカ１７、マイク１８、および、表示器１９、および、情報入力器２０などを正面に設ける。また、本体１０は、左右に第１アーム１３Ａおよび第２アーム１３Ｂを設ける。本体１０は、向きを変えられるように機構を具備しても良い。例えば、本体１０は、正面をレジ台３側に向けたり、正面を棚４に向けたりできるようにしても良い。また、本体１０は、移動する機構を設けても良い。例えば、本体１０は、レジ台３または棚４に向かって左右方向に移動するようにしても良い。

センサ１１は、本体１０の正面に存在する人物を検知する。図１に示すように本体１０がレジ台３側に向いていれば、センサ１１は、レジ台３に接近してきた人物を検知する。センサ１１は、人物の有無を検知できるセンサであれば良い。例えば、センサ１１は、赤外線を用いて人物または商品を検知する赤外線センサである。

カメラ１２は、本体１０の正面における画像を撮影する。本体１０の正面がレジ台３側に向いていれば、カメラ１２は、レジ台３周辺の画像を撮影する。また、本体１０の正面を棚４に向けた場合、カメラ１２は、棚４の画像を撮影するようにしても良い。また、カメラ１２は、撮影方向あるいは撮影距離などを調整することにより撮影領域を変更する機能を具備するようにしても良い。

第１アーム１３Ａおよび第２アーム１３Ｂは、それぞれアーム部１４と把持機構１５とを有する。アーム部１４は、ロボット１の本体１０に取り付けられた多関節のアームである。把持機構１５は、商品を把持する機構である。アーム部１４は、把持機構１５による把持位置を３次元的に自在に移動させるものであれば良い。例えば、把持機構１５は、それぞれアーム部１４の先端部に設ける。第１アーム１３Ａおよび第２アーム１３Ｂは、把持機構１５が商品を把持した状態でアーム部１４を動かす。これにより、第１アーム１３Ａおよび第２アーム１３Ｂは、棚４に配置される商品を取り出す動作を行う。

図２は、把持機構１５の構成例を示す図である。
図２に示す構成例において、把持機構１５は、複数の多関節の指１５ａ、１５ｂ、１５ｃを有する。各指１５ａ、１５ｂ、１５ｃは、複数の関節を支点に動作する。各指１５ａ、１５ｂ、１５ｃは、棚４にある取出対象となる商品（取出対象商品）の上面または下面を支えながら当該商品の両側面を挟持するように動作する。把持機構１５の指１５ａは、商品の上面（または下面）を支持する支持部材である。また、指１５ｂおよび１５ｃは、指１５ａが上面（または下面）を支持する商品の両側面を挟持する一対の挟持部材である。指１５ｂおよび指１５ｃは、指１５ａが商品の上面を支えている状態で当該商品の両側面を挟持する。

ただし、把持機構１５は、複数の指で構成するものに限定されるものではない。把持機構１５は、商品の上面または下面を支持しながら商品の両側面を挟持する構成を含むものであれば良い。例えば、各指１５ａ、１５ｂ、１５ｃの先端部は、商品に吸着する吸着機構を具備しても良い。この場合、吸着機構は、商品の外面と接する吸着部における空気圧を変化させて商品に吸着および開放を制御するように構成するもので良い。

また、商品の側面を挟持する挟持部材は、棚４に置いた状態での商品の側面の形に応じた形状を有するものであっても良い。具体例として、把持機構１５に用いる挟持部材は、商品が円筒形の缶または瓶などであれば、商品の側面の形状に応じた半円状の挟持部材で商品を挟持するように構成しても良い。

アームカメラ１６は、３次元空間において撮影位置が移動自在なカメラである。図１に示す構成例では、アームカメラ１６は、第１アーム１３Ａの先端部分に設けられ、第１アーム１３Ａの動作によって撮影位置が移動する。ただし、アームカメラ１６は、第２アーム１３Ｂに設けても良いし、第１アーム１３Ａおよび第２アーム１３Ｂの両方に設けても良い。また、アームカメラ１６は、第１アーム１３Ａ又は第２アーム１３Ｂに設けずに、撮影位置の移動自在なカメラとして別途設けても良い。本実施形態において、アームカメラ１６は、指定された商品（又は商品の配置位置）を含む画像を撮影する。アームカメラ１６が撮影する画像は、商品が実際に存在（実在）する位置を確定するために用いられる。また、アームカメラ１６が撮影する画像は、商品を特定する商品特定情報またはプレートに表示された情報を抽出する画像としても用いられる。

なお、商品特定情報は、商品の外観から読み取れる情報であれば良い。例えば、商品特定情報は、商品のパッケージに印刷されているバーコードである。また、商品特定情報は、商品を識別可能な数字や文字などの文字列でも良いし、商品に添付されたラベルの画像でも良いし、商品全体のシルエットなどであっても良い。第１アーム１３Ａ又は第２アーム１３Ｂには、商品特定情報としてのバーコードを読取るアームスキャナを設けても良い。バーコードを読み取るアームスキャナは、第１アーム１３Ａ又は第２アーム１３Ｂによって移動される読取位置においてバーコードを読み取るようにすれば良い。

スピーカ１７、マイク１８、表示器１９および情報入力器２０は、ユーザインターフェースとして機能する。
スピーカ１７は、音声を出力する。スピーカ１７は、利用者に対して案内などの音声を出力する。マイク１８は、音声を入力する。マイク１８は、利用者が発した音声を入力する。スピーカ１７およびマイク１８は、利用者と対話形式で音声の入出力を行う対話装置を構成するものとしても良い。

表示器１９は、画像を表示する。例えば、表示器１９は、画像またはテキストなどによる利用者への案内などを表示する。
情報入力器２０は、情報を入力するための機器である。例えば、情報入力器２０は、利用者の年齢を確認するためのボタンである。また、情報入力器２０は、利用者の年齢または利用者が有する資格などを確認するための記憶媒体（ＩＤカートなど）を読取るものであっても良い。

次に、実施形態に係る商品取出装置としてのロボット１における制御系の構成について説明する。
図３は、実施形態に係る商品取出装置としてのロボット１の制御系の構成例を示すブロック図である。
図３に示す構成例において、ロボット１は、システムコントローラ（制御装置）２１、アーム装置２２およびユーザインターフェース２３を有するシステムとして構成する。

システムコントローラ（コントローラ）２１は、ロボット１における各装置を統括的に制御する。図２に示す構成例において、システムコントローラ２１は、プロセッサ３１、メモリ３２、インターフェース（Ｉ／Ｆ）３３、通信部３４、画像メモリ３５、センサ１１およびカメラ１２を有する。
プロセッサ３１は、プログラムを実行することにより各種の処理を実現する。プロセッサ３１は、たとえば、ＣＰＵである。メモリ３２は、ＲＯＭ、ＲＡＭおよび書換え可能な不揮発性メモリなどのメモリを含む。例えば、メモリ３２は、プログラムおよび制御データなどを記憶する不揮発性のメモリを含む。また、メモリ３２は、データを一時的に格納するためのＲＡＭなどのワーキングメモリを含む。

メモリ３２が記憶するプログラムには、基本プログラムの他、各種のアプリケーションプログラムが含まれる。アプリケーションプログラムには、後述する各種の処理を実行するためのプログラムなどが含まれる。プロセッサ３１は、メモリ３２が記憶する各種のプログラムを実行することにより後述する各種の処理を実現する。
インターフェース（Ｉ／Ｆ）３３は、ロボット１にける各装置と通信するためのインターフェースである。

通信部３４は、外部装置と通信するための通信インターフェースである。図３に示す構成例において、通信部３４は、精算装置２と通信するためのインターフェースを含む。また、通信部３４は、各種のデータベース（ＤＢ）にアクセスするためのインターフェースも含む。図３に示す構成例において、通信部３４は、商品管理データベース４１、および、棚管理データベース４２などに通信接続するためのインターフェースを有するものとする。商品管理データベース４１は、当該店舗で取り扱っている商品に関する情報を記憶するためのデータベースである。棚管理データベース４２は、棚４に配置された商品に関する情報を記憶するためのデータベースである。なお、商品管理データベース４１、棚管理データベース４２などのデータベースは、ロボット１内に具備した記憶装置に設けても良い。

センサ１１は、人物を検知する。センサ１１は、プロセッサ３１に接続される。センサ１１は、検知範囲における人物の有無を検知するものであれば良く、人物の検知結果を示す検知信号をプロセッサ３１へ供給する。
カメラ１２は、画像を撮影する。カメラ１２は、プロセッサ３１に接続される。カメラ１２が撮影する画像は、画像メモリ３５に記憶される。カメラ１２は、画像の撮影範囲を制御する機能として、プロセッサ３１からの制御に応じて向き（撮影方向）などを変えるカメラ駆動機構を具備するものでも良い。
なお、ロボット１は、カメラ１２に代えて、ロボット１の外部に設けられるカメラが撮影する画像を取得するカメラインターフェースを設けても良い。さらに、ロボット１は、商品に記載されたバーコードなどの商品特定情報を読取るスキャナを具備しても良い。

システムコントローラ２１において、プロセッサ３１は、メモリ３２に記憶するプログラムを実行することにより種々の処理を実現する。例えば、メモリ３２は、プロセッサ３１が各装置に制御指示を与えたり、各装置から情報を取得したりするためのプログラムを記憶する。プロセッサ３１は、プログラムを実行することにより各装置に制御指示を与えたり、各装置からの情報を取得したりする。例えば、プロセッサ３１は、第１アーム１３Ａまたは第２アーム１３Ｂを用いて棚４にある商品を取り出すことをアーム装置２２へ指示する。

また、メモリ３２は、商品を特定する商品特定処理を実行するためのプログラムを記憶する。プロセッサ３１は、メモリ３２が記憶するプログラムを実行することにより商品特定処理などを実現する。プロセッサ３１は、商品特定処理として、アームカメラ１６が撮影する画像に基づいてアームカメラ１６の撮影範囲内にある商品を特定する商品特定処理を行う。

また、メモリ３２は、商品を特定する商品特定処理およびプレートに表示された情報（番号）を認識する情報認識処理を実行するためのプログラムを記憶しても良い。これにより、プロセッサ３１は、アームカメラ１６が撮影する画像からバーコードなどの商品特定情報を検出して商品を特定（認識）する商品特定処理を実行する。また、プロセッサ３１は、アームカメラ１６が撮影する画像から棚４に設置されるプレートに記載された情報を認識する情報認識処理も実行する。また、プロセッサ３１は、カメラ１２が撮影する画像からレジ台３の手前（レジ２の手前）にいる利用者の特徴（年齢など）を推測する処理を行うようにしても良い。

次に、ロボット１におけるアーム装置２２の制御系の構成例について説明する。
図３に示す構成例において、アーム装置２２は、プロセッサ５１、メモリ５２、インターフェース（Ｉ／Ｆ）５３、アーム駆動機構５４、第１アーム１３Ａ、第２アーム１３Ｂおよびアームカメラ１６などを有する。

プロセッサ５１は、プログラムを実行することにより各種の処理を実現する。プロセッサ５１は、例えば、ＣＰＵである。メモリ５２は、ＲＯＭ、ＲＡＭおよび書換え可能な不揮発性メモリなどのメモリで構成する。例えば、メモリ５２は、プログラムおよび制御データなどを記憶する不揮発性のメモリを含む。また、メモリ５２は、データを一時的に格納するためのＲＡＭなどのワーキングメモリを含む。

インターフェース（Ｉ／Ｆ）５３は、システムコントローラ２１と通信するためのインターフェースである。本実施形態において、プロセッサ５１は、インターフェース５３を介してシステムコントローラ２１のプロセッサ３１から供給される制御指示に応じて各部を制御するものとする。

アーム駆動機構５４は、アーム部１４および把持機構１５を動作させる。第１アーム１３Ａおよび第２アーム１３Ｂは、アーム駆動機構５４、アーム部１４および把持機構１５により構成する。例えば、アーム駆動機構５４は、システムコントローラ２１からの動作指示に応じてアーム部１４を動かして把持機構１５を把持位置へ移動させる。また、アーム駆動機構５４は、システムコントローラ２１からの指示に応じて把持機構１５を動作させて商品を把持する動作を実行する。

また、アーム駆動機構５４は、システムコントローラ２１からの指示に応じてアーム部１４を動作させて把持機構１５が把持する商品を引渡位置（レジ台３の上）へ移動させる。これにより、アーム駆動機構５４は、システムコントローラ２１からの指示に応じて棚４に配置された商品を把持する。
また、アーム駆動機構５４は、システムコントローラ２１からの指示に応じてアーム部１４を動作させてアーム部１４の先端部に設けたアームカメラ１６の位置を移動させる。

次に、ロボット１におけるユーザインターフェース（ＵＩ）２３の制御系の構成例について説明する。
ユーザインターフェース２３は、利用者に対して音声あるいは画像などで情報を提供する。また、ユーザインターフェース２３は、利用者からの情報を入力し、入力した情報に対する応答としての情報を出力する。ユーザインターフェース（ＵＩ）２３は、利用者が発する音声を認識し、音声による案内を出力する対話装置としても機能する。

図３に示す構成例において、ユーザインターフェース２３は、プロセッサ６１、メモリ６２、インターフェース（Ｉ／Ｆ）６３、スピーカ１７、マイク１８、表示器１９、情報入力器２０などを有する。

プロセッサ６１は、プログラムを実行することにより各種の処理を実現する。プロセッサ６１は、たとえば、ＣＰＵである。メモリ６２は、ＲＯＭ、ＲＡＭおよび書換え可能な不揮発性メモリなどのメモリで構成する。インターフェース（Ｉ／Ｆ）６３は、システムコントローラ２１と通信するためのインターフェースである。

プロセッサ６１は、システムコントローラ２１からの指示などに応じてスピーカ１７から音声を出力する。また、プロセッサ６１は、マイク１８に入力された音声情報をシステムコントローラ２１へ供給する。これにより、プロセッサ６１は、スピーカ１７およびマイク１８を用いて利用者との対話形式による音声の入出力を行う。また、プロセッサ６１は、システムコントローラ２１からの指示などに応じて表示器１９に情報を表示する。また、プロセッサ６１は、情報入力器２０に入力された情報を取得する。

なお、商品取出装置としてのロボット１は、精算装置２と一体的に構成しても良い。また、ロボット１は、商品の代金を精算する機能を具備しても良い。さらに、ロボット１には、クレジットカードあるいは電子マネーなどによる決済機能を設けても良い。この場合、ロボット１は、商品の取出しだけでなく、取り出した商品の代金をクレジットカードあるいは電子マネー等で決済することが可能となる。例えば、ロボット１は、顧客が指定する商品を取り出し、決済が完了したら当該商品を顧客に手渡すようにしても良い。また、ロボット１は、顧客が指定する商品の決済を完了してから当該商品の取出しを行うようにしても良い。

次に、商品管理データベース４１と棚管理データベース４２とについて説明する。
図４は、商品管理データベース４１の構成例を示す図である。
商品管理データベース４１は、棚４が設置される店舗で取り扱う商品に関する情報を記憶するためのものである。図４に示す例において、商品管理データベース４１は、棚４が設置される店舗で取り扱う各商品について、種別、商品ＩＤ、商品名（銘柄）、販売条件、価格、店舗在庫などの情報を記憶する。

種別は、商品の種別を示す情報である。商品ＩＤは、商品の識別情報を示す情報である。商品名（銘柄）は、商品の名称を示す情報である。販売条件は、当該商品を販売するための条件を示す。例えば、年齢制限のある商品は、販売条件として販売可能な年齢が記憶される。価格は、商品の代金を示す情報である。店舗在庫は、店舗内にある在庫を示す情報である。店舗在庫は、例えば、在庫の個数を示す情報である。

図５は、棚管理データベース４２の構成例を示す図である。
棚管理データベース４２は、棚４に配置する商品に関する情報を記憶するものである。図５に示す例において、棚管理データベース４２は、棚４が配置する各商品について、種別、商品ＩＤ、商品名（銘柄）、棚番号、棚在庫、販売条件、サイズ、配置位置、移動ルートなどの情報を記憶する。

種別は、商品の種別を示す情報である。商品ＩＤは、商品の識別情報を示す情報である。商品名（銘柄）は、商品の名称を示す情報である。棚番号は、商品が配置される場所に設定された番号を示す。棚番号は、商品ごとに設定される番号である。また、棚番号は、当該商品を配置する配置位置に対応して設置されるプレートＰに表示される番号（プレートの番号）もある。棚在庫は、棚４に当該商品があるか否かを示す情報である。また、棚在庫は、棚４にあるべき商品の個数を示す情報であっても良い。

販売条件は、当該商品を販売するための条件を示す。例えば、年齢制限のある商品は、販売条件として販売可能な年齢が記憶される。サイズは、商品の大きさを示す情報である。例えば、サイズは、棚４に置いた状態での高さｈ、幅ｗ、奥行ｄを示す。また、サイズとしては、基準位置からのサイズを記憶しても良い。例えば、プレートＰの上端部から商品の上面までの高さを示す情報を記憶しても良い。

配置位置は、商品が配置される位置を示す情報である。配置位置は、３次元空間における座標であっても良いし、棚４の前面（正面）における２次元の座標であっても良い。移動ルートは、アーム１３Ａを待機位置から配置位置に対応する取出位置（後述する）へ移動させるためのルートを示す情報である。移動ルートは、取出処理を実行するごとに追記するようにしても良いし、最新のルートに更新していくようにしても良い。

次に、実施形態に係る商品取出装置としてのロボット１の動作について説明する。
図６乃至９は、実施形態に係る商品取出装置としてのロボット１の動作例を説明するためのフローチャートである。
待機状態において、ロボット１におけるシステムコントローラ２１のプロセッサ３１は、レジ台３の近傍を検知範囲とするセンサ１１を用いて人物の有無を監視する（ＡＣＴ１１）。センサ１１により人物を検知すると（ＡＣＴ１１、ＹＥＳ）、プロセッサ３１は、レジ台３周辺を撮影領域（人物検出用の撮影領域）としたカメラ１２で画像を撮影する（ＡＣＴ１２）。人物検出用の撮影領域は、センサ１１が検知した人物、または、商品の精算などでレジ台３の手前に現れた人物を撮影できるような撮影領域であれば良い。

例えば、プロセッサ３１は、レジ台３の手前の空間を含む領域を人物検出用の撮影範囲とするようにカメラ１２に設定する。また、プロセッサ３１は、センサ１１が検知した人物の位置を推定し、推定した人物の位置に応じてカメラ１２の向きや位置などを制御しても良い。なお、プロセッサ３１は、カメラ１２が撮影した画像を画像メモリ３５に保存するようにしても良い。また、プロセッサ３１は、連続的に複数の画像をカメラ１２で撮影し、撮影した複数の画像を画像メモリ３５に保存しても良い。

カメラ１２によりレジ台３周辺の画像を撮影すると、プロセッサ３１は、カメラ１２が撮影した撮影画像に利用者としての人物が存在するかを判断する（ＡＣＴ１３）。これにより、プロセッサ３１は、カメラ１２が撮影する撮影画像からレジ台３の近傍にいる利用者を検出できる。プロセッサ３１は、撮影画像からの利用者の検出結果に基づいてレジ台３の近傍に利用者がいるか否かを判断する。利用者がいると判断できない場合（ＡＣＴ１３、ＮＯ）、プロセッサ３１は、ＡＣＴ１１へ戻り、上述の処理を再度実行する。

利用者がいると判断した場合（ＡＣＴ１３、ＹＥＳ）、プロセッサ３１は、ユーザインターフェース２３を用いて当該利用者に対する案内を行う（ＡＣＴ１４）。例えば、プロセッサ３１は、ユーザインターフェース２３のスピーカ１７により「いらっしゃいませ」などの挨拶を音声で出力する。

さらに、プロセッサ３１は、スピーカ１７により棚４にある商品の注文を受付ける旨の注文受付案内を音声で出力するようにしても良い。例えば、プロセッサ３１は、「棚にある商品（煙草）の注文を受付けます。希望の商品名または商品に対応するプレート（ネームプレート）の番号を言って下さい」などの音声案内を出力する。また、プロセッサ３１は、ユーザインターフェース２３の表示器１９に注文受付案内を表示するようにしても良い。

利用者に対する注文受付案内を行うと、プロセッサ３１は、利用者からの商品の注文を受付ける（ＡＣＴ１５）。注文を受付け可能な状態において、プロセッサ３１は、マイク１８で取得する音声を解析することにより、利用者が発した商品の注文を受付ける。例えば、プロセッサ３１は、マイク１８で取得する音声から「商品名」、「番号（プレートの番号）」または「商品名と番号」などのキーワードを認識する。利用者が「１０番のたばこを下さい」と発声した場合、プロセッサ３１は、「たばこ」、「１０番」、「下さい」などのワードを音声認識によって取得する。「たばこ」と「１０番」とを音声認識によって取得すると、プロセッサ３１は、プレートが１０番のたばこが注文されたものと認識する。

商品の注文を受けると、プロセッサ３１は、注文された商品が当該ロボット１で取り扱う商品であるかを判断する（ＡＣＴ１７）。例えば、商品名での注文を受けると、プロセッサ３１は、棚管理データベース４２を参照して、注文を受けた商品（音声で認識した商品名の商品）が棚４に配置されている商品（ロボットが取り扱う商品）であるかを判断する。また、プレートの番号での注文を受けた場合、プロセッサ３１は、注文を受けた番号のプレートが棚４に設置されているかを判断するようにしても良い。

注文された商品が取り扱ってない商品である場合（ＡＣＴ１７、ＮＯ）、プロセッサ３１は、取り扱っていない商品である旨を音声などで案内する（ＡＣＴ１８）。例えば、プロセッサ３１は、「申し訳ございませんが、注文された商品は取り扱っておりません」との音声案内をスピーカ１７から出力する。また、プロセッサ３１は、音声案内だけでなく、取り扱っていない旨の案内を表示器１９に表示しても良い。取扱い無しの案内を行った場合、プロセッサ３１は、注文された商品に対する一連の処理を終了する。この場合、プロセッサ３１は、ＡＣＴ１４へ戻り、次の注文を受けるようにして良い。

注文された商品（注文商品）の取り扱いがある場合（ＡＣＴ１７、ＹＥＳ）、プロセッサ３１は、棚４に注文商品の在庫（棚在庫）があるか否かを判断する（ＡＣＴ１９）。例えば、プロセッサ３１は、棚管理データベース４２を参照して、注文商品（音声認識した商品名の商品）の棚在庫があるかを判断する。また、プロセッサ３１は、商品管理データベース４１を参照して注文商品の在庫があるかを判断するようにしても良い。

注文商品の在庫がないと判断した場合（ＡＣＴ１９、ＮＯ）、プロセッサ３１は、注文商品が在庫なし（品切れ状態）であることを案内する（ＡＣＴ２０）。例えば、プロセッサ３１は、「申し訳ございませんが、現在品切れとなっております」などの商品の棚在庫がない旨の音声案内をスピーカ１７から出力する。また、プロセッサ３１は、音声案内だけでなく、在庫がない旨の案内を表示器１９に表示しても良い。在庫なしの案内を行った場合、プロセッサ３１は、注文された商品に対する一連の処理を終了する。この場合、プロセッサ３１は、ＡＣＴ１４へ戻り、次の注文を受けるようにして良い。

注文商品の在庫があると判断した場合（ＡＣＴ１９、ＹＥＳ）、プロセッサ３１は、注文商品に販売条件（例えば、年齢制限）があるかを確認する（ＡＣＴ２１）。例えば、プロセッサ３１は、棚管理データベース４２を参照して注文商品に販売条件があるかを確認する。本実施形態では、棚４に配置する商品として煙草を想定している。煙草は、２０歳未満への販売が禁止される商品であり、注文商品に販売条件（年齢制限）がある商品である。

注文商品に販売条件がある場合（ＡＣＴ２１、ＹＥＳ）、プロセッサ３１は、当該利用者に注文商品を販売しても良いかを確認する処理を実行する（ＡＣＴ２２）。ここでは、注文商品が２０歳未満への販売が禁止される煙草であることを想定して説明する。すなわち、プロセッサ３１は、煙草の注文を受けた場合、利用者が２０歳以上であるかを確認する処理（年齢確認処理）を実行する。

年齢確認処理は、利用者の申告に基づいて年齢を確認する処理であっても良いし、利用者が提示するＩＤカードに基づいて年齢を確認する処理であっても良い。前者の場合、プロセッサ３１は、情報入力器２０において２０歳以上であることを申告する申告ボタンへの入力を利用者に要求する。プロセッサ３１は、２０歳以上であることを申告するボタンへの入力を検知すると、当該利用者へ当該商品（煙草）を販売可能と判断する。この場合、プロセッサ３１は、利用者を確認のための顔画像をカメラ１２で撮影して保存するようにしても良い。

また、ＩＤカードに基づいて年齢を確認する場合、ロボット１には、情報入力器２０としてカードリーダを設置する。この場合、プロセッサ３１は、カードリーダによって利用者が提示するＩＤカードから読取る情報に基づいて利用者の年齢を取得する。利用者の年齢が２０歳以上であれば、プロセッサ３１は、当該利用者へ当該商品（煙草）を販売可能と判断する。また、プロセッサ３１は、カメラ１２を用いて利用者が提示するＩＤカードの券面を撮影し、撮影画像から券面に記載の利用者の年齢を認識（取得）するようにしても良い。

なお、利用者が年齢などを登録済みの登録者（顧客）であることを前提する運用であれば、プロセッサ３１は、利用者がどの登録者であるかを特定して年齢を確認しても良い。この場合、プロセッサ３１は、利用者が提示するカード等の記憶媒体から読み取る情報、または、利用者から取得する生体情報（例えば、カメラ１２が撮影する顔画像）によって個人認証を行うようにすれば良い。

注文商品の利用者への販売が可能であることが確認できない場合（ＡＣＴ２３、ＮＯ）、プロセッサ３１は、注文商品が販売できない旨を案内する（ＡＣＴ２４）。煙草の注文を受けた場合、プロセッサ３１は、利用者が２０歳以上であることが確認できなければ、煙草の販売が不可であると判断して販売不可の案内を行う。例えば、プロセッサ３１は、「２０歳以上であることが確認できないため、販売できません」などの商品が販売不可である旨の音声案内をスピーカ１７から出力する。また、プロセッサ３１は、音声案内だけでなく、販売不可である旨の案内を表示器１９に表示しても良い。販売不可の案内を行うと、プロセッサ３１は、当該利用者に対する一連の処理を終了する。

注文商品の利用者への販売可能であることが確認できた場合（ＡＣＴ２３、ＹＥＳ）、プロセッサ３１は、注文商品を棚４から取り出す処理を開始する。まず、プロセッサ３１は、棚４において注文商品が配置される配置位置に関する情報（配置情報）を棚管理データベース４２から取得する（ＡＣＴ３１）。

注文商品の配置情報を取得すると、プロセッサ３１は、商品を把持する把持機構１５を設けたアーム１３Ａ（又は１３Ｂ）の先端部を移動させる位置（取出位置）を決定する（ＡＣＴ３２）。取出位置を決定すると、プロセッサ３１は、決定した取出位置へアーム１３Ａ（１３Ｂ）の先端部を移動させる（ＡＣＴ３３）。例えば、プロセッサ３１は、棚４における注文商品の配置位置の正面から所定距離となる位置を取出位置としてアーム１３Ａの先端部を取出位置へ移動させる。なお、以下の説明では、アーム１３Ａのアーム部１４および把持機構１５が注文商品を取り出すものとして説明する。ただし、以下に説明するアーム１３Ａの動作は、アーム１３Ｂが行うようにしても良い。

また、棚管理データベース４２には、棚４に配置する商品ごとにアーム１３Ａの移動ルートを記憶しても良い。この場合、プロセッサ３１は、棚管理データベース４２に記憶する移動ルートに基づいてアーム１３Ａを移動させる。棚管理データベース４２には、商品の取出しを実施するごとに実際にアーム１３Ａを移動させた移動ルートを記録（更新または追記）するようにしても良い。

アーム１３Ａを移動させると、プロセッサ３１は、アームカメラ１６で注文商品の配置位置を含む撮影範囲の画像を撮影する（ＡＣＴ３４）。アームカメラ１６が画像を撮影すると、プロセッサ３１は、アームカメラ１６が撮影した画像に基づいて取出可能な注文商品（取出対象画像）が実在することを確認する（ＡＣＴ３５）。例えば、商品名で注文を受けた場合、プロセッサ３１は、注文された商品名の注文商品が棚４に実在すること確認する。また、プロセッサ３１は、アームカメラ１６が撮影した撮影画像から取出対象商品の画像を抽出する。プロセッサ３１は、取出対象商品が抽出できた場合は取出対象商品が実在すると判断し、取出対象商品が抽出できなかった場合は取出対象商品が棚４に無いと判断する。

注文商品が棚４に実在することが確認できない場合（ＡＣＴ３６、ＮＯ）、プロセッサ３１は、注文商品が取出し不可である旨を利用者に報知する（ＡＣＴ３７）。例えば、プロセッサ３１は、「申し訳ございませんが、商品が確認できませんでした」などの音声案内をスピーカ１７から出力し、一連の注文商品に関する処理を終了する。

また、注文商品が棚４に実在することが確認できた場合（ＡＣＴ３６、ＹＥＳ）、プロセッサ３１は、確認した注文商品に対応する位置のプレートＰの番号が合っているかを確認する（ＡＣＴ３８）。プロセッサ３１は、アームカメラ１６の撮影画像から当該注文商品に対応する位置のプレートＰに表示された番号を認識する。プレートＰに表示された番号を認識すると、プロセッサ３１は、認識した番号と当該注文商品のプレートＰに設定されるべき番号（注文商品の番号）とが一致するかを確認する。プロセッサ３１は、注文商品に対応するプレートの番号が棚管理データベース４２に記憶する情報（注文商品に設定されている番号）と一致するかを判断する。

例えば、利用者から「×××（商品名、銘柄）を下さい」という注文を受けて棚４に商品名が「×××」の注文商品が実在することを確認したものとする。この場合、プロセッサ３１は、商品名が「×××」の注文商品が配置されている位置を含む撮影範囲をアームカメラ１６で撮影する。プロセッサ３１は、撮影画像から当該注文商品に対応して設置されるプレートの番号が当該注文商品に設定されている番号と一致するかを確認する。

注文商品に対応するプレートＰの番号が合っていない場合（ＡＣＴ３８、ＮＯ）、プロセッサ３１は、プレートの番号が正しくないことを管理者または店員に報知する（ＡＣＴ３９）。例えば、プロセッサ３１は、注文された商品名の商品に対応するプレートの番号に誤りがある旨のメール或はメッセージを管理者又は店員に送る。ここでは、注文された商品名の注文商品が棚４に実在することを確認している。このため、プロセッサ３１は、当該注文商品に対応するプレートの番号が正しくないことを管理者に報知した後、ＡＣＴ４０へ進み、当該注文商品の取出しを行う。

なお、商品名の指定無しでプレートの番号での注文を受けた場合、プロセッサ３１は、プレートの番号に応じた配置位置にある商品を注文商品とする。この場合、プロセッサ３１は、ＡＣＴ３８及び３９の処理を省略するようにしても良い。

また、プレートの番号と商品名との両方を含む注文を受けた場合、プロセッサ３１は、プレートの番号に応じた配置位置をアームカメラ１６で撮影するようにしても良い。この場合、プロセッサ３１は、撮影画像から注文された番号（注文番号）のプレートに対応する配置位置に注文された商品名の商品が実在するかを確認するようにしても良い。注文番号のプレートに対応する配置位置に注文商品がなければ、プロセッサ３１は、利用者に対して注文商品が無い旨の案内を行うようにしても良い。

例えば、「１０番の×××（商品名、銘柄）を下さい」という注文を受けた場合、プロセッサ３１は、「１０」番のプレートに対応する位置に商品名が「×××」の商品が実在するかを確認する。「１０」番のプレートに対応する位置に商品名が「×××」の商品が実在しなければ、プロセッサ３１は、「申し訳ございませんが、「×××」は現在品切れとなっております」などの音声案内をスピーカ１７から出力するようにしても良い。

また、プレートの番号と商品名との両方を含む注文を受けた場合、プロセッサ３１は、棚管理データベース４２に基づいてプレートの番号と商品名との整合を確認しても良い。例えば、１０番の×××（商品名、銘柄）を下さい」という注文を受けた場合、プロセッサ３１は、棚管理データベース４２において、「１０」番のプレートに配置される商品が「×××」に設定されているかを確認する。「１０」番のプレートの配置位置に配置されるべき商品が「×××」で無ければ、プロセッサ３１は、「申し訳ございませんが、「×××」は現在品切れとなっております」などの音声案内をスピーカ１７から出力するようにしても良い。

注文商品のプレートが合っていると判断した場合（ＡＣＴ３８、ＮＯ）、プロセッサ３１は、アームカメラ１６の撮影画像から取出対象商品における両側面の位置を特定する（ＡＣＴ４０）。例えば、プロセッサ３１は、撮影画像から取出対象商品における何れか１方の側面を基準位置（基準面）として特定する。さらに、プロセッサ３１は、当該取出対象商品の幅のサイズを棚管理データベース４２から取得する。プロセッサ３１は、何れ一方の側面を基準として当該商品の幅のサイズに基づいて当該商品の両側面の位置を特定する。

また、プロセッサ３１は、アームカメラ１６の撮影画像から当該商品の側方にある隙間の大きさを確認する（ＡＣＴ４１）。例えば、プロセッサ３１は、撮影画像から当該商品の側面から隣接する商品までの隙間の大きさを算出する。また、プロセッサ３１は、プレートＰの位置を基準に隙間の大きさを算出しても良い。さらに、プロセッサ３１は、プレートＰに表示された基準線あるいはマークを基準に隙間の大きさを算出しても良い。

当該商品の側面の位置と隙間の大きさとを特定すると、プロセッサ３１は、把持部材としての指１５ｂ、１５ｃを当該商品の側方に挿入するための挿入位置を決める（ＡＣＴ４２）。例えば、プロセッサ３１は、当該商品の側面の位置に応じて指１５ｂ、１５ｃを挿入する位置を決定する。また、プロセッサ３１は、隙間の大きさを考慮して商品の側方において指１５ｂ、１５ｃを挿入する位置を決めても良い。例えば、プロセッサ３１は、商品の側方における隙間（当該商品と隣の商品又は壁との間）の中間位置を指１５ｂ、１５ｃを挿入する位置としても良い。これにより、ロボット１は、当該商品の側面の位置だけでなく、商品の側方における隙間も考慮して指１５ｂ、１５ｃを挿入できる。

指１５ｂ、１５ｃを挿入する挿入位置を決めると、プロセッサ３１は、当該商品の奥行のサイズｄに応じて商品の両側面において指１５ｂ、１５ｃをセットする位置（把持位置）を決める（ＡＣＴ４３）。例えば、プロセッサ３１は、棚管理データベース４２から当該商品の奥行のサイズｄを取得する。プロセッサ３１は、商品の側面の位置と奥行のサイズとに応じて当該商品を把持するために指１５ｂ、１５ｃをセットする位置としての把持位置を決定する。

また、プロセッサ３１は、アームカメラ１６の撮影画像から取出対象商品における上面の位置を特定する（ＡＣＴ４４）。例えば、プロセッサ３１は、撮影画像において取出対象商品の上面の位置を決めるための基準位置を特定する。基準位置は、商品のサイズなどから上面位置を決定しうる位置であれば良い。基準位置としては、プレートＰの上端部Ｐｔ、プレートの下端部、プレートＰが表示する基準線又はマークなどで良い。基準位置を特定すると、プロセッサ３１は、商品のサイズおよびプレートの位置などに基づき、基準位置からの距離によって当該商品の上面の位置を決定する。

図１０は、棚４に配置された商品ＭとプレートＰとの関係を説明するための図である。
本実施形態において、棚４には手前から奥に向かって一列に並べて配置する商品Ｍの直前にプレートＰが設けられる。このため、最も手前にある取出対象となる商品Ｍは、アーム１３Ａ側から見みて下方の領域部分がプレートＰに隠れる。アーム１３Ａの把持機構１５は、プレートＰよりも上部の領域において取出対象商品を把持する。

図１０において、プレートＰの上端部Ｐｔを基準位置とすれば、商品の上面は、プレートＰの上端部Ｐｔから高さｐｈだけ上の位置となる。高さｐｈは、商品の高さからプレートＰの高さを減算することにより算出される。このような高さｐｈは、棚管理データベース４２などの当該商品と対応づけて記憶しておけば良い。なお、プレートＰが表示する基準線等を基準位置とする場合、基準位置から商品の上面までの高さを示す情報は棚管理データベース４２に記憶しておくようにしても良い。

商品の上面の位置を特定すると、プロセッサ３１は、当該商品の上面を指１５ａが支持する上面支持位置（指１５ａをセットする位置）を決める（ＡＣＴ４５）。プロセッサ３１は、商品の上面の位置と奥行のサイズｄとに応じて指１５ａをセットする上面支持位置を決める。例えば、プロセッサ３１は、商品の奥行のサイズを棚管理データベース４２から取得する。プロセッサ３１は、商品の上面の位置と奥行のサイズとに応じて指１５ｂ、１５ｃが把持する商品を支えるために指１５ａをセットする位置を決定する。

支持部材としての指１５ａをセットする上面支持位置を決定すると、プロセッサ３１は、商品の上面における上面支持位置に指１５ａをセットする（ＡＣＴ４５）。プロセッサ３１は、把持機構１５における指１５ａを動作させて指１５ａの先端部を商品の上面における上面支持位置に置く。この場合、プロセッサ３１は、必要に応じてアーム部１４を動作させても良い。ただし、プロセッサ３１は、指１５ａの先端部を上面支持位置に置いた状態で指１５ｂ、１５ｃを挿入位置に配置するものとする。

指１５ａを上面支持位置にセットすると、プロセッサ３１は、指１５ｂ、１５ｃを挿入位置から当該商品の側方に挿入する（ＡＣＴ４７）。プロセッサ３１は、商品の両側面において指１５ｂ、１５ｃをセットする把持位置に対応する位置まで奥に指１５ｂ、１５ｃの先端部を挿入する。把持位置に対応する位置まで指１５ｂ、１５ｃを挿入すると、プロセッサ３１は、商品の両側面の把持位置に指１５ｂ、１５ｃをセットして商品の両側面を挟持する（ＡＣＴ４８）。指１５ｂ、１５ｃが商品を挟持すると、プロセッサ３１は、アーム１３Ａのアーム部１４を駆動させて指１５ｂ、１５ｃが挟持する商品を棚４からピックアップする（ＡＣＴ４９）。

図１１は、アーム１３Ａの把持機構１５によって商品を把持した状態を示す図である。
図１１に示すように、アーム１３Ａの把持機構１５は、指１５ａの先端部で商品の上面を押さえて支持しながら指１５ｂ、１５ｃが当該商品の両側面を挟持する。指１５ｂおよび１５ｃが商品を挟持する位置（把持位置）は、プレートＰの上端部Ｐｔから商品の上面までの間に設定される。ただし、指１５ｂおよび１５ｃが商品の両側面を挟持する把持位置は、商品の配置状態、商品の重さ、商品の外形の固さ等の商品ごとの特徴に応じて設定される。なお、棚４において、取り出された商品の列は、取り出した商品の分だけ後方から押し出され、取り出した商品の次に並んでいた商品がプレートＰに接した状態となる。

プロセッサ３１は、把持機構１５が把持する商品をピックアップ（保持）すると、アーム１３Ａのアーム部１４を駆動させて当該商品を引渡位置に移動させる（ＡＣＴ５１）。例えば、プロセッサ３１は、アーム１３Ａの把持機構１５が把持する商品を引渡位置としてのレジ台３上に運ぶように制御する。この場合、アーム１３Ａは、把持機構１５が把持して棚４からピックアップした商品をレジ台３へ移動させる。これにより、棚４にあった注文商品は、アーム１３Ａによって取り出されてレジ台３上に運ばれる。
なお、棚４から取出した商品を移動させる引渡位置は、レジ台３の上に限定されるものではない。例えば、プロセッサ３１は、アーム１３Ａの把持機構１５が把持する商品を利用者に直接手渡すような制御を行うようにしても良い。

商品を引渡位置に運ぶと、プロセッサ３１は、取り出した商品（レジ台３に置いた商品）に関する情報を棚管理データベース４２に記憶する（ＡＣＴ５２）。例えば、プロセッサ３１は、当該商品の取出しを実行した取出位置を示す情報をメモリ３２に記憶する。また、プロセッサ３１は、取出処理を行った商品に対応づけて当該商品の取出しを実行した取出位置などの情報を棚管理データベース４２に記憶しても良い。

プロセッサ３１は、商品を引渡位置へ移動させた後、取り出した商品（レジ台３に置いた商品）を示す情報を精算装置２へ通知する（ＡＣＴ５３）。これにより、精算装置２は、ロボット１が棚４から取り出してレジ台３に置いた商品の情報を精算対象の商品の情報として取得する。精算装置２は、プロセッサ３１からの商品の情報に基づいてロボット１が棚４から取り出した商品を含む商品代金の精算処理が実行できる。

なお、プロセッサ３１は、精算装置２での精算が完了するまで、把持機構１５が把持する商品（棚４から取り出した商品）を開放しないようにしても良い。つまり、把持機構１５は、棚４から取り出した商品をすぐにレジ台３に置かずに、精算装置２での精算が完了した後に当該商品をレジ台３に置くように制御しても良い。

商品を引渡位置へ移動させた後、プロセッサ３１は、商品を取り出した後の棚の状態などを確認する棚チェック処理を行うようにしても良い。例えば、センサ１１が検知する利用者が居なくなった場合、利用者から次の商品の注文を直に受けることがないと予測される。このため、プロセッサ３１は、センサ１１が検知する利用者が居なくなった場合に、棚チェック処理を行うようにしても良い。この場合、プロセッサ３１は、センサ１１が利用者を検知している間は在庫チェック処理を実行しないようにしても良い。

棚チェック処理を実行する場合（ＡＣＴ５４、ＹＥＳ）、プロセッサ３１は、取り出した商品があった位置を含む領域の画像を撮影するためにアームカメラ１６を移動させる（ＡＣＴ５５）。図１に示す構成例では、アームカメラ１６は、把持機構１５とともにアーム１３Ａの先端部に設けられている。このため、プロセッサ３１は、商品の取出しを実行した取出位置にアームカメラ１６（アーム１３Ａの先端部）を移動させる。つまり、アーム１３Ａの先端部にあるアームカメラ１６は、取出した商品があった位置を撮影するために商品の取出しを行った取出位置へ移動させるものとする。

アームカメラ１６が取出位置に移動すると、プロセッサ３１は、アームカメラ１６で商品があった位置を含む領域の画像を撮影する（ＡＣＴ５６）。アームカメラ１６が画像を撮影すると、プロセッサ３１は、アームカメラ１６が撮影した画像に基づいて取り出した商品があった位置に次の商品が存在するかを判定する（ＡＣＴ５７）。

取出した商品があった位置に次の商品が無ければ（ＡＣＴ５７、ＹＥＳ）、プロセッサ３１は、棚４に補充すべき取り出した商品と同一の商品の在庫（以下、店舗在庫と称する）があるかを判定する（ＡＣＴ５８）。例えば、プロセッサ３１は、商品管理データベース４１を参照して取り出した商品に対する店舗在庫があるかを判定する。

店舗在庫があると判定した場合（ＡＣＴ５８、ＹＥＳ）、プロセッサ３１は、棚４に当該商品を補充すべき旨を管理者または店員に報知する（ＡＣＴ５９）。例えば、プロセッサ３１は、棚４に商品を補充すべきこと、あるいは、棚４に補充すべき商品を示す情報をメール或はメッセージで管理者または店員に通知する。具体例として、プロセッサ３１は、「商品棚に×××がありません。補充をお願いします」などのメール或はメッセージを管理者または店員に通知する。

店舗在庫がないと判定した場合（ＡＣＴ５８、ＮＯ）、プロセッサ３１は、取出した商品に対する店舗在庫がない旨を管理者または店員に報知する（ＡＣＴ６０）。例えば、プロセッサ３１は、当該商品が棚４に無く、店舗在庫も無いことをメール或はメッセージで管理者または店員に通知する。具体例として、プロセッサ３１は、「商品棚にも在庫にも×××がありません。発注をお願いします」などのメール或はメッセージを管理者または店員に通知する。

また、プロセッサ３１は、棚４における当該商品の有無を示す情報を棚在庫として棚管理データベース４２に記憶する（ＡＣＴ６１）。例えば、取出した商品があった位置に次の商品が有れば、プロセッサ３１は、取出した商品に対する棚在庫が有ることを棚管理データベース４２に記憶（更新）する。また、取出した商品があった位置に次の商品が無ければ、プロセッサ３１は、取出した商品に対する棚在庫が無いことを棚管理データベース４２に記憶（更新）する。

さらに、プロセッサ３１は、商品があった位置をアームカメラ１６で撮影した後、アーム１３Ａを取出位置から所定の待機位置へ移動させる（ＡＣＴ６２）。例えば、プロセッサ３１は、アーム１３Ａが取出位置から待機位置へ移動するためのルート（アーム１３Ａの駆動手順）を算出する。プロセッサ３１は、算出したルートでアーム１３Ａを待機位置へ移動させる。また、プロセッサ３１は、アーム１３Ａを取出位置から待機位置へ移動させるルートを棚管理データベース４２に記憶する（ＡＣＴ６３）。

ロボット１は、待機状態においてアーム１３Ａを所定の待機位置で待機させる。このため、次に利用者から注文を受けた場合、ロボットは、アーム１３Ａを待機位置から次の注文商品の取出位置へ移動させることとなる。同一商品（同一の商品名の商品）がほぼ同じ取出位置であれば、取出位置から待機位置へ移動するルートの逆ルートは、待機位置から取出位置へ移動するための移動ルートとなり得る。このような取出位置から待機位置への移動ルートを棚管理データベース４２が記憶しておく。これにより、次に同一商品の取出しを行う場合、ロボット１は、過去に使用したルートに基づいてアーム１３Ａを移動させる移動ルートを決めることが可能となる。

以上の動作によって、ロボット１は、利用者から注文された商品を棚４から取り出すことでき、精算装置２と連携して取り出した商品の精算処理を行うこともできる。また、ロボット１は、商品を引き渡す利用者の年齢確認などの販売条件の確認を行うことができ、各種の商品を適切に販売する作業を支援することができる。さらに、ロボット１は、取出す商品に対して、棚における在庫および店舗における在庫を確認することでき、棚への商品の補充作業が商品の発注作業などを支援することができる。

（変形例）
上述した実施形態では、棚４に置かれた商品を取り出す動作について説明したが、ロボット１は、ハンガーなどで吊り下げられた商品を取り出す動作を行うようにしても良い。なお、変形例に係る商品取出装置としてのロボット１の構成は、図１乃至３に示すような上述した構成と同様であって良い。

図１２は、ハンガーで吊り下げされる商品の例を示す図である。
図１２に示す例では、各商品Ｍに取付けたハンガー７１を支持棒７２に吊り下げる。１つの支持棒７２には、同一の商品を手前から奥側に向かって並べて吊り下げるものとする。また、支持棒７２は、重力方向に対して手前が低くなるように斜め設置する。また、支持棒７２の手前側の端部は、上方にまげて形成される。これにより、支持棒７２に吊り上げられた各商品は、自重で手前側に詰めて並べられる。また、支持棒７２には、図１に示すプレートＰに相当するプレートＰ´が手前から見える位置に設けられる。

図１３は、図１２に示す商品を把持機構１５で把持する様子を示す図である。
ロボット１のシステムコントローラ２１は、上述したＡＣＴ４０～４９で説明した手順で吊り下げられた商品を取り出すようにして良い。ただし、吊り下げられた商品については、図１３に示すように、取出対象とする商品の上面ではなく、下面を指１５ａで支持するようにする。

すなわち、プロセッサ３１は、アームカメラ１６で撮影する撮影画像から取出対象商品における両側面の位置および隙間の大きさを特定する。プロセッサ３１は、当該商品の両側面の位置と隙間の大きさとに応じて把持部材としての指１５ｂ、１５ｃを当該商品の側方に挿入するための挿入位置を決める。さらに、プロセッサ３１は、アームカメラ１６の撮影画像から取出対象商品における下面の位置を特定する。この場合も、プロセッサ３１は、撮影画像において下面の位置を決めるための基準位置を特定し、商品のサイズなどから下面の位置を決定すれば良い。例えば、基準位置は、プレートＰ´の上端部又は下端部、プレートＰ´に表示する基準線又はマークなどで良い。

プロセッサ３１は、当該商品の下面における下面支持位置（指１５ａをセットする位置）を決めて、指１５ａで下面を支持する。また、プロセッサ３１は、指１５ｂ、１５ｃを挿入位置から商品の側方に挿入し、当該商品の奥行に応じて決めた把持位置で商品の両側面を挟持する。これにより、把持機構１５は、図１３に示すように、指１５ａで下面を支えつつ指１５ｂ、１５ｃで商品の両側面を挟持することで商品を確実に把持する。把持機構１５で吊り下げ商品を把持した場合、プロセッサ３１は、把持した商品のハンガー７１を支持棒７２から外すようにアーム部１４を駆動させて当該商品をピックアップする。
上述した変形例の動作によれば、ロボット１は、ハンガーなどで支持棒に吊り下げられた商品も確実に取り出すことが可能となる。

以上のように、実施形態に係る商品取出装置としてのロボットは、カメラとコントローラとアームと把持機構とを有する。コントローラは、カメラが撮影する撮影画像から商品における基準位置を特定し、基準位置を基準として商品のサイズ情報から商品の両側面の位置を特定する。把持機構は、アームにより取出対象商品の正面に先端部を移動し、両側面の位置を特定した取出対象商品の側方に把持部材を挿入した後に当該取出対象商品を把持する。これにより、商品取出装置としてのロボットは、利用者から注文された商品を確実に取り出すことできる。この結果として、ロボットは、精算装置２による商品の精算処理の自動化を支援できる。

また、実施形態に係る商品取出装置としてのロボットは、配置位置から商品を取り出した後、商品を取り出した配置位置を撮影して配置位置に商品があるかを確認する。商品取出装置は、配置位置に商品がない場合、管理者または店員に対して、店舗の在庫が有れば配置位置への当該商品の補充を報知し、店舗の在庫も無ければ在庫が無い旨を報知する。これにより、商品取出装置としてのロボットは、在庫に応じた商品管理を支援することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、本願の出願当初の特許請求の範囲に記載した内容を付記する。
［１］
所定の配置位置に配置される取出対象商品を含む撮影範囲の画像を撮影するカメラと、 前記カメラが撮影する撮影画像から前記取出対象商品における基準位置を特定し、前記基準位置を基準として前記取出対象商品のサイズから前記取出対象商品の両側面の位置を特定するコントローラと、
前記取出対象商品の正面に先端部を移動させるアームと、
前記アームの先端部に設けられ、前記コントローラが特定する前記取出対象商品の両側面の位置に基づいて前記取出対象商品の側方に挿入する把持部材によって前記取出対象商品を把持する把持機構と、
を有する商品取出装置。
［２］
前記把持機構は、前記把持部材として１対の挟持部材を有し、前記取出対象商品の両側方に挿入する１対の挟持部材によって前記取出対象商品における両側面を挟持する、
［１］に記載の商品取出装置。
［３］
前記コントローラは、さらに、前記取出対象商品における上面または下面の位置を特定し、
前記把持機構は、前記取出対象商品の上面または下面を支持する支持部材をさらに有し、前記取出対象商品に対して支持部材で上面または下面を支えながら前記挟持部材で両側面を挟持する、
［２］に記載の商品取出装置。
［４］
前記コントローラは、前記カメラが撮影する撮影画像から前記取出対象商品の側方に存在する隙間の大きさを確認し、
前記把持機構は、前記隙間の大きさに応じた前記取出対象商品の側方における挿入位置で前記把持部材を挿入する、
［１］乃至［３］の何れか１つに記載の商品取出装置。
［５］
前記コントローラは、前記把持機構が把持する前記取出対象商品を前記配置位置から取り出した後、前記取出対象商品を取り出した位置を再撮影した画像において前記取出対象商品と同一の商品が前記配置位置になければ前記配置位置に補充すべき在庫があるかを判定し、補充すべき在庫があると判定した場合は前記配置位置への補充を報知し、補充すべき在庫がないと判定した場合は在庫が無いことを報知する、
［１］乃至［４］の何れか１つに記載の商品取出装置。

１…商品取出装置（ロボット）、２…精算装置（レジ）、３…レジ台、１１…センサ、１２…カメラ、１３Ａ、１３Ｂ…アーム、１４…アーム部、１５…把持機構、１５ａ…指（支持部材）、１５ｂ、１５ｃ…指（把持部材、挟持部材）、１６…アームカメラ、２１…システムコントローラ（制御装置）、２２…アーム装置、２３…ユーザインターフェース。

Claims (4)

1. 所定の配置位置に配置される取出対象商品を含む撮影範囲の画像を撮影するカメラと、
   前記カメラが撮影する撮影画像から前記取出対象商品における基準位置を特定し、前記基準位置を基準として前記取出対象商品のサイズから前記取出対象商品の両側面の位置を特定するコントローラと、
   前記取出対象商品の正面に先端部を移動させるアームと、
   前記アームの先端部に設けられ、前記コントローラが特定する前記取出対象商品の両側面の位置に基づいて前記取出対象商品の側方に挿入する把持部材によって前記取出対象商品を把持する把持機構と、を有し、
   前記コントローラは、前記把持機構が把持する前記取出対象商品を前記配置位置から取り出した後、前記取出対象商品を取り出した位置を再撮影した画像において前記取出対象商品と同一の商品が前記配置位置になければ前記配置位置に補充すべき在庫があるかを判定し、補充すべき在庫があると判定した場合は前記配置位置への補充を報知し、補充すべき在庫がないと判定した場合は在庫が無いことを報知する、
   商品取出装置。
2. 前記把持機構は、前記把持部材として１対の挟持部材を有し、前記取出対象商品の両側方に挿入する１対の挟持部材によって前記取出対象商品における両側面を挟持する、
   請求項１に記載の商品取出装置。
3. 前記コントローラは、さらに、前記取出対象商品における上面または下面の位置を特定し、
   前記把持機構は、前記取出対象商品の上面または下面を支持する支持部材をさらに有し、前記取出対象商品に対して支持部材で上面または下面を支えながら前記挟持部材で両側面を挟持する、
   請求項２に記載の商品取出装置。
4. 前記コントローラは、前記カメラが撮影する撮影画像から前記取出対象商品の側方に存在する隙間の大きさを確認し、
   前記把持機構は、前記隙間の大きさに応じた前記取出対象商品の側方における挿入位置で前記把持部材を挿入する、
   請求項１乃至３の何れか１項に記載の商品取出装置。

Images