JP2019153073A - 情報処理装置、及び情報処理プログラム - Google Patents

Abstract

【課題】適切なタイミングで商品を客に勧めることで追加注文の促進を図る。【解決手段】実施形態によれば、情報処理装置は、入力手段、検出手段、出力手段を有する。入力手段は、商品が配置される範囲を撮像した撮像データを入力する。検出手段は、前記撮像データをもとに、前記商品の残量が所定値より少ない状態を検出する。出力手段は、前記商品の残量の状態が予め設定された条件に該当する場合に、商品を勧めるためのレコメンド情報を出力する。【選択図】図１

Description

本発明の実施形態は、情報処理装置、及び情報処理プログラムに関する。

従来、客自身が注文端末を操作して所望のメニュー品目（商品）を注文する注文処理システムが飲食店において利用されている。注文処理システムでは、客からの注文を促すために、おすすめメニューを提供する機能が設けられている。

より多くの注文を受け付けるためには、店舗側からお勧めするメニューを提供するだけでなく、客が飲食している食べ物及び飲み物の状況を把握して、客に応じた適切なタイミングで商品をお勧めすることが必要となる。

特開２０１６−１５０７１号公報

本発明が解決しようとする課題は、適切なタイミングで商品を客に勧めることで追加注文の促進を図ることが可能となる情報処理装置、及び情報処理プログラムを提供することである。

実施形態によれば、情報処理装置は、入力手段、検出手段、出力手段を有する。入力手段は、商品が配置される範囲を撮像した撮像データを入力する。検出手段は、前記撮像データをもとに、前記商品の残量が所定値より少ない状態を検出する。出力手段は、前記商品の残量の状態が予め設定された条件に該当する場合に、商品を勧めるためのレコメンド情報を出力する。

本実施形態の注文処理システムの構成を示すブロック図。 本実施形態におけるホールコントローラの要部構成を示すブロック図。 本実施形態における注文受付端末の要部構成を示すブロック図。 本実施形態におけるテーブルロボットの要部構成を示すブロック図。 本実施形態における注文受付端末とテーブルロボットの外観を示す図。 第１実施形態における動作を説明するためのフローチャート。 ホールコントローラによる比較処理を示すフローチャート。 第１画像と第２画像を概念的に示す図。 第１実施形態におけるレコメンド情報抽出処理により抽出されるレコメンド情報を概念的に示す図。 第１実施形態におけるお勧めのメニュー画面の一例を示す図。 第２実施形態における動作を説明するためのフローチャート。 第２実施形態における座席状況を示す画面の一例を示す図。 第２実施形態における詳細画面（座席状況詳細）の一例を示す図。 第３実施形態における動作を説明するためのフローチャート。

以下、本実施形態について、図面を参照しながら説明する。
図１は、本実施形態の注文処理システムの構成を示すブロック図である。注文処理システムは、例えば飲食店に設置されて稼働する。

注文処理システムは、オーダーステーション１０、ＰＯＳ（Point Of Sales）端末１２、キッチンプリンタ１４、ホールコントローラ１６、及び少なくとも１つの複数のアクセスポイント（ＡＰ）１８（１８−１，…，１８−ｍ）がＬＡＮ（Local Area Network）等のネットワーク１９を介して相互に接続される。また、注文処理システムは、アクセスポイント１８との無線通信を介して、タブレット端末１６Ｋ、複数のハンディターミナル２０（２０−１，…，２０−ｎ）、店舗内のテーブル毎に設置された複数台の注文受付端末２２（２２−１，…，２２−ｘ）及び複数台のテーブルロボット２４（２４−１，…，２４−ｘ）、少なくとも１台のフロアロボット２６（２６−１，…，２６−ｙ）が、ネットワーク１９と接続される。

オーダーステーション１０は、ハンディターミナル２０あるいは注文受付端末２２から受信した注文情報に基づいて、キッチンプリンタ１４に調理指示を送信する。また、配膳完了をハンディターミナル２０から受信した場合、注文情報を売り上げ情報としてＰＯＳ端末１２に送信する。

ＰＯＳ端末１２は、例えば会計場に配置され、客の飲食代金を精算する。ＰＯＳ端末１２は、販売情報を登録、処理し、一取引ずつ会計処理を行う。販売情報には、顧客ごとの商品の売り上げ明細の情報が含まれる。

キッチンプリンタ１４は、例えば調理場に配置される。キッチンプリンタ１４は、オーダーステーション１０から受信した注文情報に基づいて、客が注文した商品（メニュー品目）やテーブルの識別番号を含む注文伝票を印刷することで調理指示を出力する。

ホールコントローラ１６は、情報処理装置として動作するコンピュータである。ホールコントローラ１６は、店舗内の客の状況を管理して、客の状況に応じて注文処理システムを構成する各装置を制御する。ホールコントローラ１６は、例えば客が着席しているテーブルの状況、客情報（人数、性別、年代、職業など）の管理、注文履歴の管理、利用時間（着席からの経過時間、コース設定の終了時刻までの残り時間など）などを管理する。ホールコントローラ１６は、客の状況を表す画面を表示する。店舗の従業員は、ホールコントローラ１６の画面を視認する。また、ホールコントローラ１６は、少なくとも商品（飲み物、食べ物など）が配置されたテーブルを含む範囲を撮像範囲として撮像された撮像データを入力し、撮像データをもとに画像処理をすることで商品の残量を検出する。ホールコントローラ１６は、画像処理の結果に応じて判別される商品の残量をもとに適切なタイミングで客に商品を勧めるためのレコメンド情報を出力する機能を有する。ホールコントローラ１６は、例えばテーブルに設置されたテーブルロボット２４（あるいは注文受付端末２２でも良い）に設けられたカメラにより撮像された撮像データを入力する。撮像データは、静止画、あるいは動画（映像）の何れであっても良い。

タブレット端末１６Ｋは、ホールコントローラ１６の入出力装置として使用される。タブレット端末１６Ｋは、アクセスポイント１８とネットワーク１９を介して、ホールコントローラ１６と通信する。なお、タブレット端末１６Ｋは、アクセスポイント１８を介さないで、直接、ホールコントローラ１６と無線通信する構成としても良い。また、タブレット端末１６Ｋは、１台に限らず、複数台が設けられていても良い。

また、図１では、ネットワーク１９に接続されたコンピュータによりホールコントローラ１６が実現される例を示しているが、後述するホールコントローラ１６の処理をタブレット端末１６Ｋによって実行するものとしても良い。したがって、本実施形態において、ホールコントローラ１６は、ネットワーク１９に接続されたコンピュータにより実現される形態及びタブレット端末１６Ｋにより実現される形態のいずれであってもよい。さらに、１台のホールコントローラ１６（あるいはタブレット端末１６Ｋ）が単独で後述する処理を実行するだけでなく、他の装置（複数のコンピュータ、あるいはオーダーステーション１０）と協働して実行する構成としても良い。

アクセスポイント１８は、タブレット端末１６Ｋ、ハンディターミナル２０、注文受付端末２２、テーブルロボット２４、フロアロボット２６との無線通信を制御する無線通信装置である。アクセスポイント１８は、例えば店内の天井などに少なくとも１台が配置される。

ハンディターミナル２０は、店員用の端末である。ハンディターミナル２０は、注文の入力、来店した客を登録するチェックイン処理、客によって注文された商品の配膳完了の入力、ホールコントローラ１６からの通知に応じたメッセージ出力などを行う。ハンディターミナル２０は、入力された注文に応じた注文情報、配膳完了の商品を示す商品情報などをオーダーステーション１０に送信する。また、ハンディターミナル２０は、店員の操作等に応じて、ホールコントローラ１６に対して各種の通知を送信することができる。

注文受付端末２２（２２−１，…，２２−ｘ）は、例えば店内の各テーブルＴ（Ｔ−１，…，Ｔ−ｘ）に配置される。注文受付端末２２は、メニューを表示するとともに、客からの商品（メニュー品目）の注文を受け付ける。注文受付端末２２は入力した注文情報をオーダーステーション１０に送信する。注文受付端末２２は、ホールコントローラ１６から出力されたレコメンド情報に応じた、お勧め商品の画面などを表示する。

テーブルロボット２４（２４−１，…，２４−ｘ）は、例えば店内の各テーブルＴ（Ｔ−１，…，Ｔ−ｘ）に配置される。テーブルロボット２４は、客とコミュニケーションをとるためのロボットである。テーブルロボット２４は、カメラにより少なくとも商品（飲み物、食べ物など）が配置されたテーブルを含む範囲を撮像範囲として撮像された撮像データを入力してホールコントローラ１６に送信する出力機能を有する。また、テーブルロボット２４は、マイクから入力された音声の認識機能を有し、客との簡単な会話、客からの音声による商品の注文受付などをする。テーブルロボット２４は、スピーカから客に対するメッセージを出力する音声出力機能が設けられ、客との会話のために音声の認識機能により認識された音声に対応する応答メッセージの出力、ホールコントローラ１６あるいはオーダーステーション１０からの通知に応じたメッセージの出力などを実行する。

なお、図１では、注文受付端末２２とテーブルロボット２４は、別の装置として実現されているが、１つの装置によって実現することも可能である。

フロアロボット２６は、店舗内で商品の各テーブルへの配膳、及び各テーブルから食器、グラス、ゴミ等の回収（バッシング）のために使用されるロボットである。フロアロボット２６は、食器等を載置することができる、少なくとも１つの載置台が設けられている。フロアロボット２６は、自律走行する機能が設けられており、店舗内のテーブルの配置に応じて設定された経路に応じて、指定された目的とするテーブルの位置まで走行することができる。フロアロボット２６には、例えば衝突防止センサが設けられ、障害物を回避しながら走行する。

フロアロボット２６は、アクセスポイント１８を介した無線通信機能が設けられており、例えば客により注文受付端末２２から入力された指示、ホールコントローラ１６からの客の状況に応じた指示、あるいは従業員による操作により入力された指示を受信して、指示に応じた動作をすることができる。また、フロアロボット２６は、走行に伴って、現在位置を示す位置データを、アクセスポイント１８を介してホールコントローラ１６に通知する。ホールコントローラ１６は、フロアロボット２６から受信される位置データをもとに、例えば店舗のテーブル配置などを表示するフロアマップに、フロアロボット２６が走行する経路上における現在位置（動作状況）を示す情報を表示することができる。

フロアロボット２６には、客や店員とのコミュニケーションをとるために、タッチパネルなどの入出力装置、カメラにより撮影した画像をもとにした人物認証機能、マイクから入力された音声の認識機能、スピーカから客あるいは店員に対するメッセージを出力する音声出力機能などが設けられる。

図２は、本実施形態におけるホールコントローラ１６の要部構成を示すブロック図である。
ホールコントローラ１６は、コンピュータによって実現される。ホールコントローラ１６は、ＣＰＵ（Central Processing Unit）１６Ａ、ＲＯＭ（Read Only Memory）１６Ｂ、ＲＡＭ（Random Access Memory）１６Ｃ、記憶装置１６Ｄ、表示装置１６Ｅ、入力装置１６Ｆ、タッチパネル１６Ｇ、通信装置１６Ｈ等を有する。

ＣＰＵ１６Ａは、ＲＯＭ１６Ｂあるいは記憶装置１６Ｄに記憶されたプログラムを実行することにより、ホールコントローラ１６の各構成を制御する。ＣＰＵ１６Ａにより実行されるプログラムには、基本プログラム（ＯＳ（Operating System））の他、情報処理装置として動作するための情報処理プログラムが含まれる。ＣＰＵ１６Ａは、情報処理プログラムを実行することで店舗内の客の状況を管理する。ＣＰＵ１６Ａは、テーブルロボット２４（あるいは注文受付端末２２）から送信される撮像データを、通信装置１６Ｈを通じて入力する入力機能、入力された撮像データをもとに画像処理をすることで商品（飲み物、食べ物）の残量を検出する検出機能、商品の残量をもとに適切なタイミングで客に商品を勧めるためのレコメンド情報を出力する機能を実現する。また、ＣＰＵ１６Ａは、例えば着席しているテーブルの状況、客情報（人数、性別、年代、職業など）の管理、注文履歴の管理、利用時間（着席からの経過時間、コース設定の終了時刻までの残り時間など）などの情報をもとに、客に応じたレコメンド情報を決定するレコメンド情報抽出処理を実行する。

ＲＯＭ１６Ｂは、ＣＰＵ１６Ａが実行するプログラムなどを記憶する。ＲＡＭ１６Ｃは、各種のワークメモリエリアを形成する。記憶装置１６Ｄは、例えばＨＤＤ（Hard disk drive）、ＳＳＤ（Solid State Drive）などであり、各種プログラムや各種データを記憶する。

表示装置１６Ｅは、例えばＬＣＤ（Liquid Crystal Display）である。入力装置１６Ｆは、例えばキーボード、マウスなどのポインティングデバイスである。タッチパネル１６Ｇは、表示及びタッチ操作による入力をする。

通信装置１６Ｈは、例えばネットワーク１９を通じた各装置との通信を制御する。また、通信装置１６Ｈは、無線通信する機能が含まれていても良い。

図３は、本実施形態における注文受付端末２２の要部構成を示すブロック図である。
注文受付端末２２は、例えばタブレット型のコンピュータによって実現される。注文受付端末２２は、ＣＰＵ２２Ａ、ＲＯＭ２２Ｂ、ＲＡＭ２２Ｃ、記憶装置２２Ｄ、タッチパネル２２Ｇ、通信装置２２Ｈ等を有する。

ＣＰＵ２２Ａは、ＲＯＭ２２Ｂあるいは記憶装置２２Ｄに記憶されたプログラムを実行することにより、注文受付端末２２の各構成を制御する。ＣＰＵ２２Ａにより実行されるプログラムには、基本プログラム（ＯＳ（Operating System））の他、注文受付端末２２として動作するための注文受付プログラムが含まれる。ＣＰＵ２２Ａは、注文受付プログラムを実行することで、メニュー画面の表示、客の入力操作の受け付け、客の入力操作によってメニュー画面から選択された商品に応じた注文情報のオーダーステーション１０への送信、ホールコントローラ１６（あるいはオーダーステーション１０）から送信されるレコメンド情報に応じたお勧め商品の通知（表示または音声出力）などの処理を実行する。ＣＰＵ２２Ａは、各処理に応じた画面（ＧＵＩ（Graphical User Interface））をタッチパネル２２Ｇにおいて表示させる。

ＲＯＭ２２Ｂは、ＣＰＵ２２Ａが実行するプログラムなどを記憶する。ＲＡＭ２２Ｃは、各種のワークメモリエリアを形成する。記憶装置２２Ｄは、例えばＨＤＤ、ＳＳＤなどであり、各種プログラムや各種データを記憶する。タッチパネル２２Ｇは、表示及びタッチ操作による入力をする。通信装置２２Ｈは、アクセスポイント１８との無線通信を制御する。

なお、注文受付端末２２は、後述するテーブルロボット２４と同様の機能を設けて、テーブルロボット２４の設置を省くことも可能である。この場合、注文受付端末２２には、カメラ、マイク、スピーカが設けられ、それぞれに対する後述するテーブルロボット２４と同様の制御機能が設けられるものとする。

図４は、本実施形態におけるテーブルロボット２４の要部構成を示すブロック図である。
テーブルロボット２４は、コンピュータの機能が設けられる。テーブルロボット２４は、ＣＰＵ２４Ａ、ＲＯＭ２４Ｂ、ＲＡＭ２４Ｃ、記憶装置２４Ｄ、マイク２４Ｅ、スピーカ２４Ｆ、カメラ２４Ｇ、通信装置２４Ｈ、駆動機構２４Ｌ等を有する。

ＣＰＵ２４Ａは、ＲＯＭ２４Ｂあるいは記憶装置２４Ｄに記憶されたプログラムを実行することにより、テーブルロボット２４の各構成を制御する。ＣＰＵ２４Ａにより実行されるプログラムには、基本プログラム（ＯＳ（Operating System））の他、テーブルロボット２４として動作するための制御プログラムが含まれる。ＣＰＵ２４Ａは、制御プログラムを実行することで、カメラ２４Ｇの動作を制御し、カメラ２４Ｇにより撮像された撮像データを通信装置２４Ｈを通じてホールコントローラ１６に出力する出力機能を実現する。また、ＣＰＵ２４Ａは、制御プログラムを実行することで、客とコミュニケーションをとるための動作を制御する。客とコミュニケーションには、音声（会話）によるもの、動作によるものなどがある。ＣＰＵ２４Ａは、客と音声（会話）によりコミュニケーションするために、マイク２４Ｅから入力された音声の認識機能、音声をスピーカ２４Ｆから出力させる音声出力機能を実行する。ＣＰＵ２４Ａは、音声の認識機能により、客からの会話のための音声、あるいは商品を注文するための音声について認識することができる。音声の認識機能では、例えば予め決められた音声コマンド（単語、あるいは文章）を認識して、音声コマンドに応じた処理を実行することができる。また、ＣＰＵ２４Ａは、音声出力機能により、音声の認識機能により認識された会話のための音声に対応する応答メッセージの出力、あるいはホールコントローラ１６あるいはオーダーステーション１０からの通知に応じたメッセージの出力等をすることができる。

ＲＯＭ２４Ｂは、ＣＰＵ２４Ａが実行するプログラムなどを記憶する。ＲＡＭ２４Ｃは、各種のワークメモリエリアを形成する。記憶装置２４Ｄは、例えばＨＤＤ、ＳＳＤなどであり、各種プログラムや各種データを記憶する。

カメラ２４Ｇは、ＣＰＵ２４Ａの制御に応じて撮像を実行し、撮像データを出力する。カメラ２４Ｇは、静止画、あるいは動画（映像）を撮像することができる。通信装置２４Ｈは、アクセスポイント１８との無線通信を制御する。

ＣＰＵ２４Ａは、駆動機構２４Ｌを動作させる。テーブルロボット２４は、複数の筐体（例えば上部筐体と下部筐体）が組み合わせて構成され、一部の筐体を駆動機構２４Ｌによって動くように構成される。ＣＰＵ２４Ａは、例えば客とのコミュニケーションのために、定常状態、あるいは音声による会話、商品の注文、各種メッセージ音声の出力のタイミングに合わせて駆動機構２４Ｌを駆動させる。また、ＣＰＵ２４Ａは、カメラ２４Ｇによる撮像範囲を変更するために、カメラ２４Ｇが設けられた筐体の向きを変更するように駆動機構２４Ｌを駆動させることができる。
駆動機構２４Ｌは、テーブルロボット２４を構成する一部筐体を動かすための機械構造である。

図５は、本実施形態における注文受付端末２２とテーブルロボット２４の外観を示す図である。図５は、注文受付端末２２とテーブルロボット２４とがテーブルに並べて配置された例を示している。
注文受付端末２２は、基本的にテーブル上のクレードルに設置されており、必要に応じてクレードルから取り外して客が保持した状態で使用することができる。

テーブルロボット２４は、客とコミュニケーションをとるために使用されるため、テーブルに着席した客と近い位置に設置されることが望ましい。また、テーブルロボット２４は、少なくとも商品（飲み物、食べ物など）が配置されたテーブルを含む範囲を撮像範囲として撮像を実行する。例えば、テーブルロボット２４は、商品が載置されるテーブル上だけでなく、テーブルに着席した客を含めた範囲を撮像範囲としても良い。このため、テーブルロボット２４は、カメラ２４Ｇにより目的とする撮像範囲を撮像可能とする位置に設置される。

図５に示すテーブルロボット２４は、例えばカメラ２４Ｇを上部筐体に設置して、駆動機構２４Ｌにより上部筐体を所定範囲内で左右上下に動作させながら、カメラ２４Ｇによる撮像を実行させることもできる。これにより、カメラ２４Ｇの向きを固定した場合より広い範囲を撮像範囲とすることが可能である。

次に、本実施形態における注文処理システムの動作について説明する。
注文処理システムでは、来店した客が何れかのテーブルに着席すると、客を登録するチェックイン処理が実行される。チェックイン処理では、テーブル番号の登録、客情報（人数、性別、年代、職業など）、注文コース（提供される複数の商品、時間等が予め決められている）の入力などが行われる。客情報は、例えばハンディターミナル２０を所持する店員が、ハンディターミナル２０に対する操作によって入力されても良いし、客による注文受付端末２２に対する操作によって入力しても良い。

また、テーブルロボット２４のカメラによって撮影された映像（撮像データ）をホールコントローラ１６に送信して、ホールコントローラ１６（あるいはタブレット端末１６Ｋ）において映像を表示させることで、映像を確認した店員によって客情報を入力させても良い。さらに、ホールコントローラ１６において客を撮像した画像に対して人物認証処理を実行し、人数、性別、年代、職業などを検出して、客情報として入力するようにしても良い。

客は、テーブルに着席した後、商品を注文する場合には、ハンディターミナル２０を所持する店員に伝える他、注文受付端末２２を利用することができる。注文受付端末２２は、タッチパネル２２Ｇにメニューを表示し、メニューからタッチ操作によって指定された商品に応じた注文情報をオーダーステーション１０に送信する。なお、メニューは、全ての商品を分類して提示する通常メニュー、店舗側で予め用意した特定のお勧め商品を含むお勧めメニューなどが、客の入力操作に応じて切り替えて表示される。

注文された商品は、店員によってテーブルに運ばれる他、フロアロボット２６を利用して運ばれる。フロアロボット２６は、例えば載置台に注文された商品、例えば飲み物のグラス、食べ物の皿などが載置された後、配膳先のテーブルが指示されることで、自走して指示されたテーブルまで運ぶことができる。

ホールコントローラ１６は、客が着席したテーブルの状況を、テーブルロボット２４のカメラ２４Ｇによって撮像された画像（映像）によって確認することができる。本実施形態では、ホールコントローラ１６は、配膳された商品（飲み物、食べ物）の飲食状況、すなわち客による商品の消費の状況を撮像された画像（映像）をもとに検出し、適切なタイミングで客に商品を勧めるためレコメンド情報を出力する。以下、ホールコントローラ１６によるレコメンド情報を出力するための処理（第１実施形態、第２実施形態、第３実施形態）について説明する。

（第１実施形態）
図６（Ａ）は、第１実施形態におけるテーブルロボット２４あるいは注文受付端末２２の処理を示すフローチャート、図６（Ｂ）は、第１実施形態におけるホールコントローラ１６の処理を示すフローチャートである。以下の説明では、図６（Ａ）のフローチャートにおいて、ＡｃｔＡ１〜Ａ５はテーブルロボット２４の動作、ＡｃｔＡ６〜Ａ１１は注文受付端末２２の動作として説明する。注文受付端末２２がテーブルロボット２４の機能を代替する場合には、注文受付端末２２により図６（Ａ）に示すフローチャートの処理が実行される。

テーブルロボット２４は、商品がテーブルに配膳された後、カメラ２４Ｇによる少なくとも商品が配置されたテーブル上を撮像範囲とした画像（第１画像）の撮像を実行させる（ＡｃｔＡ１）。ここで、撮像された第１画像は、客により消費されていない商品の初期状態を表している。テーブルロボット２４は、第１画像の撮像データを、例えばテーブル番号を示すデータを付加して、通信装置２４Ｈを通じてホールコントローラ１６に送信する（ＡｃｔＡ２）。

ホールコントローラ１６のＣＰＵ１６Ａは、テーブルロボット２４から送信された第１画像の撮像データを受信すると（ＡｃｔＢ１、Ｙｅｓ）、テーブル番号と対応づけてＲＡＭ１６Ｃあるいは記憶装置１６Ｄに記憶させる。

ＣＰＵ１６Ａは、第１画像を受信したテーブルについて、予め設定された所定時間の経過を監視する。所定時間が経過したことが判別されると（ＡｃｔＢ２、Ｙｅｓ）、ＣＰＵ１６Ａは、該当するテーブルロボット２４に対して画像送信リクエストを送信する（ＡｃｔＢ３）。

なお、所定時間は、予め決められた１つの一定時間としても良いし、客についてチェックイン処理してからの経過時間に応じて変化させても良い。所定時間を変化させる場合、例えば客による飲食のペースが早い、開始直後の時間帯（例えば０〜１５分）には所定時間を短い時間（例えば３分間）とし、一般的に商品の注文ペースが遅くなる終了近くになるほど段階的に所定時間を長くしていく。例えば、時間帯１５〜３０分では５分間、３０〜６０分間では１０分間とする、などとしても良い。これにより、より適切なタイミングでお勧め商品のメニューを客に提供し、また商品の注文ペースが遅くなる時間帯では画像処理が必要となる頻度を少なくして、処理負荷を軽減するようにしても良い。

テーブルロボット２４のＣＰＵ２４Ａは、ホールコントローラ１６からの画像送信リクエストを受信すると（ＡｃｔＡ３、Ｙｅｓ）、例えば第１画像の撮像時と同じ撮像範囲とした画像（第２画像）の撮像をカメラ２４Ｇにより実行させる（ＡｃｔＡ４）。テーブルロボット２４は、第２画像の撮像データにテーブル番号を示すデータを付加してホールコントローラ１６に送信する（ＡｃｔＡ５）。なお、第２画像は、第１画像の撮像時から所定時間経過した後に、第１画像を撮像した同じ範囲を改めて撮像した画像である。

ホールコントローラ１６のＣＰＵ１６Ａは、テーブルロボット２４から送信された第２画像の撮像データを受信すると（ＡｃｔＢ４、Ｙｅｓ）、テーブル番号と対応づけてＲＡＭ１６Ｃあるいは記憶装置１６Ｄに記憶させると共に、第１画像と第２画像とを比較して状況の変化（商品の残量）を検出するための比較処理を実行する。

図７は、ホールコントローラ１６による比較処理を示すフローチャートである。
まず、ＣＰＵ１６Ａは、第１画像が先に受信済みであり、第１画像に対する後述するオブジェクト検出が完了しているかを判別する。ここで、第１画像が先に受信済みでない場合（ＡｃｔＳ１、Ｎｏ）、ＣＰＵ１６Ａは、第１画像から客に提供された商品に相当するオブジェクト画像（第１オブジェクト）を検出し（ＡｃｔＳ２）、第１オブジェクトをＲＡＭ１６Ｃあるいは記憶装置１６Ｄに記憶させる（ＡｃｔＳ３）。

図８（Ａ）は、第１画像を概念的に示す図である。図８（Ａ）に示すように、テーブルロボット２４のカメラ２４Ｇにより撮影された第１画像には、複数の商品のそれぞれに相当する画像が含まれる場合がある。ＣＰＵ１６Ａは、各商品に相当する画像をオブジェクトとして検出し、オブジェクト毎に異なる識別ラベルを付与して記憶させる。なお、画像中からオブジェクトを検出する画像処理手法としては、例えば、検出対象とするオブジェクトの形状、色などの特徴を示す特徴データを予め登録しておき、特徴データをもとに検出する方法などを用いることができる。その他の既存の画像処理方法を用いることが可能である。

図８（Ａ）に示す例では、例えば飲み物（ジョッキ、グラス）に相当するオブジェクトＯＢ１，ＯＢ２、食べ物に相当するオブジェクトＯＢ３，ＯＢ４，ＯＢ５が検出された例を示している。

また、ＣＰＵ１６Ａは、第２画像から客に提供された商品に相当するオブジェクト画像（第２オブジェクト）を第２画像と同様にして検出し（ＡｃｔＳ４）、第２オブジェクトをＲＡＭ１６Ｃあるいは記憶装置１６Ｄに記憶させる。

図８（Ｂ）は、第２画像を概念的に示す図である。図８（Ｂ）に示す例では、第１画像と同様にして、オブジェクトＯＢ１〜ＯＢ５が検出された例を示している。ただし、図８（Ｂ）に示すように、第１画像を撮像してから所定時間が経過した後に第２画像を撮像しているため、客による飲食が進んで商品が消費されている。また、飲み物（ジョッキ、グラス）に相当するオブジェクトＯＢ１，ＯＢ２は、客によってテーブル上に置かれた位置が変更されている。

ＣＰＵ１６Ａは、商品毎に状況の変化（残量）を検出するために、第１画像に含まれる複数の第１オブジェクトと、第２画像に含まれる複数の第２オブジェクトとを対応づける（ＡｃｔＳ５）。すなわち、第１画像の撮像時と第２画像の撮像時では、商品のテーブル上の位置が異なっていたとしても商品毎に状況の変化を検出できるようにする。

ＣＰＵ１６Ａは、対応づけた第１オブジェクトと第２オブジェクトの組み合わせ毎にそれぞれ比較して差分を抽出する（ＡｃｔＳ６）。すなわち、第１画像の撮像時の商品の状況と第２画像の撮像時の商品の状況との変化を検出する。

ＣＰＵ１６Ａは、第１オブジェクトと第２オブジェクトの組み合わせ毎の差分と予め設定された基準値とを比較し（ＡｃｔＳ７）、差分が基準値を上回っているかを判定する（ＡｃｔＳ８）。基準値は、商品の消費が十分に多い状態、言い換えると、残量が少ない、あるいは残りが無い状態であることを判別するための値である。すなわち、次に注文する商品をお勧めする状況であることを判別するために設定される値である。なお、第１オブジェクトと第２オブジェクトとの差分をもとに、商品の残量に相当する部分を検出しても良い。この場合、残量を判別するための基準値を設定して、この基準値と残量とを比較して、商品の残量が予め設定された所定値より少ない、あるいは残りが無い状態であることを判別する。また、基準値は、オブジェクトの種類（飲み物、食べ物）毎に設定されていても良いし、オブジェクトの検出時に商品を特定できるのであれば商品毎に設定されていても良い。

ＣＰＵ１６Ａは、比較処理の結果をもとに、レコメンド情報を客に提供する報知条件に達しているかを判別する。すなわち、第１オブジェクトと第２オブジェクトとの比較により、差分が基準値を上回っているオブジェクト（商品）がある場合には報知条件に達しているものと判別する。ＣＰＵ１６Ａは、少なくとも１つのオブジェクトの差分が基準値を上回っている場合に報知条件に達しているものと判別しても良いし、予め決められた数のオブジェクトの差分が基準値を上回っている場合に報知条件に達しているものと判別しても良い。

なお、前述した比較処理では、第１画像（第１オブジェクト）と第２画像（第２オブジェクト）との差分を抽出し、この差分をもとに商品の状況を判別しているが、その他の方法を用いて商品の状況を判別するようにしても良い。例えば、複数の商品のそれぞれについて、商品を撮像した画像の特徴量を辞書データとして予め登録しておき、この辞書データと第２画像から抽出される各オブジェクトの画像とを比較する。そして、オブジェクトの画像と辞書データとの類似度が所定の基準値を下回っているか、すなわち商品の消費が十分に多い状態にあるかを判別するようにしても良い。

ここで、報知条件に達していないと判別された場合（ＡｃｔＢ６、Ｎｏ）、ＣＰＵ１６Ａは、レコメンド情報の出力をせずに、前回の画像送信リクエストを送信してから所定時間が経過した後（ＡｃｔＢ２、Ｙｅｓ）、前述と同様にして、テーブルロボット２４に対して画像送信リクエストを送信する（ＡｃｔＢ３）。ＣＰＵ１６Ａは、テーブルロボット２４から第２画像の撮像データを受信すると、前述と同様にして、第１画像と第２画像との比較により、レコメンド情報を客に提供する報知条件に達しているかを判別する（ＡｃｔＢ５，Ｂ６）。

なお、２回目以降の比較処理では、先に第１画像を受信済みであるので（図７、ＡｃｔＳ１、Ｙｅｓ）、ＣＰＵ１６Ａは、第１画像から第１オブジェクトを検出する処理を省略する。ただし、テーブルロボット２４は、追加の商品が配膳された場合には、その後に、第１画像の撮像及び第１画像の撮像データの送信を実行する（ＡｃｔＡ１，Ａ２）。この場合、ＣＰＵ１６Ａは、第１画像から追加された商品に対応するオブジェクトを抽出して、他のオブジェクトと同様にして記憶しておく。また、第２画像から無くなった第２オブジェクトについては、商品が消費されて回収されたものとして、この第２オブジェクトに対応する第１オブジェクトも削除するものとする。

報知条件に達していると判別された場合（ＡｃｔＢ６、Ｙｅｓ）、ＣＰＵ１６Ａは、消費が十分に多い状態（残量が少ない、あるいは残りが無い状態）と判別された商品に応じて、レコメンド情報抽出処理により抽出される商品を示すレコメンド情報を注文受付端末２２に出力すると共に、テーブルロボット２４に対してレコメンド情報を出力したことを通知する（ＡｃｔＢ７）。

図９は、第１実施形態におけるレコメンド情報抽出処理により抽出されるレコメンド情報を概念的に示す図である。
ＣＰＵ１６Ａは、レコメンド情報抽出処理３０を実行することにより、比較処理により残量が少ない、あるいは残りが無いと判別された商品と、予め記憶された客に応じた各種情報３２に基づいて判別される、客にお勧めする商品を示すレコメンド情報として、ＲＡＭ１６Ｃあるいは記憶装置１６Ｄに記憶されるおすすめメニューテーブル３４、追加メニューテーブル３５、ラストオーダーテーブル３６に登録する。レコメンド情報によりお勧めする商品には、例えば、客により消費された商品に応じた追加注文として、客の嗜好に合わせてお勧めする商品、商品の消費に伴って追加される定番の商品、終了時刻までの最後の追加注文として、客の嗜好に合わせてお勧めする商品、などが含まれる。

予め記憶された客に応じた各種情報には、例えば客情報（人数、性別、年代、職業などを含む）、本日注文した商品の履歴を示す本日注文履歴情報、過去に来店した時に注文した商品の履歴を示す過去注文履歴情報、本日の注文コースを示す情報、客についてチェックイン処理してからの経過時間、注文コースで設定された終了時刻までの残り時間、あるいは閉店までの残り時間などを含む時間情報などが含まれる。過去注文履歴情報は、例えば予め会員登録している客の場合に、会員を特定する識別データ（会員ＩＤ）などを飲食開始前に設定しておくことで、会員ＩＤと注文した商品を対応づけて記憶させておくことができる。客は、飲食開始前に会員ＩＤを、例えばテーブルロボット２４あるいは注文受付端末２２から入力することで、過去注文履歴情報を利用したお勧め商品メニューを、画面を通して参照することができる。

おすすめメニューテーブル３４、追加メニューテーブル３５及びラストオーダーテーブル３６には、例えば、客に商品をお勧めするタイミングに応じて、少なくとも１つの商品が登録される。複数の商品について優先順位を付して登録することも可能である。

例えば、おすすめメニューテーブル３４には、消費された商品の追加注文として、客の嗜好に合わせてお勧めする商品が登録される。客に商品をお勧めするタイミングの基準は、例えば客情報の年代に応じて異なるようにすることができる。例えば、子供の客の場合には飲食する時間が短いため、残り時間が十分にあるとしても飲食の最後に提供されるデザートなどをお勧めとして抽出するようにしても良い。また、商品と客との対応関係が特定されている場合には、客別の注文履歴（本日注文履歴情報、過去注文履歴情報）をもとにお勧めする商品を特定することができる。

なお、商品と客との対応づけは、例えばテーブルロボット２４（カメラ２４Ｇ）により撮影された画像をもとに、テーブル上の商品が置かれた位置と客が着席している位置を検出して、商品と客との対応関係を判別して記憶しておくことが可能である。

追加メニューテーブル３５には、商品の消費に伴って追加される定番の商品が登録される。定番の商品は、例えばコースが注文された場合に、多くの客が追加する商品、他の商品と組み合わせて注文される商品などがある。

ラストオーダーテーブル３６は、注文コースで設定された終了時刻までの残り時間、あるいは閉店までの残り時間に応じた最後に注文される飲み物あるいはデザートなどの商品が、客の嗜好に合わせて登録される。

注文受付端末２２のＣＰＵ２２Ａは、ホールコントローラ１６からレコメンド情報を受信すると（ＡｃｔＡ６、Ｙｅｓ）、お勧めメニューを表示する画面をタッチパネル２２Ｇにおいてポップアップ表示させる（ＡｃｔＡ７）。また、テーブルロボット２４は、ホールコントローラ１６からレコメンド情報を送信したことが通知されると、例えばスピーカ２４Ｆから、お勧めメニューがあることを表す音声メッセージをスピーカ２４Ｆから出力させる。

図１０は、第１実施形態における注文受付端末２２のタッチパネル２２Ｇに表示されるお勧めのメニュー画面Ｄ３の一例を示す図である。
図１０に示すメニュー画面Ｄ３では、例えば、お勧め商品を表示する商品表示エリアＤ３１、機能ボタンＤ３２〜Ｄ３５、メニュー選択エリアＤ３６が含まれている。商品表示エリアＤ３１には、例えば、複数のお勧め商品Ａ，Ｂ，Ｃ，Ｄが優先順に配置されて表示される。ＣＰＵ２２Ａは、商品表示エリアＤ３１に表示された各商品が表示されたエリアに対してタッチ操作がされた場合に、商品が選択されたものと判別する。

機能ボタンには、タッチパネル２２Ｇに表示される画面をトップ画面に切り替えるＴＯＰボタンＤ３５、注文内容のオーダーステーション１０への送信を指示する注文ボタンＤ３３、注文履歴を表示する画面に切り替える履歴ボタンＤ３４、会計処理の実行をＰＯＳ端末１２に指示するための会計ボタンＤ３５などが含まれる。

メニュー選択エリアＤ３６には、例えば「おすすめ」「おつまみ」「お飲み物」「お食事」「コースメニュー」などの各カテゴリに対応するボタンが含まれている。何れかのボタンの選択により、ボタン対応するカテゴリのメニューに表示を切り替えることができる。

ＣＰＵ２２Ａは、タッチパネル２２Ｇに対する操作を受け付けると（ＡｃｔＡ８、Ｙｅｓ）、商品を注文する指示であるかを判別する。ここで、注文する指示であると判別された場合（ＡｃｔＡ９、Ｙｅｓ）、ＣＰＵ２２Ａは、メニュー画面を取り消して、入力操作に応じた処理を実行する。一方、注文する指示以外であると判別された場合（ＡｃｔＡ９、Ｎｏ）、ＣＰＵ２２Ａは、指定された商品を示す注文情報をオーダーステーション１０に送信する（ＡｃｔＡ１１）。

なお、前述した説明では、注文受付端末２２により商品の注文を受け付けるものとしているが、テーブルロボット２４による音声の認識機能を利用して、商品の注文を受け付けることもできる。例えば、テーブルロボット２４のＣＰＵ２４Ａは、マイク２４Ｅから入力された音声について認識した結果、商品の注文を指示する音声コマンドである場合、音声コマンドに続いて入力される商品を示す音声を認識する。ＣＰＵ２４Ａは、認識された商品を示す商品情報をオーダーステーション１０に送信する。

また、ホールコントローラ１６からのレコメンド情報によるお勧め商品については、より簡単な音声入力によって商品を注文できるようにしても良い。例えば、お勧め商品については、商品名のみを音声入力する、あるいは承認を示す簡単な音声（例えば「注文」など）を音声入力するだけで注文情報を送信できるようにしても良い。これにより、お勧め商品の注文を簡単にして追加注文の促進を図ることが可能となる。

さらに、ホールコントローラ１６から送信されるレコメンド情報に応じてお勧めを表示するだけでなく、テーブルロボット２４に音声認識させる音声コマンドによって、お勧め商品のメニューを提示させるようにしても良い。例えば、テーブルロボット２４は、お勧めメニューの表示を指示する音声コマンド「おすすめメニュー」を音声認識した場合、ホールコントローラ１６に対してレコメンド情報の送信を要求する。ホールコントローラ１６は、レコメンド情報の送信要求を受信すると、例えば、前述したレコメンド情報抽出処理によって抽出されるレコメンド情報を注文受付端末２２（あるいはテーブルロボット２４）に送信する。これにより、客が要求するタイミングでお勧め商品のメニューを提供することができる。

このようして、第１実施形態における注文処理システムでは、配膳された商品（飲み物、食べ物）の飲食状況、すなわち、所定時間が経過した時点における、客による商品の消費の状況（残量が少ない、あるいは残りが無い状態）を撮像された画像をもとに検出し、この商品に基づいてレコメンド情報を生成して、客に対してお勧め商品を提供することができる。テーブルでは、テーブルロボット２４（あるいは注文受付端末２２）によって撮像された画像をもとに、適切なタイミングで客の嗜好に合わせた商品を勧めることができる。撮像された画像において商品の残量が少ない（あるいは無い）商品が複数ある場合であっても、それぞれに対応する異なる商品をお勧めすることが可能となる。

（第２実施形態）
図１１（Ａ）は、第２実施形態におけるテーブルロボット２４あるいは注文受付端末２２の処理を示すフローチャート、図１１（Ｂ）は、第２実施形態におけるホールコントローラ１６の処理を示すフローチャートである。以下の説明では、図１１（Ａ）のフローチャートにおいて、ＡｃｔＣ１，Ｃ２はテーブルロボット２４の動作、ＡｃｔＣ３〜Ｃ８は注文受付端末２２の動作として説明する。ＡｃｔＣ３〜Ｃ８は、第１実施形態のＡｃｔＣＡ６〜Ａ１１と同様に実行されるものとして詳細な説明を省略する。その他、第１実施形態と共通する部分については説明を省略する。

第２実施形態では、テーブルロボット２４（あるいは注文受付端末２２）のカメラ２４Ｇによって、少なくとも商品が配置されたテーブル上を撮像範囲とした映像を撮像し、この映像をホールコントローラ１６において店舗の従業員が確認できるようにする。

テーブルロボット２４は、商品がテーブルに配膳された後、カメラ２４Ｇにより撮像を実行して（ＡｃｔＣ１）、この撮像された映像の撮像データを、例えばテーブル番号を示すデータを付加して、通信装置２４Ｈを通じてホールコントローラ１６に送信する（ＡｃｔＣ２）。

一方、ホールコントローラ１６のＣＰＵ１６Ａは、ハンディターミナル２０、注文受付端末２２、テーブルロボット２４、フロアロボット２６等からの入力に基づいて、店舗内の状況を管理している。ＣＰＵ１６Ａは、従業員による入力操作に応じて、管理状況を示す画面を表示することができる。ここでは、例えば座席状況を示す画面から何れかのテーブルを選択することで、該当するテーブルにおける映像を表示できるものとする。

図１２は、ホールコントローラ１６の表示装置１６Ｅ、あるいはタブレット端末１６Ｋに表示される座席状況を示す画面Ｄ１の一例を示す図である。
図１２に示す座席状況を示す画面Ｄ１では、例えば、切り替えボタンＤ１１、テーブルレイアウトＤ１２、フロアロボットマークＤ１３、テーブルマークＤ１４（Ａ０１〜Ａ１０）、テーブルロボットマークＤ１５、コミュニケーションマークＤ１６、テーブルレイアウトＤ１９が表示される。

切り替えボタンＤ１１は、画面の切り替えを指示するためのもので、例えば図１２に示す画面に対応する「座席状況」ボタンの他、「調理状況」「シフト管理」「各種業務」のそれぞれに対応するボタンが含まれる。テーブルレイアウトＤ１２は、店舗内の表示対象とする範囲内の複数のテーブルの配置を示す。図１２では、テーブル番号Ａ０１〜Ａ１０，Ｂ１０，Ｂ１２の１２台のテーブルを表示対象としている例を示している。テーブルレイアウトＤ１２は、入力操作によって変更される表示対象とする範囲に合わせて変更される。フロアロボットマークＤ１３は、店舗内で走行するフロアロボット２６の位置と動作状況を示すためのマークである。図１２に示す例では、店舗内で３台のフロアロボット２６が使用されることを示している。フロアロボットマークＤ１３は、フロアロボット２６が店舗内を走行するのに合わせて、現在位置に相当する位置に表示される。テーブルマークＤ１４（Ａ０１〜Ａ１０，Ｂ１０，Ｂ１２）は、複数のテーブル（座席情報）のそれぞれを示すもので、マーク内に客情報などが表示される。テーブルロボットマークＤ１５は、テーブルにテーブルロボット２４が配置されていることを示す。コミュニケーションマークＤ１６は、テーブルロボット２４と客とがコミュニケーションした数を示す。テーブルロボット２４と客とのコミュニケーションには、例えばテーブルロボット２４との会話（出力される音声メッセージに対する応答）、テーブルロボット２４からの商品の注文などを含む。テーブルレイアウトＤ１９は、店舗内の全てのテーブルの配置を示し、テーブルレイアウトＤ１２が表示されている範囲が明示される。

ホールコントローラ１６のＣＰＵ１６Ａは、何れかのテーブルマークＤ１４を選択する操作を検出した場合（ＡｃｔＤ１）、選択されたテーブルマークＤ１４に対応するテーブルについての詳細画面を表示装置１６Ｅあるいはタブレット端末１６Ｋに表示させる（ＡｃｔＤ２）。

また、ＣＰＵ１６Ａは、選択されたテーブルのテーブルロボット２４により撮像された映像の撮像データが受信されている場合（ＡｃｔＤ３、Ｙｅｓ）、撮像データをもとに詳細画面中に表示させる（ＡｃｔＤ４）。

図１３は、詳細画面Ｄ２（座席状況詳細）の一例を示す図である。
図１３に示す詳細画面Ｄ２では、例えば、客管理情報Ｄ２１、映像表示エリアＤ２２、複数の機能選択用のボタンＤ２３〜Ｄ２９が含まれる。客管理情報Ｄ２１は、客情報を含む、客の現在の状況を示す情報（注文コース、コースで決められた残り時間）などを示す。映像表示エリアＤ２２は、テーブルロボット２４から受信される撮像データに応じた映像が表示される。ＣＰＵ１６Ａは、映像表示エリアＤ２２に対する操作によって、映像の表示対象範囲を変更することができる。例えば、初期状態では、テーブルロボット２４によって撮像された映像のうち、テーブル上の範囲の映像を表示させる。次に、例えば映像表示エリアＤ２２に対するタッチ操作があった場合には、テーブル全体を含む映像を表示させ、さらにタッチ操作があった場合には、テーブルに着席している客を含む映像を表示させる。これにより、従業員が任意の範囲の映像を表示させて、商品の消費状況を含む客の状況を映像から確認することができる。

複数の機能選択用のボタンＤ２３〜Ｄ２９には、例えば、おすすめメニューボタンＤ２３、追加メニューボタンＤ２４、ラストオーダーボタンＤ２５、注文履歴ボタンＤ２６、配膳ボタンＤ２７、バッシングボタンＤ２８、ＯＫボタンＤ２９が含まれる。おすすめメニューボタンＤ２３、追加メニューボタンＤ２４及びラストオーダーボタンＤ２５は、従業員による入力操作に応じて、レコメンド情報を注文受付端末２２に出力させるためのボタンである。レコメンド情報は、第１実施形態において説明したレコメンド情報抽出処理３０によって、おすすめメニューテーブル３４、追加メニューテーブル３５、ラストオーダーテーブル３６にそれぞれ登録されているものとする。なお、おすすめメニューボタンＤ２３、追加メニューボタンＤ２４及びラストオーダーボタンＤ２５の操作に応じて、それぞれに対応するレコメンド情報に応じた複数の商品をサブ画面に一覧表示させて、従業員によってお勧め対象とする商品を選択させるようにしても良い。注文履歴ボタンＤ２６は、例えば本日分の注文履歴を一覧表示させるためのボタンである。配膳ボタンＤ２７は、フロアロボット２６に対して商品の配膳を指示するためのボタンである。バッシングボタンＤ２８は、フロアロボット２６に対して、テーブルから食器、グラス、ゴミ等を回収（バッシング）するために、指定したテーブルへの移動を指示するためのボタンである。ＯＫボタンＤ２９は、詳細画面Ｄ２の表示の終了を指示するためのボタンである。

ホールコントローラ１６のＣＰＵ１６Ａは、詳細画面Ｄ２に設けられたボタンに対する操作を検出すると（ＡｃｔＤ５、Ｙｅｓ）、入力操作がレコメンド情報の出力を指示すためのボタン、すなわち、おすすめメニューボタンＤ２３、追加メニューボタンＤ２４あるいはラストオーダーボタンＤ２５の何れかのボタンであるかを判別する。ここで、その他のボタンに対する操作であることが判別された場合（ＡｃｔＤ６、Ｎｏ）、ＣＰＵ１６Ａは、操作されたボタンに応じた他の処理を実行する（ＡｃｔＤ８）。

一方、おすすめメニューボタンＤ２３、追加メニューボタンＤ２４あるいはラストオーダーボタンＤ２５の何れかのボタンであることが判別された場合、ＣＰＵ１６Ａは、操作されたボタンに応じた商品をお勧めするためのレコメンド情報を、映像の表示対象として選択されているテーブルに設置された注文受付端末２２に出力すると共に、テーブルロボット２４に対してレコメンド情報を出力したことを通知する（ＡｃｔＤ７）。

以下、注文受付端末２２及びテーブルロボット２４は、第１実施形態と同様に動作するものとして詳細な説明を省略する（ＡｃｔＣ３〜Ｃ８）。

このようにして、第２実施形態の注文処理システムでは、各テーブルに設置されたテーブルロボット２４によって撮影された映像を、ホールコントローラ１６において従業員が確認して、レコメンド情報を送信することができる。ホールコントローラ１６では、座席状況を示す画面Ｄ１において任意にテーブルを選択して、詳細画面Ｄ２の映像表示エリアＤ２２において映像を表示させることができる。従って、テーブル毎に、商品の消費状況や客の状態などを確認して、適切なタイミングで適切な商品をお勧めすることが可能となる。

（第３実施形態）
図１４（Ａ）は、第３実施形態におけるテーブルロボット２４あるいは注文受付端末２２の処理を示すフローチャート、図１４（Ｂ）は、第３実施形態におけるホールコントローラ１６の処理を示すフローチャートである。以下の説明では、図１４（Ａ）のフローチャートにおいて、ＡｃｔＥ１，Ｅ２はテーブルロボット２４の動作、ＡｃｔＥ３〜Ｅ８は注文受付端末２２の動作として説明する。ＡｃｔＥ３〜Ｅ８は、第１実施形態のＡｃｔＣＡ６〜Ａ１１と同様に実行されるものとして詳細な説明を省略する。また、図１４（Ｂ）のＡｃｔＦ１〜Ｆ４は、第２実施形態の図１１（Ｂ）に示すＡｃｔＤ１〜Ｄ４と同様に実行されるものとして説明を省略する。その他、第１実施形態あるいは第２実施形態と共通する部分については説明を省略する。

第３実施形態では、第２実施形態と同様にして、テーブルロボット２４（あるいは注文受付端末２２）のカメラ２４Ｇによって撮像された映像をホールコントローラ１６において店舗の従業員が確認できるようにすると共に、テーブルロボット２４から受信される映像をもとにして、第１実施形態と同様にして比較処理の処理結果に応じてレコメンド情報を出力できるようにする。

第３実施形態では、テーブルロボット２４から受信される映像から、例えば商品の配膳がされた後に第１画像を抽出して記憶しておくものとする。ホールコントローラ１６のＣＰＵ１６Ａは、第１実施形態と同様にして、所定時間が経過したことが判別されると（ＡｃｔＦ５、Ｙｅｓ）、ＣＰＵ１６Ａは、映像から第２画像を抽出して、第１画像と第２画像とを比較する比較処理を実行する（ＡｃｔＦ６）。比較処理は、第１実施形態と同様に実行されるものとして詳細な説明を省略する。

ＣＰＵ１６Ａは、比較処理の処理結果をもとに、レコメンド情報を客に提供する報知条件に達していると判別された場合（ＡｃｔＦ７、Ｙｅｓ）、第１実施形態と同様にして、レコメンド情報を注文受付端末２２に出力すると共に、テーブルロボット２４に対してレコメンド情報を出力したことを通知する（ＡｃｔＦ８）。

このようにしても第３実施形態の注文処理システムでは、各テーブルに設置されたテーブルロボット２４によって撮影された映像をホールコントローラ１６において従業員が確認できると共に、映像をもとに商品の状況の変化（残量が少ない、あるいは残りが無い状態）を検出して、従業員による操作を必要とすることなく自動的にレイアウト情報を出力させることができる。これにより、従業員に操作負担を与えることなく、適切なタイミングで適切な商品をお勧めすることが可能となる。

なお、前述した説明では、テーブルロボット２４あるいは注文受付端末２２にカメラを設けて撮像すると説明しているが、テーブルロボット２４あるいは注文受付端末２２とは別に、テーブルの周辺（上部を含む）に１台あるいは複数台のカメラを設置して、例えばテーブル上、あるいはテーブル周辺の顧客を含めた周辺を撮像範囲として撮像をするようにしても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、前述した実施の形態において記載した処理は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。コンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。

１０…オーダーステーション、１２…ＰＯＳ端末、１４…キッチンプリンタ、１６…ホールコントローラ、１８（１８−１，…，１８−ｍ）…アクセスポイント、２０（２０−１，…，２０−ｎ）…ハンディターミナル、２２（２２−１，…，２２−ｘ）…注文受付端末、２４（２４−１，…，２４−ｘ）…テーブルロボット、２６（２６−１，…，２６−ｙ）…フロアロボット。

Claims (5)

1. 商品が配置される範囲を撮像した撮像データを入力する入力手段と、
   前記撮像データをもとに、前記商品の残量が所定値より少ない状態を検出する検出手段と、
   前記商品の残量の状態が予め設定された条件に該当する場合に、商品を勧めるためのレコメンド情報を出力する出力手段と、
   を有する情報処理装置。
2. 前記検出手段は、予め設定された所定の時間が経過する毎に、前記商品の残量を検出する請求項１記載の情報処理装置。
3. 前記検出手段は、前記撮像データをもとに、前記範囲に含まれる複数の商品のそれぞれについて残量を検出し、
   前記出力手段は、前記条件に該当する商品が複数存在する場合に、前記条件に該当する商品のそれぞれに対応するレコメンド情報を出力する請求項１記載の情報処理装置。
4. 複数の座席情報を表示する表示部と、
   前記複数の座席情報の何れかを選択する指示を受け付け、当該選択された座席情報に対応する前記撮像データに基づく映像を表示させる映像表示手段と、
   レコメンド情報の出力指示を入力する指示入力手段と、をさらに有し、
   前記出力手段は、前記出力指示に応じて、前記映像表示手段により表示された映像に対応する座席情報に対して前記レコメンド情報を出力する請求項１記載の情報処理装置。
5. コンピュータを、
   商品が配置される範囲を撮像した撮像データを入力する入力手段と、
   前記撮像データをもとに、前記商品の残量が所定値より少ない状態を検出する検出手段と、
   前記商品の残量の状態が予め設定された条件に該当する場合に、商品を勧めるためのレコメンド情報を出力する出力手段として機能させるための情報処理プログラム。