JP7401995B2 - 載置状態管理装置、載置状態管理方法及び載置状態管理プログラム - Google Patents

Description

本発明は、載置状態管理装置、載置状態管理方法及び載置状態管理プログラムに関する。

従来から、外食産業では、ユーザに対してより安く、より早く、且つ、より高品質な食品を提供するよう努力がされている。例えば、回転寿司の店舗では、シャリを握る装置が導入される場合があり、効率的に握り等の寿司を提供するよう努力されている。ところで、例えば、出来上がった握りをレーンに乗せる際など、ネタがシャリからずれてしまう場合がある。この場合、より高品質な食品をユーザに提供するためには、ネタがシャリからずれた握りを基準外として、店舗の従業員に知らせる必要がある。
特許文献１に記載された技術は、レーンを流れる皿を上方から撮像し、皿に記載される模様を除去した後、握りを認識する。さらに、特許文献１に記載された技術は、認識した握りの周囲長を測定し、その周囲長が正常時の周囲長よりも長い場合（ネタずれ及び倒れが発生している場合）、警告を出力するようになっている。

特開２００８－１７９０２号公報

一般的に、握りの周囲長は、ネタによって異なる。このため、特許文献１に記載された技術では、握りの種類を認識していないため、握りの種類毎（ネタ毎）に周囲長を測定することができない可能性がある。また、特許文献１に記載された技術は、皿に記載される模様を除去しているが、模様にカスレ等が発生している場合には皿の模様を除去できない恐れがある。その場合には、握りの周囲長を正確に測定できない可能性がある。また、特許文献１に記載された技術は、皿の模様をその都度登録する必要があり、その登録に手間がかかる恐れがある。

本発明は、従来とは異なる方法により、食品の載置状態が基準外であることを判定できる載置状態管理装置、載置状態管理方法及び載置状態管理プログラムを提供することを目的とする。

一態様の載置状態管理装置は、載置部材上に載置される食品の画像に基づいて、食品の載置状態を予め学習した第１学習モデルを記憶する記憶部と、食品が載置される載置部材を撮像する撮像部と、撮像部によって撮像された画像に基づいて、載置部材の一部の画像を第１画像として抽出する抽出部と、抽出部によって抽出された第１画像と、第１学習モデルとに基づいて、載置部材上に載置される食品の載置状態を判定する判定部と、判定部によって食品の載置状態が基準外と判定された場合、所定の動作を行う動作部と、を備える。

一態様の載置状態管理装置では、動作部は、判定部によって食品の載置状態が基準外と判定された場合に警告を出力する出力部、及び、判定部によって食品の載置状態が基準外と判定された場合に載置部材の搬送を停止する搬送レーン、のうちの少なくとも一方であってもよい。

一態様の載置状態管理装置では、動作部は、判定部によって食品の載置状態が基準外と判定された場合に、搬送レーンによって搬送される載置部材の搬送先がその搬送レーンから切り替わる、その搬送レーンに接続される別の搬送レーン、及び、判定部によって食品の載置状態が基準外と判定された場合に、搬送レーンによって搬送される載置部材をその搬送レーンから取り除くロボット装置、のうちいずれか一方であってもよい。

一態様の載置状態管理装置では、記憶部は、載置部材の画像に基づいて、載置部材の形状を予め学習した第２学習モデルを記憶し、抽出部は、撮像部によって撮像された画像と、第２学習モデルとに基づいて、第１画像を抽出することとしてもよい。

一態様の載置状態管理装置では、抽出部は、撮像部によって撮像された画像と、第２学習モデルとに基づいて、載置部材を認識し、認識した載置部材に内接する所定範囲の画像を第１画像として抽出することとしてもよい。

一態様の載置状態管理装置では、載置部材は、食品としての寿司が載置される、平面形状が略円形の皿であり、撮像部は、寿司が載置された皿を搬送する搬送レーンの移動に伴って移動する皿を、その皿に寿司が載置される面に対して上方から撮像し、抽出部は、載置部材に内接する所定範囲の画像として皿に内接する四角形領域の画像を第１画像として抽出することとしてもよい。

一態様の載置状態管理装置では、判定部は、皿に載置される寿司のネタがシャリからずれている場合、寿司が倒れている場合、及び、海苔が寿司から剥がれている場合のうち、少なくとも１つを載置状態の基準外として判定することとしてもよい。

一態様の載置状態管理方法では、載置部材上に載置される食品の画像に基づいて、食品の載置状態を予め学習した第１学習モデルを記憶する記憶部を備えるコンピュータが、食品が載置される載置部材を撮像部によって撮像させる撮像ステップと、撮像ステップで撮像された画像に基づいて、載置部材の一部の画像を第１画像として抽出する抽出ステップと、抽出ステップで抽出された第１画像と、第１学習モデルとに基づいて、載置部材上に載置される食品の載置状態を判定する判定ステップと、判定ステップで食品の載置状態が基準外と判定された場合、所定の動作を行う動作ステップと、を実行する。

一態様の載置状態管理プログラムは、載置部材上に載置される食品の画像に基づいて、食品の載置状態を予め学習した第１学習モデルを記憶する記憶部を備えるコンピュータに、食品が載置される載置部材を撮像する撮像機能と、撮像機能によって撮像された画像に基づいて、載置部材の一部の画像を第１画像として抽出する抽出機能と、抽出機能によって抽出された第１画像と、第１学習モデルとに基づいて、載置部材上に載置される食品の載置状態を判定する判定機能と、判定機能によって食品の載置状態が基準外と判定された場合、所定の動作を行う動作機能と、を実現させる。

一態様の載置状態管理装置は、食品が載置される載置部材の一部の画像としての第１画像と、学習モデルとに基づいて、載置部材上に載置される食品の載置状態を判定し、食品の載置状態が基準外と判定された場合、所定の動作を行うので、載置状態が基準外の食品が顧客に提供されるのを防ぐことができる。
また、一態様の載置状態管理方法及び載置状態管理プログラムは、上述した一態様の載置状態管理装置と同様の効果を奏することができる。

一実施形態に係る載置状態管理システムについて説明するための図である。 載置部材に食品が載置される場合の一例について説明するための第１の図である。 載置部材に食品が載置される場合の一例について説明するための第２の図である。（Ａ）は、食品の載置状態が基準外の例を示し、（Ｂ）は食品の載置状態が基準内の例を示す。 載置部材に食品が載置される場合の一例について説明するための第３の図である。（Ａ）は、食品の載置状態が基準外の例を示し、（Ｂ）は食品の載置状態が基準内の例を示す。 寿司の載置状態が基準外と判定された場合の集計結果の一例について示す図である。 一実施形態に係る載置状態管理方法について説明するためのフローチャートである。

以下、本発明の一実施形態について説明する。
図１は、一実施形態に係る載置状態管理システム１について説明するための図である。

載置状態管理システム１は、例えば、載置状態管理装置１０、及び、その載置状態管理装置１０から送信された情報を受け付ける本部端末３１を備える。

載置状態管理装置１０は、一例として、回転寿司店等の飲食店及び食品工場等に配される。載置状態管理装置１０は、載置部材上に配される食品の載置状態を判定する。具体的な一例として、載置状態管理装置１０は、回転寿司店において、載置部材としての皿２１が搬送レーン２０上を搬送される場合、その皿２１に載置される寿司２２の載置状態を判定する。載置状態管理装置１０は、寿司２２の載置状態が基準外であった場合、警告を出力する。また、載置状態管理装置１０は、寿司２２の載置状態が基準外であった場合、載置状態のレポート（情報）を本部端末３１に送信することとしてもよい。
なお、載置状態管理装置１０は、１つの飲食店又は１つの食品工場に、１台又は複数台が配置されてもよい。また、飲食店及び食品工場は、それぞれ複数あってもよい。

本部端末３１は、飲食店及び食品工場等を管理する管理本部３０に配される。本部端末３１は、例えば、パソコン等の端末である。本部端末３１は、飲食店及び食品工場等から送信されたレポートに基づいて、例えば、飲食店において食品を提供する際のその食品の載置状態、及び、食品工場において食品を載置部材（例えば、トレー等）に載置する際のその食品の載置状態が基準外であるか否かの状況を集計することとしてもよい。本部端末３１は、その集計の結果を端末表示部（図示せず）に表示し、端末記憶部（図示せず）に記憶することとしてもよい。管理本部３０の従業員等は、本部端末３１の端末表示部に表示される集計の結果を確認することにより、飲食店及び食品工場の従業員に対して教育等をすることができる。

以下、載置状態管理装置１０について具体的に説明する。
図２は、載置部材に食品が載置される場合の一例について説明するための第１の図である。
図３は、載置部材に食品が載置される場合の一例について説明するための第２の図である。図３（Ａ）は、食品の載置状態が基準外の例を示し、図３（Ｂ）は食品の載置状態が基準内の例を示す。
図４は、載置部材に食品が載置される場合の一例について説明するための第３の図である。図４（Ａ）は、食品の載置状態が基準外の例を示し、図４（Ｂ）は食品の載置状態が基準内の例を示す。

図１に示すように、載置状態管理装置１０は、抽出部１２、判定部１３、撮像部１４、記憶部１５、出力部１６及び通信部１７を備える。抽出部１２及び判定部１３は、載置状態管理装置１０の制御部１１（例えば、演算処理装置等）の一機能として実現される。

通信部１７は、本部端末３１との間で情報の送受信を行うことが可能である。

記憶部１５は、載置部材上に載置される食品の画像に基づいて、食品の載置状態を予め学習した第１学習モデルを記憶する。
載置部材は、例えば、食品が載置される皿である。また、載置部材は、例えば、食品が載置されるトレー、容器、パック、器、丼、箱及び弁当箱等であってもよい。載置部材の平面形状は、例えば、円形、四角形及び多角形等であってもよい。なお、載置部材の平面形状を円形とする場合、その円形は真円でなくともよく、楕円形等の略円形であってもよい。以下では、載置部材は、図２に例示するような、食品としての寿司２２が載置される、平面視したときの形状が円形（略円形）の皿２１である場合を説明する。また、食品は、種々の食品であってよいが、以下では、寿司２２を例示して説明する。ここで、寿司２２は、握り、軍艦、つつみ及び細巻きのうちの少なくとも１つであってよい。

食品の載置状態は、載置部材上に載置される食品の状態であり、食品が基準通りの状態で載置部材に載置されているか、又は、食品が基準通りの状態で載置部材に置かれていないかを示す。食品の載置状態は、例えば、寿司２２が皿２１に置かれた状態である。具体的には、食品の載置状態は、寿司２２が皿２１に基準通りに置かれた状態（図３（Ｂ）及び図４（Ｂ）を参照）、及び、寿司２２が皿２１に基準通りに置かれていない状態（図３（Ａ）及び図４（Ａ）を参照）である。寿司２２が基準通りに置かれていない状態は、例えば、皿２１に載置される寿司のネタがシャリからずれている状態、寿司が倒れている状態、及び、海苔が寿司から剥がれている状態等である。
また、食品の載置状態は、載置部材の所定位置（基準範囲内の位置）に食品が置かれているかを示すこととしてもよい。

第１学習モデルは、図３（Ａ）に一例を示すように、握りのネタがシャリからずれている状態（寿司の載置状態が基準外の状態）、及び、図３（Ｂ）に一例を示すように、握りのネタがシャリからずれていない状態（寿司の載置状態が基準内の状態）を学習した結果に基づいて生成されている。また、第１学習モデルは、図４（Ａ）に一例を示すように、軍艦の海苔が剥がれている状態及び軍艦が倒れている状態（寿司の載置状態が基準外の状態）、及び、図４（Ｂ）に一例を示すように、軍艦の海苔が剥がれていない状態及び軍艦が倒れていない状態（寿司の載置状態が基準内の状態）を学習した結果に基づいて生成されている。第１学習モデルは、図３及び図４の例の他にも、寿司の種々の載置状態を学習した結果に基づいて生成される。第１学習モデルは、複数の学習結果を統合したモデルであってもよく、学習の結果毎のモデルであってもよい。

記憶部１５は、載置部材の画像に基づいて、載置部材の形状を予め学習した第２学習モデルを記憶する。載置部材の形状は、例えば、飲食店で使用される皿の平面形状である。具体的な一例としては、載置部材の形状は、回転寿司店において搬送レーン２０上を搬送される皿２１の平面形状（円形（略円形））である。又は、載置部材の形状は、例えば、食品のトレー、容器、パック、器、丼、箱及び弁当箱等の平面形状であってもよい。

撮像部１４は、食品が載置される載置部材を撮像する。例えば、撮像部１４は、寿司２２が載置された皿２１を搬送する搬送レーン２０を上方から撮像する。すなわち、撮像部１４は、搬送レーン２０の移動に伴って移動する皿２１を、その皿２１に寿司２２が載置される面に対して上方から撮像する。撮像部１４は、静止画又は動画を撮像するカメラ等である。撮像部１４が静止画を撮像する場合、撮像部１４は、その撮像部１４の下方を皿２１が通過する際に、その皿２１の静止画を撮像する。又は、撮像部１４が動画を撮像する場合、撮像部１４は、搬送レーン２０を連続的に撮像して、撮像部１４の下方を通過する皿２１の動画を撮像する。搬送レーン２０は、例えば、回転寿司店において、寿司２２が載置された皿２１を搬送するものである。搬送レーン２０は、周回する搬送レーンであってもよく、直線の搬送レーンであってもよい。

なお、撮像部１４は、連続的に下方を撮像し、画像内の特定の座標に皿２１が位置する場合に撮像した画像を抽出部１２に送ることとしてもよい。
又は、撮像部１４の下方を皿２１が通過する際にその皿２１を撮像するために、載置状態管理装置１０には皿２１を検知するための検知センサ（図示せず）等を配しておいてもよい。この場合、撮像部１４は、その検知センサの検知結果に基づいて、静止画又は動画で皿２１を撮像することとしてもよい。すなわち、撮像部１４は、その検知センサによってその撮像部１４の下方を皿２１が通過することを検知した場合に、皿２１を撮像することとしてもよい。また、撮像部１４は、その検知センサによって皿２１を検知した後、所定の時間後（一例として、数秒から数十秒後）に撮像部１４の下方を通過する皿２１を撮像することとしてもよい。なお、検知センサによって皿２１が検知されてから所定の時間後に撮像部１４が皿２１を撮像する場合、例えば、検知センサは、撮像部１４の下方に対して搬送レーン２０の上流側に配されていてもよく、配されていなくともよい。検知センサは、例えば、赤外線の発光部と、その赤外線の受光部とを備えることとしてもよい。例えば、発光部から出射される赤外線が皿２１によって遮蔽されることにより、受光部によって赤外線が受光されないと、検知センサは、皿２１を検知することとしてもよい。なお、載置状態管理装置１０は、撮像部１４によって静止画を撮像する場合、動画を撮像する場合に比べて、取得される画像データのデータ量を減らすことができる。

撮像部１４は、搬送レーン２０上を搬送される皿２１を撮像するばかりでなく、テーブル等の載置台に載せられる皿２１を撮像することとしてもよい。また、撮像部１４は、１つの皿２１を撮像するばかりでなく、１度に複数の皿２１を撮像することとしてもよい。
また、回転寿司店等では、客が注文した特注品（皿２１に載置された寿司２２）を桶等の台に載せて搬送レーン２０で搬送させる場合もある。このような場合でも、撮像部１４は、台上の特注品を撮像することができる。

抽出部１２は、撮像部１４によって撮像された画像に基づいて、載置部材（皿２１）の一部の画像を第１画像として抽出する。この場合、抽出部１２は、撮像部１４によって撮像された画像と、第２学習モデルとに基づいて、第１画像を抽出する。具体的には、抽出部１２は、撮像部１４によって撮像された画像と、第２学習モデルとに基づいて、載置部材（皿２１）を認識し、認識した載置部材（皿２１）に内接する所定範囲の画像を第１画像として抽出する。すなわち、抽出部１２は、例えば、深層学習及び機械学習等に基づいて、皿２１の平面形状を認識する。この場合、抽出部１２は、皿２１の外縁を認識することが可能である。

抽出部１２は、撮像部１４によって静止画が撮像される場合、その静止画から第１画像を抽出する。抽出部１２は、撮像部１４で動画が撮像される場合、動画から皿２１の全体が写るフレームを抽出し、そのフレームと第２学習モデルとに基づいて、第１画像を抽出する。
なお、抽出部１２は、撮像部１４によって撮像される画像に皿２１の全体が写っていない場合（静止画又はフレームに皿２１の一部が写る場合）でも、その画像から皿２１に内接する所定範囲の画像（第１画像）を抽出することができるのであれば、その画像から第１画像を抽出することとしてもよい。
また、抽出部１２は、撮像部１４によって撮像される画像（静止画又はフレーム）に複数の皿２１が写る場合には、複数の皿２１それぞれを認識して、複数の皿２１それぞれに対応する第１画像を抽出することとしてもよい。

抽出部１２は、載置部材に内接する所定範囲の画像として皿２１に内接する四角形領域Ｓ（図２参照）の画像を第１画像として抽出する。すなわち、抽出部１２は、皿２１の平面形状が円形の場合、皿２１に内接する所定範囲の画像として、その皿２１の外縁に内接する四角形領域Ｓを第１画像として抽出する。
又は、抽出部１２は、皿２１の平面形状が円形の場合でも、上述した四角形領域Ｓを抽出するばかりでなく、例えば、皿２１の外縁に内接する多角形領域等を抽出することとしてもよいし、皿２１の外縁から所定の距離だけ内側となる円形領域を抽出することとしてもよい。
載置状態管理装置１０は、皿２１の外縁に内接する四角形領域Ｓを抽出することにより、第１画像内に寿司２２を記録することができ、又は、四角形領域Ｓを抽出しない場合に比べてデータ量を減らすことができる。

なお、皿２１の平面形状が四角形の場合でも、その皿２１の外縁に内接する多角形領域又は円形領域を第１画像として抽出することとしてもよい。
また、載置部材が食品のトレー、容器、パック、器、丼、箱及び弁当箱等の場合、内部に仕切り等が配置される場合がある。抽出部１２は、仕切りの内側（食品が載置されている部分）を認識して、その部分に内接する多角形領域又は円形領域を第１画像として抽出することとしてもよい。

また、抽出部１２は、撮像部１４において特注品が撮像された場合、例えば、皿２１に内接する四角形領域Ｓの画像（第１画像）を抽出することができる。ここで、特注品の場合、皿２１が台の上に載せられているため、一般の品物（特注品ではない品物）に比べて第１画像のサイズは大きくなる。このため、載置状態管理装置１０は、第１画像のサイズに基づいて、特注品か一般の品物かを判定することができる。

また、抽出部１２は、撮像部１４において連続的に撮像された画像を入力し、その画像内に皿２１の全体が写る場合（皿２１が特定の座標に位置する場合）に第１画像を抽出することとしてもよい。

判定部１３は、抽出部１２によって抽出された第１画像と、第１学習モデルとに基づいて、載置部材上に載置される食品の載置状態を判定する。すなわち、判定部１３は、例えば、深層学習又は機械学習の結果に基づいて、皿２１に載置される寿司２２が基準通りに置かれているか（寿司２２が基準通りに置かれていないか）を判定する。

具体的には、判定部１３は、皿２１に載置される寿司２２のネタがシャリからずれている場合、寿司２２が倒れている場合、及び、海苔が寿司２２から剥がれている場合のうち、少なくとも１つを載置状態の基準外として判定する。
例えば、判定部１３は、第１画像に基づいて、皿２１に載置される寿司２２が何であるかを判定する。具体的な一例として、判定部１３は、深層学習及び機械学習等に基づいて、皿２１に載置される寿司２２の種類（握り、軍艦及び細巻き等）を判定する。さらに、判定部１３は、深層学習及び機械学習等に基づいて、寿司２２の種類毎に載置状態を判定する。より具体的には、判定部１３は、皿２１に載せられる寿司２２が握りの場合、握りの載置状態が基準外であるか否かを判定する。同様に、判定部１３は、皿２１に載せられる寿司２２が軍艦の場合、軍艦の載置状態が基準外であるか否かを判定する。同様に、判定部１３は、皿２１に載せられる寿司２２が細巻きの場合、細巻きの載置状態が基準外であるか否かを判定する。
なお、判定部１３は、食品（寿司２２）の載置状態として、寿司２２が皿２１に載置される位置を判定することとしてもよい。
また、判定部１３は、特注品及び一般の品物のいずれの場合でも、第１画像と、第１学習モデルとに基づいて、皿２１に載置される寿司２２の載置状態を判定する。
なお、判定部１３は、上記の例に限らず、飲食店や食品工場で基準外とされる種々の食品の載置状態を、学習モデルに基づいて判定することとしてもよい。

動作部は、判定部１３によって寿司２２の載置状態が基準外と判定された場合に所定の動作を行うこととしてもよい。動作部は、出力部１６及び搬送レーン２０の少なくとも一方であってよい。なお、動作部が搬送レーン２０である場合、その動作部には搬送制御部（制御部１１）が含まれていてもよい。

出力部１６は、判定部１３によって寿司２２の載置状態が基準外と判定された場合、警告を出力する。出力部１６は、例えば、スピーカ及び表示部（表示装置）のうち少なくとも一方であってもよい。出力部１６がスピーカの場合、出力部１６（スピーカ）は、皿２１に載置される寿司２２の載置状態が基準外であることを示す音声又は警告音を出力する。出力部１６が表示部の場合、出力部１６（表示部）は、皿２１に載置される寿司２２の載置状態が基準外であることを示す警告画像を表示する。出力部１６によって警告が出力された場合、飲食店の従業員は、基準外の寿司２２が載置された皿２１を搬送レーン２０から取り除く等の処置を行うことができる。

また、搬送レーン２０は、判定部１３によって寿司２２の載置状態が基準外と判定された場合に、皿２１の搬送を停止することとしてもよい。例えば、搬送レーン２０には、周回する搬送レーン及び直線の搬送レーンがある。特に、搬送レーン２０が直線の搬送レーンの場合、搬送レーン２０は、載置される皿２１の搬送を停止する（皿２１を搬送しない）こととしてもよい。この場合、搬送レーン２０を制御する搬送制御部（制御部１１）は、判定部１３によって寿司２２の載置状態が基準外と判定された場合、搬送レーン２０を停止するよう制御することとしてもよい。

また、上述した動作部は、判定部１３によって寿司２２の載置状態が基準外と判定された場合に次のような所定の動作を行うこととしてもよい。動作部は、別の搬送レーン（別レーン）及びロボット装置（一例として、ロボットアーム）のいずれか一方であってよい。この場合、動作部には、制御部１１が含まれていてもよい。
載置状態管理装置１０は、顧客が寿司２２を取ることが可能な搬送レーン２０に、調理場等へ向かう別レーンが接続されている場合、判定部１３によって搬送レーン２０上を搬送される寿司２２の載置状態が基準外と判定されると、制御部１１の制御に基づいてレーン切り替え装置（図示せず）を動作させて、その寿司２２が載置される皿２１を別レーンに移動させてもよい。
又は、載置状態管理装置１０は、搬送レーン２０上を搬送される皿２１を取り除くことが可能なロボットアームが設置されている場合、搬送レーン２０上を搬送される寿司２２の載置状態が基準外と判定されると、制御部１１の制御に基づいてロボットアームを動作させて、その寿司２２が載置される皿２１を搬送レーン２０から取り除いてもよい。

図５は、寿司の載置状態が基準外と判定された場合の集計結果の一例について示す図である。
制御部１１は、判定部１３によって食品の載置状態が基準外と判定された場合、その判定結果を集計することとしてもよい。例えば、制御部１１は、図５に一例を示すように、日にち（曜日）毎に、食品の載置状態が基準外と判定された数を集計することとしてもよい。また、制御部１１は、例えば、時間帯別に、食品の載置状態が基準外と判定された数を集計することとしてもよい。また、制御部１１は、例えば、特注品と一般の品物とを区別して集計することとしてもよい。

制御部１１は、例えば、所定の期間毎に、通信部１７によって集計の結果（載置状態のレポート）を本部端末３１に送信する。
本部端末３１は、例えば、飲食店等から送信された集計結果を端末表示部等に表示する。本部端末３１は、例えば、飲食店毎の寿司２２の載置状態が基準外と判定された回数が閾値以上の場合、警告等を端末表示部に表示することとしてもよい。ここで、本部端末３１は、特注品と一般の品物とで異なる閾値を設定してもよい。すなわち、本部端末３１は、例えば、飲食店毎の、特注品の載置状態が基準外と判定された回数が第１閾値以上の場合に警告等を端末表示部に表示させると共に、一般の品物の載置状態が基準外と判定された回数が第２閾値（第２閾値＞第１閾値）以上の場合に警告等を端末表示部に表示させてもよい。
管理本部３０の従業員等は、端末表示部の警告等の表示を確認することにより、食品の載置状態が基準外と判定された回数が閾値以上の飲食店の従業員等に対して、教育等をすることができる。

なお、載置状態管理装置１０は、判定部１３による判定結果（例えば、寿司２２の載置状態が基準外であるという判定結果）を、通信部１７を介して本部端末３１に送信することとしてもよい。
本部端末３１は、載置状態管理装置１０から送信された判定結果を店舗毎に集計することとしてもよい。本部端末３１は、その集計の結果を端末表示部等に表示し、飲食店毎の寿司２２の載置状態が基準外と判定された回数が閾値以上の場合、警告等を端末表示部に表示することとしてもよい。

次に、一実施形態に係る載置状態管理方法について説明する。
図６は、一実施形態に係る載置状態管理方法について説明するためのフローチャートである。

ステップＳＴ１１において、撮像部１４は、食品が載置される載置部材を撮像する。具体的には、撮像部１４は、搬送レーン２０上を移動する、寿司２２が載置された皿２１を上方から撮像する。

ステップＳＴ１２において、抽出部１２は、ステップＳＴ１１で撮像された画像と、第２学習モデルとに基づいて、第１画像を抽出する。具体的には、抽出部１２は、ステップＳＴ１１で撮像された画像と、第２学習モデルとに基づいて、皿２１を認識し、認識した皿２１に内接する四角形領域Ｓの画像を第１画像として抽出する。なお、例えば、ステップＳＴ１１で動画が撮像される場合、抽出部１２は、動画から皿２１の全体が写るフレームを抽出し、そのフレームと第２学習モデルとに基づいて、第１画像を抽出する。

ステップＳＴ１３において、判定部１３は、ステップＳＴ１２で抽出された第１画像と、第１学習モデルとに基づいて、皿２１上に載置される寿司２２の載置状態を判定する。具体的には、判定部１３は、皿２１に載置される寿司２２のネタがシャリからずれている場合、寿司２２が倒れている場合、及び、海苔が寿司２２から剥がれている場合のうち、少なくとも１つを載置状態の基準外として判定する。載置状態が基準外の場合（Ｙｅｓ）、処理は、ステップＳＴ１４に進む。載置状態が基準外ではない場合（Ｎｏ）、処理は、終了する。

ステップＳＴ１４において、出力部１６は、警告を出力する。出力部１６は、例えば、スピーカ及び表示部の少なくとも一方であってよい。
また、ステップＳＴ１４では、搬送レーン２０は、載置される皿２１の搬送動作を停止する（皿２１を搬送しない）こととしてもよい。

ステップＳＴ１５において、制御部１１は、寿司２２の載置状態が基準外で有る旨の情報を管理本部３０へ送信する。制御部１１は、日にち（曜日）毎に、及び、時間帯別に、寿司２２の載置状態が基準外と判定された回数を集計した結果を管理本部３０に送信することとしてもよい。

本部端末３１は、ステップＳＴ１５で送信された集計結果を端末表示部等に表示することができる。本部端末３１は、例えば、飲食店毎の食品の載置状態が基準外と判定された回数が閾値以上の場合、警告等を端末表示部に表示することとしてもよい。管理本部３０の従業員等は、端末表示部の警告等の表示を確認することにより、飲食店の従業員等に対して教育等をすることができる。

次に、本実施形態の効果について説明する。
載置状態管理装置１０は、撮像部１４によって撮像された画像に基づいて、皿２１の一部の画像を第１画像として抽出する抽出部１２と、抽出部１２によって抽出された第１画像と、第１学習モデルとに基づいて、皿２１上に載置される寿司２２の載置状態を判定する判定部１３と、判定部１３によって寿司２２の載置状態が基準外と判定された場合、警告を出力する出力部１６と、を備える。
これにより、載置状態管理装置１０は、寿司２２の載置状態が基準外であることを判定できる。また、載置状態管理装置１０は、寿司２２の載置状態が基準外であった場合に警告を出力するので、飲食店の従業員に知らせることができる。また、載置状態管理装置１０は、従業員によって載置状態が基準外の寿司２２（皿２１）を搬送レーン２０から取り除くことにより、基準外の寿司２２が顧客に提供されるのを防ぐことができ、回転寿司店で提供される商品の品質を向上させることができる。

載置状態管理装置１０では、抽出部１２は、撮像部１４によって撮像された画像と、第２学習モデルとに基づいて、第１画像を抽出することとしてもよい。
これにより、載置状態管理装置１０は、例えば、深層学習及び機械学習等に基づいて、皿２１を認識することができる。また、載置状態管理装置１０は、認識した皿２１に基づいて第１画像を抽出することができる。

載置状態管理装置１０では、抽出部１２は、撮像部１４によって撮像された画像と、第２学習モデルとに基づいて、皿２１を認識し、認識した皿２１に内接する所定範囲の画像を第１画像として抽出することとしてもよい。
載置状態管理装置１０は、皿２１に内接する所定範囲の画像（第１画像）を抽出するので、寿司２２が載置された部分のみを抽出することができる。よって、載置状態管理装置１０は、第１画像には寿司２２の載置状態の判断に不要な部分の画像が含まれないので、寿司２２の載置状態に誤判定が生じることを抑制することができる。また、載置状態管理装置１０は、第１画像を抽出するので、撮像部１４で生成された画像（第１画像を抽出する前の画像）に比べてデータ量を減らすことができ、判定部１３等の処理量を減らすことができる。

載置状態管理装置１０では、載置部材は、食品としての寿司２２が載置される、平面形状が円形の皿２１であってよい。寿司２２は、握り、軍艦、つつみ及び細巻きのうちの少なとも１つであってよい。撮像部１４は、搬送レーン２０上を移動する皿２１を、その皿２１に寿司２２が載置される面に対して上方から撮像し、抽出部１２は、載置部材に内接する所定範囲の画像として皿２１に内接する四角形領域Ｓの画像を第１画像として抽出することとしてもよい。
載置状態管理装置１０は、飲食店の搬送レーン２０を搬送される皿２１に載置された寿司２２の載置状態を判定することができる。また、載置状態管理装置１０は、寿司２２の種類に応じて載置状態を判定することができる。

載置状態管理装置１０では、判定部１３は、皿２１に載置される寿司２２のネタがシャリからずれている場合、寿司２２が倒れている場合、及び、海苔が寿司２２から剥がれている場合のうち、少なくとも１つを載置状態の基準外として判定することとしてもよい。
載置状態管理装置１０は、皿２１に載置される寿司２２の載置状態が基準外のものを判定することができる。すなわち、載置状態管理装置１０は、載置状態が基準外の寿司２２が顧客に提供されるのを抑制することができ、飲食店で提供される寿司２２の品質を向上させることができる。

載置状態管理方法では、コンピュータが、撮像部１４によって撮像された画像に基づいて、皿２１の一部の画像を第１画像として抽出する抽出ステップと、抽出ステップで抽出された第１画像と、第１学習モデルとに基づいて、皿２１上に載置される寿司２２の載置状態を判定する判定ステップと、判定ステップで寿司２２の載置状態が基準外と判定された場合、警告を出力部１６から出力する出力ステップと、を実行する。
これにより、載置状態管理方法は、寿司２２の載置状態が基準外であることを判定できる。また、載置状態管理方法は、寿司２２の載置状態が基準外であった場合に警告を出力するので、飲食店の従業員に知らせることができる。また、載置状態管理方法は、従業員によって載置状態が基準外の寿司２２（皿２１）を搬送レーン２０から取り除くことにより、基準外の寿司２２が顧客に提供されるのを防ぐことができ、回転寿司店で提供される商品の品質を向上させることができる。

載置状態管理プログラムは、コンピュータに、寿司２２が載置される皿２１を撮像する撮像機能と、撮像機能によって撮像された画像に基づいて、皿２１の一部の画像を第１画像として抽出する抽出機能と、抽出機能によって抽出された第１画像と、第１学習モデルとに基づいて、皿２１上に載置される寿司２２の載置状態を判定する判定機能と、判定機能によって寿司２２の載置状態が基準外と判定された場合、警告を出力する出力機能と、を実行させる。
これにより、載置状態管理プログラムは、寿司２２の載置状態が基準外であることを判定できる。また、載置状態管理プログラムは、寿司２２の載置状態が基準外であった場合に警告を出力するので、飲食店の従業員に知らせることができる。また、載置状態管理プログラムは、従業員によって載置状態が基準外の寿司２２（皿２１）を搬送レーン２０から取り除くことにより、基準外の寿司２２が顧客に提供されるのを防ぐことができ、回転寿司店で提供される商品の品質を向上させることができる。

上述した載置状態管理装置１０の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、載置状態管理装置１０の抽出部１２及び判定部１３は、コンピュータの演算処理装置等による、抽出機能及び判定機能としてそれぞれ実現されてもよい。
載置状態管理プログラムは、上述した各機能をコンピュータに実現させることができる。載置状態管理プログラムは、外部メモリ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体に記録されていてもよい。
また、上述したように、載置状態管理装置１０の各部は、コンピュータの演算処理装置等で実現されもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、載置状態管理装置１０の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、載置状態管理装置１０の抽出部１２及び判定部１３は、コンピュータの演算処理装置等を構成する、抽出回路及び判定回路として実現されてもよい。
載置状態管理装置１０の撮像部１４、記憶部１５、出力部１６及び通信部１７は、撮像機能部、記憶機能、出力機能及び通信機能として実現されてもよい。また、載置状態管理装置１０の撮像部１４、記憶部１５、出力部１６及び通信部１７は、例えば、集積回路等によって構成されることにより、撮像回路、記憶回路、出力回路及び通信回路として実現されてもよい。また、載置状態管理装置１０の撮像部１４、記憶部１５、出力部１６及び通信部１７は、例えば、複数のデバイスによって構成されることにより、撮像装置、記憶装置、出力装置及び通信装置として構成されてもよい。また、動作部は、動作機能又は動作装置として実現されてもよい。動作部は出力部１６及び搬送レーン２０（又は別レーン）の少なくとも一方であるため、動作機能（動作装置）は、出力機能（出力装置）及び搬送機能（搬送装置）の少なくとも一方であってもよい。また、動作機能は、ロボット機能であってもよい。また、動作機能（動作装置）は、制御部１１の機能としての制御機能（動作装置）を備えていてもよい。

１ 載置状態管理システム
１０ 載置状態管理装置
１２ 抽出部
１３ 判定部
１４ 撮像部
１５ 記憶部
１６ 出力部
２０ 搬送レーン
３０ 管理本部
３１ 本部端末

Claims (9)

1. 載置部材上に載置される食品の画像に基づいて、食品の載置状態を予め学習した第１学習モデルを記憶する記憶部と、
   食品が載置される載置部材を撮像する撮像部と、
   前記撮像部によって撮像された画像に基づいて、前記載置部材の一部の画像を第１画像として抽出する抽出部と、
   前記抽出部によって抽出された前記第１画像と、前記第１学習モデルとに基づいて、前記載置部材上に載置される食品の載置状態を判定する判定部と、
   前記判定部によって食品の載置状態が基準外と判定された場合、所定の動作を行う動作部と、を備え、
   前記抽出部は、載置部材の形状を学習した第２学習モデルに基づいて、前記撮像部によって前記載置部材が撮像された画像から当該載置部材の外縁を認識し、当該外縁が円形の場合には内接する四角形領域若しくは多角形領域、前記外縁が四角形の場合には内接する円形領域又は多角形領域を所定範囲として抽出し、当該抽出した所定範囲の画像を第１画像とする
   載置状態管理装置。
2. 前記動作部は、
   前記判定部によって食品の載置状態が基準外と判定された場合に警告を出力する出力部、及び、
   前記判定部によって食品の載置状態が基準外と判定された場合に載置部材の搬送を停止する搬送レーン、のうちの少なくとも一方である
   請求項１に記載の載置状態管理装置。
3. 前記動作部は、
   前記判定部によって食品の載置状態が基準外と判定された場合に、搬送レーンによって搬送される載置部材の搬送先がその搬送レーンから切り替わる、その搬送レーンに接続される別の搬送レーン、及び、
   前記判定部によって食品の載置状態が基準外と判定された場合に、搬送レーンによって搬送される載置部材をその搬送レーンから取り除くロボット装置、のうちいずれか一方である
   請求項１に記載の載置状態管理装置。
4. 前記記憶部は、前記載置部材の画像に基づいて、前記載置部材の形状を予め学習した第２学習モデルを記憶し、
   前記抽出部は、前記撮像部によって撮像された画像と、前記第２学習モデルとに基づいて、前記第１画像を抽出する
   請求項１～３のいずれか１項に記載の載置状態管理装置。
5. 前記抽出部は、前記撮像部によって撮像された画像と、前記第２学習モデルとに基づいて、前記載置部材を認識し、認識した前記載置部材に内接する所定範囲の画像を前記第１画像として抽出する
   請求項４に記載の載置状態管理装置。
6. 前記載置部材は、食品としての寿司が載置される、平面形状が略円形の皿であり、
   前記撮像部は、前記寿司が載置された皿を搬送する搬送レーンの移動に伴って移動する皿を、その皿に寿司が載置される面に対して上方から撮像し、
   前記抽出部は、前記載置部材に内接する前記所定範囲の画像として皿に内接する四角形領域の画像を前記第１画像として抽出する
   請求項５に記載の載置状態管理装置。
7. 前記判定部は、皿に載置される寿司のネタがシャリからずれている場合、寿司が倒れている場合、及び、海苔が寿司から剥がれている場合のうち、少なくとも１つを載置状態の基準外として判定する
   請求項６に記載の載置状態管理装置。
8. 載置部材上に載置される食品の画像に基づいて、食品の載置状態を予め学習した第１学習モデルを記憶する記憶部を備えるコンピュータが、
   食品が載置される載置部材を撮像部によって撮像させる撮像ステップと、
   前記撮像ステップで撮像された画像に基づいて、前記載置部材の一部の画像を第１画像として抽出する抽出ステップと、
   前記抽出ステップで抽出された前記第１画像と、前記第１学習モデルとに基づいて、前記載置部材上に載置される食品の載置状態を判定する判定ステップと、
   前記判定ステップで食品の載置状態が基準外と判定された場合、所定の動作を行う動作ステップと、を実行し、
   前記抽出ステップは、載置部材の形状を学習した第２学習モデルに基づいて、前記撮像部によって前記載置部材が撮像された画像から当該載置部材の外縁を認識し、当該外縁が円形の場合には内接する四角形領域若しくは多角形領域、前記外縁が四角形の場合には内接する円形領域又は多角形領域を所定範囲として抽出し、当該抽出した所定範囲の画像を第１画像とする
   載置状態管理方法。
9. 載置部材上に載置される食品の画像に基づいて、食品の載置状態を予め学習した第１学習モデルを記憶する記憶部を備えるコンピュータに、
   食品が載置される載置部材を撮像する撮像機能と、
   前記撮像機能によって撮像された画像に基づいて、前記載置部材の一部の画像を第１画像として抽出する抽出機能と、
   前記抽出機能によって抽出された前記第１画像と、前記第１学習モデルとに基づいて、前記載置部材上に載置される食品の載置状態を判定する判定機能と、
   前記判定機能によって食品の載置状態が基準外と判定された場合、所定の動作を行う動作機能と、を実現させ、
   前記抽出機能は、載置部材の形状を学習した第２学習モデルに基づいて、前記撮像機能によって前記載置部材が撮像された画像から当該載置部材の外縁を認識し、当該外縁が円形の場合には内接する四角形領域若しくは多角形領域、前記外縁が四角形の場合には内接する円形領域又は多角形領域を所定範囲として抽出し、当該抽出した所定範囲の画像を第１画像とする
   載置状態管理プログラム。

Images