JP6678790B1 - 作業支援装置 - Google Patents

Abstract

【課題】作業の効率化を図る。【解決手段】作業支援装置１は、カメラ３０と、演算装置６１と、プロジェクタ２０とを備える。カメラ３０は、マーカー５１が付された複数の箱５０が置かれた物品棚１０の撮像画像を撮像する。演算装置６１は、撮像画像に写されたマーカー５１の位置に基づき、複数の箱５０のうちの第１箱５０−１の位置を特定し、第１箱５０−１に対応した表示領域１００−１の位置を決定する。プロジェクタ２０は、表示領域１００に作業者への指示を表示する。マーカー５１は、箱５０の幅に応じた長さを有する。【選択図】図１

Description

本発明は、作業支援装置に関するものである。

作業支援装置は、棚に並べられている様々な物品（例えば、部品や商品）のいずれを取るべきかを作業者に指示する装置であり、生産ラインや物流拠点において広く使用される。一例としては、作業支援装置は、生産ラインにおいて、部品庫（典型的には、部品棚）に蓄積されている様々な部品のうち、対象の製品に組み付けるべき部品及びその個数を作業者に指示するために用いられる。他の例としては、作業支援装置は、物流拠点において、商品庫（典型的には、商品棚）にストックされている様々な商品のうち、対象のシッパー（コンテナ）に収納すべき商品及びその個数を作業者に指示するために用いられる。

作業支援装置は、作業者に指示を与えるための表示デバイスを備えている。作業支援装置の表示デバイスとしては、最も伝統的には、ランプやセグメント表示器が用いられてきたが、近年では、プロジェクタを用いることが提案されている。例えば、橋本 明解 他、「商品物流における仕分け作業支援への複合現実感技術の応用（２）」、第１９回日本バーチャルリアリティ学会大会論文集、２０１４年９月、ｐｐ．５５３−５５６（非特許文献１）は、仕分け作業の支援におけるウェアラブル型のプロジェクタと据置型のプロジェクタのメリットとデメリットについて議論している。

作業支援装置に求められる要求の一つは、作業ミスの防止である。作業ミスの防止のために、様々な機構が提案されている。例えば、特開２００６−３２１５９０号公報（特許文献１）は、商品棚の間口において作業者の手が通過する位置を、赤外線を用いて検出し、検出した位置が、不適正である場合に警告を発生する構成のピッキング支援装置を開示している。また、特許５４４１３９３号公報（特許文献２）は、作業者の手が通過する位置を、間口近傍に投光した光の反射光を用いて検出するピッキングシステムを開示している。

特開２００６−３２１５９０号公報 特許第５４４１３９３号公報

橋本 明解 他、「商品物流における仕分け作業支援への複合現実感技術の応用（２）」、第１９回日本バーチャルリアリティ学会大会論文集、２０１４年９月、ｐｐ．５５３−５５６

作業支援装置を用いて作業を開始する際には、物品の位置に応じてランプやセグメント表示器の位置の調整、または、プロジェクタによる表示位置の調整などの様々な設定を行う必要がある。このような状況に鑑み、本発明は、作業を効率的に行うための作業支援装置を提供することを目的とする。他の目的については、以下の記載及び実施の形態の説明から理解することができる。

以下に、発明を実施するための形態で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、特許請求の範囲の記載と発明を実施するための形態との対応関係の一例を示すために、参考として、括弧付きで付加されたものである。よって、括弧付きの記載により、特許請求の範囲は、限定的に解釈されるべきではない。

上記目的を達成するための一実施の形態おける作業支援装置（１）は、カメラ（３０）と、演算装置（６１）と、プロジェクタ（２０）とを備える。カメラ（３０）は、マーカー（５１）が付された複数の箱（５０）が置かれた物品棚（１０）の撮像画像を撮像する。演算装置（６１）は、撮像画像に写されたマーカーの位置に基づき、複数の箱のうちの第１箱（５０−１）の位置を特定し、第１箱に対応した表示領域（１００−１）の位置を決定する。プロジェクタ（２０）は、表示領域（１００）に作業者への指示を表示する。マーカー（５１）は、箱（５０）の幅に応じた長さを有する。

上記目的を達成するための一実施の形態における作業支援装置（１）は、カメラ（３０）と、演算装置（６１）とを備える。カメラ（３０）は、複数の箱（５０）が置かれた物品棚（１０）の撮像画像を撮像する。演算装置（６１）は、撮像画像に基づき、複数の箱のうち、作業者が物品を取り出す箱を特定する。

本発明に係る作業支援装置によれば、作業の効率化を図ることができる。

一実施の形態における作業支援装置の構成を示す正面図である。 一実施の形態における作業支援装置の構成を示す右側面図である。 図１の箱の斜視図である。 図１のカメラが撮像した画像の一例である。 一実施の形態における作業支援装置のシステム構成を示す図である。 演算装置が箱の位置を特定するときの処理を示すフローチャートである。 図５の演算装置に登録されている箱情報の一例である。 作業者が物品を取り出すときに、カメラが撮像した画像の一例である。 演算装置が作業ミスを検知するときの処理を示すフローチャートである。 演算装置が作業ミスを検知するときの処理を示すフローチャートである。 作業者が物品を取り出すときに、カメラが撮像した画像の一例である。 一実施の形態における作業支援装置の構成を示す右側面図である。

図１に示すように、本実施の形態に係る作業支援装置１は、物品棚１０と、プロジェクタ２０と、カメラ３０とを備える。物品棚１０は、床Ｆの上に設置され、上下方向に並べて配置された複数の棚１１（第１棚１１−１、第２棚１１−２、第３棚１１−３、第４棚１１−４、第５棚１１−５）を備える。理解を容易にするため、直交座標系を用いて作業支援装置１を説明する。棚１１の前端の延びる方向をｘ_１方向とする。ｘ_１方向に直交し、床Ｆに平行な方向をｙ_１方向とする。物品棚１０の上下方向をｚ_１方向とする。なお、物品棚１０の前側とは、図２に示すように、人が作業している方向を指す。

下方に設けられた３つの棚１１（第１棚１１−１、第２棚１１−２、第３棚１１−３）には、物品を収容する複数の箱５０が置かれている。箱５０が置かれた棚１１には、箱５０の落下を防止するため、バー１２が設けられている。また、箱５０を、バー１２に接するように置くことで、各棚１１において、直線状に配置することができる。

また、箱５０が置かれた棚１１（第１棚１１−１、第２棚１１−２、第３棚１１−３）の各々は、図２に示すように、ｙ_１方向に対して、傾いて配置されている。具体的には、ｚ_１方向において、前端（−ｙ_１方向の端）よりも、後端（＋ｙ_１方向の端）が上方に位置するように、箱５０が置かれた棚１１は配置されている。このため、作業者Ｗは、箱５０から物品を取り出しやすい。

各棚１１の前端は、ｚ_１方向から見たときに、最下段の第１棚１１−１から順番に、＋ｙ_１方向に並ぶように配置されている。具体的には、第２棚１１−２の前端は、第１棚１１−１の前端よりも＋ｙ_１方向に配置されている。第３棚１１−３の前端は、第２棚１１−２の前端よりも＋ｙ_１方向に配置されている。第４棚１１−４の前端は、第３棚１１−３の前端よりも＋ｙ_１方向に配置されている。第５棚１１−５の前端は、第４棚１１−４の前端よりも＋ｙ_１方向に配置されている。

また、箱５０が置かれた棚１１に隣接する上方の棚１１には、前端、つまり−ｙ_１方向の端に、ｘ_１方向に延びるスクリーン１３が設けられている。具体的には、第１スクリーン１３−１が、箱５０が置かれた第１棚１１−１に隣接する上方の第２棚１１−２の−ｙ_１方向の端に設けられている。同様に、第２スクリーン１３−２が第３棚１１−３の−ｙ_１方向の端に、第３スクリーン１３−３が第４棚１１−４の−ｙ_１方向の端に、それぞれ設けられている。

また、最上段の第５棚１１−５には、図２に示すように、プロジェクタ２０が設置されている。プロジェクタ２０は、アーム１４を介して、第５棚１１−５に支持されている。アーム１４は、第５棚１１−５の前方に突出して設けられている。言い換えると、プロジェクタ２０は、第５棚１１−５の前端より−ｙ_１方向に設置されている。

プロジェクタ２０は、作業者Ｗへの指示をスクリーン１３に投影して表示する。作業者Ｗが箱５０に収容されている物品（例えば、部品や商品）を取り出すときに、作業支援装置１は、スクリーン１３に作業者Ｗへの指示（例えば、ピッキングすべき物品の指定）を表示する。作業者Ｗは、スクリーン１３の表示に基づき、指定された物品を箱５０から取出す。例えば、第１箱５０−１に収納された物品を取り出すことを作業者Ｗに指示するとする。ここで、第１箱５０−１は、第３棚１１−３の−ｘ_１方向の端に置かれているとする。この場合、作業支援装置１は、スクリーン１３の領域のうち、第１箱５０−１の上方にある第１表示領域１００−１に、第１箱５０−１に収容された物品と、取り出す数量とを表示する。作業者Ｗは、表示領域１００の中から数量が表示されている第１表示領域１００−１を確認し、第１表示領域１００−１の下方にある第１箱５０−１に収容されている物品を取り出す。このように、作業者Ｗは、作業支援装置１が表示する表示領域１００を確認することで、作業ミスを低減することができる。

また、最上段の第５棚１１−５には、カメラ３０が設置されている。カメラ３０は、図２に示すように、アーム１５を介して、第５棚１１−５に支持されている。アーム１５も、第５棚１１−５の前方に突出して設けられている。言い換えると、カメラ３０も、第５棚１１−５の前端より−ｙ_１方向に設置されている。

作業支援装置１は、カメラ３０が物品棚１０の上方から棚１１を撮像することで、作業者Ｗが取り出した物品が取り出すべき物品と異なるとき、作業者Ｗに作業ミスを報知する。作業者Ｗは、スクリーン１３に表示された指示に従い、第１箱５０−１に収納されている物品を取り出す。このとき、カメラ３０は、物品棚１０の上方から作業者Ｗが物品を取り出すところを撮像する。作業支援装置１は、カメラ３０が撮像した撮像画像に基づき、指定された第１箱５０−１から作業者Ｗが物品を取り出しているかを判定することができる。作業支援装置１は、作業者Ｗが第１箱５０−１と異なる箱５０から物品を取り出していると判定すると、作業者Ｗに作業ミスを報知する。つまり、作業支援装置１は、作業者Ｗのピッキングにおける作業ミスを検知すると、作業者Ｗに作業ミスを報知する。例えば、プロジェクタ２０がスクリーン１３に赤色を点滅表示することで、作業者Ｗに作業ミスを報知する。物品棚１０はスピーカーを備え、音声により作業者Ｗに作業ミスを報知してもよい。作業支援装置１が作業者Ｗの作業ミスを検知する方法は、後述する。

このように、作業支援装置１は、作業者Ｗによるピッキング作業で生じるミスを低減し、効率化を図ることができる。

また、カメラ３０は、物品棚１０の上方から各棚１１を撮像することで、箱５０の位置を特定する。ｚ_１方向から見たときに、各棚１１は、前端が最下段から順番に＋ｙ_１方向に並ぶように、配置されている。このため、カメラ３０は、各棚１１に置かれた箱５０の前端を撮像することができる。また、箱５０は、図３に示すように、上側の一辺にマーカー５１、例えばバーコードが付されている。マーカー５１は、マーカー５１が付されている箱５０の幅、言い換えるとマーカー５１が付されている辺の長さに応じた長さを有する。例えば、マーカー５１は、マーカー５１が付されている辺の一端から他端までの長さを有する。箱５０は、このマーカー５１が棚１１の前方に配置されるように、棚１１に置かれる。このため、カメラ３０は、図４に示すように、各棚１１に置かれた箱５０のマーカー５１を撮像することができる。作業支援装置１は、カメラ３０が撮像した撮像画像におけるマーカー５１の位置に基づき、箱５０の位置を特定する。作業支援装置１が箱５０の位置を特定する方法は、後述する。

ここで、マーカー５１は、撮像画像から箱５０を識別するために利用される。このため、カメラ３０の撮像画像に基づき、各箱５０の位置を特定することができる。マーカー５１は、箱５０を識別できるものであれば、任意に選択してもよく、例えばＡＲマーカー、ＱＲコード（登録商標）などを含む。

次に、作業支援装置１のシステム構成を説明する。作業支援装置１は、図５に示すように、制御装置６０と、管理端末８０とを備える。制御装置６０は、作業支援装置１の動作を制御する。例えば、制御装置６０は、カメラ３０の撮像画像に基づき、プロジェクタ２０が表示する画像を制御する。制御装置６０は、制御用演算装置６１と、インターフェース６２とを備える。

インターフェース６２は、カメラ３０と、プロジェクタ２０と、管理端末８０とに電気的に接続されている。具体的には、インターフェース６２は、カメラ３０が撮像した撮像画像を表す画像情報をカメラ３０から受信する。インターフェース６２は、プロジェクタ２０に、表示する画像を示す表示情報を送信する。また、インターフェース６２は、管理端末８０とデータの送受信を行う。インターフェース６２は、カメラ３０と、プロジェクタ２０と、管理端末８０と有線または無線で接続されている。例えば、インターフェース６２は管理端末８０とＬＡＮ（Local Area Network）を介して接続されている。また、作業支援装置１は、作業者Ｗなどに報知する出力装置７０（例えば、スピーカーなど）を備えてもよい。この場合、出力装置７０も同様に、インターフェース６２と電気的に接続されている。

制御用演算装置６１は、作業支援装置１の動作を制御するためのデータ処理を行う。例えば、制御用演算装置６１は、作業者Ｗが取り出すべき物品と、その数量とを指定する指示データを生成する。制御用演算装置６１は、生成した指示データに基づき、作業者Ｗへの指示を所望の位置に表示するための表示情報を生成し、プロジェクタ２０に送信する。制御用演算装置６１は、例えば中央演算装置（ＣＰＵ；Central Processing Unit）を含む。

管理端末８０は制御装置６０を管理する。例えば、管理端末８０は、作業支援装置１の動作を制御するために必要な情報を制御装置６０に送信する。また、管理端末８０は、作業支援装置１の状態を制御装置６０から受信し、作業支援装置１の状態を表示する。管理端末８０は、管理用演算装置８１と、表示装置８２と、入力装置８３と、インターフェース８４とを備える。

インターフェース８４は、制御装置６０のインターフェース６２に電気的に接続されている。インターフェース８４は作業支援装置１の動作を制御するために必要な情報を制御装置６０のインターフェース６２に送信する。また、インターフェース８４は作業支援装置１の状態を表す情報を制御装置６０のインターフェース６２から受信する。

管理用演算装置８１は、制御装置６０を管理するためのデータ処理を行う。例えば、管理用演算装置８１は、入力装置８３から入力されたデータを制御装置６０に送信する。また、管理用演算装置８１は、作業支援装置１の状態を表す情報を制御装置６０から受信して、表示装置８２に作業支援装置１の状態を表示するためのデータを送信する。

表示装置８２は、管理端末８０が保有する様々なデータ、例えば管理用演算装置８１から取得する作業支援装置１の状態を表示する。また、入力装置８３には、制御装置６０に設定するデータなどが入力される。入力装置８３は、例えば、キーボード、マウス、マイクなどが例示される。また、管理端末８０は、汎用のパーソナルコンピュータなどが例示される。

（箱の位置の特定）
作業支援装置１は、カメラ３０の撮像画像により、箱５０の位置を特定することができる。図４に示すように、設定要求マーカー１１０が第４棚１１−４の上方に付されている。設定要求マーカー１１０の上方に作業者Ｗが手を置くと、制御用演算装置６１は箱５０の位置を特定する。設定要求マーカー１１０は、例えばバーコード、ＡＲマーカー、ＱＲコード（登録商標）などが含まれる。

制御用演算装置６１は、図６に示すように、ステップＳ１１０において、カメラ３０から撮像画像を取得する。例えば、制御用演算装置６１は、カメラ３０に対して撮像する指令を示す撮像信号を送信する。カメラ３０は、撮像信号に基づき、物品棚１０を撮像し、撮像画像を制御用演算装置６１に送信する。また、カメラ３０は、常時撮像してもよい。この場合、制御用演算装置６１は、設定要求が入力されたときに撮像された撮像画像を取得する。

ステップＳ１２０において、制御用演算装置６１は、設定要求が入力されたかを確認する。設定要求は、図４に示す設定要求マーカー１１０の上方に作業者Ｗの手が置かれると、制御用演算装置６１に入力される。撮像画像には、設定要求マーカー１１０が含まれる。設定要求マーカー１１０の上方に作業者Ｗの手が置かれると、撮像画像において、設定要求マーカー１１０の一部が作業者Ｗの手に隠される。このため、制御用演算装置６１は、撮像画像から設定要求マーカー１１０を検索して、撮像画像に設定要求マーカー１１０が存在しないときに（ステップＳ１２０；ＹＥＳ）、設定要求が入力されたと判定して、ステップＳ１３０の処理に移行する。制御用演算装置６１は、撮像画像に設定要求マーカー１１０が存在するとき（ステップＳ１２０；ＮＯ）、設定要求が入力されていないと判定して、設定要求が入力されるまでステップＳ１１０〜Ｓ１２０を繰り返し、設定要求が入力されるのを待つ。

ステップＳ１３０において、制御用演算装置６１はカメラ３０から撮像画像を取得する。ステップＳ１１０と同様の処理のため、説明を省略する。

ステップＳ１４０において、制御用演算装置６１は、マーカー５１の位置から、マーカー５１が付された箱５０の位置を特定する。カメラ３０の撮像画像には、図４に示すように、各箱５０に付されたマーカー５１が含まれている。カメラ３０が撮像した撮像画像は、棚１１の前端が延びる方向をｘ_２方向とし、これに直交する方向をｙ_２方向として、解析される。ここで、＋ｙ_２方向は、棚１１の前方から後方に向かう方向とする。箱５０の前端にマーカー５１が付されているため、撮像画像において、同じ棚１１に配置された箱５０のマーカー５１は、ｘ_２方向に並ぶ。これにより、作業支援装置１は、棚１１において、箱５０が置かれているｘ_１方向の位置を、ｘ_２方向の位置から特定することができる。また、各棚１１の前端は、ｚ_１方向、つまりカメラ３０の撮像方向から見たときに、＋ｙ_１方向に並ぶように配置されている。このため、撮像画像において、各棚１１の前端は、＋ｙ_２方向に並ぶ。

具体的には、撮像画像において、第１棚１１−１の上方に隣接する第２棚１１−２の前端は、最下段の第１棚１１−１の前端よりも＋ｙ_２方向に位置する。第２棚１１−２の上方に隣接する第３棚１１−３の前端は、第２棚１１−２の前端よりも＋ｙ_２方向に位置する。このため、第２棚１１−２に置かれている箱５０は、第１棚１１−１に置かれている箱５０よりも＋ｙ_２方向に位置する。また、第３棚１１−３に置かれている箱５０は、第２棚１１−２に置かれている箱５０よりも＋ｙ_２方向に位置する。このため、ｙ_２方向において、最下段の第１棚１１−１に置かれている箱５０のマーカー５１が写される領域は、２段目の第２棚１１−２に置かれている箱５０のマーカー５１が写される領域と区別することができる。同様に、ｙ_２方向において、２段目の第２棚１１−２に置かれている箱５０のマーカー５１が写される領域は、３段目の第３棚１１−３に置かれている箱５０のマーカー５１が写される領域と区別することができる。このようにｙ_２方向における箱５０の位置、つまりマーカー５１の位置に基づき、箱５０が置かれている棚１１を特定することができる。

例えば、制御用演算装置６１は、撮像画像において、各棚１１のｙ_２方向の範囲を特定する。カメラ３０が物品棚１０に固定されているため、各棚１１のｙ_２方向の範囲は、予め入力装置８３から登録されていてもよい。次に、制御用演算装置６１は、最下段に設けられている第１棚１１−１の範囲において、マーカー５１を検出する。制御用演算装置６１は、ｘ_２方向において、マーカー５１が検出された位置に基づき、第１棚１１−１における箱５０の位置を特定する。さらに、制御用演算装置６１は、図７に示す箱情報２００から検出したマーカー５１を検索し、物品ＩＤを抽出する。物品ＩＤを抽出することで、制御用演算装置６１は、マーカー５１が付された箱５０に収納されている物品を特定することができる。次に、制御用演算装置６１は、第２棚１１−２の範囲、第３棚１１−３の範囲においても、同様にマーカー５１を検出し、箱５０の位置を特定する。このように、制御用演算装置６１は、ｙ_２方向における箱５０の位置、つまりマーカー５１の位置に基づき、箱５０が置かれている棚１１を特定する。また、制御用演算装置６１は、ｘ_２方向における箱５０の位置、つまりマーカー５１の位置に基づき、各棚１１におけるｘ_１方向の位置を特定する。

ステップＳ１５０において、制御用演算装置６１は、特定した箱５０の位置に基づき、箱５０に対応した表示領域１００を決定する。具体的には、制御用演算装置６１は、表示領域１００の−ｘ_１方向の端を箱５０の−ｘ_１方向の端に決定し、表示領域１００の＋ｘ_１方向の端を、箱５０の＋ｘ_１方向の端に決定する。マーカー５１の長さは、箱５０のｘ_１方向の長さに対応している。このため、制御用演算装置６１は、検出したマーカー５１の長さに応じて、箱５０の−ｘ_１方向の端と、＋ｘ_１方向の端とを決定する。例えば、マーカー５１の−ｘ_１方向の端を箱５０の−ｘ_１方向の端に決定し、マーカー５１の＋ｘ_１方向の端を箱５０の＋ｘ_１方向の端に決定する。これにより、表示領域１００のｘ_１方向の両端を決定することができる。制御用演算装置６１は、表示領域１００のｚ_１方向の両端を、箱５０が置かれている棚１１の上方に隣接して設けられているスクリーン１３の範囲に応じて決定する。例えば、スクリーン１３の＋ｚ_１方向の端が表示領域１００の＋ｚ_１方向の端に、スクリーン１３の−ｚ_１方向の端が表示領域１００の−ｚ_１方向の端に決定される。

制御用演算装置６１は、決定した表示領域１００を記憶する。例えば、制御用演算装置６１は、図７に示すように、箱５０に付されているマーカー５１を表すマーカー情報と、箱５０に収納されている物品を表す物品ＩＤと、箱５０に対応した表示領域１００を表す表示領域情報と、箱５０は配置されている棚１１の位置を表す棚情報と、箱５０が配置されている棚１１において当該箱５０に隣接する箱５０を表す隣接情報と、撮像画像においてマーカー５１が写されている領域を表すマーカー領域情報とを関連付けた箱情報２００を記憶している。マーカー情報と、物品ＩＤとは、入力装置８３から予め登録される。制御用演算装置６１は、決定した表示領域１００の情報を表示領域情報に、箱５０が配置されていると特定した棚１１の情報を棚情報に、箱５０に隣接する箱５０の情報を隣接情報に登録する。

ステップＳ１６０において、制御用演算装置６１は、すべての箱５０の位置を特定し、表示領域１００を決定すると、作業者Ｗに設定作業が完了したことを報知する。例えば、設定要求マーカー１１０に手を置くと、スクリーン１３に所定の画像が表示され、設定作業が完了したときに所定の画像が消えてもよい。所定の画像は、任意に選択でき、例えば箱５０を特定する処理を行っていることを示す画像でもよい。また、出力装置７０に含まれるスピーカーから、設定作業が完了したことを示す音声が出力されてもよい。このとき、制御用演算装置６１は、設定作業が完了したことを示す表示情報や音声情報を生成し、生成した表示情報や音声情報をプロジェクタ２０や出力装置７０に送信する。言い換えると、制御用演算装置６１は、プロジェクタ２０の表示や出力装置７０の出力を制御する制御信号を生成し、送信する。

以上のように、作業支援装置１は、箱５０の位置を変更しても、箱５０の位置を管理端末８０に入力装置８３から登録することなく、設定作業を完了することができる。また、箱５０を新たに配置する場合も、同様に処理することができる。このように、箱５０の移動を容易にし、作業の効率化を図ることができる。

（作業ミスの検知）
作業支援装置１は、カメラ３０が撮像した撮像画像により、作業者Ｗが取り出した物品が収容されている箱５０を特定することができる。図８に示すように、作業者Ｗが物品を箱５０から取り出すとき、カメラ３０は作業者Ｗの手２を撮像する。制御用演算装置６１は、撮像画像から作業者Ｗの手２の位置を特定することで、作業者Ｗが取り出した物品が収容されている箱５０を特定することができる。

制御用演算装置６１は、例えば、図９Ａ、９Ｂに示す処理を実行して、作業者Ｗが取り出した物品が収容されている箱５０を特定し、作業ミスの有無を判定する。制御用演算装置６１は、ステップＳ２１０において、カメラ３０から撮像画像を取得する。ステップＳ１１０と同様の処理のため、説明を省略する。

作業者Ｗは、撮像画像において一部が隠れているマーカー５１が付された箱５０から物品を取り出している。例えば、作業者Ｗが第２箱５０−２に収容されている物品を取り出すときに、作業者Ｗの手２は第２箱５０−２に付された第２マーカー５１−２の上方を通過する。このため、箱５０の上方から撮像される撮像画像は、作業者Ｗが物品を取り出した第２箱５０−２の第２マーカー５１−２の一部が手２に隠れる。このように、一部が隠れているマーカー５１を特定することで、作業者Ｗが取り出した物品が収容されている箱５０を特定することができる。

そこで、ステップＳ２２０において、制御用演算装置６１は、取得した撮像画像に写されているマーカー５１を抽出し、手２などの物体に隠れたマーカー５１があるかを判定する。少なくとも一部が隠れているマーカー５１がないとき（ステップＳ２２０；ＮＯ）、制御用演算装置６１は、作業者Ｗが物品を取り出していないと判定して、処理を終了する。少なくとも一部が隠れているマーカー５１があるとき（ステップＳ２２０；ＹＥＳ）、作業者Ｗが物品を取り出している可能性があると判定して、ステップＳ２３０の処理に移行する。具体的には、制御用演算装置６１は、箱情報２００に登録されているマーカー情報に表された登録マーカーが撮像画像に含まれているかを判定する。制御用演算装置６１は、箱情報２００に登録されているマーカー情報に表された登録マーカーのうち、撮像画像に含まれていない登録マーカーが一部隠れているマーカー５１であると判定する。

ステップＳ２３０において、制御用演算装置６１は、一部が隠れているマーカー５１が複数存在するかを判定する。一部が隠れているマーカー５１が１つのとき（ステップＳ２３０；ＮＯ）、制御用演算装置６１は、このマーカー５１が付された箱５０を作業者Ｗが取り出している箱５０として特定し、図９Ｂに示すステップＳ２８０の処理に移行する。一部が隠れているマーカー５１が複数存在するとき（ステップＳ２３０；ＹＥＳ）、制御用演算装置６１は、作業者Ｗが物品を取り出している箱５０を特定するために、図９Ａに示すステップＳ２４０の処理に移行する。

撮像画像において一部が隠されているマーカー５１が付された箱５０が異なる棚１１に存在するとき、上方の棚１１に配置された箱５０が、作業者Ｗが物品を取り出す箱５０である。例えば、図８に示すように、作業者Ｗの手２は、第２棚１１−２に配置された第２箱５０−２から物品を取り出すとき、第１棚１１−１に配置された第３箱５０−３の第３マーカー５１−３の上方を通過する場合がある。このとき、撮像画像において、第２箱５０−２に付された第２マーカー５１−２の一部と、第３箱５０−３に付された第３マーカー５１−３の一部とが手２により隠れる。このため、作業者Ｗが物品を取り出す箱５０は、手２により隠されたマーカー５１が付された箱５０のうち、最も上方の棚１１に配置された箱５０である。

そこで、ステップＳ２４０において、制御用演算装置６１は、一部が隠れているマーカー５１のうち、最も上方（ｚ_１方向）にある棚１１に配置された箱５０に付されたマーカー５１を検出する。制御用演算装置６１は、箱情報２００から一部が隠れているマーカー５１に対応する棚情報を抽出し、このマーカー５１が付されている箱５０が配置されている棚１１を特定する。制御用演算装置６１は、特定した棚１１のうち、最も上方にある棚１１を選択する。一部が隠れているマーカー５１が付された箱５０から、選択した棚１１に配置されている箱５０を抽出することで、最も上方にある棚１１に配置された箱５０を特定することができる。

ステップＳ２５０において、制御用演算装置６１は、ステップＳ２４０で検出したマーカー５１が複数存在するかを判定する。一部が隠れているマーカー５１のうち、最も上方の棚１１に配置された箱５０のマーカー５１が１つのとき（ステップＳ２５０；ＮＯ）、制御用演算装置６１は、このマーカー５１が付された箱５０を作業者Ｗが物品を取り出している箱５０として特定し、ステップＳ２８０の処理に移行する。一部が隠れているマーカー５１のうち、最も上方の棚１１に配置された箱５０のマーカー５１が複数存在するとき（ステップＳ２５０；ＹＥＳ）、制御用演算装置６１は、作業者Ｗが物品を取り出している箱５０を特定するために、ステップＳ２６０の処理に移行する。

ステップＳ２６０において、制御用演算装置６１は、ステップＳ２４０で検出したマーカー５１が互いに隣接する２つのマーカー５１であるかを判定する。検出したマーカー５１が互いに隣接しないとき（ステップＳ２６０；ＮＯ）、制御用演算装置６１は、作業者Ｗがピッキング作業を行っていないと判定し、処理を終了する。検出したマーカー５１が互いに隣接するとき（ステップＳ２６０；ＹＥＳ）、制御用演算装置６１は、作業者Ｗが物品を取り出している箱５０を特定するために、ステップＳ２７０の処理に移行する。具体的には、制御用演算装置６１は、箱情報２００から検出したマーカー５１に関連付けて登録された隣接情報を抽出する。抽出した隣接情報に基づき、検出されたマーカー５１が互いに隣接する２つのマーカー５１であるかが判定される。

検出したマーカー５１が互いに隣接する２つのマーカー５１でないと判定されるとき、例えば、ステップＳ２４０で検出したマーカー５１が３以上のとき、制御用演算装置６１は、作業者Ｗがピッキングを行っていないと判定し、処理を終了する。また、ステップＳ２４０で検出したマーカー５１が２つであっても、この２つのマーカー５１が互いに隣接していないとき、制御用演算装置６１は、作業者Ｗがピッキングを行っていないと判定し、処理を終了する。

ステップＳ２７０において、制御用演算装置６１は、ステップＳ２４０で検出したマーカー５１が付されている箱５０のうち、作業者Ｗが物品を取り出している箱５０を特定できるかを判定する。制御用演算装置６１は、作業者Ｗの手２が隠しているマーカー５１が付された箱５０が、同じ棚１１に複数存在するとき、撮像画像から手２の領域を抽出する。例えば、制御用演算装置６１は、ステップＳ２４０で検出したマーカー５１に基づき、箱情報２００からマーカー領域情報を抽出する。撮像画像において、抽出したマーカー領域情報に表された領域からマーカー５１を隠している物体、例えば手２が抽出される。制御用演算装置６１は、抽出された手２の長手方向がｙ_２方向に対して傾いていないと判断するとき（ステップＳ２７０；ＮＯ）、作業者Ｗが物品を取り出していないとして、処理を終了する。抽出された手２の長手方向がｙ_２方向に対して傾いていると判断するとき（ステップＳ２７０；ＹＥＳ）、制御用演算装置６１は、抽出された手２の長手方向に基づき、作業者Ｗが物品を取り出している箱５０を特定して、ステップＳ２８０の処理に移行する。例えば、制御用演算装置６１は、物体の長手方向が＋ｙ_２方向に平行であるとき、作業者Ｗが箱５０から物品を取り出していないとして、処理を終了する。また、物体の長手方向が＋ｙ_２方向との成す角度が所望の角度以下であるときに、作業者Ｗが箱５０から物品を取り出していないとして、処理を終了してもよい。また、撮像画像において、物体、例えば手２の長手方向が＋ｙ_２方向よりも＋ｘ_２方向に所望の角度以上傾いているとき、＋ｘ_２方向にある箱５０が、作業者Ｗが物品を取り出している箱５０として特定される。物体の長手方向が＋ｙ_２方向に行くに従い−ｘ_２方向に所望の角度以上傾いているとき、−ｘ_２方向にある箱５０が、作業者Ｗが物品を取り出している箱５０として特定される。

例えば、作業者Ｗの手２は、図１０に示すように、第１棚１１−１に配置された第４箱５０−４から物品を取り出すとき、第４箱５０−４に付された第４マーカー５１−４の上方だけでなく、第４箱５０−４に隣接する第５箱５０−５に付された第５マーカー５１−５の上方を通過する場合がある。この結果、手２が隠しているマーカー５１が付された箱５０は、同じ棚１１に２つ存在する。このとき、作業支援装置１は、手２の傾きを検出する。具体的には、撮像画像において、マーカー５１を隠している物体、つまり手２を抽出し、抽出した物体の傾きを検出する。抽出した物体が、ｙ_２方向に行くに従い、＋ｘ_２方向に傾いている場合、手２が隠しているマーカー５１が付された箱５０のうち、＋ｘ_２方向に配置している箱５０を、作業者Ｗが取り出した物品が収納されている箱５０と特定する。また、抽出した物体が、ｙ_２方向に行くに従い、−ｘ_２方向に傾いている場合、手２が隠しているマーカー５１が付された箱５０のうち、−ｘ_２方向に配置している箱５０を、作業者Ｗが取り出した物品が収納されている箱５０と特定する。

ステップＳ２８０において、制御用演算装置６１は、特定した箱５０が、作業者Ｗに指示している箱５０と同じであるかを判定する。特定した箱５０と、作業者Ｗに指示している箱５０とが同じであるとき（ステップＳ２８０；ＹＥＳ）、制御用演算装置６１は、作業者Ｗが指示している箱５０から物品を取り出していると判定して、処理を終了する。特定した箱５０と、作業者Ｗに指示している箱５０とが異なるとき（ステップＳ２８０；ＮＯ）、制御用演算装置６１は、ステップＳ２９０の処理に移行する。

ステップＳ２９０において、制御用演算装置６１は、作業者Ｗに作業ミスを報知する。作業者Ｗが指示している箱５０と異なる箱５０から物品を取り出しているため、制御用演算装置６１は、ピッキング作業において、作業ミスが発生したと判定する。制御用演算装置６１は、作業者Ｗに作業ミスが生じていることを知らせるため、作業ミスを報知する信号を生成して、処理を終了する。作業ミスを報知する報知信号は、プロジェクタ２０、出力装置７０などに送信される。プロジェクタ２０、出力装置７０などは、報知信号に基づき、作業者Ｗに作業ミスを報知する。

このように、制御用演算装置６１が図９Ａ、９Ｂに示す処理を行うことで、作業支援装置１は、作業者Ｗによるピッキング作業の作業ミスを抑制することができる。

制御用演算装置６１は、指定された物品が取り出されたことを確認し、次の指示をスクリーン１３に表示するようにプロジェクタ２０を制御する。図４に示すように、作業完了マーカー１２０が第４棚１１−４の上方に付されている。作業者Ｗは、指定された物品を箱５０から取出したあとに、作業完了マーカー１２０の上方に手２を置く。カメラ３０の撮像画像には、作業完了マーカー１２０が含まれる。作業完了マーカー１２０の上方に手２が置かれると、撮像画像において、作業完了マーカー１２０の一部が手２により隠される。このため、制御用演算装置６１は、撮像画像から作業完了マーカー１２０を検索して、撮像画像に作業完了マーカー１２０が存在しないときに、作業者Ｗが指定された物品を箱５０から取出したと判定する。制御用演算装置６１は、作業者Ｗが指定された物品を箱５０から取り出したと判定すると、次の指示をスクリーン１３に表示するようにプロジェクタ２０を制御する。制御用演算装置６１は、撮像画像に作業完了マーカー１２０が存在するとき、作業者Ｗが指定された物品を箱５０から取り出していないと判定し、撮像画像に作業完了マーカー１２０が存在しなくなるまで待つ。

また、制御用演算装置６１は、撮像画像から作業完了マーカー１２０の領域を抽出して、一部が手２などの物体に隠されているかを確認してもよい。この場合、制御用演算装置６１は、作業完了マーカー１２０の一部が物体により隠されているとき、作業者Ｗが指定された物品を箱５０から取出したと判定する。

（変形例）
マーカー５１は、例えば、作業者Ｗが箱５０から物品を取り出すときに、作業者Ｗの手２がマーカー５１の上方を通過するような長さを有する。例えば、箱５０を隙間なく棚１１に並べるとき、マーカー５１の一端は、箱５０においてマーカー５１が付された一辺の一端と離れていてもよい。例えばマーカー５１の一端と、箱５０においてマーカー５１が付された一辺の一端との距離は、所望の距離、例えば２ｃｍ以下でもよい。

図６に示すステップＳ１２０において、制御用演算装置６１は、撮像された画像から設定要求マーカー１１０の領域を抽出して、一部が手２などの物体に隠されているかを確認してもよい。この場合、制御用演算装置６１は、設定要求マーカー１１０の一部が物体により隠されているとき、設定要求が入力されたと判定する（ステップＳ１２０；ＹＥＳ）。撮像画像における設定要求マーカー１１０の領域は、予め制御用演算装置６１に記憶されている。

図９Ａに示すステップＳ２２０において、制御用演算装置６１は、マーカー５１が写されている領域を抽出し、一部が隠れたマーカー５１があるかを判定してもよい。制御用演算装置６１は、撮像画像においてマーカー５１が写されている領域を表すマーカー領域情報を箱情報２００から取得して、当該領域を撮像画像から抽出する。抽出した領域に、一部が隠されたマーカー５１があるかを判定する。

図９Ａに示すステップＳ２４０において、制御用演算装置６１は、撮像画像において一部が隠れているマーカー５１のｙ_２方向における位置に基づき、最も上方にある棚１１に配置された箱５０を特定してもよい。マーカー５１のｙ_２方向における位置に基づき、一部が隠れているマーカー５１が付された箱５０が配置された棚１１が特定される。制御用演算装置６１は、特定した棚１１に基づき、最も上方の棚１１に配置された箱５０を特定する。例えば、制御用演算装置６１は、ｙ_２方向におけるマーカー５１の位置に基づき、第２箱５０−２と、第３箱５０−３とが配置されている棚１１を特定することができる。このため、作業支援装置１は、作業者Ｗが物品を取り出した箱５０を、より上方の棚１１に配置されている第２箱５０−２に特定することができる。マーカー５１のｙ_２方向における位置は、例えば、箱情報２００からマーカー領域情報を抽出することで取得される。

作業支援装置１は、設定要求を入力するための設定要求ボタンを備えてもよい。制御用演算装置６１は、設定要求ボタンが押されることで、図６に示すステップＳ１３０〜Ｓ１６０を実行して、箱５０の位置を特定してもよい。設定要求を入力する方法は、設定要求ボタンに限定されず、任意の方法を選択することができる。

作業支援装置１は、作業完了を入力するための作業完了ボタンを備えてもよい。制御用演算装置６１は、作業完了ボタンが押されることで、作業者Ｗが指定された物品を箱５０から取出したと判定してもよい。作業完了を入力する方法は、作業完了ボタンに限定されず、任意の方法を選択することができる。

上記実施の形態では、ｙ_１方向において、各棚１１の前端が最下段から順番に並び、カメラ３０の撮像方向がｚ_１方向である例を示したが、これに限定されない。カメラ３０の撮像画像を用いて、箱５０が置かれている位置を特定できればよく、任意の方式を選択することができる。例えば、ｙ_１方向において、各棚１１の前端が同じ位置であっても、図１１に示すように、カメラ３０の撮影方向がｚ_１方向から傾いていればよい。言い換えると、カメラ３０の撮影方向から見たときに、各棚１１の前端が、前端の延びる方向に直交する方向に、カメラ３０に近い棚１１から順に並んでいればよい。これにより、カメラ３０は、各棚１１の前端を撮像することができる。

上記実施の方法では、スクリーン１３が棚１１の前端に設けられている例を示したが、これに限定されない。スクリーン１３は、箱５０に対応する表示領域１００を表示できればよく、任意に選択することができる。例えば、箱５０に設けられてもよい。

以上において説明した処理は一例であり、各ステップの順番、処理内容は、機能を阻害しない範囲で変更してもよい。また、説明した構成は、機能を阻害しない範囲で、任意に変更してもよい。例えば、箱５０が置かれる棚１１の段数は、任意に選択することができる。また、箱５０の位置を特定するために、撮像画像における各棚１１の範囲からマーカー５１を検出する例を示したが、これに限定されない。例えば、最初にマーカー５１の位置を検出し、検出したマーカー５１のｙ_２方向の位置から箱５０が置かれている棚１１を特定してもよい。また、カメラ３０を用いて箱５０の位置を特定する場合、作業支援装置１はカメラ３０と制御用演算装置６１とを備えればよい。また、カメラ３０を用いて作業者Ｗの作業ミスを検知する場合も、作業支援装置１はカメラ３０と制御用演算装置６１とを備えればよい。また、カメラ３０は、撮像画像を静止画として撮像しても、動画として撮像してもよい。また、作業支援装置１は、箱５０から物品を取り出す作業を例に説明したが、これに限定されない。例えば、物品を取り出す作業を、物品を収容する作業に置き換えることで、物品を収容する作業に作業支援装置１を適用することができることを理解できよう。

１ 作業支援装置
２ 手
１０ 物品棚
１１ 棚
１２ バー
１３ スクリーン
１４ アーム
１５ アーム
２０ プロジェクタ
３０ カメラ
５０ 箱
５１ マーカー
６０ 制御装置
６１ 制御用演算装置
６２ インターフェース
７０ 出力装置
８０ 管理端末
８１ 管理用演算装置
８２ 表示装置
８３ 入力装置
８４ インターフェース
１００ 表示領域
１１０ 設定要求マーカー
１２０ 作業完了マーカー
２００ 箱情報
Ｆ 床
Ｗ 作業者

Claims (10)

1. マーカーが付された複数の箱が置かれた物品棚の撮像画像を撮像するカメラと、
   前記撮像画像に写された前記マーカーの位置に基づき、前記複数の箱のうちの第１箱の位置を特定し、前記第１箱に対応した表示領域の位置を決定する演算装置と、
   前記表示領域に作業者への指示を表示するプロジェクタと
   を備え、
   前記マーカーは、前記箱の一辺の端部から他の端部までの長さを有する
   作業支援装置。
2. 前記物品棚は、前記複数の箱が並べられた複数の棚を有し、
   前記複数の棚の前端が延びる方向を第１方向とすると、
   前記複数の棚に含まれる各棚は、
   前記各棚の前端が、前記カメラの撮像方向から見たときに、前記第１方向に直交する第２方向に、前記カメラに近い棚から順番に並ぶように、
   配置されている
   請求項１に記載の作業支援装置。
3. 前記演算装置は、
   前記第１方向における前記第１箱の位置に基づき、前記各棚における前記第１箱の前記第１方向の位置を特定し、
   前記第２方向における前記第１箱の位置に基づき、前記複数の棚から、前記第１箱が置かれている棚を特定する
   請求項２に記載の作業支援装置。
4. 前記演算装置は、
   前記撮像画像に基づき、前記複数の箱のうち、物品が取り出される第２箱を特定する
   請求項１から３のいずれか１項に記載の作業支援装置。
5. 前記演算装置は、
   前記撮像画像から、少なくとも一部が隠された前記マーカーを検出することで、前記第２箱を特定する
   請求項４に記載の作業支援装置。
6. 前記物品棚は、少なくとも１つの棚を有し、
   前記撮像画像において、
   前記棚の前端が延びる方向を第３方向とし、
   前記第３方向に直交し、前記棚の前端から後端に向かう方向を第４方向とすると、
   前記演算装置は、
   前記撮像画像において、少なくとも一部が隠された前記マーカーが写された前記第４方向における位置に基づき、前記第２箱を特定する
   請求項５に記載の作業支援装置。
7. 前記演算装置は、
   前記撮像画像から少なくとも一部が隠された前記マーカーを検出し、
   前記撮像画像に基づき、検出した前記マーカーを隠している物体を検出し、
   前記撮像画像における前記物体の長手方向に基づき、前記第２箱を特定する
   請求項５または６に記載の作業支援装置。
8. 前記物品棚は、少なくとも１つの棚を有し、
   前記撮像画像において、
   前記棚の前端が延びる方向を第３方向とし、
   前記第３方向に直交し、前記棚の前端から後端に向かう方向を第４方向とすると、
   前記演算装置は、
   前記撮像画像において、前記物体の長手方向が前記第４方向よりも前記第３方向に所望の角度以上に傾いているとき、少なくとも一部が隠された前記マーカーが付された前記箱のうち、前記第３方向にある前記箱を前記第２箱として特定する
   請求項７に記載の作業支援装置。
9. 前記演算装置は、
   予め登録されたマーカー情報に表された登録マーカーを前記撮像画像から検索し、
   前記撮像画像に存在しない前記登録マーカーが、少なくとも一部が隠された前記マーカーであると特定する
   請求項５から８のいずれか１項に記載の作業支援装置。
10. マーカーが付された複数の箱が置かれた物品棚の撮像画像を撮像するカメラと、
    前記撮像画像に基づき、前記複数の箱のうち、作業者が物品を取り出す箱を特定する演算装置と
    を備え、
    前記マーカーは、前記箱の一辺の端部から他の端部までの長さを有し、
    前記演算装置は、
    前記撮像画像に基づき、前記マーカーから少なくとも一部が隠れている第１マーカーを検出し、
    前記第１マーカーが付された箱を、作業者が物品を取り出す箱として特定する
    作業支援装置。
    

Images