JP2023143179A - 情報処理装置、荷物検出システム、及び、キャリブレーション方法 - Google Patents

Abstract

【課題】荷物検出システムのキャリブレーションを効率化する。【解決手段】情報処理装置は、複数のマークを有するボードを撮像した撮像画像を撮像カメラから取得し、ボードを撮像した赤外線画像を赤外線カメラから取得し、撮像画像からマークを検出し、検出されたマークの数に基づいて、撮像画像のキャリブレーションに関する第１の指標を算出し、赤外線画像からマークを検出し、検出された前記マークの数に基づいて、赤外線画像のキャリブレーションに関する第２の指標を算出し、第１の指標及び第２の指標を示す情報を出力する。【選択図】図８

Description

本開示は、情報処理装置、荷物検出システム、及び、キャリブレーション方法に関する。

近年の経済活動の高まりに伴い、荷物の流通量は増大する一方である。荷物の流通工程において、荷物を行先別に仕分ける仕分け作業は時間のかかる工程であり、従前から人手による作業に頼っているが、仕分け作業の少なくとも一部を自動化する技術も提案されている。

特許文献１は、搬送経路上を移動する荷物を追跡し、荷物から読み取った荷物に関する情報と当該荷物の位置の情報に基づき、表示する画像を決定し、プロジェクタから画像を荷物に照射して画像を荷物上に表示するシステムを開示している。

米国特許第７０９０１３４号明細書

プロジェクタから荷物に向けて画像を適切に照射できるように、システムの設置時に各センサのキャリブレーションが行われる。そして、キャリブレーションの効率化が求められている。

本開示は、上述した従来の事情を鑑みて案出され、荷物検出システムのキャリブレーションを効率的に行うための技術に関する。特に、情報処理装置、荷物検出システム、及び、キャリブレーション方法を提供することを目的とする。

本開示の一態様に係る情報処理装置は、搬送される荷物の検出に用いられる撮像画像を撮像する撮像カメラの位置、及び、前記荷物の検出に用いられる赤外線画像を撮像する赤外線カメラの位置に関するキャリブレーションを行う情報処理装置であって、プロセッサ及びメモリを備え、前記プロセッサは、複数のマークを有するボードを撮像した前記撮像画像を前記撮像カメラから取得し、前記ボードを撮像した前記赤外線画像を前記赤外線カメラから取得し、前記撮像画像から前記マークを検出し、検出された前記マークの数に基づいて、前記撮像画像のキャリブレーションに関する第１の指標を算出し、前記赤外線画像から前記マークを検出し、検出された前記マークの数に基づいて、前記赤外線画像のキャリブレーションに関する第２の指標を算出し、前記第１の指標及び前記第２の指標を示す情報を出力する。

本開示の一態様に係る荷物検出システムは、搬送される荷物に投影画像を照射する投影装置と、前記荷物の検出に用いられる撮像画像を撮像する撮像カメラと、前記荷物の検出に用いられる赤外線画像を撮像する赤外線カメラと、前記投影装置、前記撮像カメラ及び前記赤外線カメラを制御する情報処理装置と、を備え、前記情報処理装置は、前記撮像カメラの位置及び前記赤外線カメラの位置に関するキャリブレーションにおいて、複数のマークを有するボードを撮像した前記撮像画像を前記撮像カメラから取得し、前記ボードを撮像した前記赤外線画像を前記赤外線カメラから取得し、前記撮像画像から前記マークを検出し、検出された前記マークの数に基づいて、前記撮像画像のキャリブレーションに関する第１の指標を算出し、前記赤外線画像から前記マークを検出し、検出された前記マークの数に基づいて、前記赤外線画像のキャリブレーションに関する第２の指標を算出し、前記第１の指標及び前記第２の指標を示す情報を出力する。

本開示の一態様に係るキャリブレーション方法は、情報処理装置によって、搬送される荷物の検出に用いられる撮像画像を撮像する撮像カメラの位置、及び、前記荷物の検出に用いられる赤外線画像を撮像する赤外線カメラの位置に関するキャリブレーションを行うキャリブレーション方法であって、設置作業者に複数のマークを有するボードを設置させ、前記ボードを撮像した前記撮像画像を前記撮像カメラから取得し、前記ボードを撮像した前記赤外線画像を前記赤外線カメラから取得し、前記撮像画像から前記マークを検出し、検出された前記マークの数に基づいて、前記撮像画像のキャリブレーションに関する第１の指標を算出し、前記赤外線画像から前記マークを検出し、検出された前記マークの数に基づいて、前記赤外線画像のキャリブレーションに関する第２の指標を算出し、前記第１の指標及び前記第２の指標を示す情報を表示する。

なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、記憶媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。

本開示によれば、荷物仕分けシステムのキャリブレーションを効率的に行うことが可能となる。

実施の形態１に係る荷物仕分けシステムの構成例を示すブロック図 実施の形態１に係る情報処理装置の構成例を示すブロック図 実施の形態１に係る荷物の搬送を説明するための概略図 実施の形態１に係る荷物の検出及び投影を説明するための概略図 実施の形態１に係る荷物仕分けシステムの処理シーケンス 実施の形態１に係る荷物仕分けシステムの処理シーケンス 実施の形態１に係る搬送中の荷物の認識を説明するための概略図 実施の形態１に係る撮像カメラ及び赤外線カメラのキャリブレーションを説明するための概略図 実施の形態１に係るキャリブレーションの作業手順を示すフローチャート 実施の形態１に係るキャリブレーションに関する指標画像を示す図

以下、添付図面を適宜参照しながら、本開示に係る荷物検出システム、荷物検出方法、情報処理装置およびその制御方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、あるいは、実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されない。

＜実施の形態１＞
［システム構成］
図１は、実施の形態に係る荷物仕分けシステム１００の構成例を示すブロック図である。荷物仕分けシステム１００は、搬送コンベア（図１では不図示）により搬送されてくる複数の荷物を仕分ける作業者の作業を支援するシステムであり、荷物検出システムとしても動作する。荷物仕分けシステム１００は、例えば、小売業者、卸売り業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形やサイズは特に限定はされず、荷物の種類も特に限定されない。荷物を搬送する搬送コンベアは、例えば、ベルトコンベアまたはローラコンベアなどであってよい。また、荷物の搬送経路は、複数の搬送コンベアを組み合わせることで、搬送方向が変化したり、搬送経路の一部が分岐したりしていてもよい。

荷物仕分けシステム１００は、仕分け管理サーバ１０１、連携サーバ１０２、ラベルリーダ１０３、仕分けクライアント１０４、プロジェクタ１０５、距離センサ１０６、および画像センサ１０７を含んで構成される。仕分けクライアント１０４、プロジェクタ１０５、距離センサ１０６、および画像センサ１０７を１つの組として、荷物を搬送する搬送コンベア上に設けられる複数の仕分け領域それぞれに対応付けて複数のクライアントシステム１１０が設けられる。したがって、仕分けクライアント１０４、プロジェクタ１０５、距離センサ１０６、および画像センサ１０７はそれぞれ、仕分け領域の数に応じて複数設置される。以下の説明において、個別に装置の説明を要する場合には添え字（ａ，ｂ，・・・）を付し、装置をまとめて説明する場合には添え字を省略して示す。

仕分け管理サーバ１０１は、本実施の形態に係る荷物仕分けシステム１００の全体の制御を司る情報処理装置である。仕分け管理サーバ１０１は、ラベルリーダ１０３の検出結果を取得したり、連携サーバ１０２から各種荷物情報を取得したりする。また、仕分け管理サーバ１０１は、１または複数の仕分けクライアント１０４それぞれに対して、各種指示を行ったり、各種情報を収集したりする。更に、仕分け管理サーバ１０１は、後述する搬送コンベアの動作制御や、動作情報の収集および管理を行ってよい。

連携サーバ１０２は、ラベル情報と、荷物情報とを対応付けて保持、管理している。そして、連携サーバ１０２は、仕分け管理サーバ１０１からの要求に応じて、ラベルリーダ１０３にて読み取ったラベル情報に対応する荷物情報を提供する。なお、図１の例では、仕分け管理サーバ１０１、および連携サーバ１０２はそれぞれ１台ずつ示しているが、機能の冗長化や負荷分散などの観点から複数の装置にて構成されてもよい。また、仕分け管理サーバ１０１側にて、ラベル情報と仕分けのパターンを対応付けて管理しておき、これに基づいて、後述する各荷物の仕分けに係る処理を行ってもよい。このような場合などには、連携サーバ１０２の構成を省略し、仕分け管理サーバ１０１は、取得したラベル情報のパターンに基づいて、後述する各荷物の仕分けに係る処理を行うような構成であってよい。

ラベルリーダ１０３は、搬送コンベアにより搬送されている荷物に付されているラベルを読み取るための装置であり、レンズやイメージセンサなどの光学部品を含んで構成される。荷物に付されているラベルを読み取ることで、ラベルにて示される各種情報（以下、「ラベル情報」と称する）を取得する。ラベルの形式や方式は特に限定するものではなく、例えば、バーコードや二次元コード（ＱＲコード（登録商標）など）を利用することができる。本実施の形態では、ラベルとしてバーコードを例に挙げて説明する。また、ラベル情報は、例えば、荷物を一意に識別するための識別情報を含んでよい。この場合、識別情報を構成する文字種や桁数などは特に限定されない。

ラベルリーダ１０３は、例えば、一般的な撮像カメラを使用し、撮像した画像からラベルの領域を画像認識によって抽出して各種情報を読み取ったり、ラベルに記載されている文字等をＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ／Ｒｅａｄｅｒ）によって認識したりしてもよい。ラベルリーダ１０３は、ラベルを読み取るための専用の装置であってもよいし、他の装置と一体となった構成であってもよい。また、ラベルリーダ１０３は、ラベルの三次元座標を検出するような構成であってもよい。また、荷物の多様なサイズなどに対応して複数のラベルリーダ１０３が備えられてもよいし、ラベルの様々な貼り付け位置に対応して多方向から荷物を撮影するような構成であってもよい。

本実施の形態に係る荷物情報としては、例えば、荷物に個別に付与される荷物特定番号（例えば、荷物を一意に識別するための識別情報）、荷物の発送元の氏名、住所、電話番号、宛先（例えば、受取人）の氏名、住所、電話番号、荷物の種類、などが挙げられる。なお、これらの情報に限定するものではなく、荷物情報に含まれる項目は、必要に応じて増減してよい。本実施の形態において、仕分け管理サーバ１０１がラベルリーダ１０３からラベル情報を取得し、このラベル情報を用いて連携サーバ１０２に問い合わせを行うことで、対応する荷物情報を取得する。上述したように、連携サーバ１０２との連携を省略するような構成の場合には、仕分け管理サーバ１０１側で、ラベル情報と仕分けに関するパターンの情報とを対応付けて保持しておいてよい。

仕分けクライアント１０４は、仕分け管理サーバ１０１からの指示に基づいて、搬送されている荷物に対する投影処理等を制御する情報処理装置である。また、仕分けクライアント１０４は、距離センサ１０６および画像センサ１０７による撮影結果を取得し、その撮影結果に基づいて荷物を検出、管理する。また、仕分けクライアント１０４は、検出した荷物の位置情報やサイズ情報、検出した時刻情報などを仕分け管理サーバ１０１に提供する。

プロジェクタ１０５は、仕分けクライアント１０４の指示に基づいて、搬送経路上の荷物に対して所定の投影パターンを含む投影画像の照射を行う投影装置である。なお、本実施の形態において、「投影画像」とは、プロジェクタ１０５により仕分け領域全体に重畳して投影させる画像全体を示す。また、「投影パターン」とは、仕分け領域にて検出された荷物それぞれに対応して重畳して表示させる画像を示す。したがって、仕分け領域にて荷物が検出された場合、投影画像には、荷物に応じて１または複数の投影パターンが含まれることとなる。投影パターンの例については後述する。

距離センサ１０６は、距離センサ１０６と撮像対象（例えば、荷物の表面）との距離情報を検出するためのセンサであり、検出結果を距離画像として取得する。距離画像は、距離を示す数値を列挙したテーブルなど、人の目で画像として認識できないものを含んでよい。すなわち、距離画像は、撮像した領域内における座標と距離との関係を示す情報であればよく、そのデータ構造を特に限定するものではない。距離センサ１０６としては、例えば、赤外線センサ（ＩＲセンサ）や、複数のカメラにて構成されるステレオカメラなどが用いられてよい。

画像センサ１０７は、レンズ、イメージセンサ等の光学部品を含む撮像装置である。画像センサ１０７は、例えば、撮像カメラにて構成される。撮像カメラは、三次元カメラ、複数台の二次元カメラが用いられてよい。画像センサ１０７は、搬送コンベアにより搬送されてくる荷物を含む搬送コンベアを撮像し、色画像を生成する。ここでの色画像とは、撮影対象の表面の色を所定の階調で表現した画像を示す。階調にはＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）の２５６階調の他、グレースケールなどを含んでよい。

クライアントシステム１１０の数は、搬送コンベアの長さや各センサの検出範囲などに応じて異なる。なお、仕分けクライアント１０４は１台構成とし、この１台の仕分けクライアント１０４にて、複数の仕分け領域に対応した複数のプロジェクタ１０５、複数の距離センサ１０６、および複数の画像センサ１０７を制御するような構成であってもよい。また、本実施の形態では、センサとして距離センサ１０６と画像センサ１０７を用いる例を示したが、これらが一体となったセンサが用いられてもよいし、いずれか一方のみが用いられるような構成であってもよい。また、他の種類のセンサが用いられてもよい。搬送コンベアの搬送形式は特に限定するものではなく、例えば、１列にて荷物を搬送するような構成であってもよいし、複数列にて荷物を搬送するような構成であってもよい。

各装置は、有線／無線により通信可能に接続される。ここでの通信方式や接続方式は特に限定するものではなく、所定のネットワークケーブルを用いて接続されてもよいし、複数の方式を組み合わせて接続されてもよい。

（情報処理装置）
図２は、本実施の形態に係る仕分け管理サーバ１０１や連携サーバ１０２、仕分けクライアント１０４として適用可能な情報処理装置のハードウェア構成の例を示す図である。ここでは各装置が同じ構成を有するものとして説明するが、各装置がそれぞれ異なる構成であってもよい。

情報処理装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、メモリ２０２、記憶装置２０３、入出力部２０４、通信部２０５、および外部Ｉ／Ｆ２０６を含んで構成される。ＣＰＵ２０１は、メモリ２０２や記憶装置２０３に格納された各種プログラムやデータを読み出して処理を実行することで、各種機能を実現する。なお、ＣＰＵ２０１は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のような他の演算回路であってもよいし、他の演算回路と併用されてもよい。メモリ２０２は、各種情報を記憶、保持するための記憶領域であり、例えば、不揮発性の記憶領域であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や、揮発性の記憶領域であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。記憶装置２０３は、各種情報を記憶、保持するための記憶領域であり、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）又はフラッシュメモリなどから構成される。

入出力部２０４は、例えば、不図示のマウスやキーボードからユーザによる指示を受け付けたり、不図示のディスプレイなどにより各種情報を出力したりする。通信部２０５は、有線／無線などのネットワークを介して外部装置との通信を行い、各種データや信号の送受信を行う。通信部２０５による通信方式は、特に限定するものではなく、複数の通信方式に対応していてよい。例えば、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、電力線通信、近距離無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））などが用いられてよい。外部Ｉ／Ｆ２０６は、外部装置とのデータの送受信を行うためのインタフェースである。情報処理装置２００が備える各部位は、不図示の内部バスなどにより通信可能に接続される。

［搬送例］
図３は、本実施の形態に係る荷物の搬送を説明するための概略図である。搬送対象の荷物３００にはそれぞれラベル３０１が付される。ラベル３０１は、搬送経路の任意の位置に設置されたラベルリーダ１０３によって、搬送中に読み取られる。なお、図３の例では、ラベル３０１は、荷物３００の上面に付され、上側からラベルリーダ１０３により読み取られる構成としたが、これに限定するものではない。例えば、荷物３００の側面にラベル３０１が付され、これに対応してラベルリーダ１０３が側方から読み取り可能な構成であってもよい。

荷物３００は、搬送コンベア３０２により任意の速度にて搬送される。搬送コンベア３０２には、ロータリーエンコーダ３０３が設置され、その搬送距離を適時検出し、仕分け管理サーバ１０１に提供される。ロータリーエンコーダ３０３は、搬送コンベア３０２の搬送に伴って回転する回転機構（不図示）に取り付けられており、その回転機構の回転数を出力する。この回転機構は、搬送コンベア３０２がベルトコンベアの場合は、ベルトに接しているローラまたはベルトを移動させるモータである。また、搬送コンベア３０２がローラコンベアの場合は、搬送コンベア３０２を構成するローラである。ここでは、矢印にて示す方向に沿って、荷物が搬送されているものとする。搬送コンベア３０２は、ユーザからの指定に応じてその搬送速度が変化したり、搬送を停止したりする。必要に応じて、逆方向への搬送が行われてもよい。また、搬送コンベア３０２の搬送速度は、搬送コンベア３０２の各機構の物理的な特性など、ユーザからの指定以外の要因でも変化したりする。しかし、ロータリーエンコーダ３０３は、回転機構の回転数を正確に検知するため、搬送速度の変化等の影響を受けにくい。搬送コンベア３０２による搬送は、例えば、仕分け管理サーバ１０１により制御されてもよいし、別途設けられる制御装置（不図示）にて制御されてもよい。

ラベルリーダ１０３よりも搬送方向の下流側には、複数の仕分け領域に対応して、各種センサ（本例では、距離センサ１０６および画像センサ１０７）と、プロジェクタ１０５が複数設置される。図３では、複数の仕分け領域のうちの最上流の仕分け領域Ａを示している。仕分け領域Ａに対応する各種センサは、仕分け領域Ａを撮影することにより各種画像を取得し、これらの画像を用いて、仕分けクライアント１０４ａにより搬送中の荷物が検出される。具体的には、仕分け領域Ａの開始位置３０５ａに荷物３００が到達すると、荷物３００は、各種センサの撮影範囲に進入することとなる。距離センサ１０６ａおよび画像センサ１０７ａの撮影範囲３０４は、少なくとも仕分け領域Ａの範囲を含む。また、仕分け領域Ａの範囲内において、仕分け管理サーバ１０１や仕分けクライアント１０４の指示に基づいて、プロジェクタ１０５ａが所定の投影画像を投影する。プロジェクタ１０５ａによる投影範囲３０６は、少なくとも仕分け領域Ａを含む。なお、ラベルリーダ１０３の読み取り位置から、開始位置３０５ａまでの距離は、後述する処理シーケンスの処理速度や、各種センサの読み取り速度などに応じて規定されてよい。

搬送コンベア３０２の周囲には、荷物３００に対する作業を行う作業者Ｍが位置し、必要に応じて、各種作業を実施する。このとき、作業者Ｍは、プロジェクタ１０５により投影された投影画像（投影パターン等）に基づいて作業を実施することが可能である。

図４は、複数のクライアントシステム１１０それぞれに対応した複数の仕分け領域を説明するための図である。ここでは、２つの仕分け領域Ａ、Ｂを例に挙げ、それぞれ、クライアントシステム１１０ａ、１１０ｂにより監視されているものとして説明する。仕分け領域の数やその範囲（例えば、搬送方向の長さや幅）はクライアントシステム１１０の機能に応じて規定されてよい。したがって、仕分け領域Ｂよりも更に搬送方向下流において、更に１または複数の仕分け領域が設けられてよい。

仕分け領域Ａは、距離センサ１０６ａおよび画像センサ１０７ａにより撮影され、その画像が仕分けクライアント１０４ａに提供される。また、仕分け領域Ａにおいて、プロジェクタ１０５ａにより、任意の投影パターンを含む投影画像が投影される。同様に、仕分け領域Ａの搬送方向下流側に隣接する仕分け領域Ｂは、距離センサ１０６ｂおよび画像センサ１０７ｂにより撮影され、その画像が仕分けクライアント１０４ｂに提供される。また、仕分け領域Ｂにおいて、プロジェクタ１０５ｂにより、任意の投影パターンを含む投影画像が投影される。仕分け領域Ｂでは、仕分け領域Ａから搬送されてきた荷物の監視を引き継ぐ形で監視が行われる。このとき、図４に示すように、クライアントシステム１１０それぞれによる仕分け領域は、一部の領域が重複しており、以下、この領域を「ハンドオーバ領域」とも称する。開始位置３０５ｂは、仕分け領域Ｂの監視の開始位置を示し、仕分け領域Ｂの上流側に隣接する仕分け領域Ａの監視の終了位置（不図示）とは異なる。ハンドオーバ領域の詳細については後述する。

［処理シーケンス］
図５、図６を用いて、本実施の形態に係る荷物仕分けシステム１００の処理シーケンスについて説明する。各装置の処理は、各処理の処理主体（ＣＰＵ等）により各種機能に対応したプログラムが実行されることで実現されてよい。図５や図６に示す処理が開始される際に搬送コンベア３０２の動作が開始され、それにより荷物が順次搬送されるものとする。なお、以下に示す処理シーケンスにおける各処理の主体は一例であり、その一部が他の装置によって実行されてもよい。例えば、以下に示す仕分け管理サーバ１０１の処理の一部を、仕分けクライアント１０４が実行するような構成であってもよい。または、図１に示した各サーバや仕分けクライアントを１の装置にて構成し、この１の装置にて以下の処理シーケンスを実行させてもよい。

ラベルリーダ１０３は、搬送コンベア３０２にて搬送されている荷物に付与されているラベルを検出し、そのラベル情報を読み取る（ステップＳ５０１）。

ラベルリーダ１０３は、Ｓ５０１にて読み取ったラベル情報を仕分け管理サーバ１０１へ送信する（ステップＳ５０２）。この時送信する情報としては、ラベルにて示される情報の他、読み取った時刻やラベルを読み取る際に検出した位置情報（例えば、三次元情報など）が含まれてもよい。

仕分け管理サーバ１０１は、ラベルリーダ１０３から送信されてきたラベル情報を取得する（ステップＳ５０３）。このとき、仕分け管理サーバ１０１は、搬送コンベア３０２に備えられたロータリーエンコーダ３０３から、検出値を取得して、対応付けて保持する。ロータリーエンコーダ３０３による検出値は、その回転数に基づく、搬送コンベア３０２の移動距離に相当する。更に、仕分け管理サーバ１０１は、取得したラベル情報を用いて、連携サーバ１０２に対して荷物情報を問い合わせる。

連携サーバ１０２は、仕分け管理サーバ１０１からの問い合わせにて示されるラベル情報に対応する荷物情報を所定のＤＢ（データベース）から検索し、特定する（ステップＳ５０４）。ＤＢは、連携サーバ１０２が内部に備えていてもよいし、ネットワークを介して連携サーバ１０２に接続された外部装置（不図示）に構成されていてもよい。

連携サーバ１０２は、ステップＳ５０４にて特定した荷物情報を、問い合わせに対する応答として仕分け管理サーバ１０１へ送信する（ステップＳ５０５）。

仕分け管理サーバ１０１は、連携サーバ１０２から取得した荷物情報に基づき、投影パターンを決定する（ステップＳ５０６）。本実施の形態に係る投影パターンは、複数のパターンとして予め規定され、保持されている。投影パターンは、例えば、荷物情報にて示される宛先（例えば、送付先住所）に応じて決定されてよいし、仕分け領域に応じて決定されてもよい。

仕分け管理サーバ１０１は、ステップＳ５０６にて決定した投影パターンを含む投影指示を仕分けクライアント１０４へ送信する（ステップＳ５０７）。ここでは、図３にて示したように、搬送経路の最上流に位置する仕分け領域Ａに対応するクライアントシステム１１０ａの仕分けクライアント１０４ａに送信するものとして説明する。つまり、各荷物は、まず、仕分け領域Ａに向けて搬送される。なお、投影指示には、投影パターンのほか、ステップＳ５０６にて取得した荷物情報や、ステップＳ５０１にてラベルリーダ１０３にて読み取ったラベル情報およびその読み取った際の時刻の情報などを含んでよい。ここでの投影指示は、仕分けクライアント１０４ａがセンサ類にて荷物を検出したことに起因して、その荷物に関する情報を問い合わせ、それに応じて仕分け管理サーバ１０１から仕分けクライアント１０４ａに送信されてよい。または、仕分け管理サーバ１０１がラベルリーダ１０３からラベル情報を受信したことに起因して、仕分けクライアント１０４ａに送信されてよい。

ステップＳ５２０（ステップＳ５０８～ステップＳ５１５）は、仕分け領域（ここでは、仕分け領域Ａ）内を搬送されている各荷物を監視するためにクライアントシステム１１０（ここでは、クライアントシステム１１０ａ）により繰り返し行われる処理である。ここでは、便宜上、距離センサ１０６および画像センサ１０７（ここでは、距離センサ１０６ａおよび画像センサ１０７ａ）をまとめて「センサ類」と記載する。

センサ類は、仕分け領域Ａ内を撮影し、その画像を取得する（ステップＳ５０８）。なお、本実施の形態では、仕分けクライアント１０４ａが、センサ類にて撮影された画像を用いて荷物の検出を行うものとして説明するが、その処理の一部をセンサ類側で実施するような構成であってもよい。例えば、センサ類は、荷物に対応する領域の特定（荷物の有無）や、各荷物の三次元座標（位置）やサイズ（縦、横、高さ）などを検出するような構成であってもよい。

センサ類は、取得結果を仕分けクライアント１０４ａに送信する（ステップＳ５０９）。このとき、センサ類は、取得した画像に対して所定の処理を行った上で、仕分けクライアント１０４ａに送信してよい。例えば、画像センサ１０７ａの場合、取得した画像情報に対して任意の画像処理（例えば、画像圧縮や補正処理）が行われてよい。

仕分けクライアント１０４ａは、ステップＳ５０９にてセンサ類から送信された取得結果に基づいて、荷物の検出処理を行う（ステップＳ５１０）。具体的には、仕分けクライアント１０４ａは、仕分け領域Ａ内において、搬送コンベア３０２により搬送されている１または複数の荷物を、センサ類からの取得結果に基づいて特定する。荷物の検出の際の処理は公知の方法を用いてよく、特に限定するものではない。例えば、機械学習による領域分割にて荷物に対応する領域を検出してもよい。または、予め規定されたパターンを用いて、パターンマッチングにより荷物を検出してもよい。

仕分けクライアント１０４ａは、ステップＳ５０７にて仕分け管理サーバ１０１から送信された投影指示と、ステップＳ５１０の検出結果とに基づいて、各情報の対応付けを行う（ステップＳ５１１）。これにより、検出した１または複数の荷物それぞれと、仕分け管理サーバ１０１から送信された投影指示にて示される各種情報（投影パターン等）が対応付けられる。

投影パターンは、例えば、荷物の配送先住所に対応した仕分け場所を示す色を有し、円い枠で囲んだ数字の画像である。ここで、数字は、例えば、仕分けられた荷物を運ぶトラックの番号（トラック自体の番号や駐車場番号など）や、当該トラックなどに搬入されるべき棚や箱などの番号等に対応する。また、数字の画像は、直接的に棚や箱などの番号に対応させるのではなく、ピックアップした荷物を他の場所またはトラック等へ移動させるシューター（不図示）の番号等に対応していてもよい。トラック等の駐車位置は交通状況などに応じて頻繁に変わるため、搬送コンベア３０２周辺から見た仕分け先を随時対応させることは難しいことがある。そのため、搬送コンベア３０２と搬送トラック等との間にシューターを挟み、搬送コンベア３０２周辺ではシューターの番号を投影することで、搬送コンベア３０２周辺の構成を随時変えなくとも、シューターの出口の配置換えなどで仕分け先の変化に対応することができる。この場合、状況の変化に応じて、投影パターンの内容が切り替えられてもよい。

投影パターンとして、数字を表示する他の例としては、配送先住所に対応した郵便番号や、荷物Ｐをピックアップすべき作業者の番号などであってもよい。また、数字以外の情報を表示する例としては、仕分け方向を示す矢印（搬送コンベア３０２の搬送方向に対して右または左など）または文字（「左」、「右」など）であってもよい。更に、表示の形態も円い枠で囲んだ数字に限られるものではなく、四角い枠で囲んだ数字（“３”、“３５９”、“２４７３５”）など様々な構成であってよい。さらに、投影パターンは、枠によって数字または文字を囲むものに限らず、背景を塗りつぶした白抜きの数字または文字であってもよい。また、表示する情報に応じて、丸、三角、四角など表示する数字または文字の形状を切り替えるなどとしてもよい。他にも、表示する情報ごとに個別に対応付けできるような絵を表示するなどとしてもよい。

また、投影パターンは静止画像に限らず、アニメーションであってもよい。アニメーションの例としては、上記の各例を点滅させたり、拡大縮小させたり、色を変化させたりしてもよい。また、仕分け方向を反映したアニメーションを投影してもよい。仕分け方向を反映したアニメーションの例としては、仕分け方向に向かって光線または光点等を移動させたり、仕分け方向に向かって投影パターンの全体または一部を形成したり色を変化させたり、仕分け方向に矢印を動かして表示させたりするなどが挙げられる。投影パターンの一部のみをアニメーションの対象とする場合は、数字や矢印などの作業者による仕分け先の判断への影響が大きい部分は変化させず、枠線などの仕分け先の影響の少ない部分を変化させてもよい。ただし、仕分け先の選択肢が少ない場合など、枠線内に投影される数字等の意味よりも仕分け方向を直感的に伝える方が効率的な状況では、固定された枠線内で数字や矢印などを仕分け方向に動かしてもよい。また、アニメーションは繰り返し投影されてもよいし、一度だけ投影されてもよい。

また、投影パターンは、仕分け先を示すものには限られず、荷物仕分けシステム１００で発生しているエラーや、作業者が荷物を見過ごしてしまった場合の通知等であってもよい。

また、投影パターンを荷物に直接投影するのではなく、画像を表示可能な眼鏡を介して、擬似的に、荷物に投影パターンが投影されているかのように作業者に認識させてもよい。つまり、作業者が画像を表示可能な特殊な眼鏡を装着している場合、眼鏡を介して視認される荷物の像に、ここでの投影パターンを重ねあわせてもよい。

また、投影パターンは、荷物以外の場所に投影してもよい。例えば、搬送コンベア３０２の、荷物が存在していない領域に、作業者への一般的な通知内容を投影してもよい。このような通知の例としては、荷物の到着量の増減の予告や、作業の残り時間、作業者への挨拶等が挙げられる。

仕分けクライアント１０４ａは、ステップＳ５１０にて検出した１または複数の荷物に対する三次元空間内における処理を行う（ステップＳ５１２）。ここでの三次元空間内における処理では、搬送経路上における三次元座標系にて、各荷物を三次元形状にて表現するように処理する。なお、センサ類の数や配置によっては、センサ類の死角に位置する面の情報は得られないことがある。この場合、各荷物の三次元形状を一般的な荷物の形状（例えば、直方体形状等）に合致するよう補完してもよい。また、荷物を構成する面のうち、投影画像が投影されるべき面の三次元形状が認識できていれば、指示を投影することができるため、投影対象となる面のみ、または、投影対象となる面を含む面の集合を荷物の三次元形状として表現してもよい。本実施の形態では、投影対象となる面は荷物の上面であるものとするが、側面等であっても構わない。本実施の形態のセンサ類は、最低限、荷物の上面の情報が得られるよう上方に配置されているが、投影対象の面が側面等の場合は、その面に合わせた位置から荷物を撮影する。

搬送経路上の三次元座標系については、クライアントシステム１１０ａ内において原点及び各座標軸が予め規定されているものとする。また、ラベルリーダ１０３、および複数のクライアントシステム１１０それぞれにおける三次元座標系についても、その対応関係が予め対応付けられ、適時調整されているものとする。ここでの複数の三次元座標系は、荷物仕分けシステム１００全体で絶対座標系を共有し、その絶対座標系にて対応付けられてもよい。また、複数の三次元座標系は、相対座標系にて対応付けられてもよい。相対座標系を使用する場合は、例えば、荷物仕分けシステム１００の上流に位置するクライアントシステム１１０を基準とし、他のクライアントシステム１１０が使用する座標系を、基準となるクライアントシステム１１０との相対的な座標系で定義してもよい。なお、相対座標系の基準となる座標系は、荷物仕分けシステム１００内の任意の座標系を使用してよい。例えば、他のクライアントシステムや、センサ群の利用している座標系など、他の座標系であってもよい。なお、本工程の処理は、搬送される荷物の形状やプロジェクタ１０５の構成などにより高さ方向の調整が不要である場合には、二次元空間、すなわち、平面空間での処理が行われてもよい。

仕分けクライアント１０４ａは、ステップＳ５１２にて処理された三次元形状の１または複数の荷物それぞれに対応付けられた投影パターンを含む投影画像を描画する（ステップＳ５１３）。具体的には、仕分けクライアント１０４ａは、個別の荷物に対する投影パターンの投影位置などを算出し、仕分け領域Ａ全体に対する投影画像を決定する。この投影画像は、一例として、個別の荷物に対応する領域に各荷物向けの投影パターンが含まれ、荷物が存在しない領域には黒色の画像が含まれるような画像である。このような投影画像を用いることで、プロジェクタの数を抑えつつ、多数の荷物に対する投影を同時に行うことができる。なお、一般的なプロジェクタでは、投影対象となる面とプロジェクタとの間の距離が近いほど画像は小さく、遠いほど画像は大きく投影される。そのため、ステップＳ５１２にて描画される投影画像における各荷物向けの投影パターンの大きさは、各荷物とプロジェクタとの間の距離が近いほど大きくなるよう調整されてもよい。

仕分けクライアント１０４ａは、ステップＳ５１３にて決定した投影画像に従って、プロジェクタ１０５ａに投影指示を行う（ステップＳ５１４）。

プロジェクタ１０５ａは、ステップＳ５１４の仕分けクライアント１０４ａからの投影指示に基づいて、仕分け領域Ａに対し投影画像の投影を行う（ステップＳ５１５）。各荷物は継続的に搬送コンベア３０２により搬送されているため、搬送が継続される間、ステップＳ５２０に示す処理が継続して実行されてよい。

（荷物のハンドオーバ処理）
図５では、ラベルリーダ１０３の読み取り位置よりも搬送方向下流側における最初の（最上流の）仕分け領域Ａに着目して処理を説明した。上述したように、搬送コンベア３０２による搬送経路上においては、複数の仕分け領域が設けられ、その仕分け領域間において各荷物の監視を各クライアントシステム１１０間で引継ぎ（以下、「ハンドオーバ」とも称する）を行う。

図６を用いて、ハンドオーバ処理に関する処理シーケンスを説明する。ここでは、搬送経路上において、仕分け領域Ａに対応するクライアントシステム１１０ａと、仕分け領域Ａよりも搬送方向下流側に隣接する仕分け領域Ｂに対応するクライアントシステム１１０ｂとの間のハンドオーバ処理を例に挙げて説明する。搬送経路の長さなどに応じて、仕分け領域の数は変動し得るため、ハンドオーバ処理は隣接する仕分け領域に対応するクライアントシステム１１０間にて適時行われる。なお、クライアントシステム１１０ａについては、図５にて説明した処理シーケンスを同時並行的に行っているものとする。

ステップＳ６２０（ステップＳ６０１～ステップＳ６０３）は、仕分け領域Ａ内を搬送されている各荷物を監視するためにクライアントシステム１１０ａにより繰り返し行われる処理である。ここでは、便宜上、距離センサ１０６ａおよび画像センサ１０７ａをまとめてセンサ類Ａと記載する。

センサ類Ａは、仕分け領域Ａ内を撮影し、その画像を取得する（ステップＳ６０１）。ここでは、図５にて示したように、仕分けクライアント１０４ａ側で、センサ類Ａにて撮影された各種画像を用いて荷物の検出を行うものとして説明する。仕分け領域Ａに複数の荷物が搬送されている場合には、それぞれの荷物が検出される。クライアントシステム１１０ａの場合、本処理は、図５のステップＳ５０８に対応する。

センサ類Ａは、取得結果を仕分けクライアント１０４ａに送信する（ステップＳ６０２）。このとき、センサ類Ａは、取得した画像に対して所定の処理を行った上で、仕分けクライアント１０４ａに送信してよい。クライアントシステム１１０ａの場合、本処理は、図５のステップＳ５０９に対応する。

仕分けクライアント１０４ａは、ステップＳ６０２にてセンサ類Ａから送信されてきた取得結果に基づいて、荷物の検出を行う（ステップＳ６０３）。更に、仕分けクライアント１０４ａは、検出した荷物の搬送情報を仕分け管理サーバ１０１へ送信する（ステップＳ６０３）。具体的には、図５の処理シーケンスにてすでに行われている三次元空間内における処理の結果などに応じて、追跡していた荷物のうち、下流側の仕分け領域（ここでは、仕分け領域Ｂ）との境界に近づいている荷物を特定し、その荷物に関する情報を搬送情報として送信してよい。荷物の検出の際の処理は公知の方法を用いてよく、特に限定するものではない。例えば、機械学習による領域分割にて荷物に対応する領域を検出してもよい。または、予め規定されたパターンを用いて、パターンマッチングにより荷物を検出してもよい。

ステップＳ６３０（ステップＳ６０４～ステップＳ６０６、ステップＳ６１０～ステップＳ６１４）は、仕分け領域Ｂ内を搬送されている各荷物を監視するためにクライアントシステム１１０ｂにより繰り返し行われる処理である。ここでは、便宜上、距離センサ１０６ｂおよび画像センサ１０７ｂをまとめてセンサ類Ｂと記載する。

センサ類Ｂは、仕分け領域Ｂ内を撮影し、その画像を取得する（ステップＳ６０４）。ここでは、仕分け領域Ａと同様、仕分けクライアント１０４ｂ側で、センサ類Ｂにて撮影された各種画像を用いて荷物の検出を行うものとして説明する。仕分け領域Ｂに複数の荷物が搬送されている場合には、それぞれの荷物が検出される。

センサ類Ｂは、取得結果を仕分けクライアント１０４ｂに送信する（ステップＳ６０５）。このとき、センサ類Ｂは、取得した情報に対して所定の処理を行った上で、仕分けクライアント１０４ｂに送信してよい。

仕分けクライアント１０４ｂは、ステップＳ６０５にてセンサ類Ｂから送信されてきた取得結果に基づいて、荷物の検出を行う（ステップＳ６０６）。更に、仕分けクライアント１０４ｂは、検出した荷物の搬送情報を仕分け管理サーバ１０１へ送信する。例えば、検出した荷物のうち、上流側の仕分け領域（ここでは、仕分け領域Ａ）との境界に位置する荷物（すなわち、新たに搬送されてきた荷物）を特定し、その荷物に関する情報（位置やサイズなど）を搬送情報として送信してよい。

仕分け管理サーバ１０１は、ステップＳ６０３にて仕分けクライアント１０４ａから送信されてきた搬送情報と、ステップＳ６０６にて仕分けクライアント１０４ｂから送信されてきた搬送情報とに基づいて、仕分け領域間（ここでは、仕分け領域Ａと仕分け領域Ｂの間）にてハンドオーバがなされる荷物を特定する（ステップＳ６０７）。つまり、ある荷物が搬送されることに伴ってその荷物の監視主体がクライアントシステム１１０ａからクライアントシステム１１０ｂへとハンドオーバするために、各クライアントシステム１１０にて検出した仕分け領域間の境界に位置する荷物を、同一の荷物であるとして対応付ける。例えば、仕分け管理サーバ１０１は、仕分け領域を跨いだ荷物が、管理している荷物情報のうちのいずれに対応するかを特定することで対応付けてよい。

仕分け管理サーバ１０１は、ステップＳ６０７の対応付けと、上流側の仕分け領域（ここでは、仕分け領域Ａ）にて用いていた荷物情報とに基づいて、下流の仕分け領域（ここでは、仕分け領域Ｂ）における投影パターンを決定する（ステップＳ６０８）。本実施の形態に係る投影パターンは、複数のパターンとして予め規定され、保持されている。なお、投影パターンは、上流の仕分け領域（ここでは、仕分け領域Ａ）と同じであってもよいし、同じ荷物であっても搬送中の仕分け領域に応じて切り替えるような構成であってもよい。

仕分け管理サーバ１０１は、ステップＳ６０８にて決定した投影パターンを含む投影指示を仕分けクライアント１０４へ送信する（ステップＳ６０９）。ここでは、荷物の監視がハンドオーバされるクライアントシステム１１０ｂの仕分けクライアント１０４ｂに投影指示が送信される。なお、投影指示には、投影パターンのほか、対応する荷物の荷物情報などを含んでよい。

仕分けクライアント１０４ｂは、ステップＳ６０９にて仕分け管理サーバ１０１から送信された投影指示と、ステップＳ６０６の検出結果とに基づいて、各情報の対応付けを行う（ステップＳ６１０）。具体的には、仕分けクライアント１０４ｂは、仕分け領域Ｂ内において、搬送コンベア３０２により搬送されている１または複数の荷物を、センサ類Ｂの検出結果に基づいて特定する。更に、仕分けクライアント１０４ｂは、特定した１または複数の荷物それぞれに対し、仕分け管理サーバ１０１から送信された投影指示に含まれる各種情報を対応付ける。これにより、仕分けクライアント１０４ｂによって検出された１または複数の荷物それぞれと、仕分け管理サーバ１０１から送信された投影指示にて示される各種情報（投影パターン等）が対応付けられる。

仕分けクライアント１０４ｂは、ステップＳ６１０にて特定した１または複数の荷物に対する三次元空間内における処理を行う（ステップＳ６１１）。ここでの三次元空間内における処理では、搬送経路上における三次元座標系にて、各荷物を三次元形状にて表現するように処理する。ここでの処理は、図５のステップＳ５１２の処理と同一であってよい。

仕分けクライアント１０４ｂは、ステップＳ６１１にて処理された三次元形状の１または複数の荷物それぞれに対応付けられた投影パターンを含む投影画像を描画する（ステップＳ６１２）。具体的には、仕分けクライアント１０４ｂは、個別の荷物に対する投影パターンの投影位置などを算出し、仕分け領域Ｂ全体の投影画像を決定する。ここでの投影画像は、図５にて説明したステップＳ５１３と同様の構成であってよい。

なお、１の仕分け領域に対応付けて複数のプロジェクタを設置してもよい。例えば、１の仕分け領域を更に細分化して複数のプロジェクタそれぞれが担当する範囲を設定してもよい。この場合、仕分けクライアント１０４ｂは、複数のプロジェクタそれぞれに対して、担当範囲に相当する投影画像を生成する。この場合の投影画像の一例としては、担当範囲内に存在する荷物の位置には各荷物向けの投影パターンが含まれ、担当範囲内の荷物の存在しない位置には黒色の画像が含まれる画像が挙げられる。このようにすることで、プロジェクタの性能またはプロジェクタを設置可能な高さの限界などから、一台のプロジェクタでは仕分け領域全体への投影が難しい場合であっても、仕分け領域全体に対する投影を行うことができる。

また、各プロジェクタが１つの荷物を担当し、その荷物のみに向けた投影を行うようにしてもよい。この場合、複数のプロジェクタそれぞれは担当する荷物の移動に合わせて照射の角度を変更したり、担当する荷物の位置以外の位置に黒色の画像を投影したりすることで、自身の担当する荷物のみに向けた投影を行う。このようにすることで、複数のプロジェクタそれぞれは、自身の担当する荷物に最適なパラメータを用いた投影を行うことができる。例えば、複数のプロジェクタそれぞれの焦点距離を自動的に調整することができるので、荷物の高さなどにバラつきがある場合であっても、各荷物にピントが合った画像を投影できる。

仕分けクライアント１０４ｂは、ステップＳ６１２にて決定した投影画像に従って、プロジェクタ１０５ｂに投影指示を行う（ステップＳ６１３）。

プロジェクタ１０５ｂは、ステップＳ６１３の仕分けクライアント１０４ｂからの投影指示に基づいて、仕分け領域Ｂに対し投影画像の投影を行う（ステップＳ６１４）。各荷物は継続的に搬送コンベア３０２により搬送されているため、搬送が継続される間、仕分け領域Ｂ以降の監視を担うクライアントシステム１１０はそれぞれ、ステップＳ６３０に示す処理を継続して実行されてよい。

［荷物認識］
図７は、本実施形態に係る仕分け領域における荷物の認識を説明するための図である。ここでは、搬送コンベア３０２の搬送経路上のある仕分け領域７０１と、その搬送方向上流側および下流側に隣接する仕分け領域７０２、仕分け領域７０３を例に挙げて説明する。また、搬送コンベア３０２により、３つの荷物７０６、７０７、７０８が搬送されているものとする。

仕分け領域７０１と仕分け領域７０２にはハンドオーバ領域７０４が設けられる。ハンドオーバ領域７０４は、仕分け領域７０１に対応するクライアントシステムと、仕分け領域７０２に対応するクライアントシステムの両方にてセンサ類による検出が行われる領域である。同様に、仕分け領域７０１と仕分け領域７０３にはハンドオーバ領域７０５が設けられる。ハンドオーバ領域７０５は、仕分け領域７０１に対応するクライアントシステム１１０と、仕分け領域７０３に対応するクライアントシステム１１０の両方にてセンサ類による検出が行われる領域である。

本実施の形態に係る各仕分け領域では、搬送されている荷物は、その範囲が適時特定される。荷物の範囲を特定することで、荷物のサイズや形状が認識される。ここでの範囲は、荷物の形状と完全に一致する必要はなく、所定のマージンを設けてよい。そして、各荷物の範囲に応じて、各荷物に投影させる投影パターンのサイズや形状、位置が調整される。なお、調整の方法は、特に限定するものではなく、例えば、投影パターンの視認性や作業効率性などを考慮して行われてよい。

なお、本実施の形態では、ラベルリーダ１０３と、画像センサ１０７とは、異なるものとして説明したが、ラベルリーダ１０３を画像センサ１０７の代わりに使用してもよい。具体的には、ラベルリーダ１０３によって読み取ったラベルの位置を荷物の位置として取り扱い、ラベルの位置に対して投影画像を投影する。ラベルからは荷物の識別情報を得ることができるため、このような構成を採用することにより、クライアントシステム１１０間で同一の荷物を紐づける処理が不要となる。ただし、ラベルリーダ１０３が認識可能な領域はラベルの領域に限られるため、荷物全体を追跡可能な画像センサ１０７による追跡と比べて、投影画像の大きさや投影画像を照射する位置の自由度は低下する。同様に、画像センサ１０７をラベルリーダ１０３の代わりに使用してもよい。具体的には、画像センサ１０７が取得した画像に含まれるラベルの画像からラベル情報を取得してもよい。以下では、特に断らない限り、画像センサ１０７の撮像画像を用いた荷物の追跡の例を示すが、ラベルリーダ１０３を画像センサ１０７の代わりに用いてもよい。

（撮像カメラ及び赤外線カメラのキャリブレーション）
図８は、実施の形態１に係る撮像カメラ１０７及び赤外線カメラ１０６のキャリブレーションを説明するための概略図である。

画像センサ１０７は、上述したように、撮像カメラ１０７によって構成されてよい。撮像カメラ１０７によって撮像された画像を撮像画像と称する。距離センサ１０６は、上述したように、赤外線カメラ１０６によって構成されてよい。赤外線カメラ１０６によって撮像された画像を赤外線画像と称する。

図８に示すように、撮像カメラ１０７の設置位置と、赤外線カメラ１０６の設置位置とは、異なり得る。そのため、撮像カメラ１０７及び赤外線カメラ１０６の設置時において、撮像カメラ１０７の位置から撮像される撮像画像を三次元座標にマッピングするための補正パラメータと、赤外線カメラ１０６の位置から撮像される赤外線画像を三次元座標にマッピングするための補正パラメータとを算出すべく、キャリブレーションが行われる。

キャリブレーションは、図８に示すようなボード８２０を用いて行われてよい。ボード８２０は、搬送コンベア３０２の面に沿う平面８２１と、平面８２１の一辺から高さ方向に斜めに伸びる斜面８２２とを有する構成であってよい。なお、図８では、ボード８２０が１つの斜面８２２を有しているが、ボード８２０は２つ以上の斜面８２２を有してもよい。なお、斜面８２２は、搬送コンベア３０２の面に垂直な方向のキャリブレーションを行うためのものである。そのため、搬送コンベア３０２の面に沿う方向のキャリブレーションのみを行う場合、斜面８２２は省略されてもよい。また、キャリブレーションにボード８２０を使用する構成は一例である。ボード８２０に代えて、マークや二次元コードなどが付された箱などを使用してキャリブレーションを行ってもよい。

ボード８２０の平面８２１及び斜面８２２の表面には、図８に示すように、複数のマーク８２３が描かれてよい。マーク８２３の形状は、円であってよい。ただし、マーク８２３の形状は、円に限られず、多角形又は所定の模様等であってもよい。

キャリブレーションにおいて、運用時に仕分けクライアント１０４として使用される情報処理装置１０４は、撮像カメラ１０７からボード８２０を撮像した撮像画像を受信し、その撮像画像からマーク８２３を検出し、その検出したマーク８２３に基づいて、撮像画像に係る補正パラメータを算出する。同様に、キャリブレーションにおいて、情報処理装置１０４は、赤外線カメラ１０６からボード８２０を撮像した赤外線画像を受信し、その赤外線画像からマーク８２３を検出し、その検出したマーク８２３に基づいて、赤外線画像に係る補正パラメータを算出する。

上述した補正パラメータは、公知の技術によって算出されてよい。例えば、情報処理装置１０４は、撮像画像におけるボード８２０の平面８２１から検出した複数（例えば３つ）のマーク８２３の位置及び形状に基づいて、水平面に対する撮像画像の傾きを算出し、撮像画像におけるボード８２０の斜面８２２から検出した複数（例えば３つ）のマーク８２３の位置及び形状に基づいて、垂直面に対する撮像画像の傾きを算出することにより、撮像画像を三次元座標にマッピングするための補正パラメータを算出する。同様に、情報処理装置１０４は、赤外線画像におけるボード８２０の平面８２１から検出した複数（例えば３つ）のマーク８２３の位置及び形状に基づいて、水平面に対する赤外線画像の傾きを算出し、赤外線画像におけるボード８２０の斜面８２２から検出した複数（例えば３つ）のマーク８２３の位置及び形状に基づいて、垂直面に対する赤外線画像の傾きを算出することにより、赤外線画像を三次元座標にマッピングするための補正パラメータを算出する。

これにより、運用時において、仕分けクライアント１０４は、補正パラメータを適用した撮像画像と、補正パラメータを適用した赤外線画像とを用いて、搬送コンベア３０２を流れる荷物３００の三次元座標（位置）及びサイズ（縦、横、高さ）などを精度良く検出することができる。

ここで、ボード８２０から検出されるマーク８２３の数が少ない（例えば３つの）場合、補正パラメータの精度は比較的低く、ボード８２０から検出されるマーク８２３の数が多くなるにつれて、補正パラメータの精度は比較的高くなる傾向にある。

キャリブレーションを行う設置作業者は、ボード８２０を搬送コンベア３０２上に置いて、撮像カメラ１０７及び赤外線カメラ１０６にボード８２０を撮像させ、情報処理装置１０４に補正パラメータを算出させ、その算出した補正パラメータの精度が低い場合、ボード８２０の位置を変えて、再度、撮像カメラ１０７及び赤外線カメラ１０６にボード８２０を撮像させ、再度、情報処理装置１０４に補正パラメータを算出させる、という作業を繰り返す。しかし、このキャリブレーションの作業方法は、手間と時間がかかり、作業効率が低い。特に、撮像カメラ１０７の補正パラメータと赤外線カメラ１０６の補正パラメータとの両方の精度が十分となる位置にボード８２０を置くことが難しい。そこで以下では、このキャリブレーションの作業効率を向上させる方法について説明する。

図９は、実施の形態１に係るキャリブレーションの作業手順を示すフローチャートである。図１０は、実施の形態１に係るキャリブレーションに関する指標画像を示す図である。次に、図９及び図１０を参照して、本実施の形態に係るキャリブレーションの作業方法について説明する。

キャリブレーションを行う設置作業者は、搬送コンベア３０２上のプロジェクタ１０５が投影画像を照射可能な範囲内にボード８２０を配置する（ステップＳ９０１）。このとき、情報処理装置１０４は、照射可能な最大範囲を示す投影画像をプロジェクタ１０５に照射させてよい。この場合、設置作業者は、照射された投影画像の範囲（投影範囲３０６）に収まるようにボード８２０を配置すればよい。

情報処理装置１０４は、撮像カメラ１０７からボード８２０を撮像した撮像画像を受信し、赤外線カメラ１０６からボード８２０を撮像した赤外線画像を受信する（ステップＳ９０２）。

情報処理装置１０４は、撮像画像からマーク８２３を検出し、ボード８２０の平面８２１におけるマーク８２３の数と、ボード８２０の斜面８２２におけるマーク８２３の数とをカウントする（ステップＳ９０３）。

情報処理装置１０４は、赤外線画像からマーク８２３を検出し、ボード８２０の平面８２１におけるマーク８２３の数と、ボード８２０の斜面８２２におけるマーク８２３の数とをカウントする（ステップＳ９０４）。

情報処理装置１０４は、ステップＳ９０３にてカウントした、平面８２１におけるマーク８２３の数と、斜面８２２におけるマーク８２３の数とに基づいて、撮像画像のキャリブレーションに関する指標（以下、第１の指標９１１と称する）を算出する（ステップＳ９０５）。なお、第１の指標９１１は、カウントされたマーク８２３の数が多いほど、大きくなる傾向を有してよい。一般的に、カウントできたマーク８２３の数が多いほどキャリブレーションの精度が高まる可能性が高いため、第１の指標が大きいほど撮像画像に係るキャリブレーションの精度も高まることが期待できる。

情報処理装置１０４は、ステップＳ９０４にてカウントした、平面８２１におけるマーク８２３の数と、斜面８２２におけるマーク８２３の数とに基づいて、赤外線画像のキャリブレーションに関する指標（以下、第２の指標９２１と称する）を算出する（ステップＳ９０６）。なお、第２の指標９２１は、カウントされた８２３の数が多いほど、大きくなる傾向を有してよい。一般的に、カウントできたマーク８２３の数が多いほどキャリブレーションの精度が高まる可能性が高いため、第２の指標が大きいほど赤外線画像に係るキャリブレーションの精度も高まることが期待できる。

情報処理装置１０４は、図１０に示すように、撮像カメラ１０７のキャリブレーションに関する第１の指標９１１を示す第１の指標画像９１０と、赤外線カメラ１０６のキャリブレーションに関する第２の指標９２１を示す第２の指標画像９２０とを、情報処理装置１０４に接続された表示装置９００（例えば液晶ディスプレイ）に出力する（ステップＳ９０７）。図１０に示すように、第１の指標画像９１０には第１の閾値９１２が表示され、第２の指標画像９２０には第２の閾値９２２が表示されてよい。

第１の閾値９１２は、ボード８２０の平面８２１又は斜面８２２の少なくも一方（例えば平面８２１及び斜面８２２の両方）から検出されたマーク８２３の数が３つ未満の場合に算出される第１の指標９１１よりも大きい値に設定されてよい。別言すると、第１の閾値９１２は、ボード８２０の平面８２１又は斜面８２２の少なくも一方から検出されたマーク８２３の数が３以上の所定の数の場合に算出される第１の指標９１１よりも大きい値に設定されてよい。

第２の閾値９２２は、ボード８２０の平面８２１又は斜面８２２の少なくも一方（例えば平面８２１及び斜面８２２の両方）から検出されたマーク８２３の数が３つ未満の場合に算出される第２の指標９２１よりも大きい値に設定されてよい。別言すると、第２の閾値９２２は、ボード８２０の平面８２１又は斜面８２２の少なくも一方から検出されたマーク８２３の数が３以上の所定の数の場合に算出される第２の指標９２１よりも大きい値に設定されてよい。

このように、第１の指標画像９１０に第１の閾値９１２を表示することにより、設置作業者は、第１の指標９１１が第１の閾値９１２を超えているか否かを一目で確認できる。同様に、第２の指標画像９２０に第２の閾値９２２を表示することにより、設置作業者は、第２の指標９２１が第２の閾値９２２を超えているか否かを一目で確認できる。なお、第１の指標９１１が第１の閾値９１２を超え、かつ、第２の指標９２１が第２の閾値９２２超えている場合に追加の表示を行うことで、各指標が各閾値を超えたことを更に明確に通知してもよい。この追加の表示は、例えば、第１の指標画像９１０および第２の指標画像９２０とは異なる画像として表示されてもよいし、第１の指標画像９１０および第２の指標画像９２０の色等の表示態様を変更することで表示されてもよい。すなわち、いずれかの指標が閾値を超えていない場合と、両方の指標が閾値を超えた場合とで、表示される内容が変化していれば、どのような態様の表示を用いてもよい。

情報処理装置１０４は、設置作業者からキャリブレーションの準備が完了した旨が指示されたか否かを判定する（ステップＳ９０８）。

情報処理装置１０４は、設置作業者からキャリブレーションの準備が完了した旨が指示されていない場合（ステップＳ９０８：ＮＯ）、処理をステップＳ９０１に戻す。例えば、設置作業者は、ステップＳ９０７で表示された第１の指標画像９１０及び第２の指標画像９２０を見て、第１の指標９１１が第１の閾値９１２未満、又は、第２の指標９２１が第２の閾値９２２未満である場合、キャリブレーションの準備が完了した旨を指示せずに、ボード８２０の位置を変更する。この場合、変更後のボード８２０の位置について、ステップＳ９０１～Ｓ９０７の処理が行われる。

情報処理装置１０４は、設置作業者からキャリブレーションの準備が完了した旨が指示された場合（ステップＳ９０８：ＹＥＳ）、処理を次のステップＳ９０９に進める。例えば、設置作業者は、ボード８２０の位置を変更しながら、ステップＳ９０７で表示された第１の指標画像９１０及び第２の指標画像９２０を見て、第１の指標９１１が第１の閾値９１２以上、かつ、第２の指標９２１が第２の閾値９２２以上となった場合、キャリブレーションの準備が完了した旨を指示する。なお、キャリブレーションの準備が完了した旨の指示は、自動的に行われてもよいし、設置作業者が手動で実施してもよい。

情報処理装置１０４は、ステップＳ９０３にて検出されたマーク８２３に基づいて、撮像画像に係る補正パラメータを算出し、記憶装置２０３に記憶する（ステップＳ９０９）。

情報処理装置１０４は、ステップＳ９０４にて検出されたマーク８２３に基づいて、赤外線画像に係る補正パラメータを算出し、記憶装置２０３に記憶する（ステップＳ９１０）。そして、本処理を終了する。

これにより、キャリブレーションを行う設置作業者は、第１の指標画像９１０及び第２の指標画像９２０を見ながらボード８２０の位置を変更することで、撮像カメラ１０７の補正パラメータと赤外線カメラ１０６の補正パラメータとの両方の精度が十分となる位置に、ボード８２０を置くことができる。すなわち、キャリブレーションの作業効率が向上する。

＜その他の実施形態＞
上述した実施の形態において、プロジェクタ１０５からの投影画像を補正パラメータの算出に利用してもよい。例えば、プロジェクタ１０５から所定の画像（例えば、明暗のパターン）をボード８２０に投影し、撮像カメラ１０７または赤外線カメラ１０６からどのように撮影されたかを分析することによって、プロジェクタ１０５と各カメラとの座標系を合わせるための補正パラメータを算出することができる。このようにすることにより、プロジェクタ１０５と撮像カメラ１０７、または、プロジェクタ１０５と赤外線カメラ１０６との間のキャリブレーションを実施することができる。

プロジェクタ１０５から投影される明暗のパターンを用いたキャリブレーションの一例として、空間コード化法を利用することが考えられる。空間コード化法では、明暗のパターンを所定の順序で切り替えつつ対象物に投影し、明暗の変化をコードとして記録する。例えば、「明、暗、明」の順番で変化した箇所は「１０１」、「明、明、暗」の順番で変化した箇所は「１１０」等と対応付ける。これにより、対象物が既定の形状（例えば平面）であれば「１０１」に対応する座標と、撮像画像中で「１０１」に対応する座標とのずれを解析することで、対象物の立体的形状を推定することができる。また、明暗の投影パターンの変化が互いに一致しないように十分に長いパターンを投影することで、各コードに対応する座標を一意に設定することができる。なお、空間コード化法の手順については、様々な技術が知られているため、本実施の形態では詳細な説明を省略する。ここで、上述した実施の形態のボード８２０のように、既知の３次元形状を持ち、かつ、マークによって各３次元形状のどの部分が観測されているかを推測可能な物体を使用することで、正確にキャリブレーションを実施することができる。具体的には、マークによって各センサから３次元形状のどの部分が観測されているかを推測することができ、空間コード化法によって推測された観測結果と実際の観測結果とのずれを推測することができる。そして、このずれを補正する補正パラメータを計算することで、各センサのキャリブレーションを実施することができる。なお、上述した実施の形態の中でも説明した通り、ボード８２０は他の形状の物体であってもよい。すなわち、マークが付されている面がどのような形状であるのか記録することができる形状であれば、立方体や直方体など他の形状であっても構わない。また、搬送コンベア３０２の面に沿う方向のキャリブレーションのみを行う場合は、斜面８２２を省略してもよいことも同様である。

ボード８２０に斜面８２２を設けたり、ボード８２０に替えて他の立体形状を用いたりする場合、斜面８２２または立体形状の側面に、プロジェクタ１０５が投影可能、かつ、各センサが観測可能となるようにマーク８２３を設けるとよい。このようにすることで、プロジェクタ１０５がマーク８２３の存在する箇所に明暗のパターンを投影し、かつ、各センサが明暗のパターンが投影されたマーク８２３を観測することができるので、高さ方向のキャリブレーションを高精度に実施することができる。

上述した実施の形態では、キャリブレーションの準備の完了を設置作業者の入力によって確認していたが、情報処理装置１０４が自動的にキャリブレーションの準備の完了を判定してもよい。例えば、情報処理装置１０４は、第１の指標９１１が第１の閾値９１２以上であり、かつ、第２の指標９２１が第２の閾値９２２以上である場合に、自動的にキャリブレーションの準備が完了したと判断してもよい。この場合、情報処理装置１０４は、設置作業者がボード８２０を更に移動させてしまうことを防ぐため、キャリブレーションの準備の完了を設置作業者に対して音声または画像等によって通知してもよい。また、この場合、情報処理装置１０４は、設置作業者からキャリブレーションを再開するか否かを示す指示を受け付けてもよい。ボード８２０の位置を変更することで、さらに補正パラメータの精度を向上させることができる可能性があるためである。

上述した実施の形態では、赤外線カメラ１０６と撮像カメラ１０７の位置に関するキャリブレーションを行っていたが、本実施の形態を、同じ種類のカメラ、すなわち赤外線カメラ同士または撮像カメラ同士の位置に関するキャリブレーションに適用してもよい。

また、上述した１以上の実施の形態の機能を実現するためのプログラムおよびアプリケーションを、ネットワークまたは記憶媒体等を用いてシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。

また、１以上の機能を実現する回路（例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ））によって実現してもよい。

（本開示のまとめ）
本開示の内容は以下のように表現できる。

［表現１］
本開示の情報処理装置（１０４、２００）は、搬送される荷物３００の検出に用いられる撮像画像を撮像する撮像カメラ１０７の位置、及び、荷物３００の検出に用いられる赤外線画像を撮像する赤外線カメラ１０６の位置に関するキャリブレーションを行う情報処理装置であって、プロセッサ２０１及びメモリ２０２を備え、プロセッサ２０１は、複数のマーク８２３を有するボード８２０を撮像した撮像画像を撮像カメラ１０７から取得し、ボード８２０を撮像した赤外線画像を赤外線カメラ１０６から取得し、撮像画像からマーク８２３を検出し、検出されたマーク８２３の数に基づいて、撮像画像のキャリブレーションに関する第１の指標９１１を算出し、赤外線画像からマーク８２３を検出し、検出されたマーク８２３の数に基づいて、赤外線画像のキャリブレーションに関する第２の指標９２１を算出し、第１の指標９１１及び第２の指標９２１を示す情報を出力する。
これにより、キャリブレーション作業を行う設置作業者は、出力された第１の指標９１１及び第２の指標９２１に基づいて、撮像画像に係る補正パラメータ及び赤外線画像に係る補正パラメータの精度が十分となる位置に、ボード８２０を配置することができる。すなわち、キャリブレーションの作業効率が向上する。

［表現２］
表現１に記載の情報処理装置において、プロセッサ２０１は、第１の指標９１１と比較される所定の第１の閾値９１２と、第２の指標９２１と比較される所定の第２の閾値９２２とを設定し、第１の指標９１１が第１の閾値９１２以上であるか否かを示す第１の指標画像９１０と、第２の指標９２１が第２の閾値９２２以上であるか否かを示す第２の指標画像９２０とを出力してよい。
これにより、設置作業者は、第１の指標画像９１０及び第２の指標画像９２０を見て、ボード８２０の配置位置において、第１の指標９１１が第１の閾値９１２以上であり、第２の指標９２１が第２の閾値９２２以上であるか否かを一目で認識できる。よって、設置作業者は、より簡単に、撮像画像に係る補正パラメータ及び赤外線画像に係る補正パラメータの精度が十分となる位置に、ボード８２０を配置することができる。

［表現３］
表現１に記載の情報処理装置において、プロセッサ２０１は、第１の指標９１１が第１の閾値９１２以上であり、かつ、第２の指標９２１が第２の閾値９２２以上である場合、第１の指標９１１が第１の閾値９１２未満である場合、または、第２の指標９２１が第２の閾値９２２未満である場合に出力される画像と異なる態様の画像を出力してよい。
これにより、設置作業者は、第１の指標９１１が第１の閾値９１２以上であり、かつ、第２の指標９２１が第２の閾値９２２以上であるか否かを、出力される画像から一目で認識できる。

［表現４］
表現２または３に記載の情報処理装置において、プロセッサ２０１は、撮像画像から検出されたマーク８２３の数が所定の数未満の場合に第１の指標９１１が第１の閾値９１２を下回るように、第１の閾値９１２を設定し、赤外線画像から検出されたマーク８２３の数が所定の数未満の場合に第２の指標９２１が第２の閾値９２２を下回るように、第２の閾値９２２を設定してよい。
これにより、設置作業者は、第１の指標９１１が第１の閾値９１２を下回る場合、又は、第２の指標９２１が第２の閾値９２２を下回る場合、検出されたマーク８２３の数が所定の数未満であり、補正パラメータの精度が不十分であることを認識できる。

［表現５］
表現１から４のいずれか１つに記載の情報処理装置において、ボード８２０は、荷物が搬送される面に沿う平面８２１と、平面８２１の一辺から高さ方向に傾斜して延びる斜面８２２とを含み、プロセッサ２０１は、撮像画像の平面８２１から検出されたマーク８２３の数と、撮像画像の斜面８２２から検出されたマーク８２３の数とに基づいて、第１の指標９１１を算出し、赤外線画像の平面８２１から検出されたマーク８２３の数と、撮像画像の斜面８２２から検出されたマーク８２３の数とに基づいて、第２の指標９２１を算出してよい。
これにより、第１の指標９１１又は第２の指標９２１は、平面８２１及び斜面８２２からそれぞれ検出されたマーク８２３の数に基づいて算出されるので、補正パラメータの精度が十分であるか否かをより正確に表すことができる。

［表現６］
表現１に記載の情報処理装置において、荷物は、投影装置（例えばプロジェクタ１０５）から投影画像が照射される荷物であり、プロセッサ２０１は、ボード８２０を設置可能な範囲として、投影装置が投影画像を投影可能な範囲を投影してよい。
これにより、設置作業者は、投影画像を投影可能な範囲内に容易にボード８２０を配置することができる。

［表現７］
表現１に記載の情報処理装置において、荷物は、投影装置（例えばプロジェクタ１０５）から投影画像が照射される荷物であり、投影装置は、ボード８２０に対して所定の画像を投影し、プロセッサ２０１は、所定の画像が投影されたボード８２０の撮像画像に基づいて、投影装置と撮像カメラ１０７とのキャリブレーションに用いる補正パラメータを算出し、所定の画像が投影されたボード８２０の赤外線画像に基づいて、投影装置と赤外線カメラ１０６とのキャリブレーションに用いる補正パラメータを算出してよい。
これにより、投影装置と撮像カメラ１０７とのキャリブレーションに用いる補正パラメータと、投影装置と赤外線カメラ１０６とのキャリブレーションに用いる補正パラメータとを算出することができる。

［表現８］
本開示の荷物仕分けシステム１００は、搬送される荷物３００に投影画像を照射する投影装置（例えばプロジェクタ１０５）と、荷物３００の検出に用いられる撮像画像を撮像する撮像カメラ１０７と、荷物３００の検出に用いられる赤外線画像を撮像する赤外線カメラ１０６と、投影装置、撮像カメラ１０７及び赤外線カメラ１０６を制御する情報処理装置（例えば仕分けクライアント１０４）と、を備え、情報処理装置は、撮像カメラ１０７の位置及び赤外線カメラ１０６の位置に関するキャリブレーションにおいて、複数のマーク８２３を有するボード８２０を撮像した撮像画像を撮像カメラ１０７から取得し、ボード８２０を撮像した赤外線画像を赤外線カメラ１０６から取得し、撮像画像からマーク８２３を検出し、検出されたマーク８２３の数に基づいて、撮像画像のキャリブレーションに関する第１の指標９１１を算出し、赤外線画像からマーク８２３を検出し、検出されたマーク８２３の数に基づいて、赤外線画像のキャリブレーションに関する第２の指標９２１を算出し、第１の指標９１１及び第２の指標９２１を示す情報を出力する。
これにより、キャリブレーション作業を行う設置作業者は、出力された第１の指標９１１及び第２の指標９２１に基づいて、撮像画像に係る補正パラメータ及び赤外線画像に係る補正パラメータの精度が十分となる位置に、ボード８２０を配置することができる。すなわち、キャリブレーションの作業効率が向上する。

［表現９］
情報処理装置（例えば仕分けクライアント１０４）によって、搬送される荷物３００の検出に用いられる撮像画像を撮像する撮像カメラ１０７の位置、及び、荷物３００の検出に用いられる赤外線画像を撮像する赤外線カメラ１０６の位置に関するキャリブレーションを行う本開示のキャリブレーション方法であって、設置作業者に複数のマーク８２３を有するボード８２０を設置させ、ボード８２０を撮像した撮像画像を撮像カメラ１０７から取得し、ボード８２０を撮像した赤外線画像を赤外線カメラ１０６から取得し、撮像画像からマーク８２３を検出し、検出されたマーク８２３の数に基づいて、撮像画像のキャリブレーションに関する第１の指標９１１を算出し、赤外線画像からマーク８２３を検出し、検出されたマーク８２３の数に基づいて、赤外線画像のキャリブレーションに関する第２の指標９２１を算出し、第１の指標９１１及び第２の指標９２１を示す情報を表示する。
これにより、キャリブレーション作業を行う設置作業者は、出力された第１の指標９１１及び第２の指標９２１に基づいて、撮像画像に係る補正パラメータ及び赤外線画像に係る補正パラメータの精度が十分となる位置に、ボード８２０を配置することができる。すなわち、キャリブレーションの作業効率が向上する。

以上、図面を参照しながら各種の実施形態について説明したが、本開示は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に相当し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施形態における各構成要素を任意に組み合わせてもよい。

本開示は、荷物仕分けに関する作業効率向上に有用である。

１００…荷物仕分けシステム
１０１…仕分け管理サーバ
１０２…連携サーバ
１０３…ラベルリーダ
１０４…仕分けクライアント
１０５…プロジェクタ
１０６…距離センサ（赤外線カメラ）
１０７…画像センサ（撮像カメラ）
１１０…クライアントシステム
３００…荷物
３０１…ラベル
３０２…搬送コンベア
８２０…ボード
８２１…平面
８２２…斜面
８２３…マーク
９００…表示装置
９１０…第１の指標画像
９１１…第１の指標
９１２…第１の閾値
９２０…第２の指標画像
９２１…第２の指標
９２２…第２の閾値

Claims (9)

1. 搬送される荷物の検出に用いられる撮像画像を撮像する撮像カメラの位置、及び、前記荷物の検出に用いられる赤外線画像を撮像する赤外線カメラの位置に関するキャリブレーションを行う情報処理装置であって、
   プロセッサ及びメモリを備え、
   前記プロセッサは、
   複数のマークを有するボードを撮像した前記撮像画像を前記撮像カメラから取得し、
   前記ボードを撮像した前記赤外線画像を前記赤外線カメラから取得し、
   前記撮像画像から前記マークを検出し、検出された前記マークの数に基づいて、前記撮像画像のキャリブレーションに関する第１の指標を算出し、
   前記赤外線画像から前記マークを検出し、検出された前記マークの数に基づいて、前記赤外線画像のキャリブレーションに関する第２の指標を算出し、
   前記第１の指標及び前記第２の指標を示す情報を出力する、
   情報処理装置。
2. 前記プロセッサは、
   前記第１の指標と比較される所定の第１の閾値と、前記第２の指標と比較される所定の第２の閾値とを設定し、
   前記第１の指標が前記第１の閾値以上であるか否かを示す第１の指標画像と、前記第２の指標が前記第２の閾値以上であるか否かを示す第２の指標画像とを出力する、
   請求項１に記載の情報処理装置。
3. 前記プロセッサは、
   前記第１の指標が前記第１の閾値以上であり、かつ、前記第２の指標が前記第２の閾値以上である場合、前記第１の指標が前記第１の閾値未満である場合、または、前記第２の指標が前記第２の閾値未満である場合に出力される画像と異なる態様の画像を出力する、
   請求項２に記載の情報処理装置。
4. 前記プロセッサは、
   前記撮像画像から検出された前記マークの数が所定の数未満の場合に前記第１の指標が前記第１の閾値を下回るように、前記第１の閾値を設定し、
   前記赤外線画像から検出された前記マークの数が所定の数未満の場合に前記第２の指標が前記第２の閾値を下回るように、前記第２の閾値を設定する、
   請求項２または３に記載の情報処理装置。
5. 前記ボードは、前記荷物が搬送される面に沿う平面と、前記平面の一辺から高さ方向に傾斜して延びる斜面とを含み、
   前記プロセッサは、
   前記撮像画像の前記平面から検出された前記マークの数と、前記撮像画像の斜面から検出された前記マークの数とに基づいて、前記第１の指標を算出し、
   前記赤外線画像の前記平面から検出された前記マークの数と、前記撮像画像の斜面から検出された前記マークの数とに基づいて、前記第２の指標を算出する、
   請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記荷物は、投影装置から投影画像が照射される荷物であり、
   前記プロセッサは、前記ボードを設置可能な範囲として、前記投影装置が投影画像を投影可能な範囲を投影する、
   請求項１に記載の情報処理装置。
7. 前記荷物は、投影装置から投影画像が照射される荷物であり、
   前記投影装置は、前記ボードに対して所定の画像を投影し、
   前記プロセッサは、前記所定の画像が投影されたボードの前記撮像画像に基づいて、前記投影装置と前記撮像カメラとのキャリブレーションに用いる補正パラメータを算出し、
   前記所定の画像が投影されたボードの前記赤外線画像に基づいて、前記投影装置と前記赤外線カメラとのキャリブレーションに用いる補正パラメータを算出する、
   請求項１に記載の情報処理装置。
8. 搬送される荷物に投影画像を照射する投影装置と、
   前記荷物の検出に用いられる撮像画像を撮像する撮像カメラと、
   前記荷物の検出に用いられる赤外線画像を撮像する赤外線カメラと、
   前記投影装置、前記撮像カメラ及び前記赤外線カメラを制御する情報処理装置と、を備え、
   前記情報処理装置は、前記撮像カメラの位置及び前記赤外線カメラの位置に関するキャリブレーションにおいて、
   複数のマークを有するボードを撮像した前記撮像画像を前記撮像カメラから取得し、
   前記ボードを撮像した前記赤外線画像を前記赤外線カメラから取得し、
   前記撮像画像から前記マークを検出し、検出された前記マークの数に基づいて、前記撮像画像のキャリブレーションに関する第１の指標を算出し、
   前記赤外線画像から前記マークを検出し、検出された前記マークの数に基づいて、前記赤外線画像のキャリブレーションに関する第２の指標を算出し、
   前記第１の指標及び前記第２の指標を示す情報を出力する、
   荷物検出システム。
9. 情報処理装置によって、搬送される荷物の検出に用いられる撮像画像を撮像する撮像カメラの位置、及び、前記荷物の検出に用いられる赤外線画像を撮像する赤外線カメラの位置に関するキャリブレーションを行うキャリブレーション方法であって、
   設置作業者に複数のマークを有するボードを設置させ、
   前記ボードを撮像した前記撮像画像を前記撮像カメラから取得し、
   前記ボードを撮像した前記赤外線画像を前記赤外線カメラから取得し、
   前記撮像画像から前記マークを検出し、検出された前記マークの数に基づいて、前記撮像画像のキャリブレーションに関する第１の指標を算出し、
   前記赤外線画像から前記マークを検出し、検出された前記マークの数に基づいて、前記赤外線画像のキャリブレーションに関する第２の指標を算出し、
   前記第１の指標及び前記第２の指標を示す情報を表示する、
   キャリブレーション方法。

Images