JP2023143179A - 情報処理装置、荷物検出システム、及び、キャリブレーション方法 - Google Patents
情報処理装置、荷物検出システム、及び、キャリブレーション方法 Download PDFInfo
- Publication number
- JP2023143179A JP2023143179A JP2022050417A JP2022050417A JP2023143179A JP 2023143179 A JP2023143179 A JP 2023143179A JP 2022050417 A JP2022050417 A JP 2022050417A JP 2022050417 A JP2022050417 A JP 2022050417A JP 2023143179 A JP2023143179 A JP 2023143179A
- Authority
- JP
- Japan
- Prior art keywords
- image
- index
- sorting
- infrared
- marks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims description 55
- 238000003384 imaging method Methods 0.000 claims abstract description 49
- 230000010365 information processing Effects 0.000 claims description 61
- 238000012937 correction Methods 0.000 claims description 40
- 238000009434 installation Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 description 42
- 238000007726 management method Methods 0.000 description 40
- 230000032258 transport Effects 0.000 description 36
- 230000008569 process Effects 0.000 description 21
- 230000014509 gene expression Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000011144 upstream manufacturing Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 8
- 238000002360 preparation method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】荷物検出システムのキャリブレーションを効率化する。【解決手段】情報処理装置は、複数のマークを有するボードを撮像した撮像画像を撮像カメラから取得し、ボードを撮像した赤外線画像を赤外線カメラから取得し、撮像画像からマークを検出し、検出されたマークの数に基づいて、撮像画像のキャリブレーションに関する第1の指標を算出し、赤外線画像からマークを検出し、検出された前記マークの数に基づいて、赤外線画像のキャリブレーションに関する第2の指標を算出し、第1の指標及び第2の指標を示す情報を出力する。【選択図】図8
Description
本開示は、情報処理装置、荷物検出システム、及び、キャリブレーション方法に関する。
近年の経済活動の高まりに伴い、荷物の流通量は増大する一方である。荷物の流通工程において、荷物を行先別に仕分ける仕分け作業は時間のかかる工程であり、従前から人手による作業に頼っているが、仕分け作業の少なくとも一部を自動化する技術も提案されている。
特許文献1は、搬送経路上を移動する荷物を追跡し、荷物から読み取った荷物に関する情報と当該荷物の位置の情報に基づき、表示する画像を決定し、プロジェクタから画像を荷物に照射して画像を荷物上に表示するシステムを開示している。
プロジェクタから荷物に向けて画像を適切に照射できるように、システムの設置時に各センサのキャリブレーションが行われる。そして、キャリブレーションの効率化が求められている。
本開示は、上述した従来の事情を鑑みて案出され、荷物検出システムのキャリブレーションを効率的に行うための技術に関する。特に、情報処理装置、荷物検出システム、及び、キャリブレーション方法を提供することを目的とする。
本開示の一態様に係る情報処理装置は、搬送される荷物の検出に用いられる撮像画像を撮像する撮像カメラの位置、及び、前記荷物の検出に用いられる赤外線画像を撮像する赤外線カメラの位置に関するキャリブレーションを行う情報処理装置であって、プロセッサ及びメモリを備え、前記プロセッサは、複数のマークを有するボードを撮像した前記撮像画像を前記撮像カメラから取得し、前記ボードを撮像した前記赤外線画像を前記赤外線カメラから取得し、前記撮像画像から前記マークを検出し、検出された前記マークの数に基づいて、前記撮像画像のキャリブレーションに関する第1の指標を算出し、前記赤外線画像から前記マークを検出し、検出された前記マークの数に基づいて、前記赤外線画像のキャリブレーションに関する第2の指標を算出し、前記第1の指標及び前記第2の指標を示す情報を出力する。
本開示の一態様に係る荷物検出システムは、搬送される荷物に投影画像を照射する投影装置と、前記荷物の検出に用いられる撮像画像を撮像する撮像カメラと、前記荷物の検出に用いられる赤外線画像を撮像する赤外線カメラと、前記投影装置、前記撮像カメラ及び前記赤外線カメラを制御する情報処理装置と、を備え、前記情報処理装置は、前記撮像カメラの位置及び前記赤外線カメラの位置に関するキャリブレーションにおいて、複数のマークを有するボードを撮像した前記撮像画像を前記撮像カメラから取得し、前記ボードを撮像した前記赤外線画像を前記赤外線カメラから取得し、前記撮像画像から前記マークを検出し、検出された前記マークの数に基づいて、前記撮像画像のキャリブレーションに関する第1の指標を算出し、前記赤外線画像から前記マークを検出し、検出された前記マークの数に基づいて、前記赤外線画像のキャリブレーションに関する第2の指標を算出し、前記第1の指標及び前記第2の指標を示す情報を出力する。
本開示の一態様に係るキャリブレーション方法は、情報処理装置によって、搬送される荷物の検出に用いられる撮像画像を撮像する撮像カメラの位置、及び、前記荷物の検出に用いられる赤外線画像を撮像する赤外線カメラの位置に関するキャリブレーションを行うキャリブレーション方法であって、設置作業者に複数のマークを有するボードを設置させ、前記ボードを撮像した前記撮像画像を前記撮像カメラから取得し、前記ボードを撮像した前記赤外線画像を前記赤外線カメラから取得し、前記撮像画像から前記マークを検出し、検出された前記マークの数に基づいて、前記撮像画像のキャリブレーションに関する第1の指標を算出し、前記赤外線画像から前記マークを検出し、検出された前記マークの数に基づいて、前記赤外線画像のキャリブレーションに関する第2の指標を算出し、前記第1の指標及び前記第2の指標を示す情報を表示する。
なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、記憶媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。
本開示によれば、荷物仕分けシステムのキャリブレーションを効率的に行うことが可能となる。
以下、添付図面を適宜参照しながら、本開示に係る荷物検出システム、荷物検出方法、情報処理装置およびその制御方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、あるいは、実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されない。
<実施の形態1>
[システム構成]
図1は、実施の形態に係る荷物仕分けシステム100の構成例を示すブロック図である。荷物仕分けシステム100は、搬送コンベア(図1では不図示)により搬送されてくる複数の荷物を仕分ける作業者の作業を支援するシステムであり、荷物検出システムとしても動作する。荷物仕分けシステム100は、例えば、小売業者、卸売り業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形やサイズは特に限定はされず、荷物の種類も特に限定されない。荷物を搬送する搬送コンベアは、例えば、ベルトコンベアまたはローラコンベアなどであってよい。また、荷物の搬送経路は、複数の搬送コンベアを組み合わせることで、搬送方向が変化したり、搬送経路の一部が分岐したりしていてもよい。
[システム構成]
図1は、実施の形態に係る荷物仕分けシステム100の構成例を示すブロック図である。荷物仕分けシステム100は、搬送コンベア(図1では不図示)により搬送されてくる複数の荷物を仕分ける作業者の作業を支援するシステムであり、荷物検出システムとしても動作する。荷物仕分けシステム100は、例えば、小売業者、卸売り業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形やサイズは特に限定はされず、荷物の種類も特に限定されない。荷物を搬送する搬送コンベアは、例えば、ベルトコンベアまたはローラコンベアなどであってよい。また、荷物の搬送経路は、複数の搬送コンベアを組み合わせることで、搬送方向が変化したり、搬送経路の一部が分岐したりしていてもよい。
荷物仕分けシステム100は、仕分け管理サーバ101、連携サーバ102、ラベルリーダ103、仕分けクライアント104、プロジェクタ105、距離センサ106、および画像センサ107を含んで構成される。仕分けクライアント104、プロジェクタ105、距離センサ106、および画像センサ107を1つの組として、荷物を搬送する搬送コンベア上に設けられる複数の仕分け領域それぞれに対応付けて複数のクライアントシステム110が設けられる。したがって、仕分けクライアント104、プロジェクタ105、距離センサ106、および画像センサ107はそれぞれ、仕分け領域の数に応じて複数設置される。以下の説明において、個別に装置の説明を要する場合には添え字(a,b,・・・)を付し、装置をまとめて説明する場合には添え字を省略して示す。
仕分け管理サーバ101は、本実施の形態に係る荷物仕分けシステム100の全体の制御を司る情報処理装置である。仕分け管理サーバ101は、ラベルリーダ103の検出結果を取得したり、連携サーバ102から各種荷物情報を取得したりする。また、仕分け管理サーバ101は、1または複数の仕分けクライアント104それぞれに対して、各種指示を行ったり、各種情報を収集したりする。更に、仕分け管理サーバ101は、後述する搬送コンベアの動作制御や、動作情報の収集および管理を行ってよい。
連携サーバ102は、ラベル情報と、荷物情報とを対応付けて保持、管理している。そして、連携サーバ102は、仕分け管理サーバ101からの要求に応じて、ラベルリーダ103にて読み取ったラベル情報に対応する荷物情報を提供する。なお、図1の例では、仕分け管理サーバ101、および連携サーバ102はそれぞれ1台ずつ示しているが、機能の冗長化や負荷分散などの観点から複数の装置にて構成されてもよい。また、仕分け管理サーバ101側にて、ラベル情報と仕分けのパターンを対応付けて管理しておき、これに基づいて、後述する各荷物の仕分けに係る処理を行ってもよい。このような場合などには、連携サーバ102の構成を省略し、仕分け管理サーバ101は、取得したラベル情報のパターンに基づいて、後述する各荷物の仕分けに係る処理を行うような構成であってよい。
ラベルリーダ103は、搬送コンベアにより搬送されている荷物に付されているラベルを読み取るための装置であり、レンズやイメージセンサなどの光学部品を含んで構成される。荷物に付されているラベルを読み取ることで、ラベルにて示される各種情報(以下、「ラベル情報」と称する)を取得する。ラベルの形式や方式は特に限定するものではなく、例えば、バーコードや二次元コード(QRコード(登録商標)など)を利用することができる。本実施の形態では、ラベルとしてバーコードを例に挙げて説明する。また、ラベル情報は、例えば、荷物を一意に識別するための識別情報を含んでよい。この場合、識別情報を構成する文字種や桁数などは特に限定されない。
ラベルリーダ103は、例えば、一般的な撮像カメラを使用し、撮像した画像からラベルの領域を画像認識によって抽出して各種情報を読み取ったり、ラベルに記載されている文字等をOCR(Optical Character Recognition/Reader)によって認識したりしてもよい。ラベルリーダ103は、ラベルを読み取るための専用の装置であってもよいし、他の装置と一体となった構成であってもよい。また、ラベルリーダ103は、ラベルの三次元座標を検出するような構成であってもよい。また、荷物の多様なサイズなどに対応して複数のラベルリーダ103が備えられてもよいし、ラベルの様々な貼り付け位置に対応して多方向から荷物を撮影するような構成であってもよい。
本実施の形態に係る荷物情報としては、例えば、荷物に個別に付与される荷物特定番号(例えば、荷物を一意に識別するための識別情報)、荷物の発送元の氏名、住所、電話番号、宛先(例えば、受取人)の氏名、住所、電話番号、荷物の種類、などが挙げられる。なお、これらの情報に限定するものではなく、荷物情報に含まれる項目は、必要に応じて増減してよい。本実施の形態において、仕分け管理サーバ101がラベルリーダ103からラベル情報を取得し、このラベル情報を用いて連携サーバ102に問い合わせを行うことで、対応する荷物情報を取得する。上述したように、連携サーバ102との連携を省略するような構成の場合には、仕分け管理サーバ101側で、ラベル情報と仕分けに関するパターンの情報とを対応付けて保持しておいてよい。
仕分けクライアント104は、仕分け管理サーバ101からの指示に基づいて、搬送されている荷物に対する投影処理等を制御する情報処理装置である。また、仕分けクライアント104は、距離センサ106および画像センサ107による撮影結果を取得し、その撮影結果に基づいて荷物を検出、管理する。また、仕分けクライアント104は、検出した荷物の位置情報やサイズ情報、検出した時刻情報などを仕分け管理サーバ101に提供する。
プロジェクタ105は、仕分けクライアント104の指示に基づいて、搬送経路上の荷物に対して所定の投影パターンを含む投影画像の照射を行う投影装置である。なお、本実施の形態において、「投影画像」とは、プロジェクタ105により仕分け領域全体に重畳して投影させる画像全体を示す。また、「投影パターン」とは、仕分け領域にて検出された荷物それぞれに対応して重畳して表示させる画像を示す。したがって、仕分け領域にて荷物が検出された場合、投影画像には、荷物に応じて1または複数の投影パターンが含まれることとなる。投影パターンの例については後述する。
距離センサ106は、距離センサ106と撮像対象(例えば、荷物の表面)との距離情報を検出するためのセンサであり、検出結果を距離画像として取得する。距離画像は、距離を示す数値を列挙したテーブルなど、人の目で画像として認識できないものを含んでよい。すなわち、距離画像は、撮像した領域内における座標と距離との関係を示す情報であればよく、そのデータ構造を特に限定するものではない。距離センサ106としては、例えば、赤外線センサ(IRセンサ)や、複数のカメラにて構成されるステレオカメラなどが用いられてよい。
画像センサ107は、レンズ、イメージセンサ等の光学部品を含む撮像装置である。画像センサ107は、例えば、撮像カメラにて構成される。撮像カメラは、三次元カメラ、複数台の二次元カメラが用いられてよい。画像センサ107は、搬送コンベアにより搬送されてくる荷物を含む搬送コンベアを撮像し、色画像を生成する。ここでの色画像とは、撮影対象の表面の色を所定の階調で表現した画像を示す。階調にはRGB(Red,Green,Blue)の256階調の他、グレースケールなどを含んでよい。
クライアントシステム110の数は、搬送コンベアの長さや各センサの検出範囲などに応じて異なる。なお、仕分けクライアント104は1台構成とし、この1台の仕分けクライアント104にて、複数の仕分け領域に対応した複数のプロジェクタ105、複数の距離センサ106、および複数の画像センサ107を制御するような構成であってもよい。また、本実施の形態では、センサとして距離センサ106と画像センサ107を用いる例を示したが、これらが一体となったセンサが用いられてもよいし、いずれか一方のみが用いられるような構成であってもよい。また、他の種類のセンサが用いられてもよい。搬送コンベアの搬送形式は特に限定するものではなく、例えば、1列にて荷物を搬送するような構成であってもよいし、複数列にて荷物を搬送するような構成であってもよい。
各装置は、有線/無線により通信可能に接続される。ここでの通信方式や接続方式は特に限定するものではなく、所定のネットワークケーブルを用いて接続されてもよいし、複数の方式を組み合わせて接続されてもよい。
(情報処理装置)
図2は、本実施の形態に係る仕分け管理サーバ101や連携サーバ102、仕分けクライアント104として適用可能な情報処理装置のハードウェア構成の例を示す図である。ここでは各装置が同じ構成を有するものとして説明するが、各装置がそれぞれ異なる構成であってもよい。
図2は、本実施の形態に係る仕分け管理サーバ101や連携サーバ102、仕分けクライアント104として適用可能な情報処理装置のハードウェア構成の例を示す図である。ここでは各装置が同じ構成を有するものとして説明するが、各装置がそれぞれ異なる構成であってもよい。
情報処理装置200は、CPU(Central Processing Unit)201、メモリ202、記憶装置203、入出力部204、通信部205、および外部I/F206を含んで構成される。CPU201は、メモリ202や記憶装置203に格納された各種プログラムやデータを読み出して処理を実行することで、各種機能を実現する。なお、CPU201は、GPU(Graphics Processing Unit)のような他の演算回路であってもよいし、他の演算回路と併用されてもよい。メモリ202は、各種情報を記憶、保持するための記憶領域であり、例えば、不揮発性の記憶領域であるROM(Read Only Memory)や、揮発性の記憶領域であるRAM(Random Access Memory)などから構成される。記憶装置203は、各種情報を記憶、保持するための記憶領域であり、HDD(Hard Disk Drive)、SSD(Solid State Drive)又はフラッシュメモリなどから構成される。
入出力部204は、例えば、不図示のマウスやキーボードからユーザによる指示を受け付けたり、不図示のディスプレイなどにより各種情報を出力したりする。通信部205は、有線/無線などのネットワークを介して外部装置との通信を行い、各種データや信号の送受信を行う。通信部205による通信方式は、特に限定するものではなく、複数の通信方式に対応していてよい。例えば、WAN(Wide Area Network)、LAN(Local Area Network)、電力線通信、近距離無線通信(例えば、Bluetooth(登録商標))などが用いられてよい。外部I/F206は、外部装置とのデータの送受信を行うためのインタフェースである。情報処理装置200が備える各部位は、不図示の内部バスなどにより通信可能に接続される。
[搬送例]
図3は、本実施の形態に係る荷物の搬送を説明するための概略図である。搬送対象の荷物300にはそれぞれラベル301が付される。ラベル301は、搬送経路の任意の位置に設置されたラベルリーダ103によって、搬送中に読み取られる。なお、図3の例では、ラベル301は、荷物300の上面に付され、上側からラベルリーダ103により読み取られる構成としたが、これに限定するものではない。例えば、荷物300の側面にラベル301が付され、これに対応してラベルリーダ103が側方から読み取り可能な構成であってもよい。
図3は、本実施の形態に係る荷物の搬送を説明するための概略図である。搬送対象の荷物300にはそれぞれラベル301が付される。ラベル301は、搬送経路の任意の位置に設置されたラベルリーダ103によって、搬送中に読み取られる。なお、図3の例では、ラベル301は、荷物300の上面に付され、上側からラベルリーダ103により読み取られる構成としたが、これに限定するものではない。例えば、荷物300の側面にラベル301が付され、これに対応してラベルリーダ103が側方から読み取り可能な構成であってもよい。
荷物300は、搬送コンベア302により任意の速度にて搬送される。搬送コンベア302には、ロータリーエンコーダ303が設置され、その搬送距離を適時検出し、仕分け管理サーバ101に提供される。ロータリーエンコーダ303は、搬送コンベア302の搬送に伴って回転する回転機構(不図示)に取り付けられており、その回転機構の回転数を出力する。この回転機構は、搬送コンベア302がベルトコンベアの場合は、ベルトに接しているローラまたはベルトを移動させるモータである。また、搬送コンベア302がローラコンベアの場合は、搬送コンベア302を構成するローラである。ここでは、矢印にて示す方向に沿って、荷物が搬送されているものとする。搬送コンベア302は、ユーザからの指定に応じてその搬送速度が変化したり、搬送を停止したりする。必要に応じて、逆方向への搬送が行われてもよい。また、搬送コンベア302の搬送速度は、搬送コンベア302の各機構の物理的な特性など、ユーザからの指定以外の要因でも変化したりする。しかし、ロータリーエンコーダ303は、回転機構の回転数を正確に検知するため、搬送速度の変化等の影響を受けにくい。搬送コンベア302による搬送は、例えば、仕分け管理サーバ101により制御されてもよいし、別途設けられる制御装置(不図示)にて制御されてもよい。
ラベルリーダ103よりも搬送方向の下流側には、複数の仕分け領域に対応して、各種センサ(本例では、距離センサ106および画像センサ107)と、プロジェクタ105が複数設置される。図3では、複数の仕分け領域のうちの最上流の仕分け領域Aを示している。仕分け領域Aに対応する各種センサは、仕分け領域Aを撮影することにより各種画像を取得し、これらの画像を用いて、仕分けクライアント104aにより搬送中の荷物が検出される。具体的には、仕分け領域Aの開始位置305aに荷物300が到達すると、荷物300は、各種センサの撮影範囲に進入することとなる。距離センサ106aおよび画像センサ107aの撮影範囲304は、少なくとも仕分け領域Aの範囲を含む。また、仕分け領域Aの範囲内において、仕分け管理サーバ101や仕分けクライアント104の指示に基づいて、プロジェクタ105aが所定の投影画像を投影する。プロジェクタ105aによる投影範囲306は、少なくとも仕分け領域Aを含む。なお、ラベルリーダ103の読み取り位置から、開始位置305aまでの距離は、後述する処理シーケンスの処理速度や、各種センサの読み取り速度などに応じて規定されてよい。
搬送コンベア302の周囲には、荷物300に対する作業を行う作業者Mが位置し、必要に応じて、各種作業を実施する。このとき、作業者Mは、プロジェクタ105により投影された投影画像(投影パターン等)に基づいて作業を実施することが可能である。
図4は、複数のクライアントシステム110それぞれに対応した複数の仕分け領域を説明するための図である。ここでは、2つの仕分け領域A、Bを例に挙げ、それぞれ、クライアントシステム110a、110bにより監視されているものとして説明する。仕分け領域の数やその範囲(例えば、搬送方向の長さや幅)はクライアントシステム110の機能に応じて規定されてよい。したがって、仕分け領域Bよりも更に搬送方向下流において、更に1または複数の仕分け領域が設けられてよい。
仕分け領域Aは、距離センサ106aおよび画像センサ107aにより撮影され、その画像が仕分けクライアント104aに提供される。また、仕分け領域Aにおいて、プロジェクタ105aにより、任意の投影パターンを含む投影画像が投影される。同様に、仕分け領域Aの搬送方向下流側に隣接する仕分け領域Bは、距離センサ106bおよび画像センサ107bにより撮影され、その画像が仕分けクライアント104bに提供される。また、仕分け領域Bにおいて、プロジェクタ105bにより、任意の投影パターンを含む投影画像が投影される。仕分け領域Bでは、仕分け領域Aから搬送されてきた荷物の監視を引き継ぐ形で監視が行われる。このとき、図4に示すように、クライアントシステム110それぞれによる仕分け領域は、一部の領域が重複しており、以下、この領域を「ハンドオーバ領域」とも称する。開始位置305bは、仕分け領域Bの監視の開始位置を示し、仕分け領域Bの上流側に隣接する仕分け領域Aの監視の終了位置(不図示)とは異なる。ハンドオーバ領域の詳細については後述する。
[処理シーケンス]
図5、図6を用いて、本実施の形態に係る荷物仕分けシステム100の処理シーケンスについて説明する。各装置の処理は、各処理の処理主体(CPU等)により各種機能に対応したプログラムが実行されることで実現されてよい。図5や図6に示す処理が開始される際に搬送コンベア302の動作が開始され、それにより荷物が順次搬送されるものとする。なお、以下に示す処理シーケンスにおける各処理の主体は一例であり、その一部が他の装置によって実行されてもよい。例えば、以下に示す仕分け管理サーバ101の処理の一部を、仕分けクライアント104が実行するような構成であってもよい。または、図1に示した各サーバや仕分けクライアントを1の装置にて構成し、この1の装置にて以下の処理シーケンスを実行させてもよい。
図5、図6を用いて、本実施の形態に係る荷物仕分けシステム100の処理シーケンスについて説明する。各装置の処理は、各処理の処理主体(CPU等)により各種機能に対応したプログラムが実行されることで実現されてよい。図5や図6に示す処理が開始される際に搬送コンベア302の動作が開始され、それにより荷物が順次搬送されるものとする。なお、以下に示す処理シーケンスにおける各処理の主体は一例であり、その一部が他の装置によって実行されてもよい。例えば、以下に示す仕分け管理サーバ101の処理の一部を、仕分けクライアント104が実行するような構成であってもよい。または、図1に示した各サーバや仕分けクライアントを1の装置にて構成し、この1の装置にて以下の処理シーケンスを実行させてもよい。
ラベルリーダ103は、搬送コンベア302にて搬送されている荷物に付与されているラベルを検出し、そのラベル情報を読み取る(ステップS501)。
ラベルリーダ103は、S501にて読み取ったラベル情報を仕分け管理サーバ101へ送信する(ステップS502)。この時送信する情報としては、ラベルにて示される情報の他、読み取った時刻やラベルを読み取る際に検出した位置情報(例えば、三次元情報など)が含まれてもよい。
仕分け管理サーバ101は、ラベルリーダ103から送信されてきたラベル情報を取得する(ステップS503)。このとき、仕分け管理サーバ101は、搬送コンベア302に備えられたロータリーエンコーダ303から、検出値を取得して、対応付けて保持する。ロータリーエンコーダ303による検出値は、その回転数に基づく、搬送コンベア302の移動距離に相当する。更に、仕分け管理サーバ101は、取得したラベル情報を用いて、連携サーバ102に対して荷物情報を問い合わせる。
連携サーバ102は、仕分け管理サーバ101からの問い合わせにて示されるラベル情報に対応する荷物情報を所定のDB(データベース)から検索し、特定する(ステップS504)。DBは、連携サーバ102が内部に備えていてもよいし、ネットワークを介して連携サーバ102に接続された外部装置(不図示)に構成されていてもよい。
連携サーバ102は、ステップS504にて特定した荷物情報を、問い合わせに対する応答として仕分け管理サーバ101へ送信する(ステップS505)。
仕分け管理サーバ101は、連携サーバ102から取得した荷物情報に基づき、投影パターンを決定する(ステップS506)。本実施の形態に係る投影パターンは、複数のパターンとして予め規定され、保持されている。投影パターンは、例えば、荷物情報にて示される宛先(例えば、送付先住所)に応じて決定されてよいし、仕分け領域に応じて決定されてもよい。
仕分け管理サーバ101は、ステップS506にて決定した投影パターンを含む投影指示を仕分けクライアント104へ送信する(ステップS507)。ここでは、図3にて示したように、搬送経路の最上流に位置する仕分け領域Aに対応するクライアントシステム110aの仕分けクライアント104aに送信するものとして説明する。つまり、各荷物は、まず、仕分け領域Aに向けて搬送される。なお、投影指示には、投影パターンのほか、ステップS506にて取得した荷物情報や、ステップS501にてラベルリーダ103にて読み取ったラベル情報およびその読み取った際の時刻の情報などを含んでよい。ここでの投影指示は、仕分けクライアント104aがセンサ類にて荷物を検出したことに起因して、その荷物に関する情報を問い合わせ、それに応じて仕分け管理サーバ101から仕分けクライアント104aに送信されてよい。または、仕分け管理サーバ101がラベルリーダ103からラベル情報を受信したことに起因して、仕分けクライアント104aに送信されてよい。
ステップS520(ステップS508~ステップS515)は、仕分け領域(ここでは、仕分け領域A)内を搬送されている各荷物を監視するためにクライアントシステム110(ここでは、クライアントシステム110a)により繰り返し行われる処理である。ここでは、便宜上、距離センサ106および画像センサ107(ここでは、距離センサ106aおよび画像センサ107a)をまとめて「センサ類」と記載する。
センサ類は、仕分け領域A内を撮影し、その画像を取得する(ステップS508)。なお、本実施の形態では、仕分けクライアント104aが、センサ類にて撮影された画像を用いて荷物の検出を行うものとして説明するが、その処理の一部をセンサ類側で実施するような構成であってもよい。例えば、センサ類は、荷物に対応する領域の特定(荷物の有無)や、各荷物の三次元座標(位置)やサイズ(縦、横、高さ)などを検出するような構成であってもよい。
センサ類は、取得結果を仕分けクライアント104aに送信する(ステップS509)。このとき、センサ類は、取得した画像に対して所定の処理を行った上で、仕分けクライアント104aに送信してよい。例えば、画像センサ107aの場合、取得した画像情報に対して任意の画像処理(例えば、画像圧縮や補正処理)が行われてよい。
仕分けクライアント104aは、ステップS509にてセンサ類から送信された取得結果に基づいて、荷物の検出処理を行う(ステップS510)。具体的には、仕分けクライアント104aは、仕分け領域A内において、搬送コンベア302により搬送されている1または複数の荷物を、センサ類からの取得結果に基づいて特定する。荷物の検出の際の処理は公知の方法を用いてよく、特に限定するものではない。例えば、機械学習による領域分割にて荷物に対応する領域を検出してもよい。または、予め規定されたパターンを用いて、パターンマッチングにより荷物を検出してもよい。
仕分けクライアント104aは、ステップS507にて仕分け管理サーバ101から送信された投影指示と、ステップS510の検出結果とに基づいて、各情報の対応付けを行う(ステップS511)。これにより、検出した1または複数の荷物それぞれと、仕分け管理サーバ101から送信された投影指示にて示される各種情報(投影パターン等)が対応付けられる。
投影パターンは、例えば、荷物の配送先住所に対応した仕分け場所を示す色を有し、円い枠で囲んだ数字の画像である。ここで、数字は、例えば、仕分けられた荷物を運ぶトラックの番号(トラック自体の番号や駐車場番号など)や、当該トラックなどに搬入されるべき棚や箱などの番号等に対応する。また、数字の画像は、直接的に棚や箱などの番号に対応させるのではなく、ピックアップした荷物を他の場所またはトラック等へ移動させるシューター(不図示)の番号等に対応していてもよい。トラック等の駐車位置は交通状況などに応じて頻繁に変わるため、搬送コンベア302周辺から見た仕分け先を随時対応させることは難しいことがある。そのため、搬送コンベア302と搬送トラック等との間にシューターを挟み、搬送コンベア302周辺ではシューターの番号を投影することで、搬送コンベア302周辺の構成を随時変えなくとも、シューターの出口の配置換えなどで仕分け先の変化に対応することができる。この場合、状況の変化に応じて、投影パターンの内容が切り替えられてもよい。
投影パターンとして、数字を表示する他の例としては、配送先住所に対応した郵便番号や、荷物Pをピックアップすべき作業者の番号などであってもよい。また、数字以外の情報を表示する例としては、仕分け方向を示す矢印(搬送コンベア302の搬送方向に対して右または左など)または文字(「左」、「右」など)であってもよい。更に、表示の形態も円い枠で囲んだ数字に限られるものではなく、四角い枠で囲んだ数字(“3”、“359”、“24735”)など様々な構成であってよい。さらに、投影パターンは、枠によって数字または文字を囲むものに限らず、背景を塗りつぶした白抜きの数字または文字であってもよい。また、表示する情報に応じて、丸、三角、四角など表示する数字または文字の形状を切り替えるなどとしてもよい。他にも、表示する情報ごとに個別に対応付けできるような絵を表示するなどとしてもよい。
また、投影パターンは静止画像に限らず、アニメーションであってもよい。アニメーションの例としては、上記の各例を点滅させたり、拡大縮小させたり、色を変化させたりしてもよい。また、仕分け方向を反映したアニメーションを投影してもよい。仕分け方向を反映したアニメーションの例としては、仕分け方向に向かって光線または光点等を移動させたり、仕分け方向に向かって投影パターンの全体または一部を形成したり色を変化させたり、仕分け方向に矢印を動かして表示させたりするなどが挙げられる。投影パターンの一部のみをアニメーションの対象とする場合は、数字や矢印などの作業者による仕分け先の判断への影響が大きい部分は変化させず、枠線などの仕分け先の影響の少ない部分を変化させてもよい。ただし、仕分け先の選択肢が少ない場合など、枠線内に投影される数字等の意味よりも仕分け方向を直感的に伝える方が効率的な状況では、固定された枠線内で数字や矢印などを仕分け方向に動かしてもよい。また、アニメーションは繰り返し投影されてもよいし、一度だけ投影されてもよい。
また、投影パターンは、仕分け先を示すものには限られず、荷物仕分けシステム100で発生しているエラーや、作業者が荷物を見過ごしてしまった場合の通知等であってもよい。
また、投影パターンを荷物に直接投影するのではなく、画像を表示可能な眼鏡を介して、擬似的に、荷物に投影パターンが投影されているかのように作業者に認識させてもよい。つまり、作業者が画像を表示可能な特殊な眼鏡を装着している場合、眼鏡を介して視認される荷物の像に、ここでの投影パターンを重ねあわせてもよい。
また、投影パターンは、荷物以外の場所に投影してもよい。例えば、搬送コンベア302の、荷物が存在していない領域に、作業者への一般的な通知内容を投影してもよい。このような通知の例としては、荷物の到着量の増減の予告や、作業の残り時間、作業者への挨拶等が挙げられる。
仕分けクライアント104aは、ステップS510にて検出した1または複数の荷物に対する三次元空間内における処理を行う(ステップS512)。ここでの三次元空間内における処理では、搬送経路上における三次元座標系にて、各荷物を三次元形状にて表現するように処理する。なお、センサ類の数や配置によっては、センサ類の死角に位置する面の情報は得られないことがある。この場合、各荷物の三次元形状を一般的な荷物の形状(例えば、直方体形状等)に合致するよう補完してもよい。また、荷物を構成する面のうち、投影画像が投影されるべき面の三次元形状が認識できていれば、指示を投影することができるため、投影対象となる面のみ、または、投影対象となる面を含む面の集合を荷物の三次元形状として表現してもよい。本実施の形態では、投影対象となる面は荷物の上面であるものとするが、側面等であっても構わない。本実施の形態のセンサ類は、最低限、荷物の上面の情報が得られるよう上方に配置されているが、投影対象の面が側面等の場合は、その面に合わせた位置から荷物を撮影する。
搬送経路上の三次元座標系については、クライアントシステム110a内において原点及び各座標軸が予め規定されているものとする。また、ラベルリーダ103、および複数のクライアントシステム110それぞれにおける三次元座標系についても、その対応関係が予め対応付けられ、適時調整されているものとする。ここでの複数の三次元座標系は、荷物仕分けシステム100全体で絶対座標系を共有し、その絶対座標系にて対応付けられてもよい。また、複数の三次元座標系は、相対座標系にて対応付けられてもよい。相対座標系を使用する場合は、例えば、荷物仕分けシステム100の上流に位置するクライアントシステム110を基準とし、他のクライアントシステム110が使用する座標系を、基準となるクライアントシステム110との相対的な座標系で定義してもよい。なお、相対座標系の基準となる座標系は、荷物仕分けシステム100内の任意の座標系を使用してよい。例えば、他のクライアントシステムや、センサ群の利用している座標系など、他の座標系であってもよい。なお、本工程の処理は、搬送される荷物の形状やプロジェクタ105の構成などにより高さ方向の調整が不要である場合には、二次元空間、すなわち、平面空間での処理が行われてもよい。
仕分けクライアント104aは、ステップS512にて処理された三次元形状の1または複数の荷物それぞれに対応付けられた投影パターンを含む投影画像を描画する(ステップS513)。具体的には、仕分けクライアント104aは、個別の荷物に対する投影パターンの投影位置などを算出し、仕分け領域A全体に対する投影画像を決定する。この投影画像は、一例として、個別の荷物に対応する領域に各荷物向けの投影パターンが含まれ、荷物が存在しない領域には黒色の画像が含まれるような画像である。このような投影画像を用いることで、プロジェクタの数を抑えつつ、多数の荷物に対する投影を同時に行うことができる。なお、一般的なプロジェクタでは、投影対象となる面とプロジェクタとの間の距離が近いほど画像は小さく、遠いほど画像は大きく投影される。そのため、ステップS512にて描画される投影画像における各荷物向けの投影パターンの大きさは、各荷物とプロジェクタとの間の距離が近いほど大きくなるよう調整されてもよい。
仕分けクライアント104aは、ステップS513にて決定した投影画像に従って、プロジェクタ105aに投影指示を行う(ステップS514)。
プロジェクタ105aは、ステップS514の仕分けクライアント104aからの投影指示に基づいて、仕分け領域Aに対し投影画像の投影を行う(ステップS515)。各荷物は継続的に搬送コンベア302により搬送されているため、搬送が継続される間、ステップS520に示す処理が継続して実行されてよい。
(荷物のハンドオーバ処理)
図5では、ラベルリーダ103の読み取り位置よりも搬送方向下流側における最初の(最上流の)仕分け領域Aに着目して処理を説明した。上述したように、搬送コンベア302による搬送経路上においては、複数の仕分け領域が設けられ、その仕分け領域間において各荷物の監視を各クライアントシステム110間で引継ぎ(以下、「ハンドオーバ」とも称する)を行う。
図5では、ラベルリーダ103の読み取り位置よりも搬送方向下流側における最初の(最上流の)仕分け領域Aに着目して処理を説明した。上述したように、搬送コンベア302による搬送経路上においては、複数の仕分け領域が設けられ、その仕分け領域間において各荷物の監視を各クライアントシステム110間で引継ぎ(以下、「ハンドオーバ」とも称する)を行う。
図6を用いて、ハンドオーバ処理に関する処理シーケンスを説明する。ここでは、搬送経路上において、仕分け領域Aに対応するクライアントシステム110aと、仕分け領域Aよりも搬送方向下流側に隣接する仕分け領域Bに対応するクライアントシステム110bとの間のハンドオーバ処理を例に挙げて説明する。搬送経路の長さなどに応じて、仕分け領域の数は変動し得るため、ハンドオーバ処理は隣接する仕分け領域に対応するクライアントシステム110間にて適時行われる。なお、クライアントシステム110aについては、図5にて説明した処理シーケンスを同時並行的に行っているものとする。
ステップS620(ステップS601~ステップS603)は、仕分け領域A内を搬送されている各荷物を監視するためにクライアントシステム110aにより繰り返し行われる処理である。ここでは、便宜上、距離センサ106aおよび画像センサ107aをまとめてセンサ類Aと記載する。
センサ類Aは、仕分け領域A内を撮影し、その画像を取得する(ステップS601)。ここでは、図5にて示したように、仕分けクライアント104a側で、センサ類Aにて撮影された各種画像を用いて荷物の検出を行うものとして説明する。仕分け領域Aに複数の荷物が搬送されている場合には、それぞれの荷物が検出される。クライアントシステム110aの場合、本処理は、図5のステップS508に対応する。
センサ類Aは、取得結果を仕分けクライアント104aに送信する(ステップS602)。このとき、センサ類Aは、取得した画像に対して所定の処理を行った上で、仕分けクライアント104aに送信してよい。クライアントシステム110aの場合、本処理は、図5のステップS509に対応する。
仕分けクライアント104aは、ステップS602にてセンサ類Aから送信されてきた取得結果に基づいて、荷物の検出を行う(ステップS603)。更に、仕分けクライアント104aは、検出した荷物の搬送情報を仕分け管理サーバ101へ送信する(ステップS603)。具体的には、図5の処理シーケンスにてすでに行われている三次元空間内における処理の結果などに応じて、追跡していた荷物のうち、下流側の仕分け領域(ここでは、仕分け領域B)との境界に近づいている荷物を特定し、その荷物に関する情報を搬送情報として送信してよい。荷物の検出の際の処理は公知の方法を用いてよく、特に限定するものではない。例えば、機械学習による領域分割にて荷物に対応する領域を検出してもよい。または、予め規定されたパターンを用いて、パターンマッチングにより荷物を検出してもよい。
ステップS630(ステップS604~ステップS606、ステップS610~ステップS614)は、仕分け領域B内を搬送されている各荷物を監視するためにクライアントシステム110bにより繰り返し行われる処理である。ここでは、便宜上、距離センサ106bおよび画像センサ107bをまとめてセンサ類Bと記載する。
センサ類Bは、仕分け領域B内を撮影し、その画像を取得する(ステップS604)。ここでは、仕分け領域Aと同様、仕分けクライアント104b側で、センサ類Bにて撮影された各種画像を用いて荷物の検出を行うものとして説明する。仕分け領域Bに複数の荷物が搬送されている場合には、それぞれの荷物が検出される。
センサ類Bは、取得結果を仕分けクライアント104bに送信する(ステップS605)。このとき、センサ類Bは、取得した情報に対して所定の処理を行った上で、仕分けクライアント104bに送信してよい。
仕分けクライアント104bは、ステップS605にてセンサ類Bから送信されてきた取得結果に基づいて、荷物の検出を行う(ステップS606)。更に、仕分けクライアント104bは、検出した荷物の搬送情報を仕分け管理サーバ101へ送信する。例えば、検出した荷物のうち、上流側の仕分け領域(ここでは、仕分け領域A)との境界に位置する荷物(すなわち、新たに搬送されてきた荷物)を特定し、その荷物に関する情報(位置やサイズなど)を搬送情報として送信してよい。
仕分け管理サーバ101は、ステップS603にて仕分けクライアント104aから送信されてきた搬送情報と、ステップS606にて仕分けクライアント104bから送信されてきた搬送情報とに基づいて、仕分け領域間(ここでは、仕分け領域Aと仕分け領域Bの間)にてハンドオーバがなされる荷物を特定する(ステップS607)。つまり、ある荷物が搬送されることに伴ってその荷物の監視主体がクライアントシステム110aからクライアントシステム110bへとハンドオーバするために、各クライアントシステム110にて検出した仕分け領域間の境界に位置する荷物を、同一の荷物であるとして対応付ける。例えば、仕分け管理サーバ101は、仕分け領域を跨いだ荷物が、管理している荷物情報のうちのいずれに対応するかを特定することで対応付けてよい。
仕分け管理サーバ101は、ステップS607の対応付けと、上流側の仕分け領域(ここでは、仕分け領域A)にて用いていた荷物情報とに基づいて、下流の仕分け領域(ここでは、仕分け領域B)における投影パターンを決定する(ステップS608)。本実施の形態に係る投影パターンは、複数のパターンとして予め規定され、保持されている。なお、投影パターンは、上流の仕分け領域(ここでは、仕分け領域A)と同じであってもよいし、同じ荷物であっても搬送中の仕分け領域に応じて切り替えるような構成であってもよい。
仕分け管理サーバ101は、ステップS608にて決定した投影パターンを含む投影指示を仕分けクライアント104へ送信する(ステップS609)。ここでは、荷物の監視がハンドオーバされるクライアントシステム110bの仕分けクライアント104bに投影指示が送信される。なお、投影指示には、投影パターンのほか、対応する荷物の荷物情報などを含んでよい。
仕分けクライアント104bは、ステップS609にて仕分け管理サーバ101から送信された投影指示と、ステップS606の検出結果とに基づいて、各情報の対応付けを行う(ステップS610)。具体的には、仕分けクライアント104bは、仕分け領域B内において、搬送コンベア302により搬送されている1または複数の荷物を、センサ類Bの検出結果に基づいて特定する。更に、仕分けクライアント104bは、特定した1または複数の荷物それぞれに対し、仕分け管理サーバ101から送信された投影指示に含まれる各種情報を対応付ける。これにより、仕分けクライアント104bによって検出された1または複数の荷物それぞれと、仕分け管理サーバ101から送信された投影指示にて示される各種情報(投影パターン等)が対応付けられる。
仕分けクライアント104bは、ステップS610にて特定した1または複数の荷物に対する三次元空間内における処理を行う(ステップS611)。ここでの三次元空間内における処理では、搬送経路上における三次元座標系にて、各荷物を三次元形状にて表現するように処理する。ここでの処理は、図5のステップS512の処理と同一であってよい。
仕分けクライアント104bは、ステップS611にて処理された三次元形状の1または複数の荷物それぞれに対応付けられた投影パターンを含む投影画像を描画する(ステップS612)。具体的には、仕分けクライアント104bは、個別の荷物に対する投影パターンの投影位置などを算出し、仕分け領域B全体の投影画像を決定する。ここでの投影画像は、図5にて説明したステップS513と同様の構成であってよい。
なお、1の仕分け領域に対応付けて複数のプロジェクタを設置してもよい。例えば、1の仕分け領域を更に細分化して複数のプロジェクタそれぞれが担当する範囲を設定してもよい。この場合、仕分けクライアント104bは、複数のプロジェクタそれぞれに対して、担当範囲に相当する投影画像を生成する。この場合の投影画像の一例としては、担当範囲内に存在する荷物の位置には各荷物向けの投影パターンが含まれ、担当範囲内の荷物の存在しない位置には黒色の画像が含まれる画像が挙げられる。このようにすることで、プロジェクタの性能またはプロジェクタを設置可能な高さの限界などから、一台のプロジェクタでは仕分け領域全体への投影が難しい場合であっても、仕分け領域全体に対する投影を行うことができる。
また、各プロジェクタが1つの荷物を担当し、その荷物のみに向けた投影を行うようにしてもよい。この場合、複数のプロジェクタそれぞれは担当する荷物の移動に合わせて照射の角度を変更したり、担当する荷物の位置以外の位置に黒色の画像を投影したりすることで、自身の担当する荷物のみに向けた投影を行う。このようにすることで、複数のプロジェクタそれぞれは、自身の担当する荷物に最適なパラメータを用いた投影を行うことができる。例えば、複数のプロジェクタそれぞれの焦点距離を自動的に調整することができるので、荷物の高さなどにバラつきがある場合であっても、各荷物にピントが合った画像を投影できる。
仕分けクライアント104bは、ステップS612にて決定した投影画像に従って、プロジェクタ105bに投影指示を行う(ステップS613)。
プロジェクタ105bは、ステップS613の仕分けクライアント104bからの投影指示に基づいて、仕分け領域Bに対し投影画像の投影を行う(ステップS614)。各荷物は継続的に搬送コンベア302により搬送されているため、搬送が継続される間、仕分け領域B以降の監視を担うクライアントシステム110はそれぞれ、ステップS630に示す処理を継続して実行されてよい。
[荷物認識]
図7は、本実施形態に係る仕分け領域における荷物の認識を説明するための図である。ここでは、搬送コンベア302の搬送経路上のある仕分け領域701と、その搬送方向上流側および下流側に隣接する仕分け領域702、仕分け領域703を例に挙げて説明する。また、搬送コンベア302により、3つの荷物706、707、708が搬送されているものとする。
図7は、本実施形態に係る仕分け領域における荷物の認識を説明するための図である。ここでは、搬送コンベア302の搬送経路上のある仕分け領域701と、その搬送方向上流側および下流側に隣接する仕分け領域702、仕分け領域703を例に挙げて説明する。また、搬送コンベア302により、3つの荷物706、707、708が搬送されているものとする。
仕分け領域701と仕分け領域702にはハンドオーバ領域704が設けられる。ハンドオーバ領域704は、仕分け領域701に対応するクライアントシステムと、仕分け領域702に対応するクライアントシステムの両方にてセンサ類による検出が行われる領域である。同様に、仕分け領域701と仕分け領域703にはハンドオーバ領域705が設けられる。ハンドオーバ領域705は、仕分け領域701に対応するクライアントシステム110と、仕分け領域703に対応するクライアントシステム110の両方にてセンサ類による検出が行われる領域である。
本実施の形態に係る各仕分け領域では、搬送されている荷物は、その範囲が適時特定される。荷物の範囲を特定することで、荷物のサイズや形状が認識される。ここでの範囲は、荷物の形状と完全に一致する必要はなく、所定のマージンを設けてよい。そして、各荷物の範囲に応じて、各荷物に投影させる投影パターンのサイズや形状、位置が調整される。なお、調整の方法は、特に限定するものではなく、例えば、投影パターンの視認性や作業効率性などを考慮して行われてよい。
なお、本実施の形態では、ラベルリーダ103と、画像センサ107とは、異なるものとして説明したが、ラベルリーダ103を画像センサ107の代わりに使用してもよい。具体的には、ラベルリーダ103によって読み取ったラベルの位置を荷物の位置として取り扱い、ラベルの位置に対して投影画像を投影する。ラベルからは荷物の識別情報を得ることができるため、このような構成を採用することにより、クライアントシステム110間で同一の荷物を紐づける処理が不要となる。ただし、ラベルリーダ103が認識可能な領域はラベルの領域に限られるため、荷物全体を追跡可能な画像センサ107による追跡と比べて、投影画像の大きさや投影画像を照射する位置の自由度は低下する。同様に、画像センサ107をラベルリーダ103の代わりに使用してもよい。具体的には、画像センサ107が取得した画像に含まれるラベルの画像からラベル情報を取得してもよい。以下では、特に断らない限り、画像センサ107の撮像画像を用いた荷物の追跡の例を示すが、ラベルリーダ103を画像センサ107の代わりに用いてもよい。
(撮像カメラ及び赤外線カメラのキャリブレーション)
図8は、実施の形態1に係る撮像カメラ107及び赤外線カメラ106のキャリブレーションを説明するための概略図である。
図8は、実施の形態1に係る撮像カメラ107及び赤外線カメラ106のキャリブレーションを説明するための概略図である。
画像センサ107は、上述したように、撮像カメラ107によって構成されてよい。撮像カメラ107によって撮像された画像を撮像画像と称する。距離センサ106は、上述したように、赤外線カメラ106によって構成されてよい。赤外線カメラ106によって撮像された画像を赤外線画像と称する。
図8に示すように、撮像カメラ107の設置位置と、赤外線カメラ106の設置位置とは、異なり得る。そのため、撮像カメラ107及び赤外線カメラ106の設置時において、撮像カメラ107の位置から撮像される撮像画像を三次元座標にマッピングするための補正パラメータと、赤外線カメラ106の位置から撮像される赤外線画像を三次元座標にマッピングするための補正パラメータとを算出すべく、キャリブレーションが行われる。
キャリブレーションは、図8に示すようなボード820を用いて行われてよい。ボード820は、搬送コンベア302の面に沿う平面821と、平面821の一辺から高さ方向に斜めに伸びる斜面822とを有する構成であってよい。なお、図8では、ボード820が1つの斜面822を有しているが、ボード820は2つ以上の斜面822を有してもよい。なお、斜面822は、搬送コンベア302の面に垂直な方向のキャリブレーションを行うためのものである。そのため、搬送コンベア302の面に沿う方向のキャリブレーションのみを行う場合、斜面822は省略されてもよい。また、キャリブレーションにボード820を使用する構成は一例である。ボード820に代えて、マークや二次元コードなどが付された箱などを使用してキャリブレーションを行ってもよい。
ボード820の平面821及び斜面822の表面には、図8に示すように、複数のマーク823が描かれてよい。マーク823の形状は、円であってよい。ただし、マーク823の形状は、円に限られず、多角形又は所定の模様等であってもよい。
キャリブレーションにおいて、運用時に仕分けクライアント104として使用される情報処理装置104は、撮像カメラ107からボード820を撮像した撮像画像を受信し、その撮像画像からマーク823を検出し、その検出したマーク823に基づいて、撮像画像に係る補正パラメータを算出する。同様に、キャリブレーションにおいて、情報処理装置104は、赤外線カメラ106からボード820を撮像した赤外線画像を受信し、その赤外線画像からマーク823を検出し、その検出したマーク823に基づいて、赤外線画像に係る補正パラメータを算出する。
上述した補正パラメータは、公知の技術によって算出されてよい。例えば、情報処理装置104は、撮像画像におけるボード820の平面821から検出した複数(例えば3つ)のマーク823の位置及び形状に基づいて、水平面に対する撮像画像の傾きを算出し、撮像画像におけるボード820の斜面822から検出した複数(例えば3つ)のマーク823の位置及び形状に基づいて、垂直面に対する撮像画像の傾きを算出することにより、撮像画像を三次元座標にマッピングするための補正パラメータを算出する。同様に、情報処理装置104は、赤外線画像におけるボード820の平面821から検出した複数(例えば3つ)のマーク823の位置及び形状に基づいて、水平面に対する赤外線画像の傾きを算出し、赤外線画像におけるボード820の斜面822から検出した複数(例えば3つ)のマーク823の位置及び形状に基づいて、垂直面に対する赤外線画像の傾きを算出することにより、赤外線画像を三次元座標にマッピングするための補正パラメータを算出する。
これにより、運用時において、仕分けクライアント104は、補正パラメータを適用した撮像画像と、補正パラメータを適用した赤外線画像とを用いて、搬送コンベア302を流れる荷物300の三次元座標(位置)及びサイズ(縦、横、高さ)などを精度良く検出することができる。
ここで、ボード820から検出されるマーク823の数が少ない(例えば3つの)場合、補正パラメータの精度は比較的低く、ボード820から検出されるマーク823の数が多くなるにつれて、補正パラメータの精度は比較的高くなる傾向にある。
キャリブレーションを行う設置作業者は、ボード820を搬送コンベア302上に置いて、撮像カメラ107及び赤外線カメラ106にボード820を撮像させ、情報処理装置104に補正パラメータを算出させ、その算出した補正パラメータの精度が低い場合、ボード820の位置を変えて、再度、撮像カメラ107及び赤外線カメラ106にボード820を撮像させ、再度、情報処理装置104に補正パラメータを算出させる、という作業を繰り返す。しかし、このキャリブレーションの作業方法は、手間と時間がかかり、作業効率が低い。特に、撮像カメラ107の補正パラメータと赤外線カメラ106の補正パラメータとの両方の精度が十分となる位置にボード820を置くことが難しい。そこで以下では、このキャリブレーションの作業効率を向上させる方法について説明する。
図9は、実施の形態1に係るキャリブレーションの作業手順を示すフローチャートである。図10は、実施の形態1に係るキャリブレーションに関する指標画像を示す図である。次に、図9及び図10を参照して、本実施の形態に係るキャリブレーションの作業方法について説明する。
キャリブレーションを行う設置作業者は、搬送コンベア302上のプロジェクタ105が投影画像を照射可能な範囲内にボード820を配置する(ステップS901)。このとき、情報処理装置104は、照射可能な最大範囲を示す投影画像をプロジェクタ105に照射させてよい。この場合、設置作業者は、照射された投影画像の範囲(投影範囲306)に収まるようにボード820を配置すればよい。
情報処理装置104は、撮像カメラ107からボード820を撮像した撮像画像を受信し、赤外線カメラ106からボード820を撮像した赤外線画像を受信する(ステップS902)。
情報処理装置104は、撮像画像からマーク823を検出し、ボード820の平面821におけるマーク823の数と、ボード820の斜面822におけるマーク823の数とをカウントする(ステップS903)。
情報処理装置104は、赤外線画像からマーク823を検出し、ボード820の平面821におけるマーク823の数と、ボード820の斜面822におけるマーク823の数とをカウントする(ステップS904)。
情報処理装置104は、ステップS903にてカウントした、平面821におけるマーク823の数と、斜面822におけるマーク823の数とに基づいて、撮像画像のキャリブレーションに関する指標(以下、第1の指標911と称する)を算出する(ステップS905)。なお、第1の指標911は、カウントされたマーク823の数が多いほど、大きくなる傾向を有してよい。一般的に、カウントできたマーク823の数が多いほどキャリブレーションの精度が高まる可能性が高いため、第1の指標が大きいほど撮像画像に係るキャリブレーションの精度も高まることが期待できる。
情報処理装置104は、ステップS904にてカウントした、平面821におけるマーク823の数と、斜面822におけるマーク823の数とに基づいて、赤外線画像のキャリブレーションに関する指標(以下、第2の指標921と称する)を算出する(ステップS906)。なお、第2の指標921は、カウントされた823の数が多いほど、大きくなる傾向を有してよい。一般的に、カウントできたマーク823の数が多いほどキャリブレーションの精度が高まる可能性が高いため、第2の指標が大きいほど赤外線画像に係るキャリブレーションの精度も高まることが期待できる。
情報処理装置104は、図10に示すように、撮像カメラ107のキャリブレーションに関する第1の指標911を示す第1の指標画像910と、赤外線カメラ106のキャリブレーションに関する第2の指標921を示す第2の指標画像920とを、情報処理装置104に接続された表示装置900(例えば液晶ディスプレイ)に出力する(ステップS907)。図10に示すように、第1の指標画像910には第1の閾値912が表示され、第2の指標画像920には第2の閾値922が表示されてよい。
第1の閾値912は、ボード820の平面821又は斜面822の少なくも一方(例えば平面821及び斜面822の両方)から検出されたマーク823の数が3つ未満の場合に算出される第1の指標911よりも大きい値に設定されてよい。別言すると、第1の閾値912は、ボード820の平面821又は斜面822の少なくも一方から検出されたマーク823の数が3以上の所定の数の場合に算出される第1の指標911よりも大きい値に設定されてよい。
第2の閾値922は、ボード820の平面821又は斜面822の少なくも一方(例えば平面821及び斜面822の両方)から検出されたマーク823の数が3つ未満の場合に算出される第2の指標921よりも大きい値に設定されてよい。別言すると、第2の閾値922は、ボード820の平面821又は斜面822の少なくも一方から検出されたマーク823の数が3以上の所定の数の場合に算出される第2の指標921よりも大きい値に設定されてよい。
このように、第1の指標画像910に第1の閾値912を表示することにより、設置作業者は、第1の指標911が第1の閾値912を超えているか否かを一目で確認できる。同様に、第2の指標画像920に第2の閾値922を表示することにより、設置作業者は、第2の指標921が第2の閾値922を超えているか否かを一目で確認できる。なお、第1の指標911が第1の閾値912を超え、かつ、第2の指標921が第2の閾値922超えている場合に追加の表示を行うことで、各指標が各閾値を超えたことを更に明確に通知してもよい。この追加の表示は、例えば、第1の指標画像910および第2の指標画像920とは異なる画像として表示されてもよいし、第1の指標画像910および第2の指標画像920の色等の表示態様を変更することで表示されてもよい。すなわち、いずれかの指標が閾値を超えていない場合と、両方の指標が閾値を超えた場合とで、表示される内容が変化していれば、どのような態様の表示を用いてもよい。
情報処理装置104は、設置作業者からキャリブレーションの準備が完了した旨が指示されたか否かを判定する(ステップS908)。
情報処理装置104は、設置作業者からキャリブレーションの準備が完了した旨が指示されていない場合(ステップS908:NO)、処理をステップS901に戻す。例えば、設置作業者は、ステップS907で表示された第1の指標画像910及び第2の指標画像920を見て、第1の指標911が第1の閾値912未満、又は、第2の指標921が第2の閾値922未満である場合、キャリブレーションの準備が完了した旨を指示せずに、ボード820の位置を変更する。この場合、変更後のボード820の位置について、ステップS901~S907の処理が行われる。
情報処理装置104は、設置作業者からキャリブレーションの準備が完了した旨が指示された場合(ステップS908:YES)、処理を次のステップS909に進める。例えば、設置作業者は、ボード820の位置を変更しながら、ステップS907で表示された第1の指標画像910及び第2の指標画像920を見て、第1の指標911が第1の閾値912以上、かつ、第2の指標921が第2の閾値922以上となった場合、キャリブレーションの準備が完了した旨を指示する。なお、キャリブレーションの準備が完了した旨の指示は、自動的に行われてもよいし、設置作業者が手動で実施してもよい。
情報処理装置104は、ステップS903にて検出されたマーク823に基づいて、撮像画像に係る補正パラメータを算出し、記憶装置203に記憶する(ステップS909)。
情報処理装置104は、ステップS904にて検出されたマーク823に基づいて、赤外線画像に係る補正パラメータを算出し、記憶装置203に記憶する(ステップS910)。そして、本処理を終了する。
これにより、キャリブレーションを行う設置作業者は、第1の指標画像910及び第2の指標画像920を見ながらボード820の位置を変更することで、撮像カメラ107の補正パラメータと赤外線カメラ106の補正パラメータとの両方の精度が十分となる位置に、ボード820を置くことができる。すなわち、キャリブレーションの作業効率が向上する。
<その他の実施形態>
上述した実施の形態において、プロジェクタ105からの投影画像を補正パラメータの算出に利用してもよい。例えば、プロジェクタ105から所定の画像(例えば、明暗のパターン)をボード820に投影し、撮像カメラ107または赤外線カメラ106からどのように撮影されたかを分析することによって、プロジェクタ105と各カメラとの座標系を合わせるための補正パラメータを算出することができる。このようにすることにより、プロジェクタ105と撮像カメラ107、または、プロジェクタ105と赤外線カメラ106との間のキャリブレーションを実施することができる。
上述した実施の形態において、プロジェクタ105からの投影画像を補正パラメータの算出に利用してもよい。例えば、プロジェクタ105から所定の画像(例えば、明暗のパターン)をボード820に投影し、撮像カメラ107または赤外線カメラ106からどのように撮影されたかを分析することによって、プロジェクタ105と各カメラとの座標系を合わせるための補正パラメータを算出することができる。このようにすることにより、プロジェクタ105と撮像カメラ107、または、プロジェクタ105と赤外線カメラ106との間のキャリブレーションを実施することができる。
プロジェクタ105から投影される明暗のパターンを用いたキャリブレーションの一例として、空間コード化法を利用することが考えられる。空間コード化法では、明暗のパターンを所定の順序で切り替えつつ対象物に投影し、明暗の変化をコードとして記録する。例えば、「明、暗、明」の順番で変化した箇所は「101」、「明、明、暗」の順番で変化した箇所は「110」等と対応付ける。これにより、対象物が既定の形状(例えば平面)であれば「101」に対応する座標と、撮像画像中で「101」に対応する座標とのずれを解析することで、対象物の立体的形状を推定することができる。また、明暗の投影パターンの変化が互いに一致しないように十分に長いパターンを投影することで、各コードに対応する座標を一意に設定することができる。なお、空間コード化法の手順については、様々な技術が知られているため、本実施の形態では詳細な説明を省略する。ここで、上述した実施の形態のボード820のように、既知の3次元形状を持ち、かつ、マークによって各3次元形状のどの部分が観測されているかを推測可能な物体を使用することで、正確にキャリブレーションを実施することができる。具体的には、マークによって各センサから3次元形状のどの部分が観測されているかを推測することができ、空間コード化法によって推測された観測結果と実際の観測結果とのずれを推測することができる。そして、このずれを補正する補正パラメータを計算することで、各センサのキャリブレーションを実施することができる。なお、上述した実施の形態の中でも説明した通り、ボード820は他の形状の物体であってもよい。すなわち、マークが付されている面がどのような形状であるのか記録することができる形状であれば、立方体や直方体など他の形状であっても構わない。また、搬送コンベア302の面に沿う方向のキャリブレーションのみを行う場合は、斜面822を省略してもよいことも同様である。
ボード820に斜面822を設けたり、ボード820に替えて他の立体形状を用いたりする場合、斜面822または立体形状の側面に、プロジェクタ105が投影可能、かつ、各センサが観測可能となるようにマーク823を設けるとよい。このようにすることで、プロジェクタ105がマーク823の存在する箇所に明暗のパターンを投影し、かつ、各センサが明暗のパターンが投影されたマーク823を観測することができるので、高さ方向のキャリブレーションを高精度に実施することができる。
上述した実施の形態では、キャリブレーションの準備の完了を設置作業者の入力によって確認していたが、情報処理装置104が自動的にキャリブレーションの準備の完了を判定してもよい。例えば、情報処理装置104は、第1の指標911が第1の閾値912以上であり、かつ、第2の指標921が第2の閾値922以上である場合に、自動的にキャリブレーションの準備が完了したと判断してもよい。この場合、情報処理装置104は、設置作業者がボード820を更に移動させてしまうことを防ぐため、キャリブレーションの準備の完了を設置作業者に対して音声または画像等によって通知してもよい。また、この場合、情報処理装置104は、設置作業者からキャリブレーションを再開するか否かを示す指示を受け付けてもよい。ボード820の位置を変更することで、さらに補正パラメータの精度を向上させることができる可能性があるためである。
上述した実施の形態では、赤外線カメラ106と撮像カメラ107の位置に関するキャリブレーションを行っていたが、本実施の形態を、同じ種類のカメラ、すなわち赤外線カメラ同士または撮像カメラ同士の位置に関するキャリブレーションに適用してもよい。
また、上述した1以上の実施の形態の機能を実現するためのプログラムおよびアプリケーションを、ネットワークまたは記憶媒体等を用いてシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。
また、1以上の機能を実現する回路(例えば、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field Programmable Gate Array))によって実現してもよい。
(本開示のまとめ)
本開示の内容は以下のように表現できる。
本開示の内容は以下のように表現できる。
[表現1]
本開示の情報処理装置(104、200)は、搬送される荷物300の検出に用いられる撮像画像を撮像する撮像カメラ107の位置、及び、荷物300の検出に用いられる赤外線画像を撮像する赤外線カメラ106の位置に関するキャリブレーションを行う情報処理装置であって、プロセッサ201及びメモリ202を備え、プロセッサ201は、複数のマーク823を有するボード820を撮像した撮像画像を撮像カメラ107から取得し、ボード820を撮像した赤外線画像を赤外線カメラ106から取得し、撮像画像からマーク823を検出し、検出されたマーク823の数に基づいて、撮像画像のキャリブレーションに関する第1の指標911を算出し、赤外線画像からマーク823を検出し、検出されたマーク823の数に基づいて、赤外線画像のキャリブレーションに関する第2の指標921を算出し、第1の指標911及び第2の指標921を示す情報を出力する。
これにより、キャリブレーション作業を行う設置作業者は、出力された第1の指標911及び第2の指標921に基づいて、撮像画像に係る補正パラメータ及び赤外線画像に係る補正パラメータの精度が十分となる位置に、ボード820を配置することができる。すなわち、キャリブレーションの作業効率が向上する。
本開示の情報処理装置(104、200)は、搬送される荷物300の検出に用いられる撮像画像を撮像する撮像カメラ107の位置、及び、荷物300の検出に用いられる赤外線画像を撮像する赤外線カメラ106の位置に関するキャリブレーションを行う情報処理装置であって、プロセッサ201及びメモリ202を備え、プロセッサ201は、複数のマーク823を有するボード820を撮像した撮像画像を撮像カメラ107から取得し、ボード820を撮像した赤外線画像を赤外線カメラ106から取得し、撮像画像からマーク823を検出し、検出されたマーク823の数に基づいて、撮像画像のキャリブレーションに関する第1の指標911を算出し、赤外線画像からマーク823を検出し、検出されたマーク823の数に基づいて、赤外線画像のキャリブレーションに関する第2の指標921を算出し、第1の指標911及び第2の指標921を示す情報を出力する。
これにより、キャリブレーション作業を行う設置作業者は、出力された第1の指標911及び第2の指標921に基づいて、撮像画像に係る補正パラメータ及び赤外線画像に係る補正パラメータの精度が十分となる位置に、ボード820を配置することができる。すなわち、キャリブレーションの作業効率が向上する。
[表現2]
表現1に記載の情報処理装置において、プロセッサ201は、第1の指標911と比較される所定の第1の閾値912と、第2の指標921と比較される所定の第2の閾値922とを設定し、第1の指標911が第1の閾値912以上であるか否かを示す第1の指標画像910と、第2の指標921が第2の閾値922以上であるか否かを示す第2の指標画像920とを出力してよい。
これにより、設置作業者は、第1の指標画像910及び第2の指標画像920を見て、ボード820の配置位置において、第1の指標911が第1の閾値912以上であり、第2の指標921が第2の閾値922以上であるか否かを一目で認識できる。よって、設置作業者は、より簡単に、撮像画像に係る補正パラメータ及び赤外線画像に係る補正パラメータの精度が十分となる位置に、ボード820を配置することができる。
表現1に記載の情報処理装置において、プロセッサ201は、第1の指標911と比較される所定の第1の閾値912と、第2の指標921と比較される所定の第2の閾値922とを設定し、第1の指標911が第1の閾値912以上であるか否かを示す第1の指標画像910と、第2の指標921が第2の閾値922以上であるか否かを示す第2の指標画像920とを出力してよい。
これにより、設置作業者は、第1の指標画像910及び第2の指標画像920を見て、ボード820の配置位置において、第1の指標911が第1の閾値912以上であり、第2の指標921が第2の閾値922以上であるか否かを一目で認識できる。よって、設置作業者は、より簡単に、撮像画像に係る補正パラメータ及び赤外線画像に係る補正パラメータの精度が十分となる位置に、ボード820を配置することができる。
[表現3]
表現1に記載の情報処理装置において、プロセッサ201は、第1の指標911が第1の閾値912以上であり、かつ、第2の指標921が第2の閾値922以上である場合、第1の指標911が第1の閾値912未満である場合、または、第2の指標921が第2の閾値922未満である場合に出力される画像と異なる態様の画像を出力してよい。
これにより、設置作業者は、第1の指標911が第1の閾値912以上であり、かつ、第2の指標921が第2の閾値922以上であるか否かを、出力される画像から一目で認識できる。
表現1に記載の情報処理装置において、プロセッサ201は、第1の指標911が第1の閾値912以上であり、かつ、第2の指標921が第2の閾値922以上である場合、第1の指標911が第1の閾値912未満である場合、または、第2の指標921が第2の閾値922未満である場合に出力される画像と異なる態様の画像を出力してよい。
これにより、設置作業者は、第1の指標911が第1の閾値912以上であり、かつ、第2の指標921が第2の閾値922以上であるか否かを、出力される画像から一目で認識できる。
[表現4]
表現2または3に記載の情報処理装置において、プロセッサ201は、撮像画像から検出されたマーク823の数が所定の数未満の場合に第1の指標911が第1の閾値912を下回るように、第1の閾値912を設定し、赤外線画像から検出されたマーク823の数が所定の数未満の場合に第2の指標921が第2の閾値922を下回るように、第2の閾値922を設定してよい。
これにより、設置作業者は、第1の指標911が第1の閾値912を下回る場合、又は、第2の指標921が第2の閾値922を下回る場合、検出されたマーク823の数が所定の数未満であり、補正パラメータの精度が不十分であることを認識できる。
表現2または3に記載の情報処理装置において、プロセッサ201は、撮像画像から検出されたマーク823の数が所定の数未満の場合に第1の指標911が第1の閾値912を下回るように、第1の閾値912を設定し、赤外線画像から検出されたマーク823の数が所定の数未満の場合に第2の指標921が第2の閾値922を下回るように、第2の閾値922を設定してよい。
これにより、設置作業者は、第1の指標911が第1の閾値912を下回る場合、又は、第2の指標921が第2の閾値922を下回る場合、検出されたマーク823の数が所定の数未満であり、補正パラメータの精度が不十分であることを認識できる。
[表現5]
表現1から4のいずれか1つに記載の情報処理装置において、ボード820は、荷物が搬送される面に沿う平面821と、平面821の一辺から高さ方向に傾斜して延びる斜面822とを含み、プロセッサ201は、撮像画像の平面821から検出されたマーク823の数と、撮像画像の斜面822から検出されたマーク823の数とに基づいて、第1の指標911を算出し、赤外線画像の平面821から検出されたマーク823の数と、撮像画像の斜面822から検出されたマーク823の数とに基づいて、第2の指標921を算出してよい。
これにより、第1の指標911又は第2の指標921は、平面821及び斜面822からそれぞれ検出されたマーク823の数に基づいて算出されるので、補正パラメータの精度が十分であるか否かをより正確に表すことができる。
表現1から4のいずれか1つに記載の情報処理装置において、ボード820は、荷物が搬送される面に沿う平面821と、平面821の一辺から高さ方向に傾斜して延びる斜面822とを含み、プロセッサ201は、撮像画像の平面821から検出されたマーク823の数と、撮像画像の斜面822から検出されたマーク823の数とに基づいて、第1の指標911を算出し、赤外線画像の平面821から検出されたマーク823の数と、撮像画像の斜面822から検出されたマーク823の数とに基づいて、第2の指標921を算出してよい。
これにより、第1の指標911又は第2の指標921は、平面821及び斜面822からそれぞれ検出されたマーク823の数に基づいて算出されるので、補正パラメータの精度が十分であるか否かをより正確に表すことができる。
[表現6]
表現1に記載の情報処理装置において、荷物は、投影装置(例えばプロジェクタ105)から投影画像が照射される荷物であり、プロセッサ201は、ボード820を設置可能な範囲として、投影装置が投影画像を投影可能な範囲を投影してよい。
これにより、設置作業者は、投影画像を投影可能な範囲内に容易にボード820を配置することができる。
表現1に記載の情報処理装置において、荷物は、投影装置(例えばプロジェクタ105)から投影画像が照射される荷物であり、プロセッサ201は、ボード820を設置可能な範囲として、投影装置が投影画像を投影可能な範囲を投影してよい。
これにより、設置作業者は、投影画像を投影可能な範囲内に容易にボード820を配置することができる。
[表現7]
表現1に記載の情報処理装置において、荷物は、投影装置(例えばプロジェクタ105)から投影画像が照射される荷物であり、投影装置は、ボード820に対して所定の画像を投影し、プロセッサ201は、所定の画像が投影されたボード820の撮像画像に基づいて、投影装置と撮像カメラ107とのキャリブレーションに用いる補正パラメータを算出し、所定の画像が投影されたボード820の赤外線画像に基づいて、投影装置と赤外線カメラ106とのキャリブレーションに用いる補正パラメータを算出してよい。
これにより、投影装置と撮像カメラ107とのキャリブレーションに用いる補正パラメータと、投影装置と赤外線カメラ106とのキャリブレーションに用いる補正パラメータとを算出することができる。
表現1に記載の情報処理装置において、荷物は、投影装置(例えばプロジェクタ105)から投影画像が照射される荷物であり、投影装置は、ボード820に対して所定の画像を投影し、プロセッサ201は、所定の画像が投影されたボード820の撮像画像に基づいて、投影装置と撮像カメラ107とのキャリブレーションに用いる補正パラメータを算出し、所定の画像が投影されたボード820の赤外線画像に基づいて、投影装置と赤外線カメラ106とのキャリブレーションに用いる補正パラメータを算出してよい。
これにより、投影装置と撮像カメラ107とのキャリブレーションに用いる補正パラメータと、投影装置と赤外線カメラ106とのキャリブレーションに用いる補正パラメータとを算出することができる。
[表現8]
本開示の荷物仕分けシステム100は、搬送される荷物300に投影画像を照射する投影装置(例えばプロジェクタ105)と、荷物300の検出に用いられる撮像画像を撮像する撮像カメラ107と、荷物300の検出に用いられる赤外線画像を撮像する赤外線カメラ106と、投影装置、撮像カメラ107及び赤外線カメラ106を制御する情報処理装置(例えば仕分けクライアント104)と、を備え、情報処理装置は、撮像カメラ107の位置及び赤外線カメラ106の位置に関するキャリブレーションにおいて、複数のマーク823を有するボード820を撮像した撮像画像を撮像カメラ107から取得し、ボード820を撮像した赤外線画像を赤外線カメラ106から取得し、撮像画像からマーク823を検出し、検出されたマーク823の数に基づいて、撮像画像のキャリブレーションに関する第1の指標911を算出し、赤外線画像からマーク823を検出し、検出されたマーク823の数に基づいて、赤外線画像のキャリブレーションに関する第2の指標921を算出し、第1の指標911及び第2の指標921を示す情報を出力する。
これにより、キャリブレーション作業を行う設置作業者は、出力された第1の指標911及び第2の指標921に基づいて、撮像画像に係る補正パラメータ及び赤外線画像に係る補正パラメータの精度が十分となる位置に、ボード820を配置することができる。すなわち、キャリブレーションの作業効率が向上する。
本開示の荷物仕分けシステム100は、搬送される荷物300に投影画像を照射する投影装置(例えばプロジェクタ105)と、荷物300の検出に用いられる撮像画像を撮像する撮像カメラ107と、荷物300の検出に用いられる赤外線画像を撮像する赤外線カメラ106と、投影装置、撮像カメラ107及び赤外線カメラ106を制御する情報処理装置(例えば仕分けクライアント104)と、を備え、情報処理装置は、撮像カメラ107の位置及び赤外線カメラ106の位置に関するキャリブレーションにおいて、複数のマーク823を有するボード820を撮像した撮像画像を撮像カメラ107から取得し、ボード820を撮像した赤外線画像を赤外線カメラ106から取得し、撮像画像からマーク823を検出し、検出されたマーク823の数に基づいて、撮像画像のキャリブレーションに関する第1の指標911を算出し、赤外線画像からマーク823を検出し、検出されたマーク823の数に基づいて、赤外線画像のキャリブレーションに関する第2の指標921を算出し、第1の指標911及び第2の指標921を示す情報を出力する。
これにより、キャリブレーション作業を行う設置作業者は、出力された第1の指標911及び第2の指標921に基づいて、撮像画像に係る補正パラメータ及び赤外線画像に係る補正パラメータの精度が十分となる位置に、ボード820を配置することができる。すなわち、キャリブレーションの作業効率が向上する。
[表現9]
情報処理装置(例えば仕分けクライアント104)によって、搬送される荷物300の検出に用いられる撮像画像を撮像する撮像カメラ107の位置、及び、荷物300の検出に用いられる赤外線画像を撮像する赤外線カメラ106の位置に関するキャリブレーションを行う本開示のキャリブレーション方法であって、設置作業者に複数のマーク823を有するボード820を設置させ、ボード820を撮像した撮像画像を撮像カメラ107から取得し、ボード820を撮像した赤外線画像を赤外線カメラ106から取得し、撮像画像からマーク823を検出し、検出されたマーク823の数に基づいて、撮像画像のキャリブレーションに関する第1の指標911を算出し、赤外線画像からマーク823を検出し、検出されたマーク823の数に基づいて、赤外線画像のキャリブレーションに関する第2の指標921を算出し、第1の指標911及び第2の指標921を示す情報を表示する。
これにより、キャリブレーション作業を行う設置作業者は、出力された第1の指標911及び第2の指標921に基づいて、撮像画像に係る補正パラメータ及び赤外線画像に係る補正パラメータの精度が十分となる位置に、ボード820を配置することができる。すなわち、キャリブレーションの作業効率が向上する。
情報処理装置(例えば仕分けクライアント104)によって、搬送される荷物300の検出に用いられる撮像画像を撮像する撮像カメラ107の位置、及び、荷物300の検出に用いられる赤外線画像を撮像する赤外線カメラ106の位置に関するキャリブレーションを行う本開示のキャリブレーション方法であって、設置作業者に複数のマーク823を有するボード820を設置させ、ボード820を撮像した撮像画像を撮像カメラ107から取得し、ボード820を撮像した赤外線画像を赤外線カメラ106から取得し、撮像画像からマーク823を検出し、検出されたマーク823の数に基づいて、撮像画像のキャリブレーションに関する第1の指標911を算出し、赤外線画像からマーク823を検出し、検出されたマーク823の数に基づいて、赤外線画像のキャリブレーションに関する第2の指標921を算出し、第1の指標911及び第2の指標921を示す情報を表示する。
これにより、キャリブレーション作業を行う設置作業者は、出力された第1の指標911及び第2の指標921に基づいて、撮像画像に係る補正パラメータ及び赤外線画像に係る補正パラメータの精度が十分となる位置に、ボード820を配置することができる。すなわち、キャリブレーションの作業効率が向上する。
以上、図面を参照しながら各種の実施形態について説明したが、本開示は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に相当し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施形態における各構成要素を任意に組み合わせてもよい。
本開示は、荷物仕分けに関する作業効率向上に有用である。
100…荷物仕分けシステム
101…仕分け管理サーバ
102…連携サーバ
103…ラベルリーダ
104…仕分けクライアント
105…プロジェクタ
106…距離センサ(赤外線カメラ)
107…画像センサ(撮像カメラ)
110…クライアントシステム
300…荷物
301…ラベル
302…搬送コンベア
820…ボード
821…平面
822…斜面
823…マーク
900…表示装置
910…第1の指標画像
911…第1の指標
912…第1の閾値
920…第2の指標画像
921…第2の指標
922…第2の閾値
101…仕分け管理サーバ
102…連携サーバ
103…ラベルリーダ
104…仕分けクライアント
105…プロジェクタ
106…距離センサ(赤外線カメラ)
107…画像センサ(撮像カメラ)
110…クライアントシステム
300…荷物
301…ラベル
302…搬送コンベア
820…ボード
821…平面
822…斜面
823…マーク
900…表示装置
910…第1の指標画像
911…第1の指標
912…第1の閾値
920…第2の指標画像
921…第2の指標
922…第2の閾値
Claims (9)
- 搬送される荷物の検出に用いられる撮像画像を撮像する撮像カメラの位置、及び、前記荷物の検出に用いられる赤外線画像を撮像する赤外線カメラの位置に関するキャリブレーションを行う情報処理装置であって、
プロセッサ及びメモリを備え、
前記プロセッサは、
複数のマークを有するボードを撮像した前記撮像画像を前記撮像カメラから取得し、
前記ボードを撮像した前記赤外線画像を前記赤外線カメラから取得し、
前記撮像画像から前記マークを検出し、検出された前記マークの数に基づいて、前記撮像画像のキャリブレーションに関する第1の指標を算出し、
前記赤外線画像から前記マークを検出し、検出された前記マークの数に基づいて、前記赤外線画像のキャリブレーションに関する第2の指標を算出し、
前記第1の指標及び前記第2の指標を示す情報を出力する、
情報処理装置。 - 前記プロセッサは、
前記第1の指標と比較される所定の第1の閾値と、前記第2の指標と比較される所定の第2の閾値とを設定し、
前記第1の指標が前記第1の閾値以上であるか否かを示す第1の指標画像と、前記第2の指標が前記第2の閾値以上であるか否かを示す第2の指標画像とを出力する、
請求項1に記載の情報処理装置。 - 前記プロセッサは、
前記第1の指標が前記第1の閾値以上であり、かつ、前記第2の指標が前記第2の閾値以上である場合、前記第1の指標が前記第1の閾値未満である場合、または、前記第2の指標が前記第2の閾値未満である場合に出力される画像と異なる態様の画像を出力する、
請求項2に記載の情報処理装置。 - 前記プロセッサは、
前記撮像画像から検出された前記マークの数が所定の数未満の場合に前記第1の指標が前記第1の閾値を下回るように、前記第1の閾値を設定し、
前記赤外線画像から検出された前記マークの数が所定の数未満の場合に前記第2の指標が前記第2の閾値を下回るように、前記第2の閾値を設定する、
請求項2または3に記載の情報処理装置。 - 前記ボードは、前記荷物が搬送される面に沿う平面と、前記平面の一辺から高さ方向に傾斜して延びる斜面とを含み、
前記プロセッサは、
前記撮像画像の前記平面から検出された前記マークの数と、前記撮像画像の斜面から検出された前記マークの数とに基づいて、前記第1の指標を算出し、
前記赤外線画像の前記平面から検出された前記マークの数と、前記撮像画像の斜面から検出された前記マークの数とに基づいて、前記第2の指標を算出する、
請求項1から4のいずれか1項に記載の情報処理装置。 - 前記荷物は、投影装置から投影画像が照射される荷物であり、
前記プロセッサは、前記ボードを設置可能な範囲として、前記投影装置が投影画像を投影可能な範囲を投影する、
請求項1に記載の情報処理装置。 - 前記荷物は、投影装置から投影画像が照射される荷物であり、
前記投影装置は、前記ボードに対して所定の画像を投影し、
前記プロセッサは、前記所定の画像が投影されたボードの前記撮像画像に基づいて、前記投影装置と前記撮像カメラとのキャリブレーションに用いる補正パラメータを算出し、
前記所定の画像が投影されたボードの前記赤外線画像に基づいて、前記投影装置と前記赤外線カメラとのキャリブレーションに用いる補正パラメータを算出する、
請求項1に記載の情報処理装置。 - 搬送される荷物に投影画像を照射する投影装置と、
前記荷物の検出に用いられる撮像画像を撮像する撮像カメラと、
前記荷物の検出に用いられる赤外線画像を撮像する赤外線カメラと、
前記投影装置、前記撮像カメラ及び前記赤外線カメラを制御する情報処理装置と、を備え、
前記情報処理装置は、前記撮像カメラの位置及び前記赤外線カメラの位置に関するキャリブレーションにおいて、
複数のマークを有するボードを撮像した前記撮像画像を前記撮像カメラから取得し、
前記ボードを撮像した前記赤外線画像を前記赤外線カメラから取得し、
前記撮像画像から前記マークを検出し、検出された前記マークの数に基づいて、前記撮像画像のキャリブレーションに関する第1の指標を算出し、
前記赤外線画像から前記マークを検出し、検出された前記マークの数に基づいて、前記赤外線画像のキャリブレーションに関する第2の指標を算出し、
前記第1の指標及び前記第2の指標を示す情報を出力する、
荷物検出システム。 - 情報処理装置によって、搬送される荷物の検出に用いられる撮像画像を撮像する撮像カメラの位置、及び、前記荷物の検出に用いられる赤外線画像を撮像する赤外線カメラの位置に関するキャリブレーションを行うキャリブレーション方法であって、
設置作業者に複数のマークを有するボードを設置させ、
前記ボードを撮像した前記撮像画像を前記撮像カメラから取得し、
前記ボードを撮像した前記赤外線画像を前記赤外線カメラから取得し、
前記撮像画像から前記マークを検出し、検出された前記マークの数に基づいて、前記撮像画像のキャリブレーションに関する第1の指標を算出し、
前記赤外線画像から前記マークを検出し、検出された前記マークの数に基づいて、前記赤外線画像のキャリブレーションに関する第2の指標を算出し、
前記第1の指標及び前記第2の指標を示す情報を表示する、
キャリブレーション方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022050417A JP2023143179A (ja) | 2022-03-25 | 2022-03-25 | 情報処理装置、荷物検出システム、及び、キャリブレーション方法 |
PCT/JP2022/043080 WO2023181495A1 (ja) | 2022-03-25 | 2022-11-21 | 情報処理装置、荷物検出システム、及び、キャリブレーション方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022050417A JP2023143179A (ja) | 2022-03-25 | 2022-03-25 | 情報処理装置、荷物検出システム、及び、キャリブレーション方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023143179A true JP2023143179A (ja) | 2023-10-06 |
Family
ID=88100400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022050417A Pending JP2023143179A (ja) | 2022-03-25 | 2022-03-25 | 情報処理装置、荷物検出システム、及び、キャリブレーション方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023143179A (ja) |
WO (1) | WO2023181495A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2959043B2 (ja) * | 1990-05-09 | 1999-10-06 | オムロン株式会社 | 画像処理装置 |
JP4282216B2 (ja) * | 2000-09-19 | 2009-06-17 | オリンパス株式会社 | 3次元位置姿勢センシング装置 |
JP2012187651A (ja) * | 2011-03-09 | 2012-10-04 | Omron Corp | 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置 |
JP6646854B2 (ja) * | 2016-03-23 | 2020-02-14 | パナソニックIpマネジメント株式会社 | 投影指示装置、荷物仕分けシステムおよび投影指示方法 |
JP6803548B1 (ja) * | 2019-09-03 | 2020-12-23 | パナソニックIpマネジメント株式会社 | 投影指示装置、投影指示システムおよびプランデータ管理システム |
-
2022
- 2022-03-25 JP JP2022050417A patent/JP2023143179A/ja active Pending
- 2022-11-21 WO PCT/JP2022/043080 patent/WO2023181495A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023181495A1 (ja) | 2023-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11087484B2 (en) | Camera apparatus and method of detecting a stream of objects | |
US9971154B1 (en) | Pointer tracking for eye-level scanners and displays | |
EP3434626B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
US11176401B2 (en) | Method and system for acquiring multi-angle images of a product | |
US20060032916A1 (en) | Remote crane bar code system | |
US10860855B2 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
JPWO2019064802A1 (ja) | 荷物仕分けシステム、投影指示装置および荷物仕分け方法 | |
US20190084008A1 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
US10471474B2 (en) | Projection indicator, cargo assortment system, and projection indicating method | |
US20200290093A1 (en) | Projection instruction device, package sorting system, and projection instruction method | |
WO2023181495A1 (ja) | 情報処理装置、荷物検出システム、及び、キャリブレーション方法 | |
JP3817640B1 (ja) | 三次元形状計測システム | |
JP7129616B2 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
US20220318748A1 (en) | Multilayered method and apparatus to facilitate the accurate calculation of freight density, area, and classification and provide recommendations to optimize shipping efficiency | |
EP3689789B1 (en) | Baggage recognition device, baggage sorting system, and baggage recognition method | |
WO2023181518A1 (ja) | 荷物検出システム、荷物検出方法、情報処理装置およびその制御方法 | |
JP2023143177A (ja) | 荷物検出システム、荷物検出方法、及び、撮像投影装置 | |
JP7194884B2 (ja) | 荷物仕分けシステム、投影指示装置、投影指示方法 | |
JP2023143180A (ja) | 荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法 | |
JP2023143181A (ja) | 荷物検出システム、荷物検出方法、情報処理装置およびその制御方法 | |
US11145066B2 (en) | Parcel recognition device, parcel sorting system, and parcel recognition method | |
US11348333B2 (en) | Package recognition device, package sorting system and package recognition method | |
JP2023143182A (ja) | 荷物探索システム、荷物探索方法、情報処理装置およびその制御方法 | |
JP6780533B2 (ja) | 形状測定システム及び形状測定方法 | |
WO2017163712A1 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 |