JP7288568B1 - 自動採寸システム - Google Patents

Abstract

【課題】カメラを用いて読取った荷物用の２次元コードを、荷物を自動採寸するための点群データと関連付けて活用する。【解決手段】自動採寸システム１００は、荷物保管場所の矩形状の出入口に設けられたセンサであって搬送手段が出入口を通過することを検知する通過検知センサ３と、矩形状の出入口の４つのコーナーに各１台ずつ設けられた任意の被写体を撮影するＴｏＦカメラ１であって通過検知センサが搬送手段による出入口の通過を検知したときに荷物に赤外光を照射するとともに当該荷物から反射された赤外光を受光する４台のＴｏＦ（Time of Flight）カメラ１と、任意の被写体を撮影可能なカメラ２であって出入口の左右いずれかの側面部に設けられたカメラ２と、ＴｏＦカメラ１が撮影した画像とカメラ２が撮影した画像を管理する情報管理サーバ４と、を具備してなる。【選択図】図１

Description

本発明は、搬送車両その他の搬送手段により搬送されている状態の荷物を自動採寸するとともに当該荷物の立体的形状を示す画像を生成する自動採寸システムに関する。

昨今では、取引のグローバル化やインターネット通信販売の需要増加に伴い、配送される荷物量が増加の一途をたどっている。
このような情勢のもと、自然、保管用倉庫において搬入・搬出される荷物数も非常に多くなっている。

荷物を配送する場合、個々の荷物について幅・高さ・奥行といったサイズを知ることが必要となる。
このような保管倉庫における荷物の採寸作業は、一部の企業では自動採寸の仕組が導入され効率化が図られているものの、人手による採寸作業で対応している企業もまだまだ多い。

流通量が増えているなか、非常に多数の荷物を１つずつ採寸することは作業負荷が大きく、さらに荷物のなかには相当に重たいものも存在するため、このような荷物を採寸する場合には作業者の疲労も倍増してしまう。
取扱う荷物を自動採寸できるようになれば、採寸作業に携わる人的リソースが解放されるため、その分の人的リソースを他の作業に割当てて活用できることから、自動採寸システムに対する潜在的なニーズがあるものと考えられる。

さらに、近年では至る所でＱＲ（Quick Response）コード（登録商標）が利用されている。
物流の分野でも、荷物を梱包する包装にＱＲコード（登録商標）を貼付し、このＱＲコード（登録商標）に埋込まれた荷物情報を読取ることで、荷物の保管・配送をおこなうことが主流となっている。
「ＱＲコード（登録商標）による荷物管理」機能は、上述した「自動採寸」機能に比肩して、物流の効率化を支える役割を果たしている。

なお、昨今では、カメラ技術の著しい向上を背景に、カメラを荷物処理の現場に応用した種々の「自動採寸技術」が提供されている（例えば、特許文献１・２参照。）。
特許文献１に開示された自動計測装置によれば、計測対象物１００の近傍に併置・密着させた携帯式３次元定尺立体定規１０１・１０２と当該対象物をＣＣＤカメラ等で撮影し、この定規を基準として対象物の各辺の長さや座標を求める（同文献１・第７段落）。

また、特許文献２に開示された容器計測システムによれば、二次元情報取得部４２（カメラなど）により容器１２を含む二次元の画像情報を取得し（同文献２・第１７段落）、さらに三次元情報取得部４３（３Ｄセンサ・距離計測手段）で容器１２の三次元の情報を取得する（同文献２・同１７段落）。
そして、演算部５３が、容器１２の距離画像Ｄに基づいて、容器１２を構成する平面部１３の三次元位置を算出し、この三次元位置を基に容器１２の三次元情報を算出する（同文献２・同１９段落）。
なお、容器１２の三次元情報は、特徴点Ｆ（平面部１３の角の部分）の三次元位置の情報と、リンクＬ（平面部１３の辺の部分）の三次元位置の情報を含み、リンクＬの寸法の情報を含み、リンクＬに囲まれた部分（平面部１３の面の部分）の三次元形状の情報を含む（特許文献２・第３８段落）。

また、カメラを活用した「ＱＲコード（登録商標）による荷物管理技術」も提供されている（例えば、特許文献３参照。）。
特許文献３に開示されたラベル読取システムによれば、通過センサ６が、走行経路Ｆ１の延在方向におけるＱＲコード撮影装置３の配設位置と荷山撮影装置４の配設位置との間に配設されており、走行経路Ｆ１でのフォークリフト１０の通過を検知する（同文献３・第３７段落）。
情報処理端末８は、ＱＲコード撮影装置３の各カメラ３５ａ～３５ｄ，３６ａ～３６ｄから受信した画像の情報によりＱＲコード（登録商標）ＱＲＣの情報を取得し、このＱＲコード（登録商標）ＱＲＣの情報から各部品箱２に収容されている部品の種類や個数等の情報を取得する（同文献３・第４２段落）。
そして、情報処理端末８は、同文献３・第７８段落のごとく荷山撮影ユニット４１・４２で写した荷山全体の画像において、適正に読取られたＱＲコードＱＲＣならびに読取りできなかったＱＲコードＱＲＣを特定できる（同文献３・第８０段落）。

特開２０１２－１３７３０４号公報 特開２０２１－０５６５４３号公報 特開２０２０－０６４３３４号公報

特許文献１の技術によれば、定尺立体定規を使用することが前提であり、対象物と同定規を同じ撮影画像に写せない環境では適用できない。

特許文献２の技術によれば、二次元情報取得部４２で撮影した容器１２を含む二次元の画像情報（同文献２・図２）から、当該容器１２の三次元情報を取得しうる。
しかしながら、特許文献２では、カメラ（二次元情報取得部４２）が１箇所にしか設けられておらず（同文献２・図１）、容器１２の立体的形状を示す立体画像までは生成できない。

また、特許文献３の技術によれば、複数の荷物に各々貼付された複数のＱＲコード（登録商標）を同一の画像に撮影し、当該画像に写り込んだ個々の荷物に対応する複数のＱＲコード（登録商標）から情報を読取ることができ、荷物管理業務の効率を非常に高めることができる。
しかしながら、同文献３のＱＲコード（登録商標）利用は２次元的画像情報と連係させるものに留まっており、ＱＲコード（登録商標）の情報を、荷物を自動採寸した点群データ（撮影画像に対し、カメラから当該画像に写っている被写体までの距離情報を付加したデータ）と関連付けて利用することまでは想定されていない。

本発明は、上記の問題に鑑みてなされたものであり、カメラを用いて読取った荷物用の２次元コードを、荷物を自動採寸するための点群データと関連付けて活用することを目的とする。

〔第１発明〕
そこで上記の課題を解決するために、本願の第１発明に係る自動採寸システムは、
搬送車両その他の搬送手段により搬送される荷物のサイズを自動的に採寸できる自動採寸システムであって、

荷物保管場所の矩形状の出入口に設けられたセンサであって、前記搬送手段が出入口を通過することを検知する通過検知センサと、
前記矩形状の出入口の４つのコーナーに各１台ずつ設けられた任意の被写体を撮影するＴｏＦ（Time of Flight）カメラであって、前記通過検知センサが搬送手段による出入口の通過を検知したときに前記荷物に赤外光を照射するとともに当該荷物から反射された赤外光を受光する４台のＴｏＦ（Time of Flight）カメラと、
任意の被写体を撮影可能なカメラであって、前記出入口の左右いずれかの側面部に設けられたカメラと、
前記ＴｏＦカメラが撮影した画像と前記カメラが撮影した画像を管理する情報管理サーバと、
を具備してなり、

前記４台のＴｏＦ（Time of Flight）カメラは、各々、
前記通過検知センサが搬送手段の出入口通過を検知したときに、この搬送手段と同搬送手段が搬送中の荷物がともに写り込んだ荷物車両画像を撮影する撮影手段と、
同通過検知センサが搬送手段の出入口通過を検知したときに荷物に対して赤外光を放出してから同荷物により反射された赤外光を受光するまでの受光所要時間に基づき、荷物車両画像の各画素中に写り込んだ被写体部分と同ＴｏＦカメラの間の深度距離を求める距離算出手段と、
前記距離算出手段が求めた深度距離に応じて定まる荷物車両画像内の深度座標と、各深度距離に応じた区分を示す所定色とからなる荷物車両画像の各画素のデータ集合を生成し、当該生成したデータ集合に基づいて、各画素における深度距離に応じた所定色を荷物車両画像の画素ごとに着色することで点群データを生成する点群データ生成手段と、
前記点群データを情報管理サーバに送信する点群データ送信手段と、
を有し、

前記カメラは、
前記通過検知センサが搬送手段の出入口通過を検知したときに、この搬送手段と同搬送手段が搬送中の荷物と同荷物に貼付された２次元コードとが写り込んだコード画像を撮影するコード撮影手段と、
前記コード画像を情報管理サーバに送信するコード画像送信手段と、
を有し、

前記情報管理サーバは、
出入口の各コーナーから各ＴｏＦカメラが撮影した同じ被写体の４枚の荷物車両画像からそれぞれ生成された４枚の点群データにおいて、当該点群データに写り込んだ荷物の幅と高さと奥行を採寸し、
前記４枚の点群データを合成することで、当該点群データに写り込んでいる荷物の３次元的な立体形状を示す１枚の荷物立体画像を生成し、
前記荷物立体画像が示す荷物に、前記採寸した幅と高さと奥行を対応付けて記憶する採寸処理と、

前記コード画像に写り込んでいる個々の荷物に添付された２次元コードを認識して、当該２次元コードが示す荷物情報を読取り、
前記認識した２次元コードに基づいて、前記コード画像に写り込んでいる個々の荷物を認識し、
前記コード画像のなかに上下に積上げられた複数の荷物が写り込んでいるか否かを、各荷物にそれぞれ貼付されている２次元コードに基づいて判別するコード読取処理と、

前記コード画像のなかに上下に積上げられた複数の荷物が写り込んでいると判別したときに、
当該コード画像に写り込んだ２次元コードの位置に対応する、前記荷物立体画像におけるコード相対位置を特定し、
前記コード相対位置が特定された荷物立体画像に対して、当該コード相対位置に写り込んだ２次元コードと同２次元コードが示す荷物情報を対応付けて記憶するような構成とした。

本願の第１発明によれば、搬送手段（図２の搬送車両ＶＨ）が出入口ＧＷを通過したことを通過検知センサ３が検知すると、２次元コード撮影用のカメラ２が２次元コードＣＤ（図４）を撮影すると同時に、４台のＴｏＦカメラ１－１～１－４（図３）が荷物車両画像Ｐ_ＣＶ（図８（ａ）参照）を撮影する。
さらに、上記４台のＴｏＦカメラ１－１～１－４は、各々「点群データＰＤ」（図８（ｂ）参照）を生成する。
情報管理サーバ４は、カメラ２が撮影したコード画像Ｐ_ＣＤ（図１１）とＴｏＦカメラ１が生成した点群データＰＤを受取り、２次元コード認識（解読）処理ならびに３次元点群データ解析（寸法計測）処理を行う。

このようにすることで、第１発明は、荷物保管場所の出入口ＧＷの各コーナーから４台のＴｏＦカメラ１－１～１－４で撮影した同じ被写体を示す４枚の荷物車両画像Ｐ_ＣＶから生成した点群データＰＤに基づいて、点群データＰＤに写り込んだ荷物のサイズ（幅・高さ・奥行）を採寸する。
これにより、人手を介することなく「搬送車両ＶＨによって搬送されている状態のまま、荷物ＣＲのサイズを自動的に採寸」でき、ひいては、採寸作業から解放された人的リソースにより別の業務をこなすことも可能となる。
また、搬送車両ＶＨによる荷物の搬送作業を一切妨げることなしに、同車両ＶＨが搬送中の荷物ＣＲ（図２の例では、荷物ＣＲ－１・ＣＲ－２）の採寸を進めることができる。
なお、上記「搬送手段」とは、フォークリフトに代表される搬送車両ＶＨや、ベルトコンベアなどでもよい。

また、第１発明によれば、情報管理サーバ４は、各ＴｏＦカメラ１－１～１－４で撮影した４枚の荷物車両画像Ｐ_ＣＶ（図６（ａ）～図６（ｂ）・図７（ａ）～図７（ｂ））から各々生成した４枚の点群データＰＤ（図８（ｂ））を合成することで、当該点群データＰＤに写り込んだ荷物ＣＲの３次元的な立体形状を示す「１枚の荷物立体画像Ｐ_３Ｄ」（図１７（ａ）・図１７（ｂ）参照）を生成する。

また、第１発明においては、荷物ＣＲ（図２の荷物ＣＲ－１・ＣＲ－２）の取扱作業に従事する作業者が目視確認で個々に荷物を判別することなく、カメラで撮影したコード画像Ｐ_ＣＤに基づき「搬送車両ＶＨが搬送している状態の個々の荷物ＣＲを自動的に判別」できる。
このように、それぞれの荷物を判別できることにより、荷物ＣＲの個数を自動的にカウントできることにつながり、さらには、これらの荷物を積込むために必要な人員数や配送に必要とされる配送車両の台数などを自動予測することも可能になる。

さらに、第１発明によれば、コード画像Ｐ_ＣＤ（図１１）中に上下に積上げられた複数の荷物が写り込んでいると判別したときに、同コード画像Ｐ_ＣＤ（図１１）に写り込んだ２次元コードＣＤ（図１１のＣＤ－１・ＣＤ－２）の位置に対応する、荷物立体画像Ｐ_３Ｄ（図１７（ａ）・図１７（ｂ））におけるコード相対位置を特定する。
また、荷物の３次元的な立体形状を示す荷物立体画像Ｐ_３Ｄに対して、コード画像Ｐ_ＣＤに写り込んだ２次元コードＣＤと同２次元コードＣＤが示す荷物情報Ｉ_ＣＲを対応付けて記憶する。
ここで、「荷物情報Ｉ_ＣＲ」とは、搬送車両ＶＨにより搬送される荷物ＣＲに関する属性を示す情報である。
上記「荷物情報Ｉ_ＣＲ」の具体例としては、荷物ＣＲとして扱われる商品の名称・商品の品番・商品の個数・商品の重量といった情報が挙げられる。

〔第２発明〕
上記課題を解決するために本願の第２発明に係る自動採寸システムは、第１発明に係る自動採寸システムであって、
前記ＴｏＦカメラは、
採寸対象となる荷物が赤外光を吸収する低反射物である場合でも、撮影した荷物車両画像から点群データを生成できる構成とした。

黒色や暗色の物体（低反射物）は、赤外光を吸収してしまう。
そのため、一般的には、ＴｏＦカメラを利用して低反射物を撮影しても、撮影画像に写り込んだ低反射物にかかる点群データを取得することは困難である。
本願発明者の試行によれば、荷物保管場所の出入口ＧＷ上部のコーナー２箇所にそれぞれＴｏＦカメラ１を設置しても、それら２台のＴｏＦカメラ１で写した荷物車両画像Ｐ_ＣＶを基に、低反射物からなる荷物の点群データＰＤを得ることはできなかった。

しかしながら、本願発明者によるその後の創意工夫により、ＴｏＦカメラ１の台数を４台に増やし、矩形の出入口ＧＷの「各コーナー４箇所にそれぞれ１台ずつ」合計４台のＴｏＦカメラ１を設置することで、黒色や暗色の低反射物からなる荷物ＣＲについても点群データＰＤを生成可能となり、低反射物にかかる自動採寸も実現できた。
これは、ＴｏＦカメラ１の台数を増やしたことに付随して、ＴｏＦカメラ１から低反射物に対して照射される赤外光の総光量が増し、ひいては、低反射物により反射された赤外光が受光手段１５（図５）の検出限界を超過したためと考えられる。

第２発明に係る自動採寸システムによれば、矩形の出入口ＧＷの各コーナー４箇所にそれぞれ１台ずつ設置された４台のＴｏＦカメラ１を備えているため、採寸対象の荷物が低反射物であったとしても、その点群データＤＰを取得でき、当該データＤＰを基に同荷物ＣＲの自動採寸を行える。
なお、ＴｏＦカメラ１の配置形態は、被写体（荷物ＣＲ）を中心（矩形の出入口ＧＷの中心）として当該荷物ＣＲを包囲するように略等間隔での矩形の各コーナーに配置してある。
本説明例では、ＴｏＦカメラ１の配置台数は４台であるものの、出入口ＧＷの各コーナーにＴｏＦカメラ１が設置してある限り、ＴｏＦカメラ１は５台以上に増やしても構わない。

なお、ＴｏＦカメラ１を採用することの技術的メリットとしては、装置（ＴｏＦカメラ１）それ自体に光照射手段１４と受光手段１５が搭載されているため「装置構成が小型化」でき、また、赤外光を使用するため荷物保管場所が「暗所であっても撮影可能」であることが挙げられる。

〔第３発明〕
上記課題を解決するために本願の第３発明に係る自動採寸システムは、第１または第２発明に係る自動採寸システムであって、

前記搬送手段がフォークリフトである場合、
情報管理サーバは、
前記点群データにおいて荷物とフォークリフト爪部分が一体化しているデータ部分を、長尺状をなす前記フォークリフト爪部分の軸方向沿いに所定間隔ごとに切断位置において切断面により切断する処理と、
前記切断位置それぞれにおいて切断面により切取られる断面積を算出する処理と、
連続的に前後する２つの切断位置において各切断面により切取られた断面積同士を順次比較して、切断面積比を算出する処理と、
切断面による切断を開始した先頭の切断位置からスタートして、先に求めた切断面積比を所定の荷物検出閾値と比較する処理と、
切断面積比と荷物検出閾値の大小関係に基づきフォークリフト爪部分が荷物と接する接触位置を判定する処理であって、ある切断位置における切断面積比が荷物検出閾値を超過したときに、当該切断位置がフォークリフト爪部分および荷物の接触位置であると判定する処理と、
先頭の切断位置から接触位置までの各切断面によって切取られたフォークリフトの爪部分が写り込んだ爪画像領域を、点群データから除去する処理と、
を実行する構成とした。

第３発明に係る自動採寸システムによれば、情報管理サーバ４は、切断面ＣＳ_ｎにより切断を開始した先頭の切断位置ｘ_０から接触位置ｘ_Ｔまでの切断面ＣＳ_０～ＣＳ_Ｔによって切取られた「フォークリフト爪部分が写り込んだ爪画像領域ＲＧ_ＦＫ」（図１９（ａ）参照）を、点群データＰＤから除去する。
これにより、点群データＰＤにおいてフォークリフト爪部分が荷物ＣＲと渾然一体に含まれている場合でも、フォークリフト爪部分の点群データを除去することができ、荷物ＣＲの採寸精度をより高めることができる。

〔第４発明〕
上記課題を解決するために本願の第４発明に係る自動採寸システムは、第１または第２発明に係る自動採寸システムであって、

情報管理サーバは、
前記荷物の高さ方向から見たときの、前記点群データに写り込んだ荷物画像領域の水平面投影図を生成する処理と、
荷物の高さ方向の軸を回転中心として水平面投影図を水平面上で所定単位角度ずつ回転させることで、水平面写像図を生成する処理と、
水平面投影図の各端点の水平面座標の最大値・最小値を基に、当該水平面投影図に外接する外接矩形の面積を求める処理と、
水平面写像図の各端点の水平面座標の最大値・最小値を基に、当該水平面写像図に外接する外接矩形の面積を求める処理と、
前記外接矩形の面積が最小のときの回転角度において、水平面写像図の各辺の向きがＴｏＦカメラの水平面座標軸に対して揃った平行状態であると判定する処理と、
を実行する構成とした。

第４発明に係る自動採寸システムによれば、情報管理サーバ４は、図２２（ａ）の水平面投影図から生成した水平面写像図の「外接矩形の面積」が最も小さくなったときの回転角度において（図２２（ｄ）参照）、荷物画像領域ＲＧ_ＣＲを回転させたＸＹ平面写像図の各辺の向きがＴｏＦカメラ１の水平面座標軸（Ｘ軸・Ｙ軸）に対して揃った平行状態であると判定する。
これにより、ＴｏＦカメラ１の座標軸に対する荷物ＣＲの点群データの傾きを修正し平行にすることが可能となり、ひいては荷物ＣＲの採寸精度をより高めることができる。

〔第５発明〕
上記課題を解決するために本願の第５発明に係る自動採寸システムは、第１または第２発明に係る自動採寸システムであって、

情報管理サーバは、
前記点群データに含まれるすべての画素それぞれについて、当該画素を中心とする所定のノイズ判定範囲に存在する点群の個数を算出する処理と、
前記ノイズ判定範囲に存在する点群の個数が所定のノイズ判定基準よりも小さい場合、当該ノイズ判定範囲内にある点群がノイズ成分であると判定する処理と、
前記ノイズ成分として判定された点群を除去する処理と、
を実行する構成とした。

第５発明に係る自動採寸システムによれば、ノイズ判定範囲ＲＮ_ＮＳに含まれる点群の個数に基づいて（図２４（ｂ）参照）、ノイズ成分ＮＳ（図２４（ａ）参照）として判定された点群を除去する。
このようにすることで、点群データＰＤから生成される荷物立体画像Ｐ_３Ｄの形状を、実際の荷物ＣＲの正確な形状により近づけることができる。

実施形態に係る自動採寸システムの全体構成を示す模式図である。 荷物保管場所の出入口における、ＴｏＦカメラの配置構成の一例を示す模式図である。 荷物保管場所の出入口における配置されたＴｏＦカメラの撮影可能範囲を示す模式図である。 荷物保管場所の出入口・右側面から見たときの、ＴｏＦカメラ・カメラ・通過検知センサの配置形態の一例を示す模式図である。 ＴｏＦカメラの電気的構成を示すブロック図である。 ＴｏＦカメラによって撮影した荷物車両画像を示す模式図であって、（ａ）は出入口の右上コーナーにあるＴｏＦカメラによる荷物車両画像、（ｂ）は出入口の左上コーナーに配置されたＴｏＦカメラによる荷物車両画像、である。 ＴｏＦカメラによって撮影した荷物車両画像を示す模式図であって、（ａ）は出入口の右下コーナーにあるＴｏＦカメラによる荷物車両画像、（ｂ）は出入口の左下コーナーに配置されたＴｏＦカメラによる荷物車両画像、である。 （ａ）はＴｏＦカメラによって撮影した実際の荷物車両画像の一例であり、（ｂ）この実際の荷物車両画像を基に生成した点群データである。 （ａ）はＴｏＦカメラの設置位置と、同ＴｏＦカメラによって撮影される荷物車両画像の位置関係を示す模式図であり、（ｂ）ＴｏＦカメラの設置位置を深度座標原点としたときの荷物車両画像における深度座標を示す模式図である。 カメラの電気的構成を示すブロック図である。 カメラによって撮影したコード画像の一例を示す図である。 情報管理サーバの電気的構成を示すブロック図である。 荷物画像情報のデータ構造の一例を示す図である。 コード画像情報のデータ構造の一例を示す図である。 （ａ）はＴｏＦカメラで撮影した荷物車両画像から生成した点群データとＴｏＦカメラ設置位置の位置関係を示す模式図であり、（ｂ）点群データに写り込んだ荷物を示す荷物画像領域において端点を特定した状態を示す模式図である。 点群データを合成して荷物立体画像を生成する過程を示す模式図である。 ４枚の点群データから合成して得られた１枚の荷物立体画像を示す図であって、（ａ）は当該荷物立体画像の第１の例、（ｂ）は当該荷物立体画像の第２の例である。 荷物の採寸時の、自動採寸システムにおける各構成要素の動作を示すシーケンス図である。 （ａ）は荷物とフォークリフト爪部分が渾然一体に写り込んだ点群データの一例であり、（ｂ）は荷物とフォークリフト爪部分が渾然一体に写り込んだ点群データを所定の切断面で切断しているときの模式図である。 （ａ）は荷物とフォークリフト爪部分が一体的に写り込んだ点群データの断面積を示す模式図であり、（ｂ）はフォークリフト爪部分のみの点群データの断面積を示す模式図である。 フォークリフト爪部分の除去処理時における動作シーケンスである。 （ａ）は荷物画像領域（荷物の点群データ）の一例、（ｂ）はＺ軸方向から見たときの荷物画像領域のＸＹ平面投影図、（ｃ）はＸＹ平面投影図を所定角度だけ回転させたときのＸＹ平面写像図の第１の例、（ｄ）はＸＹ平面投影図を所定角度だけ回転させたときのＸＹ平面写像図の第２の例、を示す模式図である。 ＴｏＦカメラの座標軸に対する荷物の点群データの傾きを修正するときの動作シーケンスである。 （ａ）はノイズ成分を除去する前の点群データの一例、（ｂ）はノイズ成分を除去した後の点群データの一例、を示す模式図である。 点群データからノイズ成分を除去するときの動作シーケンスである。

以下、図１乃至図２５を参照して、本発明の自動採寸システムについて説明する。
本発明の実施形態では、カメラ２を用いて読取った荷物用の２次元コードＣＤを、荷物ＣＲを自動採寸するための点群データＰＤと関連付けて活用することを目的として、搬送車両ＶＨその他の搬送手段により「搬送されている状態にある荷物のサイズを自動的に採寸」できる自動採寸システム１００を構成した例である。
以下、この内容について詳しく説明する。

図１は、本実施形態に係る自動採寸システム１００の構成を示すブロック図である。
同図１に示すように、自動採寸システム１００は、ＴｏＦカメラ１と、カメラ２と、通過検知センサ３と、情報管理サーバ４と、コントローラ５と、中継サーバ６とを備えている。

図１のように、本システム１００においては、ＴｏＦカメラ１（１－１～１－４）と、カメラ２と、通過検知センサ３と、情報管理サーバ４と、コントローラ５と、中継サーバ６とは、相互に通信可能な状態で接続される。

［ネットワーク利用形態］
また、図１のように本例では、公衆通信可能なインターネット２００と、有線ＬＡＮ（Local Area Network）３００と、無線ＬＡＮ４００の３つの通信網を利用する。
本例では、中継サーバ６を介して、インターネット２００と、構内通信網（有線ＬＡＮ３００・無線ＬＡＮ４００）とが相互に通信可能に接続される。
さらに、中継サーバ６には、コントローラ５が通信可能に接続される。
インターネット２００については、例えば、ＶＰＮ（Virtual Private Network）技術等を利用すれば、セキュリティレベルを高く確保可能である。

［構成要素間の接続形態］
さらに、本例の構成における、構成要素間の接続形態を具体的に説明する。
ＴｏＦカメラ１－１～１－４は、有線ＬＡＮ３００を介して、中継サーバ６に通信可能に接続される。
カメラ２と通過検知センサ３は、コントローラ５に通信可能に接続される。
また、カメラ２は、無線ＬＡＮ４００を介して中継サーバ６と通信可能である。
情報管理サーバ４は、構内通信網（有線ＬＡＮ３００・無線ＬＡＮ４００）の外部にあるインターネット２００上に接続されている。

［各構成要素の役割］
本システム１００では、荷物保管場所の出入口ＧＷに、荷物ＣＲを搬送する搬送車両ＶＨが出入口を通過することを検知する「通過検知センサ３」を設置する（図２・図３・図４）。
また、矩形からなる上記出入口ＧＷの４つの各コーナーに「ＴｏＦカメラ１－１～１－４を１台ずつ定点設置」する（図２・図３・図４）。
なお、ＴｏＦカメラ１－１～１－４は、有線ＬＡＮ３００に接続される。

［ＴｏＦ（Time of Flight）カメラ］
ＴｏＦカメラ１－１～１－４は、任意の被写体を撮像可能なカメラである。
本例では、ＴｏＦカメラ１－１～１－４は、通過検知センサ３が搬送車両ＶＨによる出入口ＧＷの通過を検知した場合、搬送車両ＶＨならびに同車両ＶＨに搬送される荷物がともに写り込んだ荷物車両画像Ｐ_ＣＶ（図８（ａ）参照）を撮影する。

さらに、ＴｏＦカメラ１－１～１－４は、上述した荷物車両画像Ｐ_ＣＶから、点群データＰＤ（図８（ｂ）参照）を生成する。
この点群データＰＤは、情報管理サーバ４において荷物立体画像Ｐ_３Ｄを生成するために用いられる。

ＴｏＦカメラ１－１～１－４の撮像方向は全て、出入口ＧＷの矩形の中心に向けられている。
そのため、４台のＴｏＦカメラ１はいずれも「出入口ＧＷの中心に位置する被写体を、撮影画像の中央付近に捉える」ことが可能である（図３）。
本例においては、荷物ＣＲの採寸が主目的であるため、ＴｏＦカメラ１の撮影画像中央付近に荷物ＣＲが写り込んだ荷物車両画像Ｐ_ＣＶが撮影される。
なお、図３におけるα_１～α_４は、ＴｏＦカメラ１－１～１－４による撮影可能範囲（画角）を表している。
さらに、ＴｏＦカメラ１－１～１－４は、撮影時の死角が出ないよう（出入口ＧＷにおいて撮影不能な範囲がないよう）に配置される。

ＴｏＦカメラ１には、上記通過検知センサ３が搬送車両による出入口の通過を検知したときに荷物ＣＲに赤外光を照射する機能と、荷物ＣＲが反射した赤外光を受光する機能が搭載されている。
ＴｏＦカメラ１は、赤外光の発射から受光までにかかった「受光所要時間Ｔ_ＦＬ」を基に「被写体（主に荷物ＣＲ）とＴｏＦカメラ１の間の深度距離Ｌ_Ｄ」（図９（ｂ）参照）を算出する。

具体的には、深度距離Ｌ_Ｄは、以下の数式１により算出できる。
なお、数式１においてｃは光速である。

そして、ＴｏＦカメラ１は、この深度距離Ｌ_Ｄと荷物車両画像Ｐ_ＣＶ（図８（ａ））を基に「点群データＰＤ」（図８（ｂ））を生成する。
ここでいう「点群データＰＤ」とは、各画素における深度距離Ｌ_Ｄに応じた所定色を、荷物車両画像Ｐ_ＣＶの画素ごとに着色した画像データのことを指す。

点群データＰＤの生成に先立って、ＴｏＦカメラ１は、（i）深度距離Ｌ_Ｄに応じて定まる荷物車両画像Ｐ_ＣＶ内の各画素の深度座標（ｘ，ｙ，ｚ）と、（ii）各深度距離Ｌ_Ｄに応じた区分を示す各画素に付される所定色と、からなる荷物車両画像Ｐ_ＣＶの各画素に固有のデータ集合を生成する。

上記の「深度座標」とは、ＴｏＦカメラ１の位置を図９（ａ）の深度座標系における深度座標原点（０，０，０）としたときの、荷物ＣＲなどの被写体が写り込んだ荷物車両画像Ｐ_ＣＶの画素位置を示す座標である。

ＴｏＦカメラ１は、荷物車両画像Ｐ_ＣＶの各画素における深度座標（ｘ，ｙ，ｚ）と所定色のデータ集合に基づいて、各画素における深度距離Ｌ_Ｄに応じた所定色を荷物車両画像Ｐ_ＣＶの画素ごとに着色することで、図８（ｂ）のような「点群データＰＤ」を生成する。
より詳細には、「点群データＰＤ」とは、ＴｏＦカメラ１から荷物車両画像Ｐ_ＣＶに写っている被写体（荷物ＣＲ）までの深度距離Ｌ_Ｄの情報を荷物車両画像Ｐ_ＣＶに対応付けするとともに、深度距離Ｌ_Ｄに応じた所定色を荷物車両画像Ｐ_ＣＶに着色した画像データである。

なお、４台のＴｏＦカメラ１－１・１－２・１－３・１－４は、それぞれ独立的に点群データＰＤ_１・ＰＤ_２・ＰＤ_３・ＰＤ_４を生成する。
また、４台のＴｏＦカメラ１－１・１－２・１－３・１－４は、点群データＰＤ_１・ＰＤ_２・ＰＤ_３・ＰＤ_４を送信する。

ＴｏＦカメラ１としては、ＴｏＦ機能を備える専用の撮影装置はもちろん、ＴｏＦ機能付のカメラを備えるスマートフォンなどの携帯型の多機能電子装置をも採用可能である。
荷物車両画像Ｐ_ＣＶの処理時や点群データＰＤ生成時には、ＣＰＵ（Central Processing Unit）に対しかなりの処理負担がかかるものの、スマートフォンであれば処理性能が日進月歩の勢いで飛躍的に向上しており、荷物車両画像Ｐ_ＣＶや点群データＰＤの画像処理を実行する際にも快適な動作速度を担保できる。

［カメラ］
カメラ２は、任意の被写体を撮像するカメラであり、本例では、２次元コードＣＤ（図４）を撮影する役割を果たす。
このカメラ２は、出入口ＧＷに設けられており、その台数は本例においては「１台」である。

本例では、カメラ２により撮影される２次元コードＣＤとして、ＱＲ（Quick Response）コード（登録商標）を採用する。
本自動採寸システム１００においては、当該２次元コードＣＤは、個々の荷物ＣＲ１つ１つに対して貼付されている。
さらに、本システム１００では、荷物ＣＲにおける２次元コードＣＤの貼付位置があらかじめ所定位置に定められている。
本例では、２次元コードＣＤは荷物ＣＲ側面の左下隅に貼付される（図４）。
また、２次元コードＣＤの貼付位置に対応して同コードＣＤを撮影できるように、本例では、カメラ２は、２次元コードＣＤを撮影できるよう出入口ＧＷの右側面部に設けられている。

カメラ２は、通過検知センサ３が搬送車両ＶＨによる出入口ＧＷの通過を検知したときに、この搬送車両ＶＨと、搬送車両ＶＨが搬送中の荷物ＣＲと、荷物ＣＲに貼られた２次元コードＣＤが写り込んだコード画像Ｐ_ＣＤを撮影する。
そして、カメラ２は、コード画像Ｐ_ＣＤを情報管理サーバ４に送信する。

［通過検知センサ］
通過検知センサ３は、搬送車両ＶＨが出入口ＧＷを通過することを検知するセンサである。
本例では、通過検知センサ３は、搬送車両ＶＨによる出入口ＧＷの通過を検知した際、当該検知した旨を示す「通過検出信号」をコントローラ５あてに出力する。
コントローラ５は、通過検知センサ３からの通過検出信号をカメラ２に転送するとともに、同通過検出信号を中継サーバ６・有線ＬＡＮ３００を介してＴｏＦカメラ１－１～１－４あてにも転送する。

図２のように、通過検知センサ３は、荷物保管場所の出入口ＧＷに設けられる。
本例では、通過検知センサ３として、光電センサ（光を発射する投光ユニットと、この発射光を受ける受光ユニットの組を具備する）を採用する。
また、搬送車両ＶＨには、通過検知センサ３からの発射光に対する反射性を高めるため、「光反射器ＲＦ」が設けられている（図２）。光反射器ＲＦの例としては、反射率の高いミラーが挙げられる。

［情報管理サーバ］
情報管理サーバ４は、ＴｏＦカメラ１が撮影した画像である「荷物車両画像Ｐ_ＣＶ」と、カメラ２が撮影した画像である「コード画像Ｐ_ＣＤ」を管理する。
情報管理サーバ４は、たとえば、荷物保管場所の管理・運営をおこなう企業が所有してもよい。

情報管理サーバ４は、荷物保管場所・出入口ＧＷの各コーナーから各ＴｏＦカメラ１で撮影した同じ被写体を示す４枚の荷物車両画像Ｐ_ＣＶから各々生成した４つの点群データＰＤにおいて、これらのデータＰＤに写り込んだ「荷物ＣＲの幅・高さ・奥行」を採寸する。

情報管理サーバ４は、４つの点群データＰＤを合成することで、これらの点群データＰＤに写り込んだ荷物の３次元的な立体形状を示す「１枚の荷物立体画像Ｐ_３Ｄ」を生成する。

また、同サーバ４は、コード画像Ｐ_ＣＤに写り込んでいる荷物にそれぞれ貼付された２次元コードＣＤを認識して、当該２次元コードが示す荷物情報Ｉ_ＣＲを読取る。
図２の例では、２次元コードＣＤ－１・ＣＤ－２が認識される。
そして、情報管理サーバ４は、認識した２次元コードＣＤに基づいて、コード画像Ｐ_ＣＤに写り込んでいる個々の荷物ＣＲ（図２の例では、ＣＲ－１・ＣＲ－２）を認識する。
さらに、同サーバ４は、コード画像Ｐ_ＣＤのなかに上下に積上げられた複数の荷物が写り込んでいるか否かを、各荷物ＣＲにそれぞれ貼付されている２次元コードＣＤに基づいて判別する。

情報管理サーバ４は、コード画像Ｐ_ＣＤ（図１１）のなかに上下に積上げられた複数の荷物が写り込んでいると判別すると、この画像Ｐ_ＣＤに写り込んだ２次元コードＣＤの位置に対応する、荷物立体画像Ｐ_３Ｄ（図１７（ａ）・図１７（ｂ））における当該２次元コードＣＤのコード相対位置を特定する。
また、荷物ＣＲの３次元的な立体形状を示す荷物立体画像Ｐ_３Ｄに対し、コード画像Ｐ_ＣＤに写り込んだ２次元コードＣＤと、その２次元コードＣＤが示す荷物情報Ｉ_ＣＲとを対応付けて荷物画像情報（図１３）に記憶する。

つぎに、ＴｏＦカメラ１・カメラ２・情報管理サーバ４の各構成について順次説明する。

［ＴｏＦカメラ］
図５に示すように、ＴｏＦカメラ１は、制御部１１と、記憶部１２と、撮影手段１３と、光照射手段１４と、受光手段１５と、通信部１６とを有している。
その他にも、ＴｏＦカメラ１は、小型の液晶ディスプレイ（図示略）等の出力部１８と、シャッター（図示略）を含む入力部１７とを備えている。
また、ＴｏＦカメラ１は、任意の演算処理を実行するＣＰＵ（中央処理装置）を含む制御部１１のほか、ＲＯＭ・ＲＡＭ等を含む記憶部１２、及び、各種信号あるいは情報の入出力経路をなす通信ポート（図示略）を含む通信部１６を備えている。

通信部１６は、有線ＬＡＮ３００に接続され、中継サーバ６を介して、情報管理サーバ４・コントローラ５との間で各種の通信を行う。
通信部１６としては、ネットワークインターフェース・モデム等が使用される。

制御部１１は、ＣＰＵ（Central Processing Unit：中央処理装置）・ＲＯＭ（Read Only Memory）・ＲＡＭ（Random Access Memory）等を有し、ＲＯＭ・記憶部１２に記憶されているアプリケーションプログラムをＲＡＭにロードして実行し、それにより各種の論理的手段を実現する。

ＴｏＦカメラ１では、通過判定手段１１１、撮影指示手段１１２、距離算出手段１１３と、点群データ生成手段１１４および点群データ送信手段１１５が実現される。

通過判定手段１１１は、通過検知センサ３から搬送車両ＶＨによる出入口ＧＷの通過を検知した旨の「通過検出信号」を受信すると、搬送車両ＶＨが出入口ＧＷを通過したと判定する。

撮影指示手段１１２は、通過判定手段１１１が「搬送車両ＶＨが出入口ＧＷを通過した」と判定したときに、撮影動作の実行を指示する「荷物車両撮影指示」を撮影手段１３に対して送る。

［荷物車両画像における深度座標の算出］
距離算出手段１１３は、光照射手段１４が赤外光を照射してから被写体（荷物ＣＲなど）による反射光を受光手段１５が受光するまでの受光所要時間Ｔ_ＦＬを求め、受光所要時間Ｔ_ＦＬに光速を乗算した往復距離（深度距離Ｌ_Ｄの２倍）を基に「ＴｏＦカメラ１から被写体までの深度距離Ｌ_Ｄ」を求める。
続いて、距離算出手段１１３は、求めた深度距離Ｌ_Ｄから、図９（ｂ）のようなＴｏＦカメラ１の位置を深度座標原点（０，０，０）とした３次元空間（Ｘ軸・Ｙ軸・Ｚ軸からなる直交座標）における「深度座標」（ｘ，ｙ，ｚ）を導出する。

距離算出手段１１３は、図９（ｂ）のように、荷物車両画像Ｐ_ＣＶの画素のうちＴｏＦカメラ１の光軸上にある画素の深度座標（以下、「基準深度座標」）（ｘ_０，ｙ_０，ｚ_０）を算出する。
基準深度座標（ｘ_０，ｙ_０，ｚ_０）は、ＴｏＦカメラ１から同カメラ１光軸と交わる画素までの深度距離Ｌ_Ｄと深度座標原点（０，０，０）から求める。
さらに、同手段１１３は、同図９（ｂ）の位置関係に基づき、荷物車両画像Ｐ_ＣＶ上にある各画素の深度座標（ｘ，ｙ，ｚ）を、当該画素の深度距離Ｌ_Ｄと深度座標原点（０，０，０）から求める。

［点群データの生成］
点群データ生成手段１１４は、深度距離Ｌ_Ｄに応じた区分を示す所定色により荷物車両画像Ｐ_ＣＶ中の各画素を塗り分けた画像（点群データＰＤ）を生成する。
本例において「点群データＰＤ」は、（i）荷物車両画像Ｐ_ＣＶ中の各画素に写り込んだ被写体（荷物ＣＲ・搬送車両ＶＨなど）とＴｏＦカメラ１の間の深度距離Ｌ_Ｄにより定まる深度座標と（ii）各深度距離Ｌ_Ｄに応じた区分を示す所定色のデータを含んでいる。
なお、同手段１１４は、荷物車両画像Ｐ_ＣＶ上の各画素に対して、距離算出手段１１３が求めたそれぞれの深度距離Ｌ_Ｄに応じた区分を示す所定色を決定する。

そして、点群データ生成手段１１４は、各画素における深度座標（ｘ，ｙ，ｚ）と所定色のデータ集合から、点群データＰＤを生成する。
本例では、荷物車両画像Ｐ_ＣＶ中の各画素の深度距離Ｌ_Ｄに応じた区分を示す所定色を、荷物車両画像Ｐ_ＣＶの画素ごとに着色することで、図８（ｂ）のような「点群データＰＤ」が生成される。
なお、ＴｏＦカメラ１－１・１－２・１－３・１－４が備える点群データ生成手段１１４は、個々に撮影した荷物車両画像Ｐ_ＣＶから各点群データＰＤ_１・ＰＤ_２・ＰＤ_３・ＰＤ_４を生成する。

点群データ送信手段１１５は、通信部１６を用いて、点群データＰＤを情報管理サーバ４あてに送信する。
本例では、点群データＰＤは、いったん中継サーバ６に送られ、同サーバ６によりインターネット２００経由で情報管理サーバ４あてに転送される。

記憶部１２は、撮影手段１３が撮影した荷物車両画像Ｐ_ＣＶと、点群データ生成手段１１４が生成した点群データＰＤとを記憶する。

撮影手段１３は、撮影指示手段１１２から荷物車両撮影指示が送られた場合、搬送車両ＶＨならびに同車両ＶＨが搬送中の荷物ＣＲがともに写り込んだ「荷物車両画像Ｐ_ＣＶ」（図６（ａ）・図６（ｂ）・図７（ａ）・図７（ｂ）・図８（ａ）参照）を撮影する。

光照射手段１４は、赤外光を荷物ＣＲにむけて照射する光源である。
本例において、光照射手段１４は、通過判定手段１１１が「搬送車両ＶＨが出入口ＧＷを通過した」と判定した場合、赤外光を荷物ＣＲにむけて照射する。

受光手段１５は、光照射手段１４が照射して荷物ＣＲが反射した赤外光を受光する。

［カメラ］
つぎに、カメラ２について説明する。
図１０は、本実施形態に係るカメラ２の電気的構成を示すブロック図である。
同図１０に示すように、カメラ２の装置本体は、演算処理を実行するＣＰＵを含む制御部２１のほか、ＲＯＭ・ＲＡＭ等を含む記憶部２２、各種信号あるいは情報の入出力経路をなす通信ポート（図示略）を含む通信部２４を備えている。
また、同カメラ２は、小型の液晶ディスプレイ（図示略）等の出力部２６と、シャッター（図示略）を含む入力部２５とを備えている。

通信部２４は、無線ＬＡＮ４００やコントローラ５に接続され、情報管理サーバ４や通過検知センサ３との間で各種の通信を行う。通信部２４としては、ネットワークインターフェース・モデム等が使用される。
本カメラ２を、ＵＳＢ（Universal Serial Bus）接続端子など所定のインターフェースまたは通信部２４を介してプリンタ（図示略）に接続し、撮影したコード画像Ｐ_ＣＤを紙媒体に印刷出力してもよい。

図１０の制御部２１は、ＣＰＵ・ＲＯＭ・ＲＡＭ等を有し、ＲＯＭ・記憶部２２に記憶されているアプリケーションプログラムをＲＡＭにロードして実行し、それにより各種の論理的手段を実現する。
本例のカメラ２では、複数の２次元コードを撮影するために機能別に細分化された、コード撮影指示手段２１１およびコード画像送信手段２１２が実現される。

コード撮影指示手段２１１は、通過検知センサ３から出力された「通過検出信号」（搬送車両ＶＨによる出入口ＧＷの通過を検知した旨の信号）を受信したときに、撮影動作の実行を指示する「コード撮影指示」をコード撮影手段２３に送る。

コード画像送信手段２１２は、コード撮影手段２３が撮影したコード画像Ｐ_ＣＤを情報管理サーバ４に送信する。

コード撮影手段２３は、コード撮影指示手段２１１からコード撮影指示を受信したときに、搬送車両ＶＨと、同車両ＶＨが搬送中の荷物ＣＲと、同荷物ＣＲの所定位置に貼付された２次元コードＣＤとが写り込んだ「コード画像Ｐ_ＣＤ」を撮影する。
図１１の例では、上下に積み重ねられた搬送中の２つの荷物ＣＲ－１・ＣＲ－２が撮影される。なお、それぞれの荷物の所定位置ＣＲ－１・ＣＲ－２には、２次元コードＣＤ－１・ＣＤ－２が貼付されている。

［情報管理サーバ］
図１２は、本実施形態に係る情報管理サーバ４の電気的構成を示すブロック図である。
情報管理サーバ４は、図１２に示すように、液晶ディスプレイやプリンタ（図示略）等の出力部４４と、キーボードやマウス（図示略）・タッチパネル（図示略）等を含む入力部４３とを備えている。
また、情報管理サーバ４の装置本体は、任意の演算処理を実行するＣＰＵ（Central Processing Unit：中央処理装置）を含む制御部４１のほか、ハードディスクドライブ（ＨＤＤ）・ＲＯＭ（Read Only Memory）・ＲＡＭ（Random Access Memory）等を含む記憶部４２、及び、各種信号あるいは情報の入出力経路をなす通信ポート（図示略）を含む通信部４５を備えている。

通信部４５は、公衆通信網であるインターネット２００に接続され、中継サーバ６を介して、ＴｏＦカメラ１－１～１－４やカメラ２との間で各種の通信を行う。
通信部４５としては、ネットワークインターフェース・モデム等が使用される。

制御部４１は、ＣＰＵ（Central Processing Unit：中央処理装置）・ＲＯＭ（Read Only Memory）・ＲＡＭ（Random Access Memory）等を有し、ＲＯＭ・記憶部４２に記憶されているアプリケーションプログラム（画像管理プログラム４２３）をＲＡＭにロードして実行し、それにより各種の論理的手段を実現する。

情報管理サーバ４では、画像情報管理手段４１１、荷物採寸手段４１２、立体画像生成手段４１３、コード読取手段４１４、荷物認識手段４１５、積重判別手段４１６およびコード位置特定手段４１７が実現される。

画像情報管理手段４１１は、荷物画像情報４２１（図１３）・コード画像情報４２２（図１４）を管理する手段である。
同管理手段４１１は、荷物画像情報４２１・コード画像情報４２２に対する情報登録や登録内容の削除を行う。

図１３のように、荷物画像情報４２１は、搬送車両ＶＨによって搬送される荷物ＣＲと、その荷物ＣＲに関する属性の対応関係を指定する情報である。
同図１３の例では、荷物画像情報４２１において、画像データ（点群データＰＤ_１～ＰＤ_４・荷物立体画像Ｐ_３Ｄ・コード画像Ｐ_ＣＤ）と、荷物情報Ｉ_ＣＲとが対応付けされている。

また、図１４のように、コード画像情報４２２は、搬送車両ＶＨによって搬送される荷物ＣＲに貼付された二次元コードＣＤと、そのコードＣＤに関する属性の対応関係を指定する情報である。
同図１４の例では、コード画像情報４２２において、コード画像Ｐ_ＣＤと、コード画像Ｐ_ＣＤに写り込んだ荷物ＣＲに貼付されている二次元コードＣＤと、その二次元コードＣＤから読取った荷物情報Ｉ_ＣＲとが対応付けされている。

［荷物の採寸］
荷物採寸手段４１２は、各ＴｏＦカメラ１－１～１－４で撮影した同じ被写体を示す４枚の荷物車両画像Ｐ_ＣＶから各々生成した４つの点群データＰＤにおいて、これらのデータＰＤに写り込んだ荷物ＣＲのサイズ（幅・高さ・奥行）を採寸する。
本例では、同手段４１２は、図１５（ａ）のような点群データＰＤにおいて「荷物ＣＲが写り込んだ領域」（以下、「荷物画像領域ＲＧ_ＣＲ」という。）を特定し、この荷物画像領域ＲＧ_ＣＲの周縁部分について各画素間の距離を求めることで（図１５（ｂ）参照）、当該荷物ＣＲの実際のサイズ（高さ・幅・奥行）を採寸する。

荷物採寸手段４１２は、まず、図１５（ａ）の点群データＰＤにおいて、荷物画像領域ＲＧ_ＣＲの端点（たとえば、立方体の各頂点）を特定する。
同図１５（ｂ）の例では、荷物画像領域ＲＧ_ＣＲの端点として、頂点Ａ・Ｂ・Ｃ・Ｄ・Ｅ・Ｈが特定される。

荷物採寸手段４１２は、点群データＰＤにおける荷物ＣＲ（荷物画像領域ＲＧ_ＣＲ）の各端点が特定できたら、それぞれの端点が写っている各画素の深度座標（ｘ，ｙ，ｚ）を取得する。
なお、点群データＰＤにおける深度座標は、参照可能な状態で点群データＰＤ自体に対応付けされている。

図１５（ｂ）の例では、頂点Ａ・Ｂ・Ｃ・Ｄ・Ｅ・Ｈの６つの端点における深度座標が取得される。
これにより、荷物ＣＲの幅に該当する辺ＡＥ・辺ＤＨと、荷物ＣＲの高さに該当する辺ＡＤ・辺ＢＣと、荷物ＣＲの奥行に該当する辺ＡＢ・辺ＣＤとについて、それぞれの深度座標を基に各距離（辺ＡＥ・辺ＤＨ・辺ＡＤ・辺ＢＣ・辺ＡＢ・辺ＣＤそれぞれの長さ）が算出できる。

同図１５（ｂ）においては、頂点Ｃの深度座標として（ｘ_Ｃ，ｙ_Ｃ，ｚ_Ｃ）が、頂点Ｄの深度座標として（ｘ_Ｄ，ｙ_Ｄ，ｚ_Ｄ）が取得される。
この場合、荷物の奥行をなす辺ＣＤ（頂点Ｃと頂点Ｄ間の辺）の距離は、以下の数式２により算出できる。
すなわち、辺ＣＤの距離は、両端点Ｃ・Ｄの深度座標について、Ｘ座標成分同士の差「ｘ_Ｃ－ｘ_Ｄ」とＹ座標成分同士の差「ｙ_Ｃ－ｙ_Ｄ」とＺ座標成分同士の差「ｚ_Ｃ－ｚ_Ｄ」の２乗和の平方根により定まる。
なお、荷物画像領域ＲＧ_ＣＲにおける他の端点間距離についても、数式２同様の計算により算出される。

このようにして、荷物採寸手段４１２は、各頂点Ａ・Ｂ・Ｃ・Ｄ・Ｅ・Ｈに写り込んだ被写体とＴｏＦカメラ１の間の深度距離Ｌ_Ｄを用い、実際の荷物ＣＲの幅・高さ・奥行（たとえば、メートル単位の長さ）を算出する。
これにより、荷物ＣＲの実際のサイズ（幅・高さ・奥行）が採寸できる。

［荷物立体画像の生成］
立体画像生成手段４１３は、各ＴｏＦカメラ１－１～１－４が撮影した４枚の荷物車両画像Ｐ_ＣＶから作られた４つの点群データＰＤを合成する。
この合成処理により、荷物立体画像生成手段４１３は、各点群データＰＤに写り込んだ荷物ＣＲの３次元的な立体形状を示す「１枚の荷物立体画像Ｐ_３Ｄ」を生成する。
「荷物立体画像Ｐ_３Ｄ」とは、全方位において任意方向から見たときの視差画像をもつ荷物ＣＲの画像である。

本例では、多視点（離間配置されたＴｏＦカメラ１－１～１－４）による４枚の荷物車両画像Ｐ_ＣＶから得た点群データＰＤから１枚の「荷物立体画像Ｐ_３Ｄ」を生成する手法として、複数の点群データＰＤを基に、荷物ＣＲの３次元ボクセルデータ（荷物ＣＲを小立方体の集合で表したデータ）を求める視体積交差法を利用する。
なお、荷物立体画像Ｐ_３Ｄの生成手法については、視体積交差法に限らず、ステレオマッチング法をはじめとする任意の手法を採用できる。

既知の視体積交差法を用いて４枚の点群データＰＤから１枚の荷物立体画像Ｐ_３Ｄを生成する場合、まず、立体画像生成手段４１３は、４枚の各点群データＰＤから荷物ＣＲのシルエット画像（荷物ＣＲが写り込んでいる荷物画像領域ＲＧ_ＣＲを白黒で表した２値画像）を抽出する。
つぎに、同手段４１３は、ＴｏＦカメラ１－１～１－４を中心として上記シルエット画像を立体的に逆投影し、視体積の重複部分から荷物ＣＲのボクセルデータ（小立方体の集合データ）を生成する。
そして、荷物ＣＲの個々のボクセルデータ表面に小さな三角形の面を張ることで、荷物ＣＲの表面形状（立体的形状）を示す荷物立体画像Ｐ_３Ｄを生成できる。

［２次元コードの読取］
コード読取手段４１４は、コード画像Ｐ_ＣＤに写り込んでいる個々の荷物ＣＲに添付された２次元コードＣＤを認識して、同コードＣＤが示す荷物情報Ｉ_ＣＲを読取る。
本例では、２次元コードＣＤはＱＲコード（登録商標）であるため、位置検出するためのファインダパターン（いわゆる切出シンボル）に基づき２次元コードＣＤを認識する。

荷物認識手段４１５は、コード画像Ｐ_ＣＤに「写り込んでいる個々の荷物ＣＲを認識」する。
さらに、荷物認識手段４１５は、コード画像Ｐ_ＣＤに写っている各荷物に対し、コード読取手段４１４が認識した各荷物ＣＲごとの２次元コードＣＤと、同手段４１４が各２次元コードＣＤごとに読取った荷物情報Ｉ_ＣＲとを対応付けてコード画像情報４２２（図１４）に記憶する。

ここで、本自動採寸システム１００では、荷物ＣＲのあらかじめ定められた所定位置（図１１の例では、荷物ＣＲ側面の下方左側）に、２次元コードＣＤを貼付するよう運用されている。
そのため、荷物認識手段４１５は、コード画像Ｐ_ＣＤに写り込んでいる２次元コードＣＤに着目することで、荷物ＣＲが搬送されている状態でも、それぞれの２次元コードＣＤが貼られた各荷物ＣＲを区別して認識できる。

また、コード読取手段４１４に読取られる荷物情報Ｉ_ＣＲには、たとえば、荷物ＣＲとして扱われる商品の名称・商品の品番・商品の個数・商品の重量などの情報が含まれている。

図１２の積重判別手段４１６は、コード画像Ｐ_ＣＤのなかに上下に積上げられた複数の荷物ＣＲが写り込んでいるか否かを、各荷物ＣＲにそれぞれ貼付されている２次元コードＣＤに基づいて判別する。
上述したように、本例の各荷物ＣＲにはそれぞれ所定位置（側面の下方左側）に２次元コードＣＤを貼ってあるため、コード画像Ｐ_ＣＤ内の垂直方向における２次元コードＣＤの位置を参照することで、上下に積上げられた状態で搬送される荷物ＣＲの有無を判定できる。
また、２次元コードＣＤ位置の参照により、相互に積上げられている荷物ＣＲの位置関係（上下関係）も判定可能である。

［荷物立体画像における２次元コード位置の特定］
さらに本例では、コード画像Ｐ_ＣＤのなかに上下に積上げられた複数の荷物ＣＲが写り込んでいると判別された場合、コード位置特定手段４１７が、荷物立体画像Ｐ_３Ｄ中における「コード画像Ｐ_ＣＤに写り込んだ２次元コードＣＤの位置」を特定する。

同手段４１７は、荷物立体画像Ｐ_３Ｄに写り込んでいる２次元コードＣＤ（コード画像Ｐ_ＣＤに写り込んだ２次元コードＣＤと同一のコード）の位置を特定する。
そして、同手段４１７は、この「コード画像Ｐ_ＣＤに写り込んだ２次元コードＣＤの画像位置の座標」を、立体画像生成手段４１３が生成した「荷物立体画像Ｐ_３Ｄに写り込んだ２次元コードＣＤの画像位置の座標」に変換する。
また、コード位置特定手段４１７は、荷物立体画像Ｐ_３Ｄに写り込んだ２次元コードＣＤに対し、コード読取手段４１４が認識した２次元コードＣＤと、同２次元コードＣＤが示す荷物情報Ｉ_ＣＲ（同コード読取手段４１４が読取ったもの）とを対応付けて荷物画像情報４２１（図１３）に記憶させる。

なお、本実施形態に係るアプリケーション（画像管理プログラム４２３）を任意の多機能電子装置に導入することにより、本発明の特徴的な各種機能を付加することができ、情報管理サーバ４を構成可能である。
また本実施形態によれば、多機能電子装置に専用アプリケーションをインストールするだけで、簡易かつ短時間で情報管理サーバ４を構成できる。

［実施形態１：動作シーケンス］
つぎに、本実施形態に係る自動採寸システム１００の動作について説明する。
［荷物の採寸処理時］
以下では、本システム１００において、搬送車両ＶＨが荷物ＣＲを搬送している状態のままで、当該荷物のサイズを自動採寸するときの各構成要素の動作について説明する。

搬送車両ＶＨが所定位置（荷物保管場所の出入口ＧＷ）を通過すると、通過検知センサ３が動作する。
通過検知センサ３は、搬送車両ＶＨによる出入口ＧＷを通過することを検知した際、同車両ＶＨが出入口ＧＷを通過した旨を示す「通過検出信号」をコントローラ５あてに出力する。

本例では、この通過検出信号は、コントローラ５から中継サーバ６にいったん送信されたあと、有線ＬＡＮ３００（図１）経由で中継サーバ６から同サーバ６と接続されている４台のＴｏＦカメラ１－１～１－４に転送される。
また、コントローラ５は、この通過検出信号を、２次元コード撮影用のカメラ２に対しても送信する。

［ＴｏＦカメラの動作］
ＴｏＦカメラ１は、通過検知センサ３から通過検出信号を受信すると、搬送車両ＶＨが出入口ＧＷを通過したと判定する。
このように搬送車両ＶＨが出入口ＧＷを通過したと判定した場合、ＴｏＦカメラ１は、搬送車両ＶＨと荷物ＣＲがともに写り込んだ荷物車両画像Ｐ_ＣＶ（図８（ａ））を撮影する（図１８・ステップＳ１０１）。
なお、ステップＳ１０１の撮影動作は、ＴｏＦカメラ１内部において、制御部１１から撮影手段１３に荷物車両撮影指示を送ることで行われる。

また、本例では、ＴｏＦカメラ１は、通過検出信号の受信により搬送車両ＶＨが出入口ＧＷを通過したと判定した場合、赤外光を荷物ＣＲにむけて照射する（ステップＳ１０２）。
その後、ＴｏＦカメラ１は、荷物ＣＲによって反射された赤外光を受光する（ステップＳ１０３）。

続いて、ＴｏＦカメラ１は、放出した赤外光を受光するまでの受光所要時間Ｔ_ＦＬを算出し、この受光所要時間Ｔ_ＦＬを基に、荷物車両画像Ｐ_ＣＶの各画素中に写り込んだ被写体部分とＴｏＦカメラ１の間の「深度距離Ｌ_Ｄ」を求める。
さらに、ＴｏＦカメラ１は、求めた深度距離Ｌ_Ｄに基づき、図９（ｂ）のような同ＴｏＦカメラ１の位置を深度座標原点（０，０，０）とした３次元空間における「深度座標」（ｘ，ｙ，ｚ）を導出する。
加えて、ＴｏＦカメラ１は、荷物車両画像Ｐ_ＣＶ上の全画素について、それぞれの深度距離Ｌ_Ｄに応じた区分を示す所定色を決定する。

そして、ＴｏＦカメラ１は、各画素における深度座標（ｘ，ｙ，ｚ）と深度距離Ｌ_Ｄに応じた所定色のデータ集合を基に、点群データＰＤを生成する（図１８・ステップＳ１０４）。
本例では、ＴｏＦカメラ１は、深度距離Ｌ_Ｄに応じた所定色を、荷物車両画像Ｐ_ＣＶの画素ごとに着色することで、図８（ｂ）のような「点群データＰＤ」を生成する。

さらに、ＴｏＦカメラ１は、生成した点群データＰＤを情報管理サーバ４あてに送信する（図１８・ステップＳ１０５）。
本例では、点群データＰＤは、有線ＬＡＮ３００経由でＴｏＦカメラ１から中継サーバ６にいったん送信され、その後、インターネット２００経由で中継サーバ６から情報管理サーバ４に転送される。
なお、ＴｏＦカメラ１によるステップＳ１０１～Ｓ１０５の処理は、搬送車両ＶＨによる出入口ＧＷの通過を通過検知センサ３が検出するごとに繰返し実行される。

［２次元コード撮影用のカメラの動作］
一方、カメラ２についても、通過検知センサ３からの通過検出信号を受信すると、コード撮影手段２３に対し「コード撮影指示」を送ることで、搬送車両ＶＨと荷物ＣＲと２次元コードＣＤが写り込んだ「コード画像Ｐ_ＣＤ」を撮影する（ステップＳ１０６）。

続いて、カメラ２は、撮影したコード画像Ｐ_ＣＤを情報管理サーバ４あてに送信する（ステップＳ１０７）。
本例では、カメラ２は、コード画像Ｐ_ＣＤを無線ＬＡＮ経由４００で中継サーバ６にいったん送信し、その後、中継サーバ６がインターネット２００経由で当該コード画像Ｐ_ＣＤを情報管理サーバ４に転送する。
なお、カメラ２によるステップＳ１０６～Ｓ１０７の処理についても、搬送車両ＶＨによる出入口ＧＷの通過を通過検知センサ３が検出するごとに繰返し行われる。

［情報管理サーバの動作］
点群データＰＤとコード画像Ｐ_ＣＤを受信した場合、情報管理サーバ４において、２次元コード認識（解読）処理と３次元点群データの解析（寸法計測）処理が開始される。

［荷物の採寸］
情報管理サーバ４は、点群データＰＤにおいて荷物ＣＲが写り込んだ「荷物画像領域ＲＧ_ＣＲ」を特定し、この荷物画像領域ＲＧ_ＣＲについて端点間の距離を求めることで荷物ＣＲの実際のサイズ（高さ・幅・奥行）を採寸する。

情報管理サーバ４は、まず、図１５（ａ）の点群データＰＤにおいて、荷物画像領域ＲＧ_ＣＲの端点（たとえば、立方体の各頂点）を特定する（図１５（ｂ））。
続いて、同サーバ４は、上記特定した各端点（画素）における深度座標（ｘ，ｙ，ｚ）を取得し、この深度座標を基に、数式２を用いて各端点間の距離（辺の長さ）を算出する。
そして、情報管理サーバ４は、荷物画像領域ＲＧ_ＣＲの各端点の画素に写っている被写体とＴｏＦカメラ１の間の深度距離Ｌ_Ｄを用い、実際の荷物ＣＲの幅・高さ・奥行（たとえば、メートル単位の長さ）を算出する。
これにより、荷物ＣＲの実際のサイズ（幅・高さ・奥行）を採寸する（図１８・ステップＳ１０８）。

［荷物立体画像の生成］
つぎに、情報管理サーバ４は、各点群データＰＤに写り込んだ荷物ＣＲの３次元的な立体形状を示す「１枚の荷物立体画像Ｐ_３Ｄ」を生成する（ステップＳ１０９）。

この荷物立体画像Ｐ_３Ｄは、４枚の荷物車両画像Ｐ_ＣＶから各々生成した４つの点群データＰＤを合成することで生成される。
本例では、多視点（離間配置されたＴｏＦカメラ１－１～１－４）から得た４つの点群データＰＤから１枚の荷物立体画像Ｐ_３Ｄを生成する手法として、複数の荷物車両画像Ｐ_ＣＶを基に荷物ＣＲのボクセルデータを求める視体積交差法を用いる。

［２次元コードの読取］
情報管理サーバ４は、コード画像Ｐ_ＣＤに写り込んだ個々の荷物ＣＲに付された２次元コードＣＤを認識し（ステップＳ１１０）、当該コードＣＤが示す荷物情報Ｉ_ＣＲを読取る。
２次元コードＣＤとしてＱＲコード（登録商標）を使用する場合、同コードＣＤの認識にはファインダパターンを用いる。

さらに、情報管理サーバ４は、コード画像Ｐ_ＣＤに写り込んだ個々の荷物ＣＲを認識する（ステップＳ１１１）。
なお、情報管理サーバ４は、自ら認識したコード画像Ｐ_ＣＤ中の各荷物に対し、各荷物に付された２次元コードＣＤと、各２次元コードＣＤから読取った荷物情報Ｉ_ＣＲを対応付けてコード画像情報４２２に記憶する。

情報管理サーバ４は、コード画像Ｐ_ＣＤのなかに上下に積上げられた複数の荷物ＣＤが写り込んでいるか否かを、各荷物にそれぞれ貼付されている２次元コードＣＤの位置関係に基づいて判別する（ステップＳ１１２）。

なお、情報管理サーバ４は、コード画像Ｐ_ＣＤのなかに上下に積上げられた複数の荷物が写り込んでいると判別した場合、荷物立体画像Ｐ_３Ｄにおける「コード画像Ｐ_ＣＤ内に写った２次元コードＣＤの位置」を特定する（ステップＳ１１３）。
そして、同サーバ４は、コード画像Ｐ_ＣＤに写った２次元コードの画像位置の座標を、荷物立体画像Ｐ_３Ｄに写り込んでいる２次元コードの画像位置の座標に変換する。
なお、情報管理サーバ４におけるステップＳ１０８～Ｓ１１３の処理は、通過検知センサ３が搬送車両ＶＨによる出入口ＧＷの通過を検知するごとに繰返し実行される。
以上で、自動採寸システム１００において、荷物ＣＲが搬送車両ＶＨによって運搬されている状態のもとに「荷物ＣＲの自動採寸」と「２次元コードＣＤの読取」をおこなうときの一連の動作が終了する。

以上説明したように、本実施形態に係る自動採寸システム１００によれば、人手を介することなく、搬送車両ＶＨにより搬送された状態のまま（しかも、荷物の搬送作業を一切妨げることなく）荷物ＣＲのサイズを自動的に採寸でき、採寸作業からの人的リソース解放を可能にする。

また、本発明によれば、情報管理サーバ４は、４台のＴｏＦカメラ１－１～１－４が各々生成した４枚の点群データＰＤを合成することで、これらの点群データＰＤに写り込んだ荷物ＣＲの３次元的な立体形状を示す１枚の荷物立体画像Ｐ_３Ｄを生成できる。

さらに、本発明によれば、荷物ＣＲの取扱作業に従事する作業者が目視確認で個々に荷物を判別することなく、カメラで撮影したコード画像Ｐ_ＣＤを基に、搬送車両ＶＨが搬送中の個々の荷物ＣＲを自動的に判別できる。
そのため、荷物ＣＲの個数の自動計数も可能となり、ひいては、荷物の積込作業に必要な人員数や配送に必要な配送車両台数などを自動予測にも寄与しうる。

また、本発明によれば、コード画像Ｐ_ＣＤを基に、上下に積上げられた荷物ＣＲの有無も自動判別し、積上げられた荷物ＣＲがある場合には、これらの荷物ＣＲにかかる荷物立体画像Ｐ_３Ｄにおいて当該荷物ＣＲに貼付された二次元コードＣＤの位置を特定することができる。

さらに、本願発明では、本願発明者による試行の繰返しにより、矩形の出入口ＧＷの各コーナー４箇所にそれぞれ１台ずつ（合計４台）のＴｏＦカメラ１－１～１－４を設置することで、黒色や暗色の低反射物からなる荷物ＣＲについても点群データＰＤの生成と自動採寸が実現された。

［変形例：荷物とフォークリフト爪部分の一体化部分からの当該爪部分の除去］
工場や倉庫などに代表される荷物保管場所においては、荷物ＣＲの搬送車両としてフォークリフトが多用されている。
一般に、フォークリフトには荷物ＣＲを支持載積するための長尺状の爪部分が設けられている。
本願システムにおいて、点群データＰＤを生成した場合、フォークリフトの爪部分が荷物ＣＲと渾然一体に含まれてしまい、採寸した荷物ＣＲのサイズが実際の荷物ＣＲのサイズと異なってしまう場合がある。
このような事態を回避するためには、本願発明では、フォークリフトの爪部分と荷物ＣＲを判別し、点群データＰＤから当該データＰＤに写り込んだ爪部分の点群データを除去すればよい。

本願では、下記手法により、情報管理サーバ４が、点群データＰＤに写り込んだフォークリフト爪部分の点群データの除去処理を実現する。
以下では、図１９（ａ）に示す点群データＰＤから「フォークリフトの爪部分が写り込んだ爪画像領域ＲＧ_ＦＫ」を除去する場合を例に挙げて説明する。

情報管理サーバ４は、まず、図１９（ｂ）のように、点群データＰＤにおける処理対象（荷物ＣＲとフォークリフト爪部分が一体化しているデータ部分）を、Ｘ軸沿いに所定間隔（たとえば、１ｍｍ）ごとに切断位置ｘ_ｎにおける切断面ＣＳ_ｎ（ｎ：整数）により切断する（図２１のステップＳ２１）。
同図１９（ｂ）の例では、切断面ＣＳ_２において、荷物ＣＲならびにフォークリフト爪部分が写り込んだ断面画像（図２０（ａ）参照）が取得できる。
また、同図１９（ｂ）中の切断面ＣＳ_１においては、荷物ＣＲは写り込んでいないため、フォークリフト爪部分のみが写り込んだ断面画像（図２０（ｂ）参照）が取得できる。
なお、Ｘ軸の向きは、長尺状をなす「フォークリフト爪部分の軸方向（延伸方向）と同じ向き」である。

つぎに、情報管理サーバ４は、各切断位置ｘ_ｎにおいて切断面ＣＳ_ｎにより切取られる断面積Ａｘ_ｎを順次算出する（図２１のステップＳ２２）。
本例において、図１９（ｂ）中の切断面ＣＳ_２により切取られた荷物ＣＲならびにフォークリフト爪部分が写り込んだ断面画像（図２０（ａ）参照）の断面積Ａｘ_２は「２０００００」である。
また、図１９（ｂ）中の切断面ＣＳ_１により切取られたフォークリフト爪部分が写り込んだ断面画像（図２０（ｂ）参照）の断面積Ａｘ_１は「２０００」である。

そして、情報管理サーバ４は、連続的に前後する２つの切断位置ｘ_ｎおよび切断位置ｘ_ｎ＋１において各切断面ＣＳ_ｎ・ＣＳ_ｎ＋１により切取られた断面積Ａｘ_ｎならびにＡｘ_ｎ＋１を順次比較していく。
すなわち、切断面積比「Ａｘ_ｎ＋１／Ａｘ_ｎ」の値を、Ｘ軸沿いの各切断位置ｘ_ｎについて逐次算出する（図２１のステップＳ２３）。
図１９（ｂ）における切断面ＣＳ_１と切断面ＣＳ_２が連続する前後関係にある場合には、切断面積比「Ａｘ_２／Ａｘ_１」の値は「１００」となる。

さらに、情報管理サーバ４は、切断面ＣＳ_ｎにより切断を開始した先頭の切断位置ｘ_０からスタートして、先に求めた切断面積比「Ａｘ_ｎ＋１／Ａｘ_ｎ」を所定の荷物検出閾値ＴＨ_ＣＲと比較していく（図２１のステップＳ２４）。
なお、この荷物検出閾値ＴＨ_ＣＲには、実際の荷物保管場所において現場テストを実施することにより、荷物ＣＲとフォークリフト爪部分の判別に好適な数値を設定する。

続いて、情報管理サーバ４は、切断面積比「Ａｘ_ｎ＋１／Ａｘ_ｎ」と荷物検出閾値ＴＨ_ＣＲの大小関係に基づき、フォークリフト爪部分が荷物ＣＲと接する接触位置ｘ_Ｔを判定する（図２１のステップＳ２５）。
本例では、切断面積比「Ａｘ_ｎ＋１／Ａｘ_ｎ」の値が、荷物検出閾値ＴＨ_ＣＲ（たとえば、６０）を超過した場合、当該切断位置ｘ_ｎがフォークリフト爪部分および荷物ＣＲの接触位置ｘ_Ｔであると判定する。

そして、情報管理サーバ４は、切断面ＣＳ_ｎによる切断を開始した先頭の切断位置ｘ_０から接触位置ｘ_Ｔまでの切断面ＣＳ_０～ＣＳ_Ｔによって切取られた「フォークリフト爪部分が写り込んだ爪画像領域ＲＧ_ＦＫ」を、点群データＰＤから除去する（図２１のステップＳ２６）。
以上で、点群データＰＤに写り込んだフォークリフト爪部分の除去をおこなうときの一連の動作が終了する。

これにより、点群データＰＤにおいてフォークリフト爪部分が荷物ＣＲと渾然一体に含まれている場合でも、フォークリフト爪部分の点群データを除去することができ、荷物ＣＲの採寸精度をより高めることができる。

［変形例：ＴｏＦカメラの座標軸に対し荷物の点群データを平行にする傾き修正機能］
上述したように、荷物保管場所では、荷物ＣＲの搬送にフォークリフトを用いることが多い。
一般的なフォークリフトでは、荷物ＣＲが当該爪部分から滑落することを防止するため、荷物ＣＲと当接する爪部分の上面に緩やかな傾斜が設けられている。
そのため、ＴｏＦカメラ１－１～１－４が撮影した荷物車両画像Ｐ_ＣＶに写り込んだ荷物ＣＲは、ＴｏＦカメラ１－１～１－４の座標軸に対して水平でなく傾いた姿勢であることが多い。
また、繁忙な搬送作業の際には、荷物ＣＲがＴｏＦカメラ座標軸からずれた状態でフォークリフト爪部分に載積されることも往々にして起こりうる。

「点群データＰＤ」は荷物車両画像Ｐ_ＣＶに基づいて生成されるものである以上、荷物車両画像Ｐ_ＣＶに写り込んだ荷物ＣＲの姿勢が元々傾いているのであれば、この荷物ＣＲの姿勢の傾きが点群データＰＤにもそのまま引継がれてしまう。
そこで、本システム１００では、ＴｏＦカメラ１の座標軸に対して荷物の点群データを平行にさせる「傾き修正機能」を設けている。

上述したような傾き修正機能は、本願の情報管理サーバ４において、以下のような手法により実現される。
以下では、図２２（ａ）に示す荷物画像領域ＲＧ_ＣＲ（荷物ＣＲの点群データ）の姿勢を、ＴｏＦカメラ１の座標軸（同図２２（ａ）中のＸＹ座標水平面）に対して平行にする場合を例に挙げて説明する。

図２２（ａ）の荷物画像領域ＲＧ_ＣＲの端点（立方体の各頂点にあたる画素）はそれぞれ深度座標（ｘ，ｙ，ｚ）を有している。
そこで、まず、情報管理サーバ４は、図２２（ａ）のＺ軸方向から傾き修正処理対象（荷物画像領域ＲＧ_ＣＲ）を見たときの、ＸＹ平面（水平面）上における「荷物画像領域ＲＧ_ＣＲのＸＹ平面投影図」を生成する（図２３のステップＳ３１）。
図２２（ａ）の荷物画像領域ＲＧ_ＣＲからは、図２２（ｂ）に示す「ＸＹ平面投影図（水平面投影図）」が得られる。
なお、Ｚ軸の向きは「荷物ＣＲの高さ方向」（垂直方向）と同じ向きである。

つぎに、情報管理サーバ４は、荷物画像領域ＲＧ_ＣＲから得られた図２２（ｂ）のＸＹ平面投影図を、Ｚ軸（荷物ＣＲの高さ方向の軸）を回転中心軸として、ＸＹ平面（水平面）上で所定単位角度ずつ回転させる（図２３のステップＳ３２）。
これにより、情報管理サーバ４は「ＸＹ平面写像図」（水平面写像図）を生成する（同ステップＳ３２）。
なお、本例における情報管理サーバ４は、Ｚ軸を中心として、所定単位角度（たとえば、１°）ずつ図２２（ｂ）のＸＹ平面投影図をＸＹ平面上で回転させていく。

なお、同サーバ４は、図２３・ステップＳ３２のＸＹ平面投影図（水平面投影図）の回転処理を、所定回転範囲（たとえば、－４５°～＋４５°）で実行する。
本例では、図２２（ｂ）のＸＹ平面投影図を回転角度（＋２°）だけ回転させたときに、図２２（ｃ）の「ＸＹ平面写像図（水平面写像図）」が得られたものとする。
また、本例では、図２２（ｂ）のＸＹ平面投影図を回転角度（＋５°）だけ回転させたときに、図２２（ｄ）のＸＹ平面写像図（水平面写像図）が得られたものとする。

情報管理サーバ４は、図２２（ｂ）のＸＹ平面投影図について、当該投影図の各端点（深度座標）のうちの水平面座標の最大値・最小値（Ｘ軸最大値・Ｘ軸最小値・Ｙ軸最大値・Ｙ軸最小値）を特定する（図２３のステップＳ３３）。

続いて、同サーバ４は、ＸＹ平面投影図に外接する外接矩形（図２２（ｂ）において破線で囲まれた四角形）の面積を求める（同ステップＳ３３）。
なお、外接矩形の面積は、（Ｘ軸最大値－Ｘ軸最小値）×（Ｙ軸最大値－Ｙ軸最小値）なる式より算出可能である。

さらに、同サーバ４は、上述した所定回転範囲内で所定単位角度だけ回転させるごとに、ＸＹ平面投影図を回転させて得られた各ＸＹ平面写像図（図２２（ｃ）・図２２（ｄ））についても、当該写像図の水平面座標の最大値・最小値（Ｘ軸最大値・Ｘ軸最小値・Ｙ軸最大値・Ｙ軸最小値）を特定する（図２３のステップＳ３４）。
そして、ＸＹ平面写像図それぞれの「外接矩形の面積」を算出する（同ステップＳ３４）。

そして、情報管理サーバ４は、「外接矩形の面積」が最も小さくなったときの回転角度において、荷物画像領域ＲＧ_ＣＲを回転させたＸＹ平面写像図の各辺の向きがＴｏＦカメラ１の水平面座標軸（Ｘ軸・Ｙ軸）に対して揃った平行状態であると判定する（図２３のステップＳ３５）。
これにより、ＴｏＦカメラ１の座標軸に対する荷物ＣＲの点群データの傾きを修正し平行にすることが可能となり、ひいては荷物ＣＲの採寸精度をより高めることができる。

［変形例：点群データからノイズ成分を除去する機能］
ＴｏＦカメラ１が撮影した荷物車両画像Ｐ_ＣＶから生成される「点群データＰＤ」には、荷物保管場所の場内にある荷物ＣＲとは無関係の物体が写り込んでしまうおそれがある。
このような荷物ＣＲに無関係の物体は、点群データＰＤにおけるノイズ成分ＮＳになりうるため、当該点群データＰＤから生成される「荷物立体画像Ｐ_３Ｄ」の形状の正確性に悪影響（たとえば、歪み）を及ぼしうる。
このような事態を事前回避するために、本システム１００では、点群データＰＤからノイズ成分ＮＳを除去する機能を設けている。

上述したようなノイズ除去機能は、本願では、情報管理サーバ４において以下のような手法により実現される。
以下では、図２４（ａ）に示す点群データＰＤから、当該データＰＤに含まれるノイズ成分ＮＳを除去する場合を例に挙げて説明する。

この手法においては、情報管理サーバ４は、あらかじめ定められた所定のノイズ判定基準ＴＨ_ＮＳを利用して、点群データＰＤからノイズ成分ＮＳを除去する。
本例では、「点群密度」（図２４（ａ）中に破線で示すノイズ判定範囲ＲＮ_ＮＳに含まれる点群の個数）をノイズ判定基準ＴＨ_ＮＳと照合することで、ノイズ成分ＮＳか否かを判定する。
ノイズ判定基準ＴＨ_ＮＳは、実際の荷物保管場所で現場テストをおこなうことで、ノイズ成分ＮＳの判別に好適な数値を設定する。
本例では、ノイズ判定基準ＴＨ_ＮＳの値は「５」である。

情報管理サーバ４は、点群データＰＤに含まれる全画素について、それぞれの画素（深度座標（ｘ，ｙ，ｚ））を中心とする「ノイズ判定範囲ＲＮ_ＮＳに存在する点群の個数」を算出する（図２５のステップＳ４１）。

本例では、上記のノイズ判定範囲ＲＮ_ＮＳとして、点群データＰＤ内の各画素を円心とする「半径ｒの円」内部を採用する。
この半径ｒは、荷物保管場所に依存するパラメータであるため、荷物保管場所の現場に応じて好適に設定する。
なお、ノイズ判定範囲ＲＮ_ＮＳの形状は、任意でよく、楕円形状や多角形状でもよい。

つぎに、情報管理サーバ４は、「ノイズ判定範囲ＲＮ_ＮＳに存在する点群の個数」がノイズ判定基準ＴＨ_ＮＳよりも小さい場合、そのノイズ判定範囲ＲＮ_ＮＳ内にある点群がノイズ成分ＮＳであると判定する（図２５のステップＳ４２）。
そして、同サーバ４は、ノイズ判定範囲ＲＮ_ＮＳに含まれるこれらの画素における点群（ノイズ成分ＮＳとして判定された点群）を除去する（図２５のステップＳ４３）。
このようにすることで、ノイズ成分ＮＳが除去されたよりクリアな点群データＰＤ（図２４（ｂ）参照）を得ることができるため、点群データＰＤから生成される荷物立体画像Ｐ_３Ｄの形状を、実際の荷物ＣＲの正確な形状により近づけることができる。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明の要旨を逸脱しない範囲で当業者が理解し得る各種の変形が可能である。

１ ＴｏＦ（Time of Flight）カメラ
２ カメラ
３ 通過検知センサ
４ 情報管理サーバ
５ コントローラ
６ 中継サーバ
１００ 自動採寸システム
２００ インターネット
３００ 有線ＬＡＮ
４００ 無線ＬＡＮ
ＣＲ 荷物
ＶＨ 搬送車両
Ｐ_ＣＶ 荷物車両画像
ＰＤ 点群データ
Ｐ_３Ｄ 荷物立体画像
ＣＤ ２次元コード
Ｐ_ＣＤ コード画像

Claims (5)

1. 搬送車両その他の搬送手段により搬送される荷物のサイズを自動的に採寸できる自動採寸システムであって、
   
   荷物保管場所の矩形状の出入口に設けられたセンサであって、前記搬送手段が出入口を通過することを検知する通過検知センサと、
   前記矩形状の出入口の４つのコーナーに各１台ずつ設けられた任意の被写体を撮影するＴｏＦ（Time of Flight）カメラであって、前記通過検知センサが搬送手段による出入口の通過を検知したときに前記荷物に赤外光を照射するとともに当該荷物から反射された赤外光を受光する４台のＴｏＦ（Time of Flight）カメラと、
   任意の被写体を撮影可能なカメラであって、前記出入口の左右いずれかの側面部に設けられたカメラと、
   前記ＴｏＦカメラが撮影した画像と前記カメラが撮影した画像を管理する情報管理サーバと、
   を具備してなり、
   
   前記４台のＴｏＦ（Time of Flight）カメラは、各々、
   前記通過検知センサが搬送手段の出入口通過を検知したときに、この搬送手段と同搬送手段が搬送中の荷物がともに写り込んだ荷物車両画像を撮影する撮影手段と、
   同通過検知センサが搬送手段の出入口通過を検知したときに荷物に対して赤外光を放出してから同荷物により反射された赤外光を受光するまでの受光所要時間に基づき、荷物車両画像の各画素中に写り込んだ被写体部分と同ＴｏＦカメラの間の深度距離を求める距離算出手段と、
   前記距離算出手段が求めた深度距離に応じて定まる荷物車両画像内の深度座標と、各深度距離に応じた区分を示す所定色とからなる荷物車両画像の各画素のデータ集合を生成し、当該生成したデータ集合に基づいて、各画素における深度距離に応じた所定色を荷物車両画像の画素ごとに着色することで点群データを生成する点群データ生成手段と、
   前記点群データを情報管理サーバに送信する点群データ送信手段と、
   を有し、
   
   前記カメラは、
   前記通過検知センサが搬送手段の出入口通過を検知したときに、この搬送手段と同搬送手段が搬送中の荷物と同荷物に貼付された２次元コードとが写り込んだコード画像を撮影するコード撮影手段と、
   前記コード画像を情報管理サーバに送信するコード画像送信手段と、
   を有し、
   
   前記情報管理サーバは、
   出入口の各コーナーから各ＴｏＦカメラが撮影した同じ被写体の４枚の荷物車両画像からそれぞれ生成された４枚の点群データにおいて、当該点群データに写り込んだ荷物の幅と高さと奥行を採寸し、
   前記４枚の点群データを合成することで、当該点群データに写り込んでいる荷物の３次元的な立体形状を示す１枚の荷物立体画像を生成し、
   前記荷物立体画像が示す荷物に、前記採寸した幅と高さと奥行を対応付けて記憶する採寸処理と、
   
   前記コード画像に写り込んでいる個々の荷物に添付された２次元コードを認識して、当該２次元コードが示す荷物情報を読取り、
   前記認識した２次元コードに基づいて、前記コード画像に写り込んでいる個々の荷物を認識し、
   前記コード画像のなかに上下に積上げられた複数の荷物が写り込んでいるか否かを、各荷物にそれぞれ貼付されている２次元コードに基づいて判別するコード読取処理と、
   
   前記コード画像のなかに上下に積上げられた複数の荷物が写り込んでいると判別したときに、
   当該コード画像に写り込んだ２次元コードの位置に対応する、前記荷物立体画像におけるコード相対位置を特定し、
   前記コード相対位置が特定された荷物立体画像に対して、当該コード相対位置に写り込んだ２次元コードと同２次元コードが示す荷物情報を対応付けて記憶する
   ように構成されたことを特徴とする、自動採寸システム。
   
2. 請求項１に記載の自動採寸システムであって、
   
   前記ＴｏＦ（Time of Flight）カメラは、
   採寸対象となる荷物が赤外光を吸収する低反射物である場合でも、撮影した荷物車両画像から点群データを生成できる
   ように構成されたことを特徴とする、自動採寸システム。
   
3. 請求項１又は２に記載の自動採寸システムであって、
   
   前記搬送手段がフォークリフトである場合、
   情報管理サーバは、
   前記点群データにおいて荷物とフォークリフト爪部分が一体化しているデータ部分を、長尺状をなす前記フォークリフト爪部分の軸方向沿いに所定間隔ごとに切断位置において切断面により切断する処理と、
   前記切断位置それぞれにおいて切断面により切取られる断面積を算出する処理と、
   連続的に前後する２つの切断位置において各切断面により切取られた断面積同士を順次比較して、切断面積比を算出する処理と、
   切断面による切断を開始した先頭の切断位置からスタートして、先に求めた切断面積比を所定の荷物検出閾値と比較する処理と、
   切断面積比と荷物検出閾値の大小関係に基づきフォークリフト爪部分が荷物と接する接触位置を判定する処理であって、ある切断位置における切断面積比が荷物検出閾値を超過したときに、当該切断位置がフォークリフト爪部分および荷物の接触位置であると判定する処理と、
   先頭の切断位置から接触位置までの各切断面によって切取られたフォークリフトの爪部分が写り込んだ爪画像領域を、点群データから除去する処理と、
   を実行する
   ように構成されたことを特徴とする、自動採寸システム。
   
4. 請求項１又は２に記載の自動採寸システムであって、
   
   情報管理サーバは、
   前記荷物の高さ方向から見たときの、前記点群データに写り込んだ荷物画像領域の水平面投影図を生成する処理と、
   荷物の高さ方向の軸を回転中心として水平面投影図を水平面上で所定単位角度ずつ回転させることで、水平面写像図を生成する処理と、
   水平面投影図の各端点の水平面座標の最大値・最小値を基に、当該水平面投影図に外接する外接矩形の面積を求める処理と、
   水平面写像図の各端点の水平面座標の最大値・最小値を基に、当該水平面写像図に外接する外接矩形の面積を求める処理と、
   前記外接矩形の面積が最小のときの回転角度において、水平面写像図の各辺の向きがＴｏＦカメラの水平面座標軸に対して揃った平行状態であると判定する処理と、
   を実行する
   ように構成されたことを特徴とする、自動採寸システム。
   
5. 請求項１又は２に記載の自動採寸システムであって、
   
   情報管理サーバは、
   前記点群データに含まれるすべての画素それぞれについて、当該画素を中心とする所定のノイズ判定範囲に存在する点群の個数を算出する処理と、
   前記ノイズ判定範囲に存在する点群の個数が所定のノイズ判定基準よりも小さい場合、当該ノイズ判定範囲内にある点群がノイズ成分であると判定する処理と、
   前記ノイズ成分として判定された点群を除去する処理と、
   を実行する
   ように構成されたことを特徴とする、自動採寸システム。

Images