JP7323170B2 - 積載容積率計測装置、システム、方法、及び、プログラム - Google Patents

積載容積率計測装置、システム、方法、及び、プログラム Download PDF

Info

Publication number
JP7323170B2
JP7323170B2 JP2019179261A JP2019179261A JP7323170B2 JP 7323170 B2 JP7323170 B2 JP 7323170B2 JP 2019179261 A JP2019179261 A JP 2019179261A JP 2019179261 A JP2019179261 A JP 2019179261A JP 7323170 B2 JP7323170 B2 JP 7323170B2
Authority
JP
Japan
Prior art keywords
voxels
loading
data
unit
array data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019179261A
Other languages
English (en)
Other versions
JP2021056765A (ja
Inventor
悟己 上野
教之 青木
真則 高岡
研二 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Communication Systems Ltd
Original Assignee
NEC Communication Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Communication Systems Ltd filed Critical NEC Communication Systems Ltd
Priority to JP2019179261A priority Critical patent/JP7323170B2/ja
Publication of JP2021056765A publication Critical patent/JP2021056765A/ja
Application granted granted Critical
Publication of JP7323170B2 publication Critical patent/JP7323170B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Generation (AREA)
  • Image Analysis (AREA)

Description

本発明は、積載容積率計測装置、システム、方法、及び、プログラムに関する。
一部の運輸会社では、輸送効率を向上させるために、トラックバースにてコンテナ(バンボディ、ウィングボディ等の箱型荷台を含む)に奥側から手前側に順次荷積みを行って積載容積率100%に近い状態で輸送を行うようにしている。また、荷降ろしのときは、トラックバースにてコンテナから内倉庫に全ての荷物を移動させ、積載容積率0%の状態にするようにしている。さらに、積載容積率は運転手の目視によって計測され、計測された積載容量率を運転手から管理者に報告するようにしている。
特許第6511681号公報 特開2018-144513号公報
以下の分析は、本願発明者により与えられる。
しかしながら、積載容積率の目視による計測では、個人差が生じやすく、正確な値を把握することは難しい。また、先行車両で荷物の積み込みが行われているときに、トラックバースには別の待機車両が存在する場合があり、先行車両の積載容積率の報告は当該先行車両の荷物の積み込みが完了した後の出発直前であるため、待機車両の移動開始は先行車両の出発後となり、広大なトラックバースにおいては積載容積率の報告がタイムロスの原因となる。
これらの事象から、積載容積率を自動的に監視することによって、積載容積率の計測による個人差や、計測された積載容積率の報告の手間をなくし、待機車両に対し積載容積率100%に近くになった先行車両の位置を事前に案内できるようにすることが望まれる。
積載容積率を自動的に監視する技術として、特許文献1、2のように、複数の箇所のカメラで撮影された点群データ(3次元データ)を用いて荷物の容積を認識する技術を応用することが考えられる。しかしながら、特許文献1、2に記載の技術では、撮影可能な最前列の荷物の形状、エッジ、寸法を認識するに留まり、コンテナ内の荷物全体の状況(特に、撮影できない箇所の荷物の状況)を正確に認識することができない可能性がある。
本発明の主な課題は、積載容積率を自動的に監視しつつ、荷物全体の状況を正確に認識することに貢献することができる積載容積率計測装置、システム、方法、及び、プログラムを提供することである。
第1の視点に係る積載容積率計測装置は、所定空間を撮影した撮影データのうち前記所定空間において計測対象物が積載される領域が指定された監視領域に存在する点群を取得するように構成された監視領域指定部を備える。前記積載容積率計測装置は、前記監視領域を、予め指定されたボクセル辺長のボクセルで分割したボクセルグリッドにおけるボクセルのうち、前記点群の点数が所定数以上存在するボクセルを有効ボクセルとした配列データを作成するように構成されたボクセル化部を備える。前記積載容積率計測装置は、予め指定されたインターバル時間内にある複数の前記配列データに基づいて、手前にある障害物が背後にある計測対象物を隠して見えなくしているオクルージョン部分を除外した状態の有効ボクセルを推定した推定配列データを作成し、前記推定配列データにおける前記有効ボクセルの奥側部分を有効ボクセルとするように補完した積載配列データを作成するように構成された配列処理部を備える。前記積載容積率計測装置は、前記積載配列データに基づいて、前記監視領域内の全容積に対する前記監視領域内に積載された前記計測対象物の容積の割合である積載容積率を算出するように構成された積載容積率算出部を備える。
第2の視点に係る積載容積率計測システムは、所定空間を撮影した撮影データを出力するように構成された3次元センサと、前記第1の始点に係る積載容積率計測装置と、を備える。
第3の視点に係る積載容積率計測方法は、所定空間を撮影した撮影データのうち前記所定空間において計測対象物が積載される領域が指定された監視領域に存在する点群を取得するステップを含む。前記積載容積率計測方法は、前記監視領域を、予め指定されたボクセル辺長のボクセルで分割したボクセルグリッドにおけるボクセルのうち、前記点群の点数が所定数以上存在するボクセルを有効ボクセルとした配列データを作成するステップを含む。前記積載容積率計測方法は、予め指定されたインターバル時間内にある複数の前記配列データに基づいて、手前にある障害物が背後にある計測対象物を隠して見えなくしているオクルージョン部分を除外した状態の有効ボクセルを推定した推定配列データを作成し、前記推定配列データにおける前記有効ボクセルの奥側部分を有効ボクセルとするように補完した積載配列データを作成するステップを含む。前記積載容積率計測方法は、前記積載配列データに基づいて、前記監視領域内の全容積に対する前記監視領域内に積載された前記計測対象物の容積の割合である積載容積率を算出するステップを含む。
第4の視点に係るプログラムは、所定空間を撮影した撮影データのうち前記所定空間において計測対象物が積載される領域が指定された監視領域に存在する点群を取得する処理をハードウェア資源に実行させる。前記プログラムは、前記監視領域を、予め指定されたボクセル辺長のボクセルで分割したボクセルグリッドにおけるボクセルのうち、前記点群の点数が所定数以上存在するボクセルを有効ボクセルとした配列データを作成する処理をハードウェア資源に実行させる。前記プログラムは、予め指定されたインターバル時間内にある複数の前記配列データに基づいて、手前にある障害物が背後にある計測対象物を隠して見えなくしているオクルージョン部分を除外した状態の有効ボクセルを推定した推定配列データを作成し、前記推定配列データにおける前記有効ボクセルの奥側部分を有効ボクセルとするように補完した積載配列データを作成するステップをハードウェア資源に実行させる。前記プログラムは、前記積載配列データに基づいて、前記監視領域内の全容積に対する前記監視領域内に積載された前記計測対象物の容積の割合である積載容積率を算出する処理をハードウェア資源に実行させる。
なお、プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transient)なものとすることができる。また、本開示では、コンピュータプログラム製品として具現することも可能である。プログラムは、コンピュータ装置に入力装置又は外部から通信インタフェイスを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させ、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インタフェイスを介して、外部と交信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによって接続可能なプロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備える。
前記第1~第4の視点によれば、積載容積率を自動的に監視しつつ、荷物全体の状況を正確に認識することに貢献することができる。
実施形態1に係る積載容積率計測システムの構成を模式的に示したブロック図である。 実施形態1に係る積載容積率計測システムにおける積載容積率計測装置の構成を模式的に示したブロック図である。 積載容量率の変化の一例を模式的に示したイメージ図である。 実施形態1に係る積載容積率計測システムで表示される一例を模式的に示したイメージ図である。 実施形態1に係る積載容積率計測システムにおける(A)監視領域、(B)ボクセルグリッド、(C)有効ボクセルを模式的に示したイメージ図である。 実施形態1に係る積載容積率計測システムにおける積載容積率0%のときの撮影データ及び可視化情報の一例を模式的に示したイメージ図である。 実施形態1に係る積載容積率計測システムにおける第1積載容積率のときの撮影データ及び可視化情報の一例を模式的に示したイメージ図である。 実施形態1に係る積載容積率計測システムにおける第1積載容積率より高い第2積載容積率のときの撮影データ及び可視化情報の一例を模式的に示したイメージ図である。 実施形態1に係る積載容積率計測システムにおける積載容積率計測装置の動作を模式的に示したフローチャート図である。 実施形態2に係る積載容積率計測装置の構成を模式的に示したブロック図である。 ハードウェア資源の構成を模式的に示したブロック図である。
以下に説明する本開示では、モード1に係る積載容積率計測装置及びその変形モードを適宜選択して組み合わせることができる。
前記モード1に係る積載容積率計測装置として、所定空間を撮影した撮影データのうち前記所定空間において計測対象物が積載される領域が指定された監視領域に存在する点群を取得するように構成された監視領域指定部と、前記監視領域を、予め指定されたボクセル辺長のボクセルで分割したボクセルグリッドにおけるボクセルのうち、前記点群の点数が所定数以上存在するボクセルを有効ボクセルとした配列データを作成するように構成されたボクセル化部と、予め指定されたインターバル時間内にある複数の前記配列データに基づいて、手前にある障害物が背後にある計測対象物を隠して見えなくしているオクルージョン部分を除外した状態の有効ボクセルを推定した推定配列データを作成し、前記推定配列データにおける前記有効ボクセルの奥側部分を有効ボクセルとするように補完した積載配列データを作成するように構成された配列処理部と、前記積載配列データに基づいて、前記監視領域内の全容積に対する前記監視領域内に積載された前記計測対象物の容積の割合である積載容積率を算出するように構成された積載容積率算出部と、を備える積載容積率計測装置が可能である。
前記モード1に係る積載容積率計測装置の変形モードとして、前記配列処理部は、前記オクルージョン部分を除外した状態の前記有効ボクセルを推定する際、前記インターバル時間内にある複数の前記配列データ間で比較して、前後方向の異なる位置又は同じ位置に有効ボクセルがある場合にそれらの有効ボクセルの中の最奥にある有効ボクセルを選択するように構成されている、積載容積率計測装置とすることができる。
前記モード1に係る積載容積率計測装置の変形モードとして、前記配列処理部は、前記オクルージョン部分を除外した状態の前記有効ボクセルを推定する際、前記インターバル時間内にある複数の前記配列データ間で比較して、特定の位置のボクセルで無効ボクセルの数が有効ボクセルの数より多いときは当該特定の位置のボクセルを無効ボクセルとし、特定の位置のボクセルで有効ボクセルの数が無効ボクセルの数より多いときは当該特定の位置のボクセルを有効ボクセルとするように構成されている、積載容積率計測装置とすることができる。
前記モード1に係る積載容積率計測装置の変形モードとして、前記配列処理部は、前記積載配列データを作成する際、前記推定配列データにおける前記有効ボクセルから奥側にあるすべてのボクセルを一律に有効ボクセルにするように補完するように構成されている、積載容積率計測装置とすることができる。
前記モード1に係る積載容積率計測装置の変形モードとして、前記配列処理部は、前記積載配列データを作成する際、特定の位置のボクセルについて最新の前記推定配列データで無効ボクセルになっているが過去の前記推定配列データで有効ボクセルになっているときは、当該特定の位置のボクセルについて有効ボクセルとするように補完するように構成されている、積載容積率計測装置とすることができる。
前記モード1に係る積載容積率計測装置の変形モードとして、前記積載容積率を表示するように構成された表示部をさらに備える、積載容積率計測装置とすることができる。
前記モード1に係る積載容積率計測装置の変形モードとして、前記積載容積率算出部は、さらに、前記積載容積率が警告値以上であるか否かを判定するように構成され、前記表示部は、さらに、判定結果が前記警告値以上の前記積載容積率であるときに警告表示情報を表示するように構成されている、積載容積率計測装置とすることができる。
前記モード1に係る積載容積率計測装置の変形モードとして、前記積載配列データのイメージにグリッド線を描画することによって有効ボクセルを可視化した可視化情報を作成するように構成されたボクセル可視化部をさらに備え、前記表示部は、さらに、前記可視化情報を表示するように構成されている、積載容積率計測装置とすることができる。
前記モード1に係る積載容積率計測装置の変形モードとして、前記ボクセル可視化部は、前記可視化情報において予め指定された警告値以上の高さの変化があるか否かを判定するように構成され、前記表示部は、さらに、判定結果が前記警告値以上の高さの変化があるときに警告表示情報を表示するように構成されている、積載容積率計測装置とすることができる。
前記モード1に係る積載容積率計測装置の変形モードとして、ユーザの操作により、前記監視領域及び前記ボクセル辺長並びに前記インターバル時間の指定を行うように構成された操作部をさらに備える、積載容積率計測装置とすることができる。
前記モード1に係る積載容積率計測装置の変形モードとして、前記監視領域指定部に入力される前に、前記撮影データのフォーマットを、前記積載容積率計測装置において共通に使える共通フォーマットに変換するように構成されたフォーマット変換部をさらに備える、積載容積率計測装置とすることができる。
前記モード1に係る積載容積率計測装置の変形モードとして、前記監視領域指定部に入力される前に、前記撮影データにおける点群の中からノイズを除去するように構成されたノイズ除去部をさらに備える、積載容積率計測装置とすることができる。
前記モード1に係る積載容積率計測装置の変形モードとして、前記ボクセル辺長は、前記計測対象物の最小の寸法よりも小さい長さである、積載容積率計測装置とすることができる。
モード2に係る積載容積率計測システム及びその変形モードを適宜選択して組み合わせることができる。
本開示では、モード2に係る積載容積率計測システムとして、所定空間を撮影した撮影データを出力するように構成された3次元センサと、前記モード1に係る積載容積率計測装置と、を備える積載容積率計測システムが可能である。
本開示では、モード3に係る積載容積率計測方法として、所定空間を撮影した撮影データのうち前記所定空間において計測対象物が積載される領域が指定された監視領域に存在する点群を取得するステップと、前記監視領域を、予め指定されたボクセル辺長のボクセルで分割したボクセルグリッドにおけるボクセルのうち、前記点群の点数が所定数以上存在するボクセルを有効ボクセルとした配列データを作成するステップと、予め指定されたインターバル時間内にある複数の前記配列データに基づいて、手前にある障害物が背後にある計測対象物を隠して見えなくしているオクルージョン部分を除外した状態の有効ボクセルを推定した推定配列データを作成し、前記推定配列データにおける前記有効ボクセルの奥側部分を有効ボクセルとするように補完した積載配列データを作成するステップと、前記積載配列データに基づいて、前記監視領域内の全容積に対する前記監視領域内に積載された前記計測対象物の容積の割合である積載容積率を算出するステップと、を含む積載容積率計測方法が可能である。
本開示では、モード4に係るプログラムとして、所定空間を撮影した撮影データのうち前記所定空間において計測対象物が積載される領域が指定された監視領域に存在する点群を取得する処理と、前記監視領域を、予め指定されたボクセル辺長のボクセルで分割したボクセルグリッドにおけるボクセルのうち、前記点群の点数が所定数以上存在するボクセルを有効ボクセルとした配列データを作成する処理と、予め指定されたインターバル時間内にある複数の前記配列データに基づいて、手前にある障害物が背後にある計測対象物を隠して見えなくしているオクルージョン部分を除外した状態の有効ボクセルを推定した推定配列データを作成し、前記推定配列データにおける前記有効ボクセルの奥側部分を有効ボクセルとするように補完した積載配列データを作成するステップと、前記積載配列データに基づいて、前記監視領域内の全容積に対する前記監視領域内に積載された前記計測対象物の容積の割合である積載容積率を算出する処理と、をハードウェア資源に実行させるプログラムが可能である。
以下、実施形態について図面を参照しつつ説明する。なお、本出願において図面参照符号を付している場合は、それらは、専ら理解を助けるためのものであり、図示の態様に限定することを意図するものではない。また、下記の実施形態は、あくまで例示であり、本発明を限定するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インタフェイスも同様である。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備え、コンピュータ装置は、通信インタフェイスを介して装置内又は外部の機器(コンピュータを含む)と、有線、無線を問わず、交信可能に構成される。
[実施形態1]
実施形態1に係る積載容積率計測システムについて図面を用いて説明する。図1は、実施形態1に係る積載容積率計測システムの構成を模式的に示したブロック図である。図2は、実施形態1に係る積載容積率計測システムにおける積載容積率計測装置の構成を模式的に示したブロック図である。図3は、積載容量率の変化の一例を模式的に示したイメージ図である。図4は、実施形態1に係る積載容積率計測システムで表示される一例を模式的に示したイメージ図である。図5は、実施形態1に係る積載容積率計測システムにおける(A)監視領域、(B)ボクセルグリッド、(C)有効ボクセルを模式的に示したイメージ図である。図6は、実施形態1に係る積載容積率計測システムにおける積載容積率0%のときの撮影データ及び可視化情報の一例を模式的に示したイメージ図である。図7は、実施形態1に係る積載容積率計測システムにおける第1積載容積率のときの撮影データ及び可視化情報の一例を模式的に示したイメージ図である。図8は、実施形態1に係る積載容積率計測システムにおける第1積載容積率より高い第2積載容積率のときの撮影データ及び可視化情報の一例を模式的に示したイメージ図である。
積載容積率計測システム1は、トラック10のコンテナ11内(監視領域内に相当)の荷物20(計測対象物)の積載容積率(積載容積でも可)を計測(測定)するシステムである(図1参照)。積載容積率計測システム1は、トラック、航空機、船舶等による運輸分野や、ファクトリ分野での輸送を管理するのに用いることができる。積載容積率計測システム1では、3次元センサ300と積載容積率計測装置200とがネットワーク400を介して通信可能に接続された構成となっている。積載容積率計測システム1では、積載容積率計測装置200が3次元センサ300で撮影された撮影データ(図2の100)に基づいてトラック10のコンテナ11内の荷物20の積載容積率を計測する。積載容積率計測システム1は、例えば、図3で例示した4パターンの積載容量率の変化のように、コンテナ11の荷物20の積み込み状況、或いは、降ろし状況に応じて積載容積率を数値化する。積載容積率計測システム1は、計測された積載容積率の数値を、撮影データ100を可視化した可視化情報とともに表示する(図4参照)。
3次元センサ300は、トラック10のコンテナ11内の荷物20の表面をセンシングして撮影するセンサである(図1参照)。3次元センサ300は、ネットワーク400を介して積載容積率計測装置200と通信可能に接続されている。3次元センサ300は、荷物20を撮影した撮影データ(図2の100)を積載容積率計測装置200に向けて出力する。なお、撮影データ100は、点群(多数の点の3次元座標)で描画された点群データ(3次元データ)である。3次元センサ300は、積載容積率の計測に必要な撮影距離、画角、屋内外、日照の有無などの環境条件や顧客要望に応じて選択することができる。また、3次元センサ300には、各種メーカーから販売されている製品を用いることができる。3次元センサ300として、例えば、ステレオカメラ、ToF(Time of Flight)カメラ、3D-LIDAR(Three Dimensions - Laser Imaging Detection and Ranging)等を用いることができる。3次元センサ300は、トラック10のコンテナ11内の荷物20を撮影できる位置に取り付けられ(又は設置され)、例えば、トラック10と倉庫との間で荷物の積み下ろしをするためにトラック10と接車するトラックバースの天井や壁面に取り付けたり、コンテナ11に取り付けることができる。3次元センサ300は、コンテナ毎に少なくとも1つあればよいが、コンテナ毎に複数あってもよい。なお、3次元センサ300がコンテナ毎に複数ある場合には、種類やメーカーが異なっていてもよい。また、3次元センサ300がコンテナ毎に複数ある場合には、各3次元センサ300で撮影された各撮影データを積載容積率計測装置200で合成すればよい。
ネットワーク400は、3次元センサ300と積載容積率計測装置200との間を通信可能に接続する有線又は無線の通信網である。ネットワーク400には、例えば、PAN(Personal Area Network)、LAN(Local Area Network)、MAN(Metropolitan Area Network)、WAN(Wide Area Network)、GAN(Global Area Network)等の通信網を用いることができる。
積載容積率計測装置200は、3次元センサ300で撮影された所定空間の撮影データ100に基づいてトラック10のコンテナ11内の荷物20の積載容積率を計測する装置である(図1、図2参照)。ここで、積載容積率とは、コンテナ11内の全容積に対する積載された荷物20の容積の割合(百分率)をいう。積載容積率計測装置200は、コンテナ11内の荷物20を可視化する機能を有する。積載容積率計測装置200は、監視者によって使用される。積載容積率計測装置200は、コンピュータを構成する機能部(例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び表示装置)を有する装置(コンピュータ装置)を用いることができる。積載容積率計測装置200として、例えば、計算機、パーソナルコンピュータ、ノート型パーソナルコンピュータ、タブレット端末等のハードウェア資源を用いることができる。積載容積率計測装置200は、所定のプログラム(ソフトウェア)を実行することによって、前処理部210と、積載容積管理部220と、結果生成部230と、インタフェイス部240と、を実現する。
前処理部210は、3次元センサ(図1の300)からの撮影データ100に対して所定の前処理(ここでは、フォーマット変換、ノイズ除去)を行う機能部である(図2参照)。前処理部210は、3次元センサ(図1の300)からの撮影データ100を前処理し、前処理された撮影データ100を積載容積管理部220の監視領域指定部221、及び、インタフェイス部240の表示部242に向けて出力する。前処理部210は、フォーマット変換部211と、ノイズ除去部212と、を有する。
フォーマット変換部211は、3次元センサ(図1の300)の種類によって異なる撮影データ100のフォーマットを、積載容積率計測装置200において共通に使える共通フォーマットに変換する機能部である(図2参照)。フォーマット変換部211は、変換された共通フォーマットの撮影データ100を、ノイズ除去部212に向けて出力する。
ノイズ除去部212は、フォーマット変換部211からの撮影データ100における点群の中からノイズ(計測に不要な点群)を除去する機能部である(図2参照)。ノイズ除去部212は、ノイズが除去された撮影データ100を積載容積管理部220の監視領域指定部221、及び、インタフェイス部240の表示部242に向けて出力する。ノイズ除去方法として、例えば、平滑化処理、フィルタリング(例えば、移動平均フィルタ処理、メディアンフィルタ処理など)、外れ値除去処理(例えば、カイの二乗検定による外れ値除去処理)などが挙げられる。
積載容積管理部220は、コンテナ(図1の11)内の荷物(図1の20)の積載容積を管理する機能部である(図2参照)。積載容積管理部220は、前処理部210のノイズ除去部212からの撮影データ100、及び、インタフェイス部240の操作部241からの操作情報に基づいて積載配列データ112を作成し、作成された積載配列データ112を結果生成部230の積載容積率算出部232及びボクセル可視化部233に向けて出力する。積載容積管理部220は、監視領域指定部221と、ボクセル化部222と、配列処理部223と、配列データ群格納部224と、を有する。
監視領域指定部221は、前処理部210のノイズ除去部212からの撮影データ100のうち、インタフェイス部240の操作部241を用いてユーザによって指定された監視領域(図5(A)、図6~図8の「監視領域」参照)に存在する点群を取得する機能部である(図2参照)。ここで、監視領域とは、荷物20(計測対象物)の積載容積の変化を監視する領域をいい、3次元センサ300で所定空間を撮影した撮影データのうち当該所定空間において荷物20(計測対象物)が積載される領域である。監視領域指定部221は、取得された撮影データ100の監視領域内の点群をボクセル化部222に向けて出力する。
ボクセル化部222は、監視領域指定部221で取得された撮影データ100の監視領域内の点群をボクセル化(立方体で構成されるボクセルに加工)した配列データ111を作成する機能部である(図2参照)。ボクセル化部222は、監視領域指定部221で取得された撮影データ100の監視領域を、インタフェイス部240の操作部241を用いてユーザによって指定されたボクセル辺長(立方体に係るボクセルの一辺の長さ)のボクセルで分割された仮想的なボクセルグリッド(ボクセルが3次元配列したもの)を作成する(図5(A)、(B)参照)。なお、ボクセル辺長は、荷物20の最小の寸法よりも十分小さい長さを適宜採用することで誤差を抑えることができる。ここで、監視領域指定部221で取得された撮影データ100の監視領域内の点群は、解像度の問題から、主に荷物20のセンサ側(手前側)部分のみ(点群が密になった部分;図7、図8の「撮影データ(点群)」の白色部分を参照)が取得され、奥側部分は空白(点群が疎又は無になった部分;図7、図8の「撮影データ(点群)」の黒色部分を参照)となる。そのため、ボクセル化部222は、作成されたボクセルグリッドのうち、撮影データ100の監視領域内の点群の点数が所定数(例えば3つ)以上存在するボクセルを有効ボクセル(図5(C)参照)とし、点群の点数が所定数未満のボクセルを無効ボクセルとした配列データ111を作成する。有効ボクセルは、図7の「可視化情報」の塗りつぶし部分のボクセルに相当する。なお、配列データ111は、ボクセルグリッドにおける各ボクセルが有効か無効かの2値情報だけでなく、各ボクセルに存在する点群の点数に係る情報を各ボクセルに関連付けてもよく、各ボクセルに存在する点群の点数に応じた容積に係る情報を各ボクセルに関連付けてもよい。ボクセル化部222は、作成された配列データ111を配列処理部223に向けて出力する。
配列処理部223は、配列データ111に基づいてボクセルの配列処理を行う機能部である(図2参照)。配列処理部223は、ボクセル化部222から配列データ111を取得する。配列処理部223は、インタフェイス部240の操作部241を用いてユーザによって指定されたインターバル時間の間隔ごとに、当該インターバル時間分の配列データ111を時系列に配列して関連付けた配列データ群110を作成する。配列処理部223は、作成された配列データ群110を配列データ群格納部224に格納する。
配列処理部223は、配列データ群格納部224に格納された配列データ群110の各配列データ111を比較することで、手前にある障害物(作業者、台車、積み込み途中の荷物など)が背後にある積み込み済みの荷物20を隠して見えなくしているオクルージョン部分を除外した状態の有効ボクセルを推定した推定配列データを配列データ群110ごとに作成する。
ここで、推定配列データの作成では、例えば、1つの配列データ群110における配列データ111間で比較して、左右方向(例えば、X軸方向)及び上下方向(例えば、Y軸方向)の位置が同じで、かつ、前後方向(例えば、Z軸方向)の異なる位置又は同じ位置に有効ボクセルがある場合にそれらの有効ボクセルの中の最奥(左右方向及び上下方向の位置が同じで前後方向の最奥)にある有効ボクセルを選択することができる。
また、推定配列データの作成では、例えば、1つの配列データ群110における配列データ111間で比較して、特定の位置のボクセルで無効ボクセルの数が有効ボクセルの数より多いときは当該特定の位置のボクセルを無効ボクセルとし、特定の位置のボクセルで有効ボクセルの数が無効ボクセルの数より多いときは当該特定の位置のボクセルを有効ボクセルとすることができる。
なお、推定配列データの作成は、配列データ111間の比較だけでなく、ラベリングや機械学習等を用いて行ってもよい。配列処理部223は、作成された推定配列データを保持するようにしてもよい。
配列処理部223は、保持された推定配列データに基づいて積載配列データ112を作成する。
ここで、監視領域指定部221で取得された撮影データ100の監視領域内の点群は、主に荷物20のセンサ側(手前側)部分のみ(点群が密になった部分;図7、図8の「撮影データ(点群)」の白色部分を参照)が取得され、奥側部分は空白(点群が疎又は無になった部分;図7、図8の「撮影データ(点群)」の黒色部分を参照)となるため、奥側部分を補完する必要がある。そこで、奥側部分の補完の1つの方法として、配列処理部223は、推定配列データにおける有効ボクセルから奥側(左右方向及び上下方向の位置が同じで前後方向の奥側)にあるすべてのボクセルを一律に有効ボクセルにするように補完することができる(図7の可視化情報のボクセルを参照)。
また、奥側部分の補完の別の方法として、配列処理部223は、特定の位置のボクセルについて最新の推定配列データで無効ボクセルになっているが過去の推定配列データで有効ボクセルになっているときは、当該特定の位置のボクセルについて有効ボクセルとするように補完することができる。なお、配列処理部223は、特定の位置のボクセルについて最新の推定配列データで有効ボクセルになっているが過去の推定配列データで無効ボクセルになっているときは、新たな荷物20が追加されたとして、当該特定の位置のボクセルについて有効ボクセルを選択することができる。また、配列処理部223は、特定の位置のボクセルについて最新の推定配列データと過去の推定配列データとがともに有効ボクセルになっているときは、荷物20が存在したままとして、当該特定の位置のボクセルについて有効ボクセルを選択することができる。さらに、配列処理部223は、特定の位置のボクセルについて最新の推定配列データと過去の推定配列データとがともに無効ボクセルになっているときは、荷物20が元から存在しないとして、当該特定の位置のボクセルについて無効ボクセルを選択することができる。なお、上記の奥側部分の補完の別の方法は、上記の奥側部分の補完の1つの方法と組み合わせて実施してもよい(図8の可視化情報のボクセルを参照)。
配列処理部223は、作成された積載配列データ112を結果生成部230の積載容積率算出部232及びボクセル可視化部233に向けて出力する。配列処理部223は、作成された積載配列データ112を保持し、新たな積載配列データ112を作成するときに、保持された積載配列データ112を用いるようにしてもよい。
配列データ群格納部224は、配列処理部223で作成された配列データ群110を時系列に格納する機能部である(図2参照)。配列データ群格納部224は、配列処理部223の動作に応じて、配列データ群110の書き込み又は読み出しを行う。
結果生成部230は、積載容積管理部220の配列処理部223からの積載配列データ112に基づいて積載容積率に関する結果を時系列に生成する機能部である(図2参照)。結果生成部230は、警告値指定部231と、積載容積率算出部232と、ボクセル可視化部233と、を有する。
警告値指定部231は、インタフェイス部240の操作部241を用いてユーザによって指定された警告値を、積載容積率算出部232又はボクセル可視化部233に対して指定する機能部である(図2参照)。ここで、警告値は、警告を行う条件の閾値である。例えば、警告値指定部231は、積載容積率が「90%」以上のときに警告(例えば、トラックバースの待機車両への連絡)する場合は「90%」に係る警告値を積載容積率算出部232に対して指定する。また、警告値指定部231は、コンテナ11内の手前の荷物20と奥側の荷物20との高さの変化が「2m」以上のときに警告(例えば、コンテナ11内での荷崩れ防止)する場合は「2m」に係る警告値をボクセル可視化部233に対して指定する。
積載容積率算出部232は、積載容積管理部220の配列処理部223からの積載配列データ112に基づいて積載容積率を算出する機能部である(図2参照)。積載容積率算出部232は、コンテナ11の奥側から順に荷物20が積み込まれていく過程、或いは、手前から順に荷物20が降ろされていく過程の積載容積率を算出する。積載容積率は、例えば、積載配列データ112における全ボクセル数(有効ボクセルか無効ボクセルかは不問)に対する有効ボクセル数の割合(百分率)を算出することにより算出することができる。積載容積率算出部232は、算出された積載容積率に係る情報を表示部242に向けて出力する。積載容積率算出部232は、算出された積載容積率が、警告値指定部231から指定された警告値(例えば、積載容積率90%)以上のときは、警告表示情報を、算出された積載容積率に係る情報とともに表示部242に向けて出力する。なお、荷物20の形状が不定形であるなどのようにコンテナ11内の高さを考慮することが不適切な場合、つまり、荷物20の上方に空間があっても、コンテナ11の床面全面が荷物20で占有された場合は、積載容積率100%とみなしてもよい。
ボクセル可視化部233は、積載容積管理部220の配列処理部223からの積載配列データ112に基づいて有効ボクセルを可視化した可視化情報を作成する機能部である(図2参照)。ボクセル可視化部233は、有効ボクセルを可視化するために、積載配列データ112のイメージにグリッド線を描画した可視化情報を作成する。これにより、点群だけでは確認できない積載状況を可視化することができる。ボクセル可視化部233は、作成された可視化情報を表示部242に向けて出力する。ボクセル可視化部233は、作成された可視化情報において、警告値指定部231から指定された警告値(例えば、高さ変化2m)以上の箇所があるときは、警告表示情報を、作成された可視化情報とともに表示部242に向けて出力する。
インタフェイス部240は、ユーザと積載容積率計測装置200との間の情報のやりとりを行う機能部である(図2参照)。インタフェイス部240は、操作部241と、表示部242と、を有する。
操作部241は、ユーザの操作を受ける機能部である(図2参照)。ユーザは、操作部241を操作(例えば、キーボード操作、マウスのクリック操作、タッチパネルのタップ操作等)することにより入力されたデータ(例えば、文字、数字、位置、領域等)を積載容積管理部220の監視領域指定部221又はボクセル化部222若しくは配列処理部223、或いは、結果生成部230の警告値指定部231に向けて出力する。操作部241は、ユーザの操作により、監視領域指定部221への監視領域の指定を行う。操作部241は、ユーザの操作により、ボクセル化部222へのボクセル辺長の指示を行う。操作部241は、ユーザの操作により、配列処理部223へのインターバル時間の指示を行う。操作部241は、ユーザの操作により、警告値指定部231への警告値の指定を行う。操作部241は、ユーザの操作により、本構成機能における全体処理の開始・終了を指示する。
表示部242は、各種情報を表示する機能部である(図2参照)。表示部242は、前処理部210のノイズ除去部212からの前処理後の撮影データ100を表示する。表示部242は、結果生成部230の積載容積率算出部232からの積載容積率、警告表示情報を表示する。表示部242は、結果生成部230のボクセル可視化部233からの可視化情報、警告表示情報を表示する。警告表示情報の表示の仕方として、例えば、背景の色を変化又は点滅させることができる。なお、表示部242で表示される情報は、スピーカを用いて音声出力してもよく、プリンタで印刷してもよく、他の端末に送信出力してもよい。
実施形態1に係る積載容積率計測システムにおける積載容積率計測装置について図面を用いて説明する。図9は、実施形態1に係る積載容積率計測システムにおける積載容積率計測装置の動作を模式的に示したフローチャート図である。なお、積載容積率計測システム及び積載容積率計測装置の構成部については図1及び図2を参照されたい。
まず、積載容積率計測装置200のインタフェイス部240の操作部241は、ユーザの操作により、パラメータを設定する(ステップA1)。パラメータの設定では、監視領域指定部221への監視領域の指定、ボクセル化部222へのボクセル辺長の指定、配列処理部223への配列データ111を関連付けるインターバル時間の指定、警告値指定部231への警告値(積載容積率、荷物の高さ変化)の指定などが行われる。なお、監視領域の指定は、図6のようにコンテナの内寸に合わせた、計測が必要な領域全体を指定する。
ステップA1の後、又は、積載容積率が変化している場合(ステップA11のYES)、積載容積率計測装置200の前処理部210のフォーマット変換部211は、3次元センサ300から撮影データ100(3次元点群)を逐次取得する(ステップA2)。ここで、3次元センサ300は、トラックバースの定位置に停車したトラック10のコンテナ11内全域を撮影しているものとする。
次に、フォーマット変換部211は、撮影データ100のフォーマットを、積載容積率計測装置200において共通に使える共通フォーマットに変換する(ステップA3)。
次に、積載容積率計測装置200の前処理部210のノイズ除去部212は、フォーマット変換部211からの撮影データ100における点群の中からノイズ(計測に不要な点群)を除去する(ステップA4)。
次に、積載容積率計測装置200の積載容積管理部220の監視領域指定部221は、ノイズ除去部212からの撮影データ100のうち、操作部241によって指定された監視領域に存在する点群を取得する(ステップA5)。
次に、積載容積率計測装置200の積載容積管理部220のボクセル化部222は、監視領域指定部221で取得された撮影データ100の監視領域内の点群をボクセル化した配列データ111を作成する(ステップA6)。ここで、配列データ111の作成では、監視領域を、操作部241によって指定されたボクセル辺長のボクセルで分割された仮想的なボクセルグリッドを作成し、作成されたボクセルグリッドにおけるボクセルのうち、撮影データ100の監視領域内の点群の点数が所定数以上存在するボクセルを有効ボクセルとし、点群の点数が所定数未満のボクセルを無効ボクセルとした配列データ111を作成することができる。
次に、積載容積率計測装置200の積載容積管理部220の配列処理部223は、ボクセル化部222からの時系列の複数の配列データ111に基づいてオクルージョン部分を除外した状態の有効ボクセルを推定した推定配列データを作成し、推定配列データにおける有効ボクセルの奥側部分を有効ボクセルとするように補完した積載配列データ112を作成する(ステップA7)。ここで、積載配列データ112の作成では、ボクセル化部222からの配列データ111を、操作部241によって指定されたインターバル時間の間隔ごとに、当該インターバル時間分の配列データ111を時系列に配列して関連付けた配列データ群110を作成し、作成された配列データ群110を配列データ群格納部224に格納し、格納された配列データ群110の各配列データ111を比較することでオクルージョン部分を除外した状態の有効ボクセルを推定した推定配列データを配列データ群110ごとに作成し、作成された推定配列データの有効ボクセルから奥側部分を有効ボクセルとするように補完した積載配列データ112を作成する。
次に、積載容積率計測装置200の結果生成部230の積載容積率算出部232は、積載容積管理部220の配列処理部223からの積載配列データ112に基づいて積載容積率を算出する(ステップA8)。積載容積率の算出の際、算出された積載容積率が、警告値指定部231から指定された警告値以上であるか否かを判定する。
次に、積載容積率計測装置200の結果生成部230のボクセル可視化部233は、積載容積管理部220の配列処理部223からの積載配列データ112に基づいて有効ボクセルを可視化した可視化情報を作成する(ステップA9)。可視化情報の作成の際、作成された可視化情報において、警告値指定部231から指定された警告値以上の高さの変化があるか否かを判定する。ここで、可視化情報の作成では、積載配列データ112のイメージにグリッド線を描画することができる。なお、ステップA9は、ステップA8と同時に行ってもよく、ステップA8より先に行ってもよい。
次に、積載容積率計測装置200のインタフェイス部240の表示部242は、積載容積率算出部232からの積載容積率(判定結果が警告値以上の積載容積率である場合は警告表示情報)、及び、ボクセル可視化部233からの可視化情報(判定結果が警告値以上の高さの変化がある場合は警告表示情報)を表示する(ステップA10)。表示された積載容積率の値は、積載容積率計測装置200に保存する。
次に、積載容積率計測装置200は、今回表示した積載容積率の値が前回表示した積載容積率の値から変化しているか否かを判定する(ステップA11)。積載容積率の値の変化は、所定回数(例えば、3回)変化がなかったときに変化なしとすることができる。積載容積率の値の変化がある場合(ステップA11のYES)、ステップA2に戻る。積載容積率の値の変化がない場合(ステップA11のNO)、終了する。
実施形態1によれば、3次元センサ300で撮影された撮影データ100の監視領域の点群をボクセル化しオクルージョン部分を除外した状態で奥側部分を補完して積載容積率を算出することで、積載容積率を自動的に監視しつつ、荷物全体の状況を正確に認識することに貢献することができる。
また、実施形態1によれば、コンテナ11の奥から順次手前方向に積み込まれる荷物20、あるいは、逆に手前方向から順次おろされる荷物20について、積載容積および積載容積率を定量的に可視化することができる。これにより、荷物20の積み込みを実施する人員の個別判断に依存しない、監視者が判断しやすいデータをリアルタイムに提供することができる。
また、実施形態1によれば、撮影データ100を時系列に解析することで、3次元センサ300を1台のみ使用することで発生する作業中の人物などの一時的なオクルージョン要因による結果への影響を低減することができる。
また、実施形態1によれば、撮影データ100の監視領域の点群をボクセル化(随時データを単位グリッドで分割したボクセルの配列へと変換)することで、計算量を削減することができ、疎になったデータの補完処理や、オクルージョンで欠落した部分の推定処理を簡略化することができ、高速な演算を行うことができる。
[実施形態2]
実施形態2に係る積載容積率計測装置について図面を用いて説明する。図10は、実施形態2に係る積載容積率計測装置の構成を模式的に示したブロック図である。
積載容積率計測装置200は、所定空間を撮影した撮影データ100に基づいて監視領域内の計測対象物の積載容積率を計測する装置である。積載容積率計測装置200は、監視領域指定部221と、ボクセル化部222と、配列処理部223と、積載容積率算出部232と、を備える。
監視領域指定部221は、所定空間を撮影した撮影データ100のうち当該所定空間において計測対象物が積載される領域が指定された監視領域に存在する点群を取得するように構成されている。
ボクセル化部222は、監視領域を、予め指定されたボクセル辺長のボクセルで分割したボクセルグリッドにおけるボクセルのうち、監視領域指定部221で取得された点群の点数が所定数以上存在するボクセルを有効ボクセルとした配列データ111を作成するように構成されている。
配列処理部223は、予め指定されたインターバル時間内にある複数の配列データ111に基づいて、手前にある障害物が背後にある計測対象物を隠して見えなくしているオクルージョン部分を除外した状態の有効ボクセルを推定した推定配列データを作成し、当該推定配列データにおける有効ボクセルの奥側部分を有効ボクセルとするように補完した積載配列データ112を作成するように構成されている。
積載容積率算出部232は、積載配列データ112に基づいて、監視領域内の全容積に対する監視領域内に積載された計測対象物の容積の割合である積載容積率を算出するように構成されている。
実施形態2によれば、撮影データ100の監視領域の点群をボクセル化しオクルージョン部分を除外した状態で奥側部分を補完して積載容積率を算出することで、積載容積率を自動的に監視しつつ、荷物全体の状況を正確に認識することに貢献することができる。
なお、実施形態1、2に係る積載容積率計測装置は、いわゆるハードウェア資源(情報処理装置、コンピュータ)により構成することができ、図11に例示する構成を備えたものを用いることができる。例えば、ハードウェア資源1000は、内部バス1004により相互に接続される、プロセッサ1001、メモリ1002、ネットワークインタフェイス1003等を備える。
なお、図11に示す構成は、ハードウェア資源1000のハードウェア構成を限定する趣旨ではない。ハードウェア資源1000は、図示しないハードウェア(例えば、入出力インタフェイス)を含んでもよい。あるいは、装置に含まれるプロセッサ1001等のユニットの数も図11の例示に限定する趣旨ではなく、例えば、複数のプロセッサ1001がハードウェア資源1000に含まれていてもよい。プロセッサ1001には、例えば、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、GPU(Graphics Processing Unit)等を用いることができる。
メモリ1002には、例えば、RAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等を用いることができる。
ネットワークインタフェイス1003には、例えば、LAN(Local Area Network)カード、ネットワークアダプタ、ネットワークインタフェイスカード等を用いることができる。
ハードウェア資源1000の機能は、上述の処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ1002に格納されたプログラムをプロセッサ1001が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェアにおいてソフトウェアが実行されることによって実現できればよい。
上記実施形態の一部または全部は以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
所定空間を撮影した撮影データのうち前記所定空間において計測対象物が積載される領域が指定された監視領域に存在する点群を取得するように構成された監視領域指定部と、
前記監視領域を、予め指定されたボクセル辺長のボクセルで分割したボクセルグリッドにおけるボクセルのうち、前記点群の点数が所定数以上存在するボクセルを有効ボクセルとした配列データを作成するように構成されたボクセル化部と、
予め指定されたインターバル時間内にある複数の前記配列データに基づいて、手前にある障害物が背後にある計測対象物を隠して見えなくしているオクルージョン部分を除外した状態の有効ボクセルを推定した推定配列データを作成し、前記推定配列データにおける前記有効ボクセルの奥側部分を有効ボクセルとするように補完した積載配列データを作成するように構成された配列処理部と、
前記積載配列データに基づいて、前記監視領域内の全容積に対する前記監視領域内に積載された前記計測対象物の容積の割合である積載容積率を算出するように構成された積載容積率算出部と、
を備える積載容積率計測装置。
[付記2]
前記配列処理部は、前記オクルージョン部分を除外した状態の前記有効ボクセルを推定する際、前記インターバル時間内にある複数の前記配列データ間で比較して、前後方向の異なる位置又は同じ位置に有効ボクセルがある場合にそれらの有効ボクセルの中の最奥にある有効ボクセルを選択するように構成されている、
付記1記載の積載容積率計測装置。
[付記3]
前記配列処理部は、前記オクルージョン部分を除外した状態の前記有効ボクセルを推定する際、前記インターバル時間内にある複数の前記配列データ間で比較して、特定の位置のボクセルで無効ボクセルの数が有効ボクセルの数より多いときは当該特定の位置のボクセルを無効ボクセルとし、特定の位置のボクセルで有効ボクセルの数が無効ボクセルの数より多いときは当該特定の位置のボクセルを有効ボクセルとするように構成されている、
付記1記載の積載容積率計測装置。
[付記4]
前記配列処理部は、前記積載配列データを作成する際、前記推定配列データにおける前記有効ボクセルから奥側にあるすべてのボクセルを一律に有効ボクセルにするように補完するように構成されている、
付記1乃至3のいずれか一に記載の積載容積率計測装置。
[付記5]
前記配列処理部は、前記積載配列データを作成する際、特定の位置のボクセルについて最新の前記推定配列データで無効ボクセルになっているが過去の前記推定配列データで有効ボクセルになっているときは、当該特定の位置のボクセルについて有効ボクセルとするように補完するように構成されている、
付記1乃至4のいずれか一に記載の積載容積率計測装置。
[付記6]
前記積載容積率を表示するように構成された表示部をさらに備える、
付記1乃至5のいずれか一に記載の積載容積率計測装置。
[付記7]
前記積載容積率算出部は、さらに、前記積載容積率が警告値以上であるか否かを判定するように構成され、
前記表示部は、さらに、判定結果が前記警告値以上の前記積載容積率であるときに警告表示情報を表示するように構成されている、
付記6記載の積載容積率計測装置。
[付記8]
前記積載配列データのイメージにグリッド線を描画することによって有効ボクセルを可視化した可視化情報を作成するように構成されたボクセル可視化部をさらに備え、
前記表示部は、さらに、前記可視化情報を表示するように構成されている、
付記6又は7記載の積載容積率計測装置。
[付記9]
前記ボクセル可視化部は、前記可視化情報において予め指定された警告値以上の高さの変化があるか否かを判定するように構成され、
前記表示部は、さらに、判定結果が前記警告値以上の高さの変化があるときに警告表示情報を表示するように構成されている、
付記8記載の積載容積率計測装置。
[付記10]
ユーザの操作により、前記監視領域及び前記ボクセル辺長並びに前記インターバル時間の指定を行うように構成された操作部をさらに備える、
付記1乃至9のいずれか一に記載の積載容積率計測装置。
[付記11]
前記監視領域指定部に入力される前に、前記撮影データのフォーマットを、前記積載容積率計測装置において共通に使える共通フォーマットに変換するように構成されたフォーマット変換部をさらに備える、
付記1乃至10のいずれか一に記載の積載容積率計測装置。
[付記12]
前記監視領域指定部に入力される前に、前記撮影データにおける点群の中からノイズを除去するように構成されたノイズ除去部をさらに備える、
付記1乃至11のいずれか一に記載の積載容積率計測装置。
[付記13]
前記ボクセル辺長は、前記計測対象物の最小の寸法よりも小さい長さである、
付記1乃至12のいずれか一に記載の積載容積率計測装置。
[付記14]
所定空間を撮影した撮影データを出力するように構成された3次元センサと、
付記1乃至13のいずれか一に記載の積載容積率計測装置と、
を備える積載容積率計測システム。
[付記15]
所定空間を撮影した撮影データのうち前記所定空間において計測対象物が積載される領域が指定された監視領域に存在する点群を取得するステップと、
前記監視領域を、予め指定されたボクセル辺長のボクセルで分割したボクセルグリッドにおけるボクセルのうち、前記点群の点数が所定数以上存在するボクセルを有効ボクセルとした配列データを作成するステップと、
予め指定されたインターバル時間内にある複数の前記配列データに基づいて、手前にある障害物が背後にある計測対象物を隠して見えなくしているオクルージョン部分を除外した状態の有効ボクセルを推定した推定配列データを作成し、前記推定配列データにおける前記有効ボクセルの奥側部分を有効ボクセルとするように補完した積載配列データを作成するステップと、
前記積載配列データに基づいて、前記監視領域内の全容積に対する前記監視領域内に積載された前記計測対象物の容積の割合である積載容積率を算出するステップと、
を含む積載容積率計測方法。
[付記16]
所定空間を撮影した撮影データのうち前記所定空間において計測対象物が積載される領域が指定された監視領域に存在する点群を取得する処理と、
前記監視領域を、予め指定されたボクセル辺長のボクセルで分割したボクセルグリッドにおけるボクセルのうち、前記点群の点数が所定数以上存在するボクセルを有効ボクセルとした配列データを作成する処理と、
予め指定されたインターバル時間内にある複数の前記配列データに基づいて、手前にある障害物が背後にある計測対象物を隠して見えなくしているオクルージョン部分を除外した状態の有効ボクセルを推定した推定配列データを作成し、前記推定配列データにおける前記有効ボクセルの奥側部分を有効ボクセルとするように補完した積載配列データを作成するステップと、
前記積載配列データに基づいて、前記監視領域内の全容積に対する前記監視領域内に積載された前記計測対象物の容積の割合である積載容積率を算出する処理と、
をハードウェア資源に実行させるプログラム。
なお、上記の特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示(特許請求の範囲及び図面を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせないし選択(必要により不選択)が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、本願に記載の数値及び数値範囲については、明記がなくともその任意の中間値、下位数値、及び、小範囲が記載されているものとみなされる。さらに、上記引用した文献の各開示事項は、必要に応じ、本願発明の趣旨に則り、本願発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれる(属する)ものと、みなされる。
1 積載容積率計測システム
10 トラック
11 トラックコンテナ
20 荷物
100 撮影データ
110 配列データ群
111 配列データ
112 積載配列データ
200 積載容積率計測装置
210 前処理部
211 フォーマット変換部
212 ノイズ除去部
220 積載容積管理部
221 監視領域指定部
222 ボクセル化部
223 配列処理部
224 配列データ群格納部
230 結果生成部
231 警告値指定部
232 積載容積率算出部
233 ボクセル可視化部
240 インタフェイス部
241 操作部
242 表示部
300 3次元センサ
400 ネットワーク
1000 ハードウェア資源
1001 プロセッサ
1002 メモリ
1003 ネットワークインタフェイス
1004 内部バス

Claims (10)

  1. 所定空間を撮影した撮影データのうち前記所定空間において計測対象物が積載される領域が指定された監視領域に存在する点群を取得するように構成された監視領域指定部と、
    前記監視領域を、予め指定されたボクセル辺長のボクセルで分割したボクセルグリッドにおけるボクセルのうち、前記点群の点数が所定数以上存在するボクセルを有効ボクセルとした配列データを作成するように構成されたボクセル化部と、
    予め指定されたインターバル時間内にある複数の前記配列データに基づいて、手前にある障害物が背後にある計測対象物を隠して見えなくしているオクルージョン部分を除外した状態の有効ボクセルを推定した推定配列データを作成し、前記推定配列データにおける前記有効ボクセルの奥側部分を有効ボクセルとするように補完した積載配列データを作成するように構成された配列処理部と、
    前記積載配列データに基づいて、前記監視領域内の全容積に対する前記監視領域内に積載された前記計測対象物の容積の割合である積載容積率を算出するように構成された積載容積率算出部と、
    を備える積載容積率計測装置。
  2. 前記配列処理部は、前記オクルージョン部分を除外した状態の前記有効ボクセルを推定する際、前記インターバル時間内にある複数の前記配列データ間で比較して、前後方向の異なる位置又は同じ位置に有効ボクセルがある場合にそれらの有効ボクセルの中の最奥にある有効ボクセルを選択するように構成されている、
    請求項1記載の積載容積率計測装置。
  3. 前記配列処理部は、前記オクルージョン部分を除外した状態の前記有効ボクセルを推定する際、前記インターバル時間内にある複数の前記配列データ間で比較して、特定の位置のボクセルで無効ボクセルの数が有効ボクセルの数より多いときは当該特定の位置のボクセルを無効ボクセルとし、特定の位置のボクセルで有効ボクセルの数が無効ボクセルの数より多いときは当該特定の位置のボクセルを有効ボクセルとするように構成されている、
    請求項1記載の積載容積率計測装置。
  4. 前記配列処理部は、前記積載配列データを作成する際、前記推定配列データにおける前記有効ボクセルから奥側にあるすべてのボクセルを一律に有効ボクセルにするように補完するように構成されている、
    請求項1乃至3のいずれか一に記載の積載容積率計測装置。
  5. 前記積載容積率を表示するように構成された表示部をさらに備える、
    請求項1乃至4のいずれか一に記載の積載容積率計測装置。
  6. 前記積載容積率算出部は、さらに、前記積載容積率が警告値以上であるか否かを判定するように構成され、
    前記表示部は、さらに、判定結果が前記警告値以上の前記積載容積率であるときに警告表示情報を表示するように構成されている、
    請求項5記載の積載容積率計測装置。
  7. 前記積載配列データのイメージにグリッド線を描画することによって有効ボクセルを可視化した可視化情報を作成するように構成されたボクセル可視化部をさらに備え、
    前記表示部は、さらに、前記可視化情報を表示するように構成されている、
    請求項5又は6記載の積載容積率計測装置。
  8. 所定空間を撮影した撮影データを出力するように構成された3次元センサと、
    請求項1乃至7のいずれか一に記載の積載容積率計測装置と、
    を備える積載容積率計測システム。
  9. 所定空間を撮影した撮影データのうち前記所定空間において計測対象物が積載される領域が指定された監視領域に存在する点群を取得するステップと、
    前記監視領域を、予め指定されたボクセル辺長のボクセルで分割したボクセルグリッドにおけるボクセルのうち、前記点群の点数が所定数以上存在するボクセルを有効ボクセルとした配列データを作成するステップと、
    予め指定されたインターバル時間内にある複数の前記配列データに基づいて、手前にある障害物が背後にある計測対象物を隠して見えなくしているオクルージョン部分を除外した状態の有効ボクセルを推定した推定配列データを作成し、前記推定配列データにおける前記有効ボクセルの奥側部分を有効ボクセルとするように補完した積載配列データを作成するステップと、
    前記積載配列データに基づいて、前記監視領域内の全容積に対する前記監視領域内に積載された前記計測対象物の容積の割合である積載容積率を算出するステップと、
    を含む積載容積率計測方法。
  10. 所定空間を撮影した撮影データのうち前記所定空間において計測対象物が積載される領域が指定された監視領域に存在する点群を取得する処理と、
    前記監視領域を、予め指定されたボクセル辺長のボクセルで分割したボクセルグリッドにおけるボクセルのうち、前記点群の点数が所定数以上存在するボクセルを有効ボクセルとした配列データを作成する処理と、
    予め指定されたインターバル時間内にある複数の前記配列データに基づいて、手前にある障害物が背後にある計測対象物を隠して見えなくしているオクルージョン部分を除外した状態の有効ボクセルを推定した推定配列データを作成し、前記推定配列データにおける前記有効ボクセルの奥側部分を有効ボクセルとするように補完した積載配列データを作成するステップと、
    前記積載配列データに基づいて、前記監視領域内の全容積に対する前記監視領域内に積載された前記計測対象物の容積の割合である積載容積率を算出する処理と、
    をハードウェア資源に実行させるプログラム。
JP2019179261A 2019-09-30 2019-09-30 積載容積率計測装置、システム、方法、及び、プログラム Active JP7323170B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019179261A JP7323170B2 (ja) 2019-09-30 2019-09-30 積載容積率計測装置、システム、方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019179261A JP7323170B2 (ja) 2019-09-30 2019-09-30 積載容積率計測装置、システム、方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2021056765A JP2021056765A (ja) 2021-04-08
JP7323170B2 true JP7323170B2 (ja) 2023-08-08

Family

ID=75270779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019179261A Active JP7323170B2 (ja) 2019-09-30 2019-09-30 積載容積率計測装置、システム、方法、及び、プログラム

Country Status (1)

Country Link
JP (1) JP7323170B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418952A (zh) * 2021-12-21 2022-04-29 未来机器人(深圳)有限公司 货物清点方法、装置、计算机设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160180289A1 (en) 2014-12-17 2016-06-23 United Parcel Service Of America, Inc. Concepts for Locating Assets Utilizing Light Detection and Ranging
US20170178333A1 (en) 2015-12-22 2017-06-22 Symbol Technologies, Llc Methods and systems for occlusion detection and data correction for container-fullness estimation
WO2018221455A1 (ja) 2017-05-31 2018-12-06 パイオニア株式会社 更新装置、制御方法、プログラム及び記憶媒体
JP2019514240A (ja) 2016-02-29 2019-05-30 アキフィ,インコーポレイティド 三次元走査支援システム及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160180289A1 (en) 2014-12-17 2016-06-23 United Parcel Service Of America, Inc. Concepts for Locating Assets Utilizing Light Detection and Ranging
US20170178333A1 (en) 2015-12-22 2017-06-22 Symbol Technologies, Llc Methods and systems for occlusion detection and data correction for container-fullness estimation
JP2019514240A (ja) 2016-02-29 2019-05-30 アキフィ,インコーポレイティド 三次元走査支援システム及び方法
WO2018221455A1 (ja) 2017-05-31 2018-12-06 パイオニア株式会社 更新装置、制御方法、プログラム及び記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
北明靖雄他,距離アスペクト画像照合と階層化ICP照合による3次元物体認識,電気学会研究会資料,日本,社団法人電気学会,2006年08月12日,pp.5-10

Also Published As

Publication number Publication date
JP2021056765A (ja) 2021-04-08

Similar Documents

Publication Publication Date Title
JP6659336B2 (ja) 3dモデル化オブジェクトのテクスチャリング
JP6355052B2 (ja) 撮像装置、画像処理装置、撮像方法および記録媒体
JP7191630B2 (ja) 荷室監視システム及び荷室監視方法
US10628772B2 (en) Computing package wall density in commercial trailer loading
CN114111568B (zh) 动态目标外观尺寸的确定方法及装置、介质及电子设备
WO2020233436A1 (zh) 车辆速度确定方法及车辆
WO2020105669A1 (ja) 体積計測装置、システム、方法、及びプログラム
JP6902881B2 (ja) 情報処理装置及び三次元モデルの生成方法
KR20190070514A (ko) 격자지도 생성 장치 및 방법
JP7323170B2 (ja) 積載容積率計測装置、システム、方法、及び、プログラム
US10902674B2 (en) Creating a geometric mesh from depth data using an index indentifying unique vectors
CN114219770A (zh) 地面检测方法、装置、电子设备及存储介质
CN106240454A (zh) 提供车辆碰撞预警的***及车载设备
WO2021131990A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2022181753A1 (ja) 積載空間認識装置、システム、方法、及びプログラム
JP7491615B2 (ja) 積載容積率計測装置、システム、方法、及び、プログラム
US20190197775A1 (en) Determining a set of facets that represents a skin of a real object
US11763439B2 (en) Systems and methods for assessing trailer utilization
EP4024346A1 (en) Fuel receptacle and boom tip position and pose estimation for aerial refueling
US11893744B2 (en) Methods and apparatus for extracting profiles from three-dimensional images
CN115035492A (zh) 车辆识别方法、装置、设备和存储介质
JP7405395B2 (ja) 物体検知装置、システム、方法、及びプログラム
CN111986300A (zh) 房屋装修的渲染点确定方法和装置、存储介质、电子设备
JP2021021671A (ja) 距離計測装置、システム、方法、及びプログラム
CN117392348B (zh) 一种多目标物的抖动消除方法、装置、设备及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220803

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230620

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230720

R151 Written notification of patent or utility model registration

Ref document number: 7323170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151