JP2022191000A - 寸法測定装置および寸法測定方法 - Google Patents

寸法測定装置および寸法測定方法 Download PDF

Info

Publication number
JP2022191000A
JP2022191000A JP2021099587A JP2021099587A JP2022191000A JP 2022191000 A JP2022191000 A JP 2022191000A JP 2021099587 A JP2021099587 A JP 2021099587A JP 2021099587 A JP2021099587 A JP 2021099587A JP 2022191000 A JP2022191000 A JP 2022191000A
Authority
JP
Japan
Prior art keywords
contour
image
noise
estimated
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021099587A
Other languages
English (en)
Inventor
広生 辻
Hiroo Tsuji
弘之 大西
Hiroyuki Onishi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Glory Ltd
Original Assignee
Glory Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glory Ltd filed Critical Glory Ltd
Priority to JP2021099587A priority Critical patent/JP2022191000A/ja
Publication of JP2022191000A publication Critical patent/JP2022191000A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】ステレオカメラの死角に起因する測定誤差を抑制することが可能な寸法測定技術を提供する。【解決手段】寸法測定装置は、ステレオカメラにより測定対象物を撮像した第1画像および第2画像から得られた測定対象物の表面のポイントクラウドに基づき測定対象物の寸法を測定する。詳細には、寸法測定装置は、当該ポイントクラウドの中から選択された測定対象物の輪郭点の集合に基づき推定される推定輪郭を求め、ノイズ輪郭部(当該推定輪郭のうち、不正確な位置情報を有するノイズ点を所定程度以上含むと推定される部分であって第1画像には写っているものの第2画像には写っていない死角領域に隣接し或いは当該死角領域に包含される部分)を特定する。そして、寸法測定装置は、ノイズ輪郭部に含まれる点群に関して所定の処理を施してノイズ輪郭部を修正し(S34等)、修正後のノイズ輪郭部を含む推定輪郭に基づいて、測定対象物の寸法を測定する。【選択図】図5

Description

本発明は、物体の寸法を測定する寸法測定装置およびそれに関連する技術に関する。
宅配業者の営業店舗あるいはコンビニエンスストア等において利用可能な寸法測定装置が存在する。
たとえば、特許文献1には、深度カメラ(ステレオカメラ等)から得られた荷物(物体)の距離画像を解析し、荷物の外観寸法を測定する寸法測定装置が記載されている。
特開2020-008448号公報
ところで、ステレオカメラを用いたステレオ視方式により物体の距離情報を取得する際には、2台のカメラのうちの一方のカメラに死角が発生し、当該死角に起因して寸法の測定誤差が生じ得る。
たとえば、直方体形状の物体(測定対象物)の上方にて左右方向に離間して下向きに配置された2台のカメラ(ステレオカメラ)による2枚の撮影画像に基づき距離画像を生成する技術が存在する。このような技術において、当該距離画像に基づき当該物体表面のポイントクラウド(点群)の3次元位置情報を取得し、当該3次元位置情報に基づき当該物体の寸法を測定する際には、次のような死角が発生する。詳細には、直方体形状の物体の左辺に隣接する部分(物体載置面における物体の左側付近の特定領域)は、2台のカメラのうち左側のカメラ(左カメラ)には写っているものの右側のカメラ(右カメラ)には写らない。すなわち、右カメラの死角領域が発生している(図6のグレー領域等参照、後に詳述)。このような死角発生状態にて、左カメラによる撮影画像(左画像とも称する)に距離情報を埋め込む場合、左カメラには写っている当該特定領域内の各画素に関して、右カメラの撮影画像(右画像)内の画素との対応づけがうまくいかない。その結果、当該特定領域(詳細にはその各画素)に対応する3次元位置情報が不正確になる。換言すれば、当該特定領域には、いわゆる距離測定に関するノイズを有する画素(ノイズ点)が発生する。
このような状況において、たとえば、物体上面のポイントクラウド(点群)を抽出するとともに、当該点群(所定の射影平面に対して射影した点群)を包囲する外接四角形によって物体上面を近似し、当該物体上面の寸法(幅など)を測定することが考えられる。しかしながら、その場合、物体上面の左辺付近に発生したノイズ点をも囲むように外接四角形が形成される結果、幅などに関する測定寸法が実際の寸法(実寸)よりも大きくなってしまう。すなわち、測定誤差が生じる。測定寸法は配送料金に影響を与えるので、このような測定誤差は特に好ましくない。
そこで、この発明は、ステレオカメラの死角に起因する測定誤差を抑制することが可能な寸法測定装置およびそれに関連する技術を提供することを課題とする。
上記課題を解決すべく、本発明に係る寸法測定装置は、第1カメラと第2カメラとを有するステレオカメラと、前記第1カメラにより測定対象物を撮像した第1画像と前記第2カメラにより前記測定対象物を撮像した第2画像とに基づき、ステレオ視方式により前記ステレオカメラと前記測定対象物の各点との距離情報を算出し、前記距離情報を用いて得られた前記測定対象物の表面のポイントクラウドに基づき前記測定対象物の寸法を測定する制御手段と、を備え、前記制御手段は、前記測定対象物の表面の前記ポイントクラウドの中から前記測定対象物の輪郭点を選択するとともに、当該輪郭点の集合に基づき推定される推定輪郭を求め、前記測定対象物の前記推定輪郭のうち、不正確な位置情報を有するノイズ点を所定程度以上含むと推定される部分であって前記第1画像には写っているものの前記第2画像には写っていない死角領域に隣接し或いは前記死角領域に包含される部分であるノイズ輪郭部を特定し、前記ノイズ輪郭部に含まれる点群に関して所定の処理を施して前記ノイズ輪郭部を修正し、修正後の前記ノイズ輪郭部を含む前記測定対象物の前記推定輪郭に基づいて、前記測定対象物の寸法を測定することを特徴とする。
前記制御手段は、前記測定対象物の前記推定輪郭の形状が矩形である場合、前記矩形を構成する4辺のうちの一の辺であって前記ノイズ輪郭部ではない非ノイズ輪郭部として判定される辺である第1辺の位置および方向と、前記第1辺に対向する第2辺であって前記ノイズ輪郭部として判定される第2辺の位置および方向とを求め、前記第2辺の位置および方向を求める際には、前記測定対象物の輪郭点のうち前記第2辺に対応する部分に含まれる点群に基づき、前記第2辺が前記第1辺に平行であることを前提に前記第2辺の位置および方向を推定することによって、前記ノイズ輪郭部を修正してもよい。
前記制御手段は、前記測定対象物の前記推定輪郭の形状が矩形である場合、前記矩形を構成する4辺のうちの一の辺であって前記ノイズ輪郭部ではない非ノイズ輪郭部として判定される辺である第1辺の3次元空間内における位置および方向と、前記第1辺に対向する第2辺であって前記ノイズ輪郭部として判定される第2辺の3次元空間内における位置および方向とを求め、前記第2辺の位置および方向を求める際には、前記測定対象物の輪郭点のうち前記第2辺に対応する部分に含まれる点群の3次元情報に基づき、前記第2辺が前記第1辺に平行であることを前提に前記第2辺の3次元空間内における位置および方向を推定することによって、前記ノイズ輪郭部を修正してもよい。
前記制御手段は、3次元空間内における前記第2辺の位置および方向を推定する処理において、前記測定対象物の輪郭点のうち前記第2辺に対応する部分に含まれる点群を、前記第1辺に垂直な投影平面に対して投影する投影処理を実行し、前記投影平面を区分した複数の区分領域のうち、前記投影処理において最も多くの点が投影された特定区分領域を求め、前記特定区分領域に投影された点群に基づき、前記投影平面に垂直且つ前記第1辺に平行な前記第2辺の3次元空間内における位置および方向を求めてもよい。
前記制御手段は、前記測定対象物の前記推定輪郭の形状が矩形である場合、前記測定対象物の輪郭点のうち前記第2辺に対応する部分に含まれる点群に対して当該点群に含まれるノイズ点の影響を抑制するための特定の統計処理を施すことによって、前記第2辺の位置および方向を推定してもよい。
前記制御手段は、前記測定対象物の表面の前記ポイントクラウドを所定の射影平面に対して射影した射影画像を生成し、前記射影画像に基づいて前記測定対象物の前記推定輪郭の形状を判定してもよい。
前記制御手段は、前記第1画像の各画素付近の第1ウインドウ領域に対して最も適合する第2ウインドウ領域を前記第2画像内にて探索することにより、前記第1画像の各画素に関して前記第2画像内の対応画素を探索する対応画素探索処理を実行し、前記第1ウインドウ領域と前記対応画素探索処理にて探索された前記第2ウインドウ領域との類似の度合いを示す指標であって前記第1画像の前記各画素と前記第2画像の対応画素との対応度合いを示す指標でもある類似度を前記第1画像の特定範囲内の前記各画素についてそれぞれ算出するとともに、前記ノイズ輪郭部に含まれる各点に関する前記類似度を反映した統計処理に基づいて、前記ノイズ輪郭部を修正してもよい。
前記制御手段は、前記第1画像の各画素付近の第1ウインドウ領域に対して最も適合する第2ウインドウ領域を前記第2画像内にて探索することにより、前記第1画像の各画素に関して前記第2画像内の対応画素を探索する対応画素探索処理を実行し、前記第1ウインドウ領域と前記対応画素探索処理にて探索された前記第2ウインドウ領域との類似の度合いを示す指標であって前記第1画像の前記各画素と前記第2画像の対応画素との対応度合いを示す指標でもある類似度を前記第1画像の特定範囲内の前記各画素についてそれぞれ算出するとともに、前記ノイズ輪郭部に含まれる点群のうち、その類似度が所定値未満である画素に対応する点を除外した点群に基づいて、前記ノイズ輪郭部を修正してもよい。
上記課題を解決すべく、本発明に係る寸法測定方法は、ステレオカメラの第1カメラにより測定対象物を撮像した第1画像と前記ステレオカメラの第2カメラにより前記測定対象物を撮像した第2画像とに基づき、ステレオ視方式により前記ステレオカメラと前記測定対象物の各点との距離情報を算出し、前記距離情報を用いて得られた前記測定対象物の表面のポイントクラウドに基づき前記測定対象物の寸法を測定する寸法測定方法であって、a)前記測定対象物の表面の前記ポイントクラウドの中から前記測定対象物の輪郭点を選択するとともに、当該輪郭点の集合に基づき推定される推定輪郭を求めるステップと、b)前記測定対象物の前記推定輪郭のうち、不正確な位置情報を有するノイズ点を所定程度以上含むと推定される部分であって前記第1画像には写っているものの前記第2画像には写っていない死角領域に隣接し或いは前記死角領域に包含される部分であるノイズ輪郭部を特定するステップと、c)前記ノイズ輪郭部に含まれる点群に関して所定の処理を施して前記ノイズ輪郭部を修正するステップと、d)修正後の前記ノイズ輪郭部を含む前記測定対象物の前記推定輪郭に基づいて、前記測定対象物の寸法を測定するステップと、を備えることを特徴とする。
本発明によれば、物体の推定輪郭のうちカメラの死角領域に関するノイズ輪郭部が特定され、当該ノイズ輪郭部に含まれる点群に関して所定の処理を施して前記ノイズ輪郭部が修正され、修正後のノイズ輪郭部を含む推定輪郭に基づいて、物体の寸法が測定される。したがって、ステレオカメラの死角に起因する測定誤差を抑制することが可能である。
寸法測定装置を示す概略外観図である。 寸法測定装置の機能ブロックを示す図である。 寸法算出装置等における処理を示すフローチャートである。 図3の一部の処理を示すフローチャートである。 図4の一部の処理を示すフローチャートである。 ステレオ視における死角の発生原理等について説明する図である。 ステレオ画像およびその死角領域等について説明する図である。 ステレオ画像およびその死角領域、ならびに距離画像等について説明する図である。 測定対象物のポイントクラウド等を示す図である。 ポイントクラウドの射影画像およびその推定輪郭等を示す図である。 推定輪郭の形状の判定処理を示す図である。 ノイズ輪郭部および非ノイズ輪郭部等を示す図である。 推定輪郭の修正処理を示す図である。 非矩形の推定輪郭に対する回転処理(傾き補正処理)を示す図である。 ハフ変換による直線推定処理(3次元空間における直線推定処理)を示す図である。 ステレオマッチング処理におけるウインドウ領域等を示す図である。 第5実施形態の処理を示すフローチャートである。 第5実施形態の処理の概要を示す概念図である。
以下、本発明の実施形態を図面に基づいて説明する。
<1.第1実施形態>
<1-1.装置概要>
図1は、第1実施形態に係る寸法測定装置10(10Aとも称する)(詳細にはその一部)を示す概略外観図であり、図2は寸法測定装置10の機能ブロックを示す図である。寸法測定装置10は、測定対象物(荷物等)80の表面の3次元位置情報等に基づき、測定対象物80の寸法を算出する装置である。寸法測定装置10は、3次元寸法測定装置あるいは3次元測定装置とも称される。
図1に示されるように、寸法測定装置10は、測定対象物80を保持する保持部50と、当該保持部50に保持された測定対象物80の表面の3次元位置情報を取得するためのステレオカメラ(3次元カメラ)20とを備える。また、寸法測定装置10は、ステレオカメラ20を用いて取得された3次元位置情報等に基づく寸法算出処理等を実行する寸法算出装置30(図2参照)をも備える。寸法算出装置30は、3次元位置情報に基づき測定対象物80の寸法を算出する。さらに、寸法測定装置10は、重量計(重量測定部)40をも備えており、測定対象物80の寸法のみならず、保持部50に保持された測定対象物80の重量をも測定することが可能である。
寸法測定装置10は、たとえば、宅配センターあるいはコンビニエンスストア等に配置され、顧客により持ち込まれた配送対象物等(測定対象物80)の寸法および重量等を測定する作業等に利用される。測定対象物80としては、直方体形状を有する梱包物(ダンボール箱等)、あるいは直方体形状以外の立体形状を有する梱包物などが例示される。
図1に示されるように、保持部50は、板状の透明部材51を備えて構成される。透明部材51は、たとえば、透明のアクリル樹脂で形成された板状部材(端的に言えば、透明アクリル板)である。透明部材51は、所定値G以上(たとえば、1cm~数cm)の厚みを有する。透明部材51の上面(平面)51aには測定対象物80が載置される。当該上面51aは、測定対象物80の載置面(載置平面)であるとも表現される。測定対象物80は、透明部材51の上面51a(水平面)に載置されることによって、保持部50に保持される。後述するように、測定対象物80の高さHは、載置面51aから測定対象物80の最上部(上面等)までの大きさ(高さ)等として測定される。
また、図1に示されるように、透明部材51は重量計40の上に配置される。
ステレオカメラ20は、測定対象物80が保持部50に保持されている状態(たとえば、透明部材51の上面(載置面)51aに載置されている状態)において、当該測定対象物80を上方から見た撮影画像を撮影することが可能である。具体的には、ステレオカメラ20は、測定対象物80の上面よりも更に上方に離間した位置において鉛直下向きに固定されている。ステレオカメラ20は、カメラ固定部材27,28によって固定されている。カメラ固定部材27は、床面に固定され鉛直方向に伸延する支柱部材であり、カメラ固定部材28は、支柱部材27の最上部付近から測定対象物80の上方位置に向けて水平方向に伸延する梁(はり)部材である。ステレオカメラ20は、カメラ固定部材28の先端部付近(且つ測定対象物80の上方且つ上面視中央付近)において鉛直下向きに固定されている。
なお、測定対象物が「保持される」状態は、測定対象物が把持される状態に限定されず、摩擦力の作用等によって測定対象物が透明部材51(載置面)上の特定位置に存在し続ける状態(特定位置での存在が維持される状態)等をも含むものとする。
ステレオカメラ20は、ステレオ視方式の3次元カメラであり、詳細には、赤外光(赤外線)照射を伴うステレオ視方式の3次元カメラである。ステレオカメラ20は、深度情報(距離情報)付き撮影画像を取得する。詳細には、ステレオカメラ20は、その赤外光照射部(赤外線投射器)から赤外光(より詳細には、パターン光)を測定対象物80に照射し、当該測定対象物80からの反射光(赤外光)を2つの赤外線画像センサで受光して2枚の赤外光画像(撮影画像)を撮像する。そして、ステレオカメラ20は、当該2枚の赤外線画像センサの視差を利用して、一の赤外線画像(撮影画像)の各画素の深度情報(深度方向(カメラ光軸方向)の距離情報)を取得する。
深度情報(距離情報)の算出処理は、ここでは、ステレオカメラ20内に組み込まれたコントローラ等によって実行される。当該コントローラは、コントローラ31(後述)等と同様のハードウエア構成(CPU等)を備える。
このようにして、ステレオカメラ20は、被写体物体(測定対象物80である荷物等)の撮影画像(赤外光画像)を撮像するとともに、当該撮影画像内の各画素の深度情報(距離情報)を取得する。なお、撮影画像内の各画素の深度情報は、撮影画像内の各画素に対応する被写体物体までの距離(ステレオカメラ20からの距離)の情報であって当該撮影画像に垂直な方向における距離の情報である。換言すれば、当該深度情報は、撮影画像平面の法線方向(カメラ光軸方向)における距離情報である。
また、このステレオカメラ20は、画像センサとして、2つの赤外線画像センサのみならず1つのRGBカラー画像センサをも備えており、2枚の赤外光画像に加えて、可視光画像(カラー画像230(不図示)等)をも撮像する。可視光画像は、たとえば一の赤外線画像の撮影範囲に相当する範囲を撮影した画像である。可視光画像の各画素は当該一の赤外線画像の各画素に対応づけられ、可視光画像の各画素の深度情報もが取得される。なお、可視光画像として、カラー画像ではなく、グレースケール画像等が撮像されてもよい。
なお、ここでは、ステレオカメラ20として、赤外光(測定光)を測定対象物に照射して赤外線画像センサーで取得された2つの赤外光画像を用いるステレオ視方式の3次元カメラを例示するが、これに限定されない。たとえば、ステレオカメラ20は、測定光として可視光を用いるステレオ視方式の3次元カメラであってもよい。詳細には、当該3次元カメラは、測定対象物にて反射された可視光(自然光の反射光、あるいは白色光源等からの照射光の反射光)による光像を2つのRGBカラー画像センサでそれぞれ撮像した2つのカラー画像(可視光画像)を取得する。そして、当該2つのRGBカラー画像センサの視差を利用して、一の可視光画像(撮影画像)の各画素の深度情報(距離情報)が取得される。ステレオカメラ20は、このような可視光画像を用いるステレオ視方式の3次元カメラであってもよい。
ステレオカメラ20と寸法算出装置30とは有線接続されており、ステレオカメラ20で取得された情報(撮影画像情報および深度情報等)は、所定の接続ケーブルを介してステレオカメラ20から寸法算出装置30に送信される。なお、これに限定されず、ステレオカメラ20と寸法算出装置30とは無線接続されてもよい。
図2に示されるように、寸法算出装置30は、コントローラ(制御部とも称する)31と記憶部32と操作部35とを備える。
コントローラ31は、寸法算出装置30に内蔵される装置であり、ステレオカメラ20、重量計40、および寸法算出装置30の動作を制御する装置である。
コントローラ31は、1又は複数のハードウェアプロセッサ(例えば、CPU(Central Processing Unit)およびGPU(Graphics Processing Unit))等を備えるコンピュータシステムとして構成される。コントローラ31は、CPU等において、記憶部(ROMおよび/またはハードディスクなどの不揮発性記憶部)32内に格納されている所定のソフトウエアプログラム(以下、単にプログラムとも称する)を実行することによって、各種の処理を実現する。なお、当該プログラム(詳細にはプログラムモジュール群)は、USBメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されて寸法算出装置30にインストールされるようにしてもよい。あるいは、当該プログラムは、通信ネットワーク等を経由してダウンロードされて寸法算出装置30にインストールされるようにしてもよい。
コントローラ31は、測定対象物80に関する撮影画像情報および深度情報をステレオカメラ20から取得する。また、コントローラ31は、撮影画像情報および深度情報に基づき、測定対象物80の表面に関する3次元データ(3次元点群データ)(換言すれば、測定対象物80の表面のポイントクラウド(点群)に関する3次元位置情報)を生成(取得)する。そして、コントローラ31は、当該3次元位置情報に基づき、測定対象物80の寸法(幅W、奥行きD、高さH)を算出(測定)する。
また、コントローラ31は、重量計40によって測定された測定対象物80の重量を取得する。さらに、コントローラ31は、測定対象物80(配送対象物)を配送する際の配送料金等を算出する。
記憶部32は、ハードディスクドライブ(HDD)あるいはソリッドステートドライブ(SSD)等の記憶装置で構成される。記憶部32は、データベース33等を有している。データベース33には、配送サービスの種類、各配送サービスにおける配送対象物のサイズ区分、および当該サイズ区分に応じた料金等が登録されている。
操作部35は、寸法算出装置30に対する操作入力を受け付ける操作入力部35aと、各種情報の表示出力を行う表示部35bとを備えている。たとえば、操作入力部35a(受付部とも称される)は、配送サービスの種類等の情報の入力を受け付ける。また、表示部35bは、配送対象物の寸法と重量とに関する測定結果、ならびに当該測定結果に基づいて算出された配送料金等を表示する。操作入力部35aとしてはマウス、キーボード等が用いられ、表示部35bとしてはディスプレイ(液晶ディスプレイ等)が用いられる。また、操作入力部35aの一部としても機能し且つ表示部35bの一部としても機能するタッチパネルが設けられてもよい。
なお、寸法算出装置30は、撮影画像等に基づく処理を実行する装置であることから、画像処理装置であるとも表現される。
<1-2.処理概略>
図3は、寸法算出装置30(詳細にはコントローラ31)等における処理を示すフローチャートである。以下、図3を参照しつつ当該処理について説明する。なお、保持部50に固定された座標系Σ2(後述)に関するキャリブレーション(透明部材51の上面51aの3次元位置等に関するキャリブレーション)等は、図3の処理開始前において既に実行されている(完了している)ものとする。
ステップS11において、寸法算出装置30(コントローラ31)は、測定対象物80(ここでは、配送対象の荷物)の種類、および配送サービスの種類等の情報に関する操作入力(ユーザによる操作入力)を受け付ける。たとえば、一般荷物、精密機器、要冷蔵物、要冷凍物、ゴルフ用品、スキー用品などの荷物種類に関する情報、ならびに、片道配送、往復配送、冷蔵配送、冷凍配送などの配送サービス種類に関する情報が入力される。あるいは、荷物種類と配送サービス種類との一定の組み合わせに係る情報が入力されてもよい。
次に、ステップS12において、ステレオカメラ20は、保持部50に保持された測定対象物80に関する撮影画像および深度情報を生成し、コントローラ31に受け渡す。コントローラ31は、このような撮影画像および深度情報に基づいて、測定対象物80の表面(ひょうめん)に関する3次元データ(ポイントクラウドデータ(点群データ))を生成する。換言すれば、コントローラ31は、被写体物体(測定対象物80)の各部分(各表面部分)の撮影画像内での平面位置に関する情報と当該各部分までの距離情報(奥行き情報)とに基づいて、各部分の3次元位置情報(実空間内での3次元位置情報)を取得する。
さらに、コントローラ31は、測定対象物80の表面のポイントクラウド(点群)に基づき、測定対象物80(配送対象物)の寸法(サイズ情報)(W,D,H)を算出(測定)する。
ステップS12の処理(寸法の算出処理等)については後に詳述する。
次のステップS14において、コントローラ31は、重量計40による測定結果(測定対象物80の重量)を取得する。
そして、ステップS15において、コントローラ31は、ステップS11で入力された種類情報等とステップS12で算出された寸法情報とステップS14で取得された重量情報とに基づき、配送サービス料金を算出する。より具体的には、データベース33内に記憶された料金情報(サービス種類および荷物種類ごとに、寸法および重量に応じて定められた料金情報)と測定対象物80の寸法および重量等に基づき、配送サービス料金が算出される。
さらに、ステップS16において、コントローラ31は、配送サービス種類および荷物種類、測定対象物80(配送対象物)の寸法情報(W,H,D)および重量、ならびに配送サービス料金等を表示部35bに表示する。
<1-3.ステレオ視における死角について>
ここで、ステレオ視における死角について説明する。
図6は、当該死角の発生原理等について説明する図である。図6では、ステレオカメラ20を構成する2台のカメラ21,22が、直方体形状の物体(測定対象物80)の上方(+Z側)にて左右方向(X方向)に離間して下向き(-Z方向)に設置されている。そして、当該2台のカメラ21,22による2枚の撮影画像211,212に基づき距離画像220(図8参照)が生成される。ここでは、左カメラ21による左画像211の各画素位置に距離情報が埋め込まれて、距離画像220が生成される状況を想定する。なお、これに限定されず、たとえば、右カメラ22による右画像212の各画素位置に距離情報が埋め込まれて、距離画像が生成されてもよい。
図6においては、ステレオカメラ20(カメラ21,22)と測定対象物80とのXZ平面における位置関係が主に示されている。ただし、図1と比較すると、特にZ軸の向き(上下)が逆である。すなわち、図6(詳細には、その下部以外の部分)では、天地(上下)が逆転した状態で、ステレオカメラ20と測定対象物80との位置関係が示されている。
また、図6の下部(細破線で囲まれた2つの略矩形部分)においては、ステレオ画像210(カメラ21による撮影画像211、およびカメラ22による撮影画像212)が示されている。ただし、これらの撮影画像211,212におけるY方向は、図6の他の部分とは異なっている。図7は、図6の下部に示される撮影画像211,212を拡大して示す図である。なお、図6では、簡単化のため、直方体形状を有する測定対象物80の4つの側面がXZ平面あるいはYZ平面に平行となるように、測定対象物80が配置されている。
さて、ステレオ視による3次元位置測定においては、ステレオ画像210のうちの一の画像(ここでは左画像211)内の各画素に対応する画素(対応画素)を他の画像(ここでは右画像212)内にて探索する処理が実行される。2枚の画像211,212内で探索された両画素(或る画素とその対応画素)は、実空間にて同じ対象物の同じ位置に存在すると判定される。このような探索処理は、ステレオ画像における対応画素探索処理(対応点探索処理)、あるいはステレオマッチング処理などとも称される。また、当該一の画像は、ステレオマッチング処理における基準画像などとも称される。
このような探索処理により、左画像211内の各画素(各点)に対応する対応画素が画像212内にて探索されるとともに、当該各画素と当該各画素の対応画素との間の視差d(画像212内での位置ずれ)がそれぞれ求められる。たとえば、或るY座標y1を有する直線(水平ライン)に沿って各画素の対応画素を探索する際には、左画像211内の点P11から点P12までの各点には、右画像212内の各点P21から点P22までの各点がそれぞれ対応づけられる。そして、左画像211内の或る画素(x1,y1)に対して右画像212内の画素(x1-d,y1)が対応することが判定されると、両画素間のX方向の視差dが求められる。なお、ここでは、レンズの歪み補正処理、ならびにステレオカメラ(およびステレオ画像)に関する平行化処理等は予め行われているものとする。
そして、画像211内の各画素と探索された対応画像との視差に基づき、三角測量の原理によって、画像211内の各画素(各点)に対応する各深度情報(距離情報)が算出される。具体的には、カメラとの距離z(対象物とカメラとの光軸方向距離(深度情報))は、カメラの焦点距離F、2台のカメラの相互間距離B、および当該視差dに基づいて、式:z=B*F/d、などによって求められる。このような処理が画像211内の各画素について実行されることによって、各深度情報が画像211内の各画素位置にそれぞれ埋め込まれた画像(距離画像)220が生成される。
ところで、本来的には、ステレオマッチング処理における基準画像(左画像211等)内の全ての画素に関して、他方の画像(右画像212等)における対応画素が正確に求められることが好ましい。
しかしながら、図6に示すように、測定対象物80がZ方向に有意の大きさを有する場合、測定対象物80による隠れ(オクル-ジョン)が発生する。詳細には、左カメラ21には写っているものの右カメラ22には写らない領域(ないし空間)、すなわち死角(詳細にはカメラ22の死角)が発生する。図6では、直方体形状の測定対象物80の左面(左辺)に隣接する部分(測定対象物80の左側付近の特定空間)(図6の上部における三角形のグレー部分)が死角空間として示されている。このように、左画像211内の測定対象物80の左側付近に、死角領域219(載置面51a上の特定領域(図6の下部における矩形状のグレー部分))が存在する。当該死角領域219は、左カメラ21には写っているものの右カメラ22には写らない領域(右カメラ22では撮影できない領域)であり、右カメラ22の死角領域とも称される。換言すれば、死角領域219は、ステレオ画像210のうちの一方の画像(たとえば画像211)には写っているものの他方の画像(たとえば画像212)には写っていない領域である。
たとえば、或るY座標y1を有する直線に沿って各画素の対応画素を探索する際には、左画像211内の点P12から点P15までの範囲(点P14等を含む範囲)は、右カメラ22の死角領域219内に存在する。当該範囲内の各点に(正確に)対応する画素は右画像212内には存在しない。
このような状況においては、左カメラ21には写っている当該特定領域219内の各画素に関して、右カメラ22の撮影画像(右画像)内の画素との対応づけがうまくいかない。その結果、視差dとして不正確な値が算出されること等が発生し、当該特定領域(詳細にはその各画素)に対応する3次元位置情報が不正確になる。換言すれば、当該特定領域には、いわゆる距離測定に関するノイズを有する画素(ノイズ点)が発生する。
これに対して、この実施形態においては、当該ノイズ点の影響を抑制する処理が実行される。当該ノイズ点の影響を抑制する処理については後述する。
<1-4.寸法測定処理>
次に、図3のステップS12の処理について詳述する。
図4は、ステップS12の処理の詳細を示すフローチャートである。以下、図4を参照しつつ当該処理について説明する。
まず、ステップS21において、ステレオカメラ20は、その2台のカメラによって2つの撮影画像(ステレオ画像210)を生成する。詳細には、ステレオカメラ20のうちの一方のカメラ21(たとえば左カメラ)により測定対象物80を撮像した画像211と、他方のカメラ22により測定対象物80を撮像した画像212とが生成される(図6参照)。これらの画像211および画像212は、互いに略同一のタイミングで撮像される。
つぎに、ステレオカメラ20は、ステレオ視方式によりステレオカメラ20と測定対象物80の表面上の各点との距離情報(深度情報)を算出する。たとえば、上述のように、まず、画像211内の各画素(各点)に対応する対応画素が画像212内にて探索される。つぎに、画像211内の各画素と探索された対応画像との視差d(画像212内での位置ずれ)に基づき、三角測量の原理によって、画像211内の各画素(各点)に対応する各深度情報(距離情報)が算出される。そして、各深度情報が画像211内の各画素位置にそれぞれ埋め込まれた画像(距離画像)220が生成される。
そして、ステレオカメラ20は、保持部50に保持された測定対象物80に関する撮影画像(ステレオ画像)、および当該ステレオ画像に基づく深度情報(距離画像220等)をコントローラ31に受け渡す(ステップS21)。
これに応じて、コントローラ31は、測定対象物80に関する撮影画像(ステレオ画像)210(211,212)および深度情報(距離画像220等)(図8参照)を取得する。図8は、ステレオ画像210(2つの画像211,212)と、当該2つの画像に基づいて生成された距離画像220とを示す図である。図8においては、直方体形状を有する測定対象物80の4つの側面がXZ平面とYZ平面とのいずれに対しても平行ではない(傾いた)状態で測定対象物80が撮影されている。測定対象物80の上面および下面は、いずれもXY平面に対して平行(ほぼ平行)である。図8の下段においては、距離画像220が示されている。図8の距離画像220においては、距離の大小が各画素の濃淡で表現されている。
そして、ステップS22において、コントローラ31は、当該ステレオ画像210および当該距離画像(距離情報)220に基づいて、測定対象物80に関する測定対象物80の表面のポイントクラウド300を生成(取得)する。当該ポイントクラウド300の各点は、3次元位置情報(距離情報等)を有している。
詳細には、コントローラ31は、測定対象物80の表面の各点(各部分)の3次元位置情報(実空間内での3次元位置情報)を、座標系Σ2で表現された情報として取得する。具体的には、コントローラ31は、カメラ座標系Σ1での位置情報(撮影画像内での平面位置および撮影画像の法線方向における奥行き位置)を、作業空間(たとえば透明部材51の上面51a)に対して固定された座標系Σ2での3次元位置情報へと変換する。カメラ座標系Σ1は、たとえば、撮影画像平面に平行な直交2軸と当該撮影画像平面に垂直な方向に伸びる1軸との直交3軸を基準とする3次元直交座標系である。また、変換後の座標系Σ2は、たとえば、透明部材51の上面51aに平行な直交2軸(X軸およびY軸)と当該直交2軸に垂直な方向(高さ方向)に伸びる1軸(Z軸)との直交3軸を基準とする3次元直交座標系である。図1等においては、変換後の座標系Σ2の一例として、透明部材51の上面51aに固定されたXYZ直交座標系が示されている。当該座標系Σ2のZ座標値は、当該上面51a(測定対象物80の載置面)からの高さに相当する。
このようにして、コントローラ31は、測定対象物80の各点(各部分)の3次元位置情報を取得(算出)する。具体的には、ポイントクラウドデータ(点群データ)における各微小領域(撮影画像の各画素に対応する微小部分(微小領域))の3次元位置の情報が取得される。
ステップS23において、コントローラ31は、測定対象物80のポイントクラウド300のうち、所定の高さ以上の点群(測定対象物80の上面等の点群)を抽出する。詳細には、コントローラ31は、測定対象物80の表面のポイントクラウド(点群)300の中から、測定対象物80の載置面51aからカメラ光軸方向においてカメラ側に向けて所定程度以上離れた点を抽出する。たとえば、載置面51aから一定値(たとえば1~5cm(センチメートル)等)以上離れた点群が、測定対象物80の表面のポイントクラウド300(310)として抽出される。このようにして、測定対象物80の周辺のポイントクラウド(載置面51a等のポイントクラウド)330が除外されて、測定対象物80の表面のポイントクラウド300(310)が抽出される。
図9の上段においては、測定対象物80のポイントクラウド300および測定対象物80の近傍領域のポイントクラウド330が示されている。一方、図9の下段においては、これらのポイントクラウド300,330のうち、測定対象物80のポイントクラウドであり且つ一定以上の高さを有するポイントクラウド310(ここでは測定対象物80の上面のポイントクラウド)が示されている。なお、図9では、3次元位置情報を有するポイントクラウド300(310),330の各点にカラー画像230の対応点の画素値(階調値)を付与することによって得られた立体画像が示されている。換言すれば、図9では、表面テクスチャが貼り付けられた状態で測定対象物80(その表面のポイントクラウド300)等が示されている。
さらに、ステップS23においては、測定対象物80の高さHが算出される。具体的には、コントローラ31は、ステップS22(あるいはステップS23)で取得された測定対象物80のポイントクラウド300(310)のうち、そのZ座標(載置面51aからの高さに対応)が上位数%(たとえば5%)以内の点群を選択する。そして、コントローラ31は、選択された当該点群のZ座標値の平均値を高さHとして算出する。あるいは、測定対象物80のポイントクラウド300(310等)のZ座標値のうちの最大値(最大Z座標値)が高さHとして算出されてもよい。あるいは、ノイズを除去するため、そのZ座標が上位1%以内等の点群を除外した上で、残りの点群のうちそのZ座標が上位数%以内の点群の平均値あるいは最大値が算出されてもよい。
なお、測定対象物80の高さHは、ここではステップS23にて算出されているが、これに限定されず、ステップS28(S35),S29等にて算出されてもよい。
次のステップS24において、コントローラ31は、測定対象物80の表面のポイントクラウド310を所定の射影平面に対して射影した射影画像240(図10の上段参照)を生成する。ここでは、所定の射影平面として、ステレオカメラ20の光軸方向に垂直な平面(詳細には水平平面(XY平面))を例示する。
この射影画像240においては、測定対象物80のポイントクラウド310に関する射影点が存在する画素が白色で示されており、ポイントクラウド310に関する射影点が存在しない画素が黒色で示されている。端的に言えば、ポイントクラウド310の射影領域が白色(画素値「1」あるいは「255」等)で示され、その背景が黒色(画素値「0」等)で示されている。換言すれば、ポイントクラウド310の射影画像240が2値化された状態で示されている。
なお、ここでは、測定対象物80の上面のポイントクラウド300(310)の射影画像240が生成されているが、これに限定されず、測定対象物80のほぼ全てのポイントクラウド300の射影画像240が生成されてもよい。
ステップS25において、コントローラ31は、測定対象物80の表面のポイントクラウドの中から、測定対象物80の輪郭点を選択するとともに、当該輪郭点の集合に基づき推定される輪郭(推定輪郭あるいは暫定輪郭とも称する)を求める。
具体的には、コントローラ31は、射影画像240に基づいて、測定対象物80の輪郭点(たとえば、数百個から数千個の輪郭点)を抽出する。詳細には、射影画像240における白色画素のうち、黒色画素との境界に存在する点が抽出される。たとえば、射影画像240の白色領域内の或る画素(白色画素)の4近傍(上下左右の4つの位置)のいずれかに黒色画素が存在する場合、当該白色画素(詳細には、当該白色画素に対応する3次元空間内の点)が輪郭点として抽出される。逆に、当該4近傍のいずれにも黒色画素が存在しない場合、当該白色画素は輪郭点でないと判定される。このような処理を射影画像240の白色領域内の全ての画素について実行することによって、測定対象物80の輪郭点が抽出される。なお、ここでは、4近傍画素を用いた輪郭抽出を例示しているが、これに限定されない。たとえば、8近傍画素(上記4近傍画素(上下左右の4画素)に斜めの近傍4画素(左上、右上、左下、右下の4画素)を加えた合計8画素)を用いた輪郭抽出などの他の手法によって輪郭点が抽出されてもよい。
そして、コントローラ31は、このような処理によって抽出された複数の輪郭点(輪郭点の集合体)に基づいて推定される輪郭(射影画像240内における測定対象物80の輪郭)を、推定輪郭350として求める。たとえば、互いに隣接する当該輪郭点を接続して得られる曲線が推定輪郭350として求められる。換言すれば、推定輪郭350は、当該輪郭点の集合体に基づいて構成される。図10の下段には、図10の上段の射影画像240(240a)に基づいて求められた推定輪郭350(350a)等が示されている。
ステップS26において、コントローラ31は、射影画像240に基づいて、測定対象物の推定輪郭350の形状(測定対象物80を上方から見た輪郭形状(測定対象物80の上面の輪郭形状)等)を判定する。詳細には、推定輪郭350が矩形であるか否かが判定される。
具体的には、コントローラ31は、射影画像240内の射影領域(白色領域)(換言すれば、推定輪郭350)に外接する外接矩形(外接長方形)410を求める(図11参照)。そして、当該外接矩形410(410a等)の面積が当該白色領域の面積にほぼ一致する場合(外接矩形410(410a等)に対する白色領域の面積比が所定値以上の場合等)には、推定輪郭350の形状が矩形であると判定される。一方、そうでない場合(外接矩形410(410b等)に対する白色領域の面積比が所定値未満である場合等)には、推定輪郭350の形状が矩形ではないと判定される。たとえば、当該白色領域の面積を外接矩形410の面積で除した算出値が、1(100%)に近い場合(所定値(たとえば、0.95(95%))以上である場合)、推定輪郭350(350a)の形状が矩形であると判定される。一方、当該算出値が当該所定値未満である場合、推定輪郭350(350b)の形状は矩形ではない(非矩形である)と判定される。
図11は、推定輪郭350の形状(概略形状)の判定例を示す図である。図11の左下においては、推定輪郭350(350a)の形状が矩形である(射影画像240(240a)内の白色領域が矩形である)と判定される場合が示されている。一方、図11の右下においては、推定輪郭350(350b)の形状が矩形でない(射影画像240(240b)内の白色領域が矩形でない)と判定される場合が示されている。
ここにおいて、推定輪郭350の形状判定は、概略形状を判定するものであれば十分であり、厳密な形状(厳密な矩形であるか否か等)を判定することを要しない。
推定輪郭350の形状が矩形である場合には、ステップS27からステップS28に進む。一方、推定輪郭350の形状が矩形でない場合には、ステップS27からステップS29に進む。
以下、まずステップS28について説明する。
ステップS28においては、推定輪郭350(350a)のうち少なくともノイズ輪郭部355(後述)に含まれる点群に関して所定の処理が施されることにより、当該推定輪郭350(特にノイズ輪郭部355)が修正される。当該矩形を構成する4辺L1~L4(図13の下段参照)の少なくとも一部は、外接矩形410の4辺M1~M4(図13の上段参照)とは異なる線分として決定される。ここでは、辺L1,L3は、外接矩形410の辺M1,M2としてそれぞれ決定され、辺L2,L4は、外接矩形410の辺M2,M4とは異なる線分として決定される。なお、図13の下段においては、推定輪郭350を構成する輪郭点(幾つかの輪郭点)が丸印で示されている。
詳細には、推定輪郭350を構成する4辺L1~L4のうちノイズ輪郭部355に対応する辺L2,L4(詳細にはその位置および方向)が、ノイズ輪郭部355のうち当該辺L2,L4に対応する部分に含まれる点群(輪郭点群)に基づいて修正される。より詳細には、当該点群に関して所定の処理(ノイズ点の影響を抑制する統計処理(ロバスト推定処理、あるいはハフ変換処理等))が施されることにより、当該点群を近似する近似直線が求められる。
図5は、ステップS28の詳細動作を示すフローチャートである。
図5に示されるように、ステップS31においてコントローラ31は推定輪郭350のうち、非ノイズ輪郭部353とノイズ輪郭部355とを特定する。
ノイズ輪郭部355は、推定輪郭350のうち、不正確な位置情報を有するノイズ点を所定程度以上(所定数以上)含むと推定される部分である。ノイズ輪郭部355は、たとえば、推定輪郭350のうち、カメラ22の死角領域(画像212には写っていない死角領域)219に隣接し或いは当該死角領域219に包含される部分である。詳細には、推定輪郭350のうち、カメラ22の死角領域219に隣接する部分(死角領域219と非死角領域との境界線218付近の輪郭点等)は、ノイズ輪郭部355であると判定される(図7および図8参照)。また、推定輪郭350のうち、カメラ22の死角領域219に包含される部分(グレー領域内の輪郭点)も、ノイズ輪郭部355であると判定される(図7および図8参照)。換言すれば、ノイズ輪郭部355は、推定輪郭350のうち死角領域219に隣接する部分(境界線218付近)と、推定輪郭350のうち当該死角領域219に包含される部分(グレー領域内の部分)との和領域(OR領域)である。
たとえば、カメラ22の死角領域に隣接する点P12,P61(図7、図8および図13参照)が、推定輪郭350を構成する輪郭点である場合、当該点P12,P61は、ノイズ輪郭部355を構成する輪郭点であると判定される。また、カメラ22の死角領域に包含される点P14,P15,P62,P63(図7、図8および図13参照)が、推定輪郭350を構成する輪郭点である場合、点P14,P15,P62,P63は、ノイズ輪郭部355を構成する輪郭点であると判定される。このように、ノイズ輪郭部355は、推定輪郭350の輪郭点のうち、カメラ22の死角領域に隣接し或いは当該死角領域に包含される部分に存在する輪郭点の集合に基づいて生成される。
一方、非ノイズ輪郭部353は、推定輪郭350のうち、ノイズ輪郭部355ではない部分(所定程度よりも正確な輪郭部分)である。換言すれば、非ノイズ輪郭部353は、不正確な位置情報を有するノイズ点の包含量が所定程度未満(所定数未満)であると推定される輪郭部分である。たとえば、推定輪郭350のうち、カメラ22の死角領域219から大きく離れた輪郭点(点P11,P51等)(図7、図8および図13参照)で構成される輪郭部分は、所定程度未満(所定個数未満)のノイズ点包含量を有する輪郭部分であると判定(推定)される。すなわち、当該輪郭部分は、非ノイズ輪郭部353であると判定される。
図8の上段においては撮影画像211,212が示されており、図8の中段においては、当該撮影画像211,212が模式的に示されている。当該中段においては、左画像211において、右カメラ22の死角領域219(グレー部分)が模式的に示されている。
たとえば、或るY座標を有する直線(水平ライン)に沿って左画像211内の右端側から左端側に向けて測定対象物80の存在場所を横断するように走査する状況を想定する。この場合、当該中段に示されるように、測定対象物80の一方端からの横断が、或る点(P11等)にて開始され、その後、当該横断は、測定対象物80の他方端に対応する他の点(P12等)にて終了する。そして、当該他方端の左側に、カメラ22の死角領域(点P12から点P15までの範囲)が存在する。他のY座標を有する直線に沿って左画像211内の右端側から左端側に向けて測定対象物80の存在場所を横断するように走査する際も同様である。
このように、不正確な位置情報を有するノイズ点は、画像211において本来の輪郭(境界線218参照)よりも左側のグレー部分(死角領域219)に存在する。
ここにおいて、推定輪郭350の形状が矩形である場合、当該矩形を構成する4辺L1~L4のうち、画像内の右端に近い2辺付近の点は、2つの画像(ステレオ画像)の相互間の対応関係が正確に把握できる点であると考えられる。一方、矩形を構成する4辺のうち、画像内の右端に近い2辺以外の2辺(すなわち、画像内の左端に近い2辺)付近には、2つのステレオ画像の相互間の対応関係が正確に把握できない点(ひいては、不正確な位置情報を有するノイズ点)が比較的多く存在すると考えられる。
そこで、この実施形態では、推定輪郭350のうち、画像内の左端に近い2辺(詳細には、当該2辺付近)の輪郭がノイズ輪郭部355として判定される。また、推定輪郭350のうち、画像内の右端に近い2辺(詳細には、当該2辺付近)の輪郭が非ノイズ輪郭部353として判定される。換言すれば、推定輪郭350を構成する4辺L1~L4のうち、画像内の左端に近い当該2辺がノイズ輪郭部355として判定され、画像内の右端に近い当該2辺が非ノイズ輪郭部353として判定される。
より具体的には、形状判定に用いた外接矩形410の4つの頂点Q1~Q4のうち、そのX座標が最も大きな点Q1と、そのX座標がその次に大きな点Q2と、そのX座標が更にその次に大きな点Q3との3つの点が選択される(図12上段参照)。そして、上記4辺L1~L4のうち、点Q1と点Q2とを結ぶ線分M1(辺)に対応する辺L1と、点Q1と点Q3とを結ぶ線分M3(辺)に対応する辺L3とが、非ノイズ輪郭部353として特定(判定)される(図12中段および図13参照)。換言すれば、推定輪郭350のうち、2つの辺L1,L3に対応する輪郭部分が、非ノイズ輪郭部353として特定される。一方、点Q4と点Q3とを結ぶ線分M2(辺)に対応する辺L2と、点Q4と点Q2とを結ぶ線分M4(辺)に対応する辺L4とが、ノイズ輪郭部355として特定(判定)される。換言すれば、推定輪郭350のうち、2つの辺L2,L4に対応する輪郭部分が、ノイズ輪郭部355として特定される。
なお、点Q1と点Q2とが同じX座標である場合(外接矩形410がY軸(およびX軸)に平行な場合)、他の2点のうち何れの点が点Q3であると判定されてもよい。また、その場合、上記4辺L1~L4のうち、点Q3と点Q4とを結ぶ辺(線分)M2に対応する辺L4のみがノイズ輪郭部355として判定(特定)されてもよい。
ステップS32において、コントローラ31は、外接矩形410がY軸(およびX軸)に平行になるように、当該外接矩形410、射影画像240および推定輪郭350を(Z軸に平行な軸周りに)回転する。これにより、当該外接矩形410、射影画像240および推定輪郭350の傾きが補正される(図12の最下段、および図3の上段参照)。
ステップS33において、コントローラ31は、矩形として推定(判定)される推定輪郭350の4辺L1~L4のうち非ノイズ輪郭部353として判定される辺L1,L3の位置および方向を求める。具体的には、コントローラ31は、非ノイズ輪郭部353(2辺)の輪郭(各辺)を直線近似する。
ここでは、コントローラ31は、外接矩形410の4辺のうちの辺M1,M3自体を、非ノイズ輪郭部353の辺L1,L3を示す線分としてそのまま決定する。
つぎに、ステップS34において、コントローラ31は、矩形として推定(判定)される推定輪郭350の4辺L1~L4のうち、ノイズ輪郭部355として判定される辺L2,L4の位置および方向を求める。具体的には、コントローラ31は、ノイズ輪郭部355(2つの辺L2,L4)の輪郭部分(各辺)を直線近似する。辺L2は、辺L1に対向する辺であり、辺L4は、辺L3に対向する辺である。
外接矩形410の4辺のうちの辺M3,M4は、ノイズ輪郭部355の近似直線(辺L3,L4)としては決定されない。コントローラ31は、ノイズ輪郭部355に含まれる点群に関して所定の処理(点群に含まれるノイズ点の影響を抑制するための特定の統計処理)を施して当該ノイズ輪郭部355を修正する。より詳細には、コントローラ31は、推定輪郭350のうち当該辺L2に対応する部分に含まれる点群を用いた特定の統計処理(ノイズに対してロバストな統計処理)を伴う直線推定処理によって、ノイズ輪郭部355として判定される辺(線分)L2,L4の位置および方向を推定する。このような直線推定処理によって、当該各辺L2,L4に係るノイズ輪郭部355が修正される。なお、当該特定の統計処理としては、後述するように、ハフ変換処理、ロバスト推定処理、中央値求解処理等が例示される。
推定輪郭350のうち、辺M2の右側に隣接する所定幅ΔX2(たとえば、3cm)の矩形範囲R2(細い破線で示される)内に存在する輪郭点が、推定輪郭350のうち辺L2に対応する部分に含まれる点群として利用される(図13参照)。なお、矩形範囲R2内の点のうち、辺M3,M4に近い部分(上端側および下端側)に存在する点群は、利用されなくてもよい。
ここにおいて、辺L1に対向する辺L2は、辺L1に平行である、との幾何学的条件が存在する。そこで、この実施形態では、当該幾何学的条件を利用して、辺L2が辺L1に平行であることを前提(条件)に、辺L2の直線が推定される。すなわち、辺L2の直線の方向は、辺L1の直線の方向と同一である、と判定する。そして、実質的に辺L2の位置のみが推定される。
たとえば、式:x=a*y+b、で推定される直線の傾きa(直線の方向を表す値)は、辺L2と辺L1とで共通(同じ)(たとえば、図13のような傾き補正後においては、いずれも同じ傾きa(且つa=0(ゼロ))である。そして、値bのみが、各種の手法によって算出されればよい。なお、辺L4(,L3)の直線推定においては、式:y=a*x+b、等が利用されればよい。
あるいは、上記((a,b)等)以外のパラメータセットが用いられてもよい。たとえば、直線を式:ρ=x*cosθ+y*sinθ、で表現することにより得られる他のパラメータセット(ρ,θ)が用いられてもよい。上記の幾何学的条件を利用する場合、傾き補正後の辺L1,L2(θ=0度)は、式:ρ=xで表現され、パラメータρのみが各種の手法によって算出されればよい。また、傾き補正後の辺L3,L4(θ=90度)は、式:ρ=yで表現され、パラメータρのみが各種の手法によって算出されればよい。
ノイズ点の影響を抑制するための所定の処理としては、ハフ変換処理(詳細には、ハフ変換を用いた直線推定処理)が例示される。ハフ変換は、画像から特定図形(直線、円等)を検出する手法である。具体的には、ハフ変換においては、画像内の特定図形(輪郭)上の複数の点のそれぞれについて、当該特定図形を構成し得るパラメータの組(パラメータセット)が求められる。そして、パラメータ空間を離散的に区分した複数の区分領域のうち、最も多くのパラメータセットの存在する区分領域(特定区分領域)が(多数決に基づき)求められ、当該特定区分領域に対応するパラメータセットに基づいて特定図形が求められる。
一般的には、2次元空間(2次元平面)において直線を表すパラメータセットの構成要素は、2個(2次元)である。一方、辺L1と辺L2とが平行である旨の幾何学的条件を用いることによって、パラメータセットの次元数を実質的に「1」に低減することが可能である。特に、推定輪郭350の傾きが補正される場合、傾き補正後の直線は、Y方向あるいはX方向に平行な直線であるので、パラメータセットの構成要素を判りやすい1個に低減し、算出処理を簡略化することが可能である。この場合、次のようなハフ変換処理が行われればよい。
具体的には、まず、画像内の輪郭点のそれぞれに対応するパラメータ(たとえばρ)が各輪郭点について求められ、各輪郭点を当該パラメーラに関する投影平面(次元数=1の場合、投影直線)に投影する投影処理が実行される。投影直線としては、推定直線(辺L2)が基準直線(辺L1)に平行であることに基づき、たとえば基準直線(辺L1)に垂直な直線が用いられればよい。つぎに、投影平面(投影直線)を区分した複数の区分領域(区分範囲)のうち、投影処理において最も多くの点が投影された特定区分領域(特定区分範囲)が(多数決に基づき)求められる。そして、当該特定区分領域に投影された点群に基づき、辺L2の位置(たとえば、x=ρ=ρ2)が求められる。たとえば、辺L2は、辺L1に平行であり且つρ=ρ2に対応する位置に設けられた直線:x=ρ2として求められる。このようにして、辺L2を表す直線、換言すれば、辺L2の位置および方向が求められる。なお、辺L1と辺L2との距離が求められれば十分であるので、辺L2の位置のうち、辺L1に対して垂直な方向における位置(X方向位置)が特定されれば十分である。すなわち、辺L2の位置のうち、辺L2の伸延方向における当該辺L2の位置(Y方向位置)は特定されることを要しない。
このようなハフ変換処理においては、輪郭点のうちのノイズ点(輪郭点として一旦抽出されるものの実際にはノイズである点)は、様々な特定区分領域に散在するように投影される。その結果、当該ノイズ点は多数決において排除され得る。したがって、様々な特定区分領域に散在して投影されるノイズ点の影響を受けにくくなるので、ノイズに対してロバストな直線推定処理を実現することが可能である。
また、当該所定の処理としては、ロバスト推定処理(たとえば、M推定法(TukeyのBiweight推定法)等)に基づく直線推定処理も例示される。当該M推定法に基づく直線推定処理は、点群の近似直線を最小二乗法を用いて推定する直線推定処理であって、最小二乗法の誤差に関する重み付け処理(推定近似直線との各点との誤差が大きいほど最小二乗法への影響を低減する重み付け処理)を反映した直線推定処理)である。これによれば、近似直線との各点との誤差が大きなノイズ点の影響を抑制することができるので、ノイズに対してロバストな直線推定処理を実現することが可能である。
また、当該所定の処理としては、中央値を用いた直線推定処理(詳細には、所定方向(基準直線の伸延方向に垂直な方向)における推定対象直線(近似直線)の位置を輪郭点の点群の当該所定方向位置に関する中央値を用いて求める処理)も例示される。たとえば、999個の輪郭点が存在する場合、そのX座標に基づいて当該輪郭点がソーティングされ(並べ替えられ)、500番目の順位の輪郭点のX座標(中央値)が値bとして決定されればよい。これによれば、ソーティング後の順位における最上位付近あるいは最下位付近の輪郭点の影響が排除されるので、ノイズ点の影響を抑制することが可能である。すなわち、ノイズに対してロバストな直線推定処理を実現することが可能である。
このようにして、ノイズ輪郭部355として判定される辺L2(辺L1に対向する辺L2)の位置および方向が、測定対象物80の輪郭点のうち辺L2に対応する部分に含まれる点群に基づき、辺L2が辺L1に平行であることを前提に推定される。より詳細には、辺L2(ノイズ輪郭部355)が辺L1(非ノイズ輪郭部353)に平行であることを前提に、ノイズ点の影響を抑制する特定の統計処理が施されて、辺L2(ノイズ輪郭部355)が修正される。なお、上記の手法においては、測定対象物80の輪郭点のうち辺L2に対応する部分に含まれる全ての点群が利用されてもよく、当該辺L2に対応する部分に含まれる一部の点群のみ(数点おきに間引かれた点群等)が利用されてもよい。
辺L4についても同様である。具体的には、ノイズ輪郭部355として判定される辺L4(辺L3に対向する辺L4)の位置および方向が、測定対象物80の輪郭点のうち辺L4に対応する部分に含まれる点群に基づき、辺L4が辺L3に平行であることを前提に推定される。より詳細には、辺L4(ノイズ輪郭部355)が辺L3(非ノイズ輪郭部353)に平行であることを前提に、ノイズ点の影響を抑制する特定の統計処理が施されて、辺L4(ノイズ輪郭部355)が修正される。また、測定対象物80の輪郭点のうち辺L4に対応する部分に含まれる全ての点群が利用されてもよく、当該辺L4に対応する部分に含まれる一部の点群のみが利用されてもよい。
このようにして、推定輪郭350が修正される。詳細には、推定輪郭350のうちのノイズ輪郭部355(辺L2,L4)が推定輪郭350のうちの非ノイズ輪郭部353(辺L1,L3)に平行であることに基づき、ノイズ輪郭部355(辺L2,L4)が修正される。なお、修正後の推定輪郭350は確定輪郭(ないし修正輪郭)等とも称される。
そして、ステップS35において、測定対象物80の寸法(幅W、奥行きD、高さH)が算出(測定)される。ただし、測定対象物80の高さH(Z方向の大きさ)は、上述のように既に算出されており、既に算出された値がそのまま用いられればよい。
測定対象物80の幅W(X方向の大きさ)は、辺L1と辺L2との距離(辺L1のX座標値X1と辺L2のX座標値X2との差分値(X2-X1))として算出される(図13下段参照)。
また、測定対象物80の奥行きD(Y方向の大きさ)は、辺L3と辺L4との距離(辺L3のY座標値Y1と辺L2のY座標値Y2との差分値(Y2-Y1))として算出される。
つぎに、ステップS29について説明する。推定輪郭350の形状が矩形でない場合、ステップS27からステップS29に進む。なお、ステップS29の前のステップS27(図4)にて推定輪郭350が矩形でないと判定される場合、推定輪郭350(350b)の形状は不明である。図14では、推定輪郭350が略楕円形状(測定対象物80が略楕円柱形状)を有している状況が例示されている。
ステップS29では、ステップS28とは異なり、ノイズ輪郭部355の特定処理、および当該ノイズ輪郭部355の修正処理(推定輪郭350に関する直線推定処理等)は行われない。コントローラ31は、外接矩形410に基づく傾き補正処理を実行した後(図14参照)、寸法測定処理を実行する。
具体的には、推定輪郭350(350b)に含まれる輪郭点のうち最も右側の点のX座標Xmaxと最も左側の点のX座標Xminとの差分値(Xmax-Xmin)が、測定対象物80の幅W)として算出される(図14参照)。また、推定輪郭350に含まれる輪郭点のうち最も上側の点のY座標Ymaxと最も下側の点のY座標Yminとの差分値(Ymax-Ymin)が、測定対象物80の奥行きDとして算出される。
測定対象物80の高さHについては、上述の通りである。なお、推定輪郭350が矩形でない場合(測定対象物80が直方体でない場合)には、測定対象物80のポイントクラウド300(310等)のZ座標値に関する平均値ではなく最大値(最大Z座標値)等が高さHとして算出されることが好ましい。
以上のような処理によれば、物体の推定輪郭350のうちカメラの死角領域219に関するノイズ輪郭部355が特定され(ステップS31)、当該ノイズ輪郭部355に含まれる点群に関して所定の処理を施してノイズ輪郭部355が修正される(ステップS34)。そして、修正後のノイズ輪郭部355を含む推定輪郭350に基づいて、物体の寸法が測定される(ステップS35)。したがって、ステレオカメラの死角に起因する測定誤差を抑制することが可能である。
詳細には、測定対象物の輪郭点のうち辺L2,L4(ノイズ輪郭部355)に対応する部分に含まれる点群に対して当該点群に含まれるノイズ点の影響を抑制するための特定の統計処理を施すことによって、当該辺L2,L4の位置および方向が推定される。より詳細には、ノイズ点の影響を抑制するための特定の統計処理を利用した直線推定処理が実行される。これにより、推定輪郭350を構成する輪郭点のうちのノイズ点の影響が抑制され、辺L2が辺M2よりも本来の外形線に近い位置に描画される。たとえば、辺L2と辺L1との距離(すなわち、修正後の幅W)は、辺M2と辺M1との距離(すなわち、修正前の幅:W0=Xmax-Xmin)よりも小さくなる(図13参照)。同様に、辺L4と辺L3との距離(すなわち、修正後の奥行きD)は、辺M4と辺M3との距離(すなわち、修正前の奥行き:D0=Ymax-Ymin)よりも小さくなる。端的に言えば、大き過ぎた推定輪郭350が、一回り小さな輪郭(より正確な輪郭)へと修正される。したがって、外接矩形によって物体上面の輪郭を近似して当該物体上面の寸法(幅など)を測定する場合に比べて、より正確に寸法を測定することが可能である。
特に、上記実施形態においては、推定輪郭350の形状が矩形である場合、ノイズ輪郭部355として判定される辺L2の位置等は、非ノイズ輪郭部353として判定される辺L1(辺L2に対向する辺L1)に平行であることを前提に、推定される。したがって、所定程度以上正確な非ノイズ輪郭部353である辺L1の方向情報と、両辺L1,L2が互いに平行である旨の幾何学的特性とを利用して、ノイズ輪郭部355の辺L2の位置等を正確に求めることが可能である。ひいては、測定対象物80の寸法の測定誤差をさらに抑制することが可能である。
<2.第2実施形態>
第2実施形態は、第1実施形態の変形例である。以下では、第1実施形態との相違点を中心に説明する。
上記第1実施形態においては、射影画像240に基づき測定対象物80の輪郭点が抽出されて推定輪郭350が求められた後、当該推定輪郭350の2次元座標を用いて推定輪郭350の(2次元空間内における)直線が推定されている。
第2実施形態においては、当該推定輪郭350の3次元座標を用いて推定輪郭350の(3次元空間内における)直線が推定される態様について説明する。
なお、第1実施形態における推定輪郭350は、測定対象物80表面のポイントクラウドの所定の射影平面(XY平面等)への射影画像の輪郭である2次元輪郭である、とも表現される。また、第2実施形態における推定輪郭350は、当該2次元輪郭を3次元に戻した(Z座標も加えた)3次元輪郭である、とも表現される。
第2実施形態では、ステップS28(図4および図5参照)の処理、特にステップS34(図5参照)の処理が第1実施形態とは異なっている。
第2実施形態では、ステップS32までの処理が第1実施形態と同様にして実行された後、ステップS33以降において次のような処理が実行される。
第2実施形態においては、抽出(特定)された推定輪郭350に関する3次元情報が利用される。
ステップS33,S34では、推定輪郭350の3次元情報に基づき、3次元空間内の直線(近似直線)が推定される。
推定輪郭350に含まれる点群は、本来的には3次元座標値(X,Y,Z)を有するものの、第1実施形態では、当該点群の主に2次元座標値(X,Y)を利用した。一方、この第2実施形態では、当該点群の3次元座標値(X,Y,Z)を利用する。すなわち、当該点群のZ座標値をも利用する。
具体的には、ステップS33において、3次元空間内での基準直線L1,L3を特定する処理が実行される。たとえば、非ノイズ輪郭部353として判定される辺L1は、外接矩形410の辺M1と同じ2次元情報(平面内位置および平面内方向)を有し、載置面51aに平行であり且つ高さHに存在する直線(線分)として特定されればよい。辺L3についても同様である。辺L3は、外接矩形410の辺M3と同じ2次元情報(平面内位置および平面内方向)を有し、載置面51aに平行であり且つ高さHに存在する直線(線分)として特定されればよい。
また、ステップS34において、ノイズ点の影響を抑制するための所定の処理として、推定輪郭350に含まれる輪郭点(点群)の3次元座標値に基づき3次元空間内での直線を推定する直線推定処理が実行される。より詳細には、ノイズ点の影響を抑制する特定の統計処理を伴う直線推定処理が実行される。
ステップS34においては、辺L1に対向する辺L2(ノイズ輪郭部355として判定される辺L2)の3次元空間内における位置および方向が、測定対象物80の輪郭点のうち辺L2に対応する部分に含まれる点群の3次元情報に基づき推定される。同様に、辺L3に対向する辺L4(ノイズ輪郭部355として判定される辺L4)の3次元空間内における位置および方向が、測定対象物80の輪郭点のうち辺L4に対応する部分に含まれる点群の3次元情報に基づき推定される。このように、推定対象の直線(辺L2)が、対向する基準直線(辺L1)に対して平行であることを前提に推定される。辺L4についても同様である。具体的には、推定対象の直線(辺L4)が、対向する基準直線(辺L3)に対して平行であることを前提に推定される。
一般的には、2次元空間内の直線は2つのパラメータで表現され、3次元空間内の直線は3つのパラメータで表現される。ただし、この第2実施形態においても、推定対象の直線が別の所定の直線(辺L1,L3等)に平行であることを利用して、パラメータ(次元)を1つ削減する。たとえば、辺L2は、辺L1に平行であることを前提に推定され、辺L4は、辺L3に平行であることを前提に推定される。これにより、実質的なパラメータ数が3から2に低減される。
たとえば、ノイズ点の影響を抑制するための所定の処理としてロバスト推定処理(たとえば、M推定法(TukeyのBiweight推定法)等)に基づく直線推定処理が実行される場合、3次元空間内での直線が推定される。詳細には、点群の近似直線を最小二乗法を用いて推定する直線推定処理であって、最小二乗法の誤差(Z方向の誤差を含む)に関する重み付け処理が行われればよい。より詳細には、推定近似直線との各点との誤差(Z方向の誤差を含む)が大きいほど最小二乗法への影響を低減する重み付け処理を反映した直線推定処理が行われればよい。当該ロバスト推定処理によれば、推定近似直線との各点との誤差が大きなノイズ点の影響を抑制することができるので、ノイズに対してロバストな直線推定処理(3次元空間内での直線を推定する処理)を実現することが可能である。
また、当該所定の処理として中央値を用いた直線推定処理が利用される場合、たとえば、X方向とZ方向とにおいてそれぞれ個別に中央値Xd,Zdが求められればよい。そして、X方向の中央値XdとZ方向の中央値Zdとに基づく直線(x=Xd,z=Zd)が3次元空間内にて求められればよい。これによれば、ソーティング後の順位における最上位付近あるいは最下位付近の輪郭点の影響が排除されるので、ノイズ点の影響を抑制することが可能である。すなわち、ノイズに対してロバストな直線推定処理を実現することが可能である。
また、当該所定の処理として、ハフ変換処理(詳細には、ハフ変換を用いた直線推定処理)も例示される。
上述のように、一般的には、3次元空間(3次元平面)において直線を表すパラメータセットの構成要素は、3個(3次元)である。これに対して、推定直線(辺L2等)と基準直線(辺L1等)とが平行である旨の幾何学的条件を利用すると、次元数を1つ減らして「2」(2次元)にすることが可能である。
たとえば、辺L2の直線推定処理は次のようにして行われる。ここでは、推定直線(辺L2)が基準直線(辺L1)に対して平行である旨の条件を利用する。
図15は、ハフ変換処理を利用して、辺L2の3次元情報を求める手法について説明する図である。
まず、推定輪郭350(測定対象物80の輪郭点)のうち辺L2に対応する部分に含まれる輪郭点(点群)のそれぞれを、基準直線(辺L1)に対して垂直な投影平面510(たとえば、XZ平面)に投影する投影処理が実行される。図15においては、推定輪郭350(測定対象物80の輪郭点)のうち辺L2に対応する部分に含まれる複数の輪郭点(丸印で示される)が、投影平面510(XZ平面)に投影されている。当該投影処理の結果、投影平面510上への投影点のX方向位置とZ方向位置とに関する2つのパラメータが各輪郭点について求められる。
投影平面510上の黒点は、当該複数の輪郭点の投影後の位置(投影点の位置)を示している。図15に示されるように、投影平面510内においては、本来の辺L2の投影位置付近に多数の点が集中し、その他の位置に幾つかの点(ノイズ点)が散在する。
つぎに、投影平面510を2つの方向(X方向およびZ方向)に区分した複数の区分領域のうち、当該投影処理において最も多くの点が投影された特定区分領域が(多数決に基づき)求められる。
そして、当該特定区分領域に投影された点群に基づき、辺L2の位置(たとえば、x=X2,z=Z2)が求められる。さらに、辺L2は、辺L1に平行であり且つ投影平面510に対して垂直な直線(たとえば、x=X2,z=Z2)として求められる。このようにして、辺L2を表す直線、換言すれば、辺L2の位置および方向が求められる。なお、辺L1と辺L2との距離が求められれば十分であるので、辺L2の位置のうち、辺L1に対して垂直な方向における位置(X方向位置およびZ方向位置)が特定されれば十分である。すなわち、辺L2の位置のうち、辺L2の伸延方向における当該辺L2の位置(Y方向位置)は特定されることを要しない。
辺L4についても同様である。
このようなハフ変換処理においては、輪郭点のうちのノイズ点(輪郭点として抽出されるものの実際にはノイズである点)は、様々な特定区分領域に散在するように投影される。その結果、当該ノイズ点は多数決において良好に排除され得る。ここにおいて、ノイズ点は(X方向よりも)特にZ方向に散在している傾向が強い。複数の輪郭点で構成される3次元直線の推定にハフ変換処理を用いることによれば、そのようなノイズ点の分布傾向を利用して、当該ノイズ点(特にZ方向に散在するノイズ点)の影響を非常に有効に排除することが可能である。したがって、ノイズに対して非常にロバストな直線推定処理を実現することが可能である。
以上のように、上記第2実施形態においては、推定輪郭350の形状が矩形である場合、ノイズ輪郭部355として判定される辺L2の3次元空間内における位置および方向が、非ノイズ輪郭部353として判定される辺L1(辺L2に対向する辺L1)に平行であることを前提に、推定される。したがって、所定程度以上正確な非ノイズ輪郭部353である辺L1の方向情報と、両辺L1,L2が互いに平行である旨の幾何学的特性とを利用して、ノイズ輪郭部355の辺L2の位置等を比較的正確に求めることが可能である。ひいては、測定対象物80の寸法の測定誤差をさらに抑制することが可能である。
特に、輪郭点に関する3次元情報(カメラの光軸方向(Z方向)の位置情報をも含む)を用いてハフ変換処理が実行される場合には、光軸方向の誤差を含むノイズ点の影響を特に抑制することが可能である。ひいては、測定誤差をさらに抑制することが可能である。
また、第2実施形態に係る思想は、たとえば辺L2のZ方向位置と辺L1のZ方向位置とが同じでない場合(測定対象物80の上面(矩形形状を有する)の対向2辺L1,L2が異なる高さを有する場合)にも適用可能である。換言すれば、その上面(辺L1~L4を含む)が下面に対して傾斜している測定対象物80(台形形状の側面を有する測定対象物80)に関しても第2実施形態に係る思想を適用することが可能である。具体的には、上述の各種の所定の処理によって辺L2のX方向位置のみならず辺L2のZ方向位置も特定される。特に、辺L2のZ方向位置は、辺L1のZ方向位置とは独立して特定される。したがって、辺L1と辺L2とが平行であり且つ辺L1のZ方向位置と辺L2のZ方向位置とが互いに異なる場合にも、辺L2の位置を適切に求めることが可能である。
<3.第3実施形態>
第3実施形態は、第1実施形態および第2実施形態の変形例である。以下では、第1実施形態等との相違点を中心に説明する。
第3実施形態では、ステレオ画像210における対応画素検索処理(ステレオマッチング処理)に関連して算出される「類似度」を利用して、測定対象物80の推定輪郭350の各直線(各辺)をさらに正確に推定する技術について説明する。より具体的には、ノイズ点の影響を抑制するための所定の処理として、類似度を反映した統計処理を利用して処理(直線推定処理)が行われ、当該処理によってノイズ輪郭部355が修正される。
まず、「類似度」について説明する。
ステップS21(図4参照)等にて説明したように、ステレオ視による3次元位置測定においては、第1画像(たとえば左画像)211の各画素に関して第2画像(たとえば右画像)212内の対応画素を探索する対応画素探索処理(マッチング処理)が実行される。当該マッチング処理においては、たとえば、図16に示すように、第1画像211の各画素付近の第1ウインドウ領域251に対して最も高い適合する(最も高い相関度を有する)同サイズの第2ウインドウ領域252が第2画像212内にて探索される。なお、図16は、ステレオマッチング処理におけるウインドウ領域251,252等を示す図である。
詳細には、第1画像211内の探索元画素を中心とする第1ウインドウ領域251内の複数の画素と第2画像212内の探索先画素を中心とする第2ウインドウ領域252内の複数の画素との差分絶対値(対応位置相互間での差分値の絶対値)の和が算出される。当該和が小さいほど、両ウインドウ領域251,252内の部分画像相互間の類似性(相関度)が高いこと(両部分画像が互いに類似していること)、換言すれば、第1画像211内の探索元画素と第2画像212内の探索先画素との対応度合いが高いことを示す。
そして、両画像211,212内の同じ水平ラインに沿って探索先画素を変更しつつ当該算出処理を繰り返し、当該和を最も小さくする(探索元画像に対して最も適合する)探索先画素が、当該探索元画像に対応する対応画素として決定される。たとえば、第1画像211内の探索先画素を中心とする第1ウインドウ領域251内の複数の画素と、第2画像212内の対応画素を中心とする第2ウインドウ領域252内の複数の画素との差分絶対値の和の逆数を正規化した値等が「類似度」として算出される。
さらに、このような類似度算出処理が繰り返され、第1画像211(換言すれば、距離画像220)の特定範囲(推定輪郭350の近傍領域のみでもよく全範囲でもよい)内の各画素(各探索元画素)について類似度が算出される。
ここにおいて、「類似度」は、第1ウインドウ領域251と、対応画素探索処理にて探索された第2ウインドウ領域252との類似の度合いを示す指標である。詳細には、「類似度」は、第1ウインドウ領域251内の画像(部分画像)と、対応画素探索処理にて探索された第2ウインドウ領域252内の画像(部分画像)との類似の度合いを示す指標である。また、当該類似度は、第1画像211の各画素と第2画像212の対応画素との対応度合いを示す指標でもある。なお、ここでは、差分絶対値の和に基づいて「類似度」が算出されているが、これに限定されず、その他の値に基づいて類似度が算出されてもよい。
なお、このような類似度は、ステップS21でステレオカメラ20内のコントローラによって算出され、コントローラ31に受け渡されてもよい。ただし、これに限定されず、類似度は、その他のタイミングで算出されてもよく、コントローラ31等によって算出されてもよい。
第3実施形態のステップS34においては、ノイズ輪郭部355に含まれる各点に関する類似度(各点に対応する画素に関して算出された類似度)を反映した統計処理(ハフ変換処理、ロバスト推定処理、中央値求解処理等)に基づいて、ノイズ輪郭部355が修正される。
たとえば、ロバスト推定処理において、ノイズ輪郭部355に含まれる各輪郭点の類似度が当該各輪郭点の個数に変換されて統計処理が施される。仮に類似度が0.00~1.00の範囲の値である場合、類似度0.01あたり1個の輪郭点が存在すると考えてロバスト推定(統計処理)が行われればよい。たとえば、類似度0.1を有する輪郭点は、当該輪郭点と同じ位置(2次元位置あるいは3次元位置)に存在する10個の輪郭点に変換される。また、類似度0.8を有する輪郭点は、当該輪郭点と同じ位置に存在する80個の輪郭点に変換される。そして、変換後の個数の輪郭点に基づいてロバスト推定処理が行われ、直線(矩形である推定輪郭350の辺)が推定される。このような類似度に基づく輪郭点個数の変更処理は、類似度による重み付け処理に相当する。このような類似度による(各輪郭点の)重み付けが行われた上で、ロバスト推定処理が施される。なお、他の種類の統計処理(ハフ変換処理および中央値求解処理等)に関しても同様である。類似度による(各輪郭点の)重み付けを伴う各種の統計処理がそれぞれ実行されればよい。
このような処理によって、辺L2,L4(ノイズ輪郭部355)が修正されて求められる。
これによれば、ノイズ輪郭部355に含まれる各輪郭点の類似度を利用すること(詳細には、当該類似度を利用した統計処理を実行すること)によって、ノイズ輪郭部355の各輪郭点の不正確性を考慮してノイズ輪郭部355を適切に修正することが可能である。換言すれば、直線推定処理を更に正確に行うことが可能である。ひいては、測定誤差をさらに抑制することが可能である。
<4.第4実施形態>
第4実施形態は、第1実施形態~第3実施形態の変形例である。以下では、第1実施形態等との相違点を中心に説明する。
第4実施形態においては、「類似度」を第3実施形態とは異なる態様で利用する。この第4実施形態では、ノイズ点の影響を抑制するための所定の処理として、類似度に基づくノイズ点の除外処理が行われ、当該処理によってノイズ輪郭部355が修正される。より具体的には、或る輪郭点の類似度が所定値未満である場合、当該輪郭点はノイズ点である可能性が一定程度よりも高いと判定され、当該輪郭点を除外した上で、上述のような各種の特定の統計処理(ハフ変換処理等)を利用した直線推定処理が実行される。端的に言えば、類似度に基づき外れ点(ノイズ点)が除外され、ノイズ輪郭部355が修正される。
第1実施形態等では、ステップS34(図5)の直線推定処理にて、推定輪郭350のうち辺M2の右側に隣接する所定幅ΔX2の矩形範囲R2に存在する輪郭点が、推定輪郭350のうち辺L2に対応する部分に含まれる点群として利用される(図13参照)。
第4実施形態では、ステップS34にて、このような輪郭点のうち、その類似度が所定値未満の輪郭点(その類似度が所定値未満である画素に対応する点)が除外された上で、特定の統計処理(ハフ変換処理等)を利用した直線推定処理が実行され、辺L2,L4等が推定される。
このような直線推定処理においては、ノイズ輪郭部355に含まれる点群のうち、その類似度が所定値未満である点が除外される。したがって、ノイズ輪郭部355の各輪郭点の不正確性を考慮してノイズ輪郭部を適切に修正すること(適正な直線を推定すること)が可能である。ひいては、測定誤差をさらに抑制することが可能である。
<5.第5実施形態>
第5実施形態は、第4実施形態の変形例である。以下では、第4実施形態との相違点を中心に説明する。
第5実施形態においては、推定輪郭350の形状が矩形でない場合(ステップS29)においても、所定値未満の類似度を有する輪郭点が除外される。換言すれば、推定輪郭350の形状が矩形である場合のみならず推定輪郭350の形状が他の形状(曲線で構成される形状)である場合等にも適用可能な技術について説明する。第5実施形態のステップS29では、その類似度が所定値未満である輪郭点がノイズ輪郭部355から除外され、残りの輪郭点を用いた処理(直線推定処理以外の処理)によって寸法が測定される。
図17は、第5実施形態に係るステップS29(S29E)の処理を示すフローチャートであり、図18は、ステップS29Eの処理の概要を示す概念図である。以下、図17および図18を参照しながら、ステップS29Eの処理について説明する。
まず、ステップS51(図17)において、コントローラ31は、推定輪郭350の中から非ノイズ輪郭部353とノイズ輪郭部355とを特定する。なお、ステップS29の前のステップS27(図4)にて推定輪郭350が矩形でないと判定されており、推定輪郭350の形状は不明である。図18では、推定輪郭350が略楕円形状(測定対象物80が略楕円柱形状)を有している状況が例示されている。
図18(特に最上段参照)においても、図8と同様、或るY座標を有する直線(水平ライン)に沿って左画像211内の右端側から左端側に向けて測定対象物80の存在場所を横断するように走査する状況を想定する。この場合、測定対象物80の右端側からの横断が、或る点(P11等)にて開始され、その後、当該横断は、測定対象物80の他方端に対応する他の点(P12等)にて終了する。そして、当該他方端の左側に、カメラ22の死角領域(点P12から点P15までの範囲)が存在する。他のY座標を有する直線に沿って左画像211内の右端側から左端側に向けて測定対象物80の存在場所を横断するように走査する際も同様である。
そこで、この第5実施形態では、測定対象物80の輪郭点と水平ラインの輪郭点との2交点(たとえば、点P11,P15)のうち、右側の点(たとえば点P11)を非ノイズ輪郭部353に属する点であると判定する。一方、当該2交点のうち左側の点(たとえば点P15)をノイズ輪郭部355に属する点であると判定する。このような判定を全ての水平ラインについて実行する。これにより、図18の上段に示されるように、推定輪郭350において、その概ね右側にて非ノイズ輪郭部353が特定され、その概ね左側にてノイズ輪郭部355(太い破線参照)が特定される。
次にステップS52において、コントローラ31は、推定輪郭350に外接する外接矩形410がY軸(およびX軸)に平行になるように、当該外接矩形410、射影画像240および推定輪郭350を回転する。これにより、当該外接矩形410、射影画像240および推定輪郭350の傾きを補正する(図18の下段参照)。
そして、ステップS53において、測定対象物80の寸法を測定する。
ステップS53では、まず、ノイズ輪郭部355のうち所定値未満の類似度を有する輪郭点Peが除外される。図18では、2つの輪郭点Peのそれぞれの類似度が所定値未満であり、当該2つの輪郭点Peが利用対象から除外される。そして、ノイズ輪郭部355の輪郭点(点群)から当該2つの輪郭点Peを除外した残りの輪郭点(点群)が利用される。より詳細には、当該残りの輪郭点のうち最小のX座標(Xs)を有する輪郭点が、ノイズ輪郭部355のうち最も左側に存在する有効な輪郭点(左端輪郭点)である、と判定される。
そして、推定輪郭350のうち最も右側に存在する輪郭点(右端輪郭点)のX座標(Xmax)と左端輪郭点のX座標(Xs)との差分値(Xmax-Xs)が、測定対象物80の幅Wとして算出される。
このような算出処理によれば、測定対象物80の幅Wの寸法測定値(Xmax-Xs)が、類似度による除外処理を行わない場合の寸法測定値(Xmax-Xmin)(図14参照)と比べて、より正確な値(より小さな値)として算出される。
測定対象物80の奥行きDについても同様にして算出されればよい。具体的には、傾き補正後のノイズ輪郭部355から、所定値未満の類似度を有する輪郭点Peが除外された残りの輪郭点のうち最小のY座標(Ys)を有する輪郭点が、ノイズ輪郭部355のうち最も下側に存在する有効な輪郭点(下端輪郭点)である、と判定される。そして、推定輪郭350のうち最も上側に存在する輪郭点(上端輪郭点)のY座標(Ymax)と下端輪郭点のY座標(Ys)との差分値(Ymax-Ys)が、測定対象物80の奥行きDとして算出されればよい。なお、傾き補正が図14とは逆向きの回転によって行われる場合には、(下端輪郭点ではなく)上端輪郭点の導出において、所定値未満の類似度を有する輪郭点Peをノイズ輪郭部355から除外する処理が実行されればよい。
なお、上記第5実施形態においては、所定値未満の類似度を有する輪郭点Peをノイズ輪郭部355から除外しているが、これに限定されない。たとえば、非ノイズ輪郭部353とノイズ輪郭部355とを特定することなく(区別することなく)、所定値未満の類似度を有する輪郭点Peを推定輪郭350から除外し、推定輪郭350のうち残りの輪郭点を利用して寸法が測定されてもよい。より詳細には、当該残りの輪郭点のうちの最も右側の輪郭点(右端輪郭点)のX座標と当該残りの輪郭点のうちの最も左側の輪郭点(左端輪郭点)のX座標との差分値が測定対象物80の幅Wとして算出されればよい。また、当該残りの輪郭点のうちの最も上側の輪郭点(上端輪郭点)のY座標と当該残りの輪郭点のうちの最も下側の輪郭点(下端輪郭点)のY座標との差分値が測定対象物80の奥行きDとして算出されればよい。
<6.変形例等>
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
たとえば、上記各実施形態においては、深度情報(距離情報)の算出処理は、ステレオカメラ20の内部のコントローラ等によって実行されている。ただし、これに限定されず、ステレオカメラ20内部の当該コントローラではなく、ステレオカメラ20の外部のコントローラ31(図2)等が、2枚の撮影画像に基づいて距離情報等を算出してもよい。
また、寸法算出処理等は、寸法算出装置30内のコントローラ31によって実行されている。ただし、これに限定されず、これらの寸法算出処理もステレオカメラ20に内蔵される上記コントローラ等によって実行されてもよい。
換言すれば、制御手段は、ステレオカメラ20に内蔵されてもよく、ステレオカメラ20とは別体として設けられてもよい。また、制御手段による各種処理は、ステレオカメラ20の内部および/または外部に設けられた幾つかのコントローラによって実行されてもよい。あるいは、制御手段による各種処理は、ステレオカメラ20の内部あるいは外部に設けられた単一のコントローラによって実行されてもよい。
また、上記各実施形態においては、測定対象物80の載置面51aが水平平面に対して平行である態様が例示されているが、これに限定されない。たとえば、測定対象物80の載置面51aが水平平面に対して傾斜していてもよい。
また、上記各実施形態においては、ポイントクラウド300を水平平面に射影した射影画像240が求められているが、これに限定されない。たとえば、ポイントクラウド300を水平平面以外の面(たとえば、水平平面に対して傾いた面)に射影した射影画像240が求められてもよい。特に、測定対象物80の載置面が水平平面に対して傾いている場合、当該載置面に平行な平面を射影平面とし、当該射影平面に対してポイントクラウド300の各点を射影した射影画像240が求められてもよい。
また、上記各実施形態においては、ステップS33(図5参照)において、外接矩形410の4辺のうちの辺M1,M3が推定輪郭350の辺L1,L3としてそのまま利用されているが、これに限定されない。たとえば、ステップS33において、コントローラ31は、推定輪郭350の辺L1,L3に関しても、ステップS34と同様の処理(ノイズ点の影響を抑制する特定の統計処理)を実行することによって、非ノイズ輪郭部353に対応する線分を求めてもよい。
具体的には、非ノイズ輪郭部353として判定される辺L1の2次元空間内(あるいは3次元空間内)における位置および方向が、測定対象物80の輪郭点のうち辺L1に対応する部分に含まれる点群の2次元情報(あるいは3次元情報)に基づいて推定されてもよい。詳細には、測定対象物80の輪郭点のうち辺L1に対応する部分に含まれる点群の2次元座標(あるいは3次元座標)等に関して、ノイズ点の影響を抑制する特定の統計処理が施されればよい。この場合、推定輪郭350のうち辺M1の左側に隣接する所定幅ΔX1(たとえば、1cm)の矩形範囲R1(図13内の右側にて細い破線で示される部分)に存在する輪郭点が、推定輪郭350のうち辺L1に対応する部分に含まれる点群として利用されればよい。当該所定幅ΔX1は、所定幅ΔX2よりも小さく設定されることが好ましい。
これによれば、測定対象物80の輪郭点のうち辺L1に対応する部分に含まれていたノイズ点の影響が抑制され、辺L1は、辺M1よりも本来の輪郭位置にさらに近づくように修正されて求められる。具体的には、傾き補正後において、X方向において、辺L1は、辺M1よりも若干左側の位置に存在する辺として求められる。たとえば、推定輪郭350の右辺L1のX位置は、外接矩形410の右辺M1のX位置(Xmax)よりも小さな値(より正確な値)として得られる。すなわち、推定輪郭350の右辺L1の位置をより正確に求めることが可能である。その結果、修正後の幅Wを、さらに小さな値(さらに正確な値)として求めることが可能である。
辺L3についても同様である。これによれば、修正後の奥行きDを、さらに小さな値(さらに正確な値)として求めることが可能である。
また、上記各実施形態においては、射影画像における物体の推定輪郭の形状が矩形であるか否かが判定され、その判定結果に基づく分岐処理が行われている。しかしながら、本発明はこれに限定されない。たとえば、射影画像における物体の推定輪郭の形状が矩形であるか否かを判定せずに、常に当該形状が矩形であることを前提に処理(ステップS28と同様の処理等)が行われてもよい。あるいは逆に、常に当該形状が矩形でないことを前提に処理ステップS29(S29E)等)が行われてもよい。
10 寸法測定装置
21,22 (ステレオカメラの)各カメラ
30 寸法算出装置
51a 載置面
80 測定対象物
211,212 (ステレオ画像の)各撮影画像
219 死角領域
240 射影画像
251,252 ウインドウ領域
300,310,330 ポイントクラウド
350 推定輪郭
353 非ノイズ輪郭部
355 ノイズ輪郭部
510 投影平面
L1~L4 矩形形状を有する推定輪郭の各辺
M1~M4 外接矩形の各辺

Claims (9)

  1. 第1カメラと第2カメラとを有するステレオカメラと、
    前記第1カメラにより測定対象物を撮像した第1画像と前記第2カメラにより前記測定対象物を撮像した第2画像とに基づき、ステレオ視方式により前記ステレオカメラと前記測定対象物の各点との距離情報を算出し、前記距離情報を用いて得られた前記測定対象物の表面のポイントクラウドに基づき前記測定対象物の寸法を測定する制御手段と、
    を備え、
    前記制御手段は、
    前記測定対象物の表面の前記ポイントクラウドの中から前記測定対象物の輪郭点を選択するとともに、当該輪郭点の集合に基づき推定される推定輪郭を求め、
    前記測定対象物の前記推定輪郭のうち、不正確な位置情報を有するノイズ点を所定程度以上含むと推定される部分であって前記第1画像には写っているものの前記第2画像には写っていない死角領域に隣接し或いは前記死角領域に包含される部分であるノイズ輪郭部を特定し、
    前記ノイズ輪郭部に含まれる点群に関して所定の処理を施して前記ノイズ輪郭部を修正し、
    修正後の前記ノイズ輪郭部を含む前記測定対象物の前記推定輪郭に基づいて、前記測定対象物の寸法を測定することを特徴とする寸法測定装置。
  2. 前記制御手段は、
    前記測定対象物の前記推定輪郭の形状が矩形である場合、
    前記矩形を構成する4辺のうちの一の辺であって前記ノイズ輪郭部ではない非ノイズ輪郭部として判定される辺である第1辺の位置および方向と、前記第1辺に対向する第2辺であって前記ノイズ輪郭部として判定される第2辺の位置および方向とを求め、
    前記第2辺の位置および方向を求める際には、前記測定対象物の輪郭点のうち前記第2辺に対応する部分に含まれる点群に基づき、前記第2辺が前記第1辺に平行であることを前提に前記第2辺の位置および方向を推定することによって、前記ノイズ輪郭部を修正することを特徴とする、請求項1に記載の寸法測定装置。
  3. 前記制御手段は、
    前記測定対象物の前記推定輪郭の形状が矩形である場合、
    前記矩形を構成する4辺のうちの一の辺であって前記ノイズ輪郭部ではない非ノイズ輪郭部として判定される辺である第1辺の3次元空間内における位置および方向と、前記第1辺に対向する第2辺であって前記ノイズ輪郭部として判定される第2辺の3次元空間内における位置および方向とを求め、
    前記第2辺の位置および方向を求める際には、前記測定対象物の輪郭点のうち前記第2辺に対応する部分に含まれる点群の3次元情報に基づき、前記第2辺が前記第1辺に平行であることを前提に前記第2辺の3次元空間内における位置および方向を推定することによって、前記ノイズ輪郭部を修正することを特徴とする、請求項1に記載の寸法測定装置。
  4. 前記制御手段は、3次元空間内における前記第2辺の位置および方向を推定する処理において、
    前記測定対象物の輪郭点のうち前記第2辺に対応する部分に含まれる点群を、前記第1辺に垂直な投影平面に対して投影する投影処理を実行し、前記投影平面を区分した複数の区分領域のうち、前記投影処理において最も多くの点が投影された特定区分領域を求め、前記特定区分領域に投影された点群に基づき、前記投影平面に垂直且つ前記第1辺に平行な前記第2辺の3次元空間内における位置および方向を求めることを特徴とする、請求項3に記載の寸法測定装置。
  5. 前記制御手段は、前記測定対象物の前記推定輪郭の形状が矩形である場合、前記測定対象物の輪郭点のうち前記第2辺に対応する部分に含まれる点群に対して当該点群に含まれるノイズ点の影響を抑制するための特定の統計処理を施すことによって、前記第2辺の位置および方向を推定することを特徴とする、請求項2から請求項4のいずれかに記載の寸法測定装置。
  6. 前記制御手段は、
    前記測定対象物の表面の前記ポイントクラウドを所定の射影平面に対して射影した射影画像を生成し、
    前記射影画像に基づいて前記測定対象物の前記推定輪郭の形状を判定することを特徴とする、請求項1から請求項5のいずれかに記載の寸法測定装置。
  7. 前記制御手段は、
    前記第1画像の各画素付近の第1ウインドウ領域に対して最も適合する第2ウインドウ領域を前記第2画像内にて探索することにより、前記第1画像の各画素に関して前記第2画像内の対応画素を探索する対応画素探索処理を実行し、
    前記第1ウインドウ領域と前記対応画素探索処理にて探索された前記第2ウインドウ領域との類似の度合いを示す指標であって前記第1画像の前記各画素と前記第2画像の対応画素との対応度合いを示す指標でもある類似度を前記第1画像の特定範囲内の前記各画素についてそれぞれ算出するとともに、
    前記ノイズ輪郭部に含まれる各点に関する前記類似度を反映した統計処理に基づいて、前記ノイズ輪郭部を修正することを特徴とする、請求項1から請求項6のいずれかに記載の寸法測定装置。
  8. 前記制御手段は、
    前記第1画像の各画素付近の第1ウインドウ領域に対して最も適合する第2ウインドウ領域を前記第2画像内にて探索することにより、前記第1画像の各画素に関して前記第2画像内の対応画素を探索する対応画素探索処理を実行し、
    前記第1ウインドウ領域と前記対応画素探索処理にて探索された前記第2ウインドウ領域との類似の度合いを示す指標であって前記第1画像の前記各画素と前記第2画像の対応画素との対応度合いを示す指標でもある類似度を前記第1画像の特定範囲内の前記各画素についてそれぞれ算出するとともに、
    前記ノイズ輪郭部に含まれる点群のうち、その類似度が所定値未満である画素に対応する点を除外した点群に基づいて、前記ノイズ輪郭部を修正することを特徴とする、請求項1から請求項7のいずれかに記載の寸法測定装置。
  9. ステレオカメラの第1カメラにより測定対象物を撮像した第1画像と前記ステレオカメラの第2カメラにより前記測定対象物を撮像した第2画像とに基づき、ステレオ視方式により前記ステレオカメラと前記測定対象物の各点との距離情報を算出し、前記距離情報を用いて得られた前記測定対象物の表面のポイントクラウドに基づき前記測定対象物の寸法を測定する寸法測定方法であって、
    a)前記測定対象物の表面の前記ポイントクラウドの中から前記測定対象物の輪郭点を選択するとともに、当該輪郭点の集合に基づき推定される推定輪郭を求めるステップと、
    b)前記測定対象物の前記推定輪郭のうち、不正確な位置情報を有するノイズ点を所定程度以上含むと推定される部分であって前記第1画像には写っているものの前記第2画像には写っていない死角領域に隣接し或いは前記死角領域に包含される部分であるノイズ輪郭部を特定するステップと、
    c)前記ノイズ輪郭部に含まれる点群に関して所定の処理を施して前記ノイズ輪郭部を修正するステップと、
    d)修正後の前記ノイズ輪郭部を含む前記測定対象物の前記推定輪郭に基づいて、前記測定対象物の寸法を測定するステップと、
    を備えることを特徴とする寸法測定方法。
JP2021099587A 2021-06-15 2021-06-15 寸法測定装置および寸法測定方法 Pending JP2022191000A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021099587A JP2022191000A (ja) 2021-06-15 2021-06-15 寸法測定装置および寸法測定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021099587A JP2022191000A (ja) 2021-06-15 2021-06-15 寸法測定装置および寸法測定方法

Publications (1)

Publication Number Publication Date
JP2022191000A true JP2022191000A (ja) 2022-12-27

Family

ID=84612733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021099587A Pending JP2022191000A (ja) 2021-06-15 2021-06-15 寸法測定装置および寸法測定方法

Country Status (1)

Country Link
JP (1) JP2022191000A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095009A (zh) * 2023-10-20 2023-11-21 山东绿康装饰材料有限公司 一种基于图像处理的pvc装饰板缺陷检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095009A (zh) * 2023-10-20 2023-11-21 山东绿康装饰材料有限公司 一种基于图像处理的pvc装饰板缺陷检测方法
CN117095009B (zh) * 2023-10-20 2024-01-12 山东绿康装饰材料有限公司 一种基于图像处理的pvc装饰板缺陷检测方法

Similar Documents

Publication Publication Date Title
US9053547B2 (en) Three-dimensional point cloud position data processing device, three-dimensional point cloud position data processing system, and three-dimensional point cloud position data processing method and program
US9207069B2 (en) Device for generating a three-dimensional model based on point cloud data
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
JP3624353B2 (ja) 3次元形状計測方法およびその装置
US20130121564A1 (en) Point cloud data processing device, point cloud data processing system, point cloud data processing method, and point cloud data processing program
CN109801333B (zh) 体积测量方法、装置、***及计算设备
US20160182873A1 (en) Image processing apparatus, image processing system, image processing method, and computer program
US20100231711A1 (en) Method for registering model data for optical recognition processing and optical sensor
US20120120198A1 (en) Three-dimensional size measuring system and three-dimensional size measuring method
JP2001524228A (ja) 機械視覚較正標的並びに画像内で標的の位置及び方向を決定する方法
US9147279B1 (en) Systems and methods for merging textures
CN110176075A (zh) 通过视觉***同时考虑图像特征中边缘和法线的***和方法
US10002437B2 (en) Method and electronic device of identifying redundant data
CN110398215A (zh) 图像处理装置和方法,***,物品制造方法,存储介质
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
US20160116990A1 (en) Depth determining method and depth determining device of operating body
WO2022078439A1 (zh) 一种空间与物体三维信息采集匹配设备及方法
JP2022191000A (ja) 寸法測定装置および寸法測定方法
CN109521022A (zh) 基于线共焦相机的触摸屏缺陷检测装置
CN113432558B (zh) 一种基于激光的不规则物体表面积的测量装置及方法
CN112146647B (zh) 一种地面纹理的双目视觉定位方法及芯片
JP3637416B2 (ja) 3次元計測方法、3次元計測システム、画像処理装置、及びコンピュータプログラム
CN112254671B (zh) 一种多次组合式3d采集***及方法
CN112254679A (zh) 一种多位置组合式3d采集***及方法
EP4379662A1 (en) Provision of real world and image sensor correspondence points for use in calibration of an imaging system for three dimensional imaging based on light triangulation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240416