JP7112469B2 - 画像処理装置、画像処理方法、画像処理用プログラム - Google Patents

Description

本発明は、点群データの画像処理技術に関する。

レーザスキャナやステレオ写真計測によって得られる点群データが知られている（例えば特許文献１や２を参照）。

国際公開番号ＷＯ２０１１/０７０９２７号公報 特開２０１２－２３０５９４号公報

点群データをＰＣ等のディスプレイ上に３Ｄ表示させると、対象物の点群によって測定対象物の三次元形状が表示される。点群データの主な活用方法として、点群データから三次元モデルを得る技術がある。三次元モデルは、対象物の輪郭線をデータで表したので、ＣＡＤソフト上で扱う三次元データと親和性が高い。

点群データをそのまま画像表示すると、対象物が点の集合により３Ｄ表示される。しかしながら、三次元モデル化されていない生データの段階では、対象物の輪郭が把握し難く、どの部分が対象物（例えば、建物）の縁やエッジの部分であるのかが、一見して把握し難い。面の向きの違いによって、点の色を変える等して、点群の３Ｄ表示の立体感を把握し易くする工夫がされているが、それでも上記の問題がある。まして、何ら処理を行っていない生データの場合は、上記の問題は顕在化する。

具体的な一例を説明する。図２（Ａ）には、立方体形状の対象物の点群データを３Ｄ表示（斜視図表示）した例が記載されている。図２（Ａ）のように、単に点で表示された場合、遠近感が把握し難く、どの部分が立方体形状の縁であるのか判別し難い。

図２（Ｂ）には、三次元モデル化し、立方体形状の縁の部分を抽出し、それを点群データに重ねて表示した例が示されている。この場合、立体感を把握し易い。しかしながら、図２（Ｂ）は、三次元モデル化のための処理を行った後で得られる表示であり、三次元モデル化の前の段階で点群データを扱う際には、図２（Ｂ）の表示は行えない。

このような背景おいて、本発明は、３Ｄ表示された点群データから対象物の立体構造を把握し易くする技術の提供を目的とする。

請求項１に記載の発明は、点群データの各点のディスプレイ上への３Ｄ表示を行う点群データ表示制御部と、前記点群データを取得した対象物を構成する面に係る面の方程式の算出、および前記面の方程式に基づく前記面の法線の算出を行う面方向算出部と、前記３Ｄ表示された前記点群データから切り取られる平坦な部分を表示する厚みのある矩形形状を有する切り取り範囲表示を前記ディスプレイ上に表示する切り取り範囲表示制御部とを備え、前記面の方程式の算出は、指定を受けた部分の点の取得、該点およびその周囲の複数の点にフィッティングする面の方程式を求めることで行なわれ、前記切り取り範囲表示制御部は、前記切り取り範囲表示の法線の方向を前記面方向算出部が算出した前記面の前記法線の方向に一致させる画像処理装置である。

請求項２に記載の発明は、点群データの各点のディスプレイ上への３Ｄ表示を行う点群データ表示制御ステップと、前記点群データを取得した対象物を構成する面に係る面の方程式の算出、および前記面の方程式に基づく前記面の法線の算出を行う面方向算出ステップとを有し、前記３Ｄ表示された前記点群データから切り取られる平坦な部分を表示する厚みのある矩形形状を有する切り取り範囲表示を前記ディスプレイ上に表示する切り取り範囲表示制御ステップと、前記面の方程式の算出は、指定を受けた部分の点の取得、該点およびその周囲の複数の点にフィッティングする面の方程式を求めることで行なわれ、前記切り取り範囲表示制御ステップでは、前記切り取り範囲表示の法線の方向を前記面方向算出ステップで算出した前記面の前記法線の方向に一致させる処理が行なわれる画像処理方法である。

請求項３に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを点群データの各点のディスプレイ上への３Ｄ表示を行う点群データ表示制御部と、前記点群データを取得した対象物を構成する面に係る面の方程式の算出、および前記面の方程式に基づく前記面の法線の算出を行う面方向算出部と、前記３Ｄ表示された前記点群データから切り取られる平坦な部分を表示する厚みのある矩形形状を有する切り取り範囲表示を前記ディスプレイ上に表示する切り取り範囲表示制御部として動作させ、前記面の方程式の算出は、指定を受けた部分の点の取得、該点およびその周囲の複数の点にフィッティングする面の方程式を求めることで行なわれ、前記切り取り範囲表示制御部は、前記切り取り範囲表示の法線の方向を前記面方向算出部が算出した前記面の前記法線の方向に一致させる画像処理用プログラムである。

本発明によれば、３Ｄ表示された点群データから対象物の立体構造を把握し易くする技術が得られる。

実施形態のブロック図である。 画面表示された点群データの一例を示す概念図である。 画面表示された点群データの一例を示す概念図である。 画面表示された点群データの一例を示す概念図である。 加工した点群データの３Ｄ表示の図面代用写真である。 図５の点群データの３Ｄ表示（強度表示）とその一部断面表示である。 点群データの３Ｄ表示の図面代用写真である。 点群データの３Ｄ表示の図面代用写真である。 点群データの３Ｄ表示の図面代用写真である。 点群データの３Ｄ表示の図面代用写真である。 点群データの３Ｄ表示の図面代用写真である。 点群データの３Ｄ表示の図面代用写真である。

図１には、画像処理装置１００が示されている。画像処理装置１００は、点群データの処理を行うための装置である。通常は、専用のハードウェアではなく、ＰＣ（パーソナルコンピュータ）に画像処理装置１００の機能を実現するアプリケーションソフトウェアをインストールし、当該アプリケーションソフトウェア起動することで、ＰＣにより画像処理装置１００がソフトウェア的に実現される。

ＰＣを利用した場合、図１に図示する各機能部は、ソフトウェア的に構成される。なお、図１に示す各機能部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部が混在していてもよい。例えば、図示する各機能部は、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）などの電子回路により構成される。

各機能部を専用のハードウェアで構成するのか、ＣＰＵにおけるプログラムの実行によりソフトウェア的に構成するのかは、要求される演算速度、コスト、消費電力等を勘案して決定される。例えば、特定の機能部をＦＰＧＡで構成すれば、処理速度の上では優位であるが高コストとなる。他方で、ＣＰＵでプログラムを実行することで特定の機能部を実現する構成は、ハードウェア資源を節約できるので、コスト的に優位となる。しかしながら、ＣＰＵで機能部を実現する場合、処理速度は、専用のハードウェアに比較して見劣りする。なお、機能部を専用のハードウェアで構成することとソフトウェア的に構成することは、上述した違いはあるが、特定の機能を実現するという観点からは、等価である。

画像処理装置１００は、点群データ取得部１０１、点群データ表示制御部１０２、マーカ表示制御部１０３、被指定点群抽出部１０４、被指定点群表示制御部１０５を備えている。点群データ取得部１０１は、三次元レーザスキャナが計測した点群データを三次元レーザスキャナから適当な通信手段を介して取得する。点群データは、ステレオ写真測量の原理を用いて、撮影画像中から抽出した多数の特徴点の三次元座標を求める手法により得ることもできる。

点群データ表示制御部１０２は、点群データをＰＣのディスプレイ等の適当な画像表示装置に表示する。点群データは、そのまま点の表示として表示してもよいし、表示色の変更やノイズ成分の除去等の各種の画像処理を施したものを表示してもよい。

マーカ表示制御部１０３は、３Ｄ表示された点群データを特定の平面で切断するためのマーカ表示の制御を行う。図３には、立方体の測定対象物（建物を想定）の点群データ１５０と、上記のマーカ表示の一例であるマーカ２００が示されている。

マーカ２００は、作業者の操作（例えば、マウスの操作）によって、Ｘ方向（特定の水平方向）に移動可能である。マーカ２００を移動させることで、３Ｄ表示された点群データをＹ－Ｚ平面（Ｚは鉛直方向、ＹはＸ方向に直交する水平方向）で切り取る位置（Ｘ軸上における位置）を指定できる。

図３における方位の設定としては、Ｘ方向を南北方向（または東西方向）、Ｙ方向を東西方向（または南北方向）に設定し、Ｚ方向を鉛直方向に設定する態様が挙げられる。この場合、切断面と方位の関係が把握し易い。また、点群データ１５０の対象が建物の場合に、建物の壁の延在方向に合わせて、ＸＹＺ軸の方向を設定する態様も可能である。図３には、この場合の一例が示されている。

図４には、図３と別にディスプレイ上に同時に表示されるサブ画面の一例が示されている。サブ画面は、主画面と別のディスプレイ上に表示してもよいし、主画面と切り替えて表示できる形態でもよい。図３におけるマーカ２００をＸ軸上で動かしてゆき、マーカ２００を含むＹ－Ｚ平面が点群データ１５０と重なると、その重なった部分（Ｙ－Ｚ平面で切り取られる点群データ）が図４のように表示される。図４（Ａ）には、図３の立方体の点群データ１５０のＸ軸上における縁の部分をＹ－Ｚ平面で切り取った場合の面状の点群データ１５１が示されている。この場合。点群データ１５０のＸ軸上における手前の端面がＹ－Ｚ平面によって切り取られ、この切り取られた面状の部分が表示される。

図３におけるマーカ２００を図４（Ａ）の状態から更にＸ軸正方向に移動させると、点群データ１５０のＹ－Ｚ平面による切断面の位置が変化する。この場合の一例が図４（Ｂ）に示されている。この場合、点群データ１５０の基なる立方体形状の対象物の内部の点群は取得されていないので、枠状の点群が切断面の点群として得られる。

図３の点群データ１５０をＹ－Ｚ平面で切断し、図４の点群データ１５１，１５２を抽出する処理は、以下のようにして行われる。まず、点群データ１５０を構成する各点の三次元座標位置は、既知である。他方で、マーカ２００で指定されるＹ―Ｚ平面の座標は、点群データ１５０を記述する座標系での面の方程式により指定できる。よって、点群データ１５０におけるマーカ２００で指定されるＹ―Ｚ平面と交わる（あるいは近接する）点群を抽出することができる。厳密には、点群は離散して分布しているので、閾値を設定し、この閾値の範囲で上記Ｙ－Ｚ平面に近接する点の抽出が行われる。

図４（Ａ）および（Ｂ）に示すように、マーカ２００を利用して３Ｄ表示された点群データを切断し、その切断面に存在する点群を別画面に表示させることで、点群データの立体配置状態を把握し易くなる。例えば、マーカ２００をＸ軸方向に移動させることで、点群データ１５０のＹ－Ｚ平面で切り取られる点群データ１５０の縁の部分が次々と表示され、その表示履歴を追うことで、点群データ１５０の基なる測定対象物の立体形状（縁の部分）を把握し易くなる。

マーカ２００の移動方向は、作業者が希望する方向に設定できる。また例えば、マーカ２００を自動で移動させ、次々に現れる切断面の点群表示を時間軸上に並べた複数のサムネイル画像で表示することで、点群データの立体分布状態を把握し易くするといったＵＩ表示も可能である。

上記の例では、切り取りに用いるＹ―Ｚ平面に厚みがない場合を示したが、切り取りに用いるＹ―Ｚ平面に厚みがあってもよい。この場合、Ｘ軸方向にも点群が分布したものが切り取られる。

被指定点群抽出部１０４は、点群データを特定の平面で切断した切断面における点群データを抽出する。例えば、図３の３Ｄ表示された点群データ１５０から、図４の点群データ１５１，１５２を切り取り抽出する処理が被指定点群抽出部１０４で行われる。

被指定点群表示制御部１０５は、被指定点群抽出部１０４で抽出された点群データの画面表示の制御を行う。例えば、図４の表示制御が被指定点群表示制御部１０５によって行われる。

以上述べたように、画像処理装置１００は、点群データの３Ｄ表示を行う点群データ表示制御部１０２と、前記３Ｄ表示された前記点群データの切断面を指定するマーカ表示を行うマーカ表示制御部１０３と、前記点群データにおける前記切断面に存在する点群を別画面に表示する被指定点群表示制御部１０５とを備えている。

この構成によれば、測定対象物の縁の部分が抽出され、表示されるので、点群データの立体分布状態の把握が容易となる。例えば、建物を対象とした点群データであれば、三次元モデルの作成を行わなくても当該建物の立体形状の把握が容易となる。

図５は、測定対象物の点群データを加工したものをディスプレイ上に３Ｄ表示させたものである。図５の点群データは、点に色を付けて点群画像として見やすいように加工したものである。この処理は、点群データの取得と同時にカメラによって撮影された写真画像と、点群データとを重ね合わせ、写真画像に基づいて、対応する領域の点に色を付けることで行われる。

図６の左には、図５の基となる点群データを反射光の強度に対応させて濃淡をつけて表示した点群画像が示され、図６の右には、左画面に示される帯状のラインで切断した断面部分の点群を切断面に垂直な方向から見たものが示されている。図６に示すように、３Ｄ表示された点群データの一部を切断（図６（Ａ）参照）し、その切断面の点群を切断面に垂直な方向から見た状態で表示（図６（Ｂ）参照）することで、対象物の輪郭を把握し易くなる。また、図６左側の点群画像に示されるライン（切断面を決めるライン）の幅は、選択可能であり、このラインの幅を広くすることで、切断面に垂直な方向における幅を持った領域から点を抽出できる。

また、マーカ２００とは別の機能を有するマーカである「切り取り範囲表示」の表示も行われる。「切り取り範囲表示」は、３Ｄ表示された点群データの切り取られる部分（切断する部分）の範囲を示すマーカである。「切り取り範囲表示」の表示制御もマーカ表示制御部１０３で行われる。図７には、やや厚みのある平坦な矩形状の「切り取り範囲表示」が点群表示画面上に表示された一例が示されている。マーカ２００の表示と「切り取り範囲表示」は、いずれか一方のみを表示することもできるし、両方を同時に表示することもできる。なお、図７は、点に濃淡を付けて点群画像として見やすいように加工したものである。この処理は、点群データの取得と同時にカメラによって撮影された写真画像と、点群データとを重ね合わせ、写真画像に基づいて、対応する領域の点に濃淡を付けることで行われる。

図７に示すように、「切り取り範囲表示」の表示は、点群データの全体が表示されている画面上で行われる。こうすることで、切り取る部分を視覚的に把握することが容易となる。「切り取り表示範囲」の位置および大きさは指定することができる。例えば、図７の「切り取り表示範囲」を左クリックし、マウスを動かすと、その位置が移動する。また、「切り取り表示範囲」を右クリックし、マウスを動かすと、大きさが変更できる。大きさ変更は直交する３軸方向について独立して可能である。これらの制御もマーカ表示制御部１０３で行われる。

また、図７には、切り取られた部分がカラー表示されている例が示されている。全体をモノクロ階調表示とし、切り取られた部分をカラー表示とすることで、切り取られる部分を立体的に把握し易くなる。図８には、図７の「切り取り範囲表示」で切り取られた部分のみを表示した画面が示されている。

「切り取り範囲表示」を回転させることもできる。点群データの各点は、三次元座標が判っているので、「切り取り範囲表示」を回転させることで、切り取られる点が変わり、切り取られる部分の表示（例えば、図８の表示）も変化する。

「切り取り範囲表示」を対象物の面の向きに対応させて表示させるモードも可能である。この一例を図１１に示す。図１１の例では、対象物の面の法線と「切り取り範囲表示」の面の法線とを一致させて「切り取り範囲表示」を行う場合が示されている。対象物の面に着目して点群データを取り扱う場合が多々ある。このような場合に、「切り取り範囲表示」を対象物の面に合わせて表示させると便利である。

「切り取り範囲表示」の面の向き（法線の向き）を対象物の面の向き（法線に向き）に合わせる処理は、以下のようにして行われる。この処理は、面方向算出部１０６で行われる。この処理では、まず図９の状態で対象物の面の法線と一致させた「切り取り範囲表示」を行わせたい対象物の部分を指定する。図９の例でいうと、例えば建物の右側の壁面部分を指定する。この操作は、例えばマウス操作によって行われる。

次に、指定された部分の点を取得し、更にその取得された点（指定点）の周囲の複数の点を取得する。例えば、指定された点を中心とした１５点×１５点といった矩形領域の点を取得する。なお、取得する点の範囲や取得の方法（例えば、連続の点でなく、５点間隔や１０点間隔で取得する等）は任意に設定可能である。

次に、上記の指定点およびその周囲の複数の点で構成される点群にフィッティングする面の方程式を算出する。そして、算出された面の法線を算出し、この法線を対象物の指定された部分の面の法線として取得する。次いで、この指定された部分の面の法線に合わせて「切り取り範囲表示」の向きを調整する。すなわち、上記方法で算出された指定部分の法線と「切り取り範囲表示」の法線とが一致するように「切り取り範囲表示」の向きの調整が行われる。この向きの調整は、マーカ表示制御部１０３で行われる。こうして、例えば図１１に示すような、対象物の面の向きに合わせた「切り取り範囲表示」の表示が行われる。

例えば、図９の状態では、「切り取り範囲表示」によって建物を斜めに切断する状態なので、切り取られた点群のみを表示した図１０の表示は、今一つ視覚的に把握し難い。これに対して、対象物の面の法線に合わせて「切り取り範囲表示」を設定する処理では、図１１の右側および切り取られた点群のみを表示した図１２の表示から判るように、対象物を視覚的に把握し易い点群表示が可能となる。

（本明細書中で開示されている発明）
本明細書には、以下の発明が開示されている。第１の開示されている発明は、点群データの３Ｄ表示を行う第１の点群データ表示制御部と、前記３Ｄ表示された前記点群データの切断面を指定するマーカ表示を行うマーカ表示制御部と、前記点群データにおける前記切断面に存在する点群を別画面に表示する第２の点群データ表示制御部とを備えることを特徴とする画像処理装置である。

第２の開示されている発明は、第１の開示されている発明において、前記マーカ表示は、前記切断面に垂直な方向に移動させることが可能であり、前記切断面の前記移動により、前記点群データの中から前記切断面によって切り取られる新たな点群の抽出が行われることを特徴とする。

第３の開示されている発明は、第１または第２の開示されている発明において、前記切断面に存在する点群として、前記切断面に垂直な方向における特定の範囲におけるものが抽出されることを特徴とする。

第４の開示されている発明は、第１～第３の開示されている発明のいずれか一つにおいて、前記切断面で切り取られる点群データの表示の色彩を前記切断面で切り取られない点群データの表示の色彩と異ならせる処理が行なわれることを特徴とする。

第５の開示されている発明は、第１～第４の開示されている発明のいずれか一つにおいて、前記マーカ表示は、前記切断面の範囲を示し、前記マーカ表示の位置および大きさの一方または両方の変更が可能なことを特徴とする。

第６の開示されている発明は、第１～第５の開示されている発明のいずれか一つにおいて、前記点群データの面の方向に合わせて前記切断面の向きが設定されることを特徴とする。

第７の開示されている発明は、点群データの３Ｄ表示を行う第１の点群データ表示制御ステップと、前記３Ｄ表示された前記点群データの切断面を指定するマーカ表示を行うマーカ表示制御ステップと、前記点群データにおける前記切断面に存在する点群を別画面に表示する第２の点群データ表示制御ステップとを備えることを特徴とする画像処理方法である。

第８の開示されている発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを点群データの３Ｄ表示を行う第１の点群データ表示制御部と、前記３Ｄ表示された前記点群データの切断面を指定するマーカ表示を行うマーカ表示制御部と、前記点群データにおける前記切断面に存在する点群を別画面に表示する第２の点群データ表示制御部として動作させることを特徴とする画像処理用プログラムである。

Claims (3)

1. 点群データの各点のディスプレイ上への３Ｄ表示を行う点群データ表示制御部と、
   前記点群データを取得した対象物を構成する面に係る面の方程式の算出、および前記面の方程式に基づく前記面の法線の算出を行う面方向算出部と、
   前記３Ｄ表示された前記点群データから切り取られる平坦な部分を表示する厚みのある矩形形状を有する切り取り範囲表示を前記ディスプレイ上に表示する切り取り範囲表示制御部と
   を備え、
   前記面の方程式の算出は、指定を受けた部分の点の取得、該点およびその周囲の複数の点にフィッティングする面の方程式を求めることで行なわれ、
   前記切り取り範囲表示制御部は、前記切り取り範囲表示の法線の方向を前記面方向算出部が算出した前記面の前記法線の方向に一致させる画像処理装置。
2. 点群データの各点のディスプレイ上への３Ｄ表示を行う点群データ表示制御ステップと、
   前記点群データを取得した対象物を構成する面に係る面の方程式の算出、および前記面の方程式に基づく前記面の法線の算出を行う面方向算出ステップと、
   前記３Ｄ表示された前記点群データから切り取られる平坦な部分を表示する厚みのある矩形形状を有する切り取り範囲表示を前記ディスプレイ上に表示する切り取り範囲表示制御ステップと
   を有し
   前記面の方程式の算出は、指定を受けた部分の点の取得、該点およびその周囲の複数の点にフィッティングする面の方程式を求めることで行なわれ、
   前記切り取り範囲表示制御ステップでは、前記切り取り範囲表示の法線の方向を前記面方向算出ステップで算出した前記面の前記法線の方向に一致させる処理が行なわれる画像処理方法。
3. コンピュータに読み取らせて実行させるプログラムであって、
   コンピュータを
   点群データの各点のディスプレイ上への３Ｄ表示を行う点群データ表示制御部と、
   前記点群データを取得した対象物を構成する面に係る面の方程式の算出、および前記面の方程式に基づく前記面の法線の算出を行う面方向算出部と、
   前記３Ｄ表示された前記点群データから切り取られる平坦な部分を表示する厚みのある矩形形状を有する切り取り範囲表示を前記ディスプレイ上に表示する切り取り範囲表示制御部と
   して動作させ、
   前記面の方程式の算出は、指定を受けた部分の点の取得、該点およびその周囲の複数の点にフィッティングする面の方程式を求めることで行なわれ、
   前記切り取り範囲表示制御部は、前記切り取り範囲表示の法線の方向を前記面方向算出部が算出した前記面の前記法線の方向に一致させる画像処理用プログラム。

Images