路面の凹凸のおおよその範囲のみならず,凹凸の高さや深さを示す画像情報(深度画像情報)を高精度で得ることができれば,その凹凸の状況を視覚的に確認することができるので有益である。しかし,特許文献3の路面計測装置を用いることによって,路面に加工や塗装等がされている場合であっても,路面の凹凸の検出の精度を向上させることはできるが,深度画像情報を得ることまではできない。
また,路面の凹凸の異常を検出する目的は,その凹凸を管理し,必要に応じて修繕するためであることから,どこにその凹凸があるかを的確に把握する必要もある。しかし引用文献1乃至引用文献3に示す従来技術では,それを得ることができないため,凹凸の管理,修繕の際には,再度,その位置を探さなければならない。
本発明者は上記課題に鑑み,路面を撮影した画像情報に対する画像処理システムを発明した。
第1の発明において,路面を撮影した画像情報に対する画像処理を行う画像処理システムであって,前記画像処理システムは,少なくとも2台以上の撮影装置で路面を撮影した撮影画像情報を用いて深度画像情報を生成する深度画像情報処理部と,位置情報計測装置で計測した位置情報を,前記撮影装置の位置情報に補正する位置情報補正処理部と,前記補正後の位置情報に基づく距離と,前記撮影画像情報に基づく可視光画像情報および/または深度画像情報に基づく距離とを用いて,前記可視光画像情報および/または深度画像情報の伸縮処理をすることで,前記可視光画像情報および/または深度画像情報に対する補正処理を実行する画像情報補正処理部と,を有しており,前記可視光画像情報と,前記深度画像情報と,前記補正後の位置情報とを対応づける,画像処理システムである。
本発明により,路面が撮影された可視光画像情報と,凹凸を示す深度画像情報と,それらの位置情報とを対応づけることができる。
路面が撮影された可視光画像情報や深度画像情報と,実際の位置にはずれがある場合がある。たとえば3000mの滑走路の場合,1%の誤差があった場合でも始点と終点とでは30mの誤差となってしまう。そのため,これらを補正することが好ましい。
第2の発明において,路面を撮影した画像情報に対する画像処理を行う画像処理システムであって,前記画像処理システムは,少なくとも2台以上の撮影装置で路面を撮影した撮影画像情報を用いて深度画像情報を生成する深度画像情報処理部と,位置情報計測装置で計測した位置情報を,前記撮影装置の位置情報に補正する位置情報補正処理部と,を有しており,前記撮影画像情報に基づく可視光画像情報と,前記深度画像情報と,前記補正後の位置情報とを対応づけており,前記深度画像情報処理部は,前記深度画像情報に対して,急斜面区域の領域を特定することで変状候補の領域を特定し,前記変状候補の領域の周辺の高さおよび/または深さを示す情報と所定値以上の差がある前記変状候補の領域内の画素を特定し,前記特定した画素を用いて変状領域を特定する,画像処理システムである。
本発明により,路面が撮影された可視光画像情報と,凹凸を示す深度画像情報と,それらの位置情報とを対応づけることができる。
移動体の走行中に急発進や急ブレーキによって移動体にピッチング運動が生じたり,あるいは移動体の乗車中の人員の動きによって上下運動が生じると,撮影装置と路面の距離が変動する。この距離の変動が撮影画像情報に与える影響は小さいものの,深度画像情報に対しては大きな影響を与える。たとえば,路面の平均レベルを基準に上下1cmの凹凸の差を変状として検出する場合には,移動体の上下動の振幅が2cm以上あると,路面の凹み(凹部)や出っ張り(突出部)の変動が小さくなり,凹凸による変状の未検出や過検出が生じることとなる。
そして,2台以上の撮影装置で路面を撮影した画像情報を用いて深度画像情報を生成する方式を採用した場合,上記の課題を補正するためには,角度センサや加速度センサを移動体に追加して移動体や撮影装置の挙動を検出し,深度画像情報を補正する方法や,レーザ等による距離センサを移動体に追加して,撮影装置と路面の距離を検出して変位量を計測して,深度画像情報を補正する方法などがある。しかし,これらの場合,新たなハードウェアの追加が必要となる。
そこで本発明の処理を用いることで,上述のような新たなハードウェアの追加を行うことなく,路面の凹凸による変状領域を特定することができる。
上述の発明において,前記深度画像情報処理部は,前記深度画像情報とその深度画像情報をずらした画像情報との差分が,前記急斜面区域として定めた値以上である画素を用いて前記変状候補の領域を特定する,画像処理システムのように構成することができる。
上述の発明において,前記深度画像情報処理部は,前記深度画像情報とその深度画像情報を所定の方向にずらした画像情報との差分が前記急斜面区域として定めた値以上である画素をマーキングしたマーキング画像情報を生成し,前記生成したマーキング画像情報を重畳表示して各マーキングした画素の領域を凸包する領域を変状候補の領域として特定する,画像処理システムのように構成することができる。
凹凸がある場合,高さおよび/または深さを示す情報が急激に変化している箇所である。そのため,一定の量だけずらした画像情報とずらす前の画像情報とを比較し,その差分が所定値以上のときには,凹凸のような急斜面があることが推定できる。そこで,これらの発明の処理を用いることで,変状候補の領域を特定することができる。
上述の発明において,前記深度画像情報処理部は,前記特定した変状候補の領域の外側の閉領域内の高さおよび/または深さを示す情報の平均と,前記変状候補の領域内の高さおよび/または深さを示す情報との差が所定値以上である画素をマーキングし,前記マーキングした画素の領域の画素数に基づいて,前記変状候補の領域の面積を算出し,前記算出した面積が所定の閾値の条件を充足する場合には,前記変状候補の領域を前記変状領域として特定する,画像処理システムのように構成することができる。
変状候補の領域は,変状領域として推定される領域である。一方,そのように推定した領域であっても,ノイズを誤検出してしまう可能性は否定できない。そこで,変状候補の領域は,変状候補の領域の周辺の高さおよび/または深さとの差が所定値以上ある領域であるから,その領域を構成する画素による面積が所定値以上などの条件を充足すれば,ノイズではなく,実際の変状領域と精度高く推定できる。このような処理を実行することで,変状領域を精度高く特定することができる。また,このような処理をすることで,変状領域の大きさ(面積)も同時に特定することができる。
上述の発明において,前記深度画像情報処理部は,前記特定した変状領域における高さおよび/または深さを示す情報の最大値と最小値と,前記変状候補の領域から一定距離外側の領域内の高さおよび/または深さを示す情報の平均との差により,前記変状領域の高さおよび/または深さを算出する,画像処理システムのように構成することができる。
変状領域については凹凸の状況,すなわち高さおよび/または深さも重要である。そのため,本発明の処理を実行することで,変状領域の高さおよび/または深さを特定することができる。
上述の発明において,前記高さおよび/または深さを示す情報として,前記深度画像情報における画素の明度を用いる,画像処理システムのように構成することができる。
高さや深さの違いは明度に反映されやすい。そこで画素の明度の階調差と,高さおよび/または深さの差をあらかじめ対応づけておくことで,移動体の上下動などの外乱による影響を,ハードウェアの追加をすることなく,処理することができる。
第1の発明の画像処理システムは,本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち,コンピュータを,少なくとも2台以上の撮影装置で路面を撮影した撮影画像情報を用いて深度画像情報を生成する深度画像情報処理部,位置情報計測装置で計測した位置情報を,前記撮影装置の位置情報に補正する位置情報補正処理部,前記補正後の位置情報に基づく距離と,前記撮影画像情報に基づく可視光画像情報および/または深度画像情報に基づく距離とを用いて,前記可視光画像情報および/または深度画像情報の伸縮処理をすることで,前記可視光画像情報および/または深度画像情報に対する補正処理を実行する画像情報補正処理部,として機能させる画像処理プログラムであって,前記可視光画像情報と,前記深度画像情報と,前記補正後の位置情報とを対応づける,画像処理プログラムである。
また,第2の発明の画像処理システムは,本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち,コンピュータを,少なくとも2台以上の撮影装置で路面を撮影した撮影画像情報を用いて深度画像情報を生成する深度画像情報処理部,位置情報計測装置で計測した位置情報を,前記撮影装置の位置情報に補正する位置情報補正処理部,として機能させる画像処理プログラムであって,前記撮影画像情報に基づく可視光画像情報と,前記深度画像情報と,前記補正後の位置情報とを対応づけており,前記深度画像情報処理部は,前記深度画像情報に対して,急斜面区域の領域を特定することで変状候補の領域を特定し,前記変状候補の領域の周辺の高さおよび/または深さを示す情報と所定値以上の差がある前記変状候補の領域内の画素を特定し,前記特定した画素を用いて変状領域を特定する,画像処理プログラムである。
上述の各発明の画像処理システムを用いて,本発明の路面変状検出装置を構成することができる。すなわち,請求項1から請求項7のいずれかに記載の画像処理システムと,路面を撮影するための少なくとも2台以上の撮影装置と,位置情報を計測するための位置情報計測装置と,前記撮影装置による撮影範囲を照らす光源を備えた照明装置と,を有する移動体搭載装置と,を有する路面変状検出装置である。
上述の発明において,前記路面が滑走路の場合,前記移動体は航空機と同じ方向に移動し,前記照明装置は,前記移動体の横方向に傾けられている,路面変状検出装置のように構成することができる。
たとえば路面が滑走路の場合,航空機が滑走する方向に対して垂直方向にグルービング(滑走路面に掘られた排水性を高めるための凹型の溝)が形成されている。そのため,グルービングによる影が生じないように,移動体は航空機と同じ方向に走行し,かつ照明装置の光源は本発明のように移動体の横方向に傾けるとよい。
本発明の画像処理システムを用いることで,路面を撮影した可視光画像情報と,路面の凹凸を示す深度画像情報を取得することができる。また,位置情報とも対応づけられているので,凹凸の変状があった位置を容易に特定可能となる。
本発明の画像処理システム1およびその画像処理システム1を用いた路面変状検出装置3の全体の構成の一例のブロック図を図1に示す。また,本発明の画像処理システム1で用いるコンピュータのハードウェア構成の一例のブロック図を図2に示す。
画像処理システム1は,後述する移動体搭載装置2で撮影した画像情報(撮影画像情報)を用いて,路面の凹凸の状況を示す深度画像情報を生成し,またそれらと計測した位置情報とを対応づける。画像処理システム1は,移動体搭載装置2で撮影,計測した各情報が記録装置23に記録され,そこに記録された情報に基づいて処理を実行する。画像処理システム1の処理は,サーバやパーソナルコンピュータのほか,スマートフォンやタブレット型コンピュータなどの可搬型通信端末などのコンピュータによって実現される。
コンピュータは,プログラムの演算処理を実行するCPUなどの演算装置70と,情報を記憶するRAMやハードディスクなどの記憶装置71と,ディスプレイなどの表示装置72と,情報の入力を行う入力装置73と,演算装置70の処理結果や記憶装置71に記憶する情報の通信をする通信装置74とを有している。なお,コンピュータがタッチパネルディスプレイを備えている場合には表示装置72と入力装置73とが一体的に構成されていてもよい。タッチパネルディスプレイは,たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが,それに限定するものではない。
タッチパネルディスプレイは,そのディスプレイ上で,直接,所定の入力デバイス(タッチパネル用のペンなど)や指などによって入力を行える点で,表示装置72と入力装置73の機能が一体化した装置である。
画像処理システム1のコンピュータは,一台のコンピュータであってもよいし,その機能が複数のコンピュータによって実現されていてもよい。この場合のコンピュータとして,たとえばクラウドサーバであってもよい。
本発明の画像処理システム1における各手段は,その機能が論理的に区別されているのみであって,物理上あるいは事実上は同一の領域を為していても良い。
路面変状検出装置3は,画像処理システム1と移動体搭載装置2とを有する。
移動体搭載装置2は,路面を走行する車両などの移動体に搭載される装置であって,路面を撮影する少なくとも2台以上の撮影装置20と,各撮影装置20を同期して撮影を行わせる同期装置21と,位置情報を計測する位置情報計測装置22と,撮影装置20で撮影した撮影画像情報および撮影時刻と位置情報計測装置22で計測した位置情報および時刻とを記録する記録装置23とを有する。
移動体搭載装置2を搭載した移動体としての車両の一例を図3および図4を示す。図3は,移動体搭載装置2を搭載した車両の側面図であり,図4は,移動体搭載装置2を搭載した車両の背面図である。
撮影装置20は移動体が移動する路面を撮影する装置であって,少なくとも2台以上を備えている。撮影装置20としては,好ましくはラインセンサを用いることができるがそれに限定するものではない。ラインセンサは,線単位で路面状況を撮影する。たとえば1mm移動するたびに1mm分の路面を撮影をする。移動距離の検出は距離計を用いればよい。すなわち1mm移動することを距離計で検出することで各撮影装置20により撮影を行う。ラインセンサはレンズ20a1,20b1とラインセンサ素子20a2,20b2とを有する。ラインセンサのレンズ20a1,20b1は,路面を撮影可能なように,路面側に向けられている。ラインセンサは,路面の映像をレンズによってラインセンサ素子20a2,20b2に結像させ,その光量をビデオ信号に変換して画像情報として出力する。各ラインセンサが撮影した各画像情報は1mm分の画像情報である。そのため,ラインセンサは,所定の単位枚数分(たとえば1000枚分)の画像情報を連結し,一つの画像情報として後述する記録装置23に記録する。この単位枚数分の画像情報を撮影画像情報(またはフレーム)とする。
撮影装置20は路面の撮影を開始する際には,位置情報計測装置22が所定のPPS信号を用いて,撮影装置20に対して計測開始のコマンドを送る。このコマンドを受け付けた撮影装置20は,撮影を開始するとともに,内蔵した計時手段を「0」にリセットして計時を開始する。そして,撮影装置20で所定の単位枚数,たとえば1000枚分を撮影したところで,計時手段で計時している時刻(相対時刻)を,撮影画像情報に対応づけて記録する。そして,計時手段はそのまま計時を継続し,次の単位枚数分の画像情報を撮影した時点における時刻を,撮影画像情報に対応づけて記録する。これを撮影が終了するまで反復する。すなわち,撮影装置20で単位枚数の画像情報を撮影するごとに,計時手段で計時している時刻(相対時刻)を記録し,撮影画像情報に対応づけて記録しておく。それぞれの単位枚数の画像情報を撮影するのに要した時間は,撮影画像情報に対応づけて記録している相対時刻の差分を演算すれば算出できる。このように撮影装置20での撮影を開始するタイミングと,位置情報計測装置22で位置情報および時刻情報を取得したタイミングとが同期をしていることから,撮影画像情報ごとの時刻情報は,位置情報計測装置22で取得した位置情報に,上記算出した時間を加算することで算出することができる。撮影画像情報ごとの時刻情報は,後述する画像情報補正処理部14の際に算出をしてもよいし,撮影装置20が撮影画像情報を記録装置23に記録する際に行うなど,任意のタイミングで行うことができる。
上述の単位枚数の画像情報を撮影するのに要した時間の記録は,計時手段で単位枚数ごとの撮影に要した時間を計時するとともに,撮影画像情報の撮影順番を対応づけて記録しておくのでもよいし,ほかの方法であってもよい。
なお,撮影装置20としてラインセンサを用いず,通常の光学式カメラなどを用いる場合には,その撮影をした画像情報が撮影画像情報であり,また撮影画像情報ごとの時刻情報を記録しておけばよい。
同期装置21は,移動体搭載装置2における少なくとも2台以上の撮影装置20を同期させる。すなわち,同期装置21によって,2台以上の撮影装置20の撮影タイミングを同期させて路面を撮影する。
位置情報計測装置22は,たとえばGPS装置であり,その位置情報を計測し,時刻情報を取得する。位置情報としてはたとえば緯度,経度が好ましいが,それに限定するものではない。位置情報計測装置22で計測した位置情報および時刻情報は,後述する記録装置23に記録する。位置情報計測装置22は,高精度のGPSレシーバー,たとえば「HemishereA101」などを用いることができる。
位置情報計測装置22は,一定のタイミングごとに位置情報および時刻情報を取得する。たとえば1秒間に10回,1秒間に20回などのタイミングで位置情報および時刻情報を取得する。
記録装置23は,撮影装置20で撮影した撮影画像情報と,位置情報計測装置22で計測した位置情報とを記録する。記録装置23は,移動体搭載装置2の一部として,移動体に設けてもよいし,クラウドサーバなどを用い,移動体の外部に設けてもよい。
図5に移動体搭載装置2で路面を撮影する際のイメージを模式的に示す。
移動体搭載装置2は,移動体にどのように取り付けられていてもよく,たとえば図3および図4に示すように,移動体の後方に取り付けられるとよいが,それに限定するものではない。たとえば移動体の前方に取り付けられていてもよい。撮影装置20は,移動体の後端部よりも後方に位置しており,路面を上方から撮影する。撮影装置20は,移動体のルーフキャリア41などに取り付けた金属製の取付ビーム26(支持体)の後端部付近に設置される。
取付ビーム26における撮影装置20の取り付け箇所の近傍には,位置情報計測装置22が取り付けられている。
取付ビーム26の撮影装置20の付近から路面側に対して,支柱25aが下方に突出しており,照明装置24の上端部付近で接合している。また,照明装置24は,移動体の後端下部側に設けられた照明装置支持台26から上方に突出している支柱25b,25cとそれぞれ接合をしている。支柱25bは照明装置24の下方付近で接合しており,支柱25cは照明装置24の上方付近で接合している。なお,照明装置の支持方法はいかなる方法であってもよい。
照明装置24は,LEDなどの光源により,平行光または平行光に近い光を路面に対して照射する。照明装置24は,路面の変状に対してくっきりした均質の陰影ができるように路面を照らすために,路面に平行光に近い光を当てる。そのため光源としては指向性の高いLEDが好ましいが,それに限定されない。平行光を照射する角度は水平に近ければ陰影が大きくなりすぎ,垂直に近ければ陰影が生じないため,照明装置24を路面に対して一定の角度で傾けて照射することが好ましい。傾斜の方向は,撮影対象とする路面の特性に合わせればよい。撮影装置20による撮影と照明装置24による光の照射との関係を図6に示す。図6(a)では移動体の後方から撮影装置20による撮影と照明装置24による光の照射との関係を示す図であり,図6(b)は移動体の側方から撮影装置20による撮影と照明装置24による光の照射との関係を示す図である。撮影装置20の間隔Aは撮影対象とする幅方向の範囲,撮影装置20を取り付ける高さの位置関係,撮影装置20の画角にもよるが,たとえば260cm程度を撮影幅とし,撮影装置20を路面から140cm程度,撮影装置20の画角が約90度とすると,撮影装置20の間隔Aは,路面までの距離の約10%,たとえば14cm程度の間隔とすることが好ましい。
なお,上記の寸法と各角度の関係は一例であって,寸法と角度はそれぞれ好適な関係となるように調整すればよい。
画像処理システム1は,移動体搭載装置2で記録した撮影画像情報,位置情報,時刻情報を用いて,路面の凹凸の異常(変状)を検出する。画像処理システム1の処理を実行するコンピュータは,移動体計測装置を搭載した移動体に搭載されていてもよいし,移動体に搭載していなくてもよい。変状とは,路面の凹凸の異常であり,たとえば路面にある凹部(ポットホールや剥離など)や凸部(突出部)などがある。
画像処理システム1は,画像情報取得処理部10と深度画像情報処理部11と位置情報取得処理部12と位置情報補正処理部13と画像情報補正処理部14とを有する。
画像情報取得処理部10は,移動体搭載装置2の記録装置23に記録した撮影画像情報を取得する。画像情報取得処理部10は,撮影装置20のうち,いずれか一つの撮影装置20を選択し,選択した撮影装置20で撮影した撮影画像情報を,深度画像情報に対応づける画像情報(可視光画像情報)とする。可視光画像情報は,時系列的につなげることで,路面の表面を連続させた画像情報とすることができる。可視光画像情報は,後述する深度画像情報と対応づける。
なお,画像情報取得処理部10は,撮影装置20のそれぞれで撮影した撮影画像情報の共通の撮影範囲のみをトリミングして可視光画像情報としてもよい。
深度画像情報処理部11は,画像情報取得処理部10で取得した各撮影装置20の各撮影画像情報に基づいて,深度画像情報を生成する。撮影装置20が2台ある場合,それぞれの撮影装置20で同一の路面の範囲を含むように,同期装置21で同期させて撮影をしている。そのときの2台の撮影装置20で撮影された2つの撮影画像情報に基づいて深度画像情報を生成する。深度画像情報とは,奥行き(高さおよび/または深さ)を示す情報を持つ画像情報である。深度画像情報を生成するには,各撮影装置20の視差情報を用いて生成することができる。たとえば対象物となる路面までの距離,撮影装置20の間隔(視差)などの情報をパラメータとし,OpenCVのStereoBMなどで提供されるライブラリ(ブロックマッチングアルゴリズムを利用したステレオ対応点探索)を用いて深度画像情報を生成することができる。深度画像情報は,撮影画像情報における画素の明度によってその奥行き(高さおよび/または深さ)が表現される画像情報であるが,画素の明度以外の情報によって奥行きが表現されてもよい。生成した深度画像情報は,その元となった撮影画像情報や可視光画像情報,その撮影画像情報と対応づけておく。
位置情報取得処理部12は,移動体搭載装置2の記録装置23に記録した位置情報および時刻情報を取得する。
位置情報補正処理部13は,位置情報計測装置22で計測した位置情報を,撮影装置20(とくに可視光画像情報とする撮影画像情報を撮影した撮影装置20)の位置情報に補正する。位置情報の補正は,位置情報取得処理部12で取得した位置情報について,補正対象とする撮影装置20と位置情報計測装置22との位置のずれ量(撮影装置20と位置情報計測装置22とが離れている距離を示す横方向のオフセット)から補正する。これを模式的に示すのが図7である。
なお,画像情報取得処理部10において,可視光画像情報として撮影装置20のそれぞれで撮影した撮影画像情報の共通の撮影範囲のみをトリミングしている場合,得られた可視光画像情報の中央は,撮影装置20a,20bの中央線と一致することから,位置情報補正処理部13の補正処理を実行しなくてもよい。
画像情報補正処理部14は,可視光画像情報および/または深度画像情報の伸縮を調整し,その大きさを補正する処理を実行する。移動体における距離計には誤差があることから,この誤差を,可視光画像情報および/または深度画像情報を伸縮することで補正する。たとえば1mmの単位で計測する距離計に1%の誤差がある場合,3000mの滑走路では始点と終点で30mの誤差が生じる。そのため,可視光画像情報や深度画像情報をそのまま連続的に並べたときに,位置情報補正処理部13で補正した位置情報を用いて,可視光画像情報および/または深度画像情報の伸縮を調整し,その大きさを補正することで,そのずれが最小となるようにする。
この処理を模式的に示すのが図8である。図8では撮影装置20としてラインセンサを用いた場合を示している。まず画像情報補正処理部14は,可視光画像情報および深度画像情報を,それぞれ撮影した時刻の順番に整列する。撮影装置20による撮影を開始するタイミング(rt0)と,位置情報計測装置22による時刻情報(at0)とは同期をしていることから,位置情報計測装置22で時刻情報を取得した時点から撮影装置20による撮影が開始されている。そして,可視光画像情報ごとに相対時間(rt1,rt2,rt3,・・・)が対応づけて記録されている。一方,位置情報計測装置22は,所定の間隔,たとえば1秒間に10回または20回などの間隔で,位置情報と時刻情報とを取得しているが,可視光画像情報の幅(たとえば所定単位の枚数が1000枚のとき1m)となったときに,必ずしも位置情報計測装置22で位置情報を取得しているとは限らない。
そこで,画像情報補正処理部14は可視光画像情報の終端に対応する位置情報を算出する。具体的には,たとえば可視光画像情報2では,位置情報計測装置22で取得した時刻情報at6とat7の間で可視光画像情報2の終端に対応する位置がある。そこで,位置情報計測装置22で取得した時刻情報at6のときの位置情報P6(図8のC)と,位置情報計測装置22で取得した時刻情報at7のときの位置情報P7(図8のB)とから,比例配分によって,可視光画像情報2の終端に対応する位置(図8のA)を算出することができる。
比例配分の算出方法にはさまざまなものがあるが,可視光画像情報2の終端に対応する位置における相対時間rt2は分かっているので,位置情報計測装置22で取得した時刻情報at0に,可視光画像情報ごとの相対時間rt1,rt2を加算することで,可視光画像情報2の終端に対応する位置Aにおける時刻情報を特定できる。ここで特定した時刻情報と,位置情報計測装置22で取得した時刻情報at6,at7とを比例配分することで比率が特定できるので,時刻情報at6のときの位置情報P6と,時刻情報at7のときの位置情報P7とを上記比率を用いて演算することで,可視光画像情報2の終端に対応する位置Aの位置情報を特定できる。
このように,可視光画像情報ごとの位置情報が特定できれば,可視光画像情報の始端位置(始端位置は隣接する一つ前の可視光画像情報の終端位置)と終端位置とを比較することで可視光画像情報の実際の距離が算出できる。一方,撮影装置20は,所定単位の枚数,たとえば1mm分の1000枚の画像情報で構成されているので,その幅は1mである。そうすると,上記で算出した実際の距離と,所定単位の枚数と撮影の幅に基づく幅1mとを比較して,そのずれが可視光画像情報の伸縮率となる。たとえば,実際の距離が1010mmである場合,1%のずれがあるので,当該可視光画像情報を1%伸ばす処理を行う。この処理を可視光画像情報ごとに実行することで,可視光画像情報について,位置情報計測装置22で計測した精度の高い位置情報に基づく距離と合致するように,可視光画像情報を伸縮し,その大きさを補正することができる。
画像情報補正処理部14は,可視光画像情報のみならず,可視光画像情報に対応する深度画像情報についても,可視光画像情報の伸縮に用いた伸縮率に基づいて,同様に伸縮する処理を実行する。
さらに画像情報補正処理部14は,移動体の進行方向に対する横方向のずれを補正する剪断変形処理も実行する。これは,可視光画像情報の始端位置と終端位置との進行方向に対する横方向の位置情報の変化によって剪断変形処理を実行することで行える。この処理を図9に模式的に示す。
そして,上述と同様に可視光画像情報のみならず,可視光画像情報に対応する深度画像情報についても,可視光画像情報に対する剪断変形処理を用いて剪断変形処理を実行する。
加えて画像情報補正処理部14は,上述の伸縮処理,剪断変形処理を実行した可視光画像情報,深度画像情報に対して,左右の一定の幅を切り捨てるトリミング処理を実行する。なお,剪断変形処理を実行していることから,移動体の進行方向に対して横方向のずれが大きい場合には,画像情報の抜けが発生する可能性がある。その発生した箇所については,黒塗りをするなど,抜けがあることが分かるような処理を行う。これを模式的に示すのが図10である。
以上のような処理によって,撮影した画像情報とそれに基づく深度画像情報の位置を,精度よく対応づけることができる。
次に本発明の画像処理システム1およびその画像処理システム1を用いた路面変状検出装置3の処理プロセスの一例を図11のフローチャートを用いて説明する。なお,以下の説明では移動体として車両4の場合,計測対象とする路面として滑走路の場合を説明するが,それぞれ上記に限定するものではなく,移動体としては車両4のほか,ドローンなどの飛翔体であってもよいし,計測対象の路面も滑走路のほか,道路などであってもよい。
本発明の画像処理システム1で処理対象とする画像情報を取得するため,車両4の後方に移動体搭載装置2を取り付ける。そして計測対象とする滑走路を車両4で走行する(S100)。
滑走路を走行する際には,移動体搭載装置2における位置情報計測装置22は,定期的に(たとえば1秒間に10回,20回),位置情報と時刻情報を取得する(S110)。取得した位置情報と時刻情報は,対応づけて記録装置23に記録する。また,各撮影装置20は,車両4が所定の撮影単位,たとえば1mm移動することを距離計で計測すると,滑走路の路面を撮影する(S120)。各撮影装置20で撮影した各撮影画像情報にはその相対時間,または位置情報計測装置22で計時した時刻情報と相対時間を用いて算出される時刻情報とを対応づけて記録装置23に記録する。なお,移動体搭載装置2には2台以上の撮影装置20a,20bがあり,同期装置21により各撮影装置20a,20bが同期して撮影を行うので,どの撮影装置20による撮影画像情報であるのか,撮影装置20ごとに識別可能となっている。これは撮影した撮影画像情報に撮影装置20の識別情報が付されていてもよいし,撮影画像情報を保存するフォルダが撮影装置20ごとに分かれていてもよい。
以上のように,車両4が滑走路を走行することで撮影した滑走路の路面の撮影画像情報と相対時間または時刻情報,位置情報と時刻情報とが記録装置23に記録される。
そして記録装置23に記録された撮影装置20の撮影画像情報と相対時間または時刻情報,位置情報と時刻情報とに基づいて,画像処理システム1が各処理を実行する。画像処理システム1の処理は,バッチ処理でもリアルタイム処理でもよい。記録装置23が車両4に設けられる場合には,画像処理システム1を構成するコンピュータが記録装置23から有線または無線で情報を取得してもよいし,車両4の外,たとえばクラウドサーバに設けられる場合には,画像処理システム1を構成するコンピュータが当該クラウドサーバから情報を取得してもよい。
まず画像情報取得処理部10は,移動体搭載装置2の記録装置23に記録した撮影画像情報を取得する。この際には,各撮影装置20で撮影した撮影画像情報をそれぞれ取得する。そして,各撮影装置20で撮影した,対応する撮影画像情報に基づいて,深度画像情報を生成する(S130)。そして生成した深度画像情報と可視光画像情報と撮影画像情報とその相対時間または時刻情報とを対応づける。
また画像情報取得処理部10は,移動体搭載装置2の撮影装置20のうち,一台の撮影装置20で撮影した撮影画像情報(可視光画像情報),深度画像情報を時系列的につなげる。これによって,滑走路を連続的に撮影した可視光画像情報,深度画像情報が生成できる。
位置情報取得処理部12は,移動体搭載装置2の記録装置23から位置情報および時刻情報を取得し,位置情報補正処理部13が,位置情報計測装置22で計測した位置情報を,可視光画像情報に用いた撮影装置20の位置情報に補正をする(S140)。以後の処理で用いる位置情報は,補正後の位置情報(撮影装置20の位置情報)となる。
そして画像情報補正処理部14は,時系列的に並べた可視光画像情報と深度画像情報とに,位置情報補正処理部13で補正した位置情報と時刻情報とを対応づけて,画像補正処理部による可視光画像情報と深度画像情報の伸縮処理,剪断変形処理,トリミング処理を行う各補正処理を実行する。なお,補正処理はその一部または全部を行わなくてもよい。
まず,位置情報計測装置22で取得した時刻情報と,可視光画像情報ごとの相対時間に基づいて時刻情報を算出する。そして,各可視光画像情報の終端位置を,位置情報計測装置22で取得した時刻情報と位置情報とを用いて比例配分することで算出する。なお,可視光画像情報の終端位置は,隣接する可視光画像情報の始端位置として用いることができる。このように算出した可視光画像情報の始端位置と終端位置との進行方向の位置情報の差に基づく距離と,所定単位の枚数分と撮影幅とに基づく可視光画像情報の距離とを比較することで,可視光画像情報の伸縮比率を算出し,伸縮を行う。
また,可視光画像情報の始端位置と終端位置との進行方向に対する横方向の位置情報の差に基づく距離に基づいて可視光画像情報の剪断変形処理を実行する。また,左右の一定の幅をトリミングするトリミング処理を実行する。
画像情報補正処理部14は,同様の処理を深度画像情報にも実行する。
以上の処理を実行することで,滑走路の路面を撮影した可視光画像情報と深度画像情報と位置情報とを対応づけることができる。そして深度画像情報から,路面の凹凸に異常(変状)があることを検出することができるとともに,その位置も精度高く特定することができる。
実施例1の応用例として,より精度よく深度画像情報を生成し,路面の凹凸による変状領域を特定し,その面積,高さおよび/または深さを算出する場合を説明する。
本実施例においても,実施例1と同様に,各撮影装置20で撮影した各撮影画像情報に基づいて,深度画像情報処理部11が深度画像情報を生成する。そして生成した深度画像情報に対して,急斜面区域(凹凸区域)のある変状候補の領域を特定する処理を実行する。変状領域とは,路面において,一定の距離内で一定以上の落差(凹凸)がある穴や突出,クラックなどの箇所(たとえば50mmの範囲で10mm以上の落差)である。そして特定した変状候補の領域について,それぞれ面積,高さおよび/または深さを算出する処理を実行する。
つぎに本実施例における深度画像情報生成処理の処理プロセスの一例を図12乃至図14に示す。また,路面にある凹凸の変状の一例を図15に模式的に示す。また,路面にある凹凸の変状が写っている可視光画像情報の一例を図16に示す。図16では,路面に照明が埋め込まれており,その周辺部の一部の路面が凹部(変状)を形成している。
深度画像情報処理部11における深度画像情報の生成処理までは,実施例1と同様の処理を実行する。
そして深度画像情報処理部11は,実施例1と同様に,各撮影装置20で撮影した各撮影画像情報に基づいて,深度画像情報処理部11が深度画像情報を生成する。生成した深度画像情報の一例を図17に示す。そして生成した深度画像情報に対して,急斜面区域(凹凸区域)のある変状候補の領域を特定する処理を実行する(S200)
急斜面区域を,たとえば50mmの範囲で10mm以上の落差がある領域として設定した場合,変状候補の領域を特定するために,深度画像情報Aを50画素分(一定の距離に相当する画素分),上下方向,左右方向,右上-左下方向,左上-右下方向などの4方向にずらした深度画像情報B1乃至B4を生成し(S300),その深度画像情報B1乃至B4と,ずらす前の深度画像情報Aの差分画像情報をそれぞれ求める。なお,深度画像情報Aをずらした画像情報B1乃至B4は実際に画像情報を生成してもよいし,画像情報を生成せずに,ずれ量に基づいて,深度画像情報Aの画素に対応する画素を特定し,処理を行うのでもよい。また差分画像情報についても同様に,上記特定した画素ごとの差分を記憶するだけであってもよい。
そして,画素ごとに明度で所定の階調Th以上のプラス方向の差,マイナス方向の差を判定し(階調差と落差の関係はあらかじめ設定しておく),所定の階調以上の差がある画素を特定することで,変状候補の領域をマーキングする(S310)。たとえば明度で1階調の差がある場合に1mmの落差があるとした場合,10階調(Th=10)以上の差がある画素を特定し,特定した画素により構成される領域を変状候補の領域としてマーキング(特定)する。
この処理を,4方向にずらした深度画像情報B1乃至B4と,もとの深度画像情報Aに対してそれぞれ行う(S320)。もとの深度画像情報Aと,それを4方向に一定の距離だけずらした深度画像情報B1乃至B4との階調Thの差を比較し,変状候補の領域をマーキングした状態のマーキング画像情報の一例を図18に示す。図18(a)は,もとの深度画像情報Aを左上-右下方向にずらした深度画像情報B1との階調の差を比較し,所定値以上の階調差がある画素を変状候補の領域としてマーキングした状態を示す図であり,図18(b)は,もとの深度画像情報Aを右上-左下方向にずらした深度画像情報B2との階調の差を比較し,所定値以上の階調差がある画素を変状候補の領域としてマーキングした状態を示す図であり,図18(c)は,もとの深度画像情報Aを上下方向にずらした深度画像情報B3との階調の差を比較し,所定値以上の階調差がある画素を変状候補の領域としてマーキングした状態を示す図であり,図18(d)は,もとの深度画像情報Aを左右方向にずらした深度画像情報B4との階調の差を比較し,所定値以上の階調差がある画素を変状候補の領域としてマーキングした状態を示す図である。なお上記では4方向にずらした場合を説明したが,高精度を求めない場合,あるいは大きな変状のみを検出したい場合などは,上下方向と左右方向の2方向のみにずらすことで処理時間を短縮してもよい。
そして,変状候補の領域としてマーキングしたそれぞれの画像情報(マーキング画像情報)を重畳する重畳画像情報を生成する(S330)。図19に,図18(a)乃至図18(d)の各マーキング画像情報を重畳した重畳画像情報の一例を示す。重畳画像情報は,画像情報を実際に生成するのではなく,マーキングした画素の論理和を採ることで重畳した場合と同様のものとしてもよい。そして,重畳画像情報の各マーキング領域をラベリングして凸包を求め,変状候補の領域として特定をする(S340)。図19の重畳画像情報においてマーキング領域を凸包して変状候補の領域とした場合を図20に示す。
なお,深度画像情報に複数の凹凸(変状)がある場合には,それぞれに対して変状候補の領域の処理を実行すればよい。
変状候補の領域の特定後,撮影した可視光画像情報に,路面に埋設された照明が写り込んでいる場合の照明の領域,あるいは路面の塗装の領域など,路面の変状として認識すべきではない領域を,撮影装置20で撮影した可視光画像情報から特定し,変状候補の領域の特定後に,マスキングをする。そしてマスキングをした領域は処理対象から除外をするように設定する(S210)。路面に埋設された照明の領域や路面の塗装の領域は,路面に埋設される照明や塗装の標本情報とのパターンマッチングなどにより行える。図16の可視光画像情報では,中心付近の照明の領域を特定し,その箇所をマスキングすることで,処理対象から除外する。
つぎに深度画像情報処理部11は,変状領域を特定する処理を実行する(S220)。この処理を模式的に示すのが図21である。
まず,特定した変状候補の領域の周辺,たとえばS340で求めた凸包から一定距離外側,たとえば凸包の外側2cmを適当な個数の点だけサンプリングし,その領域の高さおよび/または深さの平均値C(明度の平均値)Cを算出する(S400)。なお,平均値Cを算出するには,凸包を内包する閉領域であって,凸包の外側の領域とその閉領域の間の高さおよび/または深さ(明度)の平均値を算出すればよい。
そして,変状候補の領域内で,平均値Cとの差が所定値以上である画素をマーキング(特定)し(S410),マーキングした画素の領域Dを構成する画素数をカウントすることで面積を算出する(S420)。すなわち1画素あたりの面積はあらかじめ画像情報の縮尺などから特定できるので,画素数に1画素あたりの面積を乗算すれば,変状候補の領域の面積を算出できる。そして,面積が所定の条件を充足しない場合,たとえば面積が所定の閾値(たとえば10cm2)以下,あるいは面積が所定の閾値(たとえば100cm2)以上の場合,その変状候補の領域はノイズとして削除(処理対象から除外)する。ノイズではない変状候補の領域を変状領域として特定する。変状領域を特定した場合,変状領域を識別する識別情報を付して,変状領域があった可視光画像情報,深度画像情報に対応づけて記憶させるとよい。これによって,変状領域の識別情報と可視光画像情報,深度画像情報が対応づけられるので,変状領域の識別情報を画面上に表示させることで,その変状領域がある可視光画像情報をすぐに表示可能となる。
変状領域として特定した場合,その領域に対応する可視光画像情報の領域を矩形などで囲むことで可視光画像情報における変状領域の箇所を容易に視認可能とすることができる。また,照明などの領域も可視光画像情報として矩形などで囲むことでマスキング箇所を視認可能としてもよい。図22に変状領域と照明とを矩形で囲んだ状態の可視光画像情報の一例を模式的に示す。なお,図22では,照明の矩形の領域内に変状領域があるが,この場合,マスキングされたのは照明の領域であって,矩形の領域そのものではない。矩形の領域は,照明があることを示すために表示するものである。
また,変状領域に含まれる画素の明度の最大値と最小値とを特定し,それらと平均値Cとの差分(階調差)を算出する。この明度の階調差を,1画素あたりの高さおよび/または深さに乗算することで,変状領域の高さおよび/または深さを算出する(S440)。すなわち,凸包の内側の領域における最高点の高さ(凸包の内側の画素の明度の最大値D)と,凸包の内側の領域における最低点の深さ(凸包の内側の画素の明度の最小値E)とをそれぞれ求め,D-Cが十分大きければ(正の値)凸部(突出部)とし,E-Cが十分小さければ(負の値)凹部とする。そしてそれぞれの変状領域の高さおよび/または深さとする。
以上の処理を実行することで,深度画像情報処理部11は,変状領域の特定と,その面積と,高さおよび/または深さとを算出することができる。また算出した変状の面積や,高さおよび/または深さは,変状領域の識別情報に対応づけて記憶させておくとよい。これによって,変状領域の識別情報に,その変状の面積や,高さおよび/または深さを関連付けて表示可能とすることができる。
本発明は,本発明の趣旨を逸脱しない範囲において,適宜,設計変更が可能である。また処理は一例であり,その処理を異なる順番で実行することも可能である。さらに,画面の表示についても適宜,変更可能である。また,すべての機能を備えずとも,一部の機能のみを備えるのであってもよい。