JP7048357B2 - 撮影画像事前確認システム及び撮影画像事前確認方法 - Google Patents
撮影画像事前確認システム及び撮影画像事前確認方法 Download PDFInfo
- Publication number
- JP7048357B2 JP7048357B2 JP2018040201A JP2018040201A JP7048357B2 JP 7048357 B2 JP7048357 B2 JP 7048357B2 JP 2018040201 A JP2018040201 A JP 2018040201A JP 2018040201 A JP2018040201 A JP 2018040201A JP 7048357 B2 JP7048357 B2 JP 7048357B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- condition
- road surface
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Road Repair (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
(第1の実施形態)
先ず、図1を用いて舗装ひび割れ解析装置の概略を説明する。
図1(A)は、舗装ひび割れ解析装置1に入力される入力情報と、舗装ひび割れ解析装置1から出力される出力情報の概略を示している。舗装ひび割れ解析装置1は、後述する撮影画像事前確認装置によって事前確認がなされた路面の撮影画像から路面の損傷(例えば、舗装ひび割れ)を解析する装置である。
図1(B)において、車両2のルーフには、カメラ10が搭載されている。カメラ10は、車両2の進行方向に対して後ろ向きに配置されている。なお、カメラの向きは前向きでも良い。
なお、カメラ10は、撮影する路面の範囲に合せて、路面に対する俯角、路面からの高さ及び車両2の進行方向に対する撮影方向の偏角(水平方向の首振り角度)等のカメラの向きを調整して固定される。
このように、必要十分な路面解析を行うためには、カメラの向きを撮影範囲に合せることが重要である。このため、ひび割れ解析用の路面映像の撮影時に、路面解析に必要十分な映像を撮影できるかを事前に確認してから、路面の撮影を行うことが必要となる。
撮影画像事前確認システム100は、カメラ10と撮影画像事前確認装置20とを備える。
カメラ10は、路面状態の解析対象となる路面を撮影する。より具体的には、カメラ10は、路面状態の解析対象となる路面が撮影可能な状態で車両2のルーフに所定の俯角で固定して設置される。カメラ10は、例えば市販のカメラである。カメラ10によって撮影される画像データは、静止画の画像データであってもよいし、動画像の画像データであってもよい。本実施形態では、カメラ10が、動画像で路面を撮影する場合を例に説明する。
時刻情報入力部202は、画像データ入力部201によって入力された動画像における開始時刻と取得時間の入力を受け付ける機能部である。開始時刻とは、動画像のうち事前判定処理の開始対象となる時刻を表す。すなわち、動画像のうち開始時刻で指定された時刻からの画像データが事前判定処理の対象となる。取得時間とは、開始時刻を基準として画像データを動画像から取得する時間の長さを表す。例えば、取得時間が10分であれば、開始時刻から10分経過するまでの画像データを取得することを意味する。
ひび割れ解析部206は、静止画変換部205による変換後の静止画データを用いて、静止画データから路面のひび割れを検出する機能部である。ひび割れの検出には、既存の技術(例えば、特願2016-557662号公報に記載の技術)が用いられてもよい。また、ひび割れ解析部206は、検出したひび割れを静止画データに重畳することによって解析後静止画データを生成する。
カメラ画角判定処理部208は、静止画変換部205による変換後の静止画データに基づいて、カメラ10の画角が路面の状態を解析するための第1の条件を満たしているか否かの判定処理を行う機能部である。第1の条件は、更に細かく分けられ、例えば以下の条件1~条件4に分けられる。
・条件1:カメラ10が真後ろ(車両2の走行方向と反対方向)または正面を向いていること
・条件2:路面の状態の解析対象となる路面の車線が静止画データの真ん中付近に映っていること
・条件3:地平線が静止画データ上の所定の範囲内に映っていること
・条件4:路面を撮影しているカメラ10を搭載している車両2の車体が静止画データに映っていること
ステップS101において、画像データ入力部201から、カメラ10によって撮影された動画像の画像データを入力されると、入力した動画像の画像データを映像取得部203に出力する。
ステップS102において、時刻情報入力部202は、動画像における開始時刻と取得時間の入力を受け付ける。例えば、時刻情報入力部202は、キーボード等の外部装置から開始時刻と取得時間の入力を受け付ける。時刻情報入力部202は、入力された開始時刻と取得時間の情報を映像取得部203に出力する。
図4は、実行する判定処理を選択させる選択画面の一例を示す図である。図4に示すように、選択画面には、カメラ画角チェックボタン101と、ひび解析チェックボタン102とが表示されている。カメラ画角チェックボタン101は、カメラ画角判定処理を実行させるためのボタンである。カメラ画角チェックボタン101が選択されると、撮影画像事前確認装置20はステップS107の処理を実行する。ひび解析チェックボタン102は、ひび割れ検出判定処理を実行させるためのボタンである。ひび解析チェックボタン102が選択されると、撮影画像事前確認装置20はステップS108の処理を実行する。なお、ステップS107の処理と、ステップS108の処理とは、並行処理が可能である。例えば、カメラ画角チェックボタン101と、ひび解析チェックボタン102の2つのボタンが選択されると、撮影画像事前確認装置20はステップS107の処理と、ステップS108の処理とを並行処理として実行する。
ステップS107において、カメラ画角判定処理部208は、静止画データ272に基づいてカメラ画角判定処理を行う。カメラ画角判定処理部208は、静止画データ上に、所定の区画で区切った格子状の枠を重畳した画像を生成し、生成した画像と、条件1に関する情報とを表示させた画面を表示部211に表示させるように表示制御部210に指示する。表示制御部210は、指示に従って表示部211に図5に示す画面を表示させる。
ユーザが、表示されている画像を見て、条件を満たしていると判定した場合には、ユーザによってチェックボックス104に対してチェックマークが入力される。ユーザが、表示されている画像を見て、条件を満たしていないと判定した場合にはチェックボックス104に対してチェックマークが入力されない。
進むボタン105は、次の条件(例えば、条件2~4)の判定に進むためのボタンである。
画像切り替えボタン106は、現在表示されている静止画データを他の静止画データに切り替えるためのボタンである。図5に示す例では、静止画データが全部で150枚あり、現在表示部211に表示されている静止画データが1枚目の静止画データであることが示されている。
図6に示すように、条件2に関する表示画面には、所定の区画で区切った格子状の枠が静止画データに重畳されている。また、条件2に関する表示画面には、格子状の枠が重畳された静止画データの他に、指示表示領域103と、チェックボックス104と、進むボタン105と、画像切り替えボタン106とが表示されている。図6に示す例では、条件として、ひび割れ解析する車線が真ん中に映っていることが示されている。ユーザが、表示されている画像を見て、条件を満たしていると判定した場合には、ユーザによってチェックボックス104に対してチェックマークが入力される。ユーザが、表示されている画像を見て、条件を満たしていないと判定した場合にはチェックボックス104に対してチェックマークが入力されない。
図7に示すように、条件3に関する表示画面には、地平線が撮影されているべき範囲を示す枠27が静止画データに重畳されている。また、条件3に関する表示画面には、地平線が撮影されているべき範囲を示す枠27が重畳された静止画データの他に、指示表示領域103と、チェックボックス104と、進むボタン105と、画像切り替えボタン106とが表示されている。ユーザが、表示されている画像を見て、条件を満たしていると判定した場合には、ユーザによってチェックボックス104に対してチェックマークが入力される。ユーザが、表示されている画像を見て、条件を満たしていないと判定した場合にはチェックボックス104に対してチェックマークが入力されない。
図8に示すように、条件4に関する表示画面には、静止画データに重畳されている。また、条件4に関する表示画面には、静止画データの他に、指示表示領域103と、チェックボックス104と、画像切り替えボタン106と、OKボタン108とが表示されている。OKボタン108は、カメラ画角判定処理が完了した際に選択されるボタンである。ユーザが、表示されている画像を見て、条件を満たしていると判定した場合には、ユーザによってチェックボックス104に対してチェックマークが入力される。ユーザが、表示されている画像を見て、条件を満たしていないと判定した場合にはチェックボックス104に対してチェックマークが入力されない。
図9は、カメラ画角判定処理が完了した後の選択画面の一例を示す図である。図9に示すように、選択画面には、カメラ画角チェックボタン101の横に、カメラ画角判定処理が完了したことを示す情報として「確認済み」が表示されている。次に、ひび解析チェックボタン102が選択されたとする。
ステップS106において、ひび割れ解析部206は、静止画変換部205による変換後の静止画データを用いて、静止画データから路面のひび割れを検出する。その後、ひび割れ解析部206は、検出したひび割れを静止画データに重畳することによって解析後静止画データを生成する。なお、ひび割れ解析部206は、静止画データが複数ある場合には、全ての静止像データからひび割れを検出し、それぞれ検出したひび割れを対応する静止画データに重畳することによって複数の解析後静止画データを生成する。ひび割れ解析部206は、生成した解析後静止画データを記憶部207に解析後静止画データ273として記憶する。
図11は、カメラ画角判定処理及びひび割れ検出判定処理が完了した後の選択画面の一例を示す図である。図11に示すように、選択画面には、カメラ画角チェックボタン101の横にカメラ画角判定処理が完了したことを示す情報として「確認済み」が表示され、ひび解析チェックボタン102の横にひび割れ検出判定処理が完了したことを示す情報として「確認済み」が表示されている。
更に、道路管理者が道路パトロールの際に、カメラ10を用いて撮影するだけで、路面ひび割れ等理状態を簡易に把握でき、路面の日常管理としても、用いることができる。
本実施形態では、静止画変換部205が、映像取得部203で取得された処理対象画像データ全てを静止画データへ変換する構成を示したが、処理対象画像データを所定の間隔で間引き、間引き後の処理対象画像データを静止画データに変換するように構成されてもよい。
このように構成されることによって、処理対象画像データが時間の長い動画像であっても全ての動画像を静止画データに変換する必要がないため処理負荷を軽減することができる。
静止画変換部205が、映像取得部203から直接処理対象画像データを取得する構成の場合には、撮影画像事前確認装置20は図3の処理においてステップS104の処理を実行しなくてもよい。このように構成される場合、撮影画像事前確認装置20は、ステップS103の処理において映像取得部203によって取得された処理対象画像データを、ステップS105の処理において静止画変換部205によって静止画データに変換する。
第2の実施形態は、車両2の天井に取り付けたカメラではなく、カメラを備えたその他の撮影装置によって撮影された画像データを用いて判定処理を行う実施形態である。カメラの備えた撮影装置の一例としては、ドライブレコーダー、バックモニタのカメラ、スマートフォン、タブレット端末等が挙げられる。
図12は、第2の実施形態における撮影画像事前確認システム100aのシステム構成を示す図である。
撮影画像事前確認システム100aは、撮影画像事前確認装置20aと、撮影装置25とを備える。撮影画像事前確認装置20aと、撮影装置25とは、例えば、LAN(Local Area Network)を介して接続される。撮影装置25は、内部にカメラを備え、カメラによって路面を撮影する装置である。撮影装置25は、カメラで撮影することによって得られた路面の画像データを撮影画像事前確認装置20aに出力する。撮影画像事前確認装置20aは、撮影装置25から出力された画像データを入力し、入力した画像データに基づいて、路面状態を解析するための事前判定処理を行う装置である。撮影画像事前確認装置20a及び撮影装置25は、路面を撮影する道路を走行する車両2内に設置される。
以下、撮影画像事前確認装置20a及び撮影装置25の構成について説明する。
位置情報入力部254は、位置測定部253によって測定された位置情報(例えば、緯度経度情報)を入力する機能部である。位置情報入力部254は、測定した位置情報を静止画変換部205aに出力する。
静止画変換部205aは、映像取得部203aによって取得された処理対象画像データを静止画データに変換する機能部である。静止画変換部205aは、静止画データと、時刻情報と、位置情報入力部254によって入力された位置情報とを対応付けて記憶部207aに記憶する。
記憶部207aは、静止画データ272と、解析後静止画データ273とを記憶する。記憶部207aは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
撮影画像事前確認装置20aの映像取得部203aは、画像データ入力部252に入力された画像データを処理対象画像データとして取得する。
また、撮影画像事前確認システム100aでは、固定されたカメラではなく、ユーザが所持している持ち歩き可能なカメラを内蔵した撮影装置25であっても路面の状態を精度よく撮影できているか否かを簡易に確認することが可能になる。
更に、道路管理者が道路パトロールの際に、持ち歩き可能なカメラ251を内蔵した撮影装置25を持参していれば、本装置を使用することで、路面ひび割れ等理状態を簡易に把握でき、路面の日常管理としても、用いることができる。
本実施形態では、静止画変換部205aが、映像取得部203aで取得された処理対象画像データ全てを静止画データへ変換する構成を示したが、処理対象画像データを所定の間隔で間引き、間引き後の処理対象画像データを静止画データに変換するように構成されてもよい。
このように構成されることによって、処理対象画像データが時間の長い動画像であっても全ての動画像を静止画データに変換する必要がないため処理負荷を軽減することができる。
本実施形態では、カメラ画角判定処理及びひび割れ検出判定処理として、ユーザが、静止画データ及び解析後静止画データを見ることによって条件を満たすか否かを判定する構成を示したが、撮影画像事前確認装置20aが、画像処理によってカメラ画角判定処理及びひび割れ検出判定処理を行い、第1の条件及び第2の条件を満たすか否かを判定するように構成されてもよい。
撮影装置25と、撮影画像事前確認装置20aとは一体化されて1つの装置として構成されてもよい。
第3の実施形態は、画像データを用いた判定処理をクラウド上のサーバで行う実施形態である。
図14は、第3の実施形態における撮影画像事前確認システム100bのシステム構成を示す図である。
撮影画像事前確認システム100bは、カメラ10と撮影画像事前確認装置20bとクラウドサーバ30とを備える。
カメラ10は、路面状態の解析対象となる路面を撮影する。
撮影画像事前確認装置20bは、カメラ10によって撮影された画像データをクラウドサーバ30に送信し、ユーザの要求に応じて、路面状態を解析するための事前判定処理の結果をクラウドサーバ30から取得して表示する装置である。カメラ10と撮影画像事前確認装置20bとの接続は、有線による接続でも、無線による接続のどちらでもよい。撮影画像事前確認装置20bは、路面を撮影する道路を走行する車両2内に設けられる。
以下、撮影画像事前確認装置20b及びクラウドサーバ30の具体的な構成について説明する。
通信部215は、ネットワークを介してクラウドサーバ30との間で通信を行う機能部である。ネットワークは、例えば、5Gである。通信部215は、GPSデータ検索部204から出力された処理対象画像データと、時刻情報と、位置情報とをクラウドサーバ30に送信する。なお、通信部215は、映像取得部203から直接処理対象画像データを取得した場合、静止画データと、時刻情報とをクラウドサーバ30に送信する。また、通信部215は、操作部216を介して入力された指示に応じて、判定処理(カメラ画角判定処理及びひび割れ検出判定処理)の結果をクラウドサーバ30から受信する。
操作部216は、ユーザから入力を受け付ける機能部である。例えば、操作部216は、ユーザから判定処理の結果の取得指示の入力を受け付ける。操作部216は、キーボード、ポインティングデバイス(マウス、タブレット等)、タッチパネル、ボタン等の既存の入力装置を用いて構成される。
クラウドサーバ30は、バスで接続されたCPUやメモリや補助記憶装置などを備え、撮影画像事前確認プログラムを実行する。撮影画像事前確認プログラムの実行によって、クラウドサーバ30は、通信部301、静止画変換部302、ひび割れ解析部303、記憶部304、カメラ画角判定処理部305及び路面状態解析判定処理部306を備える装置として機能する。なお、クラウドサーバ30の各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されてもよい。また、撮影画像事前確認プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、撮影画像事前確認プログラムは、電気通信回線を介して送受信されてもよい。
静止画変換部302は、通信部301によって受信された処理対象画像データを静止画データに変換する機能部である。静止画変換部205は、静止画データと、時刻情報と、位置情報とを対応付けて記憶部304に記憶する。なお、静止画変換部302は、通信部301によって受信された処理対象画像データに時刻情報のみが対応付けられている場合、静止画データと、時刻情報とを対応付けて記憶部304に記憶する。更に、静止画変換部302は、静止画データをひび割れ解析部303と、カメラ画角判定処理部305にも出力する。
記憶部304は、静止画データ341と、解析後静止画データ342と、判定結果343とを記憶する。記憶部304は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。判定結果343は、カメラ画角判定処理部305及び路面状態解析判定処理部306による判定処理の結果を表す。
路面状態解析判定処理部306は、ひびが検出されたかを自動判定する機能を有しており、静止画変換部302による変換後の静止画データ341に基づいて、ひび割れ検出判定処理を行う機能部である。路面状態解析判定処理部306が行うひび割れ検出判定処理は、路面状態解析判定処理部209が行うひび割れ検出判定処理と同様である。
次に、ステップS302において、時刻情報入力部202は、動画像における開始時刻と取得時間の入力を受け付ける。例えば、時刻情報入力部202は、キーボード等の外部装置から開始時刻と取得時間の入力を受け付ける。時刻情報入力部202は、入力された開始時刻と取得時間の情報を映像取得部203に出力する。
次に、ステップS304において、GPSデータ検索部204は、映像取得部203で取得された処理対象画像データの時刻情報を参照して、処理対象画像データの時刻情報で示される時刻に該当するGPSデータ271を記憶部207bから検索する。GPSデータ検索部204は、GPSデータが検索できた場合、映像取得部203で取得された処理対象画像データと、時刻情報と、位置情報とを通信部215に出力する。一方、GPSデータ検索部204は、GPSデータが検索できなかった場合、エラーを出力し、図15の処理を終了させる。
クラウドサーバ30の通信部301は、撮影画像事前確認装置20bから送信された処理対象画像データと、時刻情報と、位置情報とを受信する。通信部301は、受信した処理対象画像データと、時刻情報と、位置情報とを静止画変換部302に出力する。
ステップS306において、静止画変換部302は、通信部301から出力された処理対象画像データを静止画データに変換する。
その後、ステップS307において、ひび割れ解析部303は、静止画変換部302による変換後の静止画データを用いて、静止画データから路面のひび割れを検出する。その後、ひび割れ解析部303は、検出したひび割れを静止画データに重畳することによって解析後静止画データを生成する。なお、ひび割れ解析部303は、静止画データが複数ある場合には、全ての静止像データからひび割れを検出し、それぞれ検出したひび割れを対応する静止画データデータに重畳することによって複数の解析後静止画データを生成する。ひび割れ解析部303は、生成した解析後静止画データを記憶部207に解析後静止画データ342として記憶する。
クラウドサーバ30の通信部301は、撮影画像事前確認装置20bから送信された実行要求を受信する。通信部301は、受信した実行要求をカメラ画角判定処理部305と、路面状態解析判定処理部306に出力する。カメラ画角判定処理部305は、実行要求が通信部301によって受信されると、通信部301を制御して図4に示す画面を撮影画像事前確認装置20bに表示させる旨の通知を撮影画像事前確認装置20bに送信する。
ステップS312において、クラウドサーバ30の通信部301は、撮影画像事前確認装置20bから送信された判定結果の要求に応じて、記憶部304に記憶されている判定結果343を撮影画像事前確認装置20bに送信する。
また、撮影画像事前確認システム100aでは、クラウドサーバ30にて判定処理を行うため、車両2に設けられる装置の処理負荷を軽減することができる。また、クラウドサーバ30に判定処理の結果が記憶されているため、様々な場所から判定処理の結果を把握することができる。
更に、道路管理者が道路パトロールの際に、カメラ10を用いて撮影をしておけば、クラウドサーバ30にアクセスするだけで、路面ひび割れ等理状態を簡易に把握でき、路面の日常管理としても、用いることができる。
本実施形態では、静止画変換部302が、通信部301によって受信された処理対象画像データ全てを静止画データへ変換する構成を示したが、処理対象画像データを所定の間隔で間引き、間引き後の処理対象画像データを静止画データに変換するように構成されてもよい。
このように構成されることによって、処理対象画像データが時間の長い動画像であっても全ての動画像を静止画データに変換する必要がないため処理負荷を軽減することができる。
通信部215が、映像取得部203から直接処理対象画像データを取得する構成の場合には、撮影画像事前確認装置20bは図15の処理においてステップS304の処理を実行しなくてもよい。このように構成される場合、撮影画像事前確認装置20bは、ステップS303の処理において映像取得部203によって取得された処理対象画像データを、ステップS305の処理において通信部215によって処理対象画像データと、時刻情報とを対応付けてクラウドサーバ30に送信する。
第4の実施形態は、カメラを備える撮影画像事前確認装置によって撮影された画像データを用いた判定処理をクラウド上のサーバで行う実施形態である。
図16は、第4の実施形態における撮影画像事前確認システム100cのシステム構成を示す図である。
撮影画像事前確認システム100cは、撮影画像事前確認装置20cと、撮影装置25とクラウドサーバ30とを備える。撮影画像事前確認装置20cと、撮影装置25とは、例えば、LANを介して接続される。撮影画像事前確認装置20cと、クラウドサーバ30とはネットワーク40を介して接続される。
以下、撮影画像事前確認装置20c、撮影装置25及びクラウドサーバ30の具体的な構成について説明する。なお、撮影装置25の構成は、第2の実施形態と同様であるため説明を省略する。また、クラウドサーバ30の構成は、第3の実施形態と同様であるため説明を省略する。
通信部215cは、ネットワークを介してクラウドサーバ30との間で通信を行う機能部である。通信部215cは、映像取得部203cによって取得された処理対象画像データと、時刻情報と、位置情報入力部254によって入力された位置情報とを対応付けてクラウドサーバ30に送信する。
撮影画像事前確認装置20cの映像取得部203cは、画像データ入力部252に入力された画像データを処理対象画像データとして取得する。
次に、ステップS404において、位置情報入力部254は、位置測定部253によって測定された位置情報を入力する。位置情報入力部254は、入力された位置情報を撮影画像事前確認装置20cに出力する。
また、撮影画像事前確認システム100cでは、クラウドサーバ30にて判定処理を行うため、車両2に設けられる装置の処理負荷を軽減することができる。また、クラウドサーバ30に判定処理の結果が記憶されているため、様々な場所から判定処理の結果を把握することができる。
更に、道路管理者が道路パトロールの際に、持ち歩き可能なカメラ251を内蔵した撮影装置25を持参していれば、クラウドサーバ30にアクセスするだけで、路面ひび割れ等理状態を簡易に把握でき、路面の日常管理としても、用いることができる。
本実施形態では、静止画変換部302が、通信部301によって受信された処理対象画像データ全てを静止画データへ変換する構成を示したが、処理対象画像データを所定の間隔で間引き、間引き後の処理対象画像データを静止画データに変換するように構成されてもよい。
このように構成されることによって、処理対象画像データが時間の長い動画像であっても全ての動画像を静止画データに変換する必要がないため処理負荷を軽減することができる。
撮影装置25と、撮影画像事前確認装置20cとは一体化されて1つの装置として構成されてもよい。
上記の各実施形態では、カメラ10又はカメラ251によって撮影された画像データを判定処理に用いる構成を示したが、SD(Secure Digital)カードやUSB(Universal Serial Bus)メモリ等の持ち運び可能な記録媒体に記録されている画像データが判定処理に用いられてもよい。
上記の各実施形態では、路面状態の解析対象とひび割れを例に説明したが、路面状態の解析対象はガードレール、マンホール、標識、白線等の路面に設けられる物体を解析対象としてもよい。
判定処理の結果は、解析後静止画データと位置情報と紐づけて出力されてもよい。
上記の各実施形態における撮影画像事前確認装置20、撮影画像事前確認装置20a、クラウドサーバ30は、解析後静止画データのひび割れの量から、劣化度(大:路面全体にひび割れ/中:路面の半分程度にひび割れ/小:ひび割れはほとんど無い)を判定するように構成されてもよい。
カメラ画角判定処理及びひび割れ検出判定処理の実行順序は、いずれかの判定処理が先に実行されてもよい。
Claims (16)
- 路面を撮影するカメラと、
前記カメラによって撮影されて前記路面の状態を解析するために用いられる路面の画像データを入力する画像データ入力部と、
前記画像データ入力部に入力された前記路面の画像データに前記路面の画像データ上に所定の区画で区切った格子状の枠を表示させて、ユーザからの指示入力の受付、又は画像処理によって、前記カメラが真後ろまたは正面を向いていることを条件とする第1の条件を満たすか否かの判定処理を行うカメラ画角判定処理部と、
前記画像データ入力部に入力された前記路面の画像データに基づいて、前記路面の状態を解析するための第2の条件を満たしているか否かの判定処理を行う路面状態解析判定処理部と、
前記カメラ画角判定処理部による前記判定処理の結果と、前記路面状態解析判定処理部による前記判定処理の結果とを出力する出力部と、
を備える撮影画像事前確認システム。 - 前記第1の条件は、前記路面の状態の解析対象となる前記路面の車線が前記画像データの真ん中付近に映っていることをさらに含み、
前記カメラ画角判定処理部は、前記第1の条件を満たしているか否かの判定処理として、所定の区画で区切った格子状の枠を前記画像データ上に表示させ、ユーザから前記第1の条件を満たす旨の指示の入力の受付、又は、画像処理によって前記第1の条件を満たすか否かの判定を行う、請求項1に記載の撮影画像事前確認システム。 - 前記第1の条件は、地平線が前記画像データ上の所定の範囲内に映っていることをさらに含み、
前記カメラ画角判定処理部は、前記第1の条件を満たしているか否かの判定処理として、前記地平線が撮影されているべき範囲を示す枠を前記画像データ上に表示させ、ユーザから前記第1の条件を満たす旨の指示の入力の受付、又は、画像処理によって前記第1の条件を満たすか否かの判定を行う、請求項2に記載の撮影画像事前確認システム。 - 前記第1の条件は、前記路面を撮影している前記カメラを搭載している車両の車体が前記画像データに映っていないことをさらに含み、
前記カメラ画角判定処理部は、前記第1の条件を満たしているか否かの判定処理として、前記画像データを表示させ、ユーザから前記第1の条件を満たす旨の指示の入力の受付、又は、画像処理によって前記第1の条件を満たすか否かの判定を行う、請求項3に記載の撮影画像事前確認システム。 - 前記第2の条件は、前記路面のひび割れが検出されることであり、
前記画像データから前記路面のひび割れを検出し、検出した前記ひび割れを前記画像データに重畳することによって解析後画像データを生成するひび割れ解析部をさらに備え、
前記路面状態解析判定処理部は、前記第2の条件を満たしているか否かの判定処理として、前記ひび割れ解析部によって生成された前記解析後画像データを表示させ、ユーザから前記第2の条件を満たす旨の指示の入力の受付、又は、前記解析後画像データにおいてひび割れが検出できたか否かに応じて前記第2の条件を満たすか否かの判定を行う、請求項1に記載の撮影画像事前確認システム。 - 前記撮影画像事前確認システムは、前記路面を撮影する道路を走行する車両内に設けられる撮影画像事前確認装置と、前記路面を撮影する道路とは異なる場所に設けられる外部装置とで構成され、
前記撮影画像事前確認装置は、前記画像データ入力部と、前記カメラによって撮影された前記画像データを前記外部装置に送信する通信部と、
を備え、
前記外部装置は、前記カメラ画角判定処理部と、前記路面状態解析判定処理部と、前記出力部とを備える、請求項1に記載の撮影画像事前確認システム。 - 前記撮影画像事前確認システムは、前記路面を撮影する道路を走行する車両内に設けられる撮影画像事前確認装置と、前記路面を撮影する道路とは異なる場所に設けられる外部装置とで構成され、
前記撮影画像事前確認装置は、前記カメラと、前記画像データ入力部と、前記カメラによって撮影された前記画像データを前記外部装置に送信する通信部と、
を備え、
前記外部装置は、前記カメラ画角判定処理部と、前記路面状態解析判定処理部と、前記出力部とを備える、請求項1に記載の撮影画像事前確認システム。 - 前記画像データが動画像である場合、前記動画像を所定の間隔で間引き、間引き後の動画像を静止画の画像データに変換する静止画変換部をさらに備える、請求項1に記載の撮影画像事前確認システム。
- 路面を撮影するカメラによって撮影されて前記路面の状態を解析するために用いられる路面の画像データを入力する画像データ入力ステップと、
前記画像データ入力ステップにおいて入力された前記路面の画像データに前記路面の画像データ上に所定の区画で区切った格子状の枠を表示させて、ユーザからの指示入力の受付、又は画像処理によって、前記カメラが真後ろまたは正面を向いていることを条件とする第1の条件を満たすか否かの判定処理を行うカメラ画角判定処理ステップと、
前記画像データ入力ステップにおいて入力された前記路面の画像データに基づいて、前記路面の状態を解析するための第2の条件を満たしているか否かの判定処理を行う路面状態解析判定処理ステップと、
前記カメラ画角判定処理ステップによる前記判定処理の結果と、前記路面状態解析判定処理ステップによる前記判定処理の結果とを出力する出力ステップと、
を有する撮影画像事前確認方法。 - 前記第1の条件は、前記路面の状態の解析対象となる前記路面の車線が前記画像データの真ん中付近に映っていることをさらに含み、
前記カメラ画角判定処理ステップにおける前記第1の条件を満たしているか否かの判定処理として、所定の区画で区切った格子状の枠を前記画像データ上に表示させ、ユーザから前記第1の条件を満たす旨の指示の入力の受付、又は、画像処理によって前記第1の条件を満たすか否かの判定を行う、請求項9に記載の撮影画像事前確認方法。 - 前記第1の条件は、地平線が前記画像データ上の所定の範囲内に映っていることをさらに含み、
前記カメラ画角判定処理ステップにおける前記第1の条件を満たしているか否かの判定処理として、前記地平線が撮影されているべき範囲を示す枠を前記画像データ上に表示させ、ユーザから前記第1の条件を満たす旨の指示の入力の受付、又は、画像処理によって前記第1の条件を満たすか否かの判定を行う、請求項10に記載の撮影画像事前確認方法。 - 前記第1の条件は、前記路面を撮影している前記カメラを搭載している車両2の車体が前記画像データに映っていないことをさらに含み、
前記カメラ画角判定処理ステップにおける前記第1の条件を満たしているか否かの判定処理として、前記画像データを表示させ、ユーザから前記第1の条件を満たす旨の指示の入力の受付、又は、画像処理によって前記第1の条件を満たすか否かの判定を行う、請求項11に記載の撮影画像事前確認方法。 - 前記第2の条件は、前記路面のひび割れが検出されることであり、
前記画像データから前記路面のひび割れを検出し、検出した前記ひび割れを前記画像データに重畳することによって解析後画像データを生成するひび割れ解析ステップをさらに有し、
前記路面状態解析判定処理ステップにおける前記第2の条件を満たしているか否かの判定処理として、前記ひび割れ解析ステップにおいて生成された前記解析後画像データを表示させ、ユーザから前記第2の条件を満たす旨の指示の入力の受付、又は、前記解析後画像データにおいてひび割れが検出できたか否かに応じて前記第2の条件を満たすか否かの判定を行う、請求項9に記載の撮影画像事前確認方法。 - 前記路面を撮影する道路を走行する車両内に設けられる撮影画像事前確認装置と、前記路面を撮影する道路とは異なる場所に設けられる外部装置とを備える撮影画像事前確認システムが行う撮影画像事前確認方法であって、
前記撮影画像事前確認装置が、前記画像データ入力ステップと、前記カメラによって撮影された前記画像データを前記外部装置に送信する通信ステップと、
を有し、
前記外部装置が、前記カメラ画角判定処理ステップと、前記路面状態解析判定処理ステップと、前記出力ステップとを有する、請求項9に記載の撮影画像事前確認方法。 - 前記路面を撮影する道路を走行する車両内に設けられる撮影画像事前確認装置と、前記路面を撮影する道路とは異なる場所に設けられる外部装置とを備える撮影画像事前確認システムが行う撮影画像事前確認方法であって、
前記撮影画像事前確認装置が、前記カメラと、前記画像データ入力ステップと、前記カメラによって撮影された前記画像データを前記外部装置に送信する通信ステップと、
を有し、
前記外部装置が、前記カメラ画角判定処理ステップと、前記路面状態解析判定処理ステップと、前記出力ステップとを有する、請求項9に記載の撮影画像事前確認方法。 - 前記画像データが動画像である場合、前記動画像を所定の間隔で間引き、間引き後の動画像を静止画の画像データに変換する静止画変換ステップをさらに有する、請求項9に記載の撮影画像事前確認方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018040201A JP7048357B2 (ja) | 2018-03-06 | 2018-03-06 | 撮影画像事前確認システム及び撮影画像事前確認方法 |
US16/266,588 US11157750B2 (en) | 2018-03-06 | 2019-02-04 | Captured image check system and captured image check method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018040201A JP7048357B2 (ja) | 2018-03-06 | 2018-03-06 | 撮影画像事前確認システム及び撮影画像事前確認方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019154017A JP2019154017A (ja) | 2019-09-12 |
JP7048357B2 true JP7048357B2 (ja) | 2022-04-05 |
Family
ID=67843284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018040201A Active JP7048357B2 (ja) | 2018-03-06 | 2018-03-06 | 撮影画像事前確認システム及び撮影画像事前確認方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11157750B2 (ja) |
JP (1) | JP7048357B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230135985A1 (en) * | 2020-03-31 | 2023-05-04 | Nec Corporation | Road deterioration diagnosing device, road deterioration diagnosing method, and recording medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011192069A (ja) | 2010-03-15 | 2011-09-29 | Kddi R & D Laboratories Inc | 車両交通監視装置およびプログラム |
JP2018021375A (ja) | 2016-08-03 | 2018-02-08 | 株式会社東芝 | 舗装ひび割れ解析装置、舗装ひび割れ解析方法及び舗装ひび割れ解析プログラム |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3605164B2 (ja) | 1994-12-27 | 2004-12-22 | 三菱重工業株式会社 | 路面性状測定車 |
JP4225807B2 (ja) | 2003-03-10 | 2009-02-18 | 富士通株式会社 | 路面状況判定方法および装置 |
US7068815B2 (en) * | 2003-06-13 | 2006-06-27 | Sarnoff Corporation | Method and apparatus for ground detection and removal in vision systems |
JP2005115687A (ja) | 2003-10-08 | 2005-04-28 | Hitachi Ltd | 道路保守支援システム |
JP4246195B2 (ja) * | 2005-11-01 | 2009-04-02 | パナソニック株式会社 | カーナビゲーションシステム |
US8890951B2 (en) * | 2008-04-24 | 2014-11-18 | GM Global Technology Operations LLC | Clear path detection with patch smoothing approach |
JP5100845B2 (ja) * | 2008-10-28 | 2012-12-19 | 株式会社パスコ | 道路計測装置及び道路計測方法 |
JP5479944B2 (ja) | 2010-02-26 | 2014-04-23 | 東日本高速道路株式会社 | 舗装路面のクラックの抽出と損傷レベルの評価方法 |
JP5776546B2 (ja) * | 2011-12-28 | 2015-09-09 | 富士通株式会社 | 路面調査プログラム及び路面調査装置 |
JP6381100B2 (ja) | 2013-11-07 | 2018-08-29 | 株式会社環境総合テクノス | 3次元路面下診断システムおよび3次元路面下診断方法 |
JPWO2015129045A1 (ja) * | 2014-02-28 | 2017-03-30 | パイオニア株式会社 | 画像取得システム、端末、画像取得方法および画像取得プログラム |
JP5936239B2 (ja) | 2014-08-19 | 2016-06-22 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 路面の劣化度合い推定方法およびアルゴリズム(多重解像度画像のガボール・フィルター出力画像を使用した、ひび割れ検出手法) |
US9129355B1 (en) * | 2014-10-09 | 2015-09-08 | State Farm Mutual Automobile Insurance Company | Method and system for assessing damage to infrastructure |
JP6486069B2 (ja) * | 2014-10-31 | 2019-03-20 | 株式会社東芝 | 画像処理装置、検査装置、検査方法及び画像処理プログラム |
JP2016090548A (ja) * | 2014-11-11 | 2016-05-23 | 株式会社東芝 | ひび割れ情報収集方法及びひび割れ情報収集プログラム |
JP6594039B2 (ja) * | 2015-05-20 | 2019-10-23 | 株式会社東芝 | 画像処理装置、方法及びプログラム |
US10648922B2 (en) | 2015-07-21 | 2020-05-12 | Kabushiki Kaisha Toshiba | Crack analysis device, crack analysis method, and crack analysis program |
US10832426B2 (en) * | 2015-09-24 | 2020-11-10 | Apple Inc. | Systems and methods for surface monitoring |
JP6550150B2 (ja) * | 2016-01-15 | 2019-07-24 | 富士フイルム株式会社 | 計測支援装置及び計測支援方法 |
JP6750519B2 (ja) * | 2016-05-24 | 2020-09-02 | 株式会社Jvcケンウッド | 撮像装置、撮像表示方法および撮像表示プログラム |
JP6969865B2 (ja) * | 2016-09-07 | 2021-11-24 | 東芝インフラシステムズ株式会社 | ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム |
CN109644256B (zh) * | 2016-09-22 | 2021-04-09 | 苹果公司 | 车载视频*** |
CA3056498A1 (en) * | 2017-03-14 | 2018-09-20 | University Of Manitoba | Structure defect detection using machine learning algorithms |
JP6807459B2 (ja) * | 2017-07-25 | 2021-01-06 | 富士フイルム株式会社 | 損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体 |
JP6833668B2 (ja) * | 2017-11-28 | 2021-02-24 | 株式会社東芝 | 画像特徴強調装置、路面特徴解析装置、画像特徴強調方法及び路面特徴解析方法 |
JP6965218B2 (ja) * | 2018-08-28 | 2021-11-10 | 株式会社東芝 | 道路維持管理システム、道路維持管理方法及びコンピュータプログラム |
-
2018
- 2018-03-06 JP JP2018040201A patent/JP7048357B2/ja active Active
-
2019
- 2019-02-04 US US16/266,588 patent/US11157750B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011192069A (ja) | 2010-03-15 | 2011-09-29 | Kddi R & D Laboratories Inc | 車両交通監視装置およびプログラム |
JP2018021375A (ja) | 2016-08-03 | 2018-02-08 | 株式会社東芝 | 舗装ひび割れ解析装置、舗装ひび割れ解析方法及び舗装ひび割れ解析プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20190279001A1 (en) | 2019-09-12 |
JP2019154017A (ja) | 2019-09-12 |
US11157750B2 (en) | 2021-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10378913B2 (en) | Navigation apparatus and navigation method | |
US10506151B2 (en) | Information acquisition apparatus | |
JP6507268B2 (ja) | 撮影支援装置及び撮影支援方法 | |
KR101287190B1 (ko) | 영상감시장치의 촬영 위치 자동 추적 방법 | |
JP6395010B2 (ja) | 課金位置評価用情報提供システム | |
JP2016057063A (ja) | 測定対象物の非接触検知方法及びその装置 | |
JP2007107962A (ja) | 測定対象物計測システム、及び送電線下離隔計測システム | |
JP2017129508A (ja) | 自己位置推定システム、自己位置推定方法、モバイル端末、サーバおよび自己位置推定プログラム | |
JP2005091298A (ja) | 画像処理を用いたグローバル座標取得装置 | |
KR20230077487A (ko) | 자율 주행 드론을 이용한 진단 시스템 및 이의 동작 방법 | |
JP2012234451A (ja) | 情報通信システム、携帯端末、情報処理方法、及びプログラム | |
JP2017163445A (ja) | 点検支援システム、点検支援方法、およびプログラム | |
KR101338496B1 (ko) | 도로 감시 방법 | |
JP7048357B2 (ja) | 撮影画像事前確認システム及び撮影画像事前確認方法 | |
WO2019085945A1 (zh) | 探测装置、探测***和探测方法 | |
KR101118926B1 (ko) | 주, 야간 겸용 이동물체 관측시스템 | |
JP2001264059A (ja) | 被計測対象の変位量計測方法 | |
US20220076399A1 (en) | Photographing guide device | |
WO2020143004A1 (zh) | 一种信息处理方法及相关设备 | |
JP7067852B1 (ja) | 路面損傷位置の算定方法 | |
JP2004077655A (ja) | 情報処理装置およびその方法、ナビゲーション装置およびその表示方法、ならびにそれらのプログラム、および、それらのプログラムを記録する記録媒体 | |
JP4167509B2 (ja) | 測量システム | |
JP6880797B2 (ja) | 位置座標変換システム、マーカー作成装置、路側撮像装置及び位置座標変換方法 | |
JP2004085551A (ja) | 測量システム | |
KR20100036756A (ko) | 지리정보시스템을 이용한 피사체 측정 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220324 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7048357 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |