JP7048357B2 - 撮影画像事前確認システム及び撮影画像事前確認方法 - Google Patents

撮影画像事前確認システム及び撮影画像事前確認方法 Download PDF

Info

Publication number
JP7048357B2
JP7048357B2 JP2018040201A JP2018040201A JP7048357B2 JP 7048357 B2 JP7048357 B2 JP 7048357B2 JP 2018040201 A JP2018040201 A JP 2018040201A JP 2018040201 A JP2018040201 A JP 2018040201A JP 7048357 B2 JP7048357 B2 JP 7048357B2
Authority
JP
Japan
Prior art keywords
image data
condition
road surface
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018040201A
Other languages
English (en)
Other versions
JP2019154017A (ja
Inventor
恭彦 山崎
信行 熊倉
正樹 白築
陽子 米川
亮 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Teli Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Teli Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Teli Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Teli Corp
Priority to JP2018040201A priority Critical patent/JP7048357B2/ja
Priority to US16/266,588 priority patent/US11157750B2/en
Publication of JP2019154017A publication Critical patent/JP2019154017A/ja
Application granted granted Critical
Publication of JP7048357B2 publication Critical patent/JP7048357B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Road Repair (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、撮影画像事前確認システム及び撮影画像事前確認方法に関する。
従来、道路舗装の点検では、専用の車両を用いた路面の性状調査が行われてきた。しかしながら、従来の調査では専用の車両を用いる必要がありコストがかかってしまう。そこで、市販のビデオカメラやスマートフォンを利用した簡易な手法による点検技術の検討が進められている。市販のビデオカメラを用いる点検手法は、誰でも容易に実施可能ではある。しかしながら、撮影された画像が、天候や照度などの環境条件や、撮影時のカメラ角度等の影響を受け、点検結果に影響が出る場合がある。そのため、路面の撮影状態を簡易に確認できる技術が求められている。
特開2004-274431号公報 国際公開第2017/014288号
本発明が解決しようとする課題は、路面の撮影状態を簡易に確認することができる撮影画像事前確認システム及び撮影画像事前確認方法を提供することである。
実施形態の撮影画像事前確認システムは、カメラと、画像データ入力部と、カメラ画角判定処理部と、路面状態解析判定処理部と、出力部とを持つ。カメラは、路面を撮影する。画像データ入力部は、前記カメラによって撮影されて前記路面の状態を解析するために用いられる路面の画像データを入力する。カメラ画角判定処理部は、前記画像データ入力部に入力された前記路面の画像データに前記路面の画像データ上に所定の区画で区切った格子状の枠を表示させて、ユーザからの指示の入力の受付、又は画像処理によって、前記カメラが真後ろまたは正面を向いていることを条件とする第1の条件を満たすか否かの判定処理を行う。路面状態解析判定処理部は、前記画像データ入力部に入力された前記路面の画像データに基づいて、前記路面の状態を解析するための第2の条件を満たしているか否かの判定処理を行う。出力部は、前記カメラ画角判定処理部による前記判定処理の結果と、前記路面状態解析判定処理部による前記判定処理の結果とを出力する。
舗装ひび割れ解析装置の概略構成を示す図。 第1の実施形態における撮影画像事前確認システムのシステム構成を示す図。 第1の実施形態における撮影画像事前確認装置の処理の流れを示すフローチャート。 実行する判定処理を選択させる選択画面の一例を示す図。 条件1の確認に関する表示画面の一例を示す図。 条件2の確認に関する表示画面の一例を示す図。 条件3の確認に関する表示画面の一例を示す図。 条件4の確認に関する表示画面の一例を示す図。 カメラ画角判定処理が完了した後の選択画面の一例を示す図。 ひび割れ検出判定処理の表示画面の一例を示す図。 カメラ画角判定処理及びひび割れ検出判定処理が完了した後の選択画面の一例を示す図。 第2の実施形態における撮影画像事前確認システムのシステム構成を示す図。 第2の実施形態における撮影画像事前確認システムの処理の流れを示すシーケンス図。 第3の実施形態における撮影画像事前確認システムのシステム構成を示す図。 第3の実施形態における撮影画像事前確認システムの処理の流れを示すシーケンス図。 第4の実施形態における撮影画像事前確認システムのシステム構成を示す図。 第4の実施形態における撮影画像事前確認システムの処理の流れを示すシーケンス図。
以下、実施形態の撮影画像事前確認システム及び撮影画像事前確認方法を、図面を参照して説明する。
(第1の実施形態)
先ず、図1を用いて舗装ひび割れ解析装置の概略を説明する。
図1(A)は、舗装ひび割れ解析装置1に入力される入力情報と、舗装ひび割れ解析装置1から出力される出力情報の概略を示している。舗装ひび割れ解析装置1は、後述する撮影画像事前確認装置によって事前確認がなされた路面の撮影画像から路面の損傷(例えば、舗装ひび割れ)を解析する装置である。
図1(A)において、入力情報は、例えば、カメラ10によって路面を撮影した撮影画像のデータ、路面を撮影する路線の区間属性情報、撮影画像を撮影したカメラの位置情報(位置データ)、カメラ10の向き、カメラ10の路面からの高さ、カメラ機種等の情報、及び解析作業を行なう解析作業者の情報等である。これらの入力情報に基づいて、ひび割れ解析システムで解析を行い、出力情報として、撮像された画像に舗装のひび割れの形状を示す画像が重畳された舗装ひび割れ重畳画像、撮影画像に基づき算出される路面における舗装ひび割れの面積比を表すひび割れ率、ひび割れ率を算出した路面が正しい点検対象であることを検証するための検証データ、点検結果を示す帳票、画面表示等を出力する。
図1(B)は、カメラの配置の一例を示す図である。
図1(B)において、車両2のルーフには、カメラ10が搭載されている。カメラ10は、車両2の進行方向に対して後ろ向きに配置されている。なお、カメラの向きは前向きでも良い。
なお、カメラ10は、撮影する路面の範囲に合せて、路面に対する俯角、路面からの高さ及び車両2の進行方向に対する撮影方向の偏角(水平方向の首振り角度)等のカメラの向きを調整して固定される。
図1(C)は、カメラで撮影された路面映像の一例を示す図である。図1(C)において、カメラ10で撮影された路面映像は、走行中の片側の車線の路面を撮影するようにカメラの向きを調整して撮影される。すなわち、図1(C)において、車両が片側車線の中央を走行したときに、大凡、図示左端に中央線(センターライン)が撮影されるようにカメラの向きを調整する。また、図1(C)図時右端に車両の進行方向左側の車線外側線が撮影されるようにカメラの向きを調整する。
このように、必要十分な路面解析を行うためには、カメラの向きを撮影範囲に合せることが重要である。このため、ひび割れ解析用の路面映像の撮影時に、路面解析に必要十分な映像を撮影できるかを事前に確認してから、路面の撮影を行うことが必要となる。
図2は、第1の実施形態における撮影画像事前確認システム100のシステム構成を示す図である。
撮影画像事前確認システム100は、カメラ10と撮影画像事前確認装置20とを備える。
カメラ10は、路面状態の解析対象となる路面を撮影する。より具体的には、カメラ10は、路面状態の解析対象となる路面が撮影可能な状態で車両2のルーフに所定の俯角で固定して設置される。カメラ10は、例えば市販のカメラである。カメラ10によって撮影される画像データは、静止画の画像データであってもよいし、動画像の画像データであってもよい。本実施形態では、カメラ10が、動画像で路面を撮影する場合を例に説明する。
撮影画像事前確認装置20は、カメラ10によって撮影された画像データを入力し、入力した画像データに基づいて、路面状態を解析するために用いられる画像データの事前判定処理を行う装置である。カメラ10と撮影画像事前確認装置20との接続は、有線による接続でも、無線による接続のどちらでもよい。事前判定処理とは、画像データが路面状態を解析するために用いることができる画像データであるのかを判定するための処理であり、例えば、画像データが正しい画角で撮影されたデータであるか否か、すなわちカメラ10の画角が正しい画角であるか否かの判定を行う判定処理やカメラ10で撮影された画像データを用いて路面状態の解析が可能か否かの判定を行う判定処理である。撮影画像事前確認装置20は、路面を撮影する道路を走行する車両2内に設けられる。
撮影画像事前確認装置20は、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備え、撮影画像事前確認プログラムを実行する。撮影画像事前確認プログラムの実行によって、撮影画像事前確認装置20は、画像データ入力部201、時刻情報入力部202、映像取得部203、GPSデータ検索部204、静止画変換部205、ひび割れ解析部206、記憶部207、カメラ画角判定処理部208、路面状態解析判定処理部209、表示制御部210、出力部としての表示部211を備える装置として機能する。なお、撮影画像事前確認装置20の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。また、撮影画像事前確認プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、撮影画像事前確認プログラムは、電気通信回線を介して送受信されてもよい。
画像データ入力部201は、カメラ10によって撮影された動画像の路面の画像データを入力する機能部である。すなわち、画像データ入力部201は、カメラ10によって撮影されて路面の状態を解析するために用いられる画像データを入力する機能部である。
時刻情報入力部202は、画像データ入力部201によって入力された動画像における開始時刻と取得時間の入力を受け付ける機能部である。開始時刻とは、動画像のうち事前判定処理の開始対象となる時刻を表す。すなわち、動画像のうち開始時刻で指定された時刻からの画像データが事前判定処理の対象となる。取得時間とは、開始時刻を基準として画像データを動画像から取得する時間の長さを表す。例えば、取得時間が10分であれば、開始時刻から10分経過するまでの画像データを取得することを意味する。
映像取得部203は、画像データ入力部201に入力された動画像の画像データと、時刻情報入力部202に入力された開始時刻及び取得時間とに基づいて、動画像から開始時刻を基準として取得時間分の画像データを取得する機能部である。以下、映像取得部203が取得した画像データを処理対象画像データと記載する。
GPSデータ検索部204は、映像取得部203で取得された処理対象画像データの時刻情報を参照してGPSデータを検索する機能部である。GPSデータとは、カメラ10を備える車両2の位置情報と、時刻情報とが対応付けられたファイルである。GPSデータは、GPS(Global Positioning System)による位置測位が可能な装置によってカメラ10による撮影時に作成され、記憶部207に記憶される。GPSデータ検索部204は、GPSデータが検索できた場合、映像取得部203で取得された処理対象画像データと、時刻情報と、位置情報とを静止画変換部205に出力する。
静止画変換部205は、GPSデータ検索部204から出力された処理対象画像データ、又は、映像取得部203から出力された処理対象画像データを静止画の画像データに変換する機能部である。静止画変換部205は、静止画の画像データ(以下「静止画データ」という。)と、時刻情報と、位置情報とを対応付けて記憶部207に記憶する。なお、静止画変換部205は、映像取得部203から直接処理対象画像データを取得した場合、静止画データと、時刻情報とを対応付けて記憶部207に記憶する。更に、静止画変換部205は、静止画データをひび割れ解析部206と、カメラ画角判定処理部208にも出力する。
ひび割れ解析部206は、静止画変換部205による変換後の静止画データを用いて、静止画データから路面のひび割れを検出する機能部である。ひび割れの検出には、既存の技術(例えば、特願2016-557662号公報に記載の技術)が用いられてもよい。また、ひび割れ解析部206は、検出したひび割れを静止画データに重畳することによって解析後静止画データを生成する。
記憶部207は、GPSデータ271と、静止画データ272と、解析後静止画データ273とを記憶する。記憶部207は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
カメラ画角判定処理部208は、静止画変換部205による変換後の静止画データに基づいて、カメラ10の画角が路面の状態を解析するための第1の条件を満たしているか否かの判定処理を行う機能部である。第1の条件は、更に細かく分けられ、例えば以下の条件1~条件4に分けられる。
・条件1:カメラ10が真後ろ(車両2の走行方向と反対方向)または正面を向いていること
・条件2:路面の状態の解析対象となる路面の車線が静止画データの真ん中付近に映っていること
・条件3:地平線が静止画データ上の所定の範囲内に映っていること
・条件4:路面を撮影しているカメラ10を搭載している車両2の車体が静止画データに映っていること
そして、第1の条件を満たすとは、条件1~条件4のいずれか又は全てを満たすことである。第1の条件が、条件1から条件4のいずれかを満たすことである場合には、どの条件を満たすことが必須であるのかについてあらかじめ設定されていてもよい。以下、カメラ画角判定処理部208が行う判定処理を、カメラ画角判定処理と記載する。
路面状態解析判定処理部209は、ひびが検出されたかを自動判定する機能を有しており、静止画変換部205による変換後の静止画データに基づいて、路面の状態を解析するための第2の条件を満たしているか否かの判定処理を行う機能部である。第2の条件は、静止画データから路面のひび割れが検出されることである。以下、路面状態解析判定処理部209が行う判定処理を、ひび割れ検出判定処理と記載する。
表示制御部210は、表示部211の表示を制御する機能部である。例えば、表示制御部210は、カメラ画角判定処理部208による判定処理時や路面状態解析判定処理部209による判定処理時において、判定処理に必要となる情報を表示部211に表示させる。また、例えば、表示制御部210は、カメラ画角判定処理部208による判定処理の結果と、路面状態解析判定処理部209による判定処理の結果とを表示部211に表示させる。
表示部211は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の画像表示装置である。表示部211は、判定処理に必要となる情報や判定結果を表示する。表示部211は、画像表示装置を撮影画像事前確認装置20に接続するためのインタフェースであってもよい。この場合、表示部211は、判定処理に必要となる情報や判定結果を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。
図3は、第1の実施形態における撮影画像事前確認装置20の処理の流れを示すフローチャートである。
ステップS101において、画像データ入力部201から、カメラ10によって撮影された動画像の画像データを入力されると、入力した動画像の画像データを映像取得部203に出力する。
ステップS102において、時刻情報入力部202は、動画像における開始時刻と取得時間の入力を受け付ける。例えば、時刻情報入力部202は、キーボード等の外部装置から開始時刻と取得時間の入力を受け付ける。時刻情報入力部202は、入力された開始時刻と取得時間の情報を映像取得部203に出力する。
ステップS103において、映像取得部203は、画像データ入力部201から出力された動画像の画像データと、時刻情報入力部202から出力された開始時刻と取得時間の情報とに基づいて動画像から開始時刻を基準として取得時間分の画像データを取得する。具体的には、映像取得部203は、開始時刻が00:00:00であり、取得時間が10分である場合、動画像の画像データの00:00:00から10分経過するまでの画像データを処理対象画像データとして取得する。映像取得部203は、取得した処理対象画像データをGPSデータ検索部204に出力する。
ステップS104において、GPSデータ検索部204は、映像取得部203で取得された処理対象画像データの時刻情報を参照して、処理対象画像データの時刻情報で示される時刻に該当するGPSデータ271を記憶部207から検索する。GPSデータ検索部204は、GPSデータが検索できた場合、映像取得部203で取得された処理対象画像データと、時刻情報と、位置情報とを静止画変換部205に出力する。一方、GPSデータ検索部204は、GPSデータが検索できなかった場合、エラーを出力し、図3の処理を終了させる。
ステップS105において、静止画変換部205は、GPSデータ検索部204から出力された処理対象画像データを静止画データに変換する。静止画変換部205は、静止画データと、時刻情報と、位置情報とを対応付けて記憶部207に静止画データ272として記憶する。また、静止画変換部205は、変換後の静止画データをひび割れ解析部206とカメラ画角判定処理部208に出力する。
次に、ステップS107のカメラ画角判定処理に移行する。静止画変換部205による変換後の静止画データへの変換が完了すると、表示制御部210は、表示部211に図4に示す画面を表示させる。
図4は、実行する判定処理を選択させる選択画面の一例を示す図である。図4に示すように、選択画面には、カメラ画角チェックボタン101と、ひび解析チェックボタン102とが表示されている。カメラ画角チェックボタン101は、カメラ画角判定処理を実行させるためのボタンである。カメラ画角チェックボタン101が選択されると、撮影画像事前確認装置20はステップS107の処理を実行する。ひび解析チェックボタン102は、ひび割れ検出判定処理を実行させるためのボタンである。ひび解析チェックボタン102が選択されると、撮影画像事前確認装置20はステップS108の処理を実行する。なお、ステップS107の処理と、ステップS108の処理とは、並行処理が可能である。例えば、カメラ画角チェックボタン101と、ひび解析チェックボタン102の2つのボタンが選択されると、撮影画像事前確認装置20はステップS107の処理と、ステップS108の処理とを並行処理として実行する。
ここでは、まず、カメラ画角チェックボタン101が選択されたとして説明を続ける。
ステップS107において、カメラ画角判定処理部208は、静止画データ272に基づいてカメラ画角判定処理を行う。カメラ画角判定処理部208は、静止画データ上に、所定の区画で区切った格子状の枠を重畳した画像を生成し、生成した画像と、条件1に関する情報とを表示させた画面を表示部211に表示させるように表示制御部210に指示する。表示制御部210は、指示に従って表示部211に図5に示す画面を表示させる。
図5は、条件1の確認に関する表示画面の一例を示す図である。ここで、条件1の一例として、カメラ10が真後ろを向いていることの確認画面が示されている。図5には、格子状の枠が重畳された静止画データと、この他に、指示表示領域103と、チェックボックス104と、進むボタン105と、画像切り替えボタン106とが表示されている。
指示表示領域103は、ユーザに対する指示が表示される領域である。チェックボックス104は、条件(例えば、条件1から条件4のいずれか)を満たしているか否かを入力させる領域である。図5に示す例では、条件1の一例として、カメラ10が真後ろを向いていることが示されている。
ユーザが、表示されている画像を見て、条件を満たしていると判定した場合には、ユーザによってチェックボックス104に対してチェックマークが入力される。ユーザが、表示されている画像を見て、条件を満たしていないと判定した場合にはチェックボックス104に対してチェックマークが入力されない。
進むボタン105は、次の条件(例えば、条件2~4)の判定に進むためのボタンである。
画像切り替えボタン106は、現在表示されている静止画データを他の静止画データに切り替えるためのボタンである。図5に示す例では、静止画データが全部で150枚あり、現在表示部211に表示されている静止画データが1枚目の静止画データであることが示されている。
図5において、ユーザによって進むボタン105が選択されると、カメラ画角判定処理部208は、所定の区画で区切った格子状の枠を重畳した画像と、条件2に関する情報とを表示させた画面を表示部211に表示させるように表示制御部210に指示する。表示制御部210は、指示に従って表示部211に図6に示す画面を表示させる。
図6は、条件2の確認に関する表示画面の一例を示す図である。ここで、条件2の一例としては、ひび解析する車線が真ん中に映っているかとする。
図6に示すように、条件2に関する表示画面には、所定の区画で区切った格子状の枠が静止画データに重畳されている。また、条件2に関する表示画面には、格子状の枠が重畳された静止画データの他に、指示表示領域103と、チェックボックス104と、進むボタン105と、画像切り替えボタン106とが表示されている。図6に示す例では、条件として、ひび割れ解析する車線が真ん中に映っていることが示されている。ユーザが、表示されている画像を見て、条件を満たしていると判定した場合には、ユーザによってチェックボックス104に対してチェックマークが入力される。ユーザが、表示されている画像を見て、条件を満たしていないと判定した場合にはチェックボックス104に対してチェックマークが入力されない。
図6において、ユーザによって進むボタン105が選択されると、カメラ画角判定処理部208は図6に示す画面を図7に示す画面に切り替えるように表示制御部210に指示する。具体的には、カメラ画角判定処理部208は、地平線が撮影されているべき範囲を示す枠を静止画データに重畳した画像を生成し、生成した画像と、条件3に関する情報とを表示させた画面を表示部211に表示させるように表示制御部210に指示する。表示制御部210は、指示に従って表示部211に図7に示す画面を表示させる。
図7は、条件3の確認に関する表示画面の一例を示す図である。ここで、条件3の一例として、水平線の位置の確認である。
図7に示すように、条件3に関する表示画面には、地平線が撮影されているべき範囲を示す枠27が静止画データに重畳されている。また、条件3に関する表示画面には、地平線が撮影されているべき範囲を示す枠27が重畳された静止画データの他に、指示表示領域103と、チェックボックス104と、進むボタン105と、画像切り替えボタン106とが表示されている。ユーザが、表示されている画像を見て、条件を満たしていると判定した場合には、ユーザによってチェックボックス104に対してチェックマークが入力される。ユーザが、表示されている画像を見て、条件を満たしていないと判定した場合にはチェックボックス104に対してチェックマークが入力されない。
ユーザによって進むボタン105が選択されると、カメラ画角判定処理部208は図7に示す画面を図8に示す画面に切り替えるように表示制御部210に指示する。具体的には、カメラ画角判定処理部208は、静止画データと、条件4に関する情報とを表示させた画面を表示部211に表示させるように表示制御部210に指示する。表示制御部210は、指示に従って表示部211に図8に示す画面を表示させる。
図8は、条件4の確認に関する表示画面の一例を示す図である。ここで、条件4の一例として、自車の車体の映っていないか確認である。
図8に示すように、条件4に関する表示画面には、静止画データに重畳されている。また、条件4に関する表示画面には、静止画データの他に、指示表示領域103と、チェックボックス104と、画像切り替えボタン106と、OKボタン108とが表示されている。OKボタン108は、カメラ画角判定処理が完了した際に選択されるボタンである。ユーザが、表示されている画像を見て、条件を満たしていると判定した場合には、ユーザによってチェックボックス104に対してチェックマークが入力される。ユーザが、表示されている画像を見て、条件を満たしていないと判定した場合にはチェックボックス104に対してチェックマークが入力されない。
ユーザによってOKボタン108が選択されると、カメラ画角判定処理部208は図5から図8における判定処理でチェックボックス104に入力された結果を判定処理の結果として路面状態解析判定処理部209に出力する。その後、カメラ画角判定処理部208は、表示制御部210に対して、選択画面を表示させるとともに、カメラ画角判定処理が完了したことを示す情報をカメラ画角チェックボタン101の横に表示させる。
図9は、カメラ画角判定処理が完了した後の選択画面の一例を示す図である。図9に示すように、選択画面には、カメラ画角チェックボタン101の横に、カメラ画角判定処理が完了したことを示す情報として「確認済み」が表示されている。次に、ひび解析チェックボタン102が選択されたとする。
以上説明したカメラ画角判定処理と並行して、ひび割れ検出処理も行われる。
ステップS106において、ひび割れ解析部206は、静止画変換部205による変換後の静止画データを用いて、静止画データから路面のひび割れを検出する。その後、ひび割れ解析部206は、検出したひび割れを静止画データに重畳することによって解析後静止画データを生成する。なお、ひび割れ解析部206は、静止画データが複数ある場合には、全ての静止像データからひび割れを検出し、それぞれ検出したひび割れを対応する静止画データに重畳することによって複数の解析後静止画データを生成する。ひび割れ解析部206は、生成した解析後静止画データを記憶部207に解析後静止画データ273として記憶する。
ひび解析チェックボタン102が選択されると、ステップS108に移行し、路面状態解析判定処理部209は、ひび割れ検出判定処理を行う。なお、ステップS108は、ステップS106の処理が実行された後に実行される。路面状態解析判定処理部209は、記憶部207に記憶されている解析後静止画データ273と、ひび割れ検出判定処理における条件に関する情報とを表示させた画面を表示部211に表示させるように表示制御部210に指示する。表示制御部210は、指示に従って表示部211に図10に示す画面を表示させる。
図10は、第2の条件である、ひび割れの検出判定処理の表示画面の一例を示す図である。図10に示すように、ひび割れの検出判定処理の表示画面には、解析後静止画データ273の他に、指示表示領域103と、チェックボックス104と、OKボタン109と、画像切り替えボタン110と、が表示されている。OKボタン109は、ひび割れ検出判定処理が完了した際に選択されるボタンである。画像切り替えボタン110は、現在表示されている解析後静止画データ273を他の解析後静止画データ273に切り替えるためのボタンである。
解析後静止画データ273は、ひび割れ解析部206による解析後静止画データの生成がなされた順に表示される。図9に示す例では、現在ひび割れ解析部206による解析後静止画データの生成がなされた静止画データが全部で12枚あり、現在表示部211に表示されている解析後静止画データ273が1枚目の解析後静止画データであることが示されている。図10に示す例では、条件として、ひび割れがある程度検出されていることが示されている。ユーザが、表示されている画像を見て、条件を満たしていると判定した場合には、ユーザによってチェックボックス104に対してチェックマークが入力される。ユーザが、表示されている画像を見て、条件を満たしていないと判定した場合にはチェックボックス104に対してチェックマークが入力されない。
ユーザによってOKボタン109が選択されると、路面状態解析判定処理部209は、表示制御部210に対して、選択画面を表示させるとともに、ひび割れ検出判定処理が完了したことを示す情報をひび解析チェックボタン102の横に表示させる。
図11は、カメラ画角判定処理及びひび割れ検出判定処理が完了した後の選択画面の一例を示す図である。図11に示すように、選択画面には、カメラ画角チェックボタン101の横にカメラ画角判定処理が完了したことを示す情報として「確認済み」が表示され、ひび解析チェックボタン102の横にひび割れ検出判定処理が完了したことを示す情報として「確認済み」が表示されている。
その後、ユーザによって終了ボタンが選択されると、ステップS109において、路面状態解析判定処理部209は図10における判定処理でチェックボックス104に入力された結果を示す判定処理の結果と、カメラ画角判定処理部208から出力された判定処理の結果とが示された確認結果ファイルを生成する。カメラ画角判定処理部208は、生成した確認結果ファイルを出力する。また、路面状態解析判定処理部209は、カメラ画角判定処理部208による判定処理の結果と、ひび割れ検出判定処理の結果とを表示部211に表示させるように表示制御部210に指示する。表示制御部210は、カメラ画角判定処理部208による判定処理の結果と、ひび割れ検出判定処理の結果とを表示する。
以上のように構成された撮影画像事前確認システム100によれば、現場にて計測後すぐに路面の損傷・劣化の解析が可能なため、路面の状態を把握するまでに時間がかからない。また、カメラ10の画角や映像品質が適合したものであるかを現地でチェックできるため、適合しない場合はその場で再計測を行うことが可能となる。そのため、後戻り作業が削減できる。そのため、路面の状態を精度よく撮影できているか否かを簡易に確認することが可能になる。
更に、道路管理者が道路パトロールの際に、カメラ10を用いて撮影するだけで、路面ひび割れ等理状態を簡易に把握でき、路面の日常管理としても、用いることができる。
<第1の実施形態における変形例>
本実施形態では、静止画変換部205が、映像取得部203で取得された処理対象画像データ全てを静止画データへ変換する構成を示したが、処理対象画像データを所定の間隔で間引き、間引き後の処理対象画像データを静止画データに変換するように構成されてもよい。
このように構成されることによって、処理対象画像データが時間の長い動画像であっても全ての動画像を静止画データに変換する必要がないため処理負荷を軽減することができる。
本実施形態では、カメラ10によって動画像の画像データを撮影する構成を示したが、カメラ10によって静止画データを撮影するように構成されてもよい。このように構成される場合、静止画変換部205は、映像取得部203で取得された処理対象画像データの静止画データへの変換処理を行わず、静止画データと、時刻情報と、位置情報とを対応付けて記憶部207に静止画データ272として記憶する。
本実施形態では、カメラ画角判定処理及びひび割れ検出判定処理として、ユーザが、静止画データ及び解析後静止画データを見ることによって条件を満たすか否かを判定する構成を示したが、撮影画像事前確認装置20が、画像処理によってカメラ画角判定処理及びひび割れ検出判定処理を行い、第1の条件及び第2の条件を満たすか否かを判定するように構成されてもよい。
静止画変換部205が、映像取得部203から直接処理対象画像データを取得する構成の場合には、撮影画像事前確認装置20は図3の処理においてステップS104の処理を実行しなくてもよい。このように構成される場合、撮影画像事前確認装置20は、ステップS103の処理において映像取得部203によって取得された処理対象画像データを、ステップS105の処理において静止画変換部205によって静止画データに変換する。
(第2の実施形態)
第2の実施形態は、車両2の天井に取り付けたカメラではなく、カメラを備えたその他の撮影装置によって撮影された画像データを用いて判定処理を行う実施形態である。カメラの備えた撮影装置の一例としては、ドライブレコーダー、バックモニタのカメラ、スマートフォン、タブレット端末等が挙げられる。
図12は、第2の実施形態における撮影画像事前確認システム100aのシステム構成を示す図である。
撮影画像事前確認システム100aは、撮影画像事前確認装置20aと、撮影装置25とを備える。撮影画像事前確認装置20aと、撮影装置25とは、例えば、LAN(Local Area Network)を介して接続される。撮影装置25は、内部にカメラを備え、カメラによって路面を撮影する装置である。撮影装置25は、カメラで撮影することによって得られた路面の画像データを撮影画像事前確認装置20aに出力する。撮影画像事前確認装置20aは、撮影装置25から出力された画像データを入力し、入力した画像データに基づいて、路面状態を解析するための事前判定処理を行う装置である。撮影画像事前確認装置20a及び撮影装置25は、路面を撮影する道路を走行する車両2内に設置される。
以下、撮影画像事前確認装置20a及び撮影装置25の構成について説明する。
まず撮影装置25の構成について説明する。撮影装置25は、バスで接続されたCPUやメモリや補助記憶装置などを備え、画像撮影プログラムを実行する。画像撮影プログラムの実行によって、撮影装置25は、カメラ251、画像データ入力部252、位置測定部253、位置情報入力部254を備える装置として機能する。なお、撮影装置25の各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されてもよい。また、画像撮影プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像撮影プログラムは、電気通信回線を介して送受信されてもよい。
カメラ251は、路面状態の解析対象となる路面を撮影する。より具体的には、カメラ251は、路面状態の解析対象となる路面が撮影可能な状態で路面を撮影する。カメラ251によって撮影される画像データは、静止画の画像データであってもよいし、動画像の画像データであってもよい。本実施形態では、カメラ251が、動画像で路面を撮影する場合を例に説明する。
画像データ入力部252aは、カメラ251によって撮影された動画像の路面の画像データを入力する機能部である。すなわち、画像データ入力部252は、カメラ251によって撮影されて路面の状態を解析するために用いられる画像データを入力する機能部である。画像データ入力部252aは、入力した画像データを映像取得部203aに出力する。
位置測定部253は、GPSを利用して位置を測定する機能部である。
位置情報入力部254は、位置測定部253によって測定された位置情報(例えば、緯度経度情報)を入力する機能部である。位置情報入力部254は、測定した位置情報を静止画変換部205aに出力する。
次に、撮影画像事前確認装置20aの構成について説明する。撮影画像事前確認装置20aは、バスで接続されたCPUやメモリや補助記憶装置などを備え、撮影画像事前確認プログラムを実行する。撮影画像事前確認プログラムの実行によって、撮影画像事前確認装置20aは、映像取得部203a、静止画変換部205a、ひび割れ解析部206、記憶部207a、カメラ画角判定処理部208、路面状態解析判定処理部209、表示制御部210、表示部211を備える装置として機能する。なお、撮影画像事前確認装置20aの各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されてもよい。また、撮影画像事前確認プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、撮影画像事前確認プログラムは、電気通信回線を介して送受信されてもよい。
撮影画像事前確認装置20aは、映像取得部203、静止画変換部205、記憶部207に代えて映像取得部203a、静止画変換部205a、記憶部207aを備える点、画像データ入力部201、時刻情報入力部202及びGPSデータ検索部204を備えない点で撮影画像事前確認装置20と構成が異なる。撮影画像事前確認装置20aは、他の構成については撮影画像事前確認装置20と同様である。そのため、撮影画像事前確認装置20a全体の説明は省略し、映像取得部203a、静止画変換部205a及び記憶部207aについて説明する。
映像取得部203aは、画像データ入力部252に入力された画像データを処理対象画像データとして取得する。
静止画変換部205aは、映像取得部203aによって取得された処理対象画像データを静止画データに変換する機能部である。静止画変換部205aは、静止画データと、時刻情報と、位置情報入力部254によって入力された位置情報とを対応付けて記憶部207aに記憶する。
記憶部207aは、静止画データ272と、解析後静止画データ273とを記憶する。記憶部207aは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
図13は、第2の実施形態における撮影画像事前確認システム100aの処理の流れを示すシーケンス図である。図13において、図3と同様の処理においては図3と同様の符号を付して説明を省略する。なお、図13に示す撮影画像事前確認装置20aが行うカメラ画角判定処理と、ひび割れ検出判定処理とは、同一の装置で実行してもよいし、それぞれの判定処理を別の装置で実行してもよい。図13では、カメラ画角判定処理と、ひび割れ検出判定処理とを同一の装置で実行する場合を例に説明する。
ステップS201において、撮影装置25のカメラ251は、ユーザの操作によって動画像で路面を撮影する。カメラ251は、撮影した動画像の路面の画像データを画像データ入力部252に出力する。なお、路面の画像データには、路面が撮影された時刻に関する時刻情報が含まれる。ステップS202において、画像データ入力部252は、カメラ251によって撮影された動画像の画像データを入力する。画像データ入力部252は、入力した動画像の画像データを撮影画像事前確認装置20aに出力する。
撮影画像事前確認装置20aの映像取得部203aは、画像データ入力部252に入力された画像データを処理対象画像データとして取得する。
次に、ステップS203において、位置測定部253は、カメラ251による撮影時に位置を測位する。位置測定部253は、測位結果を位置情報入力部254に出力する。次に、ステップS204において、位置情報入力部254は、位置測定部253によって測定された位置情報を入力する。位置情報入力部254は、入力された位置情報を撮影画像事前確認装置20aに出力する。
次に、ステップS205において、静止画変換部205aは、映像取得部203aによって取得された処理対象画像データを静止画データに変換する。静止画変換部205aは、静止画データと、時刻情報と、位置情報入力部254から得られた位置情報とを対応付けて記憶部207aに静止画データ272として記憶する。その後、ステップS107のカメラ画角判定処理と、ステップS106のひび割れ検出処理以降の処理が実行される。
以上のように構成された撮影画像事前確認システム100aによれば、第1の実施形態と同様の効果を得ることができる。
また、撮影画像事前確認システム100aでは、固定されたカメラではなく、ユーザが所持している持ち歩き可能なカメラを内蔵した撮影装置25であっても路面の状態を精度よく撮影できているか否かを簡易に確認することが可能になる。
更に、道路管理者が道路パトロールの際に、持ち歩き可能なカメラ251を内蔵した撮影装置25を持参していれば、本装置を使用することで、路面ひび割れ等理状態を簡易に把握でき、路面の日常管理としても、用いることができる。
<第2の実施形態における変形例>
本実施形態では、静止画変換部205aが、映像取得部203aで取得された処理対象画像データ全てを静止画データへ変換する構成を示したが、処理対象画像データを所定の間隔で間引き、間引き後の処理対象画像データを静止画データに変換するように構成されてもよい。
このように構成されることによって、処理対象画像データが時間の長い動画像であっても全ての動画像を静止画データに変換する必要がないため処理負荷を軽減することができる。
本実施形態では、カメラ251によって動画像の画像データを撮影する構成を示したが、カメラ251によって静止画データを撮影するように構成されてもよい。このように構成される場合、静止画変換部205aは、映像取得部203aで取得された処理対象画像データの静止画データへの変換処理を行わず、静止画データと、時刻情報と、位置情報とを対応付けて記憶部207aに静止画データ272として記憶する。
撮影画像事前確認装置20aは、解析後静止画データ273と、位置情報とを用いて、結果(解析画像、劣化度)を地図上に表示するように構成されてもよい。
本実施形態では、カメラ画角判定処理及びひび割れ検出判定処理として、ユーザが、静止画データ及び解析後静止画データを見ることによって条件を満たすか否かを判定する構成を示したが、撮影画像事前確認装置20aが、画像処理によってカメラ画角判定処理及びひび割れ検出判定処理を行い、第1の条件及び第2の条件を満たすか否かを判定するように構成されてもよい。
撮影装置25と、撮影画像事前確認装置20aとは一体化されて1つの装置として構成されてもよい。
(第3の実施形態)
第3の実施形態は、画像データを用いた判定処理をクラウド上のサーバで行う実施形態である。
図14は、第3の実施形態における撮影画像事前確認システム100bのシステム構成を示す図である。
撮影画像事前確認システム100bは、カメラ10と撮影画像事前確認装置20bとクラウドサーバ30とを備える。
カメラ10は、路面状態の解析対象となる路面を撮影する。
撮影画像事前確認装置20bは、カメラ10によって撮影された画像データをクラウドサーバ30に送信し、ユーザの要求に応じて、路面状態を解析するための事前判定処理の結果をクラウドサーバ30から取得して表示する装置である。カメラ10と撮影画像事前確認装置20bとの接続は、有線による接続でも、無線による接続のどちらでもよい。撮影画像事前確認装置20bは、路面を撮影する道路を走行する車両2内に設けられる。
クラウドサーバ30は、撮影画像事前確認装置20bから送信された画像データを入力し、入力した画像データに基づいて、路面状態を解析するための事前判定処理を行う装置である。クラウドサーバ30は、路面を撮影する道路とは異なる場所に設けられる外部装置である。
以下、撮影画像事前確認装置20b及びクラウドサーバ30の具体的な構成について説明する。
まず撮影画像事前確認装置20bの構成について説明する。撮影画像事前確認装置20bは、バスで接続されたCPUやメモリや補助記憶装置などを備え、撮影画像事前確認プログラムを実行する。撮影画像事前確認プログラムの実行によって、撮影画像事前確認装置20bは、画像データ入力部201、時刻情報入力部202、映像取得部203、GPSデータ検索部204、記憶部207b、表示制御部210b、表示部211、通信部215及び操作部216を備える装置として機能する。なお、撮影画像事前確認装置20aの各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されてもよい。また、撮影画像事前確認プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、撮影画像事前確認プログラムは、電気通信回線を介して送受信されてもよい。
撮影画像事前確認装置20bは、記憶部207及び表示制御部210に代えて記憶部207b及び表示制御部210bを備える点、通信部215及び操作部216を新たに備える点、静止画変換部205、ひび割れ解析部206、カメラ画角判定処理部208及び路面状態解析判定処理部209を備えない点で撮影画像事前確認装置20と構成が異なる。撮影画像事前確認装置20bは、他の構成については撮影画像事前確認装置20と同様である。そのため、撮影画像事前確認装置20b全体の説明は省略し、記憶部207b、表示制御部210b、通信部215及び操作部216について説明する。
記憶部207bは、GPSデータ271を記憶する機能部である。記憶部207bは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
通信部215は、ネットワークを介してクラウドサーバ30との間で通信を行う機能部である。ネットワークは、例えば、5Gである。通信部215は、GPSデータ検索部204から出力された処理対象画像データと、時刻情報と、位置情報とをクラウドサーバ30に送信する。なお、通信部215は、映像取得部203から直接処理対象画像データを取得した場合、静止画データと、時刻情報とをクラウドサーバ30に送信する。また、通信部215は、操作部216を介して入力された指示に応じて、判定処理(カメラ画角判定処理及びひび割れ検出判定処理)の結果をクラウドサーバ30から受信する。
表示制御部210bは、通信部215によって受信された判定処理の結果を表示部211に表示させる機能部である。
操作部216は、ユーザから入力を受け付ける機能部である。例えば、操作部216は、ユーザから判定処理の結果の取得指示の入力を受け付ける。操作部216は、キーボード、ポインティングデバイス(マウス、タブレット等)、タッチパネル、ボタン等の既存の入力装置を用いて構成される。
次に、クラウドサーバ30の構成について説明する。
クラウドサーバ30は、バスで接続されたCPUやメモリや補助記憶装置などを備え、撮影画像事前確認プログラムを実行する。撮影画像事前確認プログラムの実行によって、クラウドサーバ30は、通信部301、静止画変換部302、ひび割れ解析部303、記憶部304、カメラ画角判定処理部305及び路面状態解析判定処理部306を備える装置として機能する。なお、クラウドサーバ30の各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されてもよい。また、撮影画像事前確認プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、撮影画像事前確認プログラムは、電気通信回線を介して送受信されてもよい。
通信部301は、ネットワークを介して撮影画像事前確認装置20bとの間で通信を行う機能部である。通信部301は、撮影画像事前確認装置20bから送信された処理対象画像データ、時刻情報及び位置情報、又は、処理対象画像データ及び時刻情報を受信する。また、通信部301は、撮影画像事前確認装置20bからの要求に応じて、判定処理の結果を撮影画像事前確認装置20bに送信する。
静止画変換部302は、通信部301によって受信された処理対象画像データを静止画データに変換する機能部である。静止画変換部205は、静止画データと、時刻情報と、位置情報とを対応付けて記憶部304に記憶する。なお、静止画変換部302は、通信部301によって受信された処理対象画像データに時刻情報のみが対応付けられている場合、静止画データと、時刻情報とを対応付けて記憶部304に記憶する。更に、静止画変換部302は、静止画データをひび割れ解析部303と、カメラ画角判定処理部305にも出力する。
ひび割れ解析部303は、静止画変換部302による変換後の静止画データを用いて、静止画データから路面のひび割れを検出する機能部である。また、ひび割れ解析部303は、検出したひび割れを静止画データに重畳することによって解析後静止画データを生成する。
記憶部304は、静止画データ341と、解析後静止画データ342と、判定結果343とを記憶する。記憶部304は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。判定結果343は、カメラ画角判定処理部305及び路面状態解析判定処理部306による判定処理の結果を表す。
カメラ画角判定処理部305は、静止画変換部302による変換後の静止画データに基づいて、カメラ画角判定処理を行う機能部である。カメラ画角判定処理部305が行うカメラ画角判定処理は、カメラ画角判定処理部208が行うカメラ画角判定処理と同様である。
路面状態解析判定処理部306は、ひびが検出されたかを自動判定する機能を有しており、静止画変換部302による変換後の静止画データ341に基づいて、ひび割れ検出判定処理を行う機能部である。路面状態解析判定処理部306が行うひび割れ検出判定処理は、路面状態解析判定処理部209が行うひび割れ検出判定処理と同様である。
図15は、第3の実施形態における撮影画像事前確認システム100bの処理の流れを示すシーケンス図である。なお、図15に示すクラウドサーバ30が行うカメラ画角判定処理と、ひび割れ検出判定処理とは、同一の装置で実行してもよいし、それぞれの判定処理を別の装置で実行してもよい。図15では、カメラ画角判定処理と、ひび割れ検出判定処理とを同一の装置で実行する場合を例に説明する。
ステップS301において、撮影画像事前確認装置20bの画像データ入力部201は、カメラ10によって撮影された動画像の画像データを入力する。画像データ入力部201は、入力した動画像の画像データを映像取得部203に出力する。
次に、ステップS302において、時刻情報入力部202は、動画像における開始時刻と取得時間の入力を受け付ける。例えば、時刻情報入力部202は、キーボード等の外部装置から開始時刻と取得時間の入力を受け付ける。時刻情報入力部202は、入力された開始時刻と取得時間の情報を映像取得部203に出力する。
次に、ステップS303において、映像取得部203は、画像データ入力部201から出力された動画像の画像データと、時刻情報入力部202から出力された開始時刻と取得時間の情報とに基づいて動画像から開始時刻を基準として取得時間分の画像データを取得する。映像取得部203は、取得した処理対象画像データをGPSデータ検索部204に出力する。
次に、ステップS304において、GPSデータ検索部204は、映像取得部203で取得された処理対象画像データの時刻情報を参照して、処理対象画像データの時刻情報で示される時刻に該当するGPSデータ271を記憶部207bから検索する。GPSデータ検索部204は、GPSデータが検索できた場合、映像取得部203で取得された処理対象画像データと、時刻情報と、位置情報とを通信部215に出力する。一方、GPSデータ検索部204は、GPSデータが検索できなかった場合、エラーを出力し、図15の処理を終了させる。
次に、ステップS305において、通信部215は、GPSデータ検索部204から出力された処理対象画像データと、時刻情報と、位置情報とを対応付けてクラウドサーバ30に送信する。
クラウドサーバ30の通信部301は、撮影画像事前確認装置20bから送信された処理対象画像データと、時刻情報と、位置情報とを受信する。通信部301は、受信した処理対象画像データと、時刻情報と、位置情報とを静止画変換部302に出力する。
ステップS306において、静止画変換部302は、通信部301から出力された処理対象画像データを静止画データに変換する。
静止画変換部302は、静止画データと、時刻情報と、位置情報とを対応付けて記憶部304に静止画データ341として記憶する。また、静止画変換部302は、変換後の静止画データをひび割れ解析部303とカメラ画角判定処理部305に出力する。
その後、ステップS307において、ひび割れ解析部303は、静止画変換部302による変換後の静止画データを用いて、静止画データから路面のひび割れを検出する。その後、ひび割れ解析部303は、検出したひび割れを静止画データに重畳することによって解析後静止画データを生成する。なお、ひび割れ解析部303は、静止画データが複数ある場合には、全ての静止像データからひび割れを検出し、それぞれ検出したひび割れを対応する静止画データデータに重畳することによって複数の解析後静止画データを生成する。ひび割れ解析部303は、生成した解析後静止画データを記憶部207に解析後静止画データ342として記憶する。
ステップS308において、撮影画像事前確認装置20bの操作部216は、ユーザから判定処理の実行を要求する指示が入力されると、通信部215を介して実行要求をクラウドサーバ30に送信する。実行要求は、クラウドサーバ30に判定処理を実行させるための要求である。
クラウドサーバ30の通信部301は、撮影画像事前確認装置20bから送信された実行要求を受信する。通信部301は、受信した実行要求をカメラ画角判定処理部305と、路面状態解析判定処理部306に出力する。カメラ画角判定処理部305は、実行要求が通信部301によって受信されると、通信部301を制御して図4に示す画面を撮影画像事前確認装置20bに表示させる旨の通知を撮影画像事前確認装置20bに送信する。
撮影画像事前確認装置20bの通信部215は、クラウドサーバ30から送信された通知を受信する。表示制御部210bは、通信部215によって受信された通知に従って表示部211に図4に示す画面を表示させる。図4に示すカメラ画角チェックボタン101が選択されると、クラウドサーバ30はステップS309の処理を実行する。また、図4に示すひび解析チェックボタン102が選択されると、クラウドサーバ30はステップS310の処理を実行する。なお、ステップS309の処理と、ステップS310の処理とは、並行処理が可能である。例えば、カメラ画角チェックボタン101と、ひび解析チェックボタン102の2つのボタンが選択されると、クラウドサーバ30はステップS309の処理と、ステップS310の処理とを並行処理として実行する。
図4に示す画面においてカメラ画角チェックボタン101が選択されると、撮影画像事前確認装置20bの通信部215は、カメラ画角チェックボタン101が選択された旨を示す通知をクラウドサーバ30に送信する。図4に示す画面においてひび解析チェックボタン102が選択されると、撮影画像事前確認装置20bの通信部215は、ひび解析チェックボタン102が選択された旨を示す通知をクラウドサーバ30に送信する。
クラウドサーバ30の通信部301は、撮影画像事前確認装置20bから送信された通知を受信する。通信部301は、受信した通知が、カメラ画角チェックボタン101が選択された旨を示す場合には、受信した通知をカメラ画角判定処理部305に出力する。また、クラウドサーバ30の通信部301は、撮影画像事前確認装置20bから送信された通知を受信する。通信部301は、受信した通知が、ひび解析チェックボタン102が選択された旨を示す場合には、受信した通知を路面状態解析判定処理部306に出力する。
ステップS309において、カメラ画角判定処理部305は、カメラ画角チェックボタン101が選択された旨の通知が受信された場合には、静止画データ341に基づいてカメラ画角判定処理を行う。具体的には、カメラ画角判定処理部305は、通信部301を制御して図5に示す画面を撮影画像事前確認装置20bに表示させる旨の通知を撮影画像事前確認装置20bに送信する。
撮影画像事前確認装置20bの表示制御部210bは、クラウドサーバ30から図5に示す画面を撮影画像事前確認装置20bに表示させる旨の通知が受信された場合、図5に示す画面を表示部211に表示させ、ユーザからの入力を受け付ける。通信部215は、ユーザからの入力がなされると、入力された結果を含む通知をクラウドサーバ30に送信する。
また、例えば、カメラ画角判定処理部305は、図5に示す画面において進むボタン105が選択された旨の通知が受信された場合には、通信部301を制御して図6に示す画面を撮影画像事前確認装置20bに表示させる旨の通知を撮影画像事前確認装置20bに送信する。
撮影画像事前確認装置20bの表示制御部210bは、クラウドサーバ30から図6に示す画面を撮影画像事前確認装置20bに表示させる旨の通知が受信された場合、図6に示す画面を表示部211に表示させ、ユーザからの入力を受け付ける。通信部215は、ユーザからの入力がなされると、入力された結果を含む通知をクラウドサーバ30に送信する。
また、例えば、カメラ画角判定処理部305は、図6に示す画面において進むボタン105が選択された旨の通知が受信された場合には、通信部301を制御して図7に示す画面を撮影画像事前確認装置20bに表示させる旨の通知を撮影画像事前確認装置20bに送信する。
撮影画像事前確認装置20bの表示制御部210bは、クラウドサーバ30から図7に示す画面を撮影画像事前確認装置20bに表示させる旨の通知が受信された場合、図7に示す画面を表示部211に表示させ、ユーザからの入力を受け付ける。通信部215は、ユーザからの入力がなされると、入力された結果を含む通知をクラウドサーバ30に送信する。
また、例えば、カメラ画角判定処理部305は、図7に示す画面において進むボタン105が選択された旨の通知が受信された場合には、通信部301を制御して図8に示す画面を撮影画像事前確認装置20bに表示させる旨の通知を撮影画像事前確認装置20bに送信する。
撮影画像事前確認装置20bの表示制御部210bは、クラウドサーバ30から図8に示す画面を撮影画像事前確認装置20bに表示させる旨の通知が受信された場合、図8に示す画面を表示部211に表示させ、ユーザからの入力を受け付ける。通信部215は、ユーザからの入力がなされると、入力された結果を含む通知をクラウドサーバ30に送信する。
また、例えば、カメラ画角判定処理部305は、図8に示す画面においてOKボタン108が選択された旨の通知が受信された場合には、通信部301を制御して図9に示す画面を撮影画像事前確認装置20bに表示させる旨の通知を撮影画像事前確認装置20bに送信する。
撮影画像事前確認装置20bの表示制御部210bは、クラウドサーバ30から図9に示す画面を撮影画像事前確認装置20bに表示させる旨の通知が受信された場合、図9に示す画面を表示部211に表示させ、ユーザからの入力を受け付ける。通信部215は、ユーザからの入力がなされると、入力された結果を含む通知をクラウドサーバ30に送信する。
ステップS310において、路面状態解析判定処理部306は、ひび解析チェックボタン102が選択された旨の通知が受信された場合には、静止画データ341に基づいてひび割れ検出判定処理を行う。具体的には、路面状態解析判定処理部306は、通信部301を制御して図10に示す画面を撮影画像事前確認装置20bに表示させる旨の通知を撮影画像事前確認装置20bに送信する。
撮影画像事前確認装置20bの表示制御部210bは、クラウドサーバ30から図10に示す画面を撮影画像事前確認装置20bに表示させる旨の通知が受信された場合、図10に示す画面を表示部211に表示させ、ユーザからの入力を受け付ける。通信部215は、ユーザからの入力がなされると、入力された結果を含む通知をクラウドサーバ30に送信する。
路面状態解析判定処理部306は、図10に示す画面においてOKボタン109が選択された旨の通知が受信された場合には、通信部301を制御して図11に示す画面を撮影画像事前確認装置20bに表示させる旨の通知を撮影画像事前確認装置20bに送信する。
撮影画像事前確認装置20bの表示制御部210bは、クラウドサーバ30から図11に示す画面を撮影画像事前確認装置20bに表示させる旨の通知が受信された場合、図11に示す画面を表示部211に表示させ、ユーザからの入力を受け付ける。通信部215は、ユーザからの入力がなされると、入力された結果を含む通知をクラウドサーバ30に送信する。
路面状態解析判定処理部306は、図11に示す画面において終了ボタンが選択された旨の通知が受信された場合には、ひび割れ検出判定処理を終了する。その後、カメラ画角判定処理部305及び路面状態解析判定処理部306は、判定処理の結果を記憶部304に判定結果343として記憶する。
その後、操作部216は、ユーザから判定処理の結果を要求する指示が入力されると、ステップS311において、通信部215を介して、判定結果をクラウドサーバ30に要求する。
ステップS312において、クラウドサーバ30の通信部301は、撮影画像事前確認装置20bから送信された判定結果の要求に応じて、記憶部304に記憶されている判定結果343を撮影画像事前確認装置20bに送信する。
以上のように構成された撮影画像事前確認システム100aによれば、第1の実施形態と同様の効果を得ることができる。
また、撮影画像事前確認システム100aでは、クラウドサーバ30にて判定処理を行うため、車両2に設けられる装置の処理負荷を軽減することができる。また、クラウドサーバ30に判定処理の結果が記憶されているため、様々な場所から判定処理の結果を把握することができる。
更に、道路管理者が道路パトロールの際に、カメラ10を用いて撮影をしておけば、クラウドサーバ30にアクセスするだけで、路面ひび割れ等理状態を簡易に把握でき、路面の日常管理としても、用いることができる。
<第3の実施形態における変形例>
本実施形態では、静止画変換部302が、通信部301によって受信された処理対象画像データ全てを静止画データへ変換する構成を示したが、処理対象画像データを所定の間隔で間引き、間引き後の処理対象画像データを静止画データに変換するように構成されてもよい。
このように構成されることによって、処理対象画像データが時間の長い動画像であっても全ての動画像を静止画データに変換する必要がないため処理負荷を軽減することができる。
本実施形態では、カメラ10によって動画像の画像データを撮影する構成を示したが、カメラ10によって静止画データを撮影するように構成されてもよい。このように構成される場合、静止画変換部302は、処理対象画像データの静止画データへの変換処理を行わず、静止画データと、時刻情報と、位置情報とを対応付けて記憶部304に静止画データ341として記憶する。
本実施形態では、カメラ画角判定処理及びひび割れ検出判定処理として、ユーザが、静止画データ及び解析後静止画データを見ることによって条件を満たすか否かを判定する構成を示したが、クラウドサーバ30が、画像処理によってカメラ画角判定処理及びひび割れ検出判定処理を行い、第1の条件及び第2の条件を満たすか否かを判定するように構成されてもよい。
通信部215が、映像取得部203から直接処理対象画像データを取得する構成の場合には、撮影画像事前確認装置20bは図15の処理においてステップS304の処理を実行しなくてもよい。このように構成される場合、撮影画像事前確認装置20bは、ステップS303の処理において映像取得部203によって取得された処理対象画像データを、ステップS305の処理において通信部215によって処理対象画像データと、時刻情報とを対応付けてクラウドサーバ30に送信する。
(第4の実施形態)
第4の実施形態は、カメラを備える撮影画像事前確認装置によって撮影された画像データを用いた判定処理をクラウド上のサーバで行う実施形態である。
図16は、第4の実施形態における撮影画像事前確認システム100cのシステム構成を示す図である。
撮影画像事前確認システム100cは、撮影画像事前確認装置20cと、撮影装置25とクラウドサーバ30とを備える。撮影画像事前確認装置20cと、撮影装置25とは、例えば、LANを介して接続される。撮影画像事前確認装置20cと、クラウドサーバ30とはネットワーク40を介して接続される。
撮影装置25は、内部にカメラ251を備え、カメラ251によって路面を撮影する装置である。撮影装置25は、カメラ251で撮影することによって得られた路面の画像データを撮影画像事前確認装置20cに出力する。撮影画像事前確認装置20cは、撮影装置25から出力された画像データをクラウドサーバ30に送信し、ユーザの要求に応じて、路面状態を解析するための事前判定処理の結果をクラウドサーバ30から取得して表示する装置である。撮影画像事前確認装置20c及び撮影装置25は、路面を撮影する道路を走行する車両2内に設けられる。
クラウドサーバ30は、撮影画像事前確認装置20cから送信された画像データを入力し、入力した画像データに基づいて、路面状態を解析するための事前判定処理を行う装置である。クラウドサーバ30は、路面を撮影する道路とは異なる場所に設けられる外部装置である。
以下、撮影画像事前確認装置20c、撮影装置25及びクラウドサーバ30の具体的な構成について説明する。なお、撮影装置25の構成は、第2の実施形態と同様であるため説明を省略する。また、クラウドサーバ30の構成は、第3の実施形態と同様であるため説明を省略する。
撮影画像事前確認装置20cは、バスで接続されたCPUやメモリや補助記憶装置などを備え、撮影画像事前確認プログラムを実行する。撮影画像事前確認プログラムの実行によって、撮影画像事前確認装置20cは、映像取得部203c、表示制御部210b、表示部211、通信部215c及び操作部216を備える装置として機能する。なお、撮影画像事前確認装置20cの各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されてもよい。また、撮影画像事前確認プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、撮影画像事前確認プログラムは、電気通信回線を介して送受信されてもよい。
撮影画像事前確認装置20cは、映像取得部203及び通信部215に代えて映像取得部203c及び通信部215cを備える点、画像データ入力部201、時刻情報入力部202、GPSデータ検索部204及び記憶部207bを備えない点で撮影画像事前確認装置20bと構成が異なる。撮影画像事前確認装置20cは、他の構成については撮影画像事前確認装置20bと同様である。そのため、撮影画像事前確認装置20c全体の説明は省略し、映像取得部203c及び通信部215cについて説明する。
映像取得部203cは、画像データ入力部201cに入力された画像データを処理対象画像データとして取得する。
通信部215cは、ネットワークを介してクラウドサーバ30との間で通信を行う機能部である。通信部215cは、映像取得部203cによって取得された処理対象画像データと、時刻情報と、位置情報入力部254によって入力された位置情報とを対応付けてクラウドサーバ30に送信する。
図17は、第4の実施形態における撮影画像事前確認システム100cの処理の流れを示すシーケンス図である。図17において、図15と同様の処理においては図15と同様の符号を付して説明を省略する。なお、図17に示すクラウドサーバ30が行うカメラ画角判定処理と、ひび割れ検出判定処理とは、同一の装置で実行してもよいし、それぞれの判定処理を別の装置で実行してもよい。図15では、カメラ画角判定処理と、ひび割れ検出判定処理とを同一の装置で実行する場合を例に説明する。
ステップS401において、撮影装置25のカメラ251は、ユーザの操作によって路面を撮影する。例えば、カメラ251は、ユーザの操作によって動画像で路面を撮影する。カメラ251は、撮影した動画像の路面の画像データを画像データ入力部252に出力する。なお、路面の画像データには、路面が撮影された時刻に関する時刻情報が含まれる。ステップS402において、画像データ入力部252は、カメラ251によって撮影された動画像の画像データを入力する。画像データ入力部252は、入力した動画像の画像データを撮影画像事前確認装置20cに出力する。
撮影画像事前確認装置20cの映像取得部203cは、画像データ入力部252に入力された画像データを処理対象画像データとして取得する。
次に、ステップS403において、位置測定部253は、カメラ251による撮影時に位置を測位する。位置測定部253は、測位結果を位置情報入力部254に出力する。
次に、ステップS404において、位置情報入力部254は、位置測定部253によって測定された位置情報を入力する。位置情報入力部254は、入力された位置情報を撮影画像事前確認装置20cに出力する。
ステップS405において、撮影画像事前確認装置20cの通信部215cは、映像取得部203cによって取得された処理対象画像データと、時刻情報と、位置情報入力部254によって得られた位置情報とを対応付けてクラウドサーバ30に送信する。その後、ステップS306の静止画への変換処理以降の処理が実行される。
以上のように構成された撮影画像事前確認システム100cによれば、第2の実施形態と同様の効果を得ることができる。
また、撮影画像事前確認システム100cでは、クラウドサーバ30にて判定処理を行うため、車両2に設けられる装置の処理負荷を軽減することができる。また、クラウドサーバ30に判定処理の結果が記憶されているため、様々な場所から判定処理の結果を把握することができる。
更に、道路管理者が道路パトロールの際に、持ち歩き可能なカメラ251を内蔵した撮影装置25を持参していれば、クラウドサーバ30にアクセスするだけで、路面ひび割れ等理状態を簡易に把握でき、路面の日常管理としても、用いることができる。
<第4の実施形態における変形例>
本実施形態では、静止画変換部302が、通信部301によって受信された処理対象画像データ全てを静止画データへ変換する構成を示したが、処理対象画像データを所定の間隔で間引き、間引き後の処理対象画像データを静止画データに変換するように構成されてもよい。
このように構成されることによって、処理対象画像データが時間の長い動画像であっても全ての動画像を静止画データに変換する必要がないため処理負荷を軽減することができる。
本実施形態では、カメラ251によって動画像の画像データを撮影する構成を示したが、カメラ251によって静止画データを撮影するように構成されてもよい。このように構成される場合、静止画変換部302は、処理対象画像データの静止画データへの変換処理を行わず、静止画データと、時刻情報と、位置情報とを対応付けて記憶部304に静止画データ341として記憶する。
撮影画像事前確認装置20cは、解析後静止画データ342と、位置情報とをクラウドサーバ30から取得し、取得した解析後静止画データ342と、位置情報とを用いて、結果(解析画像、劣化度)を地図上に表示するように構成されてもよい。
本実施形態では、カメラ画角判定処理及びひび割れ検出判定処理として、ユーザが、静止画データ及び解析後静止画データを見ることによって条件を満たすか否かを判定する構成を示したが、クラウドサーバ30が、画像処理によってカメラ画角判定処理及びひび割れ検出判定処理を行い、第1の条件及び第2の条件を満たすか否かを判定するように構成されてもよい。
撮影装置25と、撮影画像事前確認装置20cとは一体化されて1つの装置として構成されてもよい。
<第1の実施形態から第4の実施形態に共通する変形例>
上記の各実施形態では、カメラ10又はカメラ251によって撮影された画像データを判定処理に用いる構成を示したが、SD(Secure Digital)カードやUSB(Universal Serial Bus)メモリ等の持ち運び可能な記録媒体に記録されている画像データが判定処理に用いられてもよい。
上記の各実施形態では、路面状態の解析対象とひび割れを例に説明したが、路面状態の解析対象はガードレール、マンホール、標識、白線等の路面に設けられる物体を解析対象としてもよい。
判定処理の結果は、解析後静止画データと位置情報と紐づけて出力されてもよい。
上記の各実施形態における撮影画像事前確認装置20、撮影画像事前確認装置20a、クラウドサーバ30は、解析後静止画データのひび割れの量から、劣化度(大:路面全体にひび割れ/中:路面の半分程度にひび割れ/小:ひび割れはほとんど無い)を判定するように構成されてもよい。
カメラ画角判定処理及びひび割れ検出判定処理の実行順序は、いずれかの判定処理が先に実行されてもよい。
以上説明した少なくともひとつの実施形態によれば、撮影画像事前確認システムは、カメラと、画像データ入力部と、カメラ画角判定処理部と、路面状態解析判定処理部と、出力部とを持つ。カメラは、路面を撮影する。画像データ入力部は、前記カメラによって撮影されて前記路面の状態を解析するために用いられる画像データを入力する。カメラ画角判定処理部は、前記画像データ入力部に入力された前記画像データに基づいて、前記カメラの画角が前記路面の状態を解析するための第1の条件を満たしているか否かの判定処理を行う。路面状態解析判定処理部は、前記画像データ入力部に入力された前記路面の画像データに基づいて、前記路面の状態を解析するための第2の条件を満たしているか否かの判定処理を行う。出力部は、前記カメラ画角判定処理部による前記判定処理の結果と、前記路面状態解析判定処理部による前記判定処理の結果とを出力する。これにより、路面の撮影状態を簡易に確認することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
10…カメラ,20、20a、20b、20c…撮影画像事前確認装置,25…撮影装置,30…クラウドサーバ,201、201c…画像データ入力部,202…時刻情報入力部,203、203a、203c…映像取得部,204…GPSデータ検索部,205、205a…静止画変換部,206…ひび割れ解析部,207、207a、207b…記憶部,208…カメラ画角判定処理部,209…路面状態解析判定処理部,210、210b…表示制御部,211…表示部,215…通信部,216…操作部,251…カメラ,252…画像データ入力部,253…位置測定部,254…位置情報入力部,301…通信部,302…静止画変換部,303…ひび割れ解析部,304…記憶部,305…カメラ画角判定処理部,306…路面状態解析判定処理部

Claims (16)

  1. 路面を撮影するカメラと、
    前記カメラによって撮影されて前記路面の状態を解析するために用いられる路面の画像データを入力する画像データ入力部と、
    前記画像データ入力部に入力された前記路面の画像データに前記路面の画像データ上に所定の区画で区切った格子状の枠を表示させて、ユーザからの指示入力の受付、又は画像処理によって、前記カメラが真後ろまたは正面を向いていることを条件とする第1の条件を満たすか否かの判定処理を行うカメラ画角判定処理部と、
    前記画像データ入力部に入力された前記路面の画像データに基づいて、前記路面の状態を解析するための第2の条件を満たしているか否かの判定処理を行う路面状態解析判定処理部と、
    前記カメラ画角判定処理部による前記判定処理の結果と、前記路面状態解析判定処理部による前記判定処理の結果とを出力する出力部と、
    を備える撮影画像事前確認システム。
  2. 前記第1の条件は、前記路面の状態の解析対象となる前記路面の車線が前記画像データの真ん中付近に映っていることをさらに含み、
    前記カメラ画角判定処理部は、前記第1の条件を満たしているか否かの判定処理として、所定の区画で区切った格子状の枠を前記画像データ上に表示させ、ユーザから前記第1の条件を満たす旨の指示の入力の受付、又は、画像処理によって前記第1の条件を満たすか否かの判定を行う、請求項に記載の撮影画像事前確認システム。
  3. 前記第1の条件は、地平線が前記画像データ上の所定の範囲内に映っていることをさらに含み、
    前記カメラ画角判定処理部は、前記第1の条件を満たしているか否かの判定処理として、前記地平線が撮影されているべき範囲を示す枠を前記画像データ上に表示させ、ユーザから前記第1の条件を満たす旨の指示の入力の受付、又は、画像処理によって前記第1の条件を満たすか否かの判定を行う、請求項に記載の撮影画像事前確認システム。
  4. 前記第1の条件は、前記路面を撮影している前記カメラを搭載している車両の車体が前記画像データに映っていないことをさらに含み、
    前記カメラ画角判定処理部は、前記第1の条件を満たしているか否かの判定処理として、前記画像データを表示させ、ユーザから前記第1の条件を満たす旨の指示の入力の受付、又は、画像処理によって前記第1の条件を満たすか否かの判定を行う、請求項に記載の撮影画像事前確認システム。
  5. 前記第2の条件は、前記路面のひび割れが検出されることであり、
    前記画像データから前記路面のひび割れを検出し、検出した前記ひび割れを前記画像データに重畳することによって解析後画像データを生成するひび割れ解析部をさらに備え、
    前記路面状態解析判定処理部は、前記第2の条件を満たしているか否かの判定処理として、前記ひび割れ解析部によって生成された前記解析後画像データを表示させ、ユーザから前記第2の条件を満たす旨の指示の入力の受付、又は、前記解析後画像データにおいてひび割れが検出できたか否かに応じて前記第2の条件を満たすか否かの判定を行う、請求項1に記載の撮影画像事前確認システム。
  6. 前記撮影画像事前確認システムは、前記路面を撮影する道路を走行する車両内に設けられる撮影画像事前確認装置と、前記路面を撮影する道路とは異なる場所に設けられる外部装置とで構成され、
    前記撮影画像事前確認装置は、前記画像データ入力部と、前記カメラによって撮影された前記画像データを前記外部装置に送信する通信部と、
    を備え、
    前記外部装置は、前記カメラ画角判定処理部と、前記路面状態解析判定処理部と、前記出力部とを備える、請求項1に記載の撮影画像事前確認システム。
  7. 前記撮影画像事前確認システムは、前記路面を撮影する道路を走行する車両内に設けられる撮影画像事前確認装置と、前記路面を撮影する道路とは異なる場所に設けられる外部装置とで構成され、
    前記撮影画像事前確認装置は、前記カメラと、前記画像データ入力部と、前記カメラによって撮影された前記画像データを前記外部装置に送信する通信部と、
    を備え、
    前記外部装置は、前記カメラ画角判定処理部と、前記路面状態解析判定処理部と、前記出力部とを備える、請求項1に記載の撮影画像事前確認システム。
  8. 前記画像データが動画像である場合、前記動画像を所定の間隔で間引き、間引き後の動画像を静止画の画像データに変換する静止画変換部をさらに備える、請求項1に記載の撮影画像事前確認システム。
  9. 路面を撮影するカメラによって撮影されて前記路面の状態を解析するために用いられる路面の画像データを入力する画像データ入力ステップと、
    前記画像データ入力ステップにおいて入力された前記路面の画像データに前記路面の画像データ上に所定の区画で区切った格子状の枠を表示させて、ユーザからの指示入力の受付、又は画像処理によって、前記カメラが真後ろまたは正面を向いていることを条件とする第1の条件を満たすか否かの判定処理を行うカメラ画角判定処理ステップと、
    前記画像データ入力ステップにおいて入力された前記路面の画像データに基づいて、前記路面の状態を解析するための第2の条件を満たしているか否かの判定処理を行う路面状態解析判定処理ステップと、
    前記カメラ画角判定処理ステップによる前記判定処理の結果と、前記路面状態解析判定処理ステップによる前記判定処理の結果とを出力する出力ステップと、
    を有する撮影画像事前確認方法。
  10. 前記第1の条件は、前記路面の状態の解析対象となる前記路面の車線が前記画像データの真ん中付近に映っていることをさらに含み、
    前記カメラ画角判定処理ステップにおける前記第1の条件を満たしているか否かの判定処理として、所定の区画で区切った格子状の枠を前記画像データ上に表示させ、ユーザから前記第1の条件を満たす旨の指示の入力の受付、又は、画像処理によって前記第1の条件を満たすか否かの判定を行う、請求項に記載の撮影画像事前確認方法。
  11. 前記第1の条件は、地平線が前記画像データ上の所定の範囲内に映っていることをさらに含み、
    前記カメラ画角判定処理ステップにおける前記第1の条件を満たしているか否かの判定処理として、前記地平線が撮影されているべき範囲を示す枠を前記画像データ上に表示させ、ユーザから前記第1の条件を満たす旨の指示の入力の受付、又は、画像処理によって前記第1の条件を満たすか否かの判定を行う、請求項10に記載の撮影画像事前確認方法。
  12. 前記第1の条件は、前記路面を撮影している前記カメラを搭載している車両2の車体が前記画像データに映っていないことをさらに含み、
    前記カメラ画角判定処理ステップにおける前記第1の条件を満たしているか否かの判定処理として、前記画像データを表示させ、ユーザから前記第1の条件を満たす旨の指示の入力の受付、又は、画像処理によって前記第1の条件を満たすか否かの判定を行う、請求項11に記載の撮影画像事前確認方法。
  13. 前記第2の条件は、前記路面のひび割れが検出されることであり、
    前記画像データから前記路面のひび割れを検出し、検出した前記ひび割れを前記画像データに重畳することによって解析後画像データを生成するひび割れ解析ステップをさらに有し、
    前記路面状態解析判定処理ステップにおける前記第2の条件を満たしているか否かの判定処理として、前記ひび割れ解析ステップにおいて生成された前記解析後画像データを表示させ、ユーザから前記第2の条件を満たす旨の指示の入力の受付、又は、前記解析後画像データにおいてひび割れが検出できたか否かに応じて前記第2の条件を満たすか否かの判定を行う、請求項に記載の撮影画像事前確認方法。
  14. 前記路面を撮影する道路を走行する車両内に設けられる撮影画像事前確認装置と、前記路面を撮影する道路とは異なる場所に設けられる外部装置とを備える撮影画像事前確認システムが行う撮影画像事前確認方法であって、
    前記撮影画像事前確認装置が、前記画像データ入力ステップと、前記カメラによって撮影された前記画像データを前記外部装置に送信する通信ステップと、
    を有し、
    前記外部装置が、前記カメラ画角判定処理ステップと、前記路面状態解析判定処理ステップと、前記出力ステップとを有する、請求項に記載の撮影画像事前確認方法。
  15. 前記路面を撮影する道路を走行する車両内に設けられる撮影画像事前確認装置と、前記路面を撮影する道路とは異なる場所に設けられる外部装置とを備える撮影画像事前確認システムが行う撮影画像事前確認方法であって、
    前記撮影画像事前確認装置が、前記カメラと、前記画像データ入力ステップと、前記カメラによって撮影された前記画像データを前記外部装置に送信する通信ステップと、
    を有し、
    前記外部装置が、前記カメラ画角判定処理ステップと、前記路面状態解析判定処理ステップと、前記出力ステップとを有する、請求項に記載の撮影画像事前確認方法。
  16. 前記画像データが動画像である場合、前記動画像を所定の間隔で間引き、間引き後の動画像を静止画の画像データに変換する静止画変換ステップをさらに有する、請求項に記載の撮影画像事前確認方法。
JP2018040201A 2018-03-06 2018-03-06 撮影画像事前確認システム及び撮影画像事前確認方法 Active JP7048357B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018040201A JP7048357B2 (ja) 2018-03-06 2018-03-06 撮影画像事前確認システム及び撮影画像事前確認方法
US16/266,588 US11157750B2 (en) 2018-03-06 2019-02-04 Captured image check system and captured image check method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018040201A JP7048357B2 (ja) 2018-03-06 2018-03-06 撮影画像事前確認システム及び撮影画像事前確認方法

Publications (2)

Publication Number Publication Date
JP2019154017A JP2019154017A (ja) 2019-09-12
JP7048357B2 true JP7048357B2 (ja) 2022-04-05

Family

ID=67843284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018040201A Active JP7048357B2 (ja) 2018-03-06 2018-03-06 撮影画像事前確認システム及び撮影画像事前確認方法

Country Status (2)

Country Link
US (1) US11157750B2 (ja)
JP (1) JP7048357B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230135985A1 (en) * 2020-03-31 2023-05-04 Nec Corporation Road deterioration diagnosing device, road deterioration diagnosing method, and recording medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192069A (ja) 2010-03-15 2011-09-29 Kddi R & D Laboratories Inc 車両交通監視装置およびプログラム
JP2018021375A (ja) 2016-08-03 2018-02-08 株式会社東芝 舗装ひび割れ解析装置、舗装ひび割れ解析方法及び舗装ひび割れ解析プログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3605164B2 (ja) 1994-12-27 2004-12-22 三菱重工業株式会社 路面性状測定車
JP4225807B2 (ja) 2003-03-10 2009-02-18 富士通株式会社 路面状況判定方法および装置
US7068815B2 (en) * 2003-06-13 2006-06-27 Sarnoff Corporation Method and apparatus for ground detection and removal in vision systems
JP2005115687A (ja) 2003-10-08 2005-04-28 Hitachi Ltd 道路保守支援システム
JP4246195B2 (ja) * 2005-11-01 2009-04-02 パナソニック株式会社 カーナビゲーションシステム
US8890951B2 (en) * 2008-04-24 2014-11-18 GM Global Technology Operations LLC Clear path detection with patch smoothing approach
JP5100845B2 (ja) * 2008-10-28 2012-12-19 株式会社パスコ 道路計測装置及び道路計測方法
JP5479944B2 (ja) 2010-02-26 2014-04-23 東日本高速道路株式会社 舗装路面のクラックの抽出と損傷レベルの評価方法
JP5776546B2 (ja) * 2011-12-28 2015-09-09 富士通株式会社 路面調査プログラム及び路面調査装置
JP6381100B2 (ja) 2013-11-07 2018-08-29 株式会社環境総合テクノス 3次元路面下診断システムおよび3次元路面下診断方法
JPWO2015129045A1 (ja) * 2014-02-28 2017-03-30 パイオニア株式会社 画像取得システム、端末、画像取得方法および画像取得プログラム
JP5936239B2 (ja) 2014-08-19 2016-06-22 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 路面の劣化度合い推定方法およびアルゴリズム(多重解像度画像のガボール・フィルター出力画像を使用した、ひび割れ検出手法)
US9129355B1 (en) * 2014-10-09 2015-09-08 State Farm Mutual Automobile Insurance Company Method and system for assessing damage to infrastructure
JP6486069B2 (ja) * 2014-10-31 2019-03-20 株式会社東芝 画像処理装置、検査装置、検査方法及び画像処理プログラム
JP2016090548A (ja) * 2014-11-11 2016-05-23 株式会社東芝 ひび割れ情報収集方法及びひび割れ情報収集プログラム
JP6594039B2 (ja) * 2015-05-20 2019-10-23 株式会社東芝 画像処理装置、方法及びプログラム
US10648922B2 (en) 2015-07-21 2020-05-12 Kabushiki Kaisha Toshiba Crack analysis device, crack analysis method, and crack analysis program
US10832426B2 (en) * 2015-09-24 2020-11-10 Apple Inc. Systems and methods for surface monitoring
JP6550150B2 (ja) * 2016-01-15 2019-07-24 富士フイルム株式会社 計測支援装置及び計測支援方法
JP6750519B2 (ja) * 2016-05-24 2020-09-02 株式会社Jvcケンウッド 撮像装置、撮像表示方法および撮像表示プログラム
JP6969865B2 (ja) * 2016-09-07 2021-11-24 東芝インフラシステムズ株式会社 ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム
CN109644256B (zh) * 2016-09-22 2021-04-09 苹果公司 车载视频***
CA3056498A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
JP6807459B2 (ja) * 2017-07-25 2021-01-06 富士フイルム株式会社 損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体
JP6833668B2 (ja) * 2017-11-28 2021-02-24 株式会社東芝 画像特徴強調装置、路面特徴解析装置、画像特徴強調方法及び路面特徴解析方法
JP6965218B2 (ja) * 2018-08-28 2021-11-10 株式会社東芝 道路維持管理システム、道路維持管理方法及びコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192069A (ja) 2010-03-15 2011-09-29 Kddi R & D Laboratories Inc 車両交通監視装置およびプログラム
JP2018021375A (ja) 2016-08-03 2018-02-08 株式会社東芝 舗装ひび割れ解析装置、舗装ひび割れ解析方法及び舗装ひび割れ解析プログラム

Also Published As

Publication number Publication date
US20190279001A1 (en) 2019-09-12
JP2019154017A (ja) 2019-09-12
US11157750B2 (en) 2021-10-26

Similar Documents

Publication Publication Date Title
US10378913B2 (en) Navigation apparatus and navigation method
US10506151B2 (en) Information acquisition apparatus
JP6507268B2 (ja) 撮影支援装置及び撮影支援方法
KR101287190B1 (ko) 영상감시장치의 촬영 위치 자동 추적 방법
JP6395010B2 (ja) 課金位置評価用情報提供システム
JP2016057063A (ja) 測定対象物の非接触検知方法及びその装置
JP2007107962A (ja) 測定対象物計測システム、及び送電線下離隔計測システム
JP2017129508A (ja) 自己位置推定システム、自己位置推定方法、モバイル端末、サーバおよび自己位置推定プログラム
JP2005091298A (ja) 画像処理を用いたグローバル座標取得装置
KR20230077487A (ko) 자율 주행 드론을 이용한 진단 시스템 및 이의 동작 방법
JP2012234451A (ja) 情報通信システム、携帯端末、情報処理方法、及びプログラム
JP2017163445A (ja) 点検支援システム、点検支援方法、およびプログラム
KR101338496B1 (ko) 도로 감시 방법
JP7048357B2 (ja) 撮影画像事前確認システム及び撮影画像事前確認方法
WO2019085945A1 (zh) 探测装置、探测***和探测方法
KR101118926B1 (ko) 주, 야간 겸용 이동물체 관측시스템
JP2001264059A (ja) 被計測対象の変位量計測方法
US20220076399A1 (en) Photographing guide device
WO2020143004A1 (zh) 一种信息处理方法及相关设备
JP7067852B1 (ja) 路面損傷位置の算定方法
JP2004077655A (ja) 情報処理装置およびその方法、ナビゲーション装置およびその表示方法、ならびにそれらのプログラム、および、それらのプログラムを記録する記録媒体
JP4167509B2 (ja) 測量システム
JP6880797B2 (ja) 位置座標変換システム、マーカー作成装置、路側撮像装置及び位置座標変換方法
JP2004085551A (ja) 測量システム
KR20100036756A (ko) 지리정보시스템을 이용한 피사체 측정 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220324

R150 Certificate of patent or registration of utility model

Ref document number: 7048357

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150