JP5948465B1 - Video processing system and video processing method - Google Patents

Abstract

【課題】複数のカメラの撮像画像を正確に同期表示することができる映像処理システムを提供すること。【解決手段】映像処理システムは、複数の映像処理装置と、前記複数の映像処理装置の各々から得られる画像フレームを同期表示する制御部とを備える。前記複数の映像処理装置の各々は、少なくとも撮像時刻を含む複数の撮像環境に関する情報を取得する撮像環境情報取得部と、被写体を結像する光学系および撮像素子を有する撮像部の出力信号に基づいて、複数の画像フレームを含む映像データを生成する映像データ生成部と、前記映像データに対して、画像フレームごとに前記撮像環境情報取得部で取得した情報を付加し、記憶媒体に記憶する記憶部と、を有する。前記制御部は前記同期表示をする際に前記撮像環境に関する情報を使用する。【選択図】 図１A video processing system capable of accurately and synchronously displaying captured images of a plurality of cameras is provided. A video processing system includes a plurality of video processing devices and a control unit that synchronously displays an image frame obtained from each of the plurality of video processing devices. Each of the plurality of video processing devices is based on an output signal of an imaging environment information acquisition unit that acquires information about a plurality of imaging environments including at least imaging time, an optical system that forms an image of an object, and an imaging unit. A video data generation unit that generates video data including a plurality of image frames, and a storage that adds the information acquired by the imaging environment information acquisition unit for each image frame to the video data and stores the information in a storage medium Part. The control unit uses information regarding the imaging environment when performing the synchronous display. [Selection] Figure 1

Description

本発明は、映像処理システム及び映像処理方法に関する。   The present invention relates to a video processing system and a video processing method.

従来、路面に関連する路面構造物や路面の周辺に設置された付属構造物等を含む道路構造物を点検する場合、点検用車両に搭載したカメラ等によって撮像した映像を点検者が確認している。
特許文献１には、車両にＣＣＤカメラを搭載し、当該ＣＣＤカメラが車両走行中に取得した路面映像をもとに路面のひびわれを検出する路面ひびわれ検出装置が開示されている。この路面ひびわれ検出装置は、１／３０秒毎に路面画像（画像フレーム）を取得すると共に、当該路面画像の取得タイミングで車両の走行距離データと時刻とを取得する。特許文献１において、上記時刻は、走行距離データの計測開始時刻を基準とする相対時刻（経過時間）である。
特許文献２には、２台のカメラを使用して走行中の撮像画像を蓄積して、自車位置を推定する装置が開示されている。 Conventionally, when inspecting road structures including road surface structures related to the road surface and attached structures installed around the road surface, the inspector confirms images captured by a camera mounted on the vehicle for inspection. Yes.
Patent Document 1 discloses a road surface crack detection device in which a CCD camera is mounted on a vehicle and the CCD camera detects cracks on the road surface based on a road surface image acquired while the vehicle is running. The road surface crack detection device acquires a road surface image (image frame) every 1/30 seconds, and acquires travel distance data and time of the vehicle at the acquisition timing of the road surface image. In Patent Document 1, the time is a relative time (elapsed time) based on the measurement start time of travel distance data.
Patent Document 2 discloses a device that accumulates captured images during traveling using two cameras and estimates the vehicle position.

特開平９−９６５１５号公報JP-A-9-96515 特開２０１２−１７３８４３号公報JP 2012-173843 A

カメラ等で撮像された映像をもとに点検対象となる物体の状態を確認する場合、例えば、特定の時刻に撮像されたフレームを取り出して確認することができると、点検作業効率が一段と向上する。
しかしながら、特許文献１に記載の技術にあっては、各フレームの時刻情報は、計測開始時刻からの経過時間のみにより管理されている。そのため、映像からフレームを取り出す場合、「計測開始から何分何秒後のフレーム」という指定をすることしかできない。つまり、特定の時刻を指定してフレームを取り出すことができないため、映像を効率的に確認することができない。 When checking the state of an object to be inspected based on an image captured by a camera or the like, for example, if the frame captured at a specific time can be taken out and confirmed, the inspection work efficiency is further improved. .
However, in the technique described in Patent Document 1, the time information of each frame is managed only by the elapsed time from the measurement start time. For this reason, when taking out a frame from the video, it is only possible to specify “a frame several minutes and seconds after the start of measurement”. That is, since it is not possible to take out a frame by designating a specific time, it is impossible to efficiently check the video.

特許文献２の装置でも、撮像された映像のフレーム毎に時刻データが記録されていないので、特定の時刻を指定して所望のフレームを取り出すことができない。従って、２台のカメラの撮像画像を正確に同期表示することはできない。
本発明は、上記した従来技術に鑑み考案されたもので、複数のカメラの撮像画像を正確に同期表示することができる映像処理システム及び映像処理方法を提供することを目的とする。 Even in the device of Patent Document 2, since time data is not recorded for each frame of a captured image, a desired frame cannot be extracted by designating a specific time. Therefore, the images captured by the two cameras cannot be displayed accurately and synchronously.
The present invention has been devised in view of the above-described prior art, and an object thereof is to provide a video processing system and a video processing method capable of accurately and synchronously displaying captured images of a plurality of cameras.

本発明に係る映像処理システムの一態様は、複数の映像処理装置と、前記複数の映像処理装置の各々から得られる画像フレームを同期表示する制御部とを備え、前記複数の映像処理装置の各々は、少なくとも撮像時刻を含む複数の撮像環境に関する情報を取得する撮像環境情報取得部と、被写体を結像する光学系および撮像素子を有する撮像部の出力信号に基づいて、複数の画像フレームを含む映像データを生成する映像データ生成部と、前記映像データに対して、画像フレームごとに前記撮像環境情報取得部で取得した情報を付加し、記憶媒体に記憶する記憶部と、を有し、前記制御部は前記同期表示をする際に前記撮像環境に関する情報を使用する。   One aspect of the video processing system according to the present invention includes a plurality of video processing devices and a control unit that synchronously displays an image frame obtained from each of the plurality of video processing devices, and each of the plurality of video processing devices. Includes a plurality of image frames based on output signals of an imaging environment information acquisition unit that acquires information about a plurality of imaging environments including at least imaging times, and an imaging system that forms an image of a subject and an imaging element. A video data generation unit that generates video data; and a storage unit that adds information acquired by the imaging environment information acquisition unit for each image frame to the video data and stores the information in a storage medium, and The control unit uses information regarding the imaging environment when performing the synchronous display.

各映像処理装置は、各画像フレームと撮像時刻等の撮像環境に関する情報とを直接的に関連付けて記録する。従って、制御部は、例えば、特定の時刻を指定して各映像処理装置から同時刻の画像フレームを取り出すことができる。同時刻の画像フレームを用いれば、各映像処理装置が撮像した映像を正確に同期表示することができる。
上記撮像環境情報取得部は、上記撮像環境に関する情報として、上記撮像時刻と、撮像位置および撮像姿勢の少なくとも１つとに関する情報を取得してもよい。これにより、特定の位置を指定して画像フレームを取り出したり、特定の姿勢を指定して画像フレームを取り出したりすることができる。 Each video processing apparatus directly records each image frame and information related to the imaging environment such as the imaging time. Therefore, for example, the control unit can designate a specific time and take out an image frame at the same time from each video processing device. If the image frames at the same time are used, the images captured by the respective image processing devices can be accurately and synchronously displayed.
The imaging environment information acquisition unit may acquire information regarding the imaging time and at least one of an imaging position and an imaging posture as information regarding the imaging environment. Accordingly, it is possible to take out an image frame by designating a specific position or take out an image frame by designating a specific posture.

上記撮像環境情報取得部は、標準電波から得られる標準時刻情報を、上記撮像時刻に関する情報として取得してもよい。これにより、正確な撮像時刻を各画像フレームに関連付けることができる。
上記撮像環境情報取得部は、測位衛星から送信される衛星信号から得られる測位情報を、上記撮像位置に関する情報として取得してもよい。これにより、正確な撮像位置を各画像フレームに関連付けることができる。
上記撮像環境情報取得部は、３軸加速度センサおよび３軸ジャイロセンサの少なくとも一方で検出した情報を、上記撮像姿勢に関する情報として取得してもよい。これにより、加速度情報や角速度情報を撮像姿勢に関する情報として各画像フレームに関連付けることができる。 The imaging environment information acquisition unit may acquire standard time information obtained from a standard radio wave as information related to the imaging time. Thereby, an accurate imaging time can be associated with each image frame.
The imaging environment information acquisition unit may acquire positioning information obtained from a satellite signal transmitted from a positioning satellite as information relating to the imaging position. Thereby, an accurate imaging position can be associated with each image frame.
The imaging environment information acquisition unit may acquire information detected by at least one of a triaxial acceleration sensor and a triaxial gyro sensor as information related to the imaging posture. Thereby, acceleration information and angular velocity information can be associated with each image frame as information on the imaging posture.

上記記憶部で記憶した映像データに基づいて、画像フレームと当該画像フレームに対応する撮像環境に関する情報とを重畳させて表示部に表示する第一の表示制御部をさらに備えもよい。このように、映像データと撮像環境に関する情報とを１画面に表示することで、撮像環境の把握が容易となる。
ユーザが指定した上記撮像環境に関する情報を取得する指定情報取得部と、上記記憶部で記憶した映像データから、上記指定情報取得部で取得した情報が付加された画像フレームを検索する画像検索部と、当該画像検索部で検索した画像フレームを表示部に表示する第二の表示制御部と、を備えてもよい。これにより、ユーザは、自身が指定した撮像環境に対応する画像フレームを容易に確認することができる。 A first display control unit that superimposes an image frame and information related to an imaging environment corresponding to the image frame on the display unit based on the video data stored in the storage unit may be further provided. As described above, by displaying the video data and the information about the imaging environment on one screen, it is easy to grasp the imaging environment.
A designation information acquisition unit that acquires information on the imaging environment specified by the user, an image search unit that searches for image frames to which the information acquired by the specification information acquisition unit is added, from video data stored in the storage unit; A second display control unit that displays the image frame searched by the image search unit on the display unit. Thereby, the user can easily confirm an image frame corresponding to the imaging environment designated by the user.

本発明によれば、各映像処理装置が、映像データに対して、画像フレームごとに少なくとも撮像時刻を含む撮像環境情報を付加するので、特定の時刻を指定して各映像処理装置から同時刻の画像フレームを取り出すことができる。同時刻の画像フレームを用いれば、各映像処理装置が撮像した映像を正確に同期表示することができる。   According to the present invention, since each video processing device adds imaging environment information including at least the imaging time for each image frame to the video data, a specific time is designated and the video processing device has the same time. The image frame can be taken out. If the image frames at the same time are used, the images captured by the respective image processing devices can be accurately and synchronously displayed.

本実施形態における映像処理システムの一例を示す概略構成図である。It is a schematic structure figure showing an example of a video processing system in this embodiment. 撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of an imaging device. 映像ファイルの構成例である。It is a structural example of a video file. 画像処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of an image processing apparatus. 画像検索結果の表示例である。It is an example of a display of an image search result. 表示装置に３つの画像を同期表示した場合の一例である。It is an example when three images are synchronously displayed on the display device. 第２の実施形態の画像処理のフローチャートである。It is a flowchart of the image processing of 2nd Embodiment.

以下、本発明の実施の形態を図面に基づいて説明する。
（第１の実施形態）
図１は、本実施形態における映像処理システム１００の一例を示す概略構成図である。
図１に示すように、映像処理システム１００は、例えば車両２００に搭載可能である。車両２００は、例えば、高速道路をはじめとする各種道路において、毎日もしくは数日おきに行われる日常点検を実施するための点検用車両である。映像処理システム１００は、３つの撮像装置１０ａ、１０ｂ、１０ｃと、３つの画像処理装置２０ａ、２０ｂ、２０ｃと、１つの同期制御部３０とを備える。３つの撮像装置１０ａ、１０ｂ、１０ｃは同じ構造を有する。３つの画像処理装置２０ａ、２０ｂ、２０ｃも、同じ構造を有する。撮像装置１０ａは画像処理装置２０ａに接続され、撮像装置１０ｂは画像処理装置２０ｂに接続され、撮像装置１０ｃは画像処理装置２０ｃに接続されている。そして、画像処理装置２０ａ、２０ｂ、２０ｃは同期制御部３０に接続されている。同期制御部３０は表示装置３５に接続されている。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a schematic configuration diagram illustrating an example of a video processing system 100 according to the present embodiment.
As shown in FIG. 1, the video processing system 100 can be mounted on, for example, a vehicle 200. The vehicle 200 is, for example, an inspection vehicle for carrying out daily inspections performed every day or every several days on various roads including an expressway. The video processing system 100 includes three imaging devices 10a, 10b, and 10c, three image processing devices 20a, 20b, and 20c, and one synchronization control unit 30. The three imaging devices 10a, 10b, and 10c have the same structure. The three image processing apparatuses 20a, 20b, and 20c have the same structure. The imaging device 10a is connected to the image processing device 20a, the imaging device 10b is connected to the image processing device 20b, and the imaging device 10c is connected to the image processing device 20c. The image processing apparatuses 20a, 20b, and 20c are connected to the synchronization control unit 30. The synchronization control unit 30 is connected to the display device 35.

撮像装置１０ａ、１０ｂ、１０ｃは、車両２００のルーフに取り付けられる。撮像装置１０ａ、１０ｂ、１０ｃは、それぞれ約６０度の画角（視野角）のデジタルビデオカメラである。撮像装置１０ｂは、車両２００の長手方向正面（進行方向）に向けられて設置されており、当該方向の左右３０度ずつ（合計６０度）の範囲で車両２００の周辺を撮像する。撮像装置１０ａは、撮像装置１０ｂの左６０度の範囲で車両２００の周辺を撮像する。撮像装置１０ｃは、撮像装置１０ｂの右６０度の範囲で車両２００の周辺を撮像する。従って、撮像装置１０ａ、１０ｂ、１０ｃは、合計で１８０度の撮像範囲を有することになる。なお、図示の都合上、図１では撮像装置１０ａ、１０ｂ、１０ｃが車両２００の長手方向に並んで配置されているように描かれているが、撮像装置１０ａ、１０ｂ、１０ｃは、車両２００の幅方向に配置されてよい。撮像装置１０ａ、１０ｂ、１０ｃは、同じ構造を有するので、以下の説明では、撮像装置１０ａを説明する。   The imaging devices 10a, 10b, and 10c are attached to the roof of the vehicle 200. The imaging devices 10a, 10b, and 10c are digital video cameras each having an angle of view (viewing angle) of about 60 degrees. The imaging device 10b is installed so as to face the front in the longitudinal direction (traveling direction) of the vehicle 200, and images the periphery of the vehicle 200 within a range of 30 degrees left and right (60 degrees in total) in the direction. The imaging device 10a images the periphery of the vehicle 200 within a range of 60 degrees to the left of the imaging device 10b. The imaging device 10c images the periphery of the vehicle 200 within a range of 60 degrees to the right of the imaging device 10b. Therefore, the imaging devices 10a, 10b, and 10c have a total imaging range of 180 degrees. For convenience of illustration, in FIG. 1, the imaging devices 10 a, 10 b, and 10 c are depicted as being arranged side by side in the longitudinal direction of the vehicle 200. You may arrange | position in the width direction. Since the imaging devices 10a, 10b, and 10c have the same structure, the imaging device 10a will be described in the following description.

撮像装置１０ａは、例えば、アスペクト比１６：９の横長のハイビジョン映像を撮像するハイビジョンカメラである。これにより、アスペクト比４：３の映像に対し、人の視野に近い状態で映像を撮像することができる。撮像装置１０ａは、例えば車両２００が所定の点検対象道路を走行しているとき、若しくは車両２００が停車しているときに、当該車両２００の周辺の映像を撮像する。
画像処理装置２０ａ、２０ｂ、２０ｃは、例えば、車両２００の内部に設けられる。画像処理装置２０ａ、２０ｂ、２０ｃは同じ構造を有するので、以下の説明では画像処理装置２０ａを説明する。
画像処理装置２０ａは、撮像装置１０ａから映像ファイルを取得し、映像の表示制御を行う。この画像処理装置２０ａは、例えばノート型パーソナルコンピュータ（ノートＰＣ）により構成される。画像処理装置２０ａは、撮像装置１０ａと通信可能に有線または無線で接続されている。なお、画像処理装置２０ａは、ノートＰＣに限定されるものではなく、例えば、スマートフォンやタブレット端末などの携帯端末であってもよい。また、画像処理装置２０ａは、例えば、撮像装置１０ａに内蔵されていてもよい。さらに、画像処理装置２０ａは、例えば、撮像装置１０ａとネットワーク等を介して接続されたサーバ装置であってもよい。 The imaging device 10a is, for example, a high-definition camera that captures a horizontally long high-definition video having an aspect ratio of 16: 9. As a result, it is possible to capture an image with an aspect ratio of 4: 3 close to the human visual field. For example, when the vehicle 200 is traveling on a predetermined inspection target road or when the vehicle 200 is stopped, the imaging device 10a captures an image around the vehicle 200.
The image processing devices 20a, 20b, and 20c are provided inside the vehicle 200, for example. Since the image processing apparatuses 20a, 20b, and 20c have the same structure, the image processing apparatus 20a will be described in the following description.
The image processing device 20a acquires a video file from the imaging device 10a and performs video display control. The image processing apparatus 20a is configured by, for example, a notebook personal computer (notebook PC). The image processing device 20a is connected to the imaging device 10a in a wired or wireless manner so as to be communicable. Note that the image processing device 20a is not limited to a notebook PC, and may be a mobile terminal such as a smartphone or a tablet terminal. Further, the image processing device 20a may be incorporated in the imaging device 10a, for example. Furthermore, the image processing device 20a may be a server device connected to the imaging device 10a via a network or the like, for example.

以下、撮像装置１０ａの構成について具体的に説明する。
図２に示すように、撮像装置１０ａは、撮像部１１と、信号処理部１２と、記録部１３と、時刻情報取得部１４と、位置情報取得部１５と、姿勢情報取得部１６と、を備える。
撮像部１１は、レンズ１１ａや撮像素子１１ｂ等を含んで構成される。レンズ１１ａは、被写体を結像するための光学系である。撮像素子１１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等である。撮像部１１は、レンズ１１ａで集めた光を撮像素子１１ｂに結像させ、結像された光像を光電変換により電気信号に変換し、これを撮像部１１の出力信号として信号処理部１２に出力する。 Hereinafter, the configuration of the imaging device 10a will be specifically described.
As illustrated in FIG. 2, the imaging device 10 a includes an imaging unit 11, a signal processing unit 12, a recording unit 13, a time information acquisition unit 14, a position information acquisition unit 15, and an attitude information acquisition unit 16. Prepare.
The imaging unit 11 includes a lens 11a, an imaging element 11b, and the like. The lens 11a is an optical system for imaging a subject. The imaging device 11b is, for example, a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like. The imaging unit 11 forms an image of the light collected by the lens 11 a on the imaging element 11 b, converts the formed optical image into an electrical signal by photoelectric conversion, and outputs this to the signal processing unit 12 as an output signal of the imaging unit 11. Output.

信号処理部１２は、撮像部１１から得られた電気信号に所定の信号処理を施し、複数のフレーム（画像フレーム）を含む映像データを生成する。本実施形態では、撮像時刻、撮像位置、撮像時の姿勢（撮像姿勢）などの撮像環境に関する情報（以下、「環境情報」と称す。）を、各フレームに対応付けて映像データを生成する。この映像データの生成方法については後述する。また、信号処理部１２は、エンコーダを介して映像データを圧縮処理するなどにより映像ファイルを生成する。ここでの圧縮方式は、例えば、Ｈ．２６４、ＭＰＥＧ４（Moving Picture Experts Group phase4）、ＭＪＰＥＧ（Motion-JPEG）などの規格に基づく。記録部１３は、信号処理部１２で生成した映像ファイルを、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気テープ等の磁気記録媒体、光ディスクや光磁気ディスク等の光／光磁気記憶媒体等の記録媒体に記録する。   The signal processing unit 12 performs predetermined signal processing on the electrical signal obtained from the imaging unit 11 to generate video data including a plurality of frames (image frames). In the present embodiment, video data is generated by associating information related to an imaging environment (hereinafter referred to as “environment information”) such as an imaging time, an imaging position, and an attitude at the time of imaging (imaging attitude). A method for generating the video data will be described later. In addition, the signal processing unit 12 generates a video file by compressing video data via an encoder. The compression method here is, for example, H.264. H.264, MPEG4 (Moving Picture Experts Group phase 4), MJPEG (Motion-JPEG) and other standards. The recording unit 13 stores the video file generated by the signal processing unit 12 in a magnetic recording medium such as an HDD (Hard Disk Drive), SSD (Solid State Drive), magnetic tape, or optical / magneto-optical storage such as an optical disk or a magneto-optical disk. It records on recording media, such as a medium.

時刻情報取得部１４は、例えば、電波時計等に用いられる標準電波を受信する受信機を備え、当該受信機で受信した標準電波から得られる標準時刻情報を、撮像時刻を示す情報として信号処理部１２に出力する。ここで、標準電波としては、日本のＪＪＹ、米国のＷＷＶＢ、英国のＭＳＦ、及び、独国のＤＣＦ７７などがある。なお、インターネットを通じて時刻情報を提供する時刻情報提供サービスや放送の時報を利用して時刻情報を取得してもよいし、パソコンに内蔵された時計（例えば、画像処理装置２０ａに内蔵された時計）を利用して時刻情報を取得してもよい。   The time information acquisition unit 14 includes, for example, a receiver that receives a standard radio wave used in a radio clock, and the signal processing unit uses standard time information obtained from the standard radio wave received by the receiver as information indicating an imaging time. 12 is output. Here, standard radio waves include JJY of Japan, WWVB of the United States, MSF of the United Kingdom, and DCF 77 of Germany. The time information may be acquired using a time information providing service that provides time information through the Internet or a broadcast time signal, or a clock built in the personal computer (for example, a clock built in the image processing device 20a). The time information may be acquired using.

位置情報取得部１５は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星から送信される信号を受信するＧＮＳＳ受信機を含んで構成される。位置情報取得部１５は、受信した信号から撮像装置１０ａの位置（車両２００の位置）を示す位置情報を取得し、その位置情報を、撮像位置を示す情報として信号処理部１２に出力する。なお、ＧＮＳＳとは、ＧＰＳ（米国）、ＧＡＬＩＬＥＯ（欧州）、ＣＬＯＮＡＳＳ（ロシア）、準天頂衛星（日本）などの測位衛星の総称である。   The position information acquisition unit 15 includes, for example, a GNSS receiver that receives a signal transmitted from a GNSS (Global Navigation Satellite System) satellite. The position information acquisition unit 15 acquires position information indicating the position of the imaging device 10a (the position of the vehicle 200) from the received signal, and outputs the position information to the signal processing unit 12 as information indicating the imaging position. GNSS is a general term for positioning satellites such as GPS (US), GALILEO (Europe), CLONASS (Russia), and Quasi-Zenith Satellite (Japan).

姿勢情報取得部１６は、例えば、３軸加速度センサ、３軸ジャイロセンサ等の３軸センサにより構成される。姿勢情報取得部１６は、撮像装置１０ａ（車両２００）の加速度情報や角速度情報を取得し、取得した情報を、撮像姿勢を示す情報として信号処理部１２に出力する。
なお、時刻情報取得部１４、位置情報取得部１５及び姿勢情報取得部１６は、それぞれ時刻情報、位置情報及び姿勢情報を取得可能な構成であれば、上記の構成に限定されない。また、時刻情報取得部１４、位置情報取得部１５及び姿勢情報取得部１６は、それぞれ撮像装置１０ａに内蔵してもよいし、車両２００に設置してもよい。例えば、姿勢情報取得部１６を車両２００のサスペンションによって車体の揺れが緩衝されない位置（例えば、車輪近傍）に設置した場合、路面の僅かな変動による揺れを検出することができる。 The posture information acquisition unit 16 is configured by a three-axis sensor such as a three-axis acceleration sensor or a three-axis gyro sensor. The posture information acquisition unit 16 acquires acceleration information and angular velocity information of the imaging device 10a (vehicle 200), and outputs the acquired information to the signal processing unit 12 as information indicating the imaging posture.
Note that the time information acquisition unit 14, the position information acquisition unit 15, and the posture information acquisition unit 16 are not limited to the above configuration as long as they can acquire time information, position information, and posture information, respectively. Further, the time information acquisition unit 14, the position information acquisition unit 15, and the posture information acquisition unit 16 may be incorporated in the imaging device 10 a or may be installed in the vehicle 200. For example, when the posture information acquisition unit 16 is installed at a position where the vehicle body shake is not buffered by the suspension of the vehicle 200 (for example, in the vicinity of the wheel), it is possible to detect a shake due to a slight change in the road surface.

信号処理部１２は、時刻情報取得部１４、位置情報取得部１５及び姿勢情報取得部１６から時刻情報、位置情報及び姿勢情報を入力し、これらの撮像情報が書き込まれた映像ファイルを生成する。
図３は、映像ファイルの一例を示している。図３に示すように、映像ファイル４０は、ヘッダ部４１と映像データ部４２とを含んで構成されている。ヘッダ部４１には、映像ファイル４０のファイル名、ファイルの種類、ファイルサイズ等、映像ファイル４０の構造を示すヘッダ情報（Ｈ）が含まれる。また、映像データ部４２には、フレーム単位（１Ｆ，２Ｆ，…）の映像データが含まれる。映像データ部４２内におけるフレームとフレームとの間には、環境情報４３が、例えば数値データとして書き込まれる。環境情報４３は、例えば、対応するフレームの直前に書き込む。すなわち、第２フレーム（２Ｆ）の環境情報４３は、第１フレーム（１Ｆ）と第２フレーム（２Ｆ）との間に書き込む。なお、環境情報４３とそれに対応するフレームとの対応付けがされていれば、環境情報４３を書き込む位置は上記に限定されない。また、環境情報４３は、映像データの全フレームに対して書き込んでもよいし、所定間隔で書き込んでもよい。 The signal processing unit 12 inputs time information, position information, and posture information from the time information acquisition unit 14, the position information acquisition unit 15, and the posture information acquisition unit 16, and generates a video file in which the imaging information is written.
FIG. 3 shows an example of a video file. As shown in FIG. 3, the video file 40 includes a header part 41 and a video data part 42. The header section 41 includes header information (H) indicating the structure of the video file 40, such as the file name, file type, and file size of the video file 40. The video data unit 42 includes video data in units of frames (1F, 2F,...). Between the frames in the video data unit 42, the environment information 43 is written as numerical data, for example. The environment information 43 is written immediately before the corresponding frame, for example. That is, the environment information 43 of the second frame (2F) is written between the first frame (1F) and the second frame (2F). As long as the environment information 43 is associated with the corresponding frame, the position where the environment information 43 is written is not limited to the above. The environment information 43 may be written for all the frames of the video data or may be written at a predetermined interval.

本実施形態においては、信号処理部１２は、環境情報４３を、映像データの再生に影響しない形で書き込む。例えば、環境情報４３は、フレームごとに設けられたヘッダ（フレームヘッダ）内に格納してもよいし、フレームごとのメタデータとして格納してもよい。また、映像再生時に環境情報４３が読み飛ばされるような制御コードを付加して環境情報４３を書き込んでもよい。なお、映像再生時に環境情報４３がコメントアウトされる形で環境情報４３を書き込んでもよい。環境情報４３の書き込み方法は、映像処理システム１００のユーザ（例えば、車両２００の乗員）が適宜設定することができる。
このように、信号処理部１２は、各フレームに関連する環境情報４３を書き込みながらフレーム単位で映像データ部４２を順次生成していく。そして、信号処理部１２は、映像データ部４２の生成が完了すると、映像データ部４２に対応するヘッダ部４１を生成し、映像ファイル４０を生成する。信号処理部１２は、生成した映像ファイル４０を記録部１３に記録する。 In the present embodiment, the signal processing unit 12 writes the environment information 43 in a form that does not affect the reproduction of the video data. For example, the environment information 43 may be stored in a header (frame header) provided for each frame, or may be stored as metadata for each frame. In addition, the environment information 43 may be written by adding a control code such that the environment information 43 is skipped during video reproduction. Note that the environment information 43 may be written in a form in which the environment information 43 is commented out during video reproduction. The user of the video processing system 100 (for example, an occupant of the vehicle 200) can set the writing method of the environment information 43 as appropriate.
In this manner, the signal processing unit 12 sequentially generates the video data unit 42 in units of frames while writing the environment information 43 related to each frame. Then, when the generation of the video data unit 42 is completed, the signal processing unit 12 generates a header unit 41 corresponding to the video data unit 42 and generates a video file 40. The signal processing unit 12 records the generated video file 40 in the recording unit 13.

次に、画像処理装置２０ａの構成について具体的に説明する。
図４に示すように、画像処理装置２０ａは、画像取得部２１と、パラメータ取得部２２と、画像処理部２３と、表示制御部２４と、を備える。
画像取得部２１は、撮像装置１０ａから映像ファイル４０を取得し、これを画像処理部２３に出力する。パラメータ取得部２２は、ユーザが所定の操作部（例えば、キーボードやマウス等のポインティングデバイス）を操作して入力した、後述する画像処理に関するパラメータを取得する。画像処理部２３は、映像ファイル４０に対して、必要に応じてパラメータ取得部２２が取得したパラメータをもとに画像処理を施し、その結果を表示制御部２４に出力する。表示制御部２４は、画像処理部２３の画像処理結果を液晶ディスプレイ（ＬＣＤ）等のモニタで構成される表示部７１（図５）に表示する。例えば、画像処理部２０ａがノート型パーソナルコンピュータやタブレット等である場合、表示部７１はノート型パーソナルコンピュータの表示部である。 Next, the configuration of the image processing apparatus 20a will be specifically described.
As illustrated in FIG. 4, the image processing apparatus 20 a includes an image acquisition unit 21, a parameter acquisition unit 22, an image processing unit 23, and a display control unit 24.
The image acquisition unit 21 acquires the video file 40 from the imaging device 10 a and outputs it to the image processing unit 23. The parameter acquisition unit 22 acquires parameters related to image processing (to be described later) input by the user operating a predetermined operation unit (for example, a pointing device such as a keyboard or a mouse). The image processing unit 23 performs image processing on the video file 40 based on the parameters acquired by the parameter acquisition unit 22 as necessary, and outputs the result to the display control unit 24. The display control unit 24 displays the image processing result of the image processing unit 23 on a display unit 71 (FIG. 5) configured with a monitor such as a liquid crystal display (LCD). For example, when the image processing unit 20a is a notebook personal computer, a tablet, or the like, the display unit 71 is a display unit of a notebook personal computer.

本実施形態では、上記画像処理として、例えば画像検索処理を実施する。すなわち、画像処理部２３は、ユーザが上記パラメータとして検索条件を入力している場合、入力された検索条件を充足する画像（フレーム）を映像ファイル４０から検索する画像検索処理を実施する。
例えば、画像処理部２３は、ユーザが検索条件として時刻を指定している場合、映像データ内の環境情報４３を読み出し、ユーザが指定した時刻と同一の時刻に撮像されたフレームを検索する。また、ユーザが検索条件として位置を指定している場合には、映像データ部４２内の環境情報４３を読み出し、ユーザが指定した位置と同一の位置で撮像されたフレームを検索する。ここで、ユーザによる位置の指定は、例えば、緯度及び経度を入力することで実行されてもよいし、表示部等に表示されたマップ上の位置をポインティングデバイスで指示することで実行されてもよい。さらに、ユーザが検索条件として撮像姿勢を指定している場合には、映像データ部４２内の環境情報４３を読み出し、ユーザが指定した撮像姿勢で撮像されたフレームを検索する。 In the present embodiment, for example, an image search process is performed as the image process. That is, when the user inputs a search condition as the parameter, the image processing unit 23 performs an image search process for searching the video file 40 for an image (frame) that satisfies the input search condition.
For example, when the user specifies time as a search condition, the image processing unit 23 reads the environment information 43 in the video data and searches for a frame captured at the same time as the time specified by the user. Further, when the user designates a position as a search condition, the environment information 43 in the video data unit 42 is read and a frame captured at the same position as the position designated by the user is retrieved. Here, the designation of the position by the user may be executed, for example, by inputting latitude and longitude, or may be executed by instructing the position on the map displayed on the display unit or the like with a pointing device. Good. Further, when the user designates an imaging posture as a search condition, the environment information 43 in the video data unit 42 is read and a frame imaged with the imaging posture designated by the user is retrieved.

上記の画像検索処理は、映像データ部４２から環境情報４３を抜き出す（検出する）処理を行うプログラムを実行することで実現可能である。ここで、環境情報４３に制御コードが付加されている場合には、当該制御コードをピックアップする処理を行うプログラムを実行することで、環境情報４３以外の付加情報と区別して検索処理を実現可能である。
画像処理部２３は、当該画像検索処理によって検索されたフレームを、画像検索結果として表示制御部２４に出力する。これにより、表示制御部２４は、画像処理部２３によって検索されたフレームを表示部に表示することができる。また、画像処理部２３は、画像検索処理によって検索されたフレームを、再生開始位置として表示制御部２４に出力することもできる。この場合、表示制御部２４は、画像処理部２３によって検索されたフレームから映像データを再生する。映像データの再生は、静止画でもよいし、動画でもよい。 The image search process described above can be realized by executing a program that performs a process of extracting (detecting) the environment information 43 from the video data unit 42. Here, when a control code is added to the environment information 43, a search process can be realized separately from the additional information other than the environment information 43 by executing a program for performing a process of picking up the control code. is there.
The image processing unit 23 outputs the frame searched by the image search process to the display control unit 24 as an image search result. Thereby, the display control unit 24 can display the frame searched by the image processing unit 23 on the display unit. The image processing unit 23 can also output the frame searched by the image search process to the display control unit 24 as a reproduction start position. In this case, the display control unit 24 reproduces the video data from the frame searched by the image processing unit 23. The reproduction of the video data may be a still image or a moving image.

図５は、画像検索結果の表示画面の一例を示す図である。この図５に示すように、表示部７１は、撮像部１１により取得した映像データ（画像フレーム）を表示する映像表示領域７２と、環境情報４３を表示する環境情報表示領域７３とを有する。また、表示部７１は、映像データの再生や一時停止、停止、巻戻し、早送り等を指示可能なボタン７４等を表示することができる。環境情報表示領域７３には、映像表示領域７２に表示したフレームの撮像時刻、撮像位置、撮像姿勢を、例えば数値データで表示することができる。図５の例では、撮像時刻として西暦２０ＸＸ年ＸＸ月ＸＸ日のＸＸ時ＸＸ分が表示され、撮像位置として北緯（Ｎ）ＸＸ度ＸＸ分、東経（Ｅ）ＸＸ度ＸＸ分が表示され、３軸加速度センサの値（Ｇ）として、Ｘ．ＸＸＸ（ｃｍ／ｓ^２）が表示されている。尚、撮像位置は地図で表示してもよいし、撮像姿勢は波形で表示してもよい。環境情報の表示方法は適宜設定可能である。また、ユーザが環境情報の表示方法を切替可能な構成であってもよい。
このように、映像データの中からユーザが指定した撮像時刻や撮像位置の画像（フレーム）を容易に検索し、車両２００付近の映像に撮像時刻等を重畳して表示することができる。所望の時刻を指定して画像を表示することができるので、巻戻しや早送りの操作が不要である。 FIG. 5 is a diagram illustrating an example of an image search result display screen. As shown in FIG. 5, the display unit 71 includes a video display area 72 that displays video data (image frames) acquired by the imaging unit 11 and an environment information display area 73 that displays environment information 43. In addition, the display unit 71 can display buttons 74 and the like that can instruct playback, pause, stop, rewind, fast forward, and the like of video data. In the environment information display area 73, the imaging time, imaging position, and imaging orientation of the frame displayed in the video display area 72 can be displayed, for example, as numerical data. In the example of FIG. 5, XX hour XX minutes of the year 20XX year XX month XX date is displayed as the imaging time, and north latitude (N) XX degrees XX minutes and east longitude (E) XX degrees XX minutes are displayed as the imaging positions. As the value (G) of the axial acceleration sensor, X. XXX (cm / s ² ) is displayed. The imaging position may be displayed as a map, and the imaging posture may be displayed as a waveform. The display method of environmental information can be set as appropriate. Moreover, the structure which can switch the display method of environmental information may be sufficient.
In this way, it is possible to easily search for an image (frame) at the imaging time or imaging position designated by the user from the video data, and display the imaging time or the like superimposed on the video near the vehicle 200. Since an image can be displayed by designating a desired time, rewinding and fast-forwarding operations are unnecessary.

以上の構成により、本実施形態では、ユーザが撮像装置１０ａの電源を投入すると、撮像装置１０ａは車両周辺の撮像を開始する。撮像装置１０ａは、車両２００の走行中及び停車中のいずれであっても撮像可能である。このとき、撮像装置１０ａは、所定のフレームレートで撮像処理を実行して各フレームの映像データを生成しながら、各フレームに関連する撮像時刻、撮像位置、撮像姿勢等に関する情報を環境情報４３として画像データに書き込み、映像ファイル４０を生成する。ここで、フレームレートは、例えば、２４ｆｐｓ、３０ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓなどを採用することができる。撮像装置１０ａによる撮像処理が終了すると、画像処理装置２０ａは、撮像装置１０ａから映像ファイル４０を取り込み、ユーザが指定した検索条件を充足する画像（フレーム）を検索し、表示する。なお、ユーザが指定した時刻の前後の所定時間を含む時間帯の画像（フレーム）を検索し、例えば、当該指定時刻を含む数分間の画像を表示してもよい。   With the above configuration, in this embodiment, when the user turns on the power of the imaging device 10a, the imaging device 10a starts imaging around the vehicle. The imaging device 10a can capture images while the vehicle 200 is running or stopped. At this time, the imaging apparatus 10a executes imaging processing at a predetermined frame rate to generate video data of each frame, and information regarding the imaging time, imaging position, imaging orientation, and the like related to each frame as environment information 43. Write to the image data and generate a video file 40. Here, for example, a frame rate of 24 fps, 30 fps, 60 fps, 120 fps, or the like can be employed. When the imaging process by the imaging device 10a is completed, the image processing device 20a retrieves the video file 40 from the imaging device 10a, searches for and displays an image (frame) that satisfies the search condition specified by the user. Note that an image (frame) in a time zone including a predetermined time before and after a time specified by the user may be searched, and for example, an image for several minutes including the specified time may be displayed.

このように、本実施形態では、映像データの各フレームに環境情報４３を数値データとして書き込むので、特定の時刻や位置等を指定することで、映像ファイル４０の映像データ部４２から容易に対応するフレームを検索、表示することができる。また、環境情報４３は、映像再生時に影響のない形式で書き込むため、不具合を発生させることなく適切に映像データを再生することができる。尚、所定時間の間、動画で映像を再生したい場合、再生開始時刻と再生終了時刻を指定すればよい。また、図５の環境情報表示領域７３に表示する内容は、ユーザが適宜決定することができる。例えば、ユーザが加速度センサの計測値を表示する必要がないと考えるならば、時刻情報と位置情報のみを環境情報表示領域７３に表示してもよい。   As described above, in the present embodiment, the environment information 43 is written as numerical data in each frame of the video data, so that it is easily handled from the video data unit 42 of the video file 40 by specifying a specific time, position, or the like. You can search and display frames. Further, since the environment information 43 is written in a format that does not affect the playback of the video, the video data can be appropriately played back without causing a problem. If it is desired to play back a video as a moving image for a predetermined time, a playback start time and a playback end time may be designated. Further, the content displayed in the environment information display area 73 of FIG. 5 can be determined as appropriate by the user. For example, if the user thinks that it is not necessary to display the measurement value of the acceleration sensor, only the time information and the position information may be displayed in the environment information display area 73.

映像データの各フレームと時刻情報とを関連付ける方法としては、例えば、映像データに変換した時刻情報をフレームごとに画像合成して記録する方法がある。しかしながら、この場合、映像の再生画面上では各フレームの撮像時刻を確認することはできるが、特定の時刻のフレームを検索するためには、ユーザが映像を巻戻したり早送りしたりする必要がある。
また、映像データの各フレームには、ＬＴＣ（Longitudinal TimeCode）などに代表される時間．分．秒．フレーム番号からなるタイムコードが付与されている。しかしながら、例えば日本や米国等で採用されているＮＴＳＣ（National Television System Committee）方式の場合、フレーム数が２９．９７フレーム／秒であるため、実時間に対して、タイムコードの歩進が僅かにずれる。このずれを長時間において解消するための補正モードとしてドロップフレームがあるが、フレーム１枚１枚に正確な時刻を関連付けることは困難である。 As a method of associating each frame of the video data with the time information, for example, there is a method of recording the time information converted into the video data by combining the images for each frame. However, in this case, the imaging time of each frame can be confirmed on the video playback screen, but in order to search for a frame at a specific time, the user needs to rewind or fast-forward the video. .
Each frame of video data has a time represented by LTC (Longitudinal TimeCode). Min. Seconds. A time code consisting of a frame number is assigned. However, in the case of the NTSC (National Television System Committee) system adopted in, for example, Japan and the United States, the number of frames is 29.97 frames / second, so the time code step is slightly less than the actual time. Shift. Although there is a drop frame as a correction mode for eliminating this shift over a long period of time, it is difficult to associate an accurate time with each frame.

これに対して、本実施形態では、各フレームに時刻情報取得部１４によって取得した時刻情報をそれぞれ関連付けることができる。また、時刻情報取得部１４によって取得する時刻情報として、電波時計情報を用いるので、正確な撮像時刻を各フレームに関連付けることができる。
また、撮像時刻と共に、撮像位置や撮像姿勢（加速度、角速度等）といった撮像環境に関する情報を各フレームに付加し、各フレームとこれらの撮像環境に関する情報とを直接的に関連付けることができる。 On the other hand, in this embodiment, the time information acquired by the time information acquisition unit 14 can be associated with each frame. Moreover, since radio timepiece information is used as time information acquired by the time information acquisition unit 14, an accurate imaging time can be associated with each frame.
In addition to the imaging time, information on the imaging environment such as the imaging position and the imaging posture (acceleration, angular velocity, etc.) can be added to each frame, and each frame can be directly associated with the information on the imaging environment.

従来、各フレームに関連する情報は、映像データとは別に記録媒体等に記録されており、各フレームと各フレームに関連する情報とのリンクは、映像撮像時のタイムコード等を双方に付与することによりなされていた。しかしながら、この場合、映像データを処理する際に、記録媒体等からタイムコードを介して対応する情報を読み出さなければならない。このように、各フレームとそれに対応する各情報とが間接的に関連付けられた構成であると、映像データとは別に上記情報を記録、管理する必要があり不便であると共に、必要な情報の抽出や表示が非効率であるとの問題があった。これに対して、本実施形態では、各フレームとそれに対応する撮像環境に関する情報とを直接的に関連付けることができるので、上記のような問題がない。   Conventionally, information related to each frame is recorded on a recording medium or the like separately from the video data, and a link between each frame and information related to each frame gives both a time code at the time of video imaging and the like. It was done by that. However, in this case, when processing the video data, the corresponding information must be read from the recording medium or the like via the time code. As described above, when each frame and each corresponding information are indirectly associated with each other, it is inconvenient to record and manage the above information separately from the video data, and extraction of necessary information is possible. And there is a problem that the display is inefficient. On the other hand, in this embodiment, since each frame can be directly associated with information related to the imaging environment, there is no problem as described above.

さらに、本実施形態では、撮像装置１０ａにおいて、撮像部１１から得られる信号をもとに映像データを生成する際に、撮像時刻等の環境情報４３を一緒に書き込む。すなわち、ビデオカメラが出力した映像ファイルを加工して撮像情報を書き込む構成ではない。そのため、映像データと撮像情報との関連付けを行うために、ビデオカメラに映像ファイルの加工を行うための装置を接続する必要がない。したがって、システム内の機器数を削減することができる。また、機器間の接続不具合に起因して撮像情報の書き込み不具合が発生することを抑制することができる。
環境情報４３を用いて検索したフレームは、例えば、車両２００周辺の状態確認に用いることができる。例えば、ユーザが検索条件として時刻情報を指定した場合、指定した時刻に車両２００が走行していた場所及びその周辺の状態を確認することができる。 Furthermore, in the present embodiment, when the image data is generated based on the signal obtained from the image capturing unit 11 in the image capturing apparatus 10a, the environment information 43 such as the image capturing time is written together. That is, the video file output from the video camera is not processed and the imaging information is not written. Therefore, it is not necessary to connect a device for processing a video file to the video camera in order to associate video data with imaging information. Therefore, the number of devices in the system can be reduced. In addition, it is possible to suppress the occurrence of an imaging information writing problem due to a connection problem between devices.
The frame searched using the environmental information 43 can be used, for example, for checking the state around the vehicle 200. For example, when the user specifies time information as a search condition, the location where the vehicle 200 was traveling at the specified time and the surrounding state can be confirmed.

また、ユーザが検索条件として点検の対象となる物体の設置位置を示す位置情報を指定した場合には、点検の対象となる物体が撮像されたフレームを検索、表示することができ、当該物体の異常等の確認が可能となる。ここで、点検の対象となる物体としては、例えば、車両２００が走行可能な道路、トンネル、橋などに関する構造物がある。例えば、舗装やジョイント部、道路区画線（白線）、マンホール、排水溝、中央分離帯、標識、看板、電柱、支柱、照明灯、街路灯、防音壁、ケーブル、ワイヤ、信号機、反射鏡、ガードレール、縁石、横断歩道橋、電話ボックス等は、上記構造物に含まれる。   In addition, when the user specifies position information indicating the installation position of the object to be inspected as a search condition, a frame in which the object to be inspected is imaged can be searched and displayed. Check for abnormalities. Here, examples of the object to be inspected include structures related to roads, tunnels, bridges, and the like on which the vehicle 200 can travel. For example, pavements and joints, road marking lines (white lines), manholes, drains, median strips, signs, signboards, utility poles, columns, lighting, street lights, sound barriers, cables, wires, traffic lights, reflectors, guardrails Curbs, crosswalks, telephone boxes, etc. are included in the structure.

さらに、ユーザが検索条件として撮像姿勢の許容値を指定した場合、車両２００に許容値を超える大きさの振動が発生した場所を撮像したフレームを検索、表示することができ、その場所の路面の状態を確認することができる。これにより、例えば、上記振動が発生した原因が路面の劣化である場合には、これを適切に把握することができる。また、上記振動が発生した場所が道路のジョイント部７５である場合には、当該ジョイント部の状態を確認することもできる。   Further, when the user designates an allowable value of the imaging posture as a search condition, it is possible to search and display a frame in which a place where vibration of a magnitude exceeding the allowable value has occurred in the vehicle 200 is displayed. The state can be confirmed. Thereby, for example, when the cause of the occurrence of the vibration is deterioration of the road surface, this can be properly grasped. Moreover, when the place where the said vibration generate | occur | produced is the joint part 75 of a road, the state of the said joint part can also be confirmed.

また、例えば図５に示すように、環境情報４３を道路の映像と共に１つの画面に表示するので、点検者は映像の撮像時刻、撮像位置及び撮像姿勢等を容易に把握することができる。したがって、例えば、映像データをもとに、点検者が目視で、もしくは画像処理により自動で上述した構造物等の異常を検出した場合には、異常を検出したフレームの撮像時刻や撮像位置等を容易に把握することができる。その結果、異常を検出した構造物の設置場所に、詳細点検や修理の作業員を向かわせるなどの適正な対応が可能となる。
尚、表示部７１は、映像表示領域７２と環境情報表示領域７３とを有するとしたが、環境情報表示領域７３を設けなくてもよい。即ち、環境情報４３を表示部７１において表示するかは、ユーザが適宜決定してよい。
このようにして、撮像装置１０ａ、１０ｂ、１０ｃは３つの撮像方向の画像を撮像することができ、撮像装置１０ａ、１０ｂ、１０ｃに接続された３つの画像処理装置２０ａ、２０ｂ、２０ｃは、３つの撮像方向の画像をそれぞれの表示部７１に表示することができる。また、画像処理装置２０ａ、２０ｂ、２０ｃは、各画像のフレーム毎に撮像時刻等の情報を格納する。 Further, for example, as shown in FIG. 5, the environment information 43 is displayed on one screen together with the road image, so that the inspector can easily grasp the image capturing time, image capturing position, image capturing posture, and the like of the image. Therefore, for example, if the inspector detects an abnormality such as the above-mentioned structure visually or automatically by image processing based on the video data, the imaging time, imaging position, etc. of the frame in which the abnormality is detected are detected. It can be easily grasped. As a result, it is possible to take appropriate measures such as sending detailed inspection and repair workers to the installation location of the structure where the abnormality is detected.
Although the display unit 71 has the video display area 72 and the environment information display area 73, the environment information display area 73 may not be provided. That is, the user may appropriately determine whether the environmental information 43 is displayed on the display unit 71.
In this way, the imaging devices 10a, 10b, and 10c can take images in three imaging directions, and the three image processing devices 20a, 20b, and 20c connected to the imaging devices 10a, 10b, and 10c have three. Images in one imaging direction can be displayed on each display unit 71. Further, the image processing devices 20a, 20b, and 20c store information such as imaging time for each frame of each image.

撮像装置１０ａ、１０ｂ、１０ｃの３つの撮像画像を同期表示したい場合には、同期制御部３０と表示装置３５を使用する。例えば、ユーザは、同期制御部３０に画像表示開始時刻と画像表示終了時刻を入力する。例えば、撮像した日が平成２７年５月２０日１５時〜１６時であれば、ユーザは画像表示開始時刻として平成２７年５月２０日１５：１０：００を入力し、画像表示終了時刻として平成２７年５月２０日１５：５０：００を入力する。画像表示開始時刻と画像表示終了時刻が入力されると、同期制御部３０は画像処理装置２０ａ、２０ｂ、２０ｃから、前記入力された開始時刻から終了時刻までの動画を取得し、当該動画を表示装置３５に表示する。同期制御部３０は、その際、各画像フレームに記録されている撮像時刻を使用する。   When the three captured images of the imaging devices 10a, 10b, and 10c are to be displayed synchronously, the synchronization control unit 30 and the display device 35 are used. For example, the user inputs an image display start time and an image display end time to the synchronization control unit 30. For example, if the imaged date is 15:00 to 16:00 on May 20, 2015, the user inputs 15:10:00 on May 20, 2015 as the image display start time and sets the image display end time as the image display end time. Enter 15:55:00 on May 20, 2015. When the image display start time and the image display end time are input, the synchronization control unit 30 acquires a moving image from the input start time to the end time from the image processing devices 20a, 20b, and 20c, and displays the moving image. Display on the device 35. At that time, the synchronization control unit 30 uses the imaging time recorded in each image frame.

図６は、３つの画像処理装置２０ａ、２０ｂ、２０ｃから取得した３つの画像７２Ａ、７２Ｂ、７２Ｃが表示装置３５に表示されている様子を示している。画像７２Ａは画像処理装置２０ａから取得した画像であり、画像７２Ｂは画像処理装置２０ｂから取得した画像であり、画像７２Ｃは画像処理装置２０ｃから取得した画像である。表示装置３５は、画像７２Ｃの下に環境情報７３Ａを表示している。また、表示装置３５は、画像７２Ａの下に映像データの再生や一時停止、停止、巻戻し、早送り等を指示可能なボタン７４を表示している。   FIG. 6 shows a state where three images 72A, 72B, and 72C acquired from the three image processing devices 20a, 20b, and 20c are displayed on the display device 35. The image 72A is an image acquired from the image processing device 20a, the image 72B is an image acquired from the image processing device 20b, and the image 72C is an image acquired from the image processing device 20c. The display device 35 displays environmental information 73A below the image 72C. Further, the display device 35 displays a button 74 capable of instructing reproduction, pause, stop, rewind, fast forward, etc. of the video data under the image 72A.

図６に示した表示装置３５は、同期制御部３０の制御の下、３つの画像７２Ａ、７２Ｂ、７２Ｃを同時に再生する。即ち、同期制御部３０は、各画像に記録されている撮像時刻を用いて、３つの画像７２Ａ、７２Ｂ、７２Ｃの再生が正確に同期して行われるように、表示装置３５に動画再生を実行させる。
従って、本実施形態によれば、３つのカメラ（撮像装置１０ａ、１０ｂ、１０ｃ）で撮像した画像を、正確に同期表示することができる。 The display device 35 shown in FIG. 6 reproduces three images 72A, 72B, 72C simultaneously under the control of the synchronization control unit 30. That is, the synchronization control unit 30 performs moving image reproduction on the display device 35 so that the reproduction of the three images 72A, 72B, and 72C is performed accurately in synchronization using the imaging time recorded in each image. Let
Therefore, according to the present embodiment, images captured by the three cameras (imaging devices 10a, 10b, and 10c) can be accurately and synchronously displayed.

なお、上記した実施形態では、撮像装置１０ａ、１０ｂ、１０ｃは車両２００の前方の映像を撮像するとしたが、３つの撮像装置１０ａ、１０ｂ、１０ｃの全てまたは一部を車両の２００の後方の撮像に使用してもよい。また、撮像装置の数は３に限定されない。撮像装置の数は、映像処理システム１００の用途等に応じて増減され得る。さらに、各撮像装置の視野角は６０度に限定されない。例えば、図６の７２Ａと７２Ｂが所定量だけオーバーラップするようにするために、撮像装置１０ａと１０ｂの視野角は６０数度にしてよい。また、９０度の視野角のカメラを使用する場合には、撮像装置の数を２つにしてもよい。   In the above-described embodiment, the imaging devices 10a, 10b, and 10c capture an image in front of the vehicle 200. However, all or a part of the three imaging devices 10a, 10b, and 10c are imaged behind the vehicle 200. May be used for Further, the number of imaging devices is not limited to three. The number of imaging devices can be increased or decreased according to the usage of the video processing system 100 or the like. Furthermore, the viewing angle of each imaging device is not limited to 60 degrees. For example, the viewing angles of the imaging devices 10a and 10b may be 60 degrees so that 72A and 72B in FIG. 6 overlap each other by a predetermined amount. In addition, when using a camera with a viewing angle of 90 degrees, the number of imaging devices may be two.

図６の説明では、動画を表示装置３５に表示するとしたが、表示装置３５に表示される画像は静止画像でもよい。例えば、ユーザが特定の時刻の３つの画像７２Ａ、７２Ｂ、７３Ｃを見たいときには、表示装置３５に当該時刻を入力して、当該時刻の静止画像７２Ａ、７２Ｂ，７２Ｃを見ることができる。
上記した実施形態では、表示装置３５は映像処理システム１００に含まれていないが、表示装置３５を映像処理システム１００に含めてもよい。 In the description of FIG. 6, the moving image is displayed on the display device 35, but the image displayed on the display device 35 may be a still image. For example, when the user wants to view three images 72A, 72B, and 73C at a specific time, the user can input the time to the display device 35 and view the still images 72A, 72B, and 72C at the time.
In the above-described embodiment, the display device 35 is not included in the video processing system 100, but the display device 35 may be included in the video processing system 100.

（第２の実施形態）
第１の実施形態において、振動が発生した場所が道路のジョイント部７５である場合には、当該ジョイント部７５の状態を確認することができるとした。撮像画像中において横方向に延びる物体が道路のジョイント部７５であるか否かの判断は、撮像した画像を用いて行ってもよいし、撮像した画像に画像処理を施した後の画像を用いて行ってもよい。後者の場合に採用される画像処理を、第２の実施形態として説明する。なお、以下の記載では、第１の実施形態との相違点のみを説明する。
第２の実施形態では、道路のジョイント部７５の検出を、以下のような特異点抽出に基づいて行う。図７は、第２の実施形態で採用する画像処理のフローチャートである。
この画像処理は、例えば画像処理装置２０ａの電源が投入されたタイミングで実行開始することができる。 (Second Embodiment)
In the first embodiment, when the place where the vibration is generated is the joint portion 75 of the road, the state of the joint portion 75 can be confirmed. Whether or not an object extending in the lateral direction in the captured image is the joint 75 of the road may be determined using the captured image, or using an image obtained by performing image processing on the captured image. You may go. The image processing employed in the latter case will be described as a second embodiment. In the following description, only differences from the first embodiment will be described.
In the second embodiment, the detection of the joint portion 75 of the road is performed based on the following singular point extraction. FIG. 7 is a flowchart of the image processing employed in the second embodiment.
This image processing can be started at the timing when the image processing apparatus 20a is powered on, for example.

先ずステップＳ１で、画像取得部２１は、撮像部１１から撮影画像を取得し、ステップＳ２に移行する。なお、このステップＳ１では、撮影画像に対して種々の補正処理を行ってもよい。例えば、撮影画像に対してワイドダイナミックレンジ（ＷＤＲ）処理を行うことで、逆光が強いシーンや明暗の差が大きいシーンを撮影した画像の高品位化を図ることができる。
ステップＳ２では、画像処理部２３は、ステップＳ１で取得した画像データに対して所定の二値化閾値を用いて二値化処理を施す。 First, in step S1, the image acquisition unit 21 acquires a captured image from the imaging unit 11, and proceeds to step S2. In step S1, various correction processes may be performed on the captured image. For example, by performing wide dynamic range (WDR) processing on a photographed image, it is possible to improve the quality of an image obtained by photographing a scene with strong backlight or a scene with a large difference in brightness.
In step S2, the image processing unit 23 performs binarization processing on the image data acquired in step S1 using a predetermined binarization threshold.

この二値化閾値は、検出対象である道路のジョイント部７５を検出可能な値に設定する。一般に、路面にはアスファルト舗装が施されており、撮影画像において、当該アスファルト路面部分に対応する画素の輝度値（以下、「画素値」ともいう）は黒色の輝度値「０」に近い値となる。これに対して、ジョイント部７５では、路面上に金属製の継手部材や後打コンクリートが露出しており、撮影画像において、当該ジョイント部７５に対応する領域の画素値は、上記のアスファルト路面部分に対応する領域の画素値よりも白色の輝度値「２５５」に近い値となる。
したがって、道路構造物としてジョイント部７５を検出する場合には、二値化閾値をジョイント部７５に対応する領域の画素値の下限値と同等、若しくはそれよりも所定のマージン分だけ小さく（黒色の輝度値に近く）設定する。これにより、二値化処理の結果、ジョイント部に対応する画素は白、アスファルト路面に対応する画素は黒となる。 This binarization threshold value is set to a value at which the joint portion 75 of the road that is the detection target can be detected. Generally, asphalt pavement is applied to the road surface, and in the photographed image, the luminance value of the pixel corresponding to the asphalt road surface portion (hereinafter also referred to as “pixel value”) is close to the black luminance value “0”. Become. On the other hand, in the joint portion 75, a metal joint member or post-cast concrete is exposed on the road surface, and the pixel value of the region corresponding to the joint portion 75 in the photographed image is the above asphalt road surface portion. Is closer to the white luminance value “255” than the pixel value of the region corresponding to.
Therefore, when the joint portion 75 is detected as a road structure, the binarization threshold value is equal to or smaller than the lower limit value of the pixel value of the region corresponding to the joint portion 75 by a predetermined margin (black Set it close to the brightness value. As a result of the binarization processing, the pixels corresponding to the joint portion are white, and the pixels corresponding to the asphalt road surface are black.

次にステップＳ３で、画像処理部２３は、二値化画像から特異点を抽出し、ステップＳ４に移行する。ここで、特異点とは、二値化画像内において予め設定した注目画素値を有する画素である。注目画素値は、検出対象の道路構造物（ジョイント部７５）の二値化処理後の画素値に設定しておく。検出対象の道路構造物がジョイント部７５である場合、注目画素値は、二値化処理後の白色の輝度値「１」となる。なお、このステップＳ３では、特異点を抽出する前に、二値化画像に対して孤立点除去や膨張処理、収縮処理等を行ってノイズを除去するようにしてもよい。   Next, in step S3, the image processing unit 23 extracts a singular point from the binarized image, and proceeds to step S4. Here, the singular point is a pixel having a pixel value of interest set in advance in the binarized image. The target pixel value is set to a pixel value after binarization processing of the road structure (joint portion 75) to be detected. When the road structure to be detected is the joint portion 75, the target pixel value is the white luminance value “1” after the binarization process. In step S3, before extracting the singular point, noise may be removed by performing isolated point removal, expansion processing, contraction processing, etc. on the binarized image.

ステップＳ４では、画像処理部２３は、ステップＳ３で抽出した特異点の連続性を判定する。具体的には、画像処理部２３は、先ず二値化画像に対してラベリング処理を施し、ジョイント部７５の候補となる領域（点群）を識別する。次に画像処理部２３は、各領域について、二値化画像の車両２００の幅方向に対応する方向（Ｘ方向）で連続する特異点の数Ｎｘと、車両２００の進行方向に対応する方向（Ｙ方向）で連続する特異点の数Ｎｙとを計測する。そして、これら特異点数Ｎｘ，Ｎｙがそれぞれ予め設定した判定範囲内であるか否かを判定することで、ジョイント部７５の有無を判定する。   In step S4, the image processing unit 23 determines the continuity of the singular points extracted in step S3. Specifically, the image processing unit 23 first performs a labeling process on the binarized image to identify a region (point group) that is a candidate for the joint unit 75. Next, for each region, the image processing unit 23 counts the number Nx of singular points continuous in the direction (X direction) corresponding to the width direction of the vehicle 200 in the binarized image and the direction corresponding to the traveling direction of the vehicle 200 ( The number of singular points Ny continuous in the Y direction) is measured. And the presence or absence of the joint part 75 is determined by determining whether these singularity numbers Nx and Ny are each within the predetermined determination range.

上記判定範囲は、検出対象であるジョイント部７５の撮影画像内での大きさをもとに設定する。ジョイント部７５は、道路の幅方向に沿って道路幅に相当する長さを有すると共に、車両の進行方向に沿って所定の幅（例えば、５００ｍｍ程度）を有する。したがって、検出対象がジョイント部７５である場合、特異点数Ｎｘの判定範囲は、ジョイント部７５の長さ（道路幅）に相当する画素数に基づいて設定し、特異点数Ｎｙの判定範囲は、ジョイント部７５の幅に相当する画素数に基づいて設定する。このように、抽出した特異点の点群の数に基づいて、ジョイント部７５の有無を判定する。なお、判定範囲の設定ファイルは、予め記憶部１３に記憶しておき、ユーザが適宜調整可能である。   The determination range is set based on the size of the joint portion 75 that is the detection target in the captured image. The joint portion 75 has a length corresponding to the road width along the width direction of the road, and a predetermined width (for example, about 500 mm) along the traveling direction of the vehicle. Therefore, when the detection target is the joint portion 75, the determination range of the singularity number Nx is set based on the number of pixels corresponding to the length (road width) of the joint portion 75, and the determination range of the singularity number Ny is This is set based on the number of pixels corresponding to the width of the portion 75. Thus, the presence or absence of the joint part 75 is determined based on the number of extracted point groups of singular points. The determination range setting file is stored in the storage unit 13 in advance, and can be adjusted as appropriate by the user.

ステップＳ５では、画像処理部２３は、ステップＳ４の判定の結果、ジョイント部７５があると判断した場合にはステップＳ６に移行し、ジョイント部７５がないと判断した場合には後述するステップＳ８に移行する。
ステップＳ６では、画像処理部２３は、ステップＳ１で取得した撮影画像に対して環境情報４３を各画像フレーム（１Ｆ、２Ｆ、３Ｆ、・・・）に付加する。
ステップＳ７では、画像処理部２３と表示制御部２４は、上記環境情報付きの撮影画像を記録部１３に保存すると共に、画像処理後のジョイント部７５の画像を表示部７１（映像表示領域７２）に表示することができる。
ステップＳ８では、画像処理部２３は、ジョイント部７５の検出処理を終了するか否かを判定する。例えば、車両２００の乗員が画像処理装置２０ａに設けられた処理終了ボタンを押すなどにより、画像処理部２３が道路構造物の検出処理を終了するための指示を受信した場合に、当該検出処理を終了する。 In step S5, the image processing unit 23 proceeds to step S6 when it is determined that the joint portion 75 is present as a result of the determination in step S4, and proceeds to step S8 described later when it is determined that there is no joint portion 75. Transition.
In step S6, the image processing unit 23 adds environment information 43 to each image frame (1F, 2F, 3F,...) With respect to the captured image acquired in step S1.
In step S7, the image processing unit 23 and the display control unit 24 save the captured image with the environmental information in the recording unit 13 and display the image of the joint unit 75 after the image processing on the display unit 71 (video display area 72). Can be displayed.
In step S <b> 8, the image processing unit 23 determines whether or not to end the detection process of the joint unit 75. For example, when the occupant of the vehicle 200 receives an instruction for ending the road structure detection process, for example, by pressing a process end button provided on the image processing apparatus 20a, the detection process is performed. finish.

このように、ジョイント部７５の検出に際し、撮影画像から特異点を抽出し、当該特異点の連続性を判断する。すなわち、ジョイント部７５の撮影画像内における輝度が路面の輝度とは異なることを利用し、路面の輝度値とは異なる輝度値を有する画素を特異点として抽出する。そして、画像内において所定の方向に連続する特異点の数が所定の判定範囲内にあると判断した場合に、当該特異点の点群に対応する領域をジョイント部７５として検出する。そのため、検出対象のジョイント部７５の撮影画像内における大きさ及び姿勢に概ね一致する大きさ及び姿勢を有する特異点の点群を、ジョイント部７５として検出することができる。したがって、複雑な処理を必要とすることなく、適切にジョイント部７５の検出が可能となる。また、ジョイント部７５と同等の輝度値を有する構造物が存在する場合であっても、ジョイント部７５とは大きさや姿勢が異なる構造物は検出対象から除外することができる。したがって、ジョイント部７５を適切に検出することができる。本実施形態では、ジョイント部７５の輝度値を有する画素を特異点として抽出し、当該特異点の点群に基づいてジョイント部７５を検出するので、検出対象であるジョイント部７５とは輝度値の異なる影は検出対象から除外することができる。そして、特異点抽出に基づく画像処理を施した画像を表示部７１の映像表示領域７２に表示することができる。   Thus, when detecting the joint portion 75, a singular point is extracted from the captured image, and the continuity of the singular point is determined. That is, using the fact that the luminance in the captured image of the joint unit 75 is different from the luminance of the road surface, pixels having a luminance value different from the luminance value of the road surface are extracted as singular points. When it is determined that the number of singular points continuous in a predetermined direction in the image is within a predetermined determination range, a region corresponding to the point group of the singular points is detected as the joint unit 75. Therefore, a point group of singular points having a size and a posture that substantially match the size and posture in the captured image of the joint portion 75 to be detected can be detected as the joint portion 75. Therefore, it is possible to appropriately detect the joint portion 75 without requiring complicated processing. In addition, even when a structure having a luminance value equivalent to that of the joint portion 75 exists, a structure having a size or a posture different from that of the joint portion 75 can be excluded from detection targets. Therefore, the joint part 75 can be detected appropriately. In the present embodiment, the pixel having the luminance value of the joint portion 75 is extracted as a singular point, and the joint portion 75 is detected based on the point group of the singular point. Different shadows can be excluded from detection targets. Then, an image subjected to image processing based on singularity extraction can be displayed in the video display area 72 of the display unit 71.

さらに、撮影画像に対して二値化処理を施すことで特異点を抽出するので、比較的簡易な処理で特異点を抽出することができる。また、二値化処理で用いる二値化閾値は外部記憶媒体等に記憶し、検出対象の道路構造物の輝度値に応じて調整可能である。換言すると、上記二値化閾値を変更することで、検出可能となる道路構造物を変更することができる。したがって、非検出としたい道路構造物がある場合には、その道路構造物が検出されないように上記二値化閾値を設定することができる。
また、上記判定範囲は外部記憶媒体等に記憶し、検出対象とする道路構造物に応じて調整可能である。そのため、上述した二値化閾値と同様に、上記判定範囲を変更することで、検出可能となる道路構造物を変更することができる。このように、解析に必要な道路構造物のみを検出するような設定とすることができるので、作業性を向上させることができる。 Furthermore, since a singular point is extracted by performing binarization processing on the captured image, the singular point can be extracted by a relatively simple process. The binarization threshold used in the binarization process is stored in an external storage medium or the like, and can be adjusted according to the luminance value of the road structure to be detected. In other words, the road structure that can be detected can be changed by changing the binarization threshold. Therefore, when there is a road structure that is not desired to be detected, the binarization threshold can be set so that the road structure is not detected.
The determination range is stored in an external storage medium or the like, and can be adjusted according to the road structure to be detected. Therefore, similarly to the above-described binarization threshold, the road structure that can be detected can be changed by changing the determination range. Thus, since it can be set as the detection of only a road structure required for an analysis, workability | operativity can be improved.

本実施形態の画像処理では、特異点を抽出する方法により道路構造物を検出するので、さまざまな道路構造物を検出対象とすることができる。すなわち、道路構造物はジョイント部７５に限定されず、撮影画像における道路構造物に対応する画素が特異点として抽出できれば、当該道路構造物の自動検出が可能である。路面に関連する路面構造物の場合、アスファルト路面とは異なる輝度値を有する構造物であれば、いずれも検出対象とすることができる。例えば、このような路面構造物としては、道路区画線（白線等）、轍、路面上の落下物、路面の損傷による穴などが挙げられる。また、路面周辺の付属構造物の場合にも同様に、周囲とは異なる輝度値を有する構造物であれば、いずれも検出対象とすることができる。例えば、このような付属構造物としては、標識、標識の文字、他車両のナンバープレートの文字、照明灯、防音壁やトンネル等の損傷部（亀裂、ボルト抜け部等）などが挙げられる。   In the image processing of the present embodiment, road structures are detected by a method of extracting singular points, so that various road structures can be detected. That is, the road structure is not limited to the joint portion 75, and if the pixel corresponding to the road structure in the captured image can be extracted as a singular point, the road structure can be automatically detected. In the case of a road surface structure related to a road surface, any structure having a luminance value different from that of an asphalt road surface can be set as a detection target. Examples of such road surface structures include road marking lines (white lines, etc.), fences, fallen objects on the road surface, holes due to road surface damage, and the like. Similarly, in the case of an accessory structure around the road surface, any structure having a luminance value different from that of the surrounding area can be set as a detection target. For example, examples of such an attached structure include a sign, a character of the sign, a character of a license plate of another vehicle, an illumination light, a damaged part (such as a crack or bolt missing part) of a soundproof wall or a tunnel.

道路構造物を検出した撮影画像は、道路構造物の状態確認に用いることができる。すなわち、点検者は、当該撮影画像から道路構造物の異常の有無を判断することができる。また、トンネル内の照明や破線状の白線等、通常は等間隔で配列している道路構造物について、点検者は、照明切れや白線切れの有無を判断することもできる。
このようにして、各画像処理装置２０ａ、２０ｂ、２０ｃは二値化した画像を作成することができる。そして、これら画像を同期表示したい場合には、第１の実施形態と同じように、同期制御装置３０と表示装置３５を使用する。なお、３つの画像処理装置２０ａ、２０ｂ、２０ｃの１つまたは２つについてのみ、撮影画像に二値化処理を実行してもよい。 The photographed image in which the road structure is detected can be used for checking the state of the road structure. That is, the inspector can determine whether there is an abnormality in the road structure from the captured image. In addition, the inspector can also determine whether or not there is a light outage or a white line outage for road structures that are usually arranged at regular intervals, such as lighting in a tunnel or white lines in broken lines.
In this way, each of the image processing apparatuses 20a, 20b, and 20c can create a binarized image. When these images are to be displayed synchronously, the synchronization control device 30 and the display device 35 are used as in the first embodiment. Note that the binarization process may be executed on the captured image only for one or two of the three image processing apparatuses 20a, 20b, and 20c.

また、上記実施形態においては、特異点の抽出に際し、撮影画像を二値化処理する場合について説明したが、撮影画像を多値化処理し、多値化処理後の画像から、道路構造物の当該多値化処理後の輝度値を有する画素を特異点として抽出してもよい。
さらに、特異点の抽出に際し、撮像画像に対して減色処理を施し、減色処理後の画像から特異点を抽出してもよい。例えば、フルカラーの撮像画像を、２５６色や１６色等に減色した画像に変換し、減色処理後の画像から検出対象の物体の色に対応する画素を選出し、これを特異点として抽出することができる。例えば、検出対象の物体が道路標識である場合、道路標識に主に用いられる色（赤、緑、青、黄など）に対応する画素を特異点として抽出する。また、例えば、検出対象の物体が錆である場合、錆の色（茶色、茶褐色など）に対応する画素を特異点として抽出する。これにより、より高精度に検出対象の物体を検出することができる。この検出方法は、検出対象の物体の色が既知である場合に有効である。 Further, in the above-described embodiment, the case where the captured image is binarized when the singular point is extracted has been described. However, the captured image is subjected to multi-value processing, and from the image after multi-value processing, the road structure You may extract the pixel which has the luminance value after the said multi-value process as a singular point.
Further, when extracting the singularity, a color reduction process may be performed on the captured image, and the singularity may be extracted from the image after the color reduction process. For example, converting a full-color captured image into an image reduced to 256 colors or 16 colors, selecting a pixel corresponding to the color of the object to be detected from the image after the color reduction process, and extracting this as a singular point Can do. For example, when the object to be detected is a road sign, pixels corresponding to colors (red, green, blue, yellow, etc.) mainly used for the road sign are extracted as singular points. For example, when the object to be detected is rust, pixels corresponding to the color of rust (brown, brown, etc.) are extracted as singular points. As a result, the object to be detected can be detected with higher accuracy. This detection method is effective when the color of the object to be detected is known.

（変形例）
上記実施形態においては、撮像環境に関する情報として、撮像時刻、撮像位置および撮像姿勢を取得する場合について説明したが、少なくとも撮像時刻を含んでいればよく、例えば撮像時の速度に関する情報や、撮像時の音に関する情報などを含んでもよい。また、撮像時の音（音声データ）は、各フレーム１Ｆ、２Ｆ、３Ｆに含まれてもよい。各フレーム１Ｆ、２Ｆ、３Ｆは映像フレームと称してもよい。
上記実施形態では、表示装置３５を設けたが、表示装置３５は省略してもよい。その場合、同期制御装部３５は３つの画像処理装置２０ａ、２０ｂ、２０ｃの表示部７１に表示される画像（映像）を同期表示する。つまり、３つの表示部７１を用いて、これら３つの表示部７１の画像を同期表示するようにしてもよい。 (Modification)
In the above-described embodiment, the case where the imaging time, the imaging position, and the imaging posture are acquired as the information about the imaging environment has been described. However, at least the imaging time only needs to be included. Information on the sound of the sound may be included. In addition, sound (audio data) at the time of imaging may be included in each frame 1F, 2F, 3F. Each frame 1F, 2F, 3F may be referred to as a video frame.
In the above embodiment, the display device 35 is provided, but the display device 35 may be omitted. In that case, the synchronization control unit 35 synchronously displays images (videos) displayed on the display units 71 of the three image processing devices 20a, 20b, and 20c. That is, you may make it display synchronously the image of these three display parts 71 using the three display parts 71. FIG.

また、上記実施形態においては、撮像装置１０ａ、１０ｂ、１０ｃを車両２００に設置する場合について説明したが、本発明はこのような構成に限定されない。例えば、車両以外の移動体（ラジコン、ドローン（無人航空機）、ヘリコプターなど）に撮像装置１０ａ、１０ｂ、１０ｃを設置してもよいし、路肩等に撮像装置１０ａ、１０ｂ、１０ｃを固定してもよい。さらに、撮像装置１０ａ、１０ｂ、１０ｃは、店舗や施設等に設置することもできる。この場合、映像処理システム１００は、店舗や施設内を監視する監視システムとして機能させることができる。また、撮像装置１０ａ、１０ｂ、１０ｃは、人が携帯してもよい。   Moreover, in the said embodiment, although the case where imaging device 10a, 10b, 10c was installed in the vehicle 200 was demonstrated, this invention is not limited to such a structure. For example, the imaging devices 10a, 10b, and 10c may be installed on a moving body other than a vehicle (a radio control, a drone (unmanned aircraft), a helicopter, etc.), or the imaging devices 10a, 10b, and 10c may be fixed to a road shoulder or the like. Good. Furthermore, the imaging devices 10a, 10b, and 10c can be installed in stores, facilities, and the like. In this case, the video processing system 100 can function as a monitoring system for monitoring the inside of a store or facility. The imaging devices 10a, 10b, and 10c may be carried by a person.

上記実施形態においては、画像処理装置２０ａ、２０ｂ、２０ｃにおいて、画像検索処理で検索したフレームを表示部に表示する場合について説明したが、検索したフレームを記録媒体に記録したり、サーバ装置へ転送したりするようにしてもよい。
なお、上記実施形態における画像処理装置２０ａ、２０ｂ、２０ｃで実行されるプログラムは、インストール可能なファイル形式または実行可能なファイル形式で、コンピュータが読み取り可能な記憶媒体に記憶されて提供されてもよい。また、上記実施形態における画像処理装置２０ａ、２０ｂ、２０ｃで実行されるプログラムは、インターネット等のネットワーク経由で提供されてもよい。
以上、本発明の実施形態について詳細に説明したが、上述した実施形態は、本発明を実施するにあたっての一例を示したにすぎず、本発明の技術的範囲は、上述した実施形態に限定されるものではない。本発明は、その趣旨を逸脱しない範囲において種々の修正又は変更が可能である。 In the above-described embodiment, the case has been described in which the frame searched by the image search process is displayed on the display unit in the image processing apparatuses 20a, 20b, and 20c. You may make it.
Note that the program executed by the image processing apparatuses 20a, 20b, and 20c in the above-described embodiment may be provided by being stored in a computer-readable storage medium in an installable file format or an executable file format. . In addition, the program executed by the image processing apparatuses 20a, 20b, and 20c in the above embodiment may be provided via a network such as the Internet.
As mentioned above, although embodiment of this invention was described in detail, embodiment mentioned above showed only an example in implementing this invention, and the technical scope of this invention is limited to embodiment mentioned above. It is not something. The present invention can be variously modified or changed without departing from the spirit of the present invention.

１０ａ、１０ｂ、１０ｃ…撮像装置、１１…撮像部、１２…信号処理部、１３…記録部、１４…時刻情報取得部、１５…位置情報取得部、１６…姿勢情報取得部、２０ａ、２０ｂ、２０ｃ…画像処理装置、２１…画像取得部、２２…パラメータ取得部、２３…画像処理部、２４…表示制御部、３０…同期制御部、４０…映像データ、４１…ヘッダ部、４２…映像データ部、４３…環境情報、７１…表示部、７２…映像表示領域、７３…環境情報表示領域、７４…ボタン、１００…映像処理システム、２００…車両   10a, 10b, 10c ... imaging device, 11 ... imaging unit, 12 ... signal processing unit, 13 ... recording unit, 14 ... time information acquisition unit, 15 ... position information acquisition unit, 16 ... posture information acquisition unit, 20a, 20b, 20c ... Image processing device, 21 ... Image acquisition unit, 22 ... Parameter acquisition unit, 23 ... Image processing unit, 24 ... Display control unit, 30 ... Synchronization control unit, 40 ... Video data, 41 ... Header unit, 42 ... Video data Part 43 ... environment information 71 ... display part 72 ... video display area 73 ... environment information display area 74 ... button 100 ... video processing system 200 ... vehicle

Claims (13)

複数の撮像装置と、
前記複数の撮像装置の各々から得られる画像フレームを同期表示する制御装置と、を備える映像処理システムであって、
前記複数の撮像装置の各々は、
車両へ取り付け可能であり、前記車両が走行する道路上の道路構造物を撮像して撮像された映像データを前記制御装置へ供給する撮像装置であって、
前記道路構造物を撮像する撮像部と、
前記撮像部の撮像時刻を取得する時刻取得部と、
前記撮像部の撮像位置を取得する位置取得部と、
前記撮像部の出力信号に基づいて、複数の画像フレームを含む映像データを順次生成する映像データ生成部と、
生成された前記映像データをエンコーダを介して圧縮処理するなどにより生成された映像ファイルを記憶媒体に記憶する記憶部と、を有し、
前記複数の撮像装置の各々の前記映像データ生成部は、
前記映像データを生成する際に、前記映像データの前記画像フレームごとに、前記撮像時刻及び前記撮像位置を含む撮像環境情報を、映像再生に影響のない形式で、対応する画像フレームに書き込み、
前記制御装置は前記同期表示をする際に、前記複数の撮像装置の各々が取得した前記撮像時刻を使用することを特徴とする映像処理システム。 A plurality of imaging devices;
A control device that synchronously displays an image frame obtained from each of the plurality of imaging devices, and a video processing system comprising:
Each of the plurality of imaging devices is
An imaging device that is attachable to a vehicle, images a road structure on a road on which the vehicle travels, and supplies image data captured to the control device,
An imaging unit for imaging the road structure;
A time acquisition unit for acquiring an imaging time of the imaging unit;
A position acquisition unit for acquiring an imaging position of the imaging unit;
A video data generation unit that sequentially generates video data including a plurality of image frames based on an output signal of the imaging unit;
A storage unit that stores a video file generated by, for example, compressing the generated video data via an encoder in a storage medium;
The video data generation unit of each of the plurality of imaging devices is
When generating the video data, for each image frame of the video data, the imaging environment information including the imaging time and the imaging position is written in a corresponding image frame in a format that does not affect video reproduction,
The video processing system, wherein the control device uses the imaging time acquired by each of the plurality of imaging devices when performing the synchronous display. 前記車両の揺れを検出可能な位置に設置され、前記車両の加速度情報及び角速度情報を含む撮像姿勢を取得する姿勢取得部をさらに備え、前記撮像環境情報は前記撮像姿勢を含むことを特徴とする請求項１に記載の映像処理システム。   The vehicle is further provided with a posture acquisition unit that is installed at a position where the vehicle shake can be detected and acquires an imaging posture including acceleration information and angular velocity information of the vehicle, and the imaging environment information includes the imaging posture. The video processing system according to claim 1. 前記時刻取得部は、標準電波から得られる標準時刻情報を、前記撮像時刻として取得することを特徴とする請求項１または２に記載の映像処理システム。   The video processing system according to claim 1, wherein the time acquisition unit acquires standard time information obtained from a standard radio wave as the imaging time. 前記位置取得部は、測位衛星から送信される衛星信号から得られる測位情報を、前記撮像位置として取得することを特徴とする請求項１〜３のいずれか１項に記載の映像処理システム。   4. The video processing system according to claim 1, wherein the position acquisition unit acquires positioning information obtained from a satellite signal transmitted from a positioning satellite as the imaging position. 5. 前記姿勢取得部は、３軸加速度センサおよび３軸ジャイロセンサの少なくとも一方で検出した情報を、前記撮像姿勢として取得することを特徴とする請求項２に記載の映像処理システム。   The video processing system according to claim 2, wherein the posture acquisition unit acquires information detected by at least one of a three-axis acceleration sensor and a three-axis gyro sensor as the imaging posture. 前記制御装置は、前記記憶部で記憶した前記映像データに基づいて、前記画像フレームと当該画像フレームに対応する前記撮像環境情報とを重畳させて表示部に表示する第一の表示制御部を備えることを特徴とする請求項１〜５のいずれか１項に記載の映像処理システム。   The control device includes a first display control unit that superimposes the image frame and the imaging environment information corresponding to the image frame on the display unit based on the video data stored in the storage unit. The video processing system according to claim 1, wherein the video processing system is a video processing system. 前記制御装置は、特定の道路構造物を検出するための閾値を用いて前記道路構造物の映像データを二値化または多値化処理し、当該二値化または多値化処理後の映像データに対して特異点抽出処理を施す処理部を備えることを特徴とする請求項１〜６のいずれか１項に記載の映像処理システム。   The control device binarizes or multi-values the video data of the road structure using a threshold value for detecting a specific road structure, and the video data after the binarization or multi-value processing The video processing system according to claim 1, further comprising a processing unit that performs a singular point extraction process on the video. 前記制御装置は、検出対象の道路構造物の画素の輝度値に対応する二値化閾値又は多値化閾値を設定する閾値設定部を有し、
前記処理部は、設定された前記二値化閾値又は多値化閾値を用いて、取得された前記映像データを二値化処理又は多値化処理し、当該二値化処理又は多値化処理後の映像データに対して特異点抽出処理を施すことを特徴とする請求項７に記載の映像処理システム。 The control device includes a threshold setting unit that sets a binarization threshold or a multi-value threshold corresponding to a luminance value of a pixel of a road structure to be detected;
The processing unit uses the set binarization threshold or multi-value threshold to binarize or multi-value the acquired video data, and the binarization or multi-value processing 8. The video processing system according to claim 7, wherein singularity extraction processing is performed on the subsequent video data. 前記閾値設定部は、検出対象の道路構造物と当該道路構造物の周囲との画素の輝度値の相違に基づいて二値化閾値又は多値化閾値を設定することを特徴とする請求項８に記載の映像処理システム。   9. The threshold value setting unit sets a binarization threshold value or a multi-value threshold value based on a difference in luminance values of pixels between a road structure to be detected and the surroundings of the road structure. The video processing system described in 1. 前記制御装置は、ユーザが指定した前記撮像環境情報を取得する指定情報取得部と、
前記記憶部で記憶した前記映像データから、前記指定情報取得部で取得した情報が書き込まれた画像フレームを検索する画像検索部と、
前記画像検索部で検索した画像フレームを前記表示部に表示する第二の表示制御部と、を備えることを特徴とする請求項６に記載の映像処理システム。 The control device includes a designation information acquisition unit that acquires the imaging environment information designated by a user;
An image search unit for searching for an image frame in which the information acquired by the specified information acquisition unit is written from the video data stored in the storage unit;
The video processing system according to claim 6 , further comprising: a second display control unit that displays an image frame searched by the image search unit on the display unit. 車両に取り付け可能な複数の撮像装置の各々から得られる画像フレームを制御装置によって同期表示する映像処理方法であって、
前記複数の撮像装置の各々が、前記車両が走行する道路上の道路構造物を撮像するステップと、
前記複数の撮像装置の各々が、当該撮像装置の撮像時刻を取得するステップと、
前記複数の撮像装置の各々が、当該撮像装置の撮像位置を取得するステップと、
前記複数の撮像装置の各々が、当該撮像装置の出力信号に基づいて、複数の画像フレームを含む映像データを順次生成する映像データ生成ステップと、
前記複数の撮像装置の各々が、生成された前記映像データをエンコーダを介して圧縮処理するなどにより生成された映像ファイルを記憶媒体に記憶するステップと、
前記制御装置が、前記複数の撮像装置の各々から得られる画像フレームを同期表示するステップと、を含み、
前記複数の撮像装置の各々の前記映像データ生成ステップは、
前記映像データを生成する際に、前記映像データの前記画像フレームごとに、前記撮像時刻及び前記撮像位置を含む撮像環境情報を、映像再生に影響のない形式で、対応する画像フレームに書き込むステップを含み、
前記制御装置が、同期表示するステップを行う際に、前記複数の撮像装置の各々が取得した前記撮像時刻を使用することを特徴とする映像処理方法。 A video processing method for synchronously displaying an image frame obtained from each of a plurality of imaging devices attachable to a vehicle by a control device,
Each of the plurality of imaging devices imaging a road structure on a road on which the vehicle travels;
Each of the plurality of imaging devices acquires an imaging time of the imaging device; and
Each of the plurality of imaging devices acquires an imaging position of the imaging device;
A video data generation step in which each of the plurality of imaging devices sequentially generates video data including a plurality of image frames based on an output signal of the imaging device;
Each of the plurality of imaging devices stores a video file generated by, for example, compressing the generated video data via an encoder in a storage medium;
The control device synchronously displaying an image frame obtained from each of the plurality of imaging devices,
The video data generation step of each of the plurality of imaging devices includes:
When generating the video data, for each image frame of the video data, writing imaging environment information including the imaging time and the imaging position in a corresponding image frame in a format that does not affect video playback. Including
An image processing method using the imaging time acquired by each of the plurality of imaging devices when the control device performs a step of synchronous display. コンピュータを、前記請求項１〜１０のいずれか１項に記載の映像処理システムの各部として機能させるためのプログラム。   The program for functioning a computer as each part of the video processing system of any one of the said Claims 1-10. 前記請求項１２に記載のプログラムを記録した、コンピュータが読み取り可能な記録媒体。   A computer-readable recording medium on which the program according to claim 12 is recorded.

Images