JP6618163B1 - 撮像システム - Google Patents

Abstract

【課題】 複数のビデオカメラの同一時刻の映像のフレームを正確に対応付け、走行中の車両から撮影した各映像の同一時刻のフレームを同時に画面表示可能とする。【解決手段】 移動車両搭載のビデオカメラ２１，，，２６を用いて撮影される各映像を同期再生可能とするための撮像システム。受信手段１０により受信されるＧＰＳ信号に基づく時刻データ及び位置データを生成するとともに各１ＰＰＳ信号の間を等間隔に細分して成る各細分時刻の時刻データを生成するデータ生成手段４１、データ生成手段４１により生成される時刻データ及び位置データを記憶手段５１のレコードに格納するデータ制御手段４２、前記データ生成手段４１により生成される時刻データに対応する時刻順の番号データを生成して各ビデオカメラ２１，，，２６へ出力して音声トラックに記録させ、且つ、データ制御手段４２に渡して記憶手段５１の対応する時刻データのレコードに格納させる番号制御手段４３を有する。【選択図】 図３

Description

本発明は、各々異なる方向を向けて移動車両に搭載される２以上のビデオカメラにより撮影される各映像を、後日、同期再生可能とするための撮像システムに関する。
本発明の撮像システムは、車両で走行しつつ異なる方向から道路や線路を撮影し、併せて、各映像フレームの撮影の日時刻や位置を各映像フレームに対応付けて記録するものであり、後日、道路や線路の所望の位置或いは構造物を指定して、その状態や、その状態の経時変化を容易に確認し得るようにするものである。

ＪＰ２０１６−０００５９８Ａ（特許文献１）には、車両動揺測定装置とデジタルビデオカメラとを画像同期装置を介して接続して成り、車両動揺測定装置にて生成した同期番号データを画像同期装置で音声レベル信号に変換して、デジタルビデオカメラの音声トラックに記録することが記載されている。

ＪＰ２０１６−０００５９８Ａ

車両で高速走行しつつ道路や線路或いはその近辺の構造物を撮影しておき、後日、所望の位置や構造物を指定して、その状態や、その状態の経時変化を、複数の異なる方向から見た静止画像で確認できるようにしたいという要望がある。
また、高速走行中に各々異なる方向から撮影した複数の映像中から、所望の位置や所望の構造物が写り込んでいる静止画像であって、所望の方向から見た静止画像を、ピンポイントで指定して確認できるようにしたいという要望がある。
また、高速走行中に撮影した映像（動画）を再生する際に、当該の映像に関連する各種の情報（撮影日時刻，位置（緯度・経度，地図上の位置，ユーザに分かり易い位置表現），車両速度，等）を併せて表示できるようにしたいという要望がある。

また、高速走行中に撮影した映像中から、所望の構造物が写り込んでいる静止画像を指定して、当該の構造物（橋梁，トンネルの壁や天井，路面状態，標識，等）を、その状況に応じて確認できるようにしたいという要望がある。
例えば、静止画像内の当該構造物までの距離を確認できるようにすることで、当該構造物の状況についてより詳細な知見を得たいという要望がある。
また、例えば、路面の静止画像のみからでは、路面状況（細かなひび割れ等）の詳細を十分に知り得ないような場合には、路面上の走行によって車両に生ずる各種の状態変化を補助の情報として、より詳細な知見を得たいという要望もある。
本発明は、上述の要望に応え得るようにすることを目的とする。

本発明を、下記の［１］〜［１１］に記す。なお、この項（［課題を解決するための手段］）と次項（［発明の効果］）に於いて、符号は理解を容易にするために付したものであり、本発明は、符号の構成に限定されない。

［１］発明１
ＧＰＳ信号を受信する受信手段１０を有し、移動車両に搭載される２以上のビデオカメラ２１，２２，，，２６を用いて撮影される各映像を同期再生可能とするための撮像システムであって、
前記受信手段１０により受信されるＧＰＳ信号に基づく時刻データ及び位置データを生成するとともに、前記時刻データに基づく各１ＰＰＳ信号の間を等間隔に細分して成る各細分時刻の時刻データを生成するデータ生成手段４１と、
前記データ生成手段４１により生成される時刻データ及び位置データを所定の記憶手段５１のレコードに格納するデータ制御手段４２と、
前記データ生成手段４１により生成される時刻データに対応する時刻順の番号データを生成するとともに、該番号データを、前記各ビデオカメラ２１，２２，，，２６へ出力して各ビデオカメラの音声トラックに記録させ、及び、前記データ制御手段４２に渡して当該番号データに対応する時刻データのレコードに格納させる番号制御手段４３と、
を有することを特徴とする撮像システム。

データ生成手段４１の機能の一部、即ち、「ＧＰＳ信号に基づく時刻データ及び位置データを生成する」機能や「時刻データに基づく１ＰＰＳ信号」を取り出す機能は、市販のＧＰＳ受信機１０ａが標準に具備している機能を用いて構成することもできる。
１ＰＰＳ信号とは、ＧＰＳ衛星からの信号に基づいてＧＰＳ受信機が生成する、１パルス／秒の信号である。
位置データとは、緯度・経度データである。
時刻データとは、年・月・日・時・分・秒のデータである。この時刻データは協定世界時で与えられるため、適宜、９時間をプラスして日本標準時に補正してもよい。
番号データは、Ｄ／Ａ変換して、音声トラックに記録される。
各１ＰＰＳ信号の間を等間隔に細分する場合、例えば、１０等分する場合、映像のフレームレートが３０ｆｐｓであれば、３フレーム毎に一つの番号データが割り当てられることになる。複数台のビデオカメラの録画スタート時刻が少しずれた場合でも、共通の番号データを持つフレームを同一時刻として再生することで、同期再生が可能となる。
移動車両としては、道路上を走行する自動車を例示できるが、これに限定されず、線路上を走行する列車であってもよい。

［２］発明２
ＧＰＳ信号を受信する受信手段１０を有し、移動車両に搭載される２以上のビデオカメラ２１，２２，，，２６を用いて撮影される各映像を同期再生可能とするための撮像システムであって、
前記受信手段１０により受信されるＧＰＳ信号に基づく時刻データ及び位置データを生成するとともに、前記時刻データに基づく各１ＰＰＳ信号の間を等間隔に細分して成る各細分時刻の時刻データを生成するデータ生成手段４１と、
前記データ生成手段４１により生成される時刻データ及び位置データを所定の記憶手段５１のレコードに格納するデータ制御手段４２と、
前記データ生成手段４１により生成される時刻データに対応する時刻順の番号データを生成するとともに、該番号データを、前記各ビデオカメラ２１，２２，，，２６へ出力して各ビデオカメラの第１の音声トラックに記録させ、及び、前記データ制御手段４２に渡して当該番号データに対応する時刻データのレコードに格納させる番号制御手段４３と、
前記ビデオカメラ２１，２２，，，２６の何れか１以上により撮影される映像に関連する物理量を検出する１又は２以上のセンサ装置３０と、
前記センサ装置３０の検出信号を当該検出信号に関連する映像を撮影するビデオカメラへ出力して第２の音声トラックに記録させるセンサ制御手段４４と、
を有することを特徴とする撮像システム。
例えば、第１の音声トラックをＬ／Ｒチャンネル、第２の音声トラックをＲ／Ｌチャンネルとして構成してもよい。
センサの検出信号は、Ａ／Ｄ変換され、データ制御手段４２に渡されて、記憶手段５１のレコード（番号データにより紐付けされるレコード）に格納される。このセンサデータは、また、Ｄ／Ａ変換されてビデオカメラの第２の音声トラックに記録され、第１の音声トラックにＤ／Ａ変換されて記録される番号データに紐付けされる。
［３］発明３
ＧＰＳ信号を受信する受信手段１０を有し、移動車両に搭載されて前方を撮影する前方ビデオカメラ２１及び非前方を撮影する１又は２以上の非前方ビデオカメラ２２，，，２６の各映像を同期再生可能とするための撮像システムであって、
前記受信手段１０により受信されるＧＰＳ信号に基づく時刻データ及び位置データを生成するとともに、前記時刻データに基づく各１ＰＰＳ信号の間を等間隔に細分して成る各細分時刻の時刻データを生成するデータ生成手段４１と、
前記データ生成手段４１により生成される時刻データ及び位置データを所定の記憶手段５１のレコードに格納するデータ制御手段４２と、
前記データ生成手段４１により生成される時刻データに対応する時刻順の番号データを生成するとともに、該番号データを、前記各ビデオカメラ２１，２２，，，２６へ出力して各ビデオカメラの第１の音声トラックに記録させ、及び、前記データ制御手段４２に渡して当該番号データに対応する時刻データのレコードに格納させる番号制御手段４３と、
前記前方及び非前方のビデオカメラ２１，２２，，，２６の何れか１以上により撮影される映像に関連する物理量を検出する１又は２以上のセンサ装置３０と、
前記センサ装置３０の検出信号を当該検出信号に関連する映像を撮影する前記非前方ビデオカメラ２２，，，２６へ出力して第２の音声トラックに記録させるセンサ制御手段４４と、
を有することを特徴とする撮像システム。
［４］発明４
前記発明３に於いて、
前記データ制御手段４２は、前記データ生成手段４１により生成される位置データを前記前方ビデオカメラ２１へ出力して第２の音声トラックに記録させる、
ことを特徴とする撮像システム。

［５］発明５
前記発明２〜４の何れかに於いて、
前記物理量の一つは、ビデオカメラから被写体までの距離である、
ことを特徴とする撮像システム。
［６］発明６
前記発明２〜４の何れかに於いて、
前記物理量の一つは、路面の状態に応じて生ずるロードノイズである、
ことを特徴とする撮像システム。
［７］発明７
前記発明２〜４の何れかに於いて、
前記物理量の一つは、当該車両の傾斜角である、
ことを特徴とする撮像システム。
［８］発明８
前記発明２〜４の何れかに於いて、
前記物理量の一つは、当該車両の走行速度である、
ことを特徴とする撮像システム。

［９］発明９
前記発明１〜８の何れかに於いて、
前記データ生成手段４１は、前記各細分時刻の時刻データとともに各時刻データに対応する位置データを生成する、
ことを特徴とする撮像システム。
［１０］発明１０
前記発明９に於いて、
前記データ生成手段４１は、各細分時刻の時刻データに対応する位置データを生成する処理を、各細分時刻の時刻データを生成する処理とは別途の後のタイミングで実行し、
前記データ制御手段４２は、各細分時刻の時刻データに対応する位置データを格納する処理を、前記別途の後のタイミングで実行する、
ことを特徴とする撮像システム。
別途のタイミングとしては、例えば、各ビデオカメラ２１，，，２６で撮影した映像を編集等するタイミングを挙げることができる。
編集には、例えば、映像から各種の物体、例えば、高速道路上又はその近辺の橋梁等の構造物を抽出し、当該の構造物を示すデータを、当該の構造物が映っているフレームに対応する番号データのレコードに格納して、後の検索に利用可能とするような処理を含めてもよい。

［１１］発明１１
前記発明１〜１０の何れかに於いて、さらに、
時刻データに対応付けて前記所定の記憶手段５１に格納されている番号データと、映像フレームに対応付けて前記ビデオカメラ２１，２２，，，２６に記録されている番号データとの照合に基づいて、当該ビデオカメラの各映像フレームに時刻データを対応付ける較正手段を有する、
ことを特徴とする撮像システム。

発明１は、ＧＰＳ信号を受信する受信手段１０を有し、移動車両に搭載される２以上のビデオカメラ２１，２２，，，２６を用いて撮影される各映像を同期再生可能とするための撮像システムであって、前記受信手段１０により受信されるＧＰＳ信号に基づく時刻データ及び位置データを生成するとともに、前記時刻データに基づく各１ＰＰＳ信号の間を等間隔に細分して成る各細分時刻の時刻データを生成するデータ生成手段４１と、前記データ生成手段４１により生成される時刻データ及び位置データを所定の記憶手段５１のレコードに格納するデータ制御手段４２と、前記データ生成手段４１により生成される時刻データに対応する時刻順の番号データを生成するとともに、該番号データを、前記各ビデオカメラ２１，２２，，，２６へ出力して各ビデオカメラの音声トラックに記録させ、及び、前記データ制御手段４２に渡して当該番号データに対応する時刻データのレコードに格納させる番号制御手段４３とを有することを特徴とする撮像システムであるため、１ＰＰＳ信号の時間間隔（１秒）を更に細分した短い時間間隔で生成される番号データを介して、各ビデオカメラの同一時刻の映像のフレームを正確に対応付けることができる。このため、例えば、走行中の車両から複数の方向を撮影した各映像の同一時刻のフレームを同時に画面表示する等も可能となる。
発明２は、ＧＰＳ信号を受信する受信手段１０を有し、移動車両に搭載される２以上のビデオカメラ２１，２２，，，２６を用いて撮影される各映像を同期再生可能とするための撮像システムであって、前記受信手段１０により受信されるＧＰＳ信号に基づく時刻データ及び位置データを生成するとともに、前記時刻データに基づく各１ＰＰＳ信号の間を等間隔に細分して成る各細分時刻の時刻データを生成するデータ生成手段４１と、前記データ生成手段４１により生成される時刻データ及び位置データを所定の記憶手段５１のレコードに格納するデータ制御手段４２と、前記データ生成手段４１により生成される時刻データに対応する時刻順の番号データを生成するとともに、該番号データを、前記各ビデオカメラ２１，２２，，，２６へ出力して各ビデオカメラの第１の音声トラックに記録させ、及び、前記データ制御手段４２に渡して当該番号データに対応する時刻データのレコードに格納させる番号制御手段４３と、前記ビデオカメラ２１，２２，，，２６の何れか１以上により撮影される映像に関連する物理量を検出する１又は２以上のセンサ装置３０と、前記センサ装置３０の検出信号を当該検出信号に関連する映像を撮影するビデオカメラへ出力して第２の音声トラックに記録させるセンサ制御手段４４とを有することを特徴とする撮像システムであるため、１ＰＰＳ信号の時間間隔（１秒）を更に細分した短い時間間隔で生成される番号データを介して、各ビデオカメラの同一時刻の映像のフレームを正確に対応付けることができ、さらに、各映像に関連する物理量の検出値を正確に対応付けることができる。このため、例えば、走行中の車両から複数の方向を撮影した各映像の同一時刻のフレームを同時に画面表示するとともに、その画面に関連する物理量の検出値を併せて表示する等も可能となる。
発明３は、ＧＰＳ信号を受信する受信手段１０を有し、移動車両に搭載されて前方を撮影する前方ビデオカメラ２１及び非前方を撮影する１又は２以上の非前方ビデオカメラ２２，，，２６の各映像を同期再生可能とするための撮像システムであって、前記受信手段１０により受信されるＧＰＳ信号に基づく時刻データ及び位置データを生成するとともに、前記時刻データに基づく各１ＰＰＳ信号の間を等間隔に細分して成る各細分時刻の時刻データを生成するデータ生成手段４１と、前記データ生成手段４１により生成される時刻データ及び位置データを所定の記憶手段５１のレコードに格納するデータ制御手段４２と、前記データ生成手段４１により生成される時刻データに対応する時刻順の番号データを生成するとともに、該番号データを、前記各ビデオカメラ２１，２２，，，２６へ出力して各ビデオカメラの第１の音声トラックに記録させ、及び、前記データ制御手段４２に渡して当該番号データに対応する時刻データのレコードに格納させる番号制御手段４３と、前記前方及び非前方のビデオカメラ２１，２２，，，２６の何れか１以上により撮影される映像に関連する物理量を検出する１又は２以上のセンサ装置３０と、前記センサ装置３０の検出信号を当該検出信号に関連する映像を撮影する前記非前方ビデオカメラ２２，，，２６へ出力して第２の音声トラックに記録させるセンサ制御手段４４とを有することを特徴とする撮像システムであるため、１ＰＰＳ信号の時間間隔（１秒）を更に細分した短い時間間隔で生成される番号データを介して、前方及び非前方（前方以外）のビデオカメラの同一時刻の映像のフレームを正確に対応付けることができ、さらに、非前方に関しては各映像に関連する物理量の検出値を正確に対応付けることができる。このため、例えば、走行中の車両から前方及び非前方の方向を撮影した各映像の同一時刻のフレームを同時に画面表示するとともに、非前方の画面に関しては、その画面に関連する物理量の検出値を併せて表示する等も可能となる。
発明４は、発明３に於いて、前記データ制御手段４２は、前記データ生成手段４１により生成される位置データを前記前方ビデオカメラ２１へ出力して第２の音声トラックに記録させることを特徴とする撮像システムであるため、１ＰＰＳ信号の時間間隔（１秒）を更に細分した短い時間間隔で生成される番号データを介して、前方及び非前方のビデオカメラの同一時刻の映像のフレームを正確に対応付けることができ、さらに、前方に関しては位置を正確に対応付けることができるとともに非前方に関しては映像に関連する物理量の検出値を正確に対応付けることができる。このため、例えば、走行中の車両から前方を含む各方向を撮影した映像の同一時刻のフレームを同時に画面表示しつつ、前方映像に位置（緯度・経度）を表示するとともに、非前方には、その画面に関連する物理量の検出値を併せて表示する等も可能となる。

発明５〜８は、映像に関連する物理量を具体的に提示することかできる。
発明９は、発明１〜８の何れかに於いて、前記データ生成手段４１は、前記各細分時刻の時刻データとともに各時刻データに対応する位置データを生成することを特徴とする撮像システムであるため、１ＰＰＳ信号の時間間隔（１秒）を更に細分した短い時間間隔で生成される番号データを介して、各ビデオカメラの同一時刻の映像のフレームを正確に対応付けることができ、さらに、各映像に位置を正確に対応付けることができる。
発明１０は、発明９に於いて、前記データ生成手段４１は各細分時刻の時刻データに対応する位置データを生成する処理を各細分時刻の時刻データを生成する処理とは別途の後のタイミングで実行し、前記データ制御手段４２は各細分時刻の時刻データに対応する位置データを格納する処理を前記別途の後のタイミングで実行することを特徴とする撮像システムであるため、発明９の効果を享受しつつ、撮像を行う際の装置の処理負荷を低減することができる。

発明１１は、発明１〜１０の何れかに於いて、さらに、時刻データに対応付けて前記所定の記憶手段５１に格納されている番号データと、映像フレームに対応付けて前記ビデオカメラ２１，２２，，，２６に記録されている番号データとの照合に基づいて、当該ビデオカメラの各映像フレームに時刻データを対応付ける較正手段を有することを特徴とする撮像システムであるため、撮像時に於ける各ビデオカメラのスタート時刻のズレを吸収して、同期再生を確実に行わせることができる。

（ａ）は実施の形態の撮像システムを構成する各機器を車両に搭載して成る配置を示す模式図、（ｂ）は実施の形態の機器での信号の流れを示す説明図。 実施の形態の撮像システムを構成する各機器の接続と信号の流れを示すブロック図。 実施の形態の撮像システムの機能ブロック図。 実施の形態の撮像システムで生成されるデータを示し、（ａ）はＧＰＳ受信機１０ａ及びセンサ装置３０から入力される信号に基づいて制御装置（コンピュータ）４０で生成されるデータ、（ｂ）は各ビデオカメラ２１，２２，，，２６に記録される情報を管理するデータ、（ｃ）は（ａ）と（ｂ）に基づいて記憶装置５０に記録されるデータベース５１の構成を示す。 制御装置４０での処理手順の一例を示すフローチャート。 制御装置４０での処理手順の別の一例を示すフローチャート。 複数のビデオカメラの撮像開始時刻のズレを較正して制御装置４０の番号データを基準に較正する処理を説明するタイミングチャート。

図面を参照して、本発明の実施の形態を説明する。
図１（ａ）は実施の形態の撮像システムの機器を車載する様子を模式的に示す配置図であり、（ｂ）は（ａ）の機器間での信号の流れを示す説明図である。また、図２は各機器の接続と信号の流れを示すブロック図である。

図示のように、それぞれ異なる方向を撮影するための６台のビデオカメラ（前方撮影用のビデオカメラ２１，右側方撮影用のビデオカメラ２２，左側方撮影用のビデオカメラ２３，後方撮影用のビデオカメラ２４，上方撮影用のビデオカメラ２５，下方撮影用のビデオカメラ２６）と、ＧＰＳ受信機１０ａと、コンピュータ装置４０ａと、複数のセンサ装置３０と、音声ミキサー６０とが自動車９０に搭載されて、撮像が行われる。なお、自動車９０に代えて、列車に搭載されてもよい。

ＧＰＳ受信機１０ａからは、４個のＧＰＳ衛星から受信される信号に基づいて生成される時刻データ（ＵＴＣ，協定世界時）、位置（緯度・経度）データ、１ＰＰＳ信号（１ｓｅｃ間隔の高精度のパルス）が、コンピュータ装置４０ａへ送られる。また、複数のセンサ装置（ビデオカメラから被写体までの距離を検出するべく当該のビデオカメラ近辺に設けられた距離センサ，走行に伴い路面状態に応じて生ずるロードノイズを検出するノイズセンサ，自動車の走行方向での傾斜角を検出する傾斜角センサ、自動車の走行速度を検出する速度センサ，等）３０の検出信号も、コンピュータ装置４０ａへ入力される。

コンピュータ装置４０ａからは、１ＰＰＳ信号に基づいて１／１０秒間隔で生成されるシリアル番号データや、各種のセンサ信号に基づくセンサデータ、或いは、経度・緯度の位置データ等が、音声ミキサー６０を経て、各ビデオカメラ２１，２２，，，２６の音声トラックへ送られる。ここで、シリアル番号データはＬチャンネル（トラック）へ入力され、センサデータや位置データ等はＲチャンネル（トラック）へ入力される。なお、ＬとＲは逆に設定してもよい。

コンピュータ装置４０ａは、また、各ビデオカメラ２１，２２，，，２６の音声トラックへの出力と併せて、上記シリアル番号データ、位置データ（経度・緯度）、日時刻データ、センサデータ等を、所定のメモリ（ログファイル）に保持し、今回の撮像が全て完了した後、外部の記憶装置（記録媒体）へ保存する。この外部の記録媒体に保存されたデータは、後日、適宜に読み出されて所定のデータベースに保存される。なお、機器の処理性能が許すのであれば、全ての処理を撮像時に完了させてよいことは勿論である。

図３は、実施の形態の撮像システムの機能ブロック図である。
図１と図２では、実際の機器構成に即して、「ＧＰＳ受信機１０ａで生成された日時刻データ、位置（経度・緯度）データ、及び１ＰＰＳ信号が、コンピュータ装置４０ａへ入力される構成」が図解されているが、図３では、撮像システムを機能面から見た構成が図解されている。即ち、図３では、「日時刻データ、位置（経度・緯度）データ、１ＰＰＳ信号を生成する機能」は、ＧＰＳ受信機１０ａの機能ではなく、制御装置４０の機能として図解されている。

図示の撮像システムは、ＧＰＳ信号を受信するＧＰＳ受信手段１０と、センサ装置３０と、６台のビデオカメラ（前方ビデオカメラ２１，５台の非前方ビデオカメラ（右側方ビデオカメラ２２，左側方ビデオカメラ２３，後方ビデオカメラ２４，上方ビデオカメラ２５，下方ビデオカメラ２６））と、記憶装置５０と、制御装置４０を有する。

制御装置４０は、ＧＰＳ受信手段１０とセンサ装置３０からの信号を入力して、所定の処理を実行し、該処理により生成されるデータ（シリアル番号データ，位置データ，日時刻データ，センサデータ）を６台のビデオカメラの音声トラックへ出力するとともに、メモリのログファイルに保持し、適宜のタイミング（リアルタイム又は撮像完了後の適宜のタイミング）で、記憶装置５０のデータベース５１のレコードに格納する。

ここで、制御装置４０で実行される所定の処理とは、データ生成手段４１により実行されるデータ生成処理、データ制御手段４２により実行されるデータ制御処理、番号制御手段４３により実行される番号制御処理、及び、センサ制御手段４４により実行されるセンサ制御処理である。
以下、順に説明する。

まず、データ生成手段４１は、ＧＰＳ信号に基づいて時刻データ及び経度・緯度の位置データを生成するとともに、時刻データに基づいて高精度の１ＰＰＳ信号を生成する。これらは、市販のＧＰＳ受信機１０ａが標準で持つ機能であるが、図３では、データ生成手段４１の処理として図解している。
データ生成手段４１は、また、隣接する１ＰＰＳ信号の間の時間（１ｓｅｃ）を１０等分して成る各時刻に於いて、言い換えれば、０．１秒間隔で、時刻データを生成する。なお、制御装置４０の機能が許容するのであれば、時刻データとともに位置データを０．１秒間隔で併せて生成してよいことは勿論である。

データ制御手段４２は、時刻データ及び経度・緯度の位置データを前記データ生成手段４１から渡されると、それらを対応付けて時刻順にメモリのログファイルに保持し、適宜のタイミング（リアルタイム又は撮像完了後の適宜のタイミング）で、記憶装置５０のデータベース５１のレコードに格納する。ここで、時刻データは、ＧＰＳ信号から直に生成される時刻データ（１秒間隔の時刻データ）、及び、該時刻データに基づく１ＰＰＳ信号間を１０等分して得る時刻データ（０．１秒間隔の時刻データ）である。また、位置データとしては、一義的にはＧＰＳ信号から直に生成される位置データ（１秒間隔の位置データ）であるが、制御装置４０が０．１秒間隔での位置データの生成能力を有するのであれば、該位置データを含めてよいことは勿論である。
また、データ制御手段４２は、番号制御手段４３（後述）から、時刻データ（０．１秒間隔の時刻データを含む）に対応付けられているシリアル番号データを渡されると、該シリアル番号データを、当該の時刻データに対応付けてログファイルに保持し、適宜のタイミング（リアルタイム又は撮像完了後の適宜のタイミング）で、記憶装置５０のデータベース５１のレコードに格納する。
また、データ制御手段４２は、センサ制御手段４４（後述）から、時刻データ（０．１秒間隔の時刻データを含んでもよく、含まなくてもよい）に対応付けられているセンサデータを渡されると、該センサデータを、当該の時刻データに対応付けてログファイルに保持し、適宜のタイミング（リアルタイム又は撮像完了後の適宜のタイミング）で、記憶装置５０のデータベース５１のレコードに格納する。

番号制御手段４３は、前記データ生成手段４１により生成される時刻データに対応付けて、シリアル番号データを生成する。時刻データとは、ＧＰＳ信号から直に生成される時刻データ（１秒間隔の時刻データ）と、該時刻データに基づく１ＰＰＳ信号間を１０等分して得る時刻データ（０．１秒間隔の時刻データ）である。
また、番号制御手段４３は、上記の如く生成するシリアル番号データを、前記各ビデオカメラ２１，２２，，，２６のＬチャンネルの音声トラックへ出力する。これにより、シリアル番号データは、時刻に対応付けて、各ビデオカメラに記録される。
また、番号制御手段４３は、上記の如く生成するシリアル番号データを、前記データ制御手段４２に渡す。これにより、各シリアル番号データは、時刻に対応付けてログファイルに保持され、適宜のタイミング（リアルタイム又は撮像完了後の適宜のタイミング）で、記憶装置５０のデータベース５１のレコードに格納される。

センサ制御手段４４は、各センサ装置３０から入力される検出データを、前記データ生成手段４１により生成される時刻データに対応付けて、非前方ビデオカメラ２２，，，２６のＲチャンネルの音声トラックへ出力する。これにより、各センサ装置３０の検出データは、時刻データに対応付けて、当該のビデオカメラに記録される。センサ装置３０の検出データをビデオカメラへ出力するタイミングは、一義的にはＧＰＳ信号から直に生成される時刻データ（１秒間隔の時刻データ）に同期されるが、制御装置４０が０．１秒間隔でのセンサ検出信号の処理能力を有するのであれば、０．１秒間隔としてよいことは勿論である。
また、センサ制御手段４４は、上記の如き処理で得られるセンサ装置３０の検出データを、前記データ制御手段４２に渡す。これにより、各検出データは、時刻に対応付けてログファイルに保持され、適宜のタイミング（リアルタイム又は撮像完了後の適宜のタイミング）で、記憶装置５０のデータベース５１のレコードに格納される。

図５は、コンピュータ装置４０ａでの処理手順を示すフローチャートである。この図５では、図１及び図２と同様に、実際の機器構成に即して、撮像システムでの処理を示している。即ち、「ＧＰＳ受信機１０ａで生成された日時刻データ、位置（経度・緯度）データ、１ＰＰＳ信号が、コンピュータ装置４０ａへ入力される構成」に即して、撮像システムの処理を説明している。以下、このフローチャートに即して説明する。

コンピュータ装置４０ａに於いて、撮像システムとしての機能（データ生成，データ制御，番号制御，センサ制御）を実現するプログラムが起動されると、ＧＰＳ受信機１０ａの状態がチェックされ（Ｓ０１）、必要なＧＰＳ衛星が固定（ＦＩＸ）されると（Ｓ０３でＹＥＳ）、シリアル番号データに初期値０がセットされる（Ｓ０５）。

次に、ＧＰＳ受信機１０ａからの、位置（緯度・経度）データ、日時刻データ、１ＰＰＳ信号が取得されて保持され、日時刻データ（ＵＴＣ；協定世界時）に９時間をプラスして日本標準時とする補正が行われる（Ｓ１１）。

ステップＳ１３では、１ＰＰＳ信号を基準とする１／１０秒間隔で、シリアル番号データ（前回のシリアル番号データに「＋１」されたシリアル番号データ）が生成され、各ビデオカメラの音声トラック・Ｌチャンネルへ出力される。これにより、各ビデオカメラでは、アナログ音声信号に変換された当該のシリアル番号と時刻が、音声トラックのＬチャンネルに記録される。
ステップＳ１３の処理は、０．１秒間隔で、１０回繰り返される（Ｓ１５）。即ち、次の１ＰＰＳ信号まで、繰り返される。

ステップＳ１３の処理が０．１秒間隔で１０回繰り返されると（Ｓ１５でＹＥＳ）、次に、ステップＳ２１へ進む。ステップＳ２１では、ＧＰＳ受信機１０ａから、緯度・経度の位置データと、現在の日時刻データとが取得され、前方ビデオカメラ２１の音声トラック・Ｒチャンネルへ出力される。これにより、前方ビデオカメラ２１では、アナログ音声信号に変換された位置（緯度・経度）と日時刻とが、音声トラックのＲチャンネルに記録される。

また、ステップＳ２１では、各センサ装置３０からの検出データが取得されて、前方以外の方向を撮影する何れかの非前方ビデオカメラ２２，，，２６の音声トラック・Ｒチャンネルへ出力される。これにより、各非前方ビデオカメラでは、アナログ音声信号に変換されたセンサの検出データが、音声トラックのＲチャンネルに記録される。
ステップＳ２１の処理は、１秒間隔で繰り返される（Ｓ３１）。

センサ装置３０としては、ビデオカメラから被写体までの距離を検出するべく当該のビデオカメラ近辺に設けられる距離センサ、走行に伴い路面／線路の状態に応じて生ずるロードノイズを検出するノイズセンサ、自動車／列車の走行方向での傾斜角を検出する傾斜角センサ、自動車／列車の走行速度を検出する速度センサ等を例示することができる。
被写体までの距離を正確に測定することにより、道路や線路に関連する各種構造物（橋梁，標識，トンネル壁／天井，等）の状態について、当該構造物が含まれる映像から、正確な知見を得ることができる。
ロードノイズを測定することにより、或るパターンのノイズが検出される位置の路面／線路の状態について、正確な知見を得ることができる。
走行方向での傾斜角を測定することにより、各位置の路面／線路の傾斜について、正確な知見を得ることかできる。
走行速度を測定することにより、例えば、１ＰＰＳ信号間の各時刻（０．１秒間隔の各時刻）での自動車／列車の位置（緯度・経度）を、より正確に知ることができる。

ステップＳ２１からは、ステップＳ２３へ進む。ステップＳ２３では、ステップＳ１３でビデオカメラへ出力したシリアル番号データ、ステップＳ２１でビデオカメラへ出力した時刻データ及び位置（緯度・経度）データ、及び、ステップＳ２１でビデオカメラへ出力したセンサの検出データが、メモリのログファイルに書き込まれる。

コンピュータ装置４０ａに於いて、撮像システムとしての機能（データ生成，データ制御，番号制御，センサ制御）を終了する操作入力が検出されると（Ｓ３１でＹＥＳ）、メモリのログファイルのデータが、外部記憶装置（記録媒体）に記録した（Ｓ３３）後、処理が終了される。

図６は、コンピュータ装置４０ａでの図５とは異なる処理手順を示すフローチャートである。この図６も、図５と同様に、実際の機器構成に即して、撮像システムでの処理を示している。図６の処理が図５と異なる点は、センサ装置３０の検出データを非前方ビデオカメラの音声トラック・Ｒチャンネルへ出力する処理を、１秒間隔ではなく、０．１秒間隔で行っている点である（Ｓ１４Ａ）。他の点は図５と同様なため、説明は割愛する。
図６はセンサ装置３０の検出データを０．１秒間隔で処理するようにした構成例であるが、各機器の性能が許容するのであれば、時刻・位置データについても、同様に、１秒間隔ではなく、０．１秒間隔で処理するように構成してもよい。

図７は、実施の形態の撮像システムにより各ビデオカメラに記録されたデータと、同時にコンピュータ装置４０ａのログファイルに記録されたデータとの間の時間的なズレを較正して、各ビデオカメラの映像を同期再生可能とするための処理を説明するタイミングチャートである。

実施の形態の撮像システムは、前述のように、自動車に搭載される複数台の機器から成り、各機器のオン／オフのための操作入力は、人が行う。このため、６台のビデオカメラ２１，２２，，，２６のオン／オフのタイミングも、当然ながら、若干ズレる。また、コンピュータ装置４０ａが起動状態となるタイミングや、ＧＰＳ受信機１０ａが、必要なＧＰＳ衛星を固定（ＦＩＸ）するタイミングも、それぞれ別々となる。

このため、（１）或るビデオカメラの録画が開始された時点では、未だ、コンピュータ装置４０ａによるシリアル番号の発行が行われていない場合や、逆に、（２）コンピュータ装置４０ａがシリアル番号を発行して各ビデオカメラの音声トラックへ出力を開始しているにも係わらず、或るビデオカメラの録画が開始されていない場合も生ずる。

上記（１）の場合には、図７内の「前方ビデオカメラ２１」に示すように、シリアル番号「１」が各ビデオカメラの音声トラックに記録される以前の時点で録画が開始されているため、シリアル番号「１」に対応する映像のフレーム番号は「１２」となっている。このため、「前方ビデオカメラ２１」については、フレーム番号を「１１」減じて、シリアル番号「１」にフレーム番号「１」を対応付ける処理が必要となる。

上記（２）の場合には、図７内の「右側方ビデオカメラ２２」に示すように、シリアル番号「１」が各ビデオカメラの音声トラックに記録されるべき時点では、未だ録画が開始されていないため、シリアル番号「１」に対応する映像のフレーム番号は無く、シリアル番号「３」に至って漸くフレーム番号が「１」となる。このため、「右側方ビデオカメラ２２」については、フレーム番号を加算して、シリアル番号にフレーム番号を対応付ける処理が必要となる。

前述のように、シリアル番号は０．１秒間隔で発行・記録される。これに対して、フレーム番号は、３０［ｆｐｓ］の映像の場合、０．１秒間では「３フレーム」がカウントされる。したがって、シリアル番号「３」でフレーム番号「１」となる例では、録画開始以前にシリアル番号２個分が経過していたことになる。これを較正するためには、フレーム番号を「６」加算する処理が必要となる。

かかる較正処理により、シリアル番号を介して、各映像を同期させたデータベース（図４（ｃ）参照）が構築されるため、各ビデオカメラ映像の同期再生が可能となる。
また、各シリアル番号のレコードでは、映像のファイル名及びフレーム番号に対応付けて、撮像の日時刻、位置（緯度・経度）、センサの検出データが記録されるため、所望の日時刻、且つ、所望の位置（緯度・経度）の、各撮影方向（前，右，左，後，上，下）の静止画を呼び出して表示することができる。さらに、動画や所望の静止画に、センサの検出値を表示等させることもできる。

なお、本実施の形態では、上述の較正処理を、図５や図６のステップＳ３３で記録媒体に記録したログデータ（図４（ａ）参照）と、各ビデオカメラ２１，２２，，，２６の記録データ（図４（ｂ）参照）とを編集して、データベース（図４の（ｃ）参照）を構築する際に行っているが、別途のタイミングで行ってもよい。
例えば、機器の能力が高い場合は、撮像中に処理を行ってもよい。

１０ ＧＰＳ受信手段
１０ａ ＧＰＳ受信機
２１ ビデオカメラ（前方ビデオカメラ）
２２ ビデオカメラ（右側方ビデオカメラ）
２３ ビデオカメラ（左側方ビデオカメラ）
２４ ビデオカメラ（後方ビデオカメラ）
２５ ビデオカメラ（上方ビデオカメラ）
２６ ビデオカメラ（下方ビデオカメラ）
３０ センサ装置
４０ 制御装置
４０ａ コンピュータ（制御装置４０からＧＰＳ受信機１０ａの機能を除いた部分）
４１ データ生成
４２ データ制御
４３ 番号制御
４４ センサ制御
５０ 記憶装置
５１ データベース
６０ 音声信号変換
９０ 自動車

Claims (11)

1. ＧＰＳ信号を受信する受信手段を有し、移動車両に搭載される２以上のビデオカメラを用いて撮影される各映像を同期再生可能とするための撮像システムであって、
   前記受信手段により受信されるＧＰＳ信号に基づく時刻データ及び位置データを生成するとともに、前記時刻データに基づく各１ＰＰＳ信号の間を等間隔に細分して成る各細分時刻の時刻データを生成するデータ生成手段と、
   前記データ生成手段により生成される時刻データ及び位置データを所定の記憶手段のレコードに格納するデータ制御手段と、
   前記データ生成手段により生成される時刻データに対応する時刻順の番号データを生成するとともに、該番号データを、前記各ビデオカメラへ出力して各ビデオカメラの音声トラックに記録させ、及び、前記データ制御手段に渡して当該番号データに対応する時刻データのレコードに格納させる番号制御手段と、
   を有することを特徴とする撮像システム。
2. ＧＰＳ信号を受信する受信手段を有し、移動車両に搭載される２以上のビデオカメラを用いて撮影される各映像を同期再生可能とするための撮像システムであって、
   前記受信手段により受信されるＧＰＳ信号に基づく時刻データ及び位置データを生成するとともに、前記時刻データに基づく各１ＰＰＳ信号の間を等間隔に細分して成る各細分時刻の時刻データを生成するデータ生成手段と、
   前記データ生成手段により生成される時刻データ及び位置データを所定の記憶手段のレコードに格納するデータ制御手段と、
   前記データ生成手段により生成される時刻データに対応する時刻順の番号データを生成するとともに、該番号データを、前記各ビデオカメラへ出力して各ビデオカメラの第１の音声トラックに記録させ、及び、前記データ制御手段に渡して当該番号データに対応する時刻データのレコードに格納させる番号制御手段と、
   前記ビデオカメラの何れか１以上により撮影される映像に関連する物理量を検出する１又は２以上のセンサ装置と、
   前記センサ装置の検出信号を当該検出信号に関連する映像を撮影するビデオカメラへ出力して第２の音声トラックに記録させるセンサ制御手段と、
   を有することを特徴とする撮像システム。
3. ＧＰＳ信号を受信する受信手段を有し、移動車両に搭載されて前方を撮影する前方ビデオカメラ及び非前方を撮影する１又は２以上の非前方ビデオカメラの各映像を同期再生可能とするための撮像システムであって、
   前記受信手段により受信されるＧＰＳ信号に基づく時刻データ及び位置データを生成するとともに、前記時刻データに基づく各１ＰＰＳ信号の間を等間隔に細分して成る各細分時刻の時刻データを生成するデータ生成手段と、
   前記データ生成手段により生成される時刻データ及び位置データを所定の記憶手段のレコードに格納するデータ制御手段と、
   前記データ生成手段により生成される時刻データに対応する時刻順の番号データを生成するとともに、該番号データを、前記各ビデオカメラへ出力して各ビデオカメラの第１の音声トラックに記録させ、及び、前記データ制御手段に渡して当該番号データに対応する時刻データのレコードに格納させる番号制御手段と、
   前記前方及び非前方のビデオカメラの何れか１以上により撮影される映像に関連する物理量を検出する１又は２以上のセンサ装置と、
   前記センサ装置の検出信号を当該検出信号に関連する映像を撮影する前記非前方ビデオカメラへ出力して第２の音声トラックに記録させるセンサ制御手段と、
   を有することを特徴とする撮像システム。
4. 請求項３に於いて、
   前記データ制御手段は、前記データ生成手段により生成される位置データを前記前方ビデオカメラへ出力して第２の音声トラックに記録させる、
   ことを特徴とする撮像システム。
5. 請求項２〜請求項４の何れかに於いて、
   前記物理量の一つは、ビデオカメラから被写体までの距離である、
   ことを特徴とする撮像システム。
6. 請求項２〜請求項４の何れかに於いて、
   前記物理量の一つは、路面の状態に応じて生ずるロードノイズである、
   ことを特徴とする撮像システム。
7. 請求項２〜請求項４の何れかに於いて、
   前記物理量の一つは、当該車両の傾斜角である、
   ことを特徴とする撮像システム。
8. 請求項２〜請求項４の何れかに於いて、
   前記物理量の一つは、当該車両の走行速度である、
   ことを特徴とする撮像システム。
9. 請求項１〜請求項８の何れかに於いて、
   前記データ生成手段は、前記各細分時刻の時刻データとともに各時刻データに対応する位置データを生成する、
   ことを特徴とする撮像システム。
10. 請求項９に於いて、
    前記データ生成手段は、各細分時刻の時刻データに対応する位置データを生成する処理を、各細分時刻の時刻データを生成する処理とは別途の後のタイミングで実行し、
    前記データ制御手段は、各細分時刻の時刻データに対応する位置データを格納する処理を、前記別途の後のタイミングで実行する、
    ことを特徴とする撮像システム。
11. 請求項１〜請求項１０の何れかに於いて、さらに、
    時刻データに対応付けて前記所定の記憶手段に格納されている番号データと、映像フレームに対応付けて前記ビデオカメラに記録されている番号データとの照合に基づいて、当該ビデオカメラの各映像フレームに時刻データを対応付ける較正手段を有する、
    ことを特徴とする撮像システム。

Images