JP2024034145A - システム及びプログラム等 - Google Patents

システム及びプログラム等 Download PDF

Info

Publication number
JP2024034145A
JP2024034145A JP2022138199A JP2022138199A JP2024034145A JP 2024034145 A JP2024034145 A JP 2024034145A JP 2022138199 A JP2022138199 A JP 2022138199A JP 2022138199 A JP2022138199 A JP 2022138199A JP 2024034145 A JP2024034145 A JP 2024034145A
Authority
JP
Japan
Prior art keywords
image
photographed
photographing
control unit
traffic light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022138199A
Other languages
English (en)
Inventor
哲也 服部
Tetsuya Hattori
勇喜 清水
Yuki Shimizu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yupiteru Corp
Original Assignee
Yupiteru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yupiteru Corp filed Critical Yupiteru Corp
Priority to JP2022138199A priority Critical patent/JP2024034145A/ja
Publication of JP2024034145A publication Critical patent/JP2024034145A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】従来よりも機能を向上させること、例えば、撮影対象物の点灯の状態を把握可能な画像を得ること。【解決手段】撮影装置100は、車両における所定の周期で点灯と消灯とを繰り返す所定の対象物を撮影可能な位置に配置される撮影部と、前記撮影部により前記対象物が撮影されるタイミングを前記点灯のタイミングとする制御を行う制御部とを有する。【選択図】図2

Description

本発明は、例えば、システム及びプログラム等に関する。
車両に搭載され、車両周辺の映像を撮像し、急ブレーキ、急ハンドルや衝突などのイベントにより車両に衝撃が加わった際に周辺映像や車速などを記録する車載用録画装置がある(例えば特許文献1)。
特許第6696558号
本発明の目的の一つは、従来よりも機能を向上させること、例えば、撮影対象物の点灯の状態を把握可能な画像を得ることである。
本発明の目的はこれに限定されず、本明細書及び図面等に開示される構成の部分から奏する効果を得ることを目的とする構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」「~可能である」などと記載した箇所を「~が課題である」と読み替えた課題が本明細書には開示されている。課題はそれぞれ独立したものとして記載しているものであり、各々の課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。課題が明細書の記載から黙示的に把握されるものであっても、本出願人は本明細書に記載の構成の一部を補正又は分割出願にて特許請求の範囲とする意思を有する。またこれら独立の課題を組み合わせた課題を解決する構成についても開示しているものであり、権利取得する意思を有する。
(1)車両に配置される撮影部と、所定の周期で点灯と消灯とを繰り返す対象物が前記撮影部により撮影されるタイミングを、前記対象物が点灯するタイミングとする制御を行う制御部とを有するシステムが提供されるとよい。
このようにすると、所定の周期で点灯と消灯とを繰り返す撮影対象物を、消灯したタイミングで撮像し続けることを抑えられ、ユーザは、撮影対象物の点灯の状態を把握可能な画像を得ることができる。
所定の周期で点灯と消灯とを繰り返す(言い換えると、点滅する)所定の撮影対象物における当該所定の周期は、人間の眼には点灯した状態が継続しているように見える一方、撮影部によって撮影すると、その周期と露光のタイミングとの関係で、消灯している状態のように見えてしまうことがある程度の周期であるとよい。所定の周期で点灯と消灯とを繰り返す所定の撮影対象物としては、交流電源に基づいて発光する撮影対象物とするとよく、特に、商用電源を用いて動作し、当該商用電源の周波数に応じた周期で点灯と消灯とを繰り返す撮影対象物とするとよい。撮影対象物としては、地面やその他の場所に固定的に設置された物体があるが、特に、LED(Light Emitting Diode)を発光体として有する撮影対象物とするとよい。このような撮影対象物としては、信号機(交通信号機ともいう。)とするとよく、特に、LEDを発光体として有する信号機(LED信号機)とするとよい。ただし、LEDを発光体として有するLED標識や、所定の周期で点灯と消灯とを繰り返す所定の対象物としてもよい。撮影対象物の点灯の状態としては、少なくとも、撮影対象物の点灯の有無の状態とするとよく、撮影対象物の点灯の色の状態とすると特に良く、信号機の赤、青、黄の点灯の状態を示すとよい。撮影装置としては、車両に配置される撮影機能を有するシステムとするとよく、撮影部を用いて撮影する機能と、撮影した画像を記録する記録機能とを有するドライブレコーダとすると、特に良い。撮影対象物が撮影されるタイミングを点灯のタイミングとする制御としては、例えば、撮影対象物の点灯のタイミングに露光すること、又は撮影する(露光する)タイミングをずらすこと(言い換えると、ある時点から他の時点に移動させること)とするとよい。撮影対象物が撮影されるタイミングを前記点灯のタイミングとする制御として、例えば、所定の間隔で撮影される場合に、その間隔を拡大し、または縮小により変更することとしてもよく、撮影対象物の点灯及び消灯と同期しないようにする制御を採用しうる。
(2)前記撮影部は、所定の露光時間で撮影し、前記制御部は、前記撮影対象物が消灯している時間よりも長い露光時間を保つように、前記所定の露光時間を設定するとよい。
このようにすると、撮影部の撮影における露光時間が、撮影対象物が消灯している時間よりも長い露光時間に設定されるので、撮影対象物が消灯している期間にのみ撮影されるないようにし、ユーザは、撮影対象物の点灯の状態を把握可能な画像を得ることができる。
(3)前記撮影部は、画素ごとに、第1受光部と、前記第1受光部よりも小さい第2受光部とを有し、前記第1受光部による受光と前記第2受光部による受光とに応じた値を有する画像データを生成し、前記制御部は、前記第2受光部について、前記撮影対象物が消灯している時間よりも長い露光時間を保つように、前記所定の露光時間を設定するとよい。
このようにすると、各画素が、第1受光部と、第1受光部よりも小さい第2受光部とを有する撮像素子を有する撮影部を用いる構成のもと、小さい受光部である第2受光部について撮影対象物が消灯している時間よりも長い露光時間を保つように設定しているため、ユーザは、撮影対象物の点灯の状態を把握可能な画像を得ることができる。また、このような撮影部を用いると、大きな第1受光部と小さな第2受光部とを用いて露光することで、トンネルの出入口等の明暗差の大きな場面でも、ダイナミックレンジの広い高画質な画像を撮影する効果が期待でき、特に車両に配置される撮影装置において望ましい画像を得ることができる。
撮影部は、第1受光部と第2受光部とは並行して露光を行うことのできる構成であると特によい。第2受光部の露光時間は、第1受光部の露光時間とは独立して設定可能であると、撮影対象物の点灯の状態を把握可能な画像を得ることと、撮影対象物ダイナミックレンジの広い高画質な画像の撮影とを両立しやすくすることができる。
(4)前記制御部は、前記第1受光部と前記第2受光部とで同じ周期で撮影させ、かつ前記第1受光部の露光時間よりも前記第2受光部の露光時間を長くするとよい。
このようにすると、第1受光部と第2受光部とで同じ周期で揃えて撮影しながらも、ユーザは、撮影対象物の点灯の状態を把握可能な画像を得ることができる。第1受光部よりも第2受光部の露光時間を長くすることで、受光部が小さくとも十分な光量で露光することができる。第1受光部と第2受光部とで同じ周期で撮影するが、デューティー比を異ならせて露光させると特に良い。
(5)前記制御部は、前記所定の露光時間を、前記撮影対象物の点灯及び消灯が明暗として撮影される長さの時間とするとよい。
このようにすると、露光時間を長くし過ぎないようにしつつ撮影対象物の点灯の状態を把握できる得ることができる。露光時間を長くしすぎる画素が飽和することがあるが、その発生を抑えることができる。特に、ドライブレコーダ等の車両に配置される撮影装置では、後で映像から車両の状況、例えば事故発生時の状況を検証したい場合に、信号機の点灯色が分かれば十分で、撮影対象物の点灯及び消灯が明暗として撮影される程度の画質で十分であることが多い。
(6)前記制御部は、前記所定の露光時間を6ms近傍とするとよい。
このようにすると、商標電源の周波数に応じた周期で点灯と消灯とを繰り返す所定の撮影対象物、例えば信号機の点滅が、撮影対象物の明暗として撮影され、ユーザは、撮影対象物の点灯の状態を把握可能な画像を得ることができる。商用電源の周波数は、日本国では、東日本で50Hz、西日本で60Hzである。また、信号機等の撮影対象物では、商標電源からの正弦波を全波整流しているものがある。全波整流により商用電源の2倍の周波数で点灯と消灯とを繰り返している。この場合、東日本では100Hz(=50Hz×2)、西日本では120Hz(=60Hz×2)の周波数で点滅する。そのため、全波整流後の波形の周期は、最短で8.33ms(ミリ秒)である。そして、波形の谷間部分であって、LEDが点灯する電圧の閾値よりも下回る部分は、3ms前後と推測される。露光時間を6ms近傍とすれば、多少暗くなるフレームもあるが、撮影対象物が消灯しているとは言えない範囲で撮影することができる。
(7)前記制御部は、前記所定の露光時間を6ms以上8.33ms以下とするとよい。
このようにすると、商標電源の周波数に応じた周期で点灯と消灯とを繰り返す所定の撮影対象物、例えば信号機の点滅が、撮影対象物の明暗として撮影され、ユーザは、撮影対象物の点灯の状態を把握可能な画像を得ることができる。露光時間については、信号機等の撮影対象部物は、商用電源からの電圧を全波整流した後の電圧に基づいて動作するものも普及していることを考慮すると、露光時間を6ms以上とし、かつ全波整流後の波形の周期である8.33ms以下の時間とするとよい。
(8)前記制御部は、前記同じ周期で撮影された複数フレームの画像を示す画像データを、所定の送信先に送信する送信処理を行うとよい。
このようにすると、撮影対象物が点灯した状態で撮影した画像を示す画像データを、通信量を抑えつつ所定の送信先に送信することができる。通信型のドライブレコーダのように継続的に撮影を行うシステムでは、送信する画像の周期を高くすると通信量が増大し、通信回線の使用料金の増大や、通信回線の輻輳が問題となり得るが、その問題の発生を抑えることができる。所定の周期としては特に、1fps(Frames per Second)又は5fpsとするとよい。このような比較的低い周期で撮影した画像であっても、ドライブレコーダ等の撮影装置においては、周辺の状況を的確に把握することができる。
(9)前記制御部は、前記撮影部により所定の間隔で撮影して、フレームごとに、前記撮影部が撮影した画像に消灯している前記撮影対象物が含まれているか否かを認識し、連続する2つのフレームの画像において、前記消灯している前記撮影対象物が含まれていると判定した場合、前記撮影部の撮影の間隔を所定時間だけずらすとよい。
このようにすると、撮影部が所定の間隔で撮影して、消灯している状態の撮影対象物が2つのフレームで続けて撮影されると、撮影の間隔を所定時間だけずらすので、消灯している状態の撮影対象物が撮影され続けるのを抑えることができる。1フレームの画像については、1コマの画像、あるいは1枚の画像と適宜読み替えられてもよい。フレームごとに撮影対象物を認識する処理においては、撮影中の全期間に行ってもよいが、一部の期間のみ行うこととしてもよい。
(10)前記撮影対象物は、信号機であり、前記所定時間は、信号機で一般的な点灯周期中の点灯時間内の時間であるとよい。
このようにすると、一般的な信号機の点灯の周期に基づいて、撮影部の撮影の間隔をずらす時間が決まっているので、設置されている多くの信号機について消灯したタイミングで撮像し続けることを抑えることができる。
(11)前記撮影対象物は、信号機であり、前記制御部は、信号機を撮影した画像に基づいて、機械学習の推論により前記所定時間を特定し、前記推論に用いる学習モデルは、その学習に、消灯した状態の信号機を撮影した画像を用いて生成されたものであるとよい。
このようにすると、機械学習の推論により、撮影した画像に基づいて。消灯した状態の信号機の認識する構成のもと、その認識の精度を良くすることができる。
(12)前記撮影対象物は、信号機であり、前記制御部は、前記撮影部が撮影した1つのフレームの画像内に、前記撮影対象物として複数の信号機が映っているか、又は1つの信号機が映っているかを判定し、前記複数の信号機が映っている場合と、前記1つの信号機が映っている場合とで、前記撮影部を用いた撮影処理を異ならせるとよい。
このようにすると、1つのフレームの画像内に、複数の信号機が映っているか、又は1つの信号機が映っているかによって、望ましい撮影処理を実行することができる。撮影処理としては、撮影部を用いた撮影に関する処理とするとよいが、撮影する処理自体としてもよいし、撮影した画像に基づいて実行する処理とするとよい。
(13)前記制御部は、前記撮影部が撮影した画像に複数の信号機が映っていると判定した場合、前記撮影した画像における一番大きな信号機に基づいて、前記撮影対象物が撮影されるタイミングを前記点灯のタイミングとする制御を行うとよい。
このようにすると、撮影部が撮影した画像に複数の信号機が映っている場合でも、ユーザは、最も撮影すべき信号機について、点灯の状態を把握できる画像を得ることができる。例えば、大通りなどで交差点が連続する場合、数個先の交差点の信号機まで、1フレームの画像内に映りこむことがあるが、一番近い交差点の信号機の色をより確実に撮影、記録することができる。
(14)前記制御部は、前記撮影部が撮影した画像に複数の信号機が映っていると判定した場合、前記画像において左右方向の中心に近い信号機に基づいて、前記撮影対象物が撮影されるタイミングを前記点灯のタイミングとする制御を行うとよい。
このようにすると、撮影部が撮影した画像に複数の信号機が映っている場合でも、ユーザは、最も撮影すべき信号機について、点灯の状態を把握できる画像を得ることができる。例えば、1つの交差点でも、左右の信号機が認識されることがあるが、車両の前方の信号機の色をより確実に撮影、記録することができる。
(15)前記撮影対象物は、信号機であり、前記制御部は、前記撮影部が撮影した画像のうちの上下方向における上方に位置する一部の画像領域において、信号機を認識する処理を行うように制限するとよい。
このようにすると、道路上に設けられた看板等のLEDを用いた構造物が信号機と誤認識される可能性を低減できるとともに、信号機の認識に係る処理負荷を軽減することができる。信号機を認識する処理を制限することとしては、認識する処理を行わないようにすることとしてもよいが、認識する処理を所定の条件を満たした場合に行う、又は行わないようにしてもよい。例えば、信号機を認識する処理を行う頻度を、他の画像領域における頻度よりも低下させるようにしてもよい。上下方向における上方に位置する一部の画像領域は、望ましくは、画像領域における上方に位置する3分の1程度の領域とするとよい。信号機を認識する処理に用いる画像は、画像領域の上下方向が、撮影した範囲(現実空間)の上下方向と一致している画像とすると特に良い。
(16)前記撮影対象物は、信号機であり、前記制御部は、前記撮影部が撮影した画像において、所定の周期で点灯と消灯とを繰り返す物体のうち、前記車両の速度よりも速く移動する、又は前記車両の速度よりも遅く移動する物体を、信号機でないものとして処理するとよい。
このようにすると、走行中の車両から撮影した画像に基づいて、信号機でない物体を信号機と誤認識して処理する可能性を低減することができる。信号機は、地面等の所定の場所に固定されている。これに対し、移動する他の車両に搭載されたLEDは、自車速度と異なる速度で移動する。特に、自車両への接近なら速く、離反なら遅く移動するからである。特に、(15)の構成と組み合わせられるとよい。
(17)前記制御部は、前記撮影部により一定の間隔で画像を撮影して記録する第1の記録処理と、前記撮影部により撮影された画像を、前記点灯のタイミングとする制御に応じて撮影の間隔を調整して記録する第2の記録処理とを並行して行うとよい。
このようにすると、一定の間隔で映像を記録する機能による記録によりなめらかなギクシャクしない映像を記録できるとともに、信号機の点滅タイミングに基づき間隔を調整して映像を記録する機能によって記録された映像によって信号機の色を確実に記録させることができる。
(18)前記制御部は、前記撮影部により所定の間隔で撮影した画像を含む動画像を前記点灯のタイミングとする制御を行って記録する場合、当該間隔の調整をした箇所と調整した間隔に関する情報を記録し、前記記録した画像を再生する場合には、前記情報を用いて、前記調整した間隔分の動画像を前後のフレームの画像に基づいて補完して再生するとよい。
このようにすると、撮影部により所定の間隔で撮影した画像を含む動画像を前記点灯のタイミングとする制御を行って記録した場合であっても、調整した間隔分の動画像を前後のフレームの画像に基づいて補完することで、なめらかな動画像を再生することができる。補完は、調整後のフレームを多めに使って行うようにするとよい。このようにすると、補完された動画像においては、撮影対象物の点灯の状態が把握できる時間を長くすることができる。
(19)前前記撮影部は、NDフィルタと、前記NDフィルタを通過した光を撮像する撮像素子とを有し、前記制御部は、前記撮影部の周辺が第1の明るさの場合は、前記撮影部の露光時間が前記撮影対象物が点灯した状態で映る時間となるように、前記撮像素子に前記NDフィルタを通過した光を撮像させ、前記撮影部の周辺が第1の明るさよりも暗い第2の明るさの場合は、前記撮像素子に前記NDフィルタを通過していない光を撮像させるとよい。
このようにすると、NDフィルタを用いて撮影部の周辺が第1の明るさの場合に撮影対象物が点灯の状態を把握できる画像を得られるようにしつつ、第1の明るさよりも暗い第2の明るさの場合にはNDフィルタを用いないことで、撮影する画像が暗くなってしまうのを抑えることができる。第1の明るさとしては、比較的明るい状況であればよく、例えば昼間の時間帯とするとよいが、使用環境で最も明るい明るさとすると特に良い。第2の明るさは、第1の明るさよりも暗いもので、例えば比較的暗い状況であればよく、例えば夜間の時間帯とするとよい。
(20)前記制御部は、前記撮影部のアイリスの絞りを、前記撮影部の周辺が第3の明るさの場合は、前記撮影部の露光時間が前記撮影対象物が点灯した状態で映る時間となるように制御し、前記撮影部の周辺が第3の明るさよりも暗い第4の明るさの場合は、前記アイリスの絞りを開放するとよい。
このようにすると、アイリスの機能を有する撮影部の周辺が第3の明るさの場合に撮影対象物が点灯の状態を把握できる画像を得られるようにしつつ、第3の明るさよりも暗い第4の明るさの場合にはアイリスの絞りを開放して、撮影する画像が暗なってしまうのを抑えることができる。第3の明るさとしては、比較的明るい状況であればよく、例えば昼間の時間帯とするとよいが、使用環境で最も明るい明るさとすると特に良い。第4の明るさは、第3の明るさよりも暗いもので、例えば比較的暗い状況であればよく、例えば夜間の時間帯とするとよい。第4の明るさのときのアイリスの絞りを開放は、少なくとも第3の明るさのときよりも開放した状態とするとよく、第4の明るさに応じた開放具合にすると特に良い。
アイリスは、例えば、2枚羽のアイリスのように絞り形状がほぼ矩形となる構成とし、絞りの上下の辺が撮影部が有する撮像素子の上下の辺と並行となるようにするとよく、特に、(15)の構成と組み合わせられるとよい。
(21)前記撮影対象物は、信号機であり、前記車両の位置情報を取得する位置情報取得部を備え、前記制御部は、信号待ちの前記車両から撮影した信号機の画像に基づいて、信号機が赤色で点灯する時間を求め、当該時間と、前記撮影部の位置情報と、前記車両の進行方向とを関連付けて、所定の出力先に出力するとよい。
このようにすると、より少ない情報で、どの地点のどの方向の信号機が、どの程度の時間赤色で点灯するのかの情報を出力することができる。出力としては、所定の記録先への記録、及び所定の送信先への送信の少なくとも一方とするとよい。
(22)前記制御部は、さらに、時刻情報と、前記撮影部が撮影した画像を示す画像情報と、信号機の色が変化したときの認識の確度情報と、信号機の色が変化したときの車両の速度情報と、信号機の色が変化したときの車両の加速度情報との少なくともいずれか一つを関連付けて、前記所定の出力先に出力するとよい。
このようにすると、どの地点のどの方向の信号機が、どの程度の時間赤色で点灯するのかの情報について、より詳細な状況を示す情報を、出力することができる。
(23)前記制御部は、さらに、信号機の点灯の状態が赤色から青色に変化したことを認識したときの前後の2つのフレームの画像を、前記所定の出力先に出力するとよい。
このようにすると、動画像を送信する場合よりも情報量を押さえられるとともに、信号機の点灯の状態が赤色から青色に変化した時点が正しく検出されたかどうかを検証することができる。
(24)前記制御部は、さらに、信号機の点灯の状態が青色から赤色に変化したことを認識したときの前後の2つのフレームの画像を、前記所定の出力先に出力するとよい。
このようにすると、動画像を送信する場合よりも情報量を押さえられるとともに、信号機の点灯の状態が青色から赤色に変化した時点が正しく検出されたかどうかを検証することができる。
(25)上記いずれかのシステムであって、複数の車両に搭載されたシステムから出力された前記関連付けられた情報を取得する取得部と、前記位置情報に基づいて複数の情報を統合して、各信号機が赤色で点灯する時間を求める制御を行う制御部とが提供されるとよい。
このようにすると、複数の車両から取得した情報に基づいて、各信号機の赤色での点灯時間を求めることができる。
(26)コンピュータに、上記いずれのシステムの機能を実現させるためのプログラムが提供されるとよい。
上述した(1)から(26)に示した発明は、任意に組み合わせることができる。例えば、(1)に示した発明の全て又は一部の構成に、(2)以降の少なくとも1つの発明の少なくとも一部の構成を加える構成としてもよい。特に、(1)に示した発明に、(2)以降の少なくとも1つの発明の少なくとも一部の構成を加えた発明とするとよい。また、(1)から(26)に示した発明から任意の構成を抽出し、抽出された構成を組み合わせてもよい。本願の出願人は、これらの構成を含む発明について権利を取得する意思を有する。また「~の場合」「~のとき」という記載があったとしても、その場合やそのときに限られる構成として記載はしているものではない。これらはよりよい構成の例を示しているものであって、これらの場合やときでない構成についても権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えたりした構成についても開示しているものであり、権利取得する意思を有する。
本発明によれば、従来よりも機能を向上させること、例えば、撮影対象物の点灯の状態を把握可能な画像を得ることができる。
なお、本願の発明の効果はこれに限定されず、本明細書及び図面等に開示される構成の部分から奏する効果についても開示されており、当該効果を奏する構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」「~可能である」などと記載した箇所などは奏する効果を明示する記載であり、また「~できる」「~可能である」などといった記載がなくとも効果を示す部分が存在する。またこのような記載がなくとも当該構成よって把握される効果が存在する。
本発明の第1実施形態のシステムの全体構成を説明する図である。 同実施形態の車両側のシステムの全体構成を説明する図である。 同実施形態の撮影装置の外観構成の一例を示す斜視図である。 同実施形態のブラケットの外観構成の一例を示す斜視図である。 同実施形態の撮影装置の電気的構成の一例を示すブロック図である。 同実施形態の撮影部が有する撮像素子の構成の一例を説明する図である。 同実施形態の撮影部を用いた撮影処理の一例を説明する図である。 本発明の第2実施形態の撮影部を用いた撮影処理の一例を説明する図である。 本発明の第3実施形態の1つ又は複数の信号機が映っている撮影画像の一例を示す図である。 本発明の第3実施形態の複数の信号機が映っている撮影画像の一例を示す図である。 本発明の第3実施形態に係る信号機を認識する処理の一例を説明する図である。 本発明の第4実施形態の撮影部が撮影した画像の記録処理の一例を説明する図である。 本発明の第5実施形態の(1)の撮影部の構成の一例を説明する図である。 本発明の第5実施形態の(4)の撮影部の構成の一例を説明する図である。 本発明の第5実施形態の(4)の撮影部の構成の一例を説明する図である。
以下、実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は本開示の実施形態の一例であって、本開示はこれらの実施形態に限定されるものではない。なお、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号を付し、その繰り返しの説明は省略する場合がある。
[第1実施形態]
[1.システムの全体構成]
図1は、本発明の第1実施形態に係るシステムの全体構成を示す図である。システム1は、撮影装置100と、撮影装置200と、サーバ装置900とを備える。撮影装置100と、撮影装置200と、サーバ装置900とは、それぞれ「装置」と称されているが、「装置」に限られず、「システム」等として把握されてもよいし、また、これらのうちの2つ以上の装置を組み合わせてなる「システム」が把握されてもよい。撮影装置100及び撮影装置200は、撮影し、撮影した画像を示す画像データを生成する機能を有する。撮影装置100及び撮影装置200は、車両に搭載されて車両の周辺を撮影する撮影装置である。
撮影装置100は、所定の通信回線NWを介して、サーバ装置900と通信する。サーバ装置900は、例えば、撮影装置100及び撮影装置200の製造又は販売を行う事業者、又は撮影装置100及び撮影装置200により撮影された画像に基づいて所定のサービスを提供する事業者によって管理、運用される。所定のサービスとしては、例えば、撮影装置100及び撮影装置200により撮影された画像を収集し、収集した画像に基づいて車両の事故等の状況を把握し、保険金の支払いを行う保険サービスがある。所定のサービスとしては、例えば、クラウド環境によりデータの記憶領域を提供するストレージサービスがある。
サーバ装置900において制御部901は、サーバ装置900の各部を制御する。制御部901は、プロセッサ、及びメモリを含むコンピュータである。制御部901は、例えば、後述する制御部11と同様のハードウェア構成を有するとよい。通信部902は、通信回線NWを介して外部の装置と通信する。通信部902は、例えば、通信回路やアンテナを有する。記憶部903は、データを記憶する。記憶部903は、例えばハードディスク装置を有する。記憶部903は、制御部901により実行されるプログラムのほか、データベースを記憶する。データベースは、撮影装置100から送信されてきた撮影画像やサービスを提供するためのデータを記憶するとよい。
通信回線NWの規格は、特に問わない。通信回線NWは、例えば、Wi-Fi(登録商標)その他の規格の無線通信LAN(Local Area Network)や、LTE、4G、5Gその他の規格の公衆通信回線を含むとよい。撮影装置100と通信回線NWとの間の通信路は無線の通信路である。サーバ装置900と通信回線NWとの間の通信路は、無線、有線又はこれらの組み合わせの通信路とするとよい。
[2.車両側のシステムの全体構成]
図2は、本実施形態の車両側のシステムの構成を説明する図である。図2には、車両400を側面側から見た場合の模式図が示されている。車両400は、例えば、エンジンを駆動源として有する内燃機関車両、エンジンと走行モータとを駆動源として有するハイブリット車両、走行モータを駆動源として有する電気自動車等である。システム1は、車両400に配置された、第1の撮影装置としての撮影装置100と、第2の撮影装置としての撮影装置200と、を有する。車両400は、例えば四輪の自動車であるが、四輪の自動車に限定されるものではなく、撮影装置100及び撮影装置200を配置することが可能な車両であればよい。車両は、例えば、自動車、バス、トラック等の四輪以上の大型輸送車や、自動二輪車、自転車等の二輪車、その他の車両等であってもよい。車両は、例えば、電車、モノレール、リニアモーターカー等の交通機関の車両でもよい。
撮影装置100、及び撮影装置200は、それぞれ、車両400とは別にユーザによって購入される等して、車両400に対して後付けされた機器(アフターマーケット商品ともいう。)である。ただし、撮影装置100、及び撮影装置200の少なくとも一方が、車両400に予め搭載された(つまり、標準装備された)装置としてもよい。撮影装置100は、車両400の前方側に配置されたフロントカメラである。撮影装置100は、例えば、車両400の車室における前方側の所定の位置に取り付けられ、フロントガラス越しに、車両400の前方を撮影方向として撮影する。撮影装置100は、ドライブレコーダである。具体的には、撮影装置100は、撮影する機能と、撮影した画像を示す画像データを記録する機能と、撮影装置200から取得した画像データを記録する機能と、を有する。
撮影装置200は、車両400の後方側に配置されたリアカメラである。撮影装置200は、例えば、車両400の車室における後方側の所定の位置に取り付けられ、リアガラス越しに、車両の後方を撮影方向として撮影する。撮影装置200は、撮影する機能と、撮影した画像を示す画像データを撮影装置100に出力する機能と、を有する。
撮影装置100と撮影装置200とは、ケーブル300を介して接続される。ケーブル300は、撮影装置100と撮影装置200とを接続する有線の通信路である。ケーブル300は、例えば、撮影装置100から撮影装置200へ動作用の電力を供給する電源線と、撮影装置100と撮影装置200との間で各種の信号を伝送するための信号線と、を有する。撮影装置200は、ケーブル300を介して、撮影装置100からの電力の供給を受けて動作する。なお、撮影装置100と撮影装置200とが、有線の通信路ではなく、Wi-Fi(登録商標)やBluetooth(登録商標)、その他の規格の無線の通信路によって接続されてもよい。また、撮影装置100は、撮影装置200と通信により接続することなく使用されてもよい。
[3.撮影装置100の外観構成]
図3は、撮影装置100の外観構成の一例を示す図である。図3(A)は、撮影装置100を前方側の右斜め上方向から見た図である。図3(B)は、撮影装置100を後方側の右斜め上方向から見た図である。撮影装置100は、筐体101を有する。筐体101は、上下方向よりも左右方向に長く、かつ厚みは比較的小さい直方体状である。筐体101は、車両400に取り付けられたときに上方を向く上面1011と、第1の側面1012と、第2の側面1013と、第2の側面1013の反対側に位置する第3の側面1014と、第1の側面1012の反対側に位置する第4の側面1015と、を有する。
上面1011には、ジョイントレール102と、カメラジャック191と、が設けられている。ジョイントレール102は、撮影装置100を車両400の所定の取付位置に取り付けるためのブラケット(例えば、後述するブラケット600)を着脱可能である。取付位置は、例えば、車両400のフロントガラス(例えば、フロントガラスにおける上端付近)、又は車両400のルームミラーや車室内の天井等としてもよい。撮影装置100が車両400に取りけられたとき、第1の側面1012が車両400の前方側を向く。このとき、第2の側面1013は、車両400の後方側から見て右側を向く。第3の側面1014は、車両400の後方側から見て左側を向く。第4の側面1015は、車両400の後方側を向く。
カメラジャック191は、ケーブル300の一端が接続される端子である。カメラジャック191は、例えばUSB TypeCの規格に対応し、撮影装置100が撮影装置200とイーサネット規格の通信を行うための端子としてもよい。
第1の側面1012には、撮像レンズ151と、放音孔103と、マイク孔104と、が設けられている。撮像レンズ151は、撮影装置100が備える撮影部(後述する撮影部15)が有する集光用のレンズである。放音孔103は、撮像レンズ151の上方に設けられ、撮影装置100が有する音声出力部(後述する音声出力部14)が出力した音声を、筐体101の内部から外部に透過させる孔である。マイク孔104は、撮像レンズ151の下方に設けられ、外部からの音を筐体101の外部から内部に透過させる孔である。筐体101の内部に透過した音は、撮影装置100が有するマイクロホン(後述するマイクロホン121)に入力される。
第2の側面1013には、イベント記録ボタン122が設けられている。イベント記録ボタン122は、撮影部15が撮影した画像の記録(録画)の開始、又はその記録の終了を指示するための操作手段である。イベント記録が行われていないときに、ユーザによりイベント記録ボタン122が操作されると、撮影装置100はイベント記録を開始する。イベント記録について詳しくは後述する。イベント記録ボタン122は、右ハンドルの車両400の運転者が操作しやすいように、運転者席側を向く第2の側面1013に設けられている。
第3の側面1014には、端子192と、記憶媒体挿入口181と、が設けられている。端子192は、外部の機器から電力の供給を受けるための端子である。端子192は、例えばDCジャックである。端子192は、電源用のコード(例えば、シガープラグコード)の一端側のコネクタが接続される。電源用コードの他端側のコネクタは、例えば車両400側に設けられた給電用の端子(例えば、シガーソケット)に接続される。
端子192は、車両400のOBDII(「II」は「2」のローマ数字である。)コネクタに接続可能なOBDIIアダプタが接続されてもよい。OBDIIコネクタは、故障診断コネクタとも称され、車両のECU(Engine Control Unit)に接続され、所定の期間毎(例えば、0.5秒毎)に各種の車両情報が出力される端子である。端子192が、OBDIIアダプタを用いてOBDIIコネクタと接続されることで、撮影装置100は、動作用の電力の供給を受けるとともに、車両情報を取得することができる。
車両情報は、車両400の状態に関する情報である。車両情報は、例えば、車両400の速度(車速)、エンジン回転数、エンジン負荷率、スロットル度、点火時期、残り燃料の割合、インテークマニホールドの圧力、吸入空気量(MAF)、インジェクション開時間、エンジン冷却水の温度(冷却水温度)、エンジンに吸気される空気の温度(吸気温度)、車外の気温(外気温度)、燃料タンクの残り燃料の量(残燃料量)、燃料流量、瞬間燃費、アクセル開度、ウインカー情報(左右のウインカーの動作(ON/OFF))、ブレーキ開度、ハンドルの回転操舵角、ギヤポジション、及びドア開閉状態の情報等の少なくとも1つ以上とするとよい。
記憶媒体挿入口181は、外部の記憶手段としての記憶媒体500を、撮影装置100の内部に挿入するための挿入口である。記憶媒体500は、撮影装置100又は撮影装置200で撮影された画像が記録される記憶媒体で、例えばSDカードである。SDカードは、例えば、SDメモリカード、miniSDカード、及びmicroSDカード等のいずれの形状も含む。記憶媒体500は、さらに、記憶した画像をパーソナル・コンピュータ等の情報表示端末で再生するためのビューア(例えば、専用ビューア)のプログラムを記憶してもよい。
第4の側面1015には、操作部123と、表示面131と、発光部21と、が設けられている。操作部123は、第1のボタン1231と、第2のボタン1232と、第3のボタン1233と、第4のボタン1234と、を有する。第1のボタン1231、第2のボタン1232、第3のボタン1233、及び第4のボタン1234は、表示面131の右側の一辺に沿って上下に並べて配置される。これら各ボタンに割り当てられる機能としては、例えば以下の機能がある。
第1のボタン1231は、長押しされた場合に画像を切り替るためのボタンとして機能し、短押しされた場合に記憶媒体500のフォーマットを指示するためのボタンとして機能する。表示面131に表示される画像は、例えば、撮影装置100で現在撮影されている画像、及び撮影装置200で現在撮影されている画像の一方又は両方である。記憶媒体500をフォーマットすることは、記憶媒体500を初期化することであり、例えば、記憶媒体500に記憶された画像等のデータを消去すること、撮影装置100が記憶媒体500を使用できる状態にする(例えば、画像の記録及び読み出しをすることができる状態にする)ために、動作設定の内容を示す設定情報を記憶媒体500に書き込むこと、及び記憶媒体500を特定のファイル状態にすること、の少なくともいずれかとして把握される。
第2のボタン1232は、撮影装置100が再生する画像を選択する選択画面を表示するためのボタンである。第3のボタン1233は、撮影装置100、及び撮影装置200の設定に関するメニューを表示するためのボタンである。第4のボタン1234は、画像の記録の開始、及び停止を指示するためのボタンである。例えば、後述する常時記録機能による記録中に、第4のボタン1234が短押しされた場合、その記録が一時停止する。その一時停止中に、第4のボタン1234が短押しされた場合、常時記録機能による画像の記録が再開する。第4のボタン1234が長押しされた場合、画像を記録する際のフレームレートを変更することができる。
表示面131は、撮影装置100が有する表示部(後述する表示部13)が表示する画像が表示される領域である。表示面131は、例えば、長方形又は正方形の領域である。表示面131に重ねてユーザのタッチ操作を検出するためのタッチセンサ124が設けられている。
発光部21は、第1のボタン1231よりも上方に設けられ、所定の色で発光する。
なお、撮影装置200も、ドライブレコーダとしての機能を有してもよく、例えば撮影装置100と同様の構成を有してもよい。また、撮影装置100と通信により接続される撮影装置として、撮影装置200に代えて又は加えて、他の方向を撮影する1又は複数の撮影装置が用いられてもよい。他の方向として、車両400の右斜め後ろ、左斜め後ろ、車幅方向(側方)等の方向がある。
[4.ブラケットの構成]
図4は、ブラケット600の構成を示す図である。図4(A)は、ブラケット600を前方側の右斜め上方向から見た図である。図4(B)は、ブラケット600を側面側から見た図である。図4(C)は、ブラケット600を前方側の右斜め下方向から見た図である。ブラケット600は、撮影装置100を車両400に取り付ける取付部材の一例である。
ブラケット600は、ボールジョイント機構を用いた取付部材である。ブラケット600において、平板状のベース部610は、車両400のフロントガラスに貼り付ける取付面611を有する。ベース部610は、ボールスタッド620の支柱に対して所定角度だけ傾斜する。取付面611に両面テープ等の接着部材を貼り付け、その接着部材を介して、車両400のフロントガラス等に貼り付けられる。
ボールスタッド620は、ベース部610のうち取付面611とは反対側の面から起立した部位である。ソケット部630は、ボールスタッド620のボール部621が装着される。ナット640は、ソケット部630の周囲に着脱自在に取り付けられる。ソケット部630の外周には、ネジ溝が形成されている。ソケット部630の外周に当該ネジ溝に嵌め合うナット640が装着される。ボールスタッド620のボール部621がソケット部630内に装着された状態で、ナット640が締め付けられる前は、ソケット部630はボール部621の周面に沿って所望の方向に回転して、ベース部650の姿勢及び位置を変位可能である。ナット640が締め付けられると、ベース部650の姿勢及び位置が固定される。
ベース部650は、ソケット部630と一対に形成され、撮影装置100に装着するための部位である。ベース部650は、一対のガイドレール651を下面に有する。一対のガイドレール651は、撮影装置100のジョイントレール102に沿ってスライド可能に構成される。ベース部650の先端部には爪状の先端部652が設けられている。先端部652が、ジョイントレール102の撮影装置100の前方側の端部付近に引っ掛けられることで、ブラケット600が撮影装置100に取り付けられる。
[5.撮影装置100の電気的構成]
図5は、撮影装置100の電気的構成を示すブロック図である。制御部11は、撮影装置100の各部を制御する。制御部11は、例えば、プロセッサ111、及びメモリ112を含むコンピュータである。プロセッサ111は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application-Specific Integrated Circuit)、及びFPGA(Field Programmable Gate Array)等を有する。メモリ112は、例えば、RAM(Random Access Memory)、及びROM(Read Only Memory)等を有する主記憶装置である。プロセッサ111は、メモリ112のROMから読み出したプログラムをRAMに一時的に記憶させる。メモリ112のRAMは、プロセッサ111に作業領域を提供する。プロセッサ111は、プログラムの実行中に生成されるデータをRAMに一時的に記憶させながら演算処理を行うことにより、各種の制御を行う制御部11は、さらに、時刻を計る計時部113を備える。計時部113は、例えばリアルタイムクロックである。計時部113は、プロセッサ111のマザーボードに実装されていていてもよいし、プロセッサ111に外付けされてもよい。
入力部12は、ユーザからの情報の入力を受け付ける。入力部12は、例えば、上述したマイクロホン121、イベント記録ボタン122、操作部123、及びタッチセンサ124を有する。マイクロホン121は、マイク孔104等を介して入射した音を電気信号に変換する。マイクロホン121は、例えばコンデンサマイクである。タッチセンサ124は、表示面131においてユーザによりタッチされた位置を検出する。タッチセンサ124は、例えば静電容量方式である。
表示部13は、表示面131に画像を表示する。表示部13は、例えば液晶ディスプレイ(LCD;Liquid Crystal Display)である。
音声出力部14は、音声を出力する。この音声としては、例えば、報知音や、BGM、音声メッセージ等がある。音声出力部14は、例えば音声処理回路及びスピーカを有する。
撮影部15は、撮影し、撮影により得られた画像データを生成する。撮影部15は、例えば、撮像レンズ151、及び撮像レンズ151により集光された光を撮像する撮像素子を有する。撮像素子は、例えば、CMOS(Complementary MOS)又はCCD(Charge Coupled Device)とする。撮影部15は、例えば赤(R)、緑(G)、青(B)の色成分からなるカラー(多色)の画像を生成する。撮影部15は、所定のISO感度で撮影する構成とするとよい。ISO感度は、例えば、撮影環境に応じて制御部11が自動設定する構成とするとよい。
通信部16は、外部の装置と通信する。通信部16は、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)その他の無線LAN(Local Area Network)通信や近距離無線通信により、外部の装置と無線通信するための通信回路を有する。通信部16は、例えば、LTE(Long Term Evolution)、4G、5G等の移動通信システムの規格等に準拠した通信を行うための通信回路を有してもよい。
センサ部17は、各種のセンサを有する。センサ部17は、例えば、加速度センサ、ジャイロセンサ、気圧センサ、及び照度センサの少なくともいずれかを有する。加速度センサは、例えば車両の前後、左右、上下の加速度を検出する3軸の加速度センサである。ジャイロセンサは、撮影装置100の傾きを検出するセンサである。加速度センサ及びジャイロセンサは、例えば、GNSS衛星からの信号が受信できない場合に、自律航法により車両400の位置を推測するのに使用されてもよい。気圧センサは、気圧を測定する。気圧センサは、例えば、高低差を検知して、高速道と一般道を判定するために用いられる。照度センサは、撮影装置100の周辺である車室内の明るさを示す照度を検知するセンサである。照度センサは、例えば表示部13の表示の輝度の調整に使用される。
リーダライタ18は、記憶媒体挿入口181から撮影装置100の内部に挿入された記憶媒体500を保持する媒体保持部として機能する。リーダライタ18は、記憶媒体500にデータを書き込んだり、記憶媒体500からデータを読み出したりする。リーダライタ18は、記憶媒体500を1つだけ保持するものでもよいが、2つ以上の記憶媒体500を同時に保持することが可能に構成されてもよい。
端子部19は、外部の装置と電気的に接続するための端子を有する。端子部19は、上述した、カメラジャック191及び端子192を有する。端子部19に接続される装置として、車両400側からの給電がなくても、撮影装置100及び撮影装置200が動作できるように、外付けのバッテリが用いられてもよい。端子部19に接続される装置は、例えば、ユーザの安全運転を支援する機能を有する装置であってもよい。このような装置として、例えば、運転手(例えば顔)を撮影して、わき見及び居眠り運転に例示される運転手の状態を検出して報知する機能を有する装置や、車両400の周辺の障害物を検知して報知する機能を有する装置(例えば、前方車両追突警報システム(FCWS:Forward vehicle Collision Warning Systems)のための車両検知に使用される装置)がある。端子部19に接続される装置は、その他にも、レーダー探知機、レーザー探知機、カーナビゲーション装置、ディスプレイ装置等の車載装置としてもよい。
位置情報取得部20は、撮影装置100の位置(より具体的には、現在位置)を示す位置情報を取得する。撮影装置100の位置は、撮影部15の位置、撮影装置100が配置された車両400の位置、車両400に配置された撮影装置200の位置、及び車両400に乗車している運転手その他の人の位置と同視することができる。位置情報取得部20は、例えば、GNSS(Global Navigation SatelliteSystem:全球測位衛星システム)の一つであるGPS(Global Posisioning System)からの信号に基づき、撮影装置100の位置情報(緯度情報、及び経度情報)を取得する。位置情報取得部20は、QZSS(Quasi-Zenith Satellite System:準天頂衛星システム)として、みちびきを併せて利用してもよい。
発光部21は、所定の色で発光する。発光部21は、例えば、発光ダイオードを有する。
電源制御部22は、撮影装置100の各部や、撮影装置200への電力の供給を制御する。電源制御部22は、例えば、電源スイッチや電源制御回路を有する。電源制御部22は、端子部19を介して車両400側から供給された電力を、撮影装置100の各部や、撮影装置200へ供給する。電源制御部22は、さらに、蓄電手段として、二次電池やボタン電池、電気二重層コンデンサ(スーパーキャパシタとも呼ばれる。)を有してもよい。
撮影装置100は、さらに、フラッシュメモリ(例えばeMMC、SSD)に例示される補助記憶装置を内部の記憶手段として有してもよい。補助記憶装置としては、光学式記憶媒体、磁気記憶媒体、及び半導体記憶媒体に例示される各種の記憶媒体を用いることができる。
[6.撮影装置100の画像記録機能]
撮影装置100は、画像記録機能として、以下の1つまたは2つ以上の機能を有する。画像記録機能は、撮影装置100が撮影した画像を、所定のファイル形式の画像データとして記録する機能である。画像データは、動画形式の画像データとするとよく、例えばMPEG(Moving Picture Experts Group)形式(例えば、MPEG2、MPEG4)であるが、AVI、MOV、WMV等である。
<6-1.常時記録機能>
常時記録機能(常時録画機能ともいう。)は、撮影装置100の動作中は、撮影装置100及び撮影装置200の一方又は両方により撮影された画像を継続して(つまり、常時)記録する機能である。制御部11は、常時記録機能を実行しているときには、車両400の駆動源の始動から停止まで撮像した画像(画像データ、映像データといってもよい。)を記憶する、又は、車両Vの電源(例えば、アクセサリ電源)がオンされたときからオフされるときまでに撮像した画像を記録する。
<6-2.イベント記録機能>
イベント記録機能は、特定のイベントが発生したことに応じて、撮影装置100及び撮影装置200の一方又は両方により撮影された画像を記録する機能である。イベントは、撮影装置100又は撮影装置200により撮影された画像を記録すべき事象であり、例えば、車両400の走行中におけるユーザの急ハンドル、急ブレーキ等の操作時、車両400の他の物体との衝突時等とする。制御部11は、イベントが発生したことを、例えば、センサ部17の加速度センサによる計測値に基づいて、判定する。具体的には、制御部11は、加速度センサの計測値が所定の閾値以上となった場合又は所定の時間的変化を示した場合に、イベントが発生したと判定する。イベントの発生の判定条件はこれに限られない。制御部11は、車両情報に基づいて、例えば車速や操舵状態等の車両400の状態が所定の条件を満たした場合に、イベントが発生したと判定してもよい。制御部11は、撮影部15又は撮影装置200により撮影された画像を解析し、車両400又は他車両の危険運転(例えば煽り運転、接近、又は異常接近)を検知した場合に、イベントが発生したと判定してもよい。制御部11は、イベント記録ボタン122が操作された場合にも、イベントが発生したと判定する。
制御部11は、イベントが発生したと判定した場合、そのイベントの発生前後の所定期間(以下「イベント記録期間」という。)において撮像された画像を、記憶媒体500に記録する。制御部11は、例えば撮影部15及び撮影装置200により撮影された画像をメモリ112(例えば、RAM)に一時的に記録しておき、イベントが発生したと判定した場合は、メモリ112から読み出したイベント記録期間の画像を記憶媒体500に記録するとよい。制御部11は、例えば、イベントの発生前20秒、及びイベントの発生後20秒の合計40秒の画像を1つのファイルとする。イベント記録期間は一例であり、イベントの種類に応じて異なっていてもよいし、ユーザが変更可能であってもよい。制御部11は、1つのイベントの発生につき、複数のファイルからなる画像を記憶媒体500に記録してもよい。制御部11は、さらに、イベント記録期間にセンサ部17で計測された値(例えば、3軸の各方向の加速度)や、位置情報取得部20で取得された位置情報を、画像と関連付けて、記憶媒体500に記録してもよい。
<6-3.駐車監視機能>
駐車監視機能は、車両400の駐車中に撮影装置100及び撮影装置200の一方又は両方により撮影された画像を記録する機能である。駐車監視機能は、駐車中の車両400の内部又は車両400の周辺の外部を監視するための機能である。制御部11は、車両400のエンジンオフ状態では、外付けバッテリからの電力の供給を受けて、記憶媒体500に画像を記録する。車両400の駐車中であるか否かについて、制御部11は、例えば、アクセサリ電源がオフされたこと、エンジンがオフされたこと、外付けバッテリからの電源供給が開始されたこと、車速が0km/h又は所定速度以下であること、及び位置情報取得部20が取得した位置情報が所定の位置情報(例えば、自宅や勤務先、駐車場の位置情報)であること、の1つ又は複数に基づいて判定する。
駐車監視機能は、タイムラプスモード、及び動体検知モードを有してもよい。具体的には、制御部11は、タイムラプスモードがユーザにより選択された場合、常時記録機能及びイベント記録機能等の他の画像記録機能よりも、フレームレートを間引いて画像を記録する。例えば、他の画像記録機能のフレームレートが20~30フレーム/秒であるのに対して、タイムラプスモードのフレームレートは1フレーム/秒とする。動体検知モードは、移動体の検知に応じて画像を記録するモードである。具体的には、制御部11は、動体検知モードがユーザにより選択された場合に、撮影装置100及び撮影装置200により撮像された画像の変化から動体を検知したときは、その検知前後の所定期間に撮影された画像を、記憶媒体500に記録する。フレームレートは、常時記録機能及びイベント記録機能等と同じフレームレートとしてもよい。
なお、撮影装置100、200として、全天球、半天球といった天球画像を撮影する撮影装置が用いられてもよい。また、撮影装置100として、表示部13を有しない撮影装置が用いられてもよい。また、撮影装置100の筐体は、直方体状のものでなくてもよく、例えば円筒状等の撮影装置であってもよい。
[7.撮影部15を用いた撮影]
次に、撮影装置100が行う撮影部15を用いた撮影について説明する。
<7-1>着想の経緯
LED信号機は、赤、青、黄の各色で点灯するための発光体として、LEDを用いた信号機(交通信号機ともいう。)である。LED信号機においては、西日本では60Hzの商用電源周波数の商用電源を、東日本では50Hzの商用電源周波数の商用電源を使用して動作し、LEDを点灯させることにより、各色を表示させている。そのため、LED信号機は、人間の眼では認識できない周期であるが、実際には、商用電源の周波数に応じた周期で点灯と消灯とを繰り返している。このような周期的な点灯と消灯との繰り返しは、フリッカ等と呼ばれる点滅として把握されるものである。
一方、一般的なドライブレコーダでは、NTSC(National Television System Committee)やPAL(Phase Alternating Line)基準に対応しているものでは、30フレーム/秒又は25フレーム/秒で撮像を行って映像データを記録する。例えば、60Hzの商用周波数の国ではPALの25フレーム/秒の映像が扱われ、50Hzの商用周波数の国ではNTSCの30フレーム/秒の映像が扱われることがある。そのため、現在のドライブレコーダの映像や自動運転映像では、LED信号機の表示する色が点滅するという不都合がある。また、LED信号機の点滅と撮影のタイミングとが同期すると、LED信号機が消灯しているタイミングばかりで撮影されてしまい、その結果、撮影した映像からLED信号機の点灯色を判別できない場合がある。これでは、後で映像から車両の状況、例えば事故発生時の状況を検証したい場合に、LED信号機の点灯色が分からないため、その検証に支障をきたしたり、事故発生時の状況を説明するための映像としての証拠能力を低下させる原因となったりすることがある。
このような問題を解決するため、撮影装置100は、信号機の点滅と、撮像タイミングとが同期してしまって、信号機が消灯した状態で撮影し続けてしまうのを抑えるための構成を有している。具体的には、撮影装置100は、撮影部15により信号機が撮影されるタイミングを、信号機が点灯しているタイミングにする制御を行う。信号機が点灯しているタイミングとしては、信号機が有する各色の発光体のいずれかが点灯しているタイミングとするとよく、本実施形態では、赤、青、黄の3色からなる信号機においていずれかの色が点灯しているタイミングをいう。信号機が撮影されるタイミングを点灯のタイミングとする制御としては、例えば、撮影対象物の点灯のタイミングに露光すること、又は撮影する(露光する)タイミングをずらすこと(言い換えると、ある時点から他の時点に移動させること)とするとよい。信号機が撮影されるタイミングを点灯のタイミングとする制御として、例えば、所定の間隔で撮影される場合に、その間隔を拡大し、または縮小により変更することとしてもよく、撮影対象物の点灯及び消灯と同期しないようにする制御を採用しうる。
<7-2.撮影部15の構成>
図6は、撮影部15が有する撮像素子152の構成の一例を説明する図である。通常のCMOSセンサ等の撮像素子を有するドライブレコーダでは、1画素(1ピクセル)あたりに1つのセンサを有することが通常である。これに対し、本実施形態は、撮像素子152は、画素ごとに、第1のセンサとしての第1受光部RL1と、第2のセンサとしての第2受光部RL2とを有する。第2受光部RL2は、第1受光部RL1よりも小さい受光部であり、受光(露光)に用いる受光面のサイズが、第1受光部RL1よりも小さい受光部であるとよい。例えば、1080P(1920画素×1080画素)の解像度で撮影する場合、通常、1920×1080ピクセル以上を持つ撮像素子が使用される。これに対し、撮像素子152を有する撮影装置100では、隣り合う2つの大きさの違うピクセルを1ピクセルと扱い、この2つのピクセルの露光時間を変えて、信号機がいずれかの色で点灯している時間、撮影できるようにする構成である。そのため、撮影部15は、1920×1080×2のピクセルを持つともいえる。
本実施形態では、第1受光部RL1、及び第2受光部RL2のそれぞれが、CMOSセンサであるが、それ以外のセンサとしてもよい。撮像素子152は、図6に示すように、第1受光部RL1及び第2受光部RL2を含む画素を、行方向、及び列方向に二次元配置(例えば、マトリクス配置)した構成を有するとよい。ただし、第1受光部RL1及び第2受光部RL2の具体的な位置関係やサイズの関係については、図6に示すものに限られない。
撮像素子152は、第1受光部RL1、及び第2受光部RL2を用いて受光(露光ともいう)することにより、撮影する。撮像素子152は、各画素が、第1受光部RL1の受光と、第1受光部RL1よりも小さい第2受光部RL2の受光とに応じた値を有する画像を生成する。この値は、画素値のことであるが、階調値等と読み替えられてもよい。本実施形態では、撮像素子152は、画素ごとに、第1受光部RL1の受光結果を示す信号と第2受光部RL2の受光結果を示す信号とを合成して出力する。合成の方法としては、例えば、第1受光部RL1の受光結果によって定まる画素値を、第2受光部RL2の受光結果に応じて補正する方法とするとよいが、これに限られない。合成後の信号においては、第1受光部と第2受光部との受光量が反映されているとよい。これにより、撮影画像における画素値も、第1受光部RL1の受光結果を示す信号と第2受光部RL2の受光結果を示す信号とを合成した結果を反映した値となる。
なお、撮像素子152において、第1受光部RL1及び第2受光部RL2は、例えば、受光している期間はシャッタが開き、受光していない期間はシャッタが閉じるよう構成されるが、受光/非受光の切り替えの仕組みはこれに限らない。このような撮像素子152の画素と露光方法の撮像素子を用いることで、出入り口など明暗差の大きな場面でも、ダイナミックレンジの広い高画質な映像を撮像する効果が期待できる。
<7-3.撮影部15を用いた撮影処理>
次に、撮影部15を用いた撮影処理を、図7を参照して説明する。
制御部11は、第2受光部RL2について、信号機が消灯している時間よりも長い露光時間を保つように、撮影部15の露光時間Teを設定する。特に、信号機を点灯した状態で撮影するために、第2受光部RL2の露光時間Teを、少なくとも6msとするとよい、と発明者は考えた。特に、制御部11は、第1受光部RL1及び第2受光部RL2で同じ周期で撮影し、かつ、第1受光部RL1及び第2受光部RL2でデューティー比が異なるようにする。制御部11は、特に、これらの受光部でフレームレート(fps:Frame per second)は同じだが、小さい受光部である第2受光部RL2の方が露光時間を長くする構成とするとよい。このようにすると、第1受光部RL1と第2受光部RL2とで同じ周期で揃えて撮影しながらも、ユーザは、信号機の点灯の状態を把握可能な画像を得ることができる。また、第1受光部RL1よりも第2受光部RL2の露光時間を長くすることで、受光部が小さくとも十分な光量で露光することができる。
撮影部15を用いた撮影処理の詳細について、説明する。
図7は、撮影部15を用いた撮影処理を説明する図である。図7(A)は、商用電源の波形(時間波形)の一例を示す図である。日本国では、商標電源周波数は、西日本で60Hz、東日本で50Hzである。そして、信号機では、商標電源の電圧である正弦波を全波整流していると考えられる。全波整流により商用電源の2倍の周波数で点灯と消灯とを繰り返している。すなわち、東日本では100Hz(=50Hz×2)、西日本では120Hz(=60Hz×2)の周波数で点滅する。その全波整流後の電圧の波形(時間波形)は図7(B)に示すとおりで、その周期は最短で8.33ms(ミリ秒)である。図7(C)は、このような全波整流後の電圧に基づいて駆動する信号機の点灯期間と消灯期間との一例を示す図である。点灯期間の長さはTaであり、消灯期間の長さはTbである。このような点灯期間と消灯期間とが時間軸方向に沿って交互に現れることになる。
図7(B)に示す全波整流後の電圧の波形において、谷間部分では、信号機のLEDが、点灯可能な電圧(閾値電圧)VFよりも下回る部分があるため、この部分では信号機は消灯する。消灯期間の長さTbは、3ms前後と推測される。そこで、発明者は、撮影部15における第2受光部RL2の露光時間Teを6msとすれば、多少暗くなるフレームもあるが、信号機が消えているとは言えない範囲となると考えた。本実施形態では、第2受光部RL2の露光時間Teを、6ms近傍とすれば、消灯期間のみで露光してしまうことを回避し、信号機の点滅を明暗として認識できる程度に点灯期間で露光し、撮影できると考えた。露光時間Teは、6ms丁度としてもよいが、略6ms、6msの周辺としてもよい。あるいは、露光時間Teは、6ms以上で、かつ全波整流後の波形の周期以下、つまり上述した8.33ms以下としてもよい。
このようにすると、図7(D)に示すように、露光期間と信号機の点灯期間及び消灯期間との関係によらないで、点灯期間中で撮影部15の第2受光部RL2での露光が可能となる。その結果、信号機の点滅が信号機の明暗として撮影され、ユーザは、信号機の点灯の状態を把握可能な画像を得ることができる。本実施形態によると、記憶媒体500に記録される映像にあっては、信号機の画像が点滅ではなく、少し明暗があるような映像として得ることができる。撮影装置100がドライブレコーダの用途で使用される場合、信号機の点灯の状態を含む車両400の周辺の状況を把握するには、このような画像が得られれば十分ともいえる。
制御部11は、さらに、撮影部15により撮影した複数フレームの画像を示す画像データを通信部16を用いて所定の送信先に送信する送信処理を行うとよい。画像データとしては、動画像形式のデータとするとよいが、静止画形式のデータとしてもよい。所定の送信先としては、サーバ装置900とするとよいが、これ以外の装置としてもよい。制御部11は、撮影すると直ちに画像データを送信してもよいが、撮影の周期よりも長い所定の周期で、複数フレームの画像データを一括して送信してもよい。
このようにすると、信号機を撮影した場合でも、その点灯と消灯とを明暗として撮影した画像を示す画像データを、通信量を抑えつつ、所定の送信先に送信することができる。通信型のドライブレコーダのように継続的に撮影を行うシステムでは、送信する画像の周期を高くすると通信量が増大し、通信回線の使用料金の増大や、通信回線の輻輳が問題となり得るが、その問題の発生を抑えることができる。送信処理を考慮した場合、撮影画像のフレームレートとしては、5fps又は1fpsとするとよい。通信等で映像伝送する場合、通信量の低減のため、1fps、5fpsなどの低フレームレートで伝送することがあるが、そのような場合でも、すべて消灯されているケースを防ぐことができ、通信型のドライブレコーダに最適な構成とすることができる。このような比較的低い周期で撮影した画像であっても、ドライブレコーダ等の撮影装置においては、周辺の状況を的確に把握することができる。このようなセンサの特性と、露光時間の調整により、通信型のドライブレコーダとしては有利、その場の検証が通信量安くできる、信号の見分けがつくことにより、例えばAI(人工知能)での解析もしやすくすることもできる。
制御部11は、さらに、撮像素子152を用いた撮影処理として、第1受光部RL1を用いて第1の周期で撮像を行い、第2受光部RL2を用いて第1の周期よりも長い周期で撮像を行うようにしてもよい。このようにすると、第2受光部RL2は第1受光部RL1よりも受光する部位(例えば受光面)が小さいため、より多くの光を取り込めるようにすることができる。このようにして第1受光部RL1と第2受光部RL2とでは露光する期間が互いに異なるようにしてもよい。
第1実施形態の説明は、以上である。続いて、第2実施形態以降を説明する。第2実施形態以降では、撮影部15を、第1実施形態と同様、1画素につき、第1受光部RL1、及び第2受光部RL2の2つの受光部を有する構成としてもよいが、1画素につき1つの受光部を備える構成にも適用できる。
[第2実施形態]
第2実施形態では、制御部11は、撮影部15により所定の間隔で撮影して、フレームごとに、撮影した画像に消灯している信号機が含まれているか否かを認識する。そして、制御部11は、連続する2つのフレームの画像において、消灯している信号機が含まれていることを認識した場合、撮影部15の撮影の間隔を所定時間だけずらすとよい。なお、1フレームの画像については、1コマの画像、あるいは1枚の画像と適宜読み替えられてもよい。また、制御部11は、フレームごとに信号機を認識する処理においては、撮影中の全期間に行ってもよいが、一部の期間のみ行うこととしてもよい。信号機を認識する処理については、後述する[第2実施形態の変形例]の(2)の推論の方法や、パターンマッチングその他の公知の画像認識技術が用いられるとよく、その手法は特に問わない。
図8に示すように、間隔TX1で撮影している場合において、間隔TX1が信号機の点滅と同期してしまった場合に、消灯状態で信号機が撮影され続けることがある。そこで、制御部11は、連続する2つのフレームで信号機が消灯状態である場合、言い換えると、撮影タイミングが消灯期間内である場合、撮影の間隔をずらす制御を行う。ここでは、制御部11は、撮影間隔を間隔TX1から、間隔Dに変更するとよい。間隔Dは、間隔TX1からずらした所定時間の間隔とするとよい。間隔をずらす時間は、あらかじめ決められているとよいが、消灯時間を超える程度に決められているとよく、特に±数十ms程度とするとよい。このように、制御部11が、撮影タイミングを所定時間だけずらす制御は、消灯時間から撮影フレームの位相をずらす制御、ということができる。
制御部11は、撮影タイミングを、商用電源のゼロクロスポイントからずらす、又は遠ざけるようにするとよい。このようにすると、フレームレートを下げて(5fpsや1fps)の場合、すべての映像が消灯になっているという問題を解決することができる。また、制御部11は、間隔Dで撮影し続けてもよいが、消灯タイミングからずらした後は、間隔TX1に戻して撮影してもよい。このようにしても、一旦撮影タイミングが信号機の点滅の同期をしなくなるので、ユーザは以降、信号機の点灯状態を把握可能な画像を得ることができる。
[第2実施形態の変形例]
本発明は上記の実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、以下で説明する変形例どうしも、適宜組み合わせが可能である。
(1)上述した撮影部15の撮影の間隔をずらす時間は、信号機で一般的な点灯周期中の点灯時間内の時間であるとよい。一般的な信号機の点灯の周期に基づいて、撮影部15の撮影の間隔をずらす時間が決まっていると、設置されている多くの信号機について消灯したタイミングで撮像し続けることを抑えることができる。信号機で一般的な点灯周期中の点灯時間は、あらかじめ規定されていてもよいが、複数の信号機から統計的に求めた時間がサーバ装置900から撮影装置100に提供されてもよい。撮影装置100は、この時間に基づいて、撮影部15の撮影の間隔をずらす時間を特定するとよい。
(2)制御部11は、信号機を撮影した画像に基づいて、機械学習の推論により、ずらす時間である所定時間、言い換えると、ずらした後の撮影の間隔であるDを特定するとよい。この推論に用いる学習モデルは、その学習に、消灯した状態の信号機を撮影した画像を用いて生成されたものであるとよい。学習モデルは、ディープ・ラーニングにより画像に検出対象の対象物が含まれている確率を出力するものである。学習モデルには入力層、中間層(隠れ層)、及び出力層が含まれている。なお、学習モデルは、学習が終了すると学習済モデルとなる。学習モデルは、学習済みモデル、推論モデル等と呼ばれるものとしてもよい。
学習モデルは、制御部11がサーバ装置900から取得して記憶媒体500に記憶させてもよいし、あらかじめ撮影装置100に同梱された記憶媒体500にあらかじめ記憶されていてもよい。学習モデルは、制御部11により生成されてもよいが、サーバ装置900により生成されるとよい。このようにすると、複数の機器で撮影した画像に基づいて、学習モデルを得やすくすることができる。サーバ装置900は、様々な信号機を撮影した画像を用いて学習するとよい。
学習の方法について説明しておく。サーバ装置900は、信号機を撮影した複数の画像の各画像を、当該画像に信号機が含まれていることに関連付けた教師データとして用いて、学習を行う。サーバ装置900の制御部901は、例えば、信号機を撮影した複数の撮影画像の各撮影画像に、正例であることを示すラベル(正解を示すラベル)を付して、学習用データとしての教師データを生成する。また、教師データとして用いられる撮影画像は、例えば、信号機が設置される可能性の高い地点を撮影した風景(例えば、交差点や街並み)の少なくともいずれかを含むものとすると特によい。これらは信号機とともに映る可能性が比較的高い要素であるから、この撮影画像を学習用データとして用いることにより、より良質な機械学習モデルを生成できる効果が期待できる。
特に、信号機を含む撮影画像であるが、消灯している状態の信号機が正例の教師データとして用いられるとよい。このようにすると、消灯している状態の信号機を、学習モデルを使ってより精度良く認識できると考えられる。同様の理由により、信号機を含む撮影画像であるが、点灯している状態の信号機が負例の教師データ(不正解を示すラベルを付す)として用いられるようにしてもよい。また、信号機にも様々な外観のものがあるので、外観が異なる信号機を学習すると特によい。制御部901は、生成した学習モデルを記憶部903に記憶させたり、通信部902を用いて撮影装置100に送信したりするとよい。撮影装置100において制御部11は、この学習モデルをメモリ112、又は記憶媒体500に記憶させる。制御部11は、この学習モデルに撮影部15が撮影した画像を入力させて、この画像から信号機が映っているかどうかを認識し、判定する処理を行うとよい。制御部11は、例えば、信号機を認識した確率が所定確率以上である場合、この画像に信号機が映っていると判定するとよい。
(3)撮影装置100において制御部11は、商用電源線(例えば、電線)から出る電磁波を検出して、その電磁波の状態に基づいて、撮影タイミングをずらす制御を行うとよい。制御部11は、商用電源線から出る電磁波を検出して、そのゼロクロス点のフレームだけで撮影しないように撮影タイミングを制御するとよい。あるいは、制御部11は、商用電源線から出る電磁波を検出して、そのピークポイント付近のフレームを撮影するよう撮影タイミングを制御するとよい。このようにすると、商用電源線(電線)から出る電磁波に基づいて、信号機を点灯状態で撮影できるように、撮影タイミングを適切にずらすことができる。商用電源線から出る電磁波の検出については、例えば、撮影装置100がコイルアンテナを備え、そのコイルアンテナからの出力に基づいて行う構成とするとよい。例えば、コイルアンテナ検出信号は増幅器で増幅され、バンドパスフィルタで商用電源の周波数だけを通過させ、再び増幅器で増幅されて、タイミング回路に供給される構成とするとよい。タイミング回路では、撮影タイミングを規定するタイミング信号が生成される。そして、商用電源の周波数信号に基づきクロック信号を生成し、このクロック信号に基づいて撮影処理を行うようにされてもよい。
[第3実施形態]
撮影装置100は、撮影部15が撮影した1つのフレームの画像内に、複数の信号機が映っているか、又は1つの信号機が映っているかを判定し、複数の信号機が映っている場合と、1つの信号機が映っている場合とで、撮影部15の撮影処理を異ならせるとよい。このようにすると、1つのフレームの画像内に、複数の信号機が映っているか、又は1つの信号機が映っているかによって、望ましい撮影処理を実行することができる。撮影処理としては、撮影部を用いた撮影に関する処理とするとよいが、撮影する処理自体としてもよいし、撮影した画像に基づいて実行する処理とするとよい。信号機が映っているかどうかや、信号機の個数の認識、判定については、上述した第2実施形態と同様の手法が用いられるとよい。
図9(A)は、1つの信号機710が映っているか撮影画像を示す図である。図9(B)は、複数の信号機810、820、及び830が映っている撮影画像800を示す図である。信号機810、820、及び830の順で、車両400に近い位置に存在しており、それに伴い信号機810、820、及び830の順でサイズが大きくなっている。本実施形態の撮影処理について、図9を参照しつつ説明する。
(1)制御部11は、撮影部15が撮影した画像に複数の信号機が映っていると判定した場合、撮影した画像における一番大きな信号機に基づいて、信号機が撮影されるタイミングを点灯のタイミングとする制御を行うとよい。このようにすると、撮影部15が撮影した画像に複数の信号機が映っている場合でも、ユーザは、最も撮影すべき信号機について、点灯の状態を把握できる画像を得ることができる。図9(B)では、信号機810、820、及び830が映っているが、最も手前側にある信号機810をユーザが順守すべき信号機であり、その点灯の状態を撮影、記録しておくべき必要性が高い。信号機820、830は現段階ではユーザにとって順守すべき信号機ではなく、その点灯の状態を撮影、記録しておくべき必要性は、信号機810よりは低い。このように、例えば、大通りなどで交差点が連続する場合、数個先の交差点の信号機まで、1フレームの画像内に映りこむことがあるが、一番近い交差点の信号機の色をより確実に撮影、記録することができる。
(2)制御部11は、撮影部15が撮影した画像に複数の信号機が映っていると判定した場合には、より多くの信号機の点灯の状態を撮影できるように、信号機が撮影されるタイミングの制御を行うとよい。この際に、遠くの信号機の情報よりも近くの信号機の情報が重要であるから、信号機ごとに車両400からの距離又は信号機のサイズに応じて重み付けをして、より望ましい信号機の点灯状態を撮影できるようにしてもよい。
(3)制御部11は、撮影部15が撮影した画像に複数の信号機が映っていると判定した場合、撮影した画像において左右方向の中心に近い信号機に基づいて信号機が撮影されるタイミングを、点灯のタイミングとする制御を行うとよい。このようにすると、撮影部が撮影した画像に複数の信号機が映っている場合でも、ユーザは、最も撮影すべき信号機について、点灯の状態を把握できる画像を得ることができる。例えば、1つの交差点でも、左右の信号機が認識されることがあるが、車両の前方の信号機の色をより確実に撮影、記録することができる。図10に示す撮影画像850には、信号機860、及び870が映っているが、左右方向において真ん中に近い信号機860をユーザが順守すべき信号機であり、その点灯の状態を撮影、記録しておくべき必要性が高い。信号機870は対向車線の信号機であり、ユーザにとって順守すべき信号機ではなく、その点灯の状態を撮影、記録しておくべき必要性は低い。このようにすると、車両の前方の信号機の色をより確実に記録することができる。本変形例の構成は、[第3実施形態]の(1)の構成と組み合わせると特によい。より車両の運転に影響する信号機の色を撮影できるからである。
[第3実施形態の変形例]
本発明は上記の実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、以下で説明する変形例どうしも、適宜組み合わせが可能である。
(1)制御部11は、撮影部15が撮影した画像の上下方向における上方に位置する一部の画像領域において、信号機を認識する処理を行うように制限するとよい。このようにすると、道路上に設けられた看板等のLEDを用いた構造物が信号機と誤認識される可能性を低減できるとともに、信号機の認識に係る処理負荷を軽減することができる。信号機を認識する処理を制限することとしては、認識する処理を行わないようにすることとしてもよいが、認識する処理を所定の条件を満たした場合に行う、又は行わないようにしてもよい。例えば、信号機を認識する処理を行う頻度を、他の画像領域における頻度よりも低下させるようにしてもよい。上下方向における上方に位置する一部の画像領域は、図11に示すように、領域910は、望ましくは、撮影画像700の画像領域における上方に位置する3分の1程度の領域であるとよい。このように信号機を認識する処理に用いる画像は、画像領域の上下方向が、撮影した範囲(現実空間)の上下方向と一致している画像とするとよい。
領域910は、信号機が撮影され得る範囲とすればよい。そのため、信号機を認識する処理を行う対象の領域は、撮影部15の性質(例えば、画角)や、取付位置、撮影範囲等によって、適宜変えるようにしてもよい。制御部11は、撮影部15の撮影画像を解析し、信号機がよく映る領域を学習し、信号機を認識する処理を行う対象の画像領域を設定してもよい。
(2)撮影装置100は、撮影部15が撮影した画像において、所定の周期で点灯と消灯とを繰り返す対象物のうち、車両の速度よりも速く移動する、又は車両の速度よりも遅く移動する物体(移動体といってもよい)を、信号機でないものとして処理するとよい。例えば、撮影装置200は、所定の周期で点灯と消灯とを繰り返す対象物であっても、信号機でないものについては、この対象物に基づいて点灯状態を撮影するための処理を行わないようにするとよい。制御部11は、対象物の速度については、複数フレームの画像から対象物を認識して、その対象物のサイズの時間的変化に基づいて特定するとよい。
このようにすると、走行中の車両400から撮影した画像に基づいて、信号機でない物体を、信号機と誤認識して処理する可能性を低減することができる。信号機は、地面等所定の場所に固定されている。これに対し、移動する他の車両に搭載されたLEDは、自車速度と異なる速度で移動する。特に、自車両への接近なら速く、離反なら遅く移動するからである。このようにすると、これらの他の車両に搭載されたLEDを信号機と誤認識する可能性を低減できる。本変形例の構成は、特に、[第3実施形態の変形例]の(1)と組み合わせるとよい。
[第4実施形態]
信号機の色を確実に記録させるために間隔を調整すると、これを一定間隔で再生すると、映像が早回しに見える部分、遅回し(スロー)に見える部分がでてきて、動きがギクシャクする可能性がある。このような課題を解決するため、以下の(1)、又は(2)のいずれかの構成が採用されるとよい。
(1)撮影装置100は、撮影部15により一定の間隔で画像を撮影して記録する第1の記録処理と、撮影部15により撮影された画像を、点灯のタイミングとする制御に応じて間隔を調整して記録する第2の記録処理とを並列に行う(言い換えると、同時に走らせる)とよい。制御部11は、図12(A)に示すように、一定間隔TXで映像を記録する第1の記録処理を行う。これにより、なめらかなギクシャクしない映像を記録することができる。また、制御部11は、図12(B)に示すように、第2の記録処理により、信号機の点滅タイミングに基づき間隔TXが間隔Dに調整して映像を記録すると、信号機の色を確実に記録させることができる。第2の記録処理は、本明細書で説明するいずれかの方法で信号機を点灯したタイミングで撮影する制御を行って撮影した画像を記録する処理とするとよい。
(2)撮影装置100は、フレームの撮影の間隔を所定時間ずらすなど、間隔を調整して映像を撮影するドライブレコーダで撮影された映像を再生する再生装置として機能する場合、以下のようにしてもよい。制御部11は、撮影部15により所定の間隔で撮影した画像を含む動画像を点灯のタイミングとする制御を行って記録する場合、当該間隔の調整をした箇所と調整した間隔に関する情報を記録しておく。そして、制御部11は、記録した画像を再生する場合には、記録しておいた情報を用いて、調整した間隔分の動画像を前後のフレーム等の画像に基づいて補完して再生するとよい。このようにすると、撮影部により所定の間隔で撮影した画像を含む動画像を前記点灯のタイミングとする制御を行って記録した場合であっても、調整した間隔分の動画像を前後のフレームの画像に基づいて補完することで、なめらかな動画像を再生することができる。再生した画像は、表示部13に表示されるとよい。
特に、補完は、調整後のフレームを多めに使って行うようにするとよい。このようにすると、補完された動画像においては、撮影対象物の点灯の状態が把握できる時間を長くすることができる。
なお、ここでは再生装置が撮影装置100である場合を説明したが、パーソナル・コンピュータ等の他の装置としてもよい。
[第5実施形態]
撮影装置100は、撮影部15により撮影された画像を点灯のタイミングとする制御として、以下の(1)~(4)のいずれかの構成を採用するとよい。
(1)図13は、本実施形態の撮影部15の構成を説明する図である。撮影部15は、撮像素子152と、撮像レンズ151と、NDフィルタ153とを備える。撮像レンズ151は、集光用のレンズである、NDフィルタ153は、入射した光を減じて透過させるフィルタの一例である。NDフィルタ153は、撮像レンズ151から入る光の量を減らすために使うグレーのフィルタとするとよい。撮像素子152は、NDフィルタ153、及び撮像レンズ151を通過した光を撮像するように配置されている。
NDフィルタ153は、明るい場所で露光時間を長くして速く動くものを見えないようにしたい場合に使うものでもあるが、本実施形態では、露光時間の調整に使って、信号機を点灯の状態で撮影できるようにする。制御部11は、撮影部15の周辺が第1の明るさの場合は、撮影部15の露光時間Teが、信号機が点灯した状態で映る時間となるように、撮像素子152にNDフィルタ153を通過した光を撮像させるとよい。また、制御部11は、撮影部15の周辺が第1の明るさよりも暗い第2の明るさの場合は、撮像素子152にNDフィルタを通過していない光を撮像させるとよい。第1の明るさは、撮影装置100の使用環境で最も明るい明るさとしてもよいが、比較的明るい状況であればよく、例えば昼間の時間帯とするとよい。例えば、一番明るいときでも露光時間が信号機の色が映る時間となるようなNDフィルタ153の暗さとするとよい。第2の明るさは、撮影装置100の使用環境で最も暗い明るさとしてもよいが、比較的暗い状況であればよく、例えば夜間の時間帯とするとよい。制御部11は、撮影部15の周辺の明るさを、センサ部17の照度センサを用いて測定し、その照度に基づいて明るさを判定してもよい。
撮像素子152に、NDフィルタ153を通過した光を撮像させるのか、又はNDフィルタ153を通過していない光を撮像させるのかについては、例えば以下の構成を採用するとよい。制御部11は、例えば、図示せぬ駆動装置により、撮像素子152及び撮像レンズ151の前にNDフィルタ153を配置する第1状態(挿入状態といってもよい。)と、撮像素子152及び撮像レンズ151の前にNDフィルタ153を配置しない第2状態(非挿入状態といってもよい。)とを切り替えるとよい。例えば、防犯カメラ製品に使われる「Day&Night」と呼ばれる機能で使われている「IRカットフィルタリムーバブル」機能で使われているIRカットフィルタ切替ユニットのフィルタを、IRカットフィルタからNDフィルタ153に替えた構成とするとよい。IRカットフィルタ切替ユニットは、IRフィルタを入れた状態と入れない状態を切り替えられるユニットのことをいう。
(2)(1)において、IRカットフィルタ付きアイリスのIRカットフィルタの代わりに、NDフィルタを備えた構成としてもよい。
(3)(1)において、NDフィルタ採用する構成に代えて、絞りを絞る方法を採用してもよい。いずれも、レンズにてモータを搭載してフィルタを挿入、または、絞りのはねを動かすものとするとよい。
(4)制御部11は、撮影部15のアイリスの絞りを制御する構成とするとよい。アイリスとは、撮像素子152に入射する光の光量を制限する、調整可能な開口部である。図14は、撮影部15が有するアイリス154の構成の説明図である。アイリス154は、開口部1542が形成された基部1541と、第1の遮蔽部1543と、第2の遮蔽部1544と、駆動部1545とを有する。基部1541は板状の部位である。開口部1542は円形に形成され、基部1541を貫通する開口部である。図14(A)はアイリス154が閉状態、図14(B)はアイリス154が半開放状態、図14(C)はアイリス154が開放状態を示す。開放状態、半開放状態の順で、開口部1542の多くの部分が開放している。閉状態では、開口部1542が塞がれている。制御部11は、駆動部1545を制御して、第1の遮蔽部1543と、第2の遮蔽部1544とをそれぞれ上下に移動させる駆動をさせることにより、開口部1542の開閉状態を制御する。アイリス154は、第1の遮蔽部1543と、第2の遮蔽部1544とが2枚羽のような構成となっており、開口部1542の開放部分の形状(絞り形状)がほぼ矩形となっているが、これに限られない。
制御部11は、撮影部15の周辺が第3の明るさの場合は、撮影部15の露光時間が信号機が点灯した状態で映る時間となるように絞りを制御し、撮影部15の周辺が第3の明るさよりも暗い第4の明るさの場合は、アイリス154の絞りを開放する(例えば、図14(C)の状態とする)とよい。このようにすると、アイリス154の機能を有する撮影部の周辺が第3の明るさの場合に撮影対象物が点灯の状態を把握できる画像を得られるようにしつつ、第3の明るさよりも暗い第4の明るさの場合にはアイリス154の絞りを開放して、撮影する画像が暗なってしまうのを抑えることができる。第3の明るさは上述した第1の明るさ、第4の明るさは上述した第2の明るさと同様の定義とするとよいが、異なっていても良い。特に、制御部11は、アイリスの絞りを明るいときに露光時間が信号機の色が映る時間となるまで絞る一方、暗いときには絞りを開放とする機能を備え、一番明るいときでも露光時間が信号機の色が映る時間となるような絞り度合とする制御を行うようにするとよい。第4の明るさのときのアイリスの絞りを開放は、少なくとも第3の明るさのときよりも開放した状態とするとよく、第4の明るさに応じた開放具合にすると特に良い。制御部11は、撮影部15の周辺の明るさを、センサ部17の照度センサを用いて測定し、その照度に基づいて明るさを判定してもよい。
アイリス154は、図15に示すように、第1の遮蔽部1533と、第2の遮蔽部1534とが2枚羽のような構成で、開放部分絞り形状がほぼ矩形となる構成のもと、絞りの上下の辺が、撮影部15が有する撮像素子152の上下の辺と平行となるようにするとよい。このようにすると、撮像素子152や撮像画像との関係で、適切なアイリス154の配置とすることができる。
[第6実施形態]
ニュースで信号機が消灯している時の映像で事故シーンがあり、GPS時刻をもとに信号の点滅間隔を割り出し、青色であったことを証明した事例がある。これに関して、以下の(1)~(5)のいずれかの構成を採用するとよい。
(1)制御部11は、位置情報取得部20を用いて位置情報を取得する。また、制御部11は、信号待ちの車両400から撮影した信号機の画像に基づいて、信号機が赤色で点灯する時間を求める。ここでいう赤色で点灯する時間は、上述した長さTaの点灯期間とは異なり、信号機の点灯色が赤色に変わってから、別の点灯色に変わるまでの時間とするとよい。信号待ちであるかどうかは、車両400が停車状態で、かつ撮影部15に信号機が移っているかどうかに基づいて判定されるとよい。車両の停車状態は、車両が停車していることを示す状態で、車両400が現に停車しているか、または停車しているとみなせる又は推定できる状態をいうとよい。車両400が停車状態であるかどうかは、車両400の速度が0km/hであることとするとよいが、GNSSの測位誤差を考慮して所定速度未満であることとしてもよい。また、制御部11は、車両情報に基づいて停車状態かどうかを判定してもよい。制御部11は、撮影部15により撮影した画像を解析して、赤色で点灯しているかどうかを判定し、赤色で点灯している時間が継続している時間(例えば、フレーム数)に基づいて、信号機が赤色で点灯する時間を求めるとよい。制御部11は、求めた赤色の点灯時間と、撮影部15の位置情報と、車両400の進行方向とを関連付けて、所定の出力先に出力するとよい。このようにすると、より少ない情報で、どの地点のどの方向の信号機が、どの程度の時間赤色で点灯するのかの情報を出力することができる。車両400の進行方向は、例えば位置情報取得部20の位置情報の履歴(例えばGPS履歴)により特定されるとよいが、地磁気センサその他のセンサを用いて特定されてもよい。出力としては、記憶媒体500に例示される所定の記録先への記録、及びサーバ装置900に例示される所定の送信先への送信の少なくとも一方とするとよい。
(2)制御部11は、(1)の情報に、さらに、以下の(a)~(h)の少なくともいずれか一つを関連付けて、所定の出力先に出力してもよい。このようにすると、信号機の点灯の状態を含む特定の状況下での、車両の状況を特定するのに役立つより詳細な情報を、出力することができる。
(a)現在時刻を示す時刻情報
(b)撮影部15の撮影した画像データ(映像情報)
(c)信号機の青色→赤色(つまり、青色から赤色に変化したこと)の認識の確度を示す確度情報(例えば、物体認識の確率情報とするとよい。)
(d)信号機の赤色→青色(つまり、赤色から青色に変化したこと)の認識の確度を示す確度情報(例えば、物体認識の確率情報とするとよい。)
(e)信号機の青色→赤色の変化時の車両400の速度を示す速度情報
(f)信号機の赤色→青色の変化時の車両400の速度を示す速度情報(例えば、いわゆる名古屋走り検出となる。)
(g)信号機の青色→赤色の変化時の車両400の加速度を示す加速度情報
(h)信号機の赤色→青色の変化時の車両400の加速度を示す加速度情報
(3)制御部11は、(1)の情報に、さらに、信号機の赤色→青色と認識したときの前後の2枚(2つのフレーム)の画像を示す画像データを関連付けて、所定の出力先に出力するとよい。このようにすると、動画像を送信するよりも情報量を押さえられるとともに、信号機の赤色→青色と変化した時点が正しく検出されたかを、後で検証することができる。
(4)制御部11は、(1)の情報に、さらに、信号機の青色→赤色と認識したときの前後の2枚(2フレーム)の画像を示す画像データを関連付けて、所定の出力先に出力するとよい。このようにすると、動画像を送信するよりも情報量を押さえられるとともに、信号機の青色→赤色と変化した時点が正しく検出されたかを、後で検証することができる。信号機の青色→赤色の変化は、車両の走行中に発生することが多いため(例えば、渋滞を除けば、ほぼ走っている)、赤色→青色の変化の場合よりも誤認識の可能性が高いと考えられるため、特に有用である。
(5)サーバ装置900において制御部901は、複数の車両から(1)~(3)で説明した関連付けられた情報を取得する取得部と、関連付け情報に含まれる位置情報に基づいて複数の情報を統合して、各信号機は赤色で点灯する時間を求める制御を行う制御部として機能するものとするとよい。このようにすると、複数の車両から取得した情報に基づいて、各信号機の赤色での点灯時間を求めることができる。複数の情報を統合は、同じ位置情報とみなせる情報を統合することとするとよい。サーバ装置900は、例えば、所定距離範囲内で位置情報が一致し、かつ車両の進行方向が同じである情報を統合するとよい。
[第7実施形態]
撮影装置100は、複数の異なるフレームレートの出力モードで出力する機能を備えた撮影部15を備える構成のもと、以下の(1)~(3)のいずれかで説明する撮影処理を行うようにしてもよい。
本実施形態では、撮影部15として、以下の第1モード、及び第2モードで撮影可能な撮影部を採用する場合を説明する。
第1モード:画像サイズ:WUXGA(1920画素×1200画素)、フレームレート:50fps(10ビット)、30fps(12ビット)
第2モード:画像サイズ:Full HD(1920画素×1080画素)、フレームレート:60fps(10ビット)、40fps(12ビット)
(1)制御部11は、位置情報取得部20を用いて現在位置の位置情報を取得する。そして、制御部11は、現在位置の位置情報に基づいて、現在位置が西日本か、又は東日本かを判定する。このような判定の切り分けは、商用電源周波数は60Hzか、50Hzか基づいている。制御部11は、現在位置が西日本においては、第1モードで動作し、フレームレートを50fpsで画像サイズをWUXGAとした、第1モードで撮影する。一方、制御部11は、現在位置が東日本においては、フレームレートを60fpsで画像サイズをFull HDとした、第2モードで動作する。さらに、制御部11は、現在位置が西日本においては、WUXGAのサイズの画像の一部分を使って、望ましくはWUXGAの中心部分のFullHDを使って、画像を記録するようにして、画像サイズを西日本と東日本とで合わせる機能を有するとよい。このような動作モードを、「動作モードA」という。なお、現在位置が西日本においては、第1モード、現在位置が東日本においては、第2モードとすることで、フレームレートが商用電源周波数に同期し続けるのを抑えられる。
(2)制御部11は、位置情報取得部20を用いて現在位置の位置情報を取得する。そして、制御部11は、現在位置の位置情報に基づいて、現在位置が西日本か、東日本かを判定する。制御部11は、現在位置が西日本においては、第2モードで動作し、フレームレートを40fpsで画像サイズをFull HDととした、第2モードで撮影する。一方、制御部11は、現在位置が東日本においては、フレームレートを30fpsで画像サイズをWUXGAとした、第1モードで動作する。さらに、制御部11は、現在位置が東日本においては、WUXGAのサイズの画像の一部分を使って、望ましくはWUXGAの中心部分のFullHDを使って、画像を記録するようにして、画像サイズを東日本と西日本とで合わせる機能を有するとよい。このような動作モードを、「動作モードB」という。
(3)制御部11は、(1)の動作モードAと、(2)の動作モードBとをユーザ設定、又は自動設定で切り替える機能を備えるようにするとよい。ユーザ設定は、例えば、入力部12の所定の操作部の操作により行われるとよい。自動設定での切り替えは、制御部11は現在位置とユーザの希望する画像サイズに応じて切り替えてもよい。
[変形例]
本発明は上記の実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、以下で説明する変形例どうしも、適宜組み合わせが可能である。
(1)撮影装置100は、撮影部15の撮像素子の露光時間を信号機の点滅周期(例えば、90Hz)よりも長い時間に固定して撮影する構成のもと、温度が上昇すると、撮像素子を強制冷却させるための制御を行うとよい。温度は撮影装置100の内部の温度、又は外気温とするとよく、撮影装置100の温度が上昇していることを直接又は間接に特定可能な温度とするとよい。冷却手段としては、ファン、水流その他の撮影装置100の温度を低下させる機能を有する冷却手段とするとよい。
(2)上述した実施形態では、所定の周期で点灯と消灯とを繰り返す撮影対象物をLEDを有する信号機として、その信号機の点灯状態を撮影するための構成を説明した。所定の周期で点灯と消灯とを繰り返す撮影対象物は、信号機に限られず、LEDを用いた交通標識(つまりLED標識)その他の物体、あるいは、LED以外の発光体(例えば、レーザーダイオード)を備える物体としてもよい。この場合でも、撮影対象物が消灯したタイミングで撮像し続けることを抑えることができる。
(3)撮影装置として、ドライブレコーダを説明したが、所定の周期で点灯と消灯とを繰り返す所定の撮影対象物を撮影可能な位置に配置される撮影部を有する撮影装置に適用できる。例えば、ドライブレコーダ代わりに使用されるスマートフォンその他の撮影装置に適用されてもよい。また、防犯カメラ等の車載以外の撮影装置に本発明を適用してもよい。
(4)上述した各実施形態で説明した構成及び動作の一部が省略又は変更されてもよい。例えば、上述した実施形態では、撮影装置100が通信部16を備えていたが(例えば、通信型ドライブレコーダであったが)、撮影装置100が通信部16を有しない構成としてもよいし、あるいは、無線通信機能を有する外部機器を外付けする構成であってもよい。また、上述した実施形態で説明した規格、数値等は例示で、例えば同様の作用効果を奏する範囲内で変更されてもよい。
(5)上述した各実施形態で説明した撮影装置100が行う制御・動作の一部が省略又は変更されてもよい。また、上述した実施形態で、送信としていた構成は、出力する構成と読み替えられてもよい。出力としては、送信以外の出力、例えば記録(記憶)や印刷による出力等とすることも可能である。また、制御部11の機能は、1又は複数のハードウェア資源、1又は複数のソフトウェア資源、又はこれらも組み合わせにより実現されるとよい。ソフトウェア資源で実現される機能については、当該機能を実現するためのプログラムが、インターネットその他のネットワークを介して配信されてもよい。
(6)上述した実施形態で説明した各機能は、1又は複数のハードウェア要素、1又は複数のソフトウェア要素、これらの組み合わせのいずれで実現されてもよい。また、各機能は、物理的又は論理的に結合した1つの装置により実現されてもよいし、物理的又は論理的に分離した2つ以上の装置により実現されてもよい。
上述した実施形態で説明したプログラムを記憶する記憶媒体は、上述した実施形態で説明したものに限られず、コンピュータが読取可能な記憶媒体であればよい。コンピュータが読取可能な記憶媒体としては、半導体記憶媒体、光学式記憶媒体、磁気記憶媒体等の各種記憶方式の記憶媒体とするとよい。また、コンピュータが読取可能な記憶媒体としては、プログラムに基づく機能を実現する装置に内蔵された記憶媒体、当該装置に外付けされた記憶媒体、及び当該装置と電気通信回線(例えば、有線及び/又は無線)を介して接続されたサーバ等の記憶媒体、その他の記憶媒体とするとよい。
上述した実施形態で説明したプログラムに基づく機能を実現するコンピュータは、上述した実施形態で説明した装置のコンピュータに限られない。当該機能の目的や用途、性質等に応じて、他のコンピュータにより当該機能が実現されてもよい。例えば、撮影装置のビューアプログラムで実現される機能は、適宜、撮影装置で撮影された画像を再生するパーソナル・コンピュータや、スマートフォン、タブレット型コンピュータその他の装置のコンピュータのビューアプログラムで実現されてもよい。また、上述した実施形態で説明したプログラムに基づく機能を、上述した実施形態した装置とは異なる装置に転用して実現してもよく、例えば、より汎用的な用途のコンピュータで実現してもよい。上述した実施形態で説明したプログラムが、例えば、パーソナル・コンピュータにより実行されるプログラム(例えば、パソコンソフト)、スマートフォンにより実行されるプログラム(例えば、スマホアプリ)、その他の情報処理端末のコンピュータで実行されてもよい。あるいは、プログラムに基づく機能を実現するコンピュータは、家庭用機器、業務用機器等の特定の用途の機器に用いられるコンピュータとしてもよい。
また、アプリケーションプログラムによって実現されるとして説明された機能が、オペレーティングシステムや、ミドルウェア、ファームウェアその他のアプリケーションプログラム以外のプログラムによって実現されてもよい。
また、所定の情報の報知又は通知は、ユーザが報知又は通知を認識できればよいところ、明示的に行うものに限られず、暗黙的(すなわち、明示的な当該所定の情報の報知あるいは通知を行わない)に行うこととしてもよい。
本発明の範囲は、明細書に明示的に説明された構成や限定されるものではなく、本明細書に開示される本発明の様々な側面の組み合わせをも、その範囲に含むものである。本発明のうち、特許を受けようとする構成を、添付の特許請求の範囲に特定したが、現在の処は特許請求の範囲に特定されていない構成であっても、本明細書に開示される構成を、将来的に特許請求の範囲とする意思を有する。
本願発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変形例の任意の構成要素と、発明を解決するための手段に記載の任意の構成要素又は発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正又は分割出願等において権利取得する意思を有する。「~の場合」「~のとき」という記載があったとしてもその場合やそのときに限られる構成として記載はしているものではない。これらの場合やときでない構成についても開示しているものであり、権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えた構成についても開示しているものであり、権利取得する意思を有する。
また、意匠登録出願への変更により、全体意匠又は部分意匠について権利取得する意思を有する。図面は本装置の全体を実線で描画しているが、全体意匠のみならず当該装置の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の部材を部分意匠とすることはもちろんのこと、部材と関係なく当該装置の一部の部分を部分意匠として包含した図面である。当該装置の一部の部分としては、装置の一部の部材としてもよいし、その部材の部分としてもよい。全体意匠はもちろんのこと、図面の実線部分のうち任意の部分を破線部分とした部分意匠を、権利化する意思を有する。また、装置の筐体の内部のモジュール・部材・部品、画像等についても、図面に表示されているものは、いずれも独立して取引の対象となるものであって、同様に、意匠登録出願への変更を行って権利化を行う意思を有するものである。
1 :システム
11 :制御部
12 :入力部
13 :表示部
14 :音声出力部
15 :撮影部
16 :通信部
17 :センサ部
18 :リーダライタ
19 :端子部
20 :位置情報取得部
21 :発光部
22 :電源制御部
35 :通信部
92 :通信部
100 :撮影装置
101 :筐体
102 :ジョイントレール
103 :放音孔
104 :マイク孔
111 :プロセッサ
112 :メモリ
113 :計時部
121 :マイクロホン
122 :イベント記録ボタン
123 :操作部
124 :タッチセンサ
131 :表示面
151 :撮像レンズ
152 :撮像素子
153 :NDフィルタ
154 :アイリス
181 :記憶媒体挿入口
191 :カメラジャック
192 :端子
200 :撮影装置
300 :ケーブル
400 :車両
500 :記憶媒体
600 :ブラケット
610 :ベース部
611 :取付面
620 :ボールスタッド
621 :ボール部
630 :ソケット部
640 :ナット
650 :ベース部
651 :ガイドレール
652 :先端部
700 :撮影画像
710 :信号機
800 :撮影画像
810 :信号機
820 :信号機
830 :信号機
860 :信号機
870 :信号機
900 :サーバ装置
901 :制御部
902 :通信部
903 :記憶部
910 :領域
1011 :上面
1012 :第1の側面
1013 :第2の側面
1014 :第3の側面
1015 :第4の側面
1231 :第1のボタン
1232 :第2のボタン
1233 :第3のボタン
1234 :第4のボタン
1533 :第1の遮蔽部
1534 :第2の遮蔽部
1541 :基部
1542 :開口部
1543 :第1の遮蔽部
1544 :第2の遮蔽部
1545 :駆動部

Claims (26)

  1. 車両に配置される撮影部と、
    所定の周期で点灯と消灯とを繰り返す撮影対象物が前記撮影部により撮影されるタイミングを、前記撮影対象物が点灯するタイミングとする制御を行う制御部と
    を有するシステム。
  2. 前記撮影部は、
    所定の露光時間で撮影し、
    前記制御部は、
    前記撮影対象物が消灯している時間よりも長い露光時間を保つように、前記所定の露光時間を設定する
    請求項1に記載のシステム。
  3. 前記撮影部は、
    画素ごとに、第1受光部と、前記第1受光部よりも小さい第2受光部とを有し、前記第1受光部による受光と前記第2受光部による受光とに応じた値を有する画像データを生成し、
    前記制御部は、前記第2受光部について、前記撮影対象物が消灯している時間よりも長い露光時間を保つように、前記所定の露光時間を設定する
    請求項2に記載のシステム。
  4. 前記制御部は、
    前記第1受光部と前記第2受光部とで同じ周期で撮影させ、かつ前記第1受光部の露光時間よりも前記第2受光部の露光時間を長くする
    請求項3に記載のシステム。
  5. 前記制御部は、
    前記所定の露光時間を、前記撮影対象物の点灯及び消灯が明暗として撮影される長さの時間とする
    請求項4に記載のシステム。
  6. 前記制御部は、前記所定の露光時間を略6msとする
    請求項3に記載のシステム。
  7. 前記制御部は、前記所定の露光時間を6ms以上8.33ms以下とする
    請求項5に記載のシステム。
  8. 前記制御部は、
    前記同じ周期で撮影された複数フレームの画像を示す画像データを、所定の送信先に送信する送信処理を行う
    請求項7に記載のシステム。
  9. 前記制御部は、
    前記撮影部により所定の間隔で撮影して、フレームごとに、前記撮影部が撮影した画像に消灯している前記撮影対象物が含まれているか否かを認識し、
    連続する2つのフレームの画像において、前記消灯している前記撮影対象物が含まれていると判定した場合、前記撮影部の撮影の間隔を所定時間だけずらす
    請求項1から8のいずれか1項に記載のシステム。
  10. 前記撮影対象物は、信号機であり、
    前記所定時間は、信号機で一般的な点灯周期中の点灯時間内の時間である
    請求項9に記載のシステム。
  11. 前記撮影対象物は、信号機であり、
    前記制御部は、
    信号機を撮影した画像に基づいて、機械学習の推論により前記所定時間を特定し、
    前記推論に用いる学習モデルは、その学習に、消灯した状態の信号機を撮影した画像を用いて生成されたものである
    請求項9に記載のシステム。
  12. 前記撮影対象物は、信号機であり、
    前記制御部は、
    前記撮影部が撮影した1つのフレームの画像内に、前記撮影対象物として複数の信号機が映っているか、又は1つの信号機が映っているかを判定し、
    前記複数の信号機が映っている場合と、前記1つの信号機が映っている場合とで、前記撮影部を用いた撮影処理を異ならせる
    請求項9に記載のシステム。
  13. 前記制御部は、
    前記撮影部が撮影した画像に複数の信号機が映っていると判定した場合、前記撮影した画像における一番大きな信号機に基づいて、前記撮影対象物が撮影されるタイミングを前記点灯のタイミングとする制御を行う
    請求項12に記載のシステム。
  14. 前記制御部は、
    前記撮影部が撮影した画像に複数の信号機が映っていると判定した場合、前記画像において左右方向の中心に近い信号機に基づいて、前記撮影対象物が撮影されるタイミングを前記点灯のタイミングとする制御を行う
    請求項12に記載のシステム。
  15. 前記撮影対象物は、信号機であり、
    前記制御部は、
    前記撮影部が撮影した画像のうちの上下方向における上方に位置する一部の画像領域において、信号機を認識する処理を行うように制限する
    請求項9に記載のシステム。
  16. 前記撮影対象物は、信号機であり、
    前記制御部は、
    前記撮影部が撮影した画像において、所定の周期で点灯と消灯とを繰り返す物体のうち、前記車両の速度よりも速く移動する、又は前記車両の速度よりも遅く移動する物体を、信号機でないものとして処理する
    請求項9に記載のシステム。
  17. 前記制御部は、
    前記撮影部により一定の間隔で画像を撮影して記録する第1の記録処理と、前記撮影部により撮影された画像を、前記点灯のタイミングとする制御に応じて撮影の間隔を調整して記録する第2の記録処理とを並行して行う
    請求項9に記載のシステム。
  18. 前記制御部は、
    前記撮影部により所定の間隔で撮影した画像を含む動画像を前記点灯のタイミングとする制御を行って記録する場合、当該間隔の調整をした箇所と調整した間隔に関する情報を記録し、
    前記記録した画像を再生する場合には、前記情報を用いて、前記調整した間隔分の動画像を前後のフレームの画像に基づいて補完して再生する
    請求項17に記載のシステム。
  19. 前記撮影部は、NDフィルタと、前記NDフィルタを通過した光を撮像する撮像素子とを有し、
    前記制御部は、
    前記撮影部の周辺が第1の明るさの場合は、前記撮影部の露光時間が前記撮影対象物が点灯した状態で映る時間となるように、前記撮像素子に前記NDフィルタを通過した光を撮像させ、
    前記撮影部の周辺が第1の明るさよりも暗い第2の明るさの場合は、前記撮像素子に前記NDフィルタを通過していない光を撮像させる
    請求項9に記載のシステム。
  20. 前記制御部は、
    前記撮影部のアイリスの絞りを、前記撮影部の周辺が第3の明るさの場合は、前記撮影部の露光時間が前記撮影対象物が点灯した状態で映る時間となるように制御し、
    前記撮影部の周辺が第3の明るさよりも暗い第4の明るさの場合は、前記アイリスの絞りを開放する
    請求項9に記載のシステム。
  21. 前記撮影対象物は、信号機であり、
    前記車両の位置情報を取得する位置情報取得部を備え、
    前記制御部は、
    信号待ちの前記車両から撮影した信号機の画像に基づいて、信号機が赤色で点灯する時間を求め、当該時間と、前記撮影部の位置情報と、前記車両の進行方向とを関連付けて、所定の出力先に出力する
    請求項9に記載のシステム。
  22. 前記制御部は、
    さらに、時刻情報と、前記撮影部が撮影した画像を示す画像情報と、信号機の色が変化したときの認識の確度情報と、信号機の色が変化したときの車両の速度情報と、信号機の色が変化したときの車両の加速度情報との少なくともいずれか一つを関連付けて、前記所定の出力先に出力する
    請求項21に記載のシステム。
  23. 前記制御部は、
    さらに、信号機の点灯の状態が赤色から青色に変化したことを認識したときの前後の2つのフレームの画像を、前記所定の出力先に出力する
    請求項21に記載のシステム。
  24. 前記制御部は、
    さらに、信号機の点灯の状態が青色から赤色に変化したことを認識したときの前後の2つのフレームの画像を、前記所定の出力先に出力する
    請求項21に記載のシステム。
  25. 請求項21に記載のシステムであって、複数の車両に搭載されたシステムから出力された前記関連付けられた情報を取得する取得部と、
    前記位置情報に基づいて複数の情報を統合して、各信号機が赤色で点灯する時間を求める制御を行う制御部と、
    を有するサーバ装置。
  26. コンピュータに、請求項1から8のいずれか1項に記載のシステムの機能を実現させるためのプログラム。
JP2022138199A 2022-08-31 2022-08-31 システム及びプログラム等 Pending JP2024034145A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022138199A JP2024034145A (ja) 2022-08-31 2022-08-31 システム及びプログラム等

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022138199A JP2024034145A (ja) 2022-08-31 2022-08-31 システム及びプログラム等

Publications (1)

Publication Number Publication Date
JP2024034145A true JP2024034145A (ja) 2024-03-13

Family

ID=90193824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022138199A Pending JP2024034145A (ja) 2022-08-31 2022-08-31 システム及びプログラム等

Country Status (1)

Country Link
JP (1) JP2024034145A (ja)

Similar Documents

Publication Publication Date Title
JP7122729B2 (ja) ドライブレコーダー、ドライブレコーダー用表示装置及びプログラム
US10944912B2 (en) Systems and methods for reducing flicker artifacts in imaged light sources
JP7274793B2 (ja) ドライブレコーダー、ドライブレコーダー用表示装置及びプログラム
CN102211547B (zh) 行车视觉盲区侦测***及方法
KR100956400B1 (ko) 다기능 영상처리 모듈이 탑재된 지능형 주차면 카메라 장치 및 이를 이용한 주차면 관리 시스템
JP2022169621A (ja) 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等
WO2023241521A1 (zh) 一种盲区监控***和方法
CN106494310A (zh) 一种车载虚拟透明成像显示方法和显示***
JP6967801B2 (ja) ドライブレコーダー、ドライブレコーダー用表示装置及びプログラム等
JP2007272867A (ja) 道路状況撮影装置及びこれを用いた道路状況撮影システム
KR20210018246A (ko) 정보처리장치, 정보처리방법 및 정보처리시스템
JP2024034145A (ja) システム及びプログラム等
JP2009165081A (ja) ステレオカメラシステム
US10891757B2 (en) Low-light camera occlusion detection
CN217955272U (zh) 停车场管理***
US20200275022A1 (en) Automotive driving recorder
JP6661858B2 (ja) システム、プログラム、撮像装置、及び、ソフトウェア
JP2021057634A (ja) 映像記録装置
TW201931323A (zh) 讓行車記錄器能提供更多功用的方法和運用該方法的行車記錄器
WO2018012317A1 (ja) 信号処理装置、撮影装置、及び、信号処理方法
JP2023176441A (ja) システム、制御方法、プログラム等
CN208569716U (zh) 行车记录仪
CN211196040U (zh) 一种流媒体后视镜***及汽车
JP2024005859A (ja) システム、制御方法、プログラム等
TWI831096B (zh) 模組化車載控制系統