JP2023179491A - システムおよびプログラム等 - Google Patents
システムおよびプログラム等 Download PDFInfo
- Publication number
- JP2023179491A JP2023179491A JP2023150689A JP2023150689A JP2023179491A JP 2023179491 A JP2023179491 A JP 2023179491A JP 2023150689 A JP2023150689 A JP 2023150689A JP 2023150689 A JP2023150689 A JP 2023150689A JP 2023179491 A JP2023179491 A JP 2023179491A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- video signal
- video
- circuit
- signal conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 149
- 238000012545 processing Methods 0.000 claims description 67
- 238000000034 method Methods 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 239000011521 glass Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 description 59
- 230000001360 synchronised effect Effects 0.000 description 22
- 230000005540 biological transmission Effects 0.000 description 20
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 13
- 238000013461 design Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 241000282412 Homo Species 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 2
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 2
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 2
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 2
- 208000003028 Stuttering Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Studio Devices (AREA)
Abstract
【課題】従来よりも優れたシステムを提供する。【解決手段】システム1は、カメラ10-1~10-4と、カメラ10-1~10-4で撮像された映像を圧縮して記憶媒体60に記憶させるカメラ映像記録回路40と、を備える。第2映像信号変換回路30は、カメラ10-1~10-4とカメラ映像記録回路40との間を伝送する映像信号を、当該映像信号に基づいて画像認識機能を実現する画像認識回路50に分配する。カメラ映像記録回路40は、画像認識機能による認識の結果に応じてトリガー信号TGを受け取った場合は、記憶媒体60にカメラ10-1~10-4の映像を記録する。【選択図】図1
Description
本発明は、システムおよびプログラム等に関する。
従来より、カメラを備え、当該カメラの映像を記録するシステムが知られている。
例えば、このようなカメラの映像を記録等する機能を備えるシステムにおいては、様々な課題があった。本発明の目的の一つは、従来よりも優れたシステム等を提供することである。
本願の発明の目的はこれに限定されず、本明細書および図面等に開示される構成の部分から奏する効果を得ることを目的とする構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」と記載した箇所を「~が課題である」と読み替えた課題が本明細書には開示されている。課題はそれぞれ独立したものとして記載しているものであり、各々の課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。課題が明細書の記載から黙示的に把握されるものであっても、本出願人は本明細書に記載の構成の一部を補正または分割出願にて特許請求の範囲とする意思を有する。またこれら独立の課題を組み合わせた課題を解決する構成についても開示しているものであり、権利取得する意思を有する。
本発明は、例えば以下の態様の発明として把握することができるものである。
(1)カメラと、前記カメラで撮像された映像を圧縮して記憶手段に記憶させるカメラ映像記録回路とを備えるシステムであって、前記カメラと前記カメラ映像記録回路との間を伝送する信号を、当該信号に基づいて所定の機能を実現する電子部品に分配する信号分配手段を備えるシステムとするとよい。
(1)カメラと、前記カメラで撮像された映像を圧縮して記憶手段に記憶させるカメラ映像記録回路とを備えるシステムであって、前記カメラと前記カメラ映像記録回路との間を伝送する信号を、当該信号に基づいて所定の機能を実現する電子部品に分配する信号分配手段を備えるシステムとするとよい。
このようにすれば、カメラで撮像した映像を圧縮して記憶手段に記憶させることができるとともに、所定の機能を実現する電子部品おいて、分配されたカメラとカメラ映像記録回路との間の信号に基づいて所定の機能を実現することができる。
カメラは、各種のカメラとすることができるが、CCD(Charge Coupled Device)カメラとすることができ、特にCMOS(Complementary Metal-Oxide-Semiconductor)カメラとするとよい。カメラは静止画を撮像するためのカメラとすることもできるが、特に動画を撮像するためのカメラとするとよい。カメラは赤外線カメラのような特殊なカメラとすることができるが、可視光を撮像するカメラとするとよく、特に可視光のカメラとするとよい。カメラはモノクロの映像が得られるカメラとしてもよいが、カラーの映像が得られるカメラとするとよい。カメラは、例えば、赤(R)、緑(G)、青(B)のカラーフィルタを平面に配置したカメラとするとよい。カメラの解像度は、VGA以上の解像度とするとよい。
カメラは、例えば撮像素子を備える部分を指してもよいが、撮像素子そのものを指してもよい。
特に、カメラは車両に設置されたカメラとするとよい。特に、カメラは車両のメーカーの出荷後に後付されるカメラとするとよい。
カメラ映像記録回路に備える映像の圧縮部は、各種のアルゴリズムのものを用いることができるが、特に規格化されたアルゴリズムのエンコーダーを用いるとよく、特にH.264エンコーダーまたはH.265エンコーダーの少なくともいずれか一方を備えるものとするとよい。特に、カメラ映像記録回路に備える映像のエンコーダーは、ソフトウェア処理で行うものではなく、ハードウェアで構成されたものとするとよい。エンコーダーは、単なるFPGA(Field-Programmable Gate Array)ではなく、SoC(System-on-a-Chip)とすることが望ましい。このように、カメラ映像記録回路は、カメラ映像記録チップとしてもよい。カメラ映像記録回路は、ソフトマクロではなく、ハードマクロで構成されたものが望ましい。
カメラ映像記録回路は、カメラ映像記録の専用チップとして販売されているものとすると特によい。カメラ映像記録回路は、例えば、カメラ映像記録用のASSP、カメラ映像記録用のSoCなどのカメラ映像記録用のLSI(Large Scale Integrated circuit)とするとよく、特にカメラ映像記録回路はドライブレコーダー用SoCとするとよい。
記憶手段は、特に着脱可能な記憶手段とするとよく、特にSD(登録商標)カード、micro SD(登録商標)カード等のカード状の媒体とするとよい。
前記カメラと前記カメラ映像記録回路との間を伝送する信号は、特に、制御信号としてもよいが、特に映像信号または映像の同期信号の少なくともいずれか一方を含むようにするとよい。映像の同期信号は、ピクセルクロック、垂直同期信号、または水平同期信号のうち少なくともいずれか1つするとよく、特に少なくともいずれか2つとするとよい。特に、ピクセルクロックと垂直同期信号とするとよい。
カメラの映像を伝送する映像信号は、例えば、映像チャンネル単位に同期された映像をシリアルで伝送してもいいし、パラレルに伝送してもよい。または、シリアルとパラレルとを組み合わせて伝送してもよい。特に、映像のフレーム単位に、その時の時刻やイベント情報、センサ情報などデータで重畳したり、映像に重畳したりするとよい。同期をとられた単位に、その時の時刻やイベント情報、センサ情報などのデータで重畳してもよいし、映像に重畳してもよい。
映像信号を分配するものとした場合、例えば所定のプロトコルの映像信号を入力し、入力したプロトコルと同一のプロトコルで複数の出力先に分配して出力するものとするとよい。例えば、映像信号としてMIPI CSI-2信号を出力するカメラであれば、信号分配手段はMIPI CSI-2信号スプリッターチップとするとよい。
映像信号を分配するものとした場合、例えば所定のプロトコルの映像信号を入力し、入力したプロトコルとは異なるプロトコルであって複数の出力先について同一のプロトコルの信号を出力するものとするとよい。例えば、映像信号としてFPD-LINK III信号を出力するカメラであれば、信号分配手段はFPD-LINK III信号を入力して例えば複数のMIPI CSI-2信号として出力するポートを備えた回路(例えば、1ポート入力2ポート出力のデュアルポート出力デシリアライザーハブなど)とするとよい。特にMIPI CSI-2信号として出力するポートはあるポートのレプリカを他のポートに出力する機能を備えたものとするとよい。特にデシリアライザーハブチップとするとよい。
所定の機能を実現する電子部品は、特に前記カメラとは別のカメラまたは画像認識回路の少なくともいずれか一方を備えるとよい。所定の機能を実現する電子部品がカメラを備えるときは、所定の機能は前記カメラとは異なる範囲を含む別の領域を撮像する機能とするとよい。所定の機能を実現する電子部品が画像認識回路を備えるときは所定の機能は画像認識機能とするとよい。
信号分配手段は、例えば単純に配線を分岐するものとしてもよいが、特に分配した複数の信号線の間を伝送する信号の同期が取れるように分配する機能を備えるものとするとよく、特に分配した複数の信号線の間を伝送する信号の同期が取れるように分配する機能を備えた回路(例えば、チップ)とするとよい。
カメラとカメラ映像記録回路は同一の筐体内に備える構成としてもよいが、それぞれ別の筐体に備える構成とし、両筐体間はケーブルやコネクタ等の接続手段で接続するように構成するとよい。カメラとカメラ映像記録回路との間は1メートル以上のケーブルを介して接続される構成とするとよい。特にカメラとカメラ映像記録回路は、車両の中で引き回されるケーブルを介して接続されるものとするとよい。
(2)前記電子部品は、前記カメラとは異なる別のカメラを有し、前記信号は、同期信号生成手段が生成した映像の同期信号を含み、分配された前記同期信号に基づいて、前記カメラおよび前記別のカメラの各々の映像信号を、前記カメラ映像記録回路へ出力する構成とするとよい。
このようにすれば、カメラ映像記録回路側においてカメラと別のカメラとの間で同期した映像信号が得られる。例えば、カメラ映像記録回路においてカメラと別のカメラとの間で同期した映像信号を入力して、この入力した同期した複数の映像の信号に基づく映像を圧縮して記録することができる。例えば記録した複数の映像の信号を同時に再生したとき、同期した複数の映像を見ることができる。なお、映像の圧縮は複数のカメラのそれぞれで別々のファイルに行うようにしてもよいが、1つのファイルに行うようにするとよい。
(3)前記カメラが、前記同期信号生成手段を有し、前記信号分配手段は、前記同期信号を前記別のカメラへ分配する構成とするとよい。
このようにすれば、前記別のカメラから出力される映像信号は前記カメラの中で生成された同期信号に基づく映像信号となり、両カメラの同期を取りやすくなる。特に、この構成を採用するとともに、前記カメラと前記別のカメラとを同一の筐体に備える構成とするとよい。同期信号の引き回し距離が短いときに特に優れた効果を発揮する。
カメラの中としては、特に撮像素子の中で生成したものとするとよい。このようにすれば入力した同期信号に同期して撮像する外部同期可能な撮像素子を使わなくてもよく、低コストかつ簡便に構成できる。
(4)前記同期信号生成手段は、前記カメラおよび前記別のカメラの外部に備えられ、前記信号分配手段は、前記同期信号を前記カメラおよび前記別のカメラへ分配する構成とするとよい。
このようにすれば、前記別のカメラから出力される映像信号と、前記別のカメラから出力される映像信号との同期が取りやすい。
特に、この構成を採用するとともに、前記カメラと前記別のカメラとを異なる筐体に備える構成とするとよい。同期信号の引き回し距離が比較的長いときに特に優れた効果を発揮する。
(5)前記カメラ映像記録回路が、前記同期信号生成手段を有し、前記信号分配手段は、前記同期信号を前記カメラおよび前記別のカメラへ分配する構成とするとよい。
このようにすれば、映像の記録処理に合わせたタイミング等でカメラおよび別のカメラから同期した映像信号を得られる可能性を高められる。
(6)前記カメラおよび前記別のカメラから出力される信号を、ケーブルを介した伝送用の映像信号に変換する第1映像信号変換手段を有する第1映像信号変換回路と、前記ケーブルを介して伝送された前記映像信号を、前記カメラ映像記録回路に入力可能な映像信号に変換する第2映像信号変換手段を有する第2映像信号変換回路と、を備え、前記同期信号生成手段は、前記第1映像信号変換回路内または前記第2映像信号変換回路内に備えられ、前記信号分配手段は、前記第1映像信号変換回路内または前記第2映像信号変換回路内に備えられ、前記同期信号を前記カメラおよび前記別のカメラへ分配する構成とするとよい。
このようにすれば、前記カメラと前記別のカメラとから、両カメラが同期した映像信号を、ケーブルを介してカメラ映像記録回路に入力して記録することが容易にできる。
ケーブルは比較的長距離とするとよい。比較的長距離としては、前記カメラまたは前記別のカメラの少なくとも一方を備えるカメラユニット内の配線に必要な長さよりも長い距離とするとよく、特に1メートル以上とするとよい。
第1映像信号変換手段は例えばシリアライザー、第2映像信号変換手段は例えばデシリアライザーとするとよい。第1映像信号変換回路は特にシリアライザーチップ、第2映像信号変換回路は特にデシリアライザーチップとするとよい。第1映像信号変換回路と第2映像信号変換回路との間の伝送可能距離は、カメラおよび別のカメラが車載カメラである場合、特に数mの伝送が可能なものを用いるとよい。
また例えば、前記カメラと第1の第1映像信号変換回路とを有する第1のカメラユニットと、前記別のカメラと第2の第1映像信号変換回路とを有する第2のカメラユニットと、第2映像信号変換回路とカメラ映像記録回路とを有する記録ユニットとを備え、前記第1のカメラユニットと前記記録ユニットの間を第1のケーブル、前記第2のカメラユニットと前記記録ユニットの間を第2のケーブルで接続し、それぞれの映像信号を伝送するようにしてもよい。例えば、車両のフロントガラスに取り付けられる前記カメラ(第1カメラ)が車両の前方を撮像するように設置された第1のカメラユニットと、車両のリアガラスに取り付けられ前記別のカメラ(第2カメラ)が車両の後方を撮像するように設置された第2のカメラユニットを備え、ダッシュボード上あるいは助手席の下等に設けた記録ユニットが両カメラユニットにそれぞれ別のケーブルで接続される構成とするとよい。あるいは記録ユニットと第1のカメラユニットを1つのユニットとして構成してもよい。
また例えば、前記カメラと第1の第1映像信号変換回路とを有する第1のカメラユニットと、前記別のカメラと第2の第1映像信号変換回路とを有する第2のカメラユニットとを第1のケーブルで接続し、第2映像信号変換回路とカメラ映像記録回路とを有する記録ユニットと第2のカメラユニットとを第2のケーブルで接続する構成とし、それぞれの映像信号を伝送するようにしてもよい。
また、例えば、一つのカメラユニットに前記カメラと前記別のカメラを含む複数のカメラと第1映像信号変換回路を備え、第1映像信号変換回路は1つのケーブルにこれら複数のカメラの映像信号を流すよう変換し、当該1つのケーブルを介して第2映像信号変換回路とカメラ映像記録回路とを備えた記録ユニットに伝送して、記録手段に複数のカメラの映像を記録するようにするとよい。例えば、車両のフロントガラス等に取り付けられるカメラユニットであって、車両前方を撮像する前記カメラ(第1カメラ)と車両の後方を撮像する前記別のカメラ(第2カメラ)とを備えるカメラユニットと、ダッシュボード上あるいは助手席の下等に設けた、記録ユニットをケーブルで接続するように構成してもよい。
また、例えば、一つのカメラユニットに前記カメラと前記別のカメラを含む複数のカメラと第1映像信号変換回路を備え、第1映像信号変換回路は1つのケーブルにこれら複数のカメラの映像信号を流すよう変換し、当該1つのケーブルを介して第2映像信号変換回路とカメラ映像記録回路とを備えた記録ユニットに伝送して、記録手段に複数のカメラの映像を記録するようにするとよい。例えば、車両のフロントガラス等に取り付けられるカメラユニットであって、車両前方を撮像する前記カメラ(第1カメラ)と車両の後方を撮像する前記別のカメラ(第2カメラ)とを備えるカメラユニットと、ダッシュボード上あるいは助手席の下等に設けた、記録ユニットをケーブルで接続するように構成してもよい。
なお、例えば、第2映像信号変換回路は、第1映像信号変換回路によって変換され、比較的長距離の前記1つのケーブルを介して伝送された複数のカメラの映像信号を、記録ユニット内の配線に必要な比較的短距離の伝送用の信号に変換するとよい。
例えば、第2映像信号変換回路は、カメラ映像記録回路に対して、複数のカメラの映像信号を1つの伝送路に流すように出力して、これをカメラ映像記録回路が入力するように構成してもよい。例えば、第2映像信号変換回路は、2台のカメラの映像信号をそれぞれ所定のデータサイズのパケット等に分割して、交互にパケット等を伝送するようにしてもよい。より多数のカメラの映像信号を1つの伝送路にインターリーブして出力するようにしてもよい。
あるいは例えば、第2映像信号変換回路は、カメラ映像記録回路に対して、複数のカメラの映像信号をそれぞれのカメラ用の異なる伝送路に流すように出力して、これらをカメラ映像記録回路が入力するように構成してもよい。このようにすれば、それぞれのカメラ用の異なる伝送路中あるいは、これらに接続されたカメラ映像記録回路内において、各カメラ単位での処理がしやすい。例えば、カメラごとにカメラフレーム単位に映像とは別の情報を重畳させて記録したり、出力したりすることが比較的容易となる。
1本のケーブルはできるだけ少ない本数の信号線とするとよく、例えばツイストペアケーブルなどを用いるとよい。
伝送路としてはできるだけ少ない本数の信号線とするとよく、例えば数本の信号線(例えば基板上のプリント配線)などを用いるとよい。前記カメラと前記別のカメラを含む複数のカメラと第1映像信号変換回路の間はプリント配線またはフレキシブルケーブルの少なくともいずれか一方を介して接続するとよい。第2映像信号変換回路とカメラ映像記録回路の間はプリント配線またはフレキシブルケーブルの少なくともいずれか一方を介して接続するとよい。
(7)前記信号分配手段から前記カメラおよび前記別のカメラまでの信号配線の長さを略同一とするとよい。
このようにすれば、前記カメラからの映像信号と前記別のカメラからの映像信号とが、同期が取れた信号となる可能性を高めることができる。
(8)前記電子部品は、前記カメラ映像記録回路とは別に設けられた、所定の画像認識処理を行う画像認識回路を含み、前記伝送する信号は、映像信号を含み前記画像認識回路は、分配された前記映像信号に基づいて行った前記画像認識処理の結果に関する情報を、前記カメラ映像記録回路へ出力し、前記カメラ映像記録回路は、前記結果に関する情報に基づいて、前記カメラで撮像された映像を圧縮して前記記憶手段に記憶させる構成とするとよい。
このようにすれば、カメラ映像の圧縮と記憶手段への記憶を確実に行うことができるとともに、同一のカメラ映像の画像認識処理の結果に基づいた記録を行うこともできる。
カメラ映像記録回路は比較的安価であるが、映像の圧縮と記憶用に特化して設計されているため、画像認識等の機能を追加するのが困難(例えば、情報開示が少ない、残りリソースが少ないなど)という問題がある。例えば、ドライブレコーダー用SoCは安価だがドライブレコーダー用に設計されているため画像認識等の機能を追加するのが困難(例えば、情報開示が少ない、残りリソースが少ないなど)という問題がある。
一方で、画像認識用に用いられる画像認識回路は、映像の圧縮、記録のソフトとして信頼性が高いものがないという問題がある。画像認識回路は、例えばOSS(Open Source Software)等をコンパイルして利用可能な汎用のSoC(画像認識用のSoC)とするとよい。特に画像認識のアクセラレータ回路を備えたSoCや、ディープラーニングのアクセラレータ回路を備えたSoC等とするとよい。なお、例えば、一般的なSoCや、特にFPGAである画像認識回路に、H.264など映像のエンコーダーを載せるとコストがかかる、という問題もある。また仮に一般的なSoCに映像のエンコーダーが載っていたとしても、特に、ドライブレコーダーとして採用しようとすると、ドライブレコーダー用のソフトウェアとして信頼性が高いものに乏しく、かといって自社でイチから作るには膨大なコストがかかる課題がある。
例えば、カメラ映像記録回路と画像認識回路に、MIPI CSI-2分岐器(例えば分岐チップ)を使って、同じカメラ映像信号を分配して入力する。カメラ映像記録回路と画像認識回路とは通信線で接続し、画像認識回路では対象物の状態を画像認識し、認識の結果、記録が必要な状況となった場合には、トリガー信号をこの通信線を介してカメラ映像記録回路へ渡す。カメラ映像記録回路はトリガー信号を画像認識回路から受け取った場合、記憶手段に自己が受けている映像信号をイベント記録するとよい。
通信線はパラレル通信線あるいはシリアル通信線としてトリガーのデータを伝送するようにしてもよい。例えば認識した物体の種別の情報をこのデータとして伝送するようにしてもよい。あるいは、単純なGPIO(General-purpose input/output)間の通信線としてもよい。例えばドライブレコーダー用のSoCのトリガー入力ポートに画像認識用のSoCのGPIO出力ポートを接続し、画像認識用のSoCでの画像認識の結果、記録が必要な状況となった場合には、画像認識用のSoCのGPIO出力ポートの信号を変化させ、ドライブレコーダー用のSoCはドライブレコーダー用のSoCのトリガー入力ポートの信号の変化があった場合、トリガー発生として、その前後所定秒数の映像を記録手段に記録するとよい。また、さらにカメラ映像記録回路に接続されたセンサ類からの信号を、画像認識回路へ伝送するようにしてもよい。例えば、カメラ映像記録回路がドライブレコーダー用のSoCであり画像認識回路が画像認識用のSoCとすると、加速度センサ、スイッチ、GPSモジュールはドライブレコーダー用のSoCに接続され、加速度センサ、スイッチ、GPSモジュールからドライブレコーダー用のSoCが受け取った情報をリアルタイムに画像認識用のSoCへ出力する。画像認識用のSoCはこれらの情報をドライブレコーダー用のSoCからリアルタイムに受け取り、画像認識に利用して、その結果を、ドライブレコーダー用のSoCへ出力するとよい。こうした両SoCの機能はそれぞれ、各SoCに記憶されたこうした機能を実現するためのプログラムを実行することで実現するとよい。
例えば4台のカメラの信号のそれぞれは、シリアライザーによってシリアル化され、デシリアライザーハブに入力される。デシリアライザーハブは第1ポートと第2ポートにそれぞれ同一の4つカメラからの信号をインターリーブしたシリアル信号を出力する。例えば第1ポートにはカメラ映像記録回路、第2ポートには画像認識回路が接続するとよい。
例えば、画像認識回路では、例えば、進入禁止標識を認識したにもかかわらずその標識より先まで侵入が検知された場合に、進入禁止トリガーをカメラ映像記録回路へ出力する。カメラ映像記録回路は、進入禁止トリガーを画像認識回路から受信すると、その前後15秒間の映像を記憶手段に進入禁止トリガー映像としてエンコードして記録する。
また、例えば、画像認識回路は例えば人がフォークリフトの周辺に侵入したことが検知された場合に、周囲人認識トリガーをカメラ映像記録回路へ出力する。例えば、カメラ映像記録回路は、周囲人認識トリガーを画像認識回路から受信すると、その前後30秒間の映像を記憶手段に周囲人認識トリガー映像としてエンコードして記録する。
例えばインターリーブされた4台のカメラの信号を、画像認識回路とカメラ映像記録回路のそれぞれで4台のカメラの映像に分離する処理を行う。画像認識回路は、4台のカメラの映像のどれか一つからトリガーを出力するかどうかを判定する処理を行ってもよいし、いずれかの映像でトリガーが必要な状態が認識された場合にトリガーを出力するようにしてもよい。あるいは、総合的にトリガーをかけるかどうかを判定する処理を行ってもよい。これらいずれを採用するかを設定可能とするとよい。
特に同期信号をデシリアライザーハブとカメラ映像記録回路と画像認識回路に与えて同期を取るとよい。同期信号としてはピクセルクロックや垂直同期信号とするとよい。デシリアライザーハブは4つのシリアライザーへクロックを同期して出力するとよい。または、デシリアライザーハブでクロックを生成し、そのクロックをカメラ映像記録回路と画像認識回路に与えて同期を取るとよい。画像認識回路はSoCではなくFPGAとしてもよいし、その他各種の計算機としてもよい。
上記の例ではデシリアライザーハブ内にMIPI CSI-2分岐機能があるものの例で記載しているが、分岐器は外付けのものとしてもよい。
前記カメラ(およびまたは前記別のカメラ)の設定を行う機能(例えば、ISP(イメージシグナルプロセッサ)の機能のうちカメラ制御する部分を含む部分など)は、例えば、カメラ映像記録回路側のものを用いる構成(パターン1)、画像認識回路側のものを用いる構成(パターン2)、または両者の側ものを切り替えて利用する構成(パターン3)のいずれかとするとよい。また、それぞれISP内蔵のSoCを利用する構成と外付けのISPを利用する構成のいずれかとするとよい。外付けのISPの設置位置としてカメラ映像記録回路側かのいずれかとするとよい。ただし、画像認識に必要な絵作りと、圧縮して記録手段に記録し再生等可能とする絵作りとは、異なるため、シャッタースピード、フレームレート、露光時間など、カメラをどのような状態に制御すればよいかが問題となる。この点、特に(9)のようにするとよい。
(9)前記カメラ映像記録回路が前記カメラの設定を行うとよい。
このようにすれば、設定の競合を防止できるとともに、カメラ映像の記録と当該カメラ映像に基づく画像認識とを比較的うまく両立できる。例えば、上述した(パターン1)を採る構成とすると優れた効果を発揮することを発明者らは見出した。画像認識に用いる画像は記録に必要な画像の品質の要求に対して低いケースが多い。特にディープラーニングによって画像を認識する機能を備えるとよく、このような構成では、画素数、フレームレート等の要求は一般的に低くてすむ。カメラ映像記録回路側としては、カメラ映像記録回路内とすると特によい。
ただし、ISPの機能のうちフォーカスと露光に関しては、画像認識回路側で画像処理に必要な要求に合わせてカメラを設定したほうがよい場合がある。そこで、あらかじめ画像認識回路側で必要な、露光に関する設定、フォーカスに関する設定を加味してカメラ映像記録回路側のカメラの設定の内容を設定しておくシステムとするとよい。例えばあらかじめ画像認識回路側で必要な、露光に関する設定、フォーカスに関する設定を加味して、例えばカメラ映像があまりにひどくならない範囲で調整して、カメラ映像記録回路側のISP(例えば、カメラ映像記録回路内のISP)の設定をしておくとよい。
(10)前記カメラ映像記録回路と前記画像認識回路との間で前記カメラの設定を協調して調整するとよい。
このようにすれば、より、カメラ映像の圧縮および記録と、画像認識処理の精度の向上とを両立しやすくなる。
画像認識回路とカメラ映像記録回路とは通信し、カメラの制御がどのような状態にあるかを相互に把握する機能を備えるとよい。
例えば、カメラの設定をあらかじめ設定するのではなく、または、あらかじめ設定するとともに、画像認識回路側で露出やフォーカスの調整依頼信号を生成してカメラ映像記録回路に出力し、カメラ映像記録回路内ではこれを受けた場合に、カメラ映像記録回路側の設定機能によって設定を行うシステムとするとよい。例えば、カメラの設定をあらかじめ設定するのではなく、または、あらかじめ設定するとともに、画像認識回路側で露出やフォーカスの調整依頼信号をカメラ映像記録回路に出力し、カメラ映像記録回路はこれを受けた場合にカメラ映像記録回路側のISPの設定をこれに応じて調整するようにするとよい。なお、カメラ映像記録回路側で設定するカメラの設定に関する情報は画像認識回路へ送信して、画像認識回路ではこれを受信してこれを画像認識処理の処理の中で利用する構成とすると特によい。
例えば、画像認識回路で標識の認識を行う場合、画像中の路肩に相当する領域を露出算出の優先領域として計算するとよい、このとき基本的にはカメラの制御はカメラ映像記録回路側から行うが、あらかじめ、ややこの領域の露出優先度を高めて設定しておくとともに、画像認識回路で標識領域の露出がアンダーになっている場合には画像認識回路からカメラ映像記録回路に対して露出補正信号を出力し、カメラ映像記録回路がこの信号を受けた場合にはカメラの露出を高める信号をカメラ側に出力する等するとよい。
このようにカメラ自体の制御主体はあくまでカメラ映像記録回路側とし、画像認識回路側では直接的にカメラの制御を行わないように構成するとよい。また画像認識回路側からはカメラ映像記録回路側へ調整用信号を出力し、この調整用信号を受けた画像認識回路側が間接的にカメラを制御する構成とするとよい。例えば、カメラ自体の制御主体はあくまでカメラ映像記録回路とし、画像認識回路は直接的にカメラの制御を行わないように構成するとよい。また間接的に制御する構成とするとよい。
なおフォーカスに関する設定はカメラをパンフォーカスとして不要とするとよい
なお、別の例として前述の(パターン3)として、例えば時分割でカメラの制御主体を切り替えるようにしてもよい。特に、映像の記録フレームレートは、映像の記録・再生に十分なフレームレートとする一方(例えば、人間の視覚でカクつかないレベルのフレームレート(例えば24から30fps程度))とする一方、カメラのフレームレートはそれよりも高いフレームレート(例えば120fps)として、カメラのだすフレームに順に「1」,「2」,「3」,「4」,「1」,「2」,「3」,「4」・・・と番号を付けたとき、「1」についてはカメラ映像記録回路側、「3」については画像認識回路側のものとなるようにするとよい。例えば「2」,「4」、は切り替えする時間としてもよい。
切り替えは、例えばカメラ映像記録回路側のISPと、画像認識回路側のISPとの双方を物理的に切り替えるようにしてもよいが、あくまでISPはカメラ映像記録回路側のISPの設定を時分割で切り替えるようにするとよい。複数のカメラはすべてカメラ映像記録回路側が制御するようにし、画像認識回路側は複数のカメラのいずれも直接的には制御しないようにするとよい。間接的に制御するようにするとよい。
画像認識回路が間接的に制御する対象のカメラは、複数のカメラのうち一部のカメラとするとよい。この一部のカメラは認識に必要な要求と画像の記録・再生(人間が映像を見るの)に必要な要求との乖離が大きい一部のカメラとするとよい。
カメラは1台でもよい。例えばMIPI CSI-2スプリッターを使って、カメラ信号を2つに分岐してもよい。
(11)前記カメラ映像記録回路に入力する映像信号よりも情報量を削減した信号を生成する認識用映像信号生成手段を備え、前記画像認識回路は、前記情報量を削減した映像信号に基づいて前記画像認識処理を行う構成とするとよい。
このようにすれば、画像認識回路で扱う情報量をあらかじめ削減でき認識処理をより低コストで高速に行うことができるとともに、優れた画質で映像を圧縮して記録手段に記録させることができる。
例えばカメラからの信号は分岐せず、カメラ映像記録回路に入れ、カメラ映像記録回路は、カメラからの映像信号を間引くなどして情報量を削減してUSBポートなど他のポートから画像認識回路へ出力する構成とするとよい。画像の間引きは、例えば、画素を間引く、フレームを間引くなどの処理とするとよい。一般に画像認識において特にディープラーニングの場合には、認識に必要な画像の情報量は、人間が映像を確認するのに比べ格段に小さくてよい。
この例では、間引きはカメラ映像記録回路で行うこととしたが、カメラ映像記録回路の負荷が高くなる可能性や、リソースが不足する可能性がある。またそもそもカメラ映像記録回路には手を入れられない可能性がある。そこで、カメラからの映像信号を分岐し、一方の分岐した映像信号はそのまま映像記録回路に入れる一方、画像認識回路には間引いた映像信号を入力するようにするとよい。例えばこの機能は、FPGAを用いて構成するとよい。あるいは、FPGAに代えて、単体のISPチップを用いて、ISPチップの出力ポート切り替え機能を用いて、フレームごとに出力先を切り替える構成としてもよい。
(12)前記画像認識回路は、前記信号分配手段から分配された前記映像信号に基づく情報を第2記録手段に記録するとよい。
このようにすれば、第2記録手段に信号分配手段から分配された前記映像信号に基づく情報が記録される。
第2記録手段は第1記録手段とは別の記録手段とするとよい。特に第2記録手段とは別の着脱可能な記録媒体とするとよい。前記分配手段から分配された前記映像信号に基づく情報としては、分配されて画像認識回路に入力された映像信号を加工した情報とするとよい。例えば認識した物体を囲むとともにその属性を文字情報として重ね合わせた映像情報を記録するとよい。また、このような映像情報とともに、あるいは、このような映像情報に替えて、例えばカメラ映像記録回路に送ったトリガー信号をその時刻とともに記録するようにしてもよい。例えば認識した物体の座標と種別に関する情報をその時刻と対応づけて記録するようにしてもよい。
上述した(1)から(12)に示した発明は、任意に組み合わせることができる。例えば、(1)に示した発明の全てまたは一部の構成に、(2)以降の少なくとも1つの発明の少なくとも一部の構成を加える構成としてもよい。特に、(1)に示した発明に、(2)以降の少なくとも1つの発明の少なくとも一部の構成を加えた発明とするとよい。なお、特に(2)の構成と(8)の構成を双方ともに備える構成とするとよい。また、(1)から(12)に示した発明から任意の構成を抽出し、抽出された構成を組み合わせてもよい。本願の出願人は、これらの構成を含む発明について権利を取得する意思を有する。また「~の場合」「~のとき」という記載があったとしても、その場合やそのときに限られる構成として記載はしているものではない。これらはよりよい構成の例を示しているものであって、これらの場合やときでない構成についても権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えたりした構成についても開示しているものであり、権利取得する意思を有する。
本発明によれば、従来よりも優れたシステム等を提供できる。
本願の発明の効果はこれに限定されず、本明細書および図面等に開示される構成の部分から奏する効果についても開示されており、当該効果を奏する構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」と記載した箇所などは奏する効果を明示する記載であり、また「~できる」と記載がなくとも効果を示す部分が存在する。またこのような記載がなくとも当該構成よって把握される効果が存在する。
以下、実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は本開示の実施形態の一例であって、本開示はこれらの実施形態に限定されるものではない。なお、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号(数字の後にA、Bなどを付しただけの符号)を付し、その繰り返しの説明は省略する場合がある。また、以下の説明で参照する各図において、各部材、各領域等を認識可能な大きさとするために、実際とは縮尺を異ならせている場合がある。
図1は、一実施形態に係るシステム1の構成を示すブロック図である。システム1は、車両に搭載される車載機器とするとよく、特にドライブレコーダーとして機能する車載機器とするとよい。車両は、フォークリフトとするとよいが、フォークリフト以外の作業車、または作業者以外の車両(例えば、私用または公用の乗用車、バスまたは列車)としてもよい。
以下では、まず、システム1における映像信号の伝送および映像信号を用いた処理について説明し、その後に、同期信号の伝送および同期信号を用いた処理について説明する。
システム1は、カメラ10-1~10-4と、第1映像信号変換回路20-1~20-4と、第2映像信号変換回路30と、カメラ映像記録回路40と、画像認識回路50と、記憶媒体60と、情報入力部70と、表示部80とを含む。以下、カメラ10-1~10-4の各々を特に区別する必要のない場合は、これらを「カメラ10」と総称し、第1映像信号変換回路20-1~20-4の各々を特に区別する必要のない場合は、これらを「第1映像信号変換回路20」と総称する場合がある。カメラ10および第1映像信号変換回路20は、本実施形態ではそれぞれ4台とし、4つの映像チャネルの映像信号を取り扱う。ただし、カメラ10および第1映像信号変換回路20は、それぞれ3台以下または5台以上とし、3つ以下または5つ以上の映像チャネルの映像信号を取り扱ってもよい。なお、上述したシステム1の各回路は、例えば、物理的に分離された回路(例えばチップ)によって実現されるが、2以上の回路が同一の基板上に作製された回路(例えば同一のチップ)によって実現されてもよい。
カメラ10は、撮像し、撮像した映像を示す映像信号を生成する電子部品である。カメラ10は、各種のカメラとすることができるが、CCDカメラとすることができ、特にCMOSカメラとするとよい。カメラ10は、静止画を撮像するためのカメラとすることもできるが、特に動画を撮像するためのカメラとするとよい。カメラ10は、赤外線カメラのような特殊なカメラとすることができるが、可視光(例えば、400~700nmの波長領域の光)を撮像するカメラとするとよく、特に可視光のカメラとするとよい。カメラ10は、モノクロの映像が得られるカメラとしてもよいが、カラーの映像が得られるカメラとするとよい。カメラ10は、例えば、赤(R)、緑(G)、青(B)のカラーフィルタを平面に配置したカメラとするとよい。カメラの解像度はVGA以上の解像度とするとよい。カメラ10は、例えば撮像素子を備える部分を指してもよいが、撮像素子そのものを指してもよい。特にカメラ10は車両に設置されたカメラとするとよい。特にカメラ10は車両のメーカーの出荷後に後付されるカメラとするとよい。
本実施形態では、カメラ10が生成出力する映像信号は、複数の画素の各画素の階調値を含むデジタル形式のデータである。映像信号は、赤(R)、緑(G)、青(B)の各色成分について8ビット(256階調)のデータを含むようにするとよいが、色成分および階調数はこれに限られない。
カメラ10-1は、第1映像信号変換回路20-1と通信可能に接続する。カメラ10-2は、第1映像信号変換回路20-2と通信可能に接続する。カメラ10-3は、第1映像信号変換回路20-3と通信可能に接続する。カメラ10-4は、第1映像信号変換回路20-4と通信可能に接続する。カメラ10-1~10-4の各々と、第1映像信号変換回路20-1~20-1の各々とは、有線または無線の伝送路のいずれで接続されてもよいが、有線の伝送路を用いて接続されるとよい。図1の例では、カメラ10-1は、映像信号A1,A2,A3,A4を時系列順に出力する。カメラ10-2は、映像信号B1,B2,B3を時系列順に出力する。カメラ10-3は、映像信号C1、C2,C3,C4を時系列順に出力する。カメラ10-4は、映像信号D1,D2を時系列順に出力する。カメラ10-1~10-4においては、「A」~「D」の後ろに付される数字が小さい映像信号から順に出力される。また、この数字が同じである映像信号は、同時にカメラ10-1~10-4出力されるものとする。例えば、映像信号A1、B1,C1,D1は同時に出力される。映像信号A1~A4,B1~B3,C1~C4,D1,D2のそれぞれは、所定単位の映像信号であるが、例えば1コマ(1フレームともいう。)の映像を示す映像信号とするとよい。
カメラ10-1~10-4は、それぞれ撮像する領域が異なるようにするとよい。カメラ10が撮像する領域は、例えば、車内および車外の一方または両方を含む。車外の領域は、車両の前方(正面)、右斜め前方、右方(真横)、右斜め後方、後方(真後ろ)、左斜め後方、左方(真横)、および左斜め前方のいずれかとするとよいが、他の領域でもよい。カメラ10-1~10-4は、例えば、車両のフロントガラスに取り付けられるカメラ(第1カメラ)と、車両の後方を撮像するように設置されたカメラ(第2カメラ)とが少なくとも含まれるようにするとよい。
第1映像信号変換回路20は、カメラ10から映像信号の入力を受け付けて、シリアル形式の映像信号に変換する第1映像信号変換手段を備える。第1映像信号変換回路20はシリアライザー、特にシリアライザーチップとするとよい。シリアル形式の映像信号は、カメラ10から入力された映像信号を、シリアルデータ列に変換した信号である。第1映像信号変換回路20-1はカメラ10-1からの映像信号を変換し、第1映像信号変換回路20-2はカメラ10-2からの映像信号を変換し、第1映像信号変換回路20-3はカメラ10-3からの映像信号を変換し、第1映像信号変換回路20-4はカメラ10-4からの映像信号を変換する。第1映像信号変換回路20-1~20-4は、インターリーブされた変換後の映像信号を、第2映像信号変換回路30へ出力する。第1映像信号変換回路20-1~20-4の各々と、第2映像信号変換回路30とは、有線または無線のいずれで接続されてもよいが、1本の有線のケーブルを用いて接続されるようにするとよい。第1映像信号変換回路20-1~20-4は、このようなケーブルを介した伝送用の映像信号に変換する。このケーブルは、比較的長距離のケーブルとするとよい。比較的長距離としては、カメラ10またはこれとは別のカメラ10の少なくとも一方を備えるカメラユニット内の配線に必要な長さよりも長い距離とするとよく、特に1メートル以上とするとよい。
第1映像信号変換回路20と第2映像信号変換回路30との間の信号の伝送可能距離は、カメラ10が車載カメラである場合、特に数mの伝送が可能なものを用いるとよい。
第2映像信号変換回路30は、第1映像信号変換回路20-1~20-4の各々からケーブルを介して伝送されたカメラ10-1~10-4の映像信号を、カメラ映像記録回路40に入力可能な映像信号に変換する第2映像信号変換手段を備える。第2映像信号変換回路30は、デシリアライザー、特にデシリアライザーチップとするとよい。また、第2映像信号変換回路30は、カメラ10-1~10-4とカメラ映像記録回路40との間で伝送される映像信号を、画像認識回路50に分配する信号分配手段としても機能する。例えば第2映像信号変換回路30は、MIPI CSI-2分岐機能を有してもよい。このようにすれば、カメラ10で撮像した映像を圧縮して記憶媒体60に記憶させることができるとともに、画像認識回路50において、分配されたカメラ10とカメラ映像記録回路40との間の信号に基づいて画像認識機能を実現することができる。
第2映像信号変換回路30は、第1ポート31および第2ポート32を有する。第1ポート31にはカメラ映像記録回路40が、第2ポート32には画像認識回路50がそれぞれ通信可能に接続されている。このような第2映像信号変換回路30は、デシリアライザーハブとして特定できるものでもある。
第2映像信号変換回路30と、カメラ映像記録回路40および画像認識回路50の各々とは、有線または無線のいずれで接続されてもよいが、有線のケーブルを用いて接続されるとよい。第2映像信号変換回路30は、インターリーブされたカメラ10-1~10-4からの映像信号に基づいて、映像信号S1をカメラ映像記録回路40に、映像信号S2を画像認識回路50に出力する。第2映像信号変換回路30は、第1ポート31および第2ポート32のそれぞれから同じ画像信号であるS1,S2を、同じタイミングに出力することにより、カメラ10-1~10-4からの映像信号を分配する。第2映像信号変換回路30は、例えば、所定のプロトコルの映像信号を入力し、入力したプロトコルと同一のプロトコルで複数の出力先に分配して出力する。例えば、映像信号としてMIPI CSI-2信号を出力するカメラ10であれば、第2映像信号変換回路30はMIPI CSI-2信号スプリッターチップとするとよい。第2映像信号変換回路30は、例えば所定のプロトコルの映像信号を入力し、入力したプロトコルとは異なるプロトコルであって複数の出力先について同一のプロトコルの信号を出力するとよい。例えば、映像信号としてFPD-LINK III信号を出力するカメラ10であれば、第2映像信号変換回路30はFPD-LINK III信号を入力して例えば複数のMIPI CSI-2信号として出力するポートを備えたチップ(例えば、1ポート入力2ポート出力のデュアルポート出力デシリアライザーハブなど)とするとよい。特にMIPI CSI-2信号として出力するポートはあるポートのレプリカを他のポートに出力する機能を備えたものとするとよい。特にデシリアライザーハブチップとするとよい。
システム1において、1本のケーブルはできるだけ少ない本数の信号線とするとよく、例えばツイストペアケーブルなどを用いるとよい。伝送路としてはできるだけ少ない本数の信号線とするとよく、例えば数本の信号線(例えば、基板上のプリント配線)などを用いるとよい。カメラ10とこれとは別のカメラ10を含む複数のカメラ10と第1映像信号変換回路20との間は、プリント配線またはフレキシブルケーブルの少なくともいずれか一方を介して接続するとよい。第2映像信号変換回路30とカメラ映像記録回路40との間はプリント配線またはフレキシブルケーブルの少なくともいずれか一方を介して接続するとよい。
第2映像信号変換回路30は、カメラ10-1,10-2,10-3,10-4の各カメラの映像信号を所定の順番で選択し、選択した映像信号を、第1ポート31および第2ポート32の各々から出力する。ここでは、図1の例では、第2映像信号変換回路30は、カメラ10-1,10-2,10-3,10-4,10-1,10-2,10-3,10-4・・・の順で、1フレーム単位で映像信号を切り替えることにより、映像信号S1,S2を出力する。具体的には、第2映像信号変換回路30は、第1ポート31および第2ポート32のそれぞれから、映像信号A1,B1,C1,D1,A2,B2,C2,D2,A3,B3,C3,A4,C4の順で、映像信号S1,S2を出力する。なお、第30が、映像信号を分配する機能(MIPI CSI-2分岐機能)を有しなくてもよく、この場合、外付けの分配器が用いられてもよい。
カメラ映像記録回路40は、第1ポート31からの映像信号S1を圧縮して記憶媒体60に記憶させる機能を有する。カメラ映像記録回路40に備える映像の圧縮部(図示略)は、各種のアルゴリズムのものを用いることができるが、特に規格化されたアルゴリズムのエンコーダーを用いるとよく、特にH.264エンコーダーまたはH.265エンコーダーの少なくともいずれか一方を備えるものとするとよい。特に、カメラ映像記録回路40に備える映像のエンコーダーは、ソフトウェア処理で行うものではなく、ハードウェアで構成されたものとするとよい。カメラ映像記録回路40は、FPGAとするとよいが、特にSoCとすることが望ましい。また、カメラ映像記録回路40は、ソフトマクロではなく、ハードマクロで構成されたものが望ましい。
カメラ映像記録回路40は、カメラ映像記録の専用チップとして販売されているものとすると特によい。カメラ映像記録回路40は、例えば、カメラ映像記録用のASSP、カメラ映像記録用のSoCなどのカメラ映像記録用のLSIとするとよく、特にカメラ映像記録回路はドライブレコーダー用SoCとするとよい。
カメラ映像記録回路40は、画像認識回路50からトリガー信号TGが入力されると、その入力に応じた期間の映像信号を記憶媒体60に記憶させるイベント録画を行う。この期間は、例えば、イベント発生の前後30秒間とするとよいが、他の期間としてもよい。
画像認識回路50は、第2映像信号変換回路30によって分配されたカメラ10とカメラ映像記録回路40との間を伝送する信号を用いて所定の機能を実現する電子部品として機能する。画像認識回路50は、第2ポート32からの映像信号S2が示す映像を認識し、イベント録画の契機となる事象が発生したかどうかを判定する。画像認識回路50は、当該事象が発生したと判定した場合は、イベント録画の開始の契機となるトリガー信号TGを、カメラ映像記録回路40に出力する。画像認識回路50は、例えば、映像における対象物の状態を認識し、認識の結果、イベント録画が必要な状況となった場合には、トリガー信号TGを、カメラ映像記録回路40へ出力する。このように、画像認識回路50は、4台のカメラ10-1~10-4の映像から総合的に、トリガー信号TGを生成するかどうかを判定するとよい。
このように、画像認識回路50は、映像信号S2に基づいて行った画像認識処理の結果に関する情報を、カメラ映像記録回路40へ出力する。画像認識回路50は、映像における認識した対象物の位置を示す情報をカメラ映像記録回路40へ出力してもよい。カメラ映像記録回路40は、画像認識処理の結果に関する情報に基づいて、映像信号S1が示す映像を圧縮して記憶媒体60に記憶させる。このようにすれば、カメラ10の映像の圧縮と記憶媒体60への記憶を確実に行うことができるとともに、同一のカメラ10の映像の画像認識処理の結果に基づいた記録を行うこともできる。
ここで、イベント録画の一例を説明する。画像認識回路50は、例えば、映像に基づいて進入禁止標識を認識したにもかかわらず、その標識より先まで侵入が検知された場合に、進入禁止トリガーを示すトリガー信号TG1を、カメラ映像記録回路40へ出力する。カメラ映像記録回路40は、トリガー信号TG1の入力を受けると、その前後15秒間の映像を示す映像信号を、記憶媒体60に進入禁止トリガー映像としてエンコードして記録する。画像認識回路50は、例えば、人がフォークリフトの周辺に侵入したことを認識した場合、周囲人認識トリガーを示すトリガー信号TG2を、カメラ映像記録回路40へ出力する。カメラ映像記録回路40は、トリガー信号TG2の入力を受けると、その前後30秒間の映像を示す映像信号を、記憶媒体60に周囲人認識トリガー映像としてエンコードして記録する。ここにおいて、トリガー信号TG1またはTG2の出力の契機となった映像チャネルの映像のみが記録されてもよいし、すべての映像チャネルの映像が記録されてもよい。なお、トリガー信号の出力の契機となる事象や、イベント録画の対象となる期間については、様々な変形が考えられる。例えば、イベント録画は、情報入力部70を介して入力された情報が、所定の条件を満たしたことを契機に行われてもよい。
例えば、カメラ映像記録回路40と画像認識回路50に、MIPI CSI-2分岐器(例えば分岐チップ)を使って、同じカメラ映像信号を分配して入力する。カメラ映像記録回路40と画像認識回路50とは通信線で接続し、画像認識回路50では対象物の状態を画像認識し、認識の結果、記録が必要な状況となった場合には、トリガー信号をこの通信線を介してカメラ映像記録回路へ渡す。カメラ映像記録回路はトリガー信号を画像認識回路から受け取った場合、記憶手段に自己が受けている映像信号をイベント記録するとよい。
通信線はパラレル通信線あるいはシリアル通信線としてトリガー信号TGやその他のデータを伝送するようにしてもよい。例えば認識した物体の種別の情報をこのデータとして伝送するようにしてもよい。あるいは、単純なGPIO間の通信線としてもよい。例えばドライブレコーダー用のSoCのトリガー入力ポートに画像認識用のSoCのGPIO出力ポートを接続し、画像認識用のSoCでの画像認識の結果、記録が必要な状況となった場合には、画像認識用のSoCのGPIO出力ポートの信号を変化させ、ドライブレコーダー用のSoCはドライブレコーダー用のSoCのトリガー入力ポートの信号の変化があった場合、トリガー発生として、その前後所定秒数の映像を記録手段に記録するとよい。また、さらにカメラ映像記録回路40に接続されたセンサ類からの信号を、画像認識回路50へ伝送するようにしてもよい。例えば、カメラ映像記録回路40がドライブレコーダー用のSoCであり画像認識回路50が画像認識用のSoCとすると、加速度センサ、スイッチ、GPSモジュールはドライブレコーダー用のSoCに接続され、加速度センサ、スイッチ、GPSモジュールからドライブレコーダー用のSoCが受け取った情報をリアルタイムに画像認識用のSoCへ出力する。画像認識用のSoCはこれらの情報をドライブレコーダー用のSoCからリアルタイムに受け取り、画像認識に利用して、その結果を、ドライブレコーダー用のSoCへ出力するとよい。こうした両SoCの機能はそれぞれ、各SoCに記憶されたこうした機能を実現するためのプログラムを実行することで実現するとよい。
画像認識回路50は、第2映像信号変換回路30から分配された映像信号に基づく情報を第2記録手段に記録するとよい。このようにすれば、第22記録手段に第2映像信号変換回路30から分配された映像信号に基づく報が記録される。第2記録手段は第1記録手段とは別の記録手段とするとよい。特に第1記録手段とは別の着脱可能な記録媒体とするとよい。第1記録手段が記憶媒体60とすると、第2記録手段は、記憶媒体60とは異なる記録手段である。分配された前記映像信号に基づく情報としては、分配されて画像認識回路50に入力された映像信号を加工した情報とするとよい。例えば認識した物体を囲むとともにその属性を文字情報として重ね合わせた映像情報を記録するとよい。また、このような映像情報とともに、あるいは、このような映像情報に替えて、例えばカメラ映像記録回路40に出力したトリガー信号TGをその時刻とともに記録するようにしてもよい。例えば認識した物体の座標と種別に関する情報をその時刻と対応づけて記録するようにしてもよい。
カメラ映像記録回路40は、イベント録画を行う機能に加え、常時録画を行う機能を有してもよい。この場合、カメラ映像記録回路40は、記憶媒体60に確保した所定の記憶領域に映像の記録をし、記憶領域が一杯になった場合には、古い映像から順に上書き録画するようにして映像を記録する。常時記録機能によってイベント録画に係る映像が消失しないように、これらの記憶領域を分けるか、または上書き禁止フラグを用いて上書きを禁止してもよい。
記憶媒体60は、カメラ映像記録回路40によって記録された映像を記憶する記憶手段として機能する。記憶媒体60は、システム1の内部記憶手段または外部記憶手段のいずれでもよいが、特に着脱可能な外部記憶手段とするとよく、特にSDカード、microSDカード等のカード状の媒体とするとよい。記憶媒体60に記憶された映像は、表示部80に表示したり、外部端末を用いて表示したりすることができる。表示部80は、例えば液晶ディスプレイまたはその他の方式の表示装置である。
情報入力部70は、外部から情報の入力を受け付ける。情報入力部70は、例えばシステム1の電源をオンまたはオフするためのスイッチを含む、各種のスイッチを備えるとよい。情報入力部70は、ドライブレコーダー用のセンサを備えてもよい。情報入力部70は、例えば、イベント録画の契機となる衝撃を検知するための加速度センサ(例えば、Gセンサとして機能する。)を含んでもよい。また、情報入力部70は、現在位置を測定するためのGPS(Global Positioning System)センサを備えてもよい。カメラ映像記録回路40と画像認識回路50との間では、情報入力部70を介して入力された情報に応じた各種信号がやり取りされてもよい。
続いて、同期信号の伝送および同期信号を用いた処理について説明する。カメラ10とカメラ映像記録回路40との間を伝送する信号は、同期信号生成手段が生成した映像の同期信号を含む。システム1は、映像信号とともに分配された同期信号に基づいて、カメラ10-1~10-4の各々の映像信号を、カメラ映像記録回路40へ出力する構成とするとよい。
このようにすれば、カメラ映像記録回路40は、カメラ10-1~10-4との間で同期した映像信号が得られる。例えば、カメラ映像記録回路40は、カメラ10-1~10-4の間で同期した映像信号を入力して、この入力した同期した複数の映像の信号に基づく映像を圧縮して記録することができる。例えば記録した複数の映像の信号を同時に再生したとき、同期した複数の映像を見ることができる。なお、映像の圧縮は複数のカメラのそれぞれで別々のファイルに行うようにしてもよいが、1つのファイルに行うようにするとよい。
システム1においては、複数のカメラ10、第1映像信号変換回路20-1~20-4、カメラ映像記録回路40、および画像認識回路50の動作を同期させるため、同期信号は、画像認識回路50にも分配される。このように、カメラ10とカメラ映像記録回路40との間を伝送する信号としては、特に、制御信号としてもよいが、特に映像信号または映像の同期信号の少なくともいずれか一方を備えるとするとよい。同期信号としてはピクセルクロック、垂直同期信号、および水平同期信号のうち少なくともいずれか1つするとよく、特に少なくともいずれか2つとするとよい。特に、ピクセルクロックと垂直同期信号とするとよい。第2映像信号変換回路30は4つの第1映像信号変換回路20-1~20-4へクロックを同期して出力するとよい。同期信号の生成主体、および分配方法については、例えば、以下の(方法1)または(方法2)を採用し得る。
(方法1)1つのカメラ10を親として同期信号を生成し、別のカメラ10、第1映像信号変換回路20、第2映像信号変換回路30、カメラ映像記録回路40、および画像認識回路50に分配する。
(方法1)は、いずれか一のカメラ10が、同期信号生成手段を有する。そして、信号分配手段としての当該一のカメラ10が、この同期信号を別のカメラ10、第1映像信号変換回路20、第2映像信号変換回路30、カメラ映像記録回路40、および画像認識回路50へ分配する。
このようにすれば、別のカメラ10から出力される映像信号は、一のカメラ10の中で生成された同期信号に基づく映像信号となり、これらのカメラ10の同期を取りやすくなる。特に、この構成を採用するとともに、一のカメラ10と別のカメラ10とを同一の筐体に備える構成とするとよい。同期信号の引き回し距離が短いときに特に優れた効果を発揮する。カメラ10の中としては、特に撮像素子の中で生成したものとするとよい。このようにすれば入力した同期信号に同期して撮像する外部同期可能な撮像素子を使わなくてもよく、低コストかつ簡便に構成できる。
(方法2)第1映像信号変換回路20、第2映像信号変換回路30、カメラ映像記録回路40、および画像認識回路50のいずれかが同期信号を生成し、その他の各要素に分配する。
(方法2)は、同期信号生成手段がカメラ10の外部に備えられ、この同期信号生成手段によって生成された同期信号をカメラ10-1~10-4、およびその他の各要素に分配する。
(方法2)のようにすれば、別のカメラ10から出力される映像信号と、別のカメラ10から出力される映像信号との同期が取りやすい。特に、この構成を採用するとともに、カメラ10と別のカメラ10とを異なる筐体に備える構成とするとよい。同期信号の引き回し距離が比較的長いときに特に優れた効果を発揮する。
(方法2)においては、カメラ映像記録回路40が、同期信号生成手段を有してもよい。この場合、信号分配手段としてのカメラ映像記録回路40は、同期信号をカメラ10-1~10-4、およびその他の各要素に分配する。このようにすれば、映像の記録処理に合わせたタイミング等でカメラおよび別のカメラから同期した映像信号を得られる可能性を高められる。
(方法2)においては、いずれか一の第1映像信号変換回路20内または第2映像信号変換回路30内に同期信号生成手段が備えられてもよい。この場合、信号分配手段としての第1映像信号変換回路20または第2映像信号変換回路30は、同期信号をカメラ10-1~10-4、およびその他の各要素に分配する。このようにすれば、前記カメラと前記別のカメラとから、両カメラが同期した映像信号を、ケーブルを介してカメラ映像記録回路に入力して記録することが容易にできる。
特に、同期信号を、第2映像信号変換回路30と、カメラ映像記録回路40と、画像認識回路50とに与えて同期を取るとよい。同期信号としてはピクセルクロックや垂直同期信号とするとよい。第2映像信号変換回路30は4つの第1映像信号変換回路20-1~20-4へクロックを同期して出力するとよい。または、第2映像信号変換回路30でクロックを生成し、そのクロックをカメラ映像記録回路40と画像認識回路50に与えて同期を取るとよい。画像認識回路50はSoCではなくFPGAとしてもよいし、その他各種の計算機としてもよい。
同期信号に基づく処理の方法は(方法1)および(方法2)のいずれかに限定されるものではなく、例えば同期信号生成手段が上記したシステム1の要素とは別に設けられてもよい。
以上の信号分配手段は、例えば単純に配線を分岐するものとしてもよいが、特に分配した複数の信号線の間を伝送する信号の同期が取れるように分配する機能を備えるものとするとよく、特に分配した複数の信号線の間を伝送する信号の同期が取れるように分配する機能を備えた回路(例えば、チップ)とするとよい。
また、カメラ10とカメラ映像記録回路40は同一の筐体内に備える構成としてもよいが、それぞれ別の筐体に備える構成とし、両筐体間はケーブルやコネクタ等の接続手段で接続するように構成するとよい。カメラ10とカメラ映像記録回路40との間は1メートル以上のケーブルを介して接続される構成とするとよい。特にカメラ10とカメラ映像記録回路40は、車両の中で引き回されるケーブルを介して接続されるものとするとよい。
図1で説明した構成は、図2に示すように変形されてもよい。図2では、図1で説明した構成のうち、図1とは異なる部分を中心として示してある。この例では、カメラ10からの映像信号は分配されることなく、カメラ映像記録回路40に入力される。カメラ映像記録回路40は、カメラ10-1~10-4からの映像信号を、画像認識回路50に供給する。カメラ映像記録回路40は、入力した映像信号よりも情報量を削減した信号を生成する認識用映像信号生成手段を備え、映像信号を間引くなどして情報量を削減して、例えばUSB(Universal Serial Bus)ポートなどの他のポートを介して、画像認識回路50へ出力する。映像信号の間引きは、例えば、画素を間引く、フレームを間引くなどの処理とするとよい。一般に画像認識において特にディープラーニングの場合には、認識に必要な画像の情報量は、人間が映像を確認するのに比べ格段に小さくてよいからである。
図2で説明した構成は、さらに図3に示すように変形されてもよい。図3では、図1で説明した構成のうち、図1とは異なる部分を中心として抽出して示してある。図2の例では、間引きはカメラ映像記録回路40で行うこととしたが、処理の負荷が高くなる可能性があり、またはリソースが不足する可能性がある。そこで、図3に示すように、画像処理部90をカメラ10と、カメラ映像記録回路40および画像認識回路50との間に設けてもよい。画像処理部90は、カメラからの映像信号を分岐し、カメラ映像記録回路40にはそのままの映像信号に出力し、画像認識回路50には間引いた映像信号を出力する。画像処理部90は、例えばFPGAであるが、単体のISPチップを用いて構成されてもよい。画像処理部90は、ISPチップの出力ポート切り替え機能を用いて、フレームごとに出力先を切り替える構成としてもよい。
システム1においては、カメラ10は1台でもよい。例えばMIPI CSI-2スプリッターで例示される分岐器を使って、カメラの信号を2つに分岐してもよい。この場合、図3で説明したカメラ10-1~10-4をいずれか1台とし、画像処理部90を分岐器とした構成に等しい。
システム1において、カメラ10の映像を伝送する映像信号は、例えば、映像チャンネル単位に同期された映像をシリアルで伝送してもよく、パラレルに伝送してもよい。または、シリアルとパラレル組み合わせて伝送してもよい。特に、映像のフレーム単位に、その時の時刻やイベント情報、センサ情報などデータで重畳したり、映像に重畳したりするとよい。同期をとられた単位に、その時の時刻やイベント情報、センサ情報などデータで重畳してもよいし、映像に重畳してもよい。
また、信号分配手段からカメラ10および別のカメラ10までの信号配線の長さを略同一とするとよい。このようにすれば、カメラ10からの映像信号と別のカメラ10からの映像信号とが、同期が取れた信号となる可能性を高めることができる。
次に、図4~図7を参照して、カメラ10-1~10-4と処理装置100との接続例を説明する。処理装置100は、カメラ10-1~10-4が出力した映像信号に基づいて所定の処理を行う装置である。処理装置100は、例えば、カメラ映像記録回路40および画像認識回路50のどちらか一方であってもよい。
図4の例では、1つのカメラユニットにカメラ10-1~10-4を設けておき、これらを単一の第1映像信号変換回路20に接続する構成である。第1映像信号変換回路20は、1本のケーブルを介して、映像信号Sa1を第2映像信号変換回路30に出力する。第1映像信号変換回路20は、映像信号Sa1と同じ映像信号Sa2を、1本のケーブルを介して処理装置100に出力する。映像信号Sa2は、シリアル形式である映像信号Sa1を、シリアル形式のままとした信号である。処理装置100は、1本のケーブルを介して入力された映像信号Sa2を用いて処理を実行する。
図5の例では、1つのカメラユニットに複数のカメラ10-1~10-4を設けておき、これらを単一の第1映像信号変換回路20に接続する構成である。第1映像信号変換回路20は、1本のケーブルを介して、映像信号Sb1を第2映像信号変換回路30に出力する。映像信号Sb1は、映像信号Sa1と同じ信号である。第2映像信号変換回路30は、カメラ10-1-10-4のそれぞれで異なるケーブルを用いて映像信号Sb21、Sb22,Sb23,Sb24を出力する。映像信号Sb21~Sb24は、シリアル形式である映像信号Sb1を、パラレル形式に変換した信号である。処理装置100は、カメラ10ごとに異なるケーブルを介して入力された映像信号Sb21~Sb24を用いて処理を実行する。
図6の例では、1つのカメラユニットに複数のカメラ10-1~10-4を設けておき、これらをカメラごとに異なる第1映像信号変換回路20-1~20-4に接続する構成である。第1映像信号変換回路20-1~20-4は、それぞれが1本のケーブルを介して、映像信号Sc11、Sc12,Sc13,Sc14を第2映像信号変換回路30に出力する。第2映像信号変換回路30は、1本のケーブルを介して、映像信号Sc2を処理装置100に出力する。処理装置100は、ケーブルを介して入力された映像信号Sc2を用いて処理を実行する。映像信号Sc2は、パラレル形式である映像信号Sc1~Sc4を、シリアル形式に変換した信号である。図1のシステム1は、この接続例に該当する。
図7の例では、1つのカメラユニットに複数のカメラ10-1~10-4を設けておき、これらをカメラごとに異なる第1映像信号変換回路20-1~20-4に接続する構成である。図1のシステム1は、この接続例に該当する。第1映像信号変換回路20-1~20-4は、それぞれが1本のケーブルを介して、映像信号Sd11、Sd12,Sd13,Sd14を第2映像信号変換回路30に出力する。第2映像信号変換回路30は、カメラ10-1-10-4のそれぞれで異なるケーブルを用いて映像信号Sd21、Sd22,Sd23,Sd24を出力する。映像信号Sd21~Sd24は、パラレルである映像信号Sd11~Sd14を、パラレル形式のままとした信号である。処理装置100は、カメラ10ごとに異なるケーブルを介して入力された映像信号Sb21~Sb24を用いて処理を実行する。
図1と図6,7の構成に基づいて、カメラ10と第1映像信号変換回路20とを有する第1のカメラユニットと、別のカメラ10と第2の第1映像信号変換回路20とを有する第2のカメラユニットと、第2映像信号変換回路30とカメラ映像記録回路40とを有する記録ユニットとを備え、第1のカメラユニットと記録ユニットの間を第1のケーブル、第2のカメラユニットと前記記録ユニットの間を第2のケーブルで接続し、それぞれの映像信号を伝送するシステムが構成されてもよい。例えば、車両のフロントガラスに取り付けられる前記カメラ(第1カメラ)が車両の前方を撮像するように設置された第1のカメラユニットと、車両のリアガラスに取り付けられ前記別のカメラ(第2カメラ)が車両の後方を撮像するように設置された第2のカメラユニットを備え、ダッシュボード上あるいは助手席の下等に設けた記録ユニットが両カメラユニットにそれぞれ別のケーブルで接続される構成とするとよい。あるいは記録ユニットと第1のカメラユニットを1つのユニットとして構成してもよい。
また例えば、カメラ10と第1の第1映像信号変換回路20とを有する第1のカメラユニットと、別のカメラ10と第2の第1映像信号変換回路20とを有する第2のカメラユニットとを第1のケーブルで接続し、第2映像信号変換回路30とカメラ映像記録回路40とを有する記録ユニットと第2のカメラユニットとを第2のケーブルで接続する構成とし、それぞれの映像信号を伝送するようにしてもよい。
図1と図4,5の構成に基づいて、一つのカメラユニットにカメラ10とこれとは別のカメラ10を含む複数のカメラ10と第1映像信号変換回路20を備え、第1映像信号変換回路20は1つのケーブルにこれら複数のカメラ10の映像信号を流すよう変換し、当該1つのケーブルを介して第2映像信号変換回路30とカメラ映像記録回路40とを備えた記録ユニットに伝送して、記憶媒体60に複数のカメラ10の映像を記録するようにするシステムが構成されてもよい。例えば、車両のフロントガラス等に取り付けられるカメラユニットであって、車両前方を撮像するカメラ10(第1カメラ)と車両の後方を撮像する別のカメラ10(第2カメラ)とを備えるカメラユニットと、ダッシュボード上あるいは助手席の下等に設けた、記録ユニットをケーブルで接続するように構成してもよい。
なお、例えば、第2映像信号変換回路30は、第1映像信号変換回路20によって変換され、比較的長距離の1つのケーブルを介して伝送された複数のカメラ10の映像信号を、記録ユニット内の配線に必要な比較的短距離の伝送用の信号に変換するとよい。
図1と図4,5の構成に基づいて、例えば、第2映像信号変換回路30は、カメラ映像記録回路40に対して、複数のカメラ10の映像信号を1つのケーブルに流すように出力して、これがカメラ映像記録回路40に入力されるように構成してもよい。例えば、第2映像信号変換回路30は、2台のカメラの映像信号をそれぞれ所定のデータサイズのパケット等に分割して、交互にパケット等を伝送するようにしてもよい。より多数のカメラの映像信号を1つの伝送路にインターリーブして出力するようにしてもよい。
あるいは、図1と図6,7の構成に基づいて、例えば、第2映像信号変換回路30は、カメラ映像記録回路40に対して、複数のカメラ10の映像信号をそれぞれのカメラ用の異なるケーブルに流すように出力して、これらがカメラ映像記録回路40に入力されるように構成してもよい。このようにすれば、それぞれのカメラ10用の異なる伝送路中あるいは、これらに接続されたカメラ映像記録回路40内において、各カメラ10単位での処理がしやすい。例えば、カメラ10ごとにカメラフレーム単位に映像とは別の情報を重畳させて記録したり、出力したりすることが比較的容易となる。
カメラ映像記録回路40は比較的安価であるが、映像の圧縮と記憶用に特化して設計されえているため、画像認識等の機能を追加するのが困難(例えば、情報開示が少ない、残りリソースが少ないなど)という問題がある。例えば、ドライブレコーダー用SoCは安価だがドライブレコーダー用に設計されているため画像認識等の機能を追加するのが困難(例えば、情報開示が少ない、残りリソースが少ないなど)という問題がある。
一方で、画像認識用に用いられる画像認識回路50は、映像の圧縮、記録のソフトとして信頼性が高いものがないという問題がある。画像認識回路は、例えばOSS等をコンパイルして利用可能な汎用のSoC(画像認識用のSoC)とするとよい。特に画像認識のアクセラレータ回路を備えたSoCや、ディープラーニングのアクセラレータ回路を備えたSoC等とするとよい。なお、例えば、一般的なSoCや、特にFPGAである画像認識回路に、H.264など映像のエンコーダーを載せるとコストがかかる、という問題もある。また仮に一般的なSoCに映像のエンコーダーが載っていたとしても、特に、ドライブレコーダーとして採用しようとすると、ドライブレコーダー用のソフトウェアとして信頼性が高いものに乏しく、かといって自社でイチから作るには膨大なコストがかかる課題がある。
これに対し、本実施形態のシステムでは、カメラ映像記録回路40と画像認識回路50とを異なるSoC等の回路で実現し、かつ上述したように映像信号および同期信号を分配するようにしたので、従来よりも優れたシステム等を提供できる。
さらに、以下の構成が採用されるとよい。
(カメラ制御例1)
カメラ10(およびまたは別のカメラ10)の設定を行う機能(例えば、ISPの機能のうちカメラ制御する部分を含む部分など)は、例えば、カメラ映像記録回路40側のものを用いる構成(パターン1)、画像認識回路50側のものを用いる構成(パターン2)、または両者の側ものを切り替えて利用する構成(パターン3)のいずれかとするとよい。また、それぞれISP内蔵のSoCを利用する構成と外付けのISPを利用する構成のいずれかとするとよい。外付けのISPの設置位置としてカメラ映像記録回路40側のいずれかとするとよい。ただし、画像認識に必要な画作りと、圧縮して記憶媒体60に記録し再生等可能とする画作りとは、異なるため、シャッタースピード、フレームレート、露光時間など、カメラをどのような状態に制御すればよいかが問題となる。そこで、カメラ映像記録回路40がカメラ10の設定を行う機能を有してもよい。
カメラ10(およびまたは別のカメラ10)の設定を行う機能(例えば、ISPの機能のうちカメラ制御する部分を含む部分など)は、例えば、カメラ映像記録回路40側のものを用いる構成(パターン1)、画像認識回路50側のものを用いる構成(パターン2)、または両者の側ものを切り替えて利用する構成(パターン3)のいずれかとするとよい。また、それぞれISP内蔵のSoCを利用する構成と外付けのISPを利用する構成のいずれかとするとよい。外付けのISPの設置位置としてカメラ映像記録回路40側のいずれかとするとよい。ただし、画像認識に必要な画作りと、圧縮して記憶媒体60に記録し再生等可能とする画作りとは、異なるため、シャッタースピード、フレームレート、露光時間など、カメラをどのような状態に制御すればよいかが問題となる。そこで、カメラ映像記録回路40がカメラ10の設定を行う機能を有してもよい。
このようにすれば、設定の競合を防止できるとともに、カメラ10の映像の記録と当該カメラ10の映像に基づく画像認識とを比較的うまく両立できる。例えば、上述した(パターン1)を採る構成とすると、優れた効果を発揮することを発明者らは見出した。画像認識に用いる画像は記録に必要な画像の品質の要求に対して低いケースが多い。特にディープラーニングによって画像を認識する機能を備えるとよく、このような構成では、画素数、フレームレート等の要求は一般的に低くてすむ。カメラ映像記録回路40側としては、カメラ映像記録回路40内とすると特によい。
ただし、ISPの機能のうちフォーカスと露光に関しては、画像認識回路50側で画像処理に必要な要求に合わせてカメラを設定したほうがよい場合がある。そこで、あらかじめ画像認識回路50側で必要な、露光に関する設定、フォーカスに関する設定を加味してカメラ映像記録回路40側のカメラの設定の内容を設定しておくシステムとするとよい。例えばあらかじめ画像認識回路50側で必要な、露光に関する設定、フォーカスに関する設定を加味して、例えばカメラの映像があまりにひどくならない範囲で調整して、カメラ映像記録回路40側のISP(例えば、カメラ映像記録回路40内のISP)の設定をしておくとよい。
(カメラ制御例2)
カメラ映像記録回路40と画像認識回路50との間でカメラの設定を協調して調整する。このようにすれば、より、カメラ映像の圧縮および記録と、画像認識処理の精度の向上とを両立しやすくなる。
カメラ映像記録回路40と画像認識回路50との間でカメラの設定を協調して調整する。このようにすれば、より、カメラ映像の圧縮および記録と、画像認識処理の精度の向上とを両立しやすくなる。
図8(a),(b)に示すように、画像認識回路50とカメラ映像記録回路40とが通信し、カメラ10の制御がどのような状態にあるかを相互に把握する機能を備えるとよい。
例えば、カメラ10の設定をあらかじめ設定するのではなく、または、あらかじめ設定するとともに、画像認識回路50側で露出やフォーカスの調整依頼信号を生成してカメラ映像記録回路40に出力する。カメラ映像記録回路40内ではこれを受けた場合に、カメラ映像記録回路40側の設定機能によって設定を行う。例えば、カメラの設定をあらかじめ設定するのではなく、または、あらかじめ設定するとともに、画像認識回路50側で露出やフォーカスの調整依頼信号をカメラ映像記録回路40に出力する。カメラ映像記録回路40はこれを受けた場合にカメラ映像記録回路40側のISPの設定をこれに応じて調整するようにするとよい。なお、カメラ映像記録回路40側で設定するカメラの設定に関する情報は画像認識回路50へ送信する。画像認識回路50ではこれを受信してこれを画像認識処理の処理の中で利用する構成とすると特によい。
例えば、画像認識回路50で標識の認識を行う場合、画像中の路肩に相当する領域を露出算出の優先領域として計算するとよい、このとき基本的にはカメラの制御はカメラ映像記録回路40側から行うが、あらかじめ、ややこの領域の露出優先度を高めて設定しておくとともに、画像認識回路50で標識領域の露出がアンダーになっている場合には画像認識回路50からカメラ映像記録回路40に対して露出補正信号を出力し、カメラ映像記録回路40がこの信号を受けた場合にはカメラの露出を高める信号をカメラ側に出力する等するとよい。
このようにカメラ10自体の制御主体はあくまでカメラ映像記録回路40側とし、画像認識回路50側では直接的にカメラの制御を行わないように構成するとよい。また画像認識回路50側からはカメラ映像記録回路40側へ調整用信号を出力し、この調整用信号を受けた画像認識回路50側が間接的にカメラを制御する構成とするとよい。例えば、カメラ10自体の制御主体はあくまでカメラ映像記録回路40とし、画像認識回路50は直接的にカメラの制御を行わないように構成するとよい。また間接的に制御する構成とするとよい。
なお、フォーカスに関する設定はカメラをパンフォーカスとして不要とするとよい。
なお、別の例として前述の(パターン3)として、例えば時分割でカメラの制御主体を切り替えるようにしてもよい。特に、映像の記録フレームレートは、映像の記録・再生に十分なフレームレートとする一方(例えば、人間の視覚でカクつかないレベルのフレームレート(例えば24から30fps程度))とする一方、カメラのフレームレートはそれよりも高いフレームレート(例えば120fps)として、カメラのだすフレームに順に「1」,「2」,「3」,「4」,「1」,「2」,「3」,「4」・・・と番号を付けたとき、「1」についてはカメラ映像記録回路40側、「3」については画像認識回路50側のものとなるようにするとよい。例えば「2」,「4」は切り替えする時間としてもよい。
切り替えは、例えばカメラ映像記録回路40側のISPと、画像認識回路50側のISPとの双方を物理的に切り替えるようにしてもよいが、あくまでISPはカメラ映像記録回路40側のISPの設定を時分割で切り替えるようにするとよい。複数のカメラ1ー0はすべてカメラ映像記録回路40側が制御するようにし、画像認識回路50側は複数のカメラのいずれも直接的には制御しないようにするとよい。間接的に制御するようにするとよい。
画像認識回路50が間接的に制御する対象のカメラは、複数のカメラのうち一部のカメラとするとよい。この一部のカメラは認識に必要な要求と画像の記録・再生(人間が映像を見るの)に必要な要求との乖離が大きい一部のカメラとするとよい。
図8で説明した構成において、画像認識回路50は、画像認識処理以外の処理を行う処理装置に置き換えられてもよい。
上述した実施形態で説明したシステム1の機能は、1または複数のプログラムによって実現され、1または複数のハードウェア資源の連係によって実現され得る。システム1の機能がプログラムを用いて実現される場合、この機能を実現するためのプログラムが、各種の磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。また、このプログラムは、ネットワークを介して配信されてもよい。また、本発明は、信号処理方法としても把握することができる。
本発明の範囲は,明細書に明示的に説明された構成や限定されるものではなく,本明細書に開示される本発明の様々な側面の組み合わせをも,その範囲に含むものである。本発明のうち,特許を受けようとする構成を,添付の特許請求の範囲に特定したが,現在の処は特許請求の範囲に特定されていない構成であっても,本明細書に開示される構成を,将来的に特許請求の範囲とする意思を有する。
本発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変形例の任意の構成要素と,発明を解決するための手段に記載の任意の構成要素または発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正または分割出願等において権利取得する意思を有する。また「~の場合」「~のとき」という記載があったとしてもその場合やそのときに限られる構成として記載はしているものではない。これらの場合やときでない構成についても開示しているものであり、権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えた構成についても開示しているものであり、権利取得する意思を有する。
また,意匠出願への変更出願により,全体意匠または部分意匠について権利取得する意思を有する。図面は本装置の全体を実線で描画しているが,全体意匠のみならず当該装置の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の部材を部分意匠とすることはもちろんのこと,部材と関係なく当該装置の一部の部分を部分意匠として包含した図面である。当該装置の一部の部分としては,装置の一部の部材としても良いし,その部材の部分としても良い。全体意匠はもちろんのこと,図面の実線部分のうち任意の部分を破線部分とした部分意匠を、権利化する意思を有する。
1:システム1,10-1~10-4:カメラ、20,20-1~20-4:第2映像信号変換回路30:デシリアライザー、31:第1ポート、32:第2ポート、50:画像認識回路、60:記憶媒体、70:情報入力部、80:表示部、90:画像処理部、100:処理装置
Claims (6)
- 複数の第1の映像信号変換回路と、
第2の映像信号変換回路と、
処理装置と、
を有するシステムであって、
前記複数の第1の映像信号変換回路は、
それぞれがカメラから出力された映像信号の入力を受け付けて、シリアル形式の映像信号を出力する処理を行い、
前記第2の映像信号変換回路は、
前記複数の第1の映像信号変換回路で処理後の映像信号がそれぞれ入力され、前記処理装置に入力可能な映像信号を出力する処理を行い、
前記処理装置は、
前記第2の映像信号変換回路で処理後の映像信号が入力され、入力された映像信号に基づく処理を行う
システム。 - 前記処理装置は、
画像処理回路とカメラ映像記録回路とを含み、
前記画像処理回路は、
前記カメラから出力された映像信号に基づいて所定の画像処理を行い、前記所定の画像処理の結果に関する情報を、前記カメラ映像記録回路へ出力し、
前記カメラ映像記録回路は、
前記結果に関する情報に基づいて、前記カメラで撮像された映像を記憶手段に記憶させる
請求項1に記載のシステム。 - 前記第2の映像信号変換回路は、
前記複数の第1の映像信号変換回路の各第1の映像信号変換回路で処理後の映像信号がパラレルに設けた通信線を介して入力され、前記処理装置に入力可能な映像信号をパラレルに設けた通信線を介して前記処理装置に出力する
請求項1又は2に記載のシステム。 - 前記複数の第1の映像信号変換回路は、
車両のフロントガラスに取り付けられる第1のカメラから出力された映像信号の入力を受け付ける第1の映像信号変換回路と、車両のリアガラスに取り付けられる第2のカメラから出力された映像信号の入力を受け付ける第1の映像信号変換回路と、を含む、
請求項1から3のいずれか1項に記載のシステム。 - 前記処理装置は、
ドライブレコーダー用のSoC(System-on-a-Chip)を含む、
請求項1から4のいずれか1項に記載のシステム。 - 車両のフロントガラスに取り付けられる第1のカメラと、
前記第1のカメラから映像信号の入力を受け付けて、シリアル形式の映像信号を出力する処理を行う第1の映像信号変換回路Aと、
車両のリアガラスに取り付けられる第2のカメラと、
前記第2のカメラから映像信号の入力を受け付けて、シリアル形式の映像信号を出力する処理を行う第1の映像信号変換回路Bと、
前記第1の映像信号変換回路Aで処理後の映像信号と、前記第1の映像信号変換回路Bで処理後の映像信号とがそれぞれ入力され、所定の変換処理を行う第2の映像信号変換回路と、
前記第2の映像信号変換回路で前記変換処理が行われた後の映像信号が入力され、入力された映像信号に基づく処理を行う処理装置と、
を有するシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023150689A JP2023179491A (ja) | 2019-02-26 | 2023-09-19 | システムおよびプログラム等 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019032365A JP7357328B2 (ja) | 2019-02-26 | 2019-02-26 | システムおよびプログラム等 |
JP2023150689A JP2023179491A (ja) | 2019-02-26 | 2023-09-19 | システムおよびプログラム等 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019032365A Division JP7357328B2 (ja) | 2019-02-26 | 2019-02-26 | システムおよびプログラム等 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023179491A true JP2023179491A (ja) | 2023-12-19 |
Family
ID=72263784
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019032365A Active JP7357328B2 (ja) | 2019-02-26 | 2019-02-26 | システムおよびプログラム等 |
JP2023150689A Pending JP2023179491A (ja) | 2019-02-26 | 2023-09-19 | システムおよびプログラム等 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019032365A Active JP7357328B2 (ja) | 2019-02-26 | 2019-02-26 | システムおよびプログラム等 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7357328B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7513965B2 (ja) | 2021-10-25 | 2024-07-10 | トヨタ自動車株式会社 | 車両用制御システム |
CN116095509B (zh) * | 2021-11-05 | 2024-04-12 | 荣耀终端有限公司 | 生成视频帧的方法、装置、电子设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4847165B2 (ja) * | 2006-03-09 | 2011-12-28 | 株式会社日立製作所 | 映像記録再生方法及び映像記録再生装置 |
JP2008213517A (ja) * | 2007-02-28 | 2008-09-18 | Auto Network Gijutsu Kenkyusho:Kk | 車載撮像システム |
-
2019
- 2019-02-26 JP JP2019032365A patent/JP7357328B2/ja active Active
-
2023
- 2023-09-19 JP JP2023150689A patent/JP2023179491A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2020137078A (ja) | 2020-08-31 |
JP7357328B2 (ja) | 2023-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023179491A (ja) | システムおよびプログラム等 | |
US11741623B2 (en) | Depth calculation processor, data processing method and 3D image device | |
CN109690628B (zh) | 图像处理设备 | |
TWI545388B (zh) | 產生全景圖像的系統和方法 | |
JP4656005B2 (ja) | 画像処理システム及び画像処理方法 | |
US20070188522A1 (en) | Mixed reality display system | |
CN110366740B (zh) | 图像处理装置和摄像装置 | |
KR20190041586A (ko) | 복수의 이미지들을 합성하는 전자장치 및 방법 | |
WO2020218717A1 (ko) | 어라운드 뷰 장치 | |
US9530173B2 (en) | Information processing device, imaging device, and information processing method | |
US20050073586A1 (en) | Digital camera interface | |
CN211830923U (zh) | 一种可连接双摄像头的装置 | |
CN219204583U (zh) | 一种图像采集装置及电子设备 | |
JP6604782B2 (ja) | 画像処理装置 | |
US7868913B2 (en) | Apparatus for converting images of vehicle surroundings | |
JP2021516897A (ja) | ロー画像シグナルインターフェースを備えた自動車用カメラ | |
JP2003163926A (ja) | 車内通信システム、データ処理装置、及び車載機器 | |
WO2012044061A2 (ko) | 영상 데이터 고속 송/수신 방법 및 장치 | |
JP2018186455A (ja) | 撮像装置、撮像システム、移動体、チップ | |
US10268626B2 (en) | Data processing device, data processing system and method | |
JP2008193511A (ja) | カメラシステム | |
WO2020117378A1 (en) | Color fringing processing independent of tone mapping | |
KR20140094077A (ko) | 영상 표시부에 폐공간을 없앤 전방위촬영시스템 및 촬영방법 | |
US10750077B1 (en) | Camera system with multiple camera | |
CN108297791A (zh) | 相机***和视镜替代*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231010 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231010 |