JP7357328B2 - Systems and programs etc. - Google Patents
Systems and programs etc. Download PDFInfo
- Publication number
- JP7357328B2 JP7357328B2 JP2019032365A JP2019032365A JP7357328B2 JP 7357328 B2 JP7357328 B2 JP 7357328B2 JP 2019032365 A JP2019032365 A JP 2019032365A JP 2019032365 A JP2019032365 A JP 2019032365A JP 7357328 B2 JP7357328 B2 JP 7357328B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- video
- circuit
- image recognition
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Studio Devices (AREA)
Description
本発明は、システムおよびプログラム等に関する。 The present invention relates to a system, a program, etc.
従来より、カメラを備え、当該カメラの映像を記録するシステムが知られている。 2. Description of the Related Art Conventionally, systems have been known that include a camera and record images from the camera.
例えば、このようなカメラの映像を記録等する機能を備えるシステムにおいては、様々な課題があった。本発明の目的の一つは、従来よりも優れたシステム等を提供することである。 For example, there have been various problems with systems equipped with functions such as recording images from such cameras. One of the objects of the present invention is to provide a system etc. that is superior to the conventional ones.
本願の発明の目的はこれに限定されず、本明細書および図面等に開示される構成の部分から奏する効果を得ることを目的とする構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「～できる」と記載した箇所を「～が課題である」と読み替えた課題が本明細書には開示されている。課題はそれぞれ独立したものとして記載しているものであり、各々の課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。課題が明細書の記載から黙示的に把握されるものであっても、本出願人は本明細書に記載の構成の一部を補正または分割出願にて特許請求の範囲とする意思を有する。またこれら独立の課題を組み合わせた課題を解決する構成についても開示しているものであり、権利取得する意思を有する。 The purpose of the invention of the present application is not limited to this, and we intend to acquire rights through divisional applications, amendments, etc. for structures that aim to obtain effects from the parts of the structure disclosed in this specification, drawings, etc. . For example, the present specification discloses a problem in which the phrase ``can be done'' is replaced with ``the problem is.'' Each issue is described as an independent entity, and we intend to acquire rights to the structure for solving each issue individually through divisional applications, amendments, etc. Even if the problem is implicitly understood from the description of the specification, the present applicant has the intention of claiming a part of the structure described in the specification in an amendment or divisional application. The company also discloses a structure that solves a problem that combines these independent problems, and has the intention to acquire the rights to it.
本発明は、例えば以下の態様の発明として把握することができるものである。
（１）カメラと、前記カメラで撮像された映像を圧縮して記憶手段に記憶させるカメラ映像記録回路とを備えるシステムであって、前記カメラと前記カメラ映像記録回路との間を伝送する信号を、当該信号に基づいて所定の機能を実現する電子部品に分配する信号分配手段を備えるシステムとするとよい。
The present invention can be understood as, for example, the following embodiments.
(1) A system comprising a camera and a camera video recording circuit that compresses the video imaged by the camera and stores it in a storage means, the system comprising: The system may include a signal distribution means for distributing the signal to electronic components that implement a predetermined function based on the signal.
このようにすれば、カメラで撮像した映像を圧縮して記憶手段に記憶させることができるとともに、所定の機能を実現する電子部品おいて、分配されたカメラとカメラ映像記録回路との間の信号に基づいて所定の機能を実現することができる。 In this way, the image taken by the camera can be compressed and stored in the storage means, and the electronic components that realize the predetermined functions can transmit signals between the distributed camera and the camera image recording circuit. A predetermined function can be realized based on.
カメラは、各種のカメラとすることができるが、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラとすることができ、特にＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラとするとよい。カメラは静止画を撮像するためのカメラとすることもできるが、特に動画を撮像するためのカメラとするとよい。カメラは赤外線カメラのような特殊なカメラとすることができるが、可視光を撮像するカメラとするとよく、特に可視光のカメラとするとよい。カメラはモノクロの映像が得られるカメラとしてもよいが、カラーの映像が得られるカメラとするとよい。カメラは、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタを平面に配置したカメラとするとよい。カメラの解像度は、ＶＧＡ以上の解像度とするとよい。 The camera can be of various types, and can be a CCD (Charge Coupled Device) camera, particularly a CMOS (Complementary Metal-Oxide-Semiconductor) camera. Although the camera can be a camera for capturing still images, it is particularly preferable to use a camera for capturing moving images. The camera can be a special camera such as an infrared camera, but is preferably a camera that captures images in visible light, especially a visible light camera. The camera may be a camera that can obtain monochrome images, but it is preferable to use a camera that can obtain color images. The camera may be, for example, a camera in which red (R), green (G), and blue (B) color filters are arranged on a flat surface. The resolution of the camera is preferably VGA or higher.
カメラは、例えば撮像素子を備える部分を指してもよいが、撮像素子そのものを指してもよい。 A camera may refer to a portion including an image sensor, for example, or may refer to the image sensor itself.
特に、カメラは車両に設置されたカメラとするとよい。特に、カメラは車両のメーカーの出荷後に後付されるカメラとするとよい。 In particular, the camera may be a camera installed in a vehicle. In particular, the camera may be a camera that is retrofitted after the vehicle manufacturer ships the vehicle.
カメラ映像記録回路に備える映像の圧縮部は、各種のアルゴリズムのものを用いることができるが、特に規格化されたアルゴリズムのエンコーダーを用いるとよく、特にＨ．２６４エンコーダーまたはＨ.２６５エンコーダーの少なくともいずれか一方を備えるものとするとよい。特に、カメラ映像記録回路に備える映像のエンコーダーは、ソフトウェア処理で行うものではなく、ハードウェアで構成されたものとするとよい。エンコーダーは、単なるＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）ではなく、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）とすることが望ましい。このように、カメラ映像記録回路は、カメラ映像記録チップとしてもよい。カメラ映像記録回路は、ソフトマクロではなく、ハードマクロで構成されたものが望ましい。 The video compression section provided in the camera video recording circuit can use various algorithms, but it is particularly preferable to use an encoder with a standardized algorithm. It is preferable to include at least one of a H.264 encoder and an H.265 encoder. In particular, it is preferable that the video encoder provided in the camera video recording circuit be constructed of hardware rather than software processing. It is desirable that the encoder be a SoC (System-on-a-Chip) rather than a mere FPGA (Field-Programmable Gate Array). In this way, the camera image recording circuit may be a camera image recording chip. It is desirable that the camera video recording circuit be constructed of hard macros rather than soft macros.
カメラ映像記録回路は、カメラ映像記録の専用チップとして販売されているものとすると特によい。カメラ映像記録回路は、例えば、カメラ映像記録用のＡＳＳＰ、カメラ映像記録用のＳｏＣなどのカメラ映像記録用のＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）とするとよく、特にカメラ映像記録回路はドライブレコーダー用ＳｏＣとするとよい。 It is particularly advantageous if the camera image recording circuit is sold as a dedicated chip for camera image recording. The camera video recording circuit is preferably an LSI (Large Scale Integrated circuit) for camera video recording, such as an ASSP for camera video recording or an SoC for camera video recording. In particular, the camera video recording circuit may be an SoC for a drive recorder. It's good to do that.
記憶手段は、特に着脱可能な記憶手段とするとよく、特にＳＤ（登録商標）カード、ｍｉｃｒｏ ＳＤ（登録商標）カード等のカード状の媒体とするとよい。 The storage means is particularly preferably a removable storage means, and particularly preferably a card-like medium such as an SD (registered trademark) card or a micro SD (registered trademark) card.
前記カメラと前記カメラ映像記録回路との間を伝送する信号は、特に、制御信号としてもよいが、特に映像信号または映像の同期信号の少なくともいずれか一方を含むようにするとよい。映像の同期信号は、ピクセルクロック、垂直同期信号、または水平同期信号のうち少なくともいずれか１つするとよく、特に少なくともいずれか２つとするとよい。特に、ピクセルクロックと垂直同期信号とするとよい。 The signal transmitted between the camera and the camera video recording circuit may be a control signal, but preferably includes at least one of a video signal and a video synchronization signal. The video synchronization signal is preferably at least one of a pixel clock, a vertical synchronization signal, or a horizontal synchronization signal, and particularly preferably at least two of them. In particular, it is preferable to use a pixel clock and a vertical synchronization signal.
カメラの映像を伝送する映像信号は、例えば、映像チャンネル単位に同期された映像をシリアルで伝送してもいいし、パラレルに伝送してもよい。または、シリアルとパラレルとを組み合わせて伝送してもよい。特に、映像のフレーム単位に、その時の時刻やイベント情報、センサ情報などデータで重畳したり、映像に重畳したりするとよい。同期をとられた単位に、その時の時刻やイベント情報、センサ情報などのデータで重畳してもよいし、映像に重畳してもよい。 The video signal for transmitting camera video may be, for example, synchronized video channel by video channel, and may be transmitted serially or in parallel. Alternatively, serial and parallel transmission may be combined. In particular, it is preferable to superimpose data such as the current time, event information, sensor information, etc. on a video frame basis, or to superimpose data on the video. Data such as the current time, event information, sensor information, etc. may be superimposed on the synchronized unit, or it may be superimposed on the video.
映像信号を分配するものとした場合、例えば所定のプロトコルの映像信号を入力し、入力したプロトコルと同一のプロトコルで複数の出力先に分配して出力するものとするとよい。例えば、映像信号としてＭＩＰＩ ＣＳＩ－２信号を出力するカメラであれば、信号分配手段はＭＩＰＩ ＣＳＩ－２信号スプリッターチップとするとよい。 When a video signal is to be distributed, for example, a video signal of a predetermined protocol may be input, and the video signal may be distributed and output to a plurality of output destinations using the same protocol as the input protocol. For example, in the case of a camera that outputs a MIPI CSI-2 signal as a video signal, the signal distribution means may be a MIPI CSI-2 signal splitter chip.
映像信号を分配するものとした場合、例えば所定のプロトコルの映像信号を入力し、入力したプロトコルとは異なるプロトコルであって複数の出力先について同一のプロトコルの信号を出力するものとするとよい。例えば、映像信号としてＦＰＤ－ＬＩＮＫ III信号を出力するカメラであれば、信号分配手段はＦＰＤ－ＬＩＮＫ III信号を入力して例えば複数のＭＩＰＩ ＣＳＩ－２信号として出力するポートを備えた回路（例えば、１ポート入力２ポート出力のデュアルポート出力デシリアライザーハブなど）とするとよい。特にＭＩＰＩ ＣＳＩ－２信号として出力するポートはあるポートのレプリカを他のポートに出力する機能を備えたものとするとよい。特にデシリアライザーハブチップとするとよい。 If the video signal is to be distributed, for example, a video signal of a predetermined protocol may be input, and a signal of a protocol different from the input protocol, but of the same protocol, may be outputted to a plurality of output destinations. For example, in the case of a camera that outputs an FPD-LINK III signal as a video signal, the signal distribution means may include a circuit (for example, It is recommended to use a dual-port output deserializer hub (such as a 1-port input and 2-port output deserializer hub). In particular, it is preferable that a port that outputs a MIPI CSI-2 signal has a function of outputting a replica of a certain port to another port. It is especially good to use a deserializer hub chip.
所定の機能を実現する電子部品は、特に前記カメラとは別のカメラまたは画像認識回路の少なくともいずれか一方を備えるとよい。所定の機能を実現する電子部品がカメラを備えるときは、所定の機能は前記カメラとは異なる範囲を含む別の領域を撮像する機能とするとよい。所定の機能を実現する電子部品が画像認識回路を備えるときは所定の機能は画像認識機能とするとよい。 The electronic component that implements the predetermined function preferably includes at least one of a camera other than the camera and an image recognition circuit. When the electronic component that implements a predetermined function includes a camera, the predetermined function may be a function of capturing an image of another area including a different range from that of the camera. When an electronic component that implements a predetermined function includes an image recognition circuit, the predetermined function may be an image recognition function.
信号分配手段は、例えば単純に配線を分岐するものとしてもよいが、特に分配した複数の信号線の間を伝送する信号の同期が取れるように分配する機能を備えるものとするとよく、特に分配した複数の信号線の間を伝送する信号の同期が取れるように分配する機能を備えた回路（例えば、チップ）とするとよい。 The signal distribution means may, for example, simply branch the wiring, but it is preferable that the signal distribution means has a distribution function so that the signals transmitted between the plurality of distributed signal lines can be synchronized. It is preferable to use a circuit (for example, a chip) that has a function of distributing signals transmitted between a plurality of signal lines so as to be synchronized.
カメラとカメラ映像記録回路は同一の筐体内に備える構成としてもよいが、それぞれ別の筐体に備える構成とし、両筐体間はケーブルやコネクタ等の接続手段で接続するように構成するとよい。カメラとカメラ映像記録回路との間は１メートル以上のケーブルを介して接続される構成とするとよい。特にカメラとカメラ映像記録回路は、車両の中で引き回されるケーブルを介して接続されるものとするとよい。 The camera and the camera video recording circuit may be provided in the same housing, but it is preferable that the camera and the camera video recording circuit be provided in separate housings, and the two housings may be connected by a connecting means such as a cable or a connector. It is preferable that the camera and the camera video recording circuit be connected via a cable of 1 meter or more. In particular, it is preferable that the camera and the camera image recording circuit be connected via a cable routed within the vehicle.
（２）前記電子部品は、前記カメラとは異なる別のカメラを有し、前記信号は、同期信号生成手段が生成した映像の同期信号を含み、分配された前記同期信号に基づいて、前記カメラおよび前記別のカメラの各々の映像信号を、前記カメラ映像記録回路へ出力する構成とするとよい。 (2) The electronic component has another camera different from the camera, and the signal includes a synchronization signal of the video generated by the synchronization signal generation means, and the camera The video signal of each of the other cameras may be output to the camera video recording circuit.
このようにすれば、カメラ映像記録回路側においてカメラと別のカメラとの間で同期した映像信号が得られる。例えば、カメラ映像記録回路においてカメラと別のカメラとの間で同期した映像信号を入力して、この入力した同期した複数の映像の信号に基づく映像を圧縮して記録することができる。例えば記録した複数の映像の信号を同時に再生したとき、同期した複数の映像を見ることができる。なお、映像の圧縮は複数のカメラのそれぞれで別々のファイルに行うようにしてもよいが、１つのファイルに行うようにするとよい。 In this way, synchronized video signals can be obtained between the camera and another camera on the camera video recording circuit side. For example, it is possible to input synchronized video signals between a camera and another camera in a camera video recording circuit, and compress and record video based on the input synchronized video signals. For example, when multiple recorded video signals are played back at the same time, multiple synchronized videos can be viewed. Although video compression may be performed in separate files for each of the plurality of cameras, it is preferable to compress the video in one file.
（３）前記カメラが、前記同期信号生成手段を有し、前記信号分配手段は、前記同期信号を前記別のカメラへ分配する構成とするとよい。 (3) Preferably, the camera has the synchronization signal generation means, and the signal distribution means distributes the synchronization signal to the other camera.
このようにすれば、前記別のカメラから出力される映像信号は前記カメラの中で生成された同期信号に基づく映像信号となり、両カメラの同期を取りやすくなる。特に、この構成を採用するとともに、前記カメラと前記別のカメラとを同一の筐体に備える構成とするとよい。同期信号の引き回し距離が短いときに特に優れた効果を発揮する。 In this way, the video signal output from the other camera becomes a video signal based on the synchronization signal generated within the camera, making it easier to synchronize both cameras. In particular, it is preferable to employ this configuration and to provide a configuration in which the camera and the other camera are provided in the same housing. This is particularly effective when the synchronization signal routing distance is short.
カメラの中としては、特に撮像素子の中で生成したものとするとよい。このようにすれば入力した同期信号に同期して撮像する外部同期可能な撮像素子を使わなくてもよく、低コストかつ簡便に構成できる。 In particular, it is preferable that the image be generated in the image sensor as the camera. In this way, there is no need to use an externally synchronizable image sensor that captures an image in synchronization with the input synchronization signal, and the configuration can be made low-cost and simple.
（４）前記同期信号生成手段は、前記カメラおよび前記別のカメラの外部に備えられ、前記信号分配手段は、前記同期信号を前記カメラおよび前記別のカメラへ分配する構成とするとよい。 (4) The synchronization signal generation means may be provided outside the camera and the other camera, and the signal distribution means may be configured to distribute the synchronization signal to the camera and the other camera.
このようにすれば、前記別のカメラから出力される映像信号と、前記別のカメラから出力される映像信号との同期が取りやすい。 This makes it easy to synchronize the video signal output from the other camera with the video signal output from the other camera.
特に、この構成を採用するとともに、前記カメラと前記別のカメラとを異なる筐体に備える構成とするとよい。同期信号の引き回し距離が比較的長いときに特に優れた効果を発揮する。 Particularly, this configuration may be adopted and the camera and the other camera may be provided in different housings. This is particularly effective when the synchronization signal is routed over a relatively long distance.
（５）前記カメラ映像記録回路が、前記同期信号生成手段を有し、前記信号分配手段は、前記同期信号を前記カメラおよび前記別のカメラへ分配する構成とするとよい。 (5) Preferably, the camera video recording circuit includes the synchronization signal generation means, and the signal distribution means distributes the synchronization signal to the camera and the other camera.
このようにすれば、映像の記録処理に合わせたタイミング等でカメラおよび別のカメラから同期した映像信号を得られる可能性を高められる。 In this way, it is possible to increase the possibility of obtaining synchronized video signals from the camera and another camera at timings that match video recording processing.
（６）前記カメラおよび前記別のカメラから出力される信号を、ケーブルを介した伝送用の映像信号に変換する第１映像信号変換手段を有する第１映像信号変換回路と、前記ケーブルを介して伝送された前記映像信号を、前記カメラ映像記録回路に入力可能な映像信号に変換する第２映像信号変換手段を有する第２映像信号変換回路と、を備え、前記同期信号生成手段は、前記第１映像信号変換回路内または前記第２映像信号変換回路内に備えられ、前記信号分配手段は、前記第１映像信号変換回路内または前記第２映像信号変換回路内に備えられ、前記同期信号を前記カメラおよび前記別のカメラへ分配する構成とするとよい。 (6) a first video signal conversion circuit having a first video signal conversion means for converting signals output from the camera and the other camera into video signals for transmission via a cable; a second video signal conversion circuit having second video signal conversion means for converting the transmitted video signal into a video signal that can be input to the camera video recording circuit; The signal distribution means is provided in the first video signal conversion circuit or the second video signal conversion circuit, and the signal distribution means is provided in the first video signal conversion circuit or the second video signal conversion circuit, and the signal distribution means is provided in the first video signal conversion circuit or the second video signal conversion circuit, and It is preferable that the information is distributed to the camera and the other camera.
このようにすれば、前記カメラと前記別のカメラとから、両カメラが同期した映像信号を、ケーブルを介してカメラ映像記録回路に入力して記録することが容易にできる。 In this way, it is possible to easily input and record video signals synchronized between the camera and the other camera via the cable to the camera video recording circuit.
ケーブルは比較的長距離とするとよい。比較的長距離としては、前記カメラまたは前記別のカメラの少なくとも一方を備えるカメラユニット内の配線に必要な長さよりも長い距離とするとよく、特に１メートル以上とするとよい。 The cable should be relatively long distance. The relatively long distance is preferably longer than the length required for wiring within a camera unit that includes at least one of the camera or the other camera, and is particularly preferably 1 meter or more.
第１映像信号変換手段は例えばシリアライザー、第２映像信号変換手段は例えばデシリアライザーとするとよい。第１映像信号変換回路は特にシリアライザーチップ、第２映像信号変換回路は特にデシリアライザーチップとするとよい。第１映像信号変換回路と第２映像信号変換回路との間の伝送可能距離は、カメラおよび別のカメラが車載カメラである場合、特に数ｍの伝送が可能なものを用いるとよい。 The first video signal converting means may be, for example, a serializer, and the second video signal converting means may be, for example, a deserializer. The first video signal conversion circuit is preferably a serializer chip, and the second video signal conversion circuit is preferably a deserializer chip. Regarding the possible transmission distance between the first video signal conversion circuit and the second video signal conversion circuit, when the camera and the other camera are in-vehicle cameras, it is preferable to use a circuit capable of transmission of several meters in particular.
また例えば、前記カメラと第１の第１映像信号変換回路とを有する第１のカメラユニットと、前記別のカメラと第２の第１映像信号変換回路とを有する第２のカメラユニットと、第２映像信号変換回路とカメラ映像記録回路とを有する記録ユニットとを備え、前記第１のカメラユニットと前記記録ユニットの間を第１のケーブル、前記第２のカメラユニットと前記記録ユニットの間を第２のケーブルで接続し、それぞれの映像信号を伝送するようにしてもよい。例えば、車両のフロントガラスに取り付けられる前記カメラ（第１カメラ）が車両の前方を撮像するように設置された第１のカメラユニットと、車両のリアガラスに取り付けられ前記別のカメラ（第２カメラ）が車両の後方を撮像するように設置された第２のカメラユニットを備え、ダッシュボード上あるいは助手席の下等に設けた記録ユニットが両カメラユニットにそれぞれ別のケーブルで接続される構成とするとよい。あるいは記録ユニットと第１のカメラユニットを１つのユニットとして構成してもよい。 Further, for example, a first camera unit having the camera and a first video signal conversion circuit, a second camera unit having the another camera and a second first video signal conversion circuit, and a second camera unit having the camera and a second first video signal conversion circuit; a recording unit having two video signal conversion circuits and a camera video recording circuit, a first cable running between the first camera unit and the recording unit, and a cable running between the second camera unit and the recording unit. They may be connected using a second cable to transmit their respective video signals. For example, the first camera unit is installed such that the camera (first camera) attached to the windshield of the vehicle captures an image in front of the vehicle, and the other camera (second camera) is attached to the rear glass of the vehicle. If the second camera unit is installed to take images of the rear of the vehicle, and a recording unit installed on the dashboard or under the passenger seat is connected to both camera units with separate cables. good. Alternatively, the recording unit and the first camera unit may be configured as one unit.
また例えば、前記カメラと第１の第１映像信号変換回路とを有する第１のカメラユニットと、前記別のカメラと第２の第１映像信号変換回路とを有する第２のカメラユニットとを第１のケーブルで接続し、第２映像信号変換回路とカメラ映像記録回路とを有する記録ユニットと第２のカメラユニットとを第２のケーブルで接続する構成とし、それぞれの映像信号を伝送するようにしてもよい。
また、例えば、一つのカメラユニットに前記カメラと前記別のカメラを含む複数のカメラと第１映像信号変換回路を備え、第１映像信号変換回路は１つのケーブルにこれら複数のカメラの映像信号を流すよう変換し、当該１つのケーブルを介して第２映像信号変換回路とカメラ映像記録回路とを備えた記録ユニットに伝送して、記録手段に複数のカメラの映像を記録するようにするとよい。例えば、車両のフロントガラス等に取り付けられるカメラユニットであって、車両前方を撮像する前記カメラ（第１カメラ）と車両の後方を撮像する前記別のカメラ（第２カメラ）とを備えるカメラユニットと、ダッシュボード上あるいは助手席の下等に設けた、記録ユニットをケーブルで接続するように構成してもよい。
Further, for example, a first camera unit having the camera and a first video signal conversion circuit, and a second camera unit having the another camera and a second first video signal conversion circuit, A recording unit having a second video signal conversion circuit and a camera video recording circuit and a second camera unit are connected by a second cable, and respective video signals are transmitted. You can.
Further, for example, one camera unit includes a plurality of cameras including the camera and the other camera, and a first video signal conversion circuit, and the first video signal conversion circuit converts the video signals of the plurality of cameras into one cable. It is preferable that the video signals are converted so as to be streamed and transmitted via the single cable to a recording unit including a second video signal conversion circuit and a camera video recording circuit, so that video images from a plurality of cameras are recorded on the recording means. For example, a camera unit that is attached to a windshield or the like of a vehicle and includes the camera (first camera) that images the front of the vehicle and the other camera (second camera) that images the rear of the vehicle; , a recording unit installed on the dashboard or under the passenger seat may be connected via a cable.
なお、例えば、第２映像信号変換回路は、第１映像信号変換回路によって変換され、比較的長距離の前記１つのケーブルを介して伝送された複数のカメラの映像信号を、記録ユニット内の配線に必要な比較的短距離の伝送用の信号に変換するとよい。 Note that, for example, the second video signal conversion circuit converts the video signals of the plurality of cameras converted by the first video signal conversion circuit and transmitted via the one cable over a relatively long distance to the wiring in the recording unit. It is recommended that the signal be converted into a signal for relatively short-distance transmission required for
例えば、第２映像信号変換回路は、カメラ映像記録回路に対して、複数のカメラの映像信号を１つの伝送路に流すように出力して、これをカメラ映像記録回路が入力するように構成してもよい。例えば、第２映像信号変換回路は、２台のカメラの映像信号をそれぞれ所定のデータサイズのパケット等に分割して、交互にパケット等を伝送するようにしてもよい。より多数のカメラの映像信号を１つの伝送路にインターリーブして出力するようにしてもよい。 For example, the second video signal conversion circuit is configured to output video signals from a plurality of cameras to the camera video recording circuit so as to flow through one transmission path, and input the video signals to the camera video recording circuit. It's okay. For example, the second video signal conversion circuit may divide the video signals of the two cameras into packets each having a predetermined data size, and alternately transmit the packets. Video signals from a larger number of cameras may be interleaved onto one transmission path and output.
あるいは例えば、第２映像信号変換回路は、カメラ映像記録回路に対して、複数のカメラの映像信号をそれぞれのカメラ用の異なる伝送路に流すように出力して、これらをカメラ映像記録回路が入力するように構成してもよい。このようにすれば、それぞれのカメラ用の異なる伝送路中あるいは、これらに接続されたカメラ映像記録回路内において、各カメラ単位での処理がしやすい。例えば、カメラごとにカメラフレーム単位に映像とは別の情報を重畳させて記録したり、出力したりすることが比較的容易となる。 Alternatively, for example, the second video signal conversion circuit outputs the video signals of a plurality of cameras to the camera video recording circuit so as to flow through different transmission paths for each camera, and the camera video recording circuit inputs these video signals. It may be configured to do so. This makes it easy to process each camera in different transmission paths for each camera or in a camera video recording circuit connected to these. For example, it is relatively easy to record or output information other than video by superimposing it on a camera frame basis for each camera.
１本のケーブルはできるだけ少ない本数の信号線とするとよく、例えばツイストペアケーブルなどを用いるとよい。 It is preferable that one cable has as few signal lines as possible; for example, it is preferable to use a twisted pair cable.
伝送路としてはできるだけ少ない本数の信号線とするとよく、例えば数本の信号線（例えば基板上のプリント配線）などを用いるとよい。前記カメラと前記別のカメラを含む複数のカメラと第１映像信号変換回路の間はプリント配線またはフレキシブルケーブルの少なくともいずれか一方を介して接続するとよい。第２映像信号変換回路とカメラ映像記録回路の間はプリント配線またはフレキシブルケーブルの少なくともいずれか一方を介して接続するとよい。 It is preferable to use as few signal lines as possible as the transmission path, for example, it is preferable to use several signal lines (for example, printed wiring on a board). The plurality of cameras including the camera and the other camera and the first video signal conversion circuit may be connected via at least one of printed wiring and flexible cables. The second video signal conversion circuit and the camera video recording circuit may be connected via at least one of printed wiring and a flexible cable.
（７）前記信号分配手段から前記カメラおよび前記別のカメラまでの信号配線の長さを略同一とするとよい。 (7) The signal wiring lengths from the signal distribution means to the camera and the other camera may be approximately the same.
このようにすれば、前記カメラからの映像信号と前記別のカメラからの映像信号とが、同期が取れた信号となる可能性を高めることができる。 In this way, it is possible to increase the possibility that the video signal from the camera and the video signal from the other camera will be synchronized signals.
（８）前記電子部品は、前記カメラ映像記録回路とは別に設けられた、所定の画像認識処理を行う画像認識回路を含み、前記伝送する信号は、映像信号を含み前記画像認識回路は、分配された前記映像信号に基づいて行った前記画像認識処理の結果に関する情報を、前記カメラ映像記録回路へ出力し、前記カメラ映像記録回路は、前記結果に関する情報に基づいて、前記カメラで撮像された映像を圧縮して前記記憶手段に記憶させる構成とするとよい。 (8) The electronic component includes an image recognition circuit that is provided separately from the camera video recording circuit and performs predetermined image recognition processing, and the signal to be transmitted includes a video signal, and the image recognition circuit information regarding the result of the image recognition process performed based on the video signal obtained by the camera is output to the camera video recording circuit, and the camera video recording circuit outputs information regarding the result of the image recognition process performed based on the video signal captured by the camera based on the information regarding the result. It is preferable that the video is compressed and stored in the storage means.
このようにすれば、カメラ映像の圧縮と記憶手段への記憶を確実に行うことができるとともに、同一のカメラ映像の画像認識処理の結果に基づいた記録を行うこともできる。 In this way, it is possible to reliably compress the camera video and store it in the storage means, and it is also possible to record based on the result of image recognition processing of the same camera video.
カメラ映像記録回路は比較的安価であるが、映像の圧縮と記憶用に特化して設計されているため、画像認識等の機能を追加するのが困難（例えば、情報開示が少ない、残りリソースが少ないなど）という問題がある。例えば、ドライブレコーダー用ＳｏＣは安価だがドライブレコーダー用に設計されているため画像認識等の機能を追加するのが困難（例えば、情報開示が少ない、残りリソースが少ないなど）という問題がある。 Although camera video recording circuits are relatively inexpensive, they are designed specifically for video compression and storage, making it difficult to add functions such as image recognition (e.g., low information disclosure, limited resources available). There is a problem that For example, SoCs for drive recorders are inexpensive, but because they are designed for drive recorders, it is difficult to add functions such as image recognition (for example, little information is disclosed, there are few remaining resources, etc.).
一方で、画像認識用に用いられる画像認識回路は、映像の圧縮、記録のソフトとして信頼性が高いものがないという問題がある。画像認識回路は、例えばＯＳＳ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｓｏｆｔｗａｒｅ）等をコンパイルして利用可能な汎用のＳｏＣ（画像認識用のＳｏＣ）とするとよい。特に画像認識のアクセラレータ回路を備えたＳｏＣや、ディープラーニングのアクセラレータ回路を備えたＳｏＣ等とするとよい。なお、例えば、一般的なＳｏＣや、特にＦＰＧＡである画像認識回路に、Ｈ．２６４など映像のエンコーダーを載せるとコストがかかる、という問題もある。また仮に一般的なＳｏＣに映像のエンコーダーが載っていたとしても、特に、ドライブレコーダーとして採用しようとすると、ドライブレコーダー用のソフトウェアとして信頼性が高いものに乏しく、かといって自社でイチから作るには膨大なコストがかかる課題がある。 On the other hand, the problem with image recognition circuits used for image recognition is that there is no highly reliable video compression and recording software. The image recognition circuit may be a general-purpose SoC (SoC for image recognition) that can be used by compiling OSS (Open Source Software), for example. In particular, it is preferable to use an SoC equipped with an image recognition accelerator circuit, an SoC equipped with a deep learning accelerator circuit, or the like. Note that, for example, H. There is also the problem that installing a video encoder such as H.264 is costly. Furthermore, even if a general SoC has a video encoder installed, especially when trying to use it as a drive recorder, there is a lack of highly reliable software for drive recorders, and it is difficult to create it from scratch in-house. is a hugely costly issue.
例えば、カメラ映像記録回路と画像認識回路に、ＭＩＰＩ ＣＳＩ－２分岐器（例えば分岐チップ）を使って、同じカメラ映像信号を分配して入力する。カメラ映像記録回路と画像認識回路とは通信線で接続し、画像認識回路では対象物の状態を画像認識し、認識の結果、記録が必要な状況となった場合には、トリガー信号をこの通信線を介してカメラ映像記録回路へ渡す。カメラ映像記録回路はトリガー信号を画像認識回路から受け取った場合、記憶手段に自己が受けている映像信号をイベント記録するとよい。 For example, a MIPI CSI-2 splitter (for example, a branch chip) is used to distribute and input the same camera video signal to the camera video recording circuit and the image recognition circuit. The camera video recording circuit and the image recognition circuit are connected by a communication line, and the image recognition circuit recognizes the state of the object as an image, and if the recognition results in a situation that requires recording, a trigger signal is sent to this communication line. It is passed to the camera video recording circuit via the line. When the camera video recording circuit receives the trigger signal from the image recognition circuit, it is preferable to record the video signal that it is receiving as an event in the storage means.
通信線はパラレル通信線あるいはシリアル通信線としてトリガーのデータを伝送するようにしてもよい。例えば認識した物体の種別の情報をこのデータとして伝送するようにしてもよい。あるいは、単純なＧＰＩＯ（Ｇｅｎｅｒａｌ－ｐｕｒｐｏｓｅ ｉｎｐｕｔ/ｏｕｔｐｕｔ）間の通信線としてもよい。例えばドライブレコーダー用のＳｏＣのトリガー入力ポートに画像認識用のＳｏＣのＧＰＩＯ出力ポートを接続し、画像認識用のＳｏＣでの画像認識の結果、記録が必要な状況となった場合には、画像認識用のＳｏＣのＧＰＩＯ出力ポートの信号を変化させ、ドライブレコーダー用のＳｏＣはドライブレコーダー用のＳｏＣのトリガー入力ポートの信号の変化があった場合、トリガー発生として、その前後所定秒数の映像を記録手段に記録するとよい。また、さらにカメラ映像記録回路に接続されたセンサ類からの信号を、画像認識回路へ伝送するようにしてもよい。例えば、カメラ映像記録回路がドライブレコーダー用のＳｏＣであり画像認識回路が画像認識用のＳｏＣとすると、加速度センサ、スイッチ、ＧＰＳモジュールはドライブレコーダー用のＳｏＣに接続され、加速度センサ、スイッチ、ＧＰＳモジュールからドライブレコーダー用のＳｏＣが受け取った情報をリアルタイムに画像認識用のＳｏＣへ出力する。画像認識用のＳｏＣはこれらの情報をドライブレコーダー用のＳｏＣからリアルタイムに受け取り、画像認識に利用して、その結果を、ドライブレコーダー用のＳｏＣへ出力するとよい。こうした両ＳｏＣの機能はそれぞれ、各ＳｏＣに記憶されたこうした機能を実現するためのプログラムを実行することで実現するとよい。 The communication line may be a parallel communication line or a serial communication line to transmit trigger data. For example, information on the type of recognized object may be transmitted as this data. Alternatively, it may be a simple GPIO (General-purpose input/output) communication line. For example, by connecting the GPIO output port of the SoC for image recognition to the trigger input port of the SoC for a drive recorder, and as a result of image recognition on the SoC for image recognition, if a situation arises that requires recording, the image recognition If there is a change in the signal of the trigger input port of the SoC for the drive recorder, the SoC for the drive recorder records the video for a predetermined number of seconds before and after the occurrence of the trigger as a trigger occurrence. It is a good idea to record it in your means. Furthermore, signals from sensors connected to the camera video recording circuit may be transmitted to the image recognition circuit. For example, if the camera video recording circuit is an SoC for a drive recorder and the image recognition circuit is an SoC for image recognition, the acceleration sensor, switch, and GPS module are connected to the SoC for the drive recorder, and the acceleration sensor, switch, and GPS module are connected to the SoC for the drive recorder. The information received by the drive recorder SoC is output in real time to the image recognition SoC. The image recognition SoC preferably receives this information from the drive recorder SoC in real time, uses it for image recognition, and outputs the result to the drive recorder SoC. The functions of both SoCs may be realized by executing programs stored in each SoC for realizing these functions.
例えば４台のカメラの信号のそれぞれは、シリアライザーによってシリアル化され、デシリアライザーハブに入力される。デシリアライザーハブは第１ポートと第２ポートにそれぞれ同一の４つカメラからの信号をインターリーブしたシリアル信号を出力する。例えば第１ポートにはカメラ映像記録回路、第２ポートには画像認識回路が接続するとよい。 For example, each of the four camera signals is serialized by a serializer and input to a deserializer hub. The deserializer hub outputs serial signals obtained by interleaving signals from the same four cameras to the first port and the second port, respectively. For example, a camera video recording circuit may be connected to the first port, and an image recognition circuit may be connected to the second port.
例えば、画像認識回路では、例えば、進入禁止標識を認識したにもかかわらずその標識より先まで侵入が検知された場合に、進入禁止トリガーをカメラ映像記録回路へ出力する。カメラ映像記録回路は、進入禁止トリガーを画像認識回路から受信すると、その前後１５秒間の映像を記憶手段に進入禁止トリガー映像としてエンコードして記録する。 For example, the image recognition circuit outputs an entry prohibition trigger to the camera image recording circuit when, for example, an entry prohibition sign is recognized but intrusion is detected beyond the sign. When the camera image recording circuit receives the entry prohibition trigger from the image recognition circuit, it encodes and records images of 15 seconds before and after the entry prohibition trigger image in the storage means.
また、例えば、画像認識回路は例えば人がフォークリフトの周辺に侵入したことが検知された場合に、周囲人認識トリガーをカメラ映像記録回路へ出力する。例えば、カメラ映像記録回路は、周囲人認識トリガーを画像認識回路から受信すると、その前後３０秒間の映像を記憶手段に周囲人認識トリガー映像としてエンコードして記録する。 Further, for example, when it is detected that a person has entered the vicinity of the forklift, the image recognition circuit outputs a surrounding person recognition trigger to the camera video recording circuit. For example, when the camera video recording circuit receives a surrounding person recognition trigger from the image recognition circuit, it encodes and records the video for 30 seconds before and after the surrounding person recognition trigger image in the storage means.
例えばインターリーブされた４台のカメラの信号を、画像認識回路とカメラ映像記録回路のそれぞれで４台のカメラの映像に分離する処理を行う。画像認識回路は、４台のカメラの映像のどれか一つからトリガーを出力するかどうかを判定する処理を行ってもよいし、いずれかの映像でトリガーが必要な状態が認識された場合にトリガーを出力するようにしてもよい。あるいは、総合的にトリガーをかけるかどうかを判定する処理を行ってもよい。これらいずれを採用するかを設定可能とするとよい。 For example, an image recognition circuit and a camera video recording circuit each perform a process of separating interleaved signals from four cameras into videos from the four cameras. The image recognition circuit may perform processing to determine whether or not to output a trigger from any one of the images from the four cameras, or may perform processing to determine whether or not to output a trigger from any one of the images from the four cameras, or when a condition requiring a trigger is recognized in any of the images. A trigger may also be output. Alternatively, processing may be performed to comprehensively determine whether or not to apply a trigger. It is preferable to make it possible to set which of these to adopt.
特に同期信号をデシリアライザーハブとカメラ映像記録回路と画像認識回路に与えて同期を取るとよい。同期信号としてはピクセルクロックや垂直同期信号とするとよい。デシリアライザーハブは４つのシリアライザーへクロックを同期して出力するとよい。または、デシリアライザーハブでクロックを生成し、そのクロックをカメラ映像記録回路と画像認識回路に与えて同期を取るとよい。画像認識回路はＳｏＣではなくＦＰＧＡとしてもよいし、その他各種の計算機としてもよい。 In particular, it is good to synchronize by giving a synchronization signal to the deserializer hub, camera video recording circuit, and image recognition circuit. The synchronization signal may preferably be a pixel clock or a vertical synchronization signal. It is recommended that the deserializer hub synchronizes and outputs clocks to the four serializers. Alternatively, it is better to generate a clock with a deserializer hub and provide that clock to the camera video recording circuit and image recognition circuit to synchronize them. The image recognition circuit may be an FPGA instead of an SoC, or may be any other type of computer.
上記の例ではデシリアライザーハブ内にＭＩＰＩ ＣＳＩ－２分岐機能があるものの例で記載しているが、分岐器は外付けのものとしてもよい。 In the above example, the MIPI CSI-2 branching function is provided in the deserializer hub, but the branching device may be externally attached.
前記カメラ（およびまたは前記別のカメラ）の設定を行う機能（例えば、ＩＳＰ（イメージシグナルプロセッサ）の機能のうちカメラ制御する部分を含む部分など）は、例えば、カメラ映像記録回路側のものを用いる構成（パターン１）、画像認識回路側のものを用いる構成（パターン２）、または両者の側ものを切り替えて利用する構成（パターン３）のいずれかとするとよい。また、それぞれＩＳＰ内蔵のＳｏＣを利用する構成と外付けのＩＳＰを利用する構成のいずれかとするとよい。外付けのＩＳＰの設置位置としてカメラ映像記録回路側かのいずれかとするとよい。ただし、画像認識に必要な絵作りと、圧縮して記録手段に記録し再生等可能とする絵作りとは、異なるため、シャッタースピード、フレームレート、露光時間など、カメラをどのような状態に制御すればよいかが問題となる。この点、特に（９）のようにするとよい。 The function for setting the camera (and or the other camera) (for example, a part of the ISP (image signal processor) function that includes a camera control part) uses, for example, a function on the camera video recording circuit side. It is preferable to use either a configuration (pattern 1), a configuration that uses the image recognition circuit side (pattern 2), or a configuration that uses both sides by switching between them (pattern 3). Further, it is preferable to use either a configuration that uses an SoC with a built-in ISP or a configuration that uses an external ISP. The external ISP may be installed on either side of the camera video recording circuit. However, the process of creating a picture necessary for image recognition is different from the process of creating a picture that can be compressed, recorded on a recording medium, and played back, etc., so it is important to know how to control the camera in terms of shutter speed, frame rate, exposure time, etc. The question is what to do. In this respect, it is especially good to do as in (9).
（９）前記カメラ映像記録回路が前記カメラの設定を行うとよい。 (9) Preferably, the camera video recording circuit makes settings for the camera.
このようにすれば、設定の競合を防止できるとともに、カメラ映像の記録と当該カメラ映像に基づく画像認識とを比較的うまく両立できる。例えば、上述した（パターン１）を採る構成とすると優れた効果を発揮することを発明者らは見出した。画像認識に用いる画像は記録に必要な画像の品質の要求に対して低いケースが多い。特にディープラーニングによって画像を認識する機能を備えるとよく、このような構成では、画素数、フレームレート等の要求は一般的に低くてすむ。カメラ映像記録回路側としては、カメラ映像記録回路内とすると特によい。 In this way, conflicts in settings can be prevented, and recording of camera images and image recognition based on the camera images can be achieved relatively well. For example, the inventors have discovered that an excellent effect can be achieved by adopting the configuration described above (pattern 1). The quality of images used for image recognition is often low compared to the image quality required for recording. In particular, it is preferable to have a function of recognizing images using deep learning, and in such a configuration, the requirements for the number of pixels, frame rate, etc. are generally low. On the camera image recording circuit side, it is particularly preferable to place it within the camera image recording circuit.
ただし、ＩＳＰの機能のうちフォーカスと露光に関しては、画像認識回路側で画像処理に必要な要求に合わせてカメラを設定したほうがよい場合がある。そこで、あらかじめ画像認識回路側で必要な、露光に関する設定、フォーカスに関する設定を加味してカメラ映像記録回路側のカメラの設定の内容を設定しておくシステムとするとよい。例えばあらかじめ画像認識回路側で必要な、露光に関する設定、フォーカスに関する設定を加味して、例えばカメラ映像があまりにひどくならない範囲で調整して、カメラ映像記録回路側のＩＳＰ（例えば、カメラ映像記録回路内のＩＳＰ）の設定をしておくとよい。 However, regarding focus and exposure among the ISP functions, it may be better to set the camera on the image recognition circuit side in accordance with the requirements necessary for image processing. Therefore, it is preferable to adopt a system in which the contents of the camera settings on the camera video recording circuit side are set in advance by taking into account settings related to exposure and settings related to focus that are necessary on the image recognition circuit side. For example, by taking into account the exposure-related settings and focus-related settings that are necessary on the image recognition circuit side, and making adjustments within a range that does not make the camera image too bad, the ISP on the camera image recording circuit side (for example, the camera image recording circuit It is a good idea to set up your ISP.
（１０）前記カメラ映像記録回路と前記画像認識回路との間で前記カメラの設定を協調して調整するとよい。 (10) Preferably, the camera video recording circuit and the image recognition circuit coordinately adjust settings of the camera.
このようにすれば、より、カメラ映像の圧縮および記録と、画像認識処理の精度の向上とを両立しやすくなる。 In this way, it becomes easier to compress and record camera images and improve the accuracy of image recognition processing.
画像認識回路とカメラ映像記録回路とは通信し、カメラの制御がどのような状態にあるかを相互に把握する機能を備えるとよい。 It is preferable that the image recognition circuit and the camera video recording circuit communicate with each other and have a function of mutually understanding what state the camera is in.
例えば、カメラの設定をあらかじめ設定するのではなく、または、あらかじめ設定するとともに、画像認識回路側で露出やフォーカスの調整依頼信号を生成してカメラ映像記録回路に出力し、カメラ映像記録回路内ではこれを受けた場合に、カメラ映像記録回路側の設定機能によって設定を行うシステムとするとよい。例えば、カメラの設定をあらかじめ設定するのではなく、または、あらかじめ設定するとともに、画像認識回路側で露出やフォーカスの調整依頼信号をカメラ映像記録回路に出力し、カメラ映像記録回路はこれを受けた場合にカメラ映像記録回路側のＩＳＰの設定をこれに応じて調整するようにするとよい。なお、カメラ映像記録回路側で設定するカメラの設定に関する情報は画像認識回路へ送信して、画像認識回路ではこれを受信してこれを画像認識処理の処理の中で利用する構成とすると特によい。 For example, instead of setting the camera settings in advance, or in addition to setting them in advance, the image recognition circuit generates an exposure and focus adjustment request signal and outputs it to the camera video recording circuit, and the camera video recording circuit When receiving this information, it is preferable to adopt a system in which settings are made using a setting function on the camera video recording circuit side. For example, instead of setting the camera settings in advance, or in addition to setting them in advance, the image recognition circuit outputs an exposure and focus adjustment request signal to the camera video recording circuit, and the camera video recording circuit receives these signals. In this case, it is preferable to adjust the ISP settings on the camera video recording circuit side accordingly. Note that it is particularly preferable to configure the camera image recording circuit to transmit information regarding the camera settings to the image recognition circuit, and the image recognition circuit to receive the information and use it in the image recognition process. .
例えば、画像認識回路で標識の認識を行う場合、画像中の路肩に相当する領域を露出算出の優先領域として計算するとよい、このとき基本的にはカメラの制御はカメラ映像記録回路側から行うが、あらかじめ、ややこの領域の露出優先度を高めて設定しておくとともに、画像認識回路で標識領域の露出がアンダーになっている場合には画像認識回路からカメラ映像記録回路に対して露出補正信号を出力し、カメラ映像記録回路がこの信号を受けた場合にはカメラの露出を高める信号をカメラ側に出力する等するとよい。 For example, when recognizing a road sign using an image recognition circuit, it is recommended to calculate the area corresponding to the road shoulder in the image as the priority area for exposure calculation.In this case, the camera is basically controlled from the camera video recording circuit. , set the exposure priority for this area slightly higher in advance, and if the image recognition circuit underexposes the sign area, the image recognition circuit sends an exposure compensation signal to the camera image recording circuit. It is preferable to output this signal, and when the camera video recording circuit receives this signal, output a signal to increase the exposure of the camera to the camera side.
このようにカメラ自体の制御主体はあくまでカメラ映像記録回路側とし、画像認識回路側では直接的にカメラの制御を行わないように構成するとよい。また画像認識回路側からはカメラ映像記録回路側へ調整用信号を出力し、この調整用信号を受けた画像認識回路側が間接的にカメラを制御する構成とするとよい。例えば、カメラ自体の制御主体はあくまでカメラ映像記録回路とし、画像認識回路は直接的にカメラの制御を行わないように構成するとよい。また間接的に制御する構成とするとよい。 In this way, it is preferable to configure the camera so that the camera itself is mainly controlled by the camera video recording circuit, and the image recognition circuit does not directly control the camera. Further, it is preferable that an adjustment signal is output from the image recognition circuit side to the camera video recording circuit side, and the image recognition circuit side that receives this adjustment signal indirectly controls the camera. For example, it is preferable that the main body controlling the camera itself is the camera video recording circuit, and the image recognition circuit is configured so as not to directly control the camera. Further, it is preferable to adopt a configuration in which control is performed indirectly.
なおフォーカスに関する設定はカメラをパンフォーカスとして不要とするとよい For focus settings, it is best to make the camera pan-focus unnecessary.
なお、別の例として前述の（パターン３）として、例えば時分割でカメラの制御主体を切り替えるようにしてもよい。特に、映像の記録フレームレートは、映像の記録・再生に十分なフレームレートとする一方（例えば、人間の視覚でカクつかないレベルのフレームレート（例えば２４から３０ｆｐｓ程度））とする一方、カメラのフレームレートはそれよりも高いフレームレート（例えば１２０ｆｐｓ）として、カメラのだすフレームに順に「１」，「２」，「３」，「４」，「１」，「２」，「３」，「４」・・・と番号を付けたとき、「１」についてはカメラ映像記録回路側、「３」については画像認識回路側のものとなるようにするとよい。例えば「２」，「４」、は切り替えする時間としてもよい。 In addition, as another example, as described above (pattern 3), the control entity of the camera may be switched, for example, in a time-sharing manner. In particular, the video recording frame rate is set to a frame rate sufficient for video recording and playback (e.g., a frame rate at a level that does not cause stutters to human vision (e.g., around 24 to 30 fps)), while the camera The frame rate is set to a higher frame rate (for example, 120 fps), and the frames output by the camera are sequentially "1", "2", "3", "4", "1", "2", "3", " When numbers are assigned such as ``4'', it is preferable that ``1'' be assigned to the camera video recording circuit side, and ``3'' be assigned to the image recognition circuit side. For example, "2" and "4" may be the switching times.
切り替えは、例えばカメラ映像記録回路側のＩＳＰと、画像認識回路側のＩＳＰとの双方を物理的に切り替えるようにしてもよいが、あくまでＩＳＰはカメラ映像記録回路側のＩＳＰの設定を時分割で切り替えるようにするとよい。複数のカメラはすべてカメラ映像記録回路側が制御するようにし、画像認識回路側は複数のカメラのいずれも直接的には制御しないようにするとよい。間接的に制御するようにするとよい。 For example, switching may be done by physically switching both the ISP on the camera video recording circuit side and the ISP on the image recognition circuit side, but the ISP can only change the settings of the ISP on the camera video recording circuit side in a time-sharing manner. It's a good idea to switch. It is preferable that the camera video recording circuit side controls all the plurality of cameras, and that the image recognition circuit side does not directly control any of the plurality of cameras. It is better to control it indirectly.
画像認識回路が間接的に制御する対象のカメラは、複数のカメラのうち一部のカメラとするとよい。この一部のカメラは認識に必要な要求と画像の記録・再生（人間が映像を見るの）に必要な要求との乖離が大きい一部のカメラとするとよい。 The cameras to be indirectly controlled by the image recognition circuit may be some of the cameras. It is preferable that some of these cameras have a large discrepancy between the requirements necessary for recognition and the requirements necessary for recording and reproducing images (for humans to view images).
カメラは１台でもよい。例えばＭＩＰＩ ＣＳＩ－２スプリッターを使って、カメラ信号を２つに分岐してもよい。 One camera is enough. For example, a MIPI CSI-2 splitter may be used to split the camera signal into two.
（１１）前記カメラ映像記録回路に入力する映像信号よりも情報量を削減した信号を生成する認識用映像信号生成手段を備え、前記画像認識回路は、前記情報量を削減した映像信号に基づいて前記画像認識処理を行う構成とするとよい。 (11) Recognition video signal generation means for generating a signal with reduced amount of information than the video signal input to the camera video recording circuit, wherein the image recognition circuit generates a signal based on the video signal with reduced amount of information. It is preferable to adopt a configuration in which the image recognition process is performed.
このようにすれば、画像認識回路で扱う情報量をあらかじめ削減でき認識処理をより低コストで高速に行うことができるとともに、優れた画質で映像を圧縮して記録手段に記録させることができる。 In this way, the amount of information handled by the image recognition circuit can be reduced in advance, recognition processing can be performed at lower cost and faster, and the video can be compressed and recorded in the recording means with excellent image quality.
例えばカメラからの信号は分岐せず、カメラ映像記録回路に入れ、カメラ映像記録回路は、カメラからの映像信号を間引くなどして情報量を削減してＵＳＢポートなど他のポートから画像認識回路へ出力する構成とするとよい。画像の間引きは、例えば、画素を間引く、フレームを間引くなどの処理とするとよい。一般に画像認識において特にディープラーニングの場合には、認識に必要な画像の情報量は、人間が映像を確認するのに比べ格段に小さくてよい。 For example, the signal from the camera is not branched, but is sent to the camera video recording circuit, and the camera video recording circuit thins out the video signal from the camera to reduce the amount of information, and then sends it from another port such as a USB port to the image recognition circuit. It is better to have a configuration that outputs it. Image thinning may be performed, for example, by thinning out pixels or thinning out frames. In general, in image recognition, especially in the case of deep learning, the amount of image information required for recognition may be much smaller than that required for humans to check images.
この例では、間引きはカメラ映像記録回路で行うこととしたが、カメラ映像記録回路の負荷が高くなる可能性や、リソースが不足する可能性がある。またそもそもカメラ映像記録回路には手を入れられない可能性がある。そこで、カメラからの映像信号を分岐し、一方の分岐した映像信号はそのまま映像記録回路に入れる一方、画像認識回路には間引いた映像信号を入力するようにするとよい。例えばこの機能は、ＦＰＧＡを用いて構成するとよい。あるいは、ＦＰＧＡに代えて、単体のＩＳＰチップを用いて、ＩＳＰチップの出力ポート切り替え機能を用いて、フレームごとに出力先を切り替える構成としてもよい。 In this example, thinning is performed by the camera video recording circuit, but there is a possibility that the load on the camera video recording circuit will be high or that resources will be insufficient. Furthermore, there is a possibility that the camera image recording circuit cannot be modified in the first place. Therefore, it is preferable to branch the video signal from the camera, input one of the branched video signals as is to the video recording circuit, and input the thinned-out video signal to the image recognition circuit. For example, this function may be configured using an FPGA. Alternatively, instead of the FPGA, a single ISP chip may be used, and the output port switching function of the ISP chip may be used to switch the output destination for each frame.
（１２）前記画像認識回路は、前記信号分配手段から分配された前記映像信号に基づく情報を第２記録手段に記録するとよい。 (12) The image recognition circuit preferably records information based on the video signal distributed from the signal distribution means in a second recording means.
このようにすれば、第２記録手段に信号分配手段から分配された前記映像信号に基づく情報が記録される。 In this way, information based on the video signal distributed from the signal distribution means is recorded in the second recording means.
第２記録手段は第１記録手段とは別の記録手段とするとよい。特に第２記録手段とは別の着脱可能な記録媒体とするとよい。前記分配手段から分配された前記映像信号に基づく情報としては、分配されて画像認識回路に入力された映像信号を加工した情報とするとよい。例えば認識した物体を囲むとともにその属性を文字情報として重ね合わせた映像情報を記録するとよい。また、このような映像情報とともに、あるいは、このような映像情報に替えて、例えばカメラ映像記録回路に送ったトリガー信号をその時刻とともに記録するようにしてもよい。例えば認識した物体の座標と種別に関する情報をその時刻と対応づけて記録するようにしてもよい。 The second recording means is preferably a recording means different from the first recording means. In particular, it is preferable to use a removable recording medium separate from the second recording means. The information based on the video signal distributed from the distribution means may be information obtained by processing the video signal distributed and input to the image recognition circuit. For example, it is preferable to record video information that surrounds the recognized object and superimposes its attributes as text information. Further, together with such video information, or instead of such video information, for example, a trigger signal sent to the camera video recording circuit may be recorded together with its time. For example, information regarding the coordinates and type of the recognized object may be recorded in association with the time.
上述した（１）から（１２）に示した発明は、任意に組み合わせることができる。例えば、（１）に示した発明の全てまたは一部の構成に、（２）以降の少なくとも１つの発明の少なくとも一部の構成を加える構成としてもよい。特に、（１）に示した発明に、（２）以降の少なくとも１つの発明の少なくとも一部の構成を加えた発明とするとよい。なお、特に（２）の構成と（８）の構成を双方ともに備える構成とするとよい。また、（１）から（１２）に示した発明から任意の構成を抽出し、抽出された構成を組み合わせてもよい。本願の出願人は、これらの構成を含む発明について権利を取得する意思を有する。また「～の場合」「～のとき」という記載があったとしても、その場合やそのときに限られる構成として記載はしているものではない。これらはよりよい構成の例を示しているものであって、これらの場合やときでない構成についても権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えたりした構成についても開示しているものであり、権利取得する意思を有する。 The inventions shown in (1) to (12) above can be combined arbitrarily. For example, at least a part of the structure of at least one invention described in (2) and subsequent ones may be added to all or part of the structure of the invention shown in (1). In particular, it is preferable to create an invention in which at least a part of the structure of at least one invention after (2) is added to the invention shown in (1). In particular, it is preferable to adopt a configuration that includes both the configuration (2) and the configuration (8). Alternatively, arbitrary configurations may be extracted from the inventions shown in (1) to (12) and the extracted configurations may be combined. The applicant of this application intends to acquire rights to inventions containing these structures. Furthermore, even if there is a description of "in the case of" or "at the time of", the description is not intended to be limited to those cases or times. These are examples of better configurations, and we intend to acquire rights to these cases and other configurations as well. Furthermore, the sections described in order are not limited to this order. It also discloses a configuration in which some parts have been deleted or the order has been changed, and we have the intention to acquire the rights.
本発明によれば、従来よりも優れたシステム等を提供できる。 According to the present invention, it is possible to provide a system etc. that is superior to conventional systems.
本願の発明の効果はこれに限定されず、本明細書および図面等に開示される構成の部分から奏する効果についても開示されており、当該効果を奏する構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「～できる」と記載した箇所などは奏する効果を明示する記載であり、また「～できる」と記載がなくとも効果を示す部分が存在する。またこのような記載がなくとも当該構成よって把握される効果が存在する。 The effects of the invention of the present application are not limited to these, but the effects obtained from the parts of the structure disclosed in the specification, drawings, etc. are also disclosed, and the rights to the structure that produces the effects have also been acquired through divisional applications, amendments, etc. have the intention to For example, in this specification, a portion where it is written as "can be done" is a statement that clearly indicates the effect to be achieved, and there are parts that show an effect even if there is no mention of "can be done". Further, even without such a description, there are effects that can be understood from the configuration.
以下、実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は本開示の実施形態の一例であって、本開示はこれらの実施形態に限定されるものではない。なお、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号（数字の後にＡ、Ｂなどを付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。また、以下の説明で参照する各図において、各部材、各領域等を認識可能な大きさとするために、実際とは縮尺を異ならせている場合がある。 Hereinafter, embodiments will be described in detail with reference to the drawings. The embodiments shown below are examples of the embodiments of the present disclosure, and the present disclosure is not limited to these embodiments. In the drawings referred to in this embodiment, the same parts or parts having similar functions are denoted by the same symbols or similar symbols (numerals followed by numbers such as A, B, etc.), and their repetitions are indicated. The explanation may be omitted. In addition, in each figure referred to in the following explanation, the scale may be different from the actual scale in order to make each member, each region, etc. recognizable.
図１は、一実施形態に係るシステム１の構成を示すブロック図である。システム１は、車両に搭載される車載機器とするとよく、特にドライブレコーダーとして機能する車載機器とするとよい。車両は、フォークリフトとするとよいが、フォークリフト以外の作業車、または作業者以外の車両（例えば、私用または公用の乗用車、バスまたは列車）としてもよい。
FIG. 1 is a block diagram showing the configuration of a
以下では、まず、システム１における映像信号の伝送および映像信号を用いた処理について説明し、その後に、同期信号の伝送および同期信号を用いた処理について説明する。
In the following, transmission of a video signal and processing using the video signal in the
システム１は、カメラ１０－１～１０－４と、第１映像信号変換回路２０－１～２０－４と、第２映像信号変換回路３０と、カメラ映像記録回路４０と、画像認識回路５０と、記憶媒体６０と、情報入力部７０と、表示部８０とを含む。以下、カメラ１０－１～１０－４の各々を特に区別する必要のない場合は、これらを「カメラ１０」と総称し、第１映像信号変換回路２０－１～２０－４の各々を特に区別する必要のない場合は、これらを「第１映像信号変換回路２０」と総称する場合がある。カメラ１０および第１映像信号変換回路２０は、本実施形態ではそれぞれ４台とし、４つの映像チャネルの映像信号を取り扱う。ただし、カメラ１０および第１映像信号変換回路２０は、それぞれ３台以下または５台以上とし、３つ以下または５つ以上の映像チャネルの映像信号を取り扱ってもよい。なお、上述したシステム１の各回路は、例えば、物理的に分離された回路（例えばチップ）によって実現されるが、２以上の回路が同一の基板上に作製された回路（例えば同一のチップ）によって実現されてもよい。
The
カメラ１０は、撮像し、撮像した映像を示す映像信号を生成する電子部品である。カメラ１０は、各種のカメラとすることができるが、ＣＣＤカメラとすることができ、特にＣＭＯＳカメラとするとよい。カメラ１０は、静止画を撮像するためのカメラとすることもできるが、特に動画を撮像するためのカメラとするとよい。カメラ１０は、赤外線カメラのような特殊なカメラとすることができるが、可視光（例えば、４００～７００ｎｍの波長領域の光）を撮像するカメラとするとよく、特に可視光のカメラとするとよい。カメラ１０は、モノクロの映像が得られるカメラとしてもよいが、カラーの映像が得られるカメラとするとよい。カメラ１０は、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタを平面に配置したカメラとするとよい。カメラの解像度はＶＧＡ以上の解像度とするとよい。カメラ１０は、例えば撮像素子を備える部分を指してもよいが、撮像素子そのものを指してもよい。特にカメラ１０は車両に設置されたカメラとするとよい。特にカメラ１０は車両のメーカーの出荷後に後付されるカメラとするとよい。 The camera 10 is an electronic component that captures an image and generates a video signal representing the captured image. The camera 10 can be any type of camera, but can be a CCD camera, particularly a CMOS camera. Although the camera 10 can be a camera for capturing still images, it is particularly preferable to use a camera for capturing moving images. The camera 10 can be a special camera such as an infrared camera, but is preferably a camera that captures images of visible light (for example, light in a wavelength range of 400 to 700 nm), and is particularly preferably a visible light camera. The camera 10 may be a camera that can obtain monochrome images, but it is preferable to use a camera that can obtain color images. The camera 10 may be, for example, a camera in which red (R), green (G), and blue (B) color filters are arranged on a plane. The resolution of the camera is preferably VGA or higher. The camera 10 may refer to a portion including an image sensor, for example, or may refer to the image sensor itself. In particular, the camera 10 is preferably a camera installed in a vehicle. In particular, the camera 10 may be a camera that is retrofitted after the vehicle manufacturer ships the vehicle.
本実施形態では、カメラ１０が生成出力する映像信号は、複数の画素の各画素の階調値を含むデジタル形式のデータである。映像信号は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色成分について８ビット（２５６階調）のデータを含むようにするとよいが、色成分および階調数はこれに限られない。 In this embodiment, the video signal generated and output by the camera 10 is data in digital format including the gradation value of each pixel of a plurality of pixels. It is preferable that the video signal includes 8 bits (256 gradations) of data for each color component of red (R), green (G), and blue (B), but the number of color components and gradations is limited to this. do not have.
カメラ１０－１は、第１映像信号変換回路２０－１と通信可能に接続する。カメラ１０－２は、第１映像信号変換回路２０－２と通信可能に接続する。カメラ１０－３は、第１映像信号変換回路２０－３と通信可能に接続する。カメラ１０－４は、第１映像信号変換回路２０－４と通信可能に接続する。カメラ１０－１～１０－４の各々と、第１映像信号変換回路２０－１～２０－１の各々とは、有線または無線の伝送路のいずれで接続されてもよいが、有線の伝送路を用いて接続されるとよい。図１の例では、カメラ１０－１は、映像信号Ａ１，Ａ２，Ａ３，Ａ４を時系列順に出力する。カメラ１０－２は、映像信号Ｂ１，Ｂ２，Ｂ３を時系列順に出力する。カメラ１０－３は、映像信号Ｃ１、Ｃ２，Ｃ３，Ｃ４を時系列順に出力する。カメラ１０－４は、映像信号Ｄ１，Ｄ２を時系列順に出力する。カメラ１０－１～１０－４においては、「Ａ」～「Ｄ」の後ろに付される数字が小さい映像信号から順に出力される。また、この数字が同じである映像信号は、同時にカメラ１０－１～１０－４出力されるものとする。例えば、映像信号Ａ１、Ｂ１，Ｃ１，Ｄ１は同時に出力される。映像信号Ａ１～Ａ４，Ｂ１～Ｂ３，Ｃ１～Ｃ４，Ｄ１，Ｄ２のそれぞれは、所定単位の映像信号であるが、例えば１コマ（１フレームともいう。）の映像を示す映像信号とするとよい。 The camera 10-1 is communicably connected to the first video signal conversion circuit 20-1. The camera 10-2 is communicably connected to the first video signal conversion circuit 20-2. The camera 10-3 is communicably connected to the first video signal conversion circuit 20-3. The camera 10-4 is communicably connected to the first video signal conversion circuit 20-4. Each of the cameras 10-1 to 10-4 and each of the first video signal conversion circuits 20-1 to 20-1 may be connected to each other by a wired or wireless transmission path. It is recommended that the connection be made using In the example of FIG. 1, the camera 10-1 outputs video signals A1, A2, A3, and A4 in chronological order. Camera 10-2 outputs video signals B1, B2, and B3 in chronological order. Camera 10-3 outputs video signals C1, C2, C3, and C4 in chronological order. Camera 10-4 outputs video signals D1 and D2 in chronological order. In the cameras 10-1 to 10-4, video signals are output in order from the smallest number after "A" to "D". Further, it is assumed that video signals having the same number are outputted from the cameras 10-1 to 10-4 at the same time. For example, video signals A1, B1, C1, and D1 are output simultaneously. Each of the video signals A1 to A4, B1 to B3, C1 to C4, D1, and D2 is a video signal of a predetermined unit, and may be a video signal representing one frame (also referred to as one frame), for example.
カメラ１０－１～１０－４は、それぞれ撮像する領域が異なるようにするとよい。カメラ１０が撮像する領域は、例えば、車内および車外の一方または両方を含む。車外の領域は、車両の前方（正面）、右斜め前方、右方（真横）、右斜め後方、後方（真後ろ）、左斜め後方、左方（真横）、および左斜め前方のいずれかとするとよいが、他の領域でもよい。カメラ１０－１～１０－４は、例えば、車両のフロントガラスに取り付けられるカメラ（第１カメラ）と、車両の後方を撮像するように設置されたカメラ（第２カメラ）とが少なくとも含まれるようにするとよい。 It is preferable that the cameras 10-1 to 10-4 image different areas. The area imaged by the camera 10 includes, for example, one or both of the interior of the vehicle and the exterior of the vehicle. The area outside the vehicle should be one of the front (front), diagonally right front, right (straight side), right diagonally rear, rear (straight behind), left diagonally rear, left (straight side), and left diagonally front of the vehicle. However, it may also be in other areas. The cameras 10-1 to 10-4 include at least a camera (first camera) attached to the windshield of the vehicle and a camera (second camera) installed to take an image of the rear of the vehicle. It is better to make it .
第１映像信号変換回路２０は、カメラ１０から映像信号の入力を受け付けて、シリアル形式の映像信号に変換する第１映像信号変換手段を備える。第１映像信号変換回路２０はシリアライザー、特にシリアライザーチップとするとよい。シリアル形式の映像信号は、カメラ１０から入力された映像信号を、シリアルデータ列に変換した信号である。第１映像信号変換回路２０－１はカメラ１０－１からの映像信号を変換し、第１映像信号変換回路２０－２はカメラ１０－２からの映像信号を変換し、第１映像信号変換回路２０－３はカメラ１０－３からの映像信号を変換し、第１映像信号変換回路２０－４はカメラ１０－４からの映像信号を変換する。第１映像信号変換回路２０－１～２０－４は、インターリーブされた変換後の映像信号を、第２映像信号変換回路３０へ出力する。第１映像信号変換回路２０－１～２０－４の各々と、第２映像信号変換回路３０とは、有線または無線のいずれで接続されてもよいが、１本の有線のケーブルを用いて接続されるようにするとよい。第１映像信号変換回路２０－１～２０－４は、このようなケーブルを介した伝送用の映像信号に変換する。このケーブルは、比較的長距離のケーブルとするとよい。比較的長距離としては、カメラ１０またはこれとは別のカメラ１０の少なくとも一方を備えるカメラユニット内の配線に必要な長さよりも長い距離とするとよく、特に１メートル以上とするとよい。
The first video
第１映像信号変換回路２０と第２映像信号変換回路３０との間の信号の伝送可能距離は、カメラ１０が車載カメラである場合、特に数ｍの伝送が可能なものを用いるとよい。
Regarding the possible signal transmission distance between the first video
第２映像信号変換回路３０は、第１映像信号変換回路２０－１～２０－４の各々からケーブルを介して伝送されたカメラ１０－１～１０－４の映像信号を、カメラ映像記録回路４０に入力可能な映像信号に変換する第２映像信号変換手段を備える。第２映像信号変換回路３０は、デシリアライザー、特にデシリアライザーチップとするとよい。また、第２映像信号変換回路３０は、カメラ１０－１～１０－４とカメラ映像記録回路４０との間で伝送される映像信号を、画像認識回路５０に分配する信号分配手段としても機能する。例えば第２映像信号変換回路３０は、ＭＩＰＩ ＣＳＩ－２分岐機能を有してもよい。このようにすれば、カメラ１０で撮像した映像を圧縮して記憶媒体６０に記憶させることができるとともに、画像認識回路５０において、分配されたカメラ１０とカメラ映像記録回路４０との間の信号に基づいて画像認識機能を実現することができる。
The second video
第２映像信号変換回路３０は、第１ポート３１および第２ポート３２を有する。第１ポート３１にはカメラ映像記録回路４０が、第２ポート３２には画像認識回路５０がそれぞれ通信可能に接続されている。このような第２映像信号変換回路３０は、デシリアライザーハブとして特定できるものでもある。
The second video
第２映像信号変換回路３０と、カメラ映像記録回路４０および画像認識回路５０の各々とは、有線または無線のいずれで接続されてもよいが、有線のケーブルを用いて接続されるとよい。第２映像信号変換回路３０は、インターリーブされたカメラ１０－１～１０－４からの映像信号に基づいて、映像信号Ｓ１をカメラ映像記録回路４０に、映像信号Ｓ２を画像認識回路５０に出力する。第２映像信号変換回路３０は、第１ポート３１および第２ポート３２のそれぞれから同じ画像信号であるＳ１，Ｓ２を、同じタイミングに出力することにより、カメラ１０－１～１０－４からの映像信号を分配する。第２映像信号変換回路３０は、例えば、所定のプロトコルの映像信号を入力し、入力したプロトコルと同一のプロトコルで複数の出力先に分配して出力する。例えば、映像信号としてＭＩＰＩ ＣＳＩ－２信号を出力するカメラ１０であれば、第２映像信号変換回路３０はＭＩＰＩ ＣＳＩ－２信号スプリッターチップとするとよい。第２映像信号変換回路３０は、例えば所定のプロトコルの映像信号を入力し、入力したプロトコルとは異なるプロトコルであって複数の出力先について同一のプロトコルの信号を出力するとよい。例えば、映像信号としてＦＰＤ－ＬＩＮＫ III信号を出力するカメラ１０であれば、第２映像信号変換回路３０はＦＰＤ－ＬＩＮＫ III信号を入力して例えば複数のＭＩＰＩ ＣＳＩ－２信号として出力するポートを備えたチップ（例えば、１ポート入力２ポート出力のデュアルポート出力デシリアライザーハブなど）とするとよい。特にＭＩＰＩ ＣＳＩ－２信号として出力するポートはあるポートのレプリカを他のポートに出力する機能を備えたものとするとよい。特にデシリアライザーハブチップとするとよい。
The second video
システム１において、１本のケーブルはできるだけ少ない本数の信号線とするとよく、例えばツイストペアケーブルなどを用いるとよい。伝送路としてはできるだけ少ない本数の信号線とするとよく、例えば数本の信号線（例えば、基板上のプリント配線）などを用いるとよい。カメラ１０とこれとは別のカメラ１０を含む複数のカメラ１０と第１映像信号変換回路２０との間は、プリント配線またはフレキシブルケーブルの少なくともいずれか一方を介して接続するとよい。第２映像信号変換回路３０とカメラ映像記録回路４０との間はプリント配線またはフレキシブルケーブルの少なくともいずれか一方を介して接続するとよい。
In the
第２映像信号変換回路３０は、カメラ１０－１，１０－２，１０－３，１０－４の各カメラの映像信号を所定の順番で選択し、選択した映像信号を、第１ポート３１および第２ポート３２の各々から出力する。ここでは、図１の例では、第２映像信号変換回路３０は、カメラ１０－１，１０－２，１０－３，１０－４，１０－１，１０－２，１０－３，１０－４・・・の順で、１フレーム単位で映像信号を切り替えることにより、映像信号Ｓ１，Ｓ２を出力する。具体的には、第２映像信号変換回路３０は、第１ポート３１および第２ポート３２のそれぞれから、映像信号Ａ１，Ｂ１，Ｃ１，Ｄ１，Ａ２，Ｂ２，Ｃ２，Ｄ２，Ａ３，Ｂ３，Ｃ３，Ａ４，Ｃ４の順で、映像信号Ｓ１，Ｓ２を出力する。なお、第３０が、映像信号を分配する機能（ＭＩＰＩ ＣＳＩ－２分岐機能）を有しなくてもよく、この場合、外付けの分配器が用いられてもよい。
The second video
カメラ映像記録回路４０は、第１ポート３１からの映像信号Ｓ１を圧縮して記憶媒体６０に記憶させる機能を有する。カメラ映像記録回路４０に備える映像の圧縮部（図示略）は、各種のアルゴリズムのものを用いることができるが、特に規格化されたアルゴリズムのエンコーダーを用いるとよく、特にＨ．２６４エンコーダーまたはＨ．２６５エンコーダーの少なくともいずれか一方を備えるものとするとよい。特に、カメラ映像記録回路４０に備える映像のエンコーダーは、ソフトウェア処理で行うものではなく、ハードウェアで構成されたものとするとよい。カメラ映像記録回路４０は、ＦＰＧＡとするとよいが、特にＳｏＣとすることが望ましい。また、カメラ映像記録回路４０は、ソフトマクロではなく、ハードマクロで構成されたものが望ましい。
The camera
カメラ映像記録回路４０は、カメラ映像記録の専用チップとして販売されているものとすると特によい。カメラ映像記録回路４０は、例えば、カメラ映像記録用のＡＳＳＰ、カメラ映像記録用のＳｏＣなどのカメラ映像記録用のＬＳＩとするとよく、特にカメラ映像記録回路はドライブレコーダー用ＳｏＣとするとよい。
It is particularly preferable that the camera
カメラ映像記録回路４０は、画像認識回路５０からトリガー信号ＴＧが入力されると、その入力に応じた期間の映像信号を記憶媒体６０に記憶させるイベント録画を行う。この期間は、例えば、イベント発生の前後３０秒間とするとよいが、他の期間としてもよい。
When the trigger signal TG is input from the
画像認識回路５０は、第２映像信号変換回路３０によって分配されたカメラ１０とカメラ映像記録回路４０との間を伝送する信号を用いて所定の機能を実現する電子部品として機能する。画像認識回路５０は、第２ポート３２からの映像信号Ｓ２が示す映像を認識し、イベント録画の契機となる事象が発生したかどうかを判定する。画像認識回路５０は、当該事象が発生したと判定した場合は、イベント録画の開始の契機となるトリガー信号ＴＧを、カメラ映像記録回路４０に出力する。画像認識回路５０は、例えば、映像における対象物の状態を認識し、認識の結果、イベント録画が必要な状況となった場合には、トリガー信号ＴＧを、カメラ映像記録回路４０へ出力する。このように、画像認識回路５０は、４台のカメラ１０－１～１０－４の映像から総合的に、トリガー信号ＴＧを生成するかどうかを判定するとよい。
The
このように、画像認識回路５０は、映像信号Ｓ２に基づいて行った画像認識処理の結果に関する情報を、カメラ映像記録回路４０へ出力する。画像認識回路５０は、映像における認識した対象物の位置を示す情報をカメラ映像記録回路４０へ出力してもよい。カメラ映像記録回路４０は、画像認識処理の結果に関する情報に基づいて、映像信号Ｓ１が示す映像を圧縮して記憶媒体６０に記憶させる。このようにすれば、カメラ１０の映像の圧縮と記憶媒体６０への記憶を確実に行うことができるとともに、同一のカメラ１０の映像の画像認識処理の結果に基づいた記録を行うこともできる。
In this way, the
ここで、イベント録画の一例を説明する。画像認識回路５０は、例えば、映像に基づいて進入禁止標識を認識したにもかかわらず、その標識より先まで侵入が検知された場合に、進入禁止トリガーを示すトリガー信号ＴＧ１を、カメラ映像記録回路４０へ出力する。カメラ映像記録回路４０は、トリガー信号ＴＧ１の入力を受けると、その前後１５秒間の映像を示す映像信号を、記憶媒体６０に進入禁止トリガー映像としてエンコードして記録する。画像認識回路５０は、例えば、人がフォークリフトの周辺に侵入したことを認識した場合、周囲人認識トリガーを示すトリガー信号ＴＧ２を、カメラ映像記録回路４０へ出力する。カメラ映像記録回路４０は、トリガー信号ＴＧ２の入力を受けると、その前後３０秒間の映像を示す映像信号を、記憶媒体６０に周囲人認識トリガー映像としてエンコードして記録する。ここにおいて、トリガー信号ＴＧ１またはＴＧ２の出力の契機となった映像チャネルの映像のみが記録されてもよいし、すべての映像チャネルの映像が記録されてもよい。なお、トリガー信号の出力の契機となる事象や、イベント録画の対象となる期間については、様々な変形が考えられる。例えば、イベント録画は、情報入力部７０を介して入力された情報が、所定の条件を満たしたことを契機に行われてもよい。
Here, an example of event recording will be explained. For example, when a no-entry sign is recognized based on the image, but intrusion is detected beyond the sign, the
例えば、カメラ映像記録回路４０と画像認識回路５０に、ＭＩＰＩ ＣＳＩ－２分岐器（例えば分岐チップ）を使って、同じカメラ映像信号を分配して入力する。カメラ映像記録回路４０と画像認識回路５０とは通信線で接続し、画像認識回路５０では対象物の状態を画像認識し、認識の結果、記録が必要な状況となった場合には、トリガー信号をこの通信線を介してカメラ映像記録回路へ渡す。カメラ映像記録回路はトリガー信号を画像認識回路から受け取った場合、記憶手段に自己が受けている映像信号をイベント記録するとよい。
For example, the same camera video signal is distributed and input to the camera
通信線はパラレル通信線あるいはシリアル通信線としてトリガー信号ＴＧやその他のデータを伝送するようにしてもよい。例えば認識した物体の種別の情報をこのデータとして伝送するようにしてもよい。あるいは、単純なＧＰＩＯ間の通信線としてもよい。例えばドライブレコーダー用のＳｏＣのトリガー入力ポートに画像認識用のＳｏＣのＧＰＩＯ出力ポートを接続し、画像認識用のＳｏＣでの画像認識の結果、記録が必要な状況となった場合には、画像認識用のＳｏＣのＧＰＩＯ出力ポートの信号を変化させ、ドライブレコーダー用のＳｏＣはドライブレコーダー用のＳｏＣのトリガー入力ポートの信号の変化があった場合、トリガー発生として、その前後所定秒数の映像を記録手段に記録するとよい。また、さらにカメラ映像記録回路４０に接続されたセンサ類からの信号を、画像認識回路５０へ伝送するようにしてもよい。例えば、カメラ映像記録回路４０がドライブレコーダー用のＳｏＣであり画像認識回路５０が画像認識用のＳｏＣとすると、加速度センサ、スイッチ、ＧＰＳモジュールはドライブレコーダー用のＳｏＣに接続され、加速度センサ、スイッチ、ＧＰＳモジュールからドライブレコーダー用のＳｏＣが受け取った情報をリアルタイムに画像認識用のＳｏＣへ出力する。画像認識用のＳｏＣはこれらの情報をドライブレコーダー用のＳｏＣからリアルタイムに受け取り、画像認識に利用して、その結果を、ドライブレコーダー用のＳｏＣへ出力するとよい。こうした両ＳｏＣの機能はそれぞれ、各ＳｏＣに記憶されたこうした機能を実現するためのプログラムを実行することで実現するとよい。
The communication line may be a parallel communication line or a serial communication line to transmit the trigger signal TG and other data. For example, information on the type of recognized object may be transmitted as this data. Alternatively, it may be a simple communication line between GPIOs. For example, by connecting the GPIO output port of the SoC for image recognition to the trigger input port of the SoC for a drive recorder, and as a result of image recognition on the SoC for image recognition, if a situation arises that requires recording, the image recognition If there is a change in the signal of the trigger input port of the SoC for the drive recorder, the SoC for the drive recorder records the video for a predetermined number of seconds before and after the occurrence of the trigger as a trigger occurrence. It is a good idea to record it in your means. Furthermore, signals from sensors connected to the camera
画像認識回路５０は、第２映像信号変換回路３０から分配された映像信号に基づく情報を第２記録手段に記録するとよい。このようにすれば、第２２記録手段に第２映像信号変換回路３０から分配された映像信号に基づく報が記録される。第２記録手段は第１記録手段とは別の記録手段とするとよい。特に第１記録手段とは別の着脱可能な記録媒体とするとよい。第１記録手段が記憶媒体６０とすると、第２記録手段は、記憶媒体６０とは異なる記録手段である。分配された前記映像信号に基づく情報としては、分配されて画像認識回路５０に入力された映像信号を加工した情報とするとよい。例えば認識した物体を囲むとともにその属性を文字情報として重ね合わせた映像情報を記録するとよい。また、このような映像情報とともに、あるいは、このような映像情報に替えて、例えばカメラ映像記録回路４０に出力したトリガー信号ＴＧをその時刻とともに記録するようにしてもよい。例えば認識した物体の座標と種別に関する情報をその時刻と対応づけて記録するようにしてもよい。
The
カメラ映像記録回路４０は、イベント録画を行う機能に加え、常時録画を行う機能を有してもよい。この場合、カメラ映像記録回路４０は、記憶媒体６０に確保した所定の記憶領域に映像の記録をし、記憶領域が一杯になった場合には、古い映像から順に上書き録画するようにして映像を記録する。常時記録機能によってイベント録画に係る映像が消失しないように、これらの記憶領域を分けるか、または上書き禁止フラグを用いて上書きを禁止してもよい。
The camera
記憶媒体６０は、カメラ映像記録回路４０によって記録された映像を記憶する記憶手段として機能する。記憶媒体６０は、システム１の内部記憶手段または外部記憶手段のいずれでもよいが、特に着脱可能な外部記憶手段とするとよく、特にＳＤカード、ｍｉｃｒｏＳＤカード等のカード状の媒体とするとよい。記憶媒体６０に記憶された映像は、表示部８０に表示したり、外部端末を用いて表示したりすることができる。表示部８０は、例えば液晶ディスプレイまたはその他の方式の表示装置である。
The
情報入力部７０は、外部から情報の入力を受け付ける。情報入力部７０は、例えばシステム１の電源をオンまたはオフするためのスイッチを含む、各種のスイッチを備えるとよい。情報入力部７０は、ドライブレコーダー用のセンサを備えてもよい。情報入力部７０は、例えば、イベント録画の契機となる衝撃を検知するための加速度センサ（例えば、Ｇセンサとして機能する。）を含んでもよい。また、情報入力部７０は、現在位置を測定するためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサを備えてもよい。カメラ映像記録回路４０と画像認識回路５０との間では、情報入力部７０を介して入力された情報に応じた各種信号がやり取りされてもよい。
The
続いて、同期信号の伝送および同期信号を用いた処理について説明する。カメラ１０とカメラ映像記録回路４０との間を伝送する信号は、同期信号生成手段が生成した映像の同期信号を含む。システム１は、映像信号とともに分配された同期信号に基づいて、カメラ１０－１～１０－４の各々の映像信号を、カメラ映像記録回路４０へ出力する構成とするとよい。
Next, transmission of the synchronization signal and processing using the synchronization signal will be explained. The signal transmitted between the camera 10 and the camera
このようにすれば、カメラ映像記録回路４０は、カメラ１０－１～１０－４との間で同期した映像信号が得られる。例えば、カメラ映像記録回路４０は、カメラ１０－１～１０－４の間で同期した映像信号を入力して、この入力した同期した複数の映像の信号に基づく映像を圧縮して記録することができる。例えば記録した複数の映像の信号を同時に再生したとき、同期した複数の映像を見ることができる。なお、映像の圧縮は複数のカメラのそれぞれで別々のファイルに行うようにしてもよいが、１つのファイルに行うようにするとよい。
In this way, the camera
システム１においては、複数のカメラ１０、第１映像信号変換回路２０－１～２０－４、カメラ映像記録回路４０、および画像認識回路５０の動作を同期させるため、同期信号は、画像認識回路５０にも分配される。このように、カメラ１０とカメラ映像記録回路４０との間を伝送する信号としては、特に、制御信号としてもよいが、特に映像信号または映像の同期信号の少なくともいずれか一方を備えるとするとよい。同期信号としてはピクセルクロック、垂直同期信号、および水平同期信号のうち少なくともいずれか１つするとよく、特に少なくともいずれか２つとするとよい。特に、ピクセルクロックと垂直同期信号とするとよい。第２映像信号変換回路３０は４つの第１映像信号変換回路２０－１～２０－４へクロックを同期して出力するとよい。同期信号の生成主体、および分配方法については、例えば、以下の（方法１）または（方法２）を採用し得る。
In the
（方法１）１つのカメラ１０を親として同期信号を生成し、別のカメラ１０、第１映像信号変換回路２０、第２映像信号変換回路３０、カメラ映像記録回路４０、および画像認識回路５０に分配する。
(Method 1) Generate a synchronization signal using one camera 10 as a parent, and send it to another camera 10, the first video
（方法１）は、いずれか一のカメラ１０が、同期信号生成手段を有する。そして、信号分配手段としての当該一のカメラ１０が、この同期信号を別のカメラ１０、第１映像信号変換回路２０、第２映像信号変換回路３０、カメラ映像記録回路４０、および画像認識回路５０へ分配する。
(Method 1), any one of the cameras 10 has a synchronization signal generation means. Then, the one camera 10 serving as a signal distribution means transmits this synchronization signal to another camera 10, the first video
このようにすれば、別のカメラ１０から出力される映像信号は、一のカメラ１０の中で生成された同期信号に基づく映像信号となり、これらのカメラ１０の同期を取りやすくなる。特に、この構成を採用するとともに、一のカメラ１０と別のカメラ１０とを同一の筐体に備える構成とするとよい。同期信号の引き回し距離が短いときに特に優れた効果を発揮する。カメラ１０の中としては、特に撮像素子の中で生成したものとするとよい。このようにすれば入力した同期信号に同期して撮像する外部同期可能な撮像素子を使わなくてもよく、低コストかつ簡便に構成できる。 In this way, the video signal output from another camera 10 becomes a video signal based on the synchronization signal generated in one camera 10, making it easier to synchronize these cameras 10. In particular, this configuration may be adopted, and one camera 10 and another camera 10 may be provided in the same housing. This is particularly effective when the synchronization signal routing distance is short. In particular, it is preferable that the image is generated in an image sensor in the camera 10. In this way, there is no need to use an externally synchronizable image sensor that captures an image in synchronization with the input synchronization signal, and the configuration can be made low-cost and simple.
（方法２）第１映像信号変換回路２０、第２映像信号変換回路３０、カメラ映像記録回路４０、および画像認識回路５０のいずれかが同期信号を生成し、その他の各要素に分配する。
(Method 2) One of the first video
（方法２）は、同期信号生成手段がカメラ１０の外部に備えられ、この同期信号生成手段によって生成された同期信号をカメラ１０－１～１０－４、およびその他の各要素に分配する。 (Method 2) is that a synchronization signal generation means is provided outside the camera 10, and the synchronization signal generated by the synchronization signal generation means is distributed to the cameras 10-1 to 10-4 and other elements.
（方法２）のようにすれば、別のカメラ１０から出力される映像信号と、別のカメラ１０から出力される映像信号との同期が取りやすい。特に、この構成を採用するとともに、カメラ１０と別のカメラ１０とを異なる筐体に備える構成とするとよい。同期信号の引き回し距離が比較的長いときに特に優れた効果を発揮する。 (Method 2) makes it easy to synchronize the video signal output from another camera 10 with the video signal output from another camera 10. In particular, this configuration may be adopted and the camera 10 and another camera 10 may be provided in different housings. This is particularly effective when the synchronization signal is routed over a relatively long distance.
（方法２）においては、カメラ映像記録回路４０が、同期信号生成手段を有してもよい。この場合、信号分配手段としてのカメラ映像記録回路４０は、同期信号をカメラ１０－１～１０－４、およびその他の各要素に分配する。このようにすれば、映像の記録処理に合わせたタイミング等でカメラおよび別のカメラから同期した映像信号を得られる可能性を高められる。
In (Method 2), the camera
（方法２）においては、いずれか一の第１映像信号変換回路２０内または第２映像信号変換回路３０内に同期信号生成手段が備えられてもよい。この場合、信号分配手段としての第１映像信号変換回路２０または第２映像信号変換回路３０は、同期信号をカメラ１０－１～１０－４、およびその他の各要素に分配する。このようにすれば、前記カメラと前記別のカメラとから、両カメラが同期した映像信号を、ケーブルを介してカメラ映像記録回路に入力して記録することが容易にできる。
In (Method 2), a synchronization signal generation means may be provided within any one of the first video
特に、同期信号を、第２映像信号変換回路３０と、カメラ映像記録回路４０と、画像認識回路５０とに与えて同期を取るとよい。同期信号としてはピクセルクロックや垂直同期信号とするとよい。第２映像信号変換回路３０は４つの第１映像信号変換回路２０－１～２０－４へクロックを同期して出力するとよい。または、第２映像信号変換回路３０でクロックを生成し、そのクロックをカメラ映像記録回路４０と画像認識回路５０に与えて同期を取るとよい。画像認識回路５０はＳｏＣではなくＦＰＧＡとしてもよいし、その他各種の計算機としてもよい。
In particular, it is preferable to provide a synchronization signal to the second video
同期信号に基づく処理の方法は（方法１）および（方法２）のいずれかに限定されるものではなく、例えば同期信号生成手段が上記したシステム１の要素とは別に設けられてもよい。
The method of processing based on the synchronization signal is not limited to either (Method 1) or (Method 2), and for example, the synchronization signal generation means may be provided separately from the elements of the
以上の信号分配手段は、例えば単純に配線を分岐するものとしてもよいが、特に分配した複数の信号線の間を伝送する信号の同期が取れるように分配する機能を備えるものとするとよく、特に分配した複数の信号線の間を伝送する信号の同期が取れるように分配する機能を備えた回路（例えば、チップ）とするとよい。 The above-mentioned signal distribution means may, for example, simply branch the wiring, but it is particularly preferable that the signal distribution means has a distribution function so that the signals transmitted between the plurality of distributed signal lines can be synchronized. It is preferable to use a circuit (for example, a chip) having a function of distributing signals so that the signals transmitted between the plurality of distributed signal lines can be synchronized.
また、カメラ１０とカメラ映像記録回路４０は同一の筐体内に備える構成としてもよいが、それぞれ別の筐体に備える構成とし、両筐体間はケーブルやコネクタ等の接続手段で接続するように構成するとよい。カメラ１０とカメラ映像記録回路４０との間は１メートル以上のケーブルを介して接続される構成とするとよい。特にカメラ１０とカメラ映像記録回路４０は、車両の中で引き回されるケーブルを介して接続されるものとするとよい。
Further, the camera 10 and the camera
図１で説明した構成は、図２に示すように変形されてもよい。図２では、図１で説明した構成のうち、図１とは異なる部分を中心として示してある。この例では、カメラ１０からの映像信号は分配されることなく、カメラ映像記録回路４０に入力される。カメラ映像記録回路４０は、カメラ１０－１～１０－４からの映像信号を、画像認識回路５０に供給する。カメラ映像記録回路４０は、入力した映像信号よりも情報量を削減した信号を生成する認識用映像信号生成手段を備え、映像信号を間引くなどして情報量を削減して、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどの他のポートを介して、画像認識回路５０へ出力する。映像信号の間引きは、例えば、画素を間引く、フレームを間引くなどの処理とするとよい。一般に画像認識において特にディープラーニングの場合には、認識に必要な画像の情報量は、人間が映像を確認するのに比べ格段に小さくてよいからである。
The configuration described in FIG. 1 may be modified as shown in FIG. 2. In FIG. 2, the parts of the configuration explained in FIG. 1 that are different from those in FIG. 1 are mainly shown. In this example, the video signal from the camera 10 is input to the camera
図２で説明した構成は、さらに図３に示すように変形されてもよい。図３では、図１で説明した構成のうち、図１とは異なる部分を中心として抽出して示してある。図２の例では、間引きはカメラ映像記録回路４０で行うこととしたが、処理の負荷が高くなる可能性があり、またはリソースが不足する可能性がある。そこで、図３に示すように、画像処理部９０をカメラ１０と、カメラ映像記録回路４０および画像認識回路５０との間に設けてもよい。画像処理部９０は、カメラからの映像信号を分岐し、カメラ映像記録回路４０にはそのままの映像信号に出力し、画像認識回路５０には間引いた映像信号を出力する。画像処理部９０は、例えばＦＰＧＡであるが、単体のＩＳＰチップを用いて構成されてもよい。画像処理部９０は、ＩＳＰチップの出力ポート切り替え機能を用いて、フレームごとに出力先を切り替える構成としてもよい。
The configuration described in FIG. 2 may be further modified as shown in FIG. 3. In FIG. 3, out of the configuration explained in FIG. 1, parts that are different from those in FIG. 1 are extracted and shown. In the example of FIG. 2, thinning is performed by the camera
システム１においては、カメラ１０は１台でもよい。例えばＭＩＰＩ ＣＳＩ－２スプリッターで例示される分岐器を使って、カメラの信号を２つに分岐してもよい。この場合、図３で説明したカメラ１０－１～１０－４をいずれか１台とし、画像処理部９０を分岐器とした構成に等しい。
In the
システム１において、カメラ１０の映像を伝送する映像信号は、例えば、映像チャンネル単位に同期された映像をシリアルで伝送してもよく、パラレルに伝送してもよい。または、シリアルとパラレル組み合わせて伝送してもよい。特に、映像のフレーム単位に、その時の時刻やイベント情報、センサ情報などデータで重畳したり、映像に重畳したりするとよい。同期をとられた単位に、その時の時刻やイベント情報、センサ情報などデータで重畳してもよいし、映像に重畳してもよい。
In the
また、信号分配手段からカメラ１０および別のカメラ１０までの信号配線の長さを略同一とするとよい。このようにすれば、カメラ１０からの映像信号と別のカメラ１０からの映像信号とが、同期が取れた信号となる可能性を高めることができる。 Further, it is preferable that the length of the signal wiring from the signal distribution means to the camera 10 and another camera 10 be approximately the same. In this way, it is possible to increase the possibility that the video signal from the camera 10 and the video signal from another camera 10 will be synchronized signals.
次に、図４～図７を参照して、カメラ１０－１～１０－４と処理装置１００との接続例を説明する。処理装置１００は、カメラ１０－１～１０－４が出力した映像信号に基づいて所定の処理を行う装置である。処理装置１００は、例えば、カメラ映像記録回路４０および画像認識回路５０のどちらか一方であってもよい。
Next, examples of connections between the cameras 10-1 to 10-4 and the
図４の例では、１つのカメラユニットにカメラ１０－１～１０－４を設けておき、これらを単一の第１映像信号変換回路２０に接続する構成である。第１映像信号変換回路２０は、１本のケーブルを介して、映像信号Ｓａ１を第２映像信号変換回路３０に出力する。第１映像信号変換回路２０は、映像信号Ｓａ１と同じ映像信号Ｓａ２を、１本のケーブルを介して処理装置１００に出力する。映像信号Ｓａ２は、シリアル形式である映像信号Ｓａ１を、シリアル形式のままとした信号である。処理装置１００は、１本のケーブルを介して入力された映像信号Ｓａ２を用いて処理を実行する。
In the example of FIG. 4, cameras 10-1 to 10-4 are provided in one camera unit, and these are connected to a single first video
図５の例では、１つのカメラユニットに複数のカメラ１０－１～１０－４を設けておき、これらを単一の第１映像信号変換回路２０に接続する構成である。第１映像信号変換回路２０は、１本のケーブルを介して、映像信号Ｓｂ１を第２映像信号変換回路３０に出力する。映像信号Ｓｂ１は、映像信号Ｓａ１と同じ信号である。第２映像信号変換回路３０は、カメラ１０－１－１０－４のそれぞれで異なるケーブルを用いて映像信号Ｓｂ２１、Ｓｂ２２，Ｓｂ２３，Ｓｂ２４を出力する。映像信号Ｓｂ２１～Ｓｂ２４は、シリアル形式である映像信号Ｓｂ１を、パラレル形式に変換した信号である。処理装置１００は、カメラ１０ごとに異なるケーブルを介して入力された映像信号Ｓｂ２１～Ｓｂ２４を用いて処理を実行する。
In the example of FIG. 5, a plurality of cameras 10-1 to 10-4 are provided in one camera unit, and these are connected to a single first video
図６の例では、１つのカメラユニットに複数のカメラ１０－１～１０－４を設けておき、これらをカメラごとに異なる第１映像信号変換回路２０－１～２０－４に接続する構成である。第１映像信号変換回路２０－１～２０－４は、それぞれが１本のケーブルを介して、映像信号Ｓｃ１１、Ｓｃ１２，Ｓｃ１３，Ｓｃ１４を第２映像信号変換回路３０に出力する。第２映像信号変換回路３０は、１本のケーブルを介して、映像信号Ｓｃ２を処理装置１００に出力する。処理装置１００は、ケーブルを介して入力された映像信号Ｓｃ２を用いて処理を実行する。映像信号Ｓｃ２は、パラレル形式である映像信号Ｓｃ１～Ｓｃ４を、シリアル形式に変換した信号である。図１のシステム１は、この接続例に該当する。
In the example of FIG. 6, a plurality of cameras 10-1 to 10-4 are provided in one camera unit, and each camera is connected to a different first video signal conversion circuit 20-1 to 20-4. be. The first video signal conversion circuits 20-1 to 20-4 each output video signals Sc11, Sc12, Sc13, and Sc14 to the second video
図７の例では、１つのカメラユニットに複数のカメラ１０－１～１０－４を設けておき、これらをカメラごとに異なる第１映像信号変換回路２０－１～２０－４に接続する構成である。図１のシステム１は、この接続例に該当する。第１映像信号変換回路２０－１～２０－４は、それぞれが１本のケーブルを介して、映像信号Ｓｄ１１、Ｓｄ１２，Ｓｄ１３，Ｓｄ１４を第２映像信号変換回路３０に出力する。第２映像信号変換回路３０は、カメラ１０－１－１０－４のそれぞれで異なるケーブルを用いて映像信号Ｓｄ２１、Ｓｄ２２，Ｓｄ２３，Ｓｄ２４を出力する。映像信号Ｓｄ２１～Ｓｄ２４は、パラレルである映像信号Ｓｄ１１～Ｓｄ１４を、パラレル形式のままとした信号である。処理装置１００は、カメラ１０ごとに異なるケーブルを介して入力された映像信号Ｓｂ２１～Ｓｂ２４を用いて処理を実行する。
In the example of FIG. 7, a plurality of cameras 10-1 to 10-4 are provided in one camera unit, and each camera is connected to a different first video signal conversion circuit 20-1 to 20-4. be.
図１と図６，７の構成に基づいて、カメラ１０と第１映像信号変換回路２０とを有する第１のカメラユニットと、別のカメラ１０と第２の第１映像信号変換回路２０とを有する第２のカメラユニットと、第２映像信号変換回路３０とカメラ映像記録回路４０とを有する記録ユニットとを備え、第１のカメラユニットと記録ユニットの間を第１のケーブル、第２のカメラユニットと前記記録ユニットの間を第２のケーブルで接続し、それぞれの映像信号を伝送するシステムが構成されてもよい。例えば、車両のフロントガラスに取り付けられる前記カメラ（第１カメラ）が車両の前方を撮像するように設置された第１のカメラユニットと、車両のリアガラスに取り付けられ前記別のカメラ（第２カメラ）が車両の後方を撮像するように設置された第２のカメラユニットを備え、ダッシュボード上あるいは助手席の下等に設けた記録ユニットが両カメラユニットにそれぞれ別のケーブルで接続される構成とするとよい。あるいは記録ユニットと第１のカメラユニットを１つのユニットとして構成してもよい。
Based on the configurations of FIG. 1 and FIGS. 6 and 7, a first camera unit having a camera 10 and a first video
また例えば、カメラ１０と第１の第１映像信号変換回路２０とを有する第１のカメラユニットと、別のカメラ１０と第２の第１映像信号変換回路２０とを有する第２のカメラユニットとを第１のケーブルで接続し、第２映像信号変換回路３０とカメラ映像記録回路４０とを有する記録ユニットと第２のカメラユニットとを第２のケーブルで接続する構成とし、それぞれの映像信号を伝送するようにしてもよい。
For example, a first camera unit having a camera 10 and a first video
図１と図４，５の構成に基づいて、一つのカメラユニットにカメラ１０とこれとは別のカメラ１０を含む複数のカメラ１０と第１映像信号変換回路２０を備え、第１映像信号変換回路２０は１つのケーブルにこれら複数のカメラ１０の映像信号を流すよう変換し、当該１つのケーブルを介して第２映像信号変換回路３０とカメラ映像記録回路４０とを備えた記録ユニットに伝送して、記憶媒体６０に複数のカメラ１０の映像を記録するようにするシステムが構成されてもよい。例えば、車両のフロントガラス等に取り付けられるカメラユニットであって、車両前方を撮像するカメラ１０（第１カメラ）と車両の後方を撮像する別のカメラ１０（第２カメラ）とを備えるカメラユニットと、ダッシュボード上あるいは助手席の下等に設けた、記録ユニットをケーブルで接続するように構成してもよい。
Based on the configurations of FIGS. 1 and 4 and 5, one camera unit includes a plurality of cameras 10 including a camera 10 and another camera 10, and a first video
なお、例えば、第２映像信号変換回路３０は、第１映像信号変換回路２０によって変換され、比較的長距離の１つのケーブルを介して伝送された複数のカメラ１０の映像信号を、記録ユニット内の配線に必要な比較的短距離の伝送用の信号に変換するとよい。
Note that, for example, the second video
図１と図４，５の構成に基づいて、例えば、第２映像信号変換回路３０は、カメラ映像記録回路４０に対して、複数のカメラ１０の映像信号を１つのケーブルに流すように出力して、これがカメラ映像記録回路４０に入力されるように構成してもよい。例えば、第２映像信号変換回路３０は、２台のカメラの映像信号をそれぞれ所定のデータサイズのパケット等に分割して、交互にパケット等を伝送するようにしてもよい。より多数のカメラの映像信号を１つの伝送路にインターリーブして出力するようにしてもよい。
Based on the configuration of FIG. 1 and FIGS. 4 and 5, for example, the second video
あるいは、図１と図６，７の構成に基づいて、例えば、第２映像信号変換回路３０は、カメラ映像記録回路４０に対して、複数のカメラ１０の映像信号をそれぞれのカメラ用の異なるケーブルに流すように出力して、これらがカメラ映像記録回路４０に入力されるように構成してもよい。このようにすれば、それぞれのカメラ１０用の異なる伝送路中あるいは、これらに接続されたカメラ映像記録回路４０内において、各カメラ１０単位での処理がしやすい。例えば、カメラ１０ごとにカメラフレーム単位に映像とは別の情報を重畳させて記録したり、出力したりすることが比較的容易となる。
Alternatively, based on the configurations of FIG. 1 and FIGS. 6 and 7, for example, the second video
カメラ映像記録回路４０は比較的安価であるが、映像の圧縮と記憶用に特化して設計されえているため、画像認識等の機能を追加するのが困難（例えば、情報開示が少ない、残りリソースが少ないなど）という問題がある。例えば、ドライブレコーダー用ＳｏＣは安価だがドライブレコーダー用に設計されているため画像認識等の機能を追加するのが困難（例えば、情報開示が少ない、残りリソースが少ないなど）という問題がある。
Although the camera
一方で、画像認識用に用いられる画像認識回路５０は、映像の圧縮、記録のソフトとして信頼性が高いものがないという問題がある。画像認識回路は、例えばＯＳＳ等をコンパイルして利用可能な汎用のＳｏＣ（画像認識用のＳｏＣ）とするとよい。特に画像認識のアクセラレータ回路を備えたＳｏＣや、ディープラーニングのアクセラレータ回路を備えたＳｏＣ等とするとよい。なお、例えば、一般的なＳｏＣや、特にＦＰＧＡである画像認識回路に、Ｈ．２６４など映像のエンコーダーを載せるとコストがかかる、という問題もある。また仮に一般的なＳｏＣに映像のエンコーダーが載っていたとしても、特に、ドライブレコーダーとして採用しようとすると、ドライブレコーダー用のソフトウェアとして信頼性が高いものに乏しく、かといって自社でイチから作るには膨大なコストがかかる課題がある。
On the other hand, the
これに対し、本実施形態のシステムでは、カメラ映像記録回路４０と画像認識回路５０とを異なるＳｏＣ等の回路で実現し、かつ上述したように映像信号および同期信号を分配するようにしたので、従来よりも優れたシステム等を提供できる。
In contrast, in the system of this embodiment, the camera
さらに、以下の構成が採用されるとよい。 Furthermore, the following configuration may be adopted.
（カメラ制御例１）
カメラ１０（およびまたは別のカメラ１０）の設定を行う機能（例えば、ＩＳＰの機能のうちカメラ制御する部分を含む部分など）は、例えば、カメラ映像記録回路４０側のものを用いる構成（パターン１）、画像認識回路５０側のものを用いる構成（パターン２）、または両者の側ものを切り替えて利用する構成（パターン３）のいずれかとするとよい。また、それぞれＩＳＰ内蔵のＳｏＣを利用する構成と外付けのＩＳＰを利用する構成のいずれかとするとよい。外付けのＩＳＰの設置位置としてカメラ映像記録回路４０側のいずれかとするとよい。ただし、画像認識に必要な画作りと、圧縮して記憶媒体６０に記録し再生等可能とする画作りとは、異なるため、シャッタースピード、フレームレート、露光時間など、カメラをどのような状態に制御すればよいかが問題となる。そこで、カメラ映像記録回路４０がカメラ１０の設定を行う機能を有してもよい。
(Camera control example 1)
The function for setting the camera 10 (and or another camera 10) (for example, a part of the ISP function that includes a camera control part) is configured using, for example, the function on the camera
このようにすれば、設定の競合を防止できるとともに、カメラ１０の映像の記録と当該カメラ１０の映像に基づく画像認識とを比較的うまく両立できる。例えば、上述した（パターン１）を採る構成とすると、優れた効果を発揮することを発明者らは見出した。画像認識に用いる画像は記録に必要な画像の品質の要求に対して低いケースが多い。特にディープラーニングによって画像を認識する機能を備えるとよく、このような構成では、画素数、フレームレート等の要求は一般的に低くてすむ。カメラ映像記録回路４０側としては、カメラ映像記録回路４０内とすると特によい。
In this way, conflicts in settings can be prevented, and recording of images from the camera 10 and image recognition based on the images from the camera 10 can be achieved relatively well. For example, the inventors have discovered that an excellent effect can be achieved by adopting the configuration described above (pattern 1). The quality of images used for image recognition is often low compared to the image quality required for recording. In particular, it is preferable to have a function of recognizing images using deep learning, and in such a configuration, the requirements for the number of pixels, frame rate, etc. are generally low. The camera
ただし、ＩＳＰの機能のうちフォーカスと露光に関しては、画像認識回路５０側で画像処理に必要な要求に合わせてカメラを設定したほうがよい場合がある。そこで、あらかじめ画像認識回路５０側で必要な、露光に関する設定、フォーカスに関する設定を加味してカメラ映像記録回路４０側のカメラの設定の内容を設定しておくシステムとするとよい。例えばあらかじめ画像認識回路５０側で必要な、露光に関する設定、フォーカスに関する設定を加味して、例えばカメラの映像があまりにひどくならない範囲で調整して、カメラ映像記録回路４０側のＩＳＰ（例えば、カメラ映像記録回路４０内のＩＳＰ）の設定をしておくとよい。
However, regarding focus and exposure among the ISP functions, it may be better to set the camera on the
（カメラ制御例２）
カメラ映像記録回路４０と画像認識回路５０との間でカメラの設定を協調して調整する。このようにすれば、より、カメラ映像の圧縮および記録と、画像認識処理の精度の向上とを両立しやすくなる。
(Camera control example 2)
The camera settings are adjusted cooperatively between the camera
図８（ａ），（ｂ）に示すように、画像認識回路５０とカメラ映像記録回路４０とが通信し、カメラ１０の制御がどのような状態にあるかを相互に把握する機能を備えるとよい。
As shown in FIGS. 8(a) and 8(b), the
例えば、カメラ１０の設定をあらかじめ設定するのではなく、または、あらかじめ設定するとともに、画像認識回路５０側で露出やフォーカスの調整依頼信号を生成してカメラ映像記録回路４０に出力する。カメラ映像記録回路４０内ではこれを受けた場合に、カメラ映像記録回路４０側の設定機能によって設定を行う。例えば、カメラの設定をあらかじめ設定するのではなく、または、あらかじめ設定するとともに、画像認識回路５０側で露出やフォーカスの調整依頼信号をカメラ映像記録回路４０に出力する。カメラ映像記録回路４０はこれを受けた場合にカメラ映像記録回路４０側のＩＳＰの設定をこれに応じて調整するようにするとよい。なお、カメラ映像記録回路４０側で設定するカメラの設定に関する情報は画像認識回路５０へ送信する。画像認識回路５０ではこれを受信してこれを画像認識処理の処理の中で利用する構成とすると特によい。
For example, instead of setting the settings of the camera 10 in advance, or in addition to setting them in advance, the
例えば、画像認識回路５０で標識の認識を行う場合、画像中の路肩に相当する領域を露出算出の優先領域として計算するとよい、このとき基本的にはカメラの制御はカメラ映像記録回路４０側から行うが、あらかじめ、ややこの領域の露出優先度を高めて設定しておくとともに、画像認識回路５０で標識領域の露出がアンダーになっている場合には画像認識回路５０からカメラ映像記録回路４０に対して露出補正信号を出力し、カメラ映像記録回路４０がこの信号を受けた場合にはカメラの露出を高める信号をカメラ側に出力する等するとよい。
For example, when recognizing a road sign using the
このようにカメラ１０自体の制御主体はあくまでカメラ映像記録回路４０側とし、画像認識回路５０側では直接的にカメラの制御を行わないように構成するとよい。また画像認識回路５０側からはカメラ映像記録回路４０側へ調整用信号を出力し、この調整用信号を受けた画像認識回路５０側が間接的にカメラを制御する構成とするとよい。例えば、カメラ１０自体の制御主体はあくまでカメラ映像記録回路４０とし、画像認識回路５０は直接的にカメラの制御を行わないように構成するとよい。また間接的に制御する構成とするとよい。
In this way, it is preferable that the camera 10 itself is controlled by the camera
なお、フォーカスに関する設定はカメラをパンフォーカスとして不要とするとよい。 Note that settings related to focus may be unnecessary by setting the camera to pan focus.
なお、別の例として前述の（パターン３）として、例えば時分割でカメラの制御主体を切り替えるようにしてもよい。特に、映像の記録フレームレートは、映像の記録・再生に十分なフレームレートとする一方（例えば、人間の視覚でカクつかないレベルのフレームレート（例えば２４から３０ｆｐｓ程度））とする一方、カメラのフレームレートはそれよりも高いフレームレート（例えば１２０ｆｐｓ）として、カメラのだすフレームに順に「１」，「２」，「３」，「４」，「１」，「２」，「３」，「４」・・・と番号を付けたとき、「１」についてはカメラ映像記録回路４０側、「３」については画像認識回路５０側のものとなるようにするとよい。例えば「２」，「４」は切り替えする時間としてもよい。
In addition, as another example, as described above (pattern 3), the control entity of the camera may be switched, for example, in a time-sharing manner. In particular, the video recording frame rate is set to a frame rate sufficient for video recording and playback (e.g., a frame rate at a level that does not cause stutters to human vision (e.g., around 24 to 30 fps)), while the camera The frame rate is set to a higher frame rate (for example, 120 fps), and the frames output by the camera are sequentially "1", "2", "3", "4", "1", "2", "3", " When numbers are assigned such as ``4'', it is preferable that ``1'' be assigned to the camera
切り替えは、例えばカメラ映像記録回路４０側のＩＳＰと、画像認識回路５０側のＩＳＰとの双方を物理的に切り替えるようにしてもよいが、あくまでＩＳＰはカメラ映像記録回路４０側のＩＳＰの設定を時分割で切り替えるようにするとよい。複数のカメラ１ー０はすべてカメラ映像記録回路４０側が制御するようにし、画像認識回路５０側は複数のカメラのいずれも直接的には制御しないようにするとよい。間接的に制御するようにするとよい。
For example, the switching may be done by physically switching both the ISP on the camera
画像認識回路５０が間接的に制御する対象のカメラは、複数のカメラのうち一部のカメラとするとよい。この一部のカメラは認識に必要な要求と画像の記録・再生（人間が映像を見るの）に必要な要求との乖離が大きい一部のカメラとするとよい。
The cameras to be indirectly controlled by the
図８で説明した構成において、画像認識回路５０は、画像認識処理以外の処理を行う処理装置に置き換えられてもよい。
In the configuration described with reference to FIG. 8, the
上述した実施形態で説明したシステム１の機能は、１または複数のプログラムによって実現され、１または複数のハードウェア資源の連係によって実現され得る。システム１の機能がプログラムを用いて実現される場合、この機能を実現するためのプログラムが、各種の磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。また、このプログラムは、ネットワークを介して配信されてもよい。また、本発明は、信号処理方法としても把握することができる。
The functions of the
本発明の範囲は，明細書に明示的に説明された構成や限定されるものではなく，本明細書に開示される本発明の様々な側面の組み合わせをも，その範囲に含むものである。本発明のうち，特許を受けようとする構成を，添付の特許請求の範囲に特定したが，現在の処は特許請求の範囲に特定されていない構成であっても，本明細書に開示される構成を，将来的に特許請求の範囲とする意思を有する。 The scope of the present invention is not limited to the configurations explicitly described in the specification, but also includes combinations of various aspects of the invention disclosed herein. Of the present invention, the structure for which a patent is sought has been specified in the attached claims, but currently, even if the structure is not specified in the claims, it is not disclosed in this specification. The applicant intends to make such a configuration the scope of a patent claim in the future.
本発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変形例の任意の構成要素と，発明を解決するための手段に記載の任意の構成要素または発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正または分割出願等において権利取得する意思を有する。また「～の場合」「～のとき」という記載があったとしてもその場合やそのときに限られる構成として記載はしているものではない。これらの場合やときでない構成についても開示しているものであり、権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えた構成についても開示しているものであり、権利取得する意思を有する。 The present invention is not limited to the configuration described in the embodiments described above. The components of each of the embodiments and modifications described above may be arbitrarily selected and combined. Also, any component of each embodiment or modification, any component described in the means for solving the invention, or a component that embodies any component described in the means for solving the invention. It may be configured in any combination. The applicant intends to obtain rights to these matters through amendments to the application or divisional applications. Furthermore, even if there is a description of ``in the case of'' or ``in the case of'', the description is not intended to be limited to those cases or times. We have also disclosed these cases and other configurations, and we intend to acquire the rights. Furthermore, the sections described in order are not limited to this order. It also discloses a configuration in which some parts have been deleted or the order has been changed, and we have the intention to acquire the rights.
また，意匠出願への変更出願により，全体意匠または部分意匠について権利取得する意思を有する。図面は本装置の全体を実線で描画しているが，全体意匠のみならず当該装置の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の部材を部分意匠とすることはもちろんのこと，部材と関係なく当該装置の一部の部分を部分意匠として包含した図面である。当該装置の一部の部分としては，装置の一部の部材としても良いし，その部材の部分としても良い。全体意匠はもちろんのこと，図面の実線部分のうち任意の部分を破線部分とした部分意匠を、権利化する意思を有する。 In addition, the applicant intends to acquire rights to the entire design or partial design by filing a conversion application to a design application. Although the drawing depicts the entire device using solid lines, the drawing includes not only the overall design but also a partial design that claims some parts of the device. For example, it is a drawing that not only includes some parts of the device as a partial design, but also includes some parts of the device as a partial design regardless of the components. The part of the device may be a part of the device or a part of the device. We intend to obtain rights not only for the entire design, but also for partial designs in which any part of the solid line part of the drawing is a broken line part.
１：システム１，１０－１～１０－４：カメラ、２０，２０－１～２０－４：第２映像信号変換回路３０：デシリアライザー、３１：第１ポート、３２：第２ポート、５０：画像認識回路、６０：記憶媒体、７０：情報入力部、８０：表示部、９０：画像処理部、１００：処理装置
1:
Claims (12)
前記カメラと前記カメラ映像記録回路との間を伝送する信号を、当該信号に基づいて所定の機能を実現する電子部品に分配する信号分配手段を備え、
前記電子部品は、前記カメラ映像記録回路とは別に設けられた、所定の画像認識処理を行う画像認識回路を含み、
前記伝送する信号は、映像信号を含み、
前記画像認識回路は、分配された前記映像信号に基づいて行った前記画像認識処理の結果に関する情報を、前記カメラ映像記録回路へ出力し、
前記カメラ映像記録回路は、前記結果に関する情報に基づいて、前記カメラで撮像された映像を圧縮して前記記憶手段に記憶させ、
前記カメラの設定を行う機能をさらに備え、
前記カメラ映像記録回路と前記画像認識回路との間で前記カメラの設定を協調して調整する
システム。 A system comprising a camera and a camera video recording circuit that compresses the video imaged by the camera and stores it in a storage means,
comprising a signal distribution means for distributing a signal transmitted between the camera and the camera video recording circuit to electronic components that realize a predetermined function based on the signal;
The electronic component includes an image recognition circuit that is provided separately from the camera video recording circuit and performs predetermined image recognition processing,
The signal to be transmitted includes a video signal,
The image recognition circuit outputs information regarding the result of the image recognition processing performed based on the distributed video signal to the camera video recording circuit,
The camera video recording circuit compresses the video imaged by the camera and stores it in the storage means based on the information regarding the result,
further comprising a function of configuring the camera settings ;
A system in which settings of the camera are adjusted cooperatively between the camera video recording circuit and the image recognition circuit.
前記カメラと前記カメラ映像記録回路との間を伝送する信号を、当該信号に基づいて所定の機能を実現する電子部品に分配する信号分配手段を備え、
前記電子部品は、前記カメラ映像記録回路とは別に設けられた、所定の画像認識処理を行う画像認識回路を含み、
前記伝送する信号は、映像信号を含み、
前記画像認識回路は、分配された前記映像信号に基づいて行った前記画像認識処理の結果に関する情報を、前記カメラ映像記録回路へ出力し、
前記カメラ映像記録回路は、前記結果に関する情報に基づいて、前記カメラで撮像された映像を圧縮して前記記憶手段に記憶させ、さらに、
前記カメラ映像記録回路と前記画像認識回路とで前記カメラの制御主体を切り替える機能を有する
システム。 A system comprising a camera and a camera video recording circuit that compresses the video imaged by the camera and stores it in a storage means,
comprising a signal distribution means for distributing a signal transmitted between the camera and the camera video recording circuit to electronic components that realize a predetermined function based on the signal;
The electronic component includes an image recognition circuit that is provided separately from the camera video recording circuit and performs predetermined image recognition processing,
The signal to be transmitted includes a video signal,
The image recognition circuit outputs information regarding the result of the image recognition processing performed based on the distributed video signal to the camera video recording circuit,
The camera video recording circuit compresses the video imaged by the camera and stores it in the storage means based on the information regarding the result , and further,
A system having a function of switching control of the camera between the camera video recording circuit and the image recognition circuit.
請求項２に記載のシステム。The system according to claim 2.
前記カメラと前記カメラ映像記録回路との間を伝送する信号を、当該信号に基づいて所定の機能を実現する電子部品に分配する信号分配手段を備え、
前記電子部品は、前記カメラ映像記録回路とは別に設けられた、所定の画像認識処理を行う画像認識回路を含み、
前記伝送する信号は、映像信号を含み、
前記画像認識回路は、分配された前記映像信号に基づいて行った前記画像認識処理の結果に関する情報を、前記カメラ映像記録回路へ出力し、
前記カメラ映像記録回路は、前記結果に関する情報に基づいて、前記カメラで撮像された映像を圧縮して前記記憶手段に記憶させ、
前記カメラの設定を行う機能をさらに有し、
前記カメラの設定を行う機能は、前記カメラの設定のうちの露光に関する設定及びフォーカスに関する設定については、前記画像認識回路側で必要な設定を加味して設定する
システム。 A system comprising a camera and a camera video recording circuit that compresses the video imaged by the camera and stores it in a storage means,
comprising a signal distribution means for distributing a signal transmitted between the camera and the camera video recording circuit to electronic components that realize a predetermined function based on the signal;
The electronic component includes an image recognition circuit that is provided separately from the camera video recording circuit and performs predetermined image recognition processing,
The signal to be transmitted includes a video signal,
The image recognition circuit outputs information regarding the result of the image recognition processing performed based on the distributed video signal to the camera video recording circuit,
The camera video recording circuit compresses the video imaged by the camera and stores it in the storage means based on the information regarding the result,
further having a function of configuring the camera,
The function of setting the camera is a system in which settings related to exposure and settings related to focus among the settings of the camera are set in consideration of necessary settings on the image recognition circuit side.
前記カメラと前記カメラ映像記録回路との間を伝送する信号を、当該信号に基づいて所定の機能を実現する電子部品に分配する信号分配手段を備え、
前記電子部品は、前記カメラ映像記録回路とは別に設けられた、所定の画像認識処理を行う画像認識回路を含み、
前記伝送する信号は、映像信号を含み、
前記画像認識回路は、分配された前記映像信号に基づいて行った前記画像認識処理の結果に関する情報を、前記カメラ映像記録回路へ出力し、
前記カメラ映像記録回路は、前記結果に関する情報に基づいて、前記カメラで撮像された映像を圧縮して前記記憶手段に記憶させ、
前記カメラの設定を行う機能をさらに備え、
前記カメラの設定を行う機能は、
前記画像認識回路で標識の認識を行う場合、画像中の路肩に相当する領域の露出優先度を高めて設定する
システム。 A system comprising a camera and a camera video recording circuit that compresses the video imaged by the camera and stores it in a storage means,
comprising a signal distribution means for distributing a signal transmitted between the camera and the camera video recording circuit to electronic components that realize a predetermined function based on the signal;
The electronic component includes an image recognition circuit that is provided separately from the camera video recording circuit and performs predetermined image recognition processing,
The signal to be transmitted includes a video signal,
The image recognition circuit outputs information regarding the result of the image recognition processing performed based on the distributed video signal to the camera video recording circuit,
The camera video recording circuit compresses the video imaged by the camera and stores it in the storage means based on the information regarding the result,
further comprising a function of configuring the camera settings ;
The function to configure the camera settings is as follows :
When the image recognition circuit recognizes a road sign, the system sets a higher exposure priority for an area corresponding to a road shoulder in the image.
前記カメラと前記カメラ映像記録回路との間を伝送する信号を、当該信号に基づいて所定の機能を実現する電子部品に分配する信号分配手段を備え、
前記電子部品は、前記カメラ映像記録回路とは別に設けられた、所定の画像認識処理を行う画像認識回路を含み、
前記伝送する信号は、映像信号を含み、
前記画像認識回路は、分配された前記映像信号に基づいて行った前記画像認識処理の結果に関する情報を、前記カメラ映像記録回路へ出力し、
前記カメラ映像記録回路は、前記結果に関する情報に基づいて、前記カメラで撮像された映像を圧縮して前記記憶手段に記憶させ、
前記カメラの設定を行う機能をさらに備え、
前記画像認識回路は、前記カメラ映像記録回路に対して露出補正信号を出力し、
前記カメラの設定を行う機能は、
前記カメラ映像記録回路が前記露出補正信号を受けた場合には、前記カメラの露出を高める信号を前記カメラ側に出力することにより前記カメラの設定を行う
システム。 A system comprising a camera and a camera video recording circuit that compresses the video imaged by the camera and stores it in a storage means,
comprising a signal distribution means for distributing a signal transmitted between the camera and the camera video recording circuit to electronic components that realize a predetermined function based on the signal;
The electronic component includes an image recognition circuit that is provided separately from the camera video recording circuit and performs predetermined image recognition processing,
The signal to be transmitted includes a video signal,
The image recognition circuit outputs information regarding the result of the image recognition processing performed based on the distributed video signal to the camera video recording circuit,
The camera video recording circuit compresses the video imaged by the camera and stores it in the storage means based on the information regarding the result,
further comprising a function of configuring the camera settings ;
The image recognition circuit outputs an exposure compensation signal to the camera video recording circuit,
The function to configure the camera settings is as follows:
When the camera video recording circuit receives the exposure correction signal, the system sets the camera by outputting a signal to increase the exposure of the camera to the camera side.
請求項１、３から６のいずれか１項に記載のシステム。 7. The system according to claim 1 , wherein the function of configuring the camera is a function of the camera video recording circuit.
前記画像認識回路は、画像認識用のＳｏＣである
請求項１から７のいずれか１項に記載のシステム。 The camera video recording circuit is an SoC (System-on-a-Chip) for a drive recorder,
The system according to any one of claims 1 to 7 , wherein the image recognition circuit is an SoC for image recognition.
前記画像認識回路は、前記情報量を削減した映像信号に基づいて前記画像認識処理を行う請求項１から８のいずれか１項に記載のシステム。 comprising recognition video signal generation means for generating a signal with a reduced amount of information than the video signal input to the camera video recording circuit;
9. The system according to claim 1, wherein the image recognition circuit performs the image recognition process based on the video signal with the amount of information reduced.
請求項１から１０のいずれか１項に記載のシステム。 The system according to any one of claims 1 to 10 , which functions as a drive recorder.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019032365A JP7357328B2 (en) | 2019-02-26 | 2019-02-26 | Systems and programs etc. |
| JP2023150689A JP2023179491A (en) | 2019-02-26 | 2023-09-19 | System, program and the like |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019032365A JP7357328B2 (en) | 2019-02-26 | 2019-02-26 | Systems and programs etc. |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023150689A Division JP2023179491A (en) | 2019-02-26 | 2023-09-19 | System, program and the like |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020137078A JP2020137078A (en) | 2020-08-31 |
| JP7357328B2 true JP7357328B2 (en) | 2023-10-06 |
Family
ID=72263784
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019032365A Active JP7357328B2 (en) | 2019-02-26 | 2019-02-26 | Systems and programs etc. |
| JP2023150689A Pending JP2023179491A (en) | 2019-02-26 | 2023-09-19 | System, program and the like |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023150689A Pending JP2023179491A (en) | 2019-02-26 | 2023-09-19 | System, program and the like |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7357328B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116095509B (en) * | 2021-11-05 | 2024-04-12 | 荣耀终端有限公司 | Method, device, electronic equipment and storage medium for generating video frame |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007243699A (en) | 2006-03-09 | 2007-09-20 | Hitachi Ltd | Method and apparatus for video recording and playback |
| JP2008213517A (en) | 2007-02-28 | 2008-09-18 | Auto Network Gijutsu Kenkyusho:Kk | On-vehicle imaging system |
-
2019
- 2019-02-26 JP JP2019032365A patent/JP7357328B2/en active Active
-
2023
- 2023-09-19 JP JP2023150689A patent/JP2023179491A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007243699A (en) | 2006-03-09 | 2007-09-20 | Hitachi Ltd | Method and apparatus for video recording and playback |
| JP2008213517A (en) | 2007-02-28 | 2008-09-18 | Auto Network Gijutsu Kenkyusho:Kk | On-vehicle imaging system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023179491A (en) | 2023-12-19 |
| JP2020137078A (en) | 2020-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11741623B2 (en) | Depth calculation processor, data processing method and 3D image device | |
| CN109690628B (en) | Image processing apparatus | |
| TWI545388B (en) | Systems and methods for generating a panoramic image | |
| US8134595B2 (en) | Image processing system and method with high resolution view-point conversion images | |
| JP2023179491A (en) | System, program and the like | |
| CN109842750B (en) | Image pickup apparatus system | |
| KR20210045106A (en) | Vehicle and controlling method thereof | |
| WO2020218717A1 (en) | Around-view device | |
| CN110366740B (en) | Image processing apparatus and image pickup apparatus | |
| US9530173B2 (en) | Information processing device, imaging device, and information processing method | |
| US20050073586A1 (en) | Digital camera interface | |
| CN211830923U (en) | Device capable of connecting two cameras | |
| CN219204583U (en) | Image acquisition device and electronic equipment | |
| JP6604782B2 (en) | Image processing device | |
| US7868913B2 (en) | Apparatus for converting images of vehicle surroundings | |
| JP2003163926A (en) | In-car communication system, data processor, and car- mounted apparatus | |
| JP2018186455A (en) | Imaging apparatus, imaging system, mobile, and chip | |
| WO2012044061A2 (en) | Method and device for transmitting/receiving image data at high speed | |
| JP2021516897A (en) | Automotive camera with low image signal interface | |
| JP2008193511A (en) | Camera system | |
| KR20210007697A (en) | Image sensor and electronic device comprising the image sensor | |
| KR20140094077A (en) | An omnidirectional recording system without black image in display screen and the recording method. | |
| CN108297791A (en) | Camera system and visor alternative system | |
| US10750077B1 (en) | Camera system with multiple camera | |
| JP6501861B1 (en) | Image processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230919 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7357328 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |