JP2019193272A

JP2019193272A - Imaging device

Info

Publication number: JP2019193272A
Application number: JP2019096491A
Authority: JP
Inventors: 佐々本　学; Manabu Sasamoto; 学佐々本; 西澤　明仁; Akihito Nishizawa; 明仁西澤; 永崎　健; Takeshi Nagasaki; 健永崎
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2019-05-23
Filing date: 2019-05-23
Publication date: 2019-10-31
Anticipated expiration: 2035-04-03
Also published as: JP6643517B2

Abstract

To provide a high-performance and low-cost imaging device that can process images captured at a high frame rate without limiting the conventional fundamental performance.SOLUTION: An imaging device 1 has a plurality of imaging units 101 to 103, a moving body detecting unit, and a distance detection unit. At least one imaging unit is an imaging unit that performs imaging at a first frame rate, and at least one imaging unit is an imaging unit that performs imaging at a second frame rate higher than the first frame rate. The moving body detecting unit detects a moving body on the basis of an image acquired by the imaging unit for performing the imaging at the second frame rate. The distance detection unit detects distance to a subject on the basis of parallax of a plurality of images acquired by the plurality of imaging units.SELECTED DRAWING: Figure 1

Description

本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.

本技術分野の背景技術として、例えば特許文献１には、撮像されたステレオ画像を間引いて記録媒体に記録する装置が開示されている。 As background art of this technical field, for example, Patent Document 1 discloses an apparatus that thins out a captured stereo image and records the thin image on a recording medium.

国際公開ＷＯ２０１０／１２８６４０号公報International Publication No. WO2010 / 128640

しかし、特許文献１に記載の技術は、高フレームレートで撮像された画像の処理については考慮されていない。 However, the technique described in Patent Document 1 does not consider processing of images captured at a high frame rate.

上記目的を解決するために、特許請求の範囲に記載の構成を採用する。本願は上記課題を解決するための複数の手段を含んでいるが、例えば、複数の撮像部を有する撮像装置であって、複数の撮像部のうち、少なくとも１つの撮像部は、第１のフレームレートで撮像する撮像部であり、複数の撮像部のうち、少なくとも１つの撮像部は、第１のフレームレートより高い第２のフレームレートで撮像する撮像部であり、第２のフレームレートで撮像する撮像部で取得した画像に基づいて動体を検出する動体検出部と、複数の撮像部で取得した複数の画像の視差に基づいて被写体との距離を検出する距離検出部と、を有する撮像装置により上記課題は解決される。 In order to solve the above object, the configuration described in the claims is adopted. The present application includes a plurality of means for solving the above problem. For example, the imaging apparatus includes a plurality of imaging units, and at least one of the plurality of imaging units includes a first frame. An imaging unit that captures images at a rate, and at least one of the plurality of imaging units is an imaging unit that captures images at a second frame rate higher than the first frame rate, and captures images at a second frame rate. An imaging apparatus comprising: a moving object detection unit that detects a moving object based on an image acquired by the imaging unit; and a distance detection unit that detects a distance from the subject based on parallax of the plurality of images acquired by the plurality of imaging units. This solves the above problem.

本発明によれば、高性能で低コストの撮像装置を提供することができる。 According to the present invention, a high-performance and low-cost imaging device can be provided.

第１の実施例における撮像装置の構成を示す図である。It is a figure which shows the structure of the imaging device in a 1st Example. 第１の実施例における、撮像タイミング信号のタイミングの一例を示す図である。It is a figure which shows an example of the timing of an imaging timing signal in a 1st Example. 第１の実施例における撮像装置の処理フローを示す図である。It is a figure which shows the processing flow of the imaging device in a 1st Example. 第１の実施例で撮像装置により撮像される画像の例を示す図である。It is a figure which shows the example of the image imaged with the imaging device in 1st Example. 第１の実施例における、撮像タイミング信号のタイミングの別の一例を示す図である。It is a figure which shows another example of the timing of an imaging timing signal in a 1st Example. 第２の実施例における撮像装置の構成を示す図である。It is a figure which shows the structure of the imaging device in a 2nd Example. 第２の実施例における、撮像タイミング信号のタイミングの一例を示す図である。It is a figure which shows an example of the timing of an imaging timing signal in a 2nd Example. 第３の実施例における撮像装置の構成を示す図である。It is a figure which shows the structure of the imaging device in a 3rd Example. 第４の実施例における撮像装置の構成を示す図である。It is a figure which shows the structure of the imaging device in a 4th Example. 第５の実施例における撮像装置の構成を示す図である。It is a figure which shows the structure of the imaging device in a 5th Example.

以下、図面を用いて本発明の実施形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本発明の撮像装置の一実施例の構成を示す図である。１は本実施例の撮像装置であり、例えば車両の前方に搭載され、信号や標識、障害物などを認識して運転者を支援する安全システムの一部として構成するものである。 FIG. 1 is a diagram illustrating a configuration of an embodiment of an imaging apparatus according to the present invention. Reference numeral 1 denotes an imaging apparatus according to the present embodiment, which is mounted in front of a vehicle, for example, and is configured as a part of a safety system that assists the driver by recognizing signals, signs, obstacles, and the like.

１０１、１０２、１０３は撮像部であり、画像センサに光学レンズが装着されている。
これらの撮像部は、後述する撮像タイミング信号が入力される度に１枚の画像を撮像し、撮像した画像を出力する。 Reference numerals 101, 102, and 103 denote imaging units, and optical lenses are attached to the image sensor.
These imaging units capture one image each time an imaging timing signal described later is input, and output the captured image.

また、これらの撮像部は、ほぼ同一範囲の画角の画像を取得するように取り付けられる。さらに撮像部１０１と撮像部１０２は、所定の距離で左右に離れて設置され、撮像部１０１と撮像部１０２で撮影した画像のずれ、いわゆる視差から、被写体までの距離を算出できる。 In addition, these image capturing units are attached so as to acquire images having an angle of view in substantially the same range. Furthermore, the image capturing unit 101 and the image capturing unit 102 are installed at a predetermined distance from each other to the left and right, and the distance to the subject can be calculated from a shift between images captured by the image capturing unit 101 and the image capturing unit 102, so-called parallax.

なお、図１では撮像装置１の構成要素が同一の筐体に収められる例を示したが、例えば撮像部１０１、１０２、１０３を、他の構成要素とは別の筐体にまとめて収めてもよいし、撮像部１０１と撮像部１０２を左右に離した形で同一の筐体に、撮像部１０３をさらに別の筐体に収めてもよいし（同図点線枠）、さらには撮像部１０１、１０２、１０３をそれぞれ別の筐体に収めて車両に取り付けてもよい。その場合、画像信号と撮像タイミング信号は図示しない接続ケーブルで接続すればよい。接続ケーブルを用いて画像を伝送する方法としては、ＬＶＤＳ（ＬｏｗＶｏｌｔａｇｅＤｉｆｆｅｒｅｎｔｉａｌＳｉｇｎａｌｉｎｇ）方式の差動伝送路を用いた双方向の伝送方法などがある。 Note that FIG. 1 illustrates an example in which the components of the imaging device 1 are housed in the same housing. However, for example, the imaging units 101, 102, and 103 are collectively housed in a housing separate from other components. Alternatively, the image pickup unit 101 and the image pickup unit 102 may be housed in the same case with the image pickup unit 101 and the image pickup unit 102 left and right separated, and the image pickup unit 103 may be housed in another case (dotted line frame in the figure). 101, 102, and 103 may be housed in separate housings and attached to the vehicle. In that case, the image signal and the imaging timing signal may be connected by a connection cable (not shown). As a method of transmitting an image using a connection cable, there is a bidirectional transmission method using a differential transmission path of an LVDS (Low Voltage Differential Signaling) method.

さらに、撮像部１０１と撮像部１０２の画像センサをカラー画像センサとすることで、撮像した画像の色情報を取得することが可能になる。撮像部１０３については画像センサを白黒画像センサとすることで低コストになるが、カラー画像センサでもよい。また、撮像部１０３と後述の動体検出部１０６を同一の筐体に収め、動体検出結果を出力するように構成してもよい。その場合、画像そのものを出力することがないので、伝送するデータ量の低減が可能になる。 Furthermore, by using the image sensors of the imaging unit 101 and the imaging unit 102 as color image sensors, it is possible to acquire color information of the captured image. The imaging unit 103 is a low cost by using a monochrome image sensor as the image sensor, but may be a color image sensor. Alternatively, the imaging unit 103 and a moving object detection unit 106 (to be described later) may be housed in the same housing, and a moving object detection result may be output. In that case, since the image itself is not output, the amount of data to be transmitted can be reduced.

１０４は撮像タイミング信号生成部であり、生成される例えばパルス状の撮像タイミング信号を撮像部１０１、１０２、１０３に出力する。前述のように、各撮像部は、この撮像タイミング信号を１パルス入力することにより１枚の画像を撮像する。撮像タイミング信号生成部１０４は、撮像部１０１、１０２、１０３に対し、それぞれ独立した撮像タイミング信号を出力することで、各撮像部の撮像タイミングを制御することが可能になる。 An imaging timing signal generation unit 104 outputs, for example, a pulsed imaging timing signal to be generated to the imaging units 101, 102, and 103. As described above, each imaging unit captures one image by inputting one pulse of the imaging timing signal. The imaging timing signal generation unit 104 can control the imaging timing of each imaging unit by outputting independent imaging timing signals to the imaging units 101, 102, and 103.

１０５は距離検出部であり、撮像部１０１と撮像部１０２の画像を入力して被写体の距離を検出する。距離を検出する方法として例えば次のような方法がある。距離検出部１０５は、撮像部１０１、１０２からの画像を取り込み、それぞれの画像の輝度を合わせるように予め計測されている補正値で補正し、次に水平位置を合わせるようにこれも予め計測されている補正値で補正する。補正値の計測は、撮像装置の製造工程で行われる。補正値適用前の装置毎で、特定の被写体を撮像し、取得した画像の輝度が均一になるような画素毎の輝度補正値、および画像が水平になるような画素毎の幾何補正値を求め、それぞれ補正テーブルとして、装置毎に例えば図示しない不揮発性メモリに保存しておく。 Reference numeral 105 denotes a distance detection unit that inputs the images of the imaging unit 101 and the imaging unit 102 and detects the distance of the subject. For example, there are the following methods for detecting the distance. The distance detection unit 105 captures images from the imaging units 101 and 102, corrects them with correction values measured in advance so as to match the luminance of the images, and then measures them in advance so as to match the horizontal position. Correct with the correct correction value. The correction value is measured in the manufacturing process of the imaging device. Capture a specific subject in each device before applying the correction value, and obtain the luminance correction value for each pixel so that the luminance of the acquired image is uniform, and the geometric correction value for each pixel so that the image is horizontal Each correction table is stored in a nonvolatile memory (not shown) for each device, for example.

次に視差の算出を行う。前述のように、撮像部１０１と撮像部１０２は所定の距離で左右に離れて設置されているので、撮像した画像は視差を持つ。この視差を算出する。視差の算出手法としては、例えば、ブロックマッチング方式がある。距離検出部１０５は、例えば撮像部１０１の画像上から小さく切出した所定のサイズのブロック領域に対応する、撮像部１０２の画像上の同じ被写体が映っている領域を水平方向に探索する。そして撮像部１０１と撮像部１０２における一致したブロック領域の位置の差が視差となる。 Next, parallax is calculated. As described above, since the image capturing unit 101 and the image capturing unit 102 are installed to be separated from each other at a predetermined distance, the captured image has parallax. This parallax is calculated. As a parallax calculation method, for example, there is a block matching method. The distance detection unit 105 searches, for example, in a horizontal direction an area in which the same subject on the image of the imaging unit 102 is reflected, corresponding to a block area of a predetermined size cut out from the image of the imaging unit 101. The difference between the positions of the matching block areas in the imaging unit 101 and the imaging unit 102 is parallax.

これを全画像に亘って行う。一致比較の手法としては、例えば、ブロック領域内の画素の輝度の差分の総和が小さくなった位置を視差とする。距離は、撮像部１０１、撮像部１０２のレンズ焦点距離、撮像部１０１と撮像部１０２の距離、上記で求めた視差、および撮像センサの画素ピッチから求められることは公知である。ただし、距離の算出方法はこれに限定するものではない。 This is performed over the entire image. As a method for coincidence comparison, for example, a position where the sum of luminance differences of pixels in the block region is reduced is set as a parallax. It is publicly known that the distance is obtained from the lens focal length of the imaging unit 101 and the imaging unit 102, the distance between the imaging unit 101 and the imaging unit 102, the parallax obtained above, and the pixel pitch of the imaging sensor. However, the method for calculating the distance is not limited to this.

１０６は動体検出部であり、撮像部１０３の画像を入力して被写体の動きを検出する。動きを検出する方法としては、例えば次のような方法がある。動体検出部１０６は、撮像部１０３からの画像を取り込み、取り込んだ画像の時間的な変化を検出する。時間的変化の検出方法としては、例えば、これもブロックマッチング方式がある。 Reference numeral 106 denotes a moving body detection unit that detects the movement of the subject by inputting an image of the imaging unit 103. As a method for detecting motion, for example, the following method is available. The moving object detection unit 106 captures an image from the imaging unit 103 and detects a temporal change in the captured image. As a method for detecting temporal changes, for example, there is also a block matching method.

動体検出部１０６は、撮像部１０３の例えば複数枚の画像を順次蓄積し、ある画像を小さく切出した所定のサイズのブロック領域に対応する、次の画像上の同じ被写体が映っている領域を上下左右方向に探索する。そしてブロック領域が一致した位置がそのブロック領域の被写体が動いた方向と量になる。一致比較の手法としては、上記の距離検出と同様にブロック領域内の画素の輝度の差分の総和が小さくなった位置を求める方法などがある。 The moving object detection unit 106 sequentially accumulates, for example, a plurality of images of the imaging unit 103, and moves up and down an area where the same subject on the next image is displayed corresponding to a block area of a predetermined size obtained by cutting a certain image small. Search left and right. The position where the block areas coincide with each other is the direction and amount of movement of the subject in the block area. As a method of coincidence comparison, there is a method of obtaining a position where the sum of luminance differences of pixels in the block region is reduced, as in the above distance detection.

これを全画像に亘り、かつ入力される画像についえ順次処理していくことで、被写体の時間的な動きが取得できる。さらに、車両が移動している場合に、その移動に伴う背景の移動分を取り除くことで動体の検出が行われる。背景の動きの推定は、例えば、非特許文献：清原將裕、他「車両周辺監視のための移動体検出技術の開発」ＶｉＥＷビジョン技術の実利用ワークショップ（２０１１．１２．８−９横浜）ｐｐ．２７５−２８０に記載されている。検出結果としては、例えばブロック領域毎に動きの向きと大きさを示すベクトル量である。ただし、被写体の動きの検出方法はこれに限定するものではない。 By sequentially processing this over the entire image and the input image, the temporal movement of the subject can be acquired. Furthermore, when the vehicle is moving, the moving object is detected by removing the amount of background movement that accompanies the movement. The estimation of the background motion is, for example, non-patent literature: Akihiro Kiyohara, et al. “Development of moving body detection technology for vehicle periphery monitoring” Workshop on actual use of ViEW vision technology (2011.12.8-9 Yokohama) pp . 275-280. The detection result is, for example, a vector quantity indicating the direction and magnitude of movement for each block area. However, the method for detecting the movement of the subject is not limited to this.

１０７は認識部であり、距離検出部１０５と動体検出部１０６による検出結果を受け取り、画像上の座標位置を比較参照することにより動体の距離を認識する。認識部１０７は、認識結果の情報を撮像装置１の外部へ出力する。 A recognition unit 107 receives detection results from the distance detection unit 105 and the moving object detection unit 106, and recognizes the distance of the moving object by comparing and referring to the coordinate positions on the image. The recognition unit 107 outputs information of the recognition result to the outside of the imaging device 1.

なお、３枚の画像による認識処理が終了した後に、認識部１０７が撮像タイミング信号生成部１０４に対しその旨を出力することで、撮像タイミング信号生成部１０４は、次の撮像タイミング信号を出力するようにしてもよい。 In addition, after the recognition process by three images is completed, the recognition unit 107 outputs a message to that effect to the imaging timing signal generation unit 104, so that the imaging timing signal generation unit 104 outputs the next imaging timing signal. You may do it.

図２は、撮像タイミング信号生成部１０４で生成され出力される、撮像タイミング信号のパルス波形タイミングの一例を示す図である。同図中（２−１）は撮像部１０１に出力する撮像タイミング信号である。同様に（２−２）は撮像部１０２に、（２−３）は撮像部１０３にそれぞれ出力する撮像タイミング信号を示す。 FIG. 2 is a diagram illustrating an example of the pulse waveform timing of the imaging timing signal generated and output by the imaging timing signal generation unit 104. In the figure, (2-1) is an imaging timing signal output to the imaging unit 101. Similarly, (2-2) indicates an imaging timing signal output to the imaging unit 102, and (2-3) indicates an imaging timing signal output to the imaging unit 103, respectively.

例えば、（２−１）、（２−２）では、１秒当たり３０パルスの周期で同時に撮像部１０１、１０２に出力し、（２−３）では１秒当たり４８０パルスの周期で撮像部１０３に出力する。その場合、図示しないが、（２−１）（２−２）の１パルスの期間に、（２−３）は１６パルスのタイミング信号が出力されることになる。また、これらの撮像タイミング信号は同期しており、（２−１）（２−２）（２−３）の撮像タイミング信号は撮像タイミングＴ２１、Ｔ２２、Ｔ２３、Ｔ２４，Ｔ２５において同時に揃って出力し、その際には撮像部１０１、１０２、１０３は同時に撮像することになる。 For example, (2-1) and (2-2) simultaneously output to the imaging units 101 and 102 at a cycle of 30 pulses per second, and (2-3) the imaging unit 103 at a cycle of 480 pulses per second. Output to. In that case, although not shown in the drawing, a timing signal of 16 pulses is output in (2-3) during the period of one pulse of (2-1) and (2-2). These imaging timing signals are synchronized, and the imaging timing signals (2-1), (2-2), and (2-3) are simultaneously output at the imaging timings T21, T22, T23, T24, and T25. In this case, the imaging units 101, 102, and 103 capture images simultaneously.

すなわち、撮像部１０１と撮像部１０２で撮像した画像から距離を検出する場合に、撮像部１０３において同じ時間の画像を撮像しているので、前述の動体の距離認識を行う際の画像の比較参照を正確に行うことができる。なお、必ずしも同じ時間に撮像する必要はなく、意図的に一定の時刻ずらして撮影することも可能である。 That is, when the distance is detected from the images captured by the image capturing unit 101 and the image capturing unit 102, the image capturing unit 103 captures an image at the same time. Can be done accurately. Note that it is not always necessary to capture images at the same time, and it is also possible to intentionally shift images at a certain time.

図３は、本発明の撮像装置の一実施例の処理フローを示す図である。前述のように、撮像部１０１および１０２により、被写体の距離を検出し、撮像部１０３により動体を検出する。まず、撮像部１０１および１０２により撮影し（Ｓ３０１：Ｓはステップを表す）、撮像した２つの画像から視差を検出する（Ｓ３０２）。次に、上述の通り検出した視差から距離を算出する（Ｓ３０３）。このＳ３０１、Ｓ３０２、Ｓ３０３の処理を図２に示した撮像タイミング（２−１）（２−２）の周期で繰り返す。 FIG. 3 is a diagram showing a processing flow of an embodiment of the imaging apparatus of the present invention. As described above, the imaging units 101 and 102 detect the distance of the subject, and the imaging unit 103 detects a moving object. First, images are captured by the imaging units 101 and 102 (S301: S represents a step), and parallax is detected from the two captured images (S302). Next, a distance is calculated from the parallax detected as described above (S303). The processes of S301, S302, and S303 are repeated at the cycle of imaging timings (2-1) and (2-2) shown in FIG.

また、撮像部１０３により撮影した画像から動体を検出する。前述のように、撮像部１０３により撮影し（Ｓ３０４）、撮像した画像から被写体の動きを検出する（Ｓ３０５）。次に背景の移動分を取り除く（Ｓ３０６）。このＳ３０４、Ｓ３０５、Ｓ３０６の処理を図２の撮像タイミング（２−３）の周期で繰り返す。そして、認識部１０７において動体の距離を認識する（Ｓ３０７）。 In addition, a moving object is detected from the image captured by the imaging unit 103. As described above, the image is captured by the imaging unit 103 (S304), and the movement of the subject is detected from the captured image (S305). Next, the background movement is removed (S306). The processes of S304, S305, and S306 are repeated at the imaging timing (2-3) period of FIG. Then, the recognition unit 107 recognizes the distance of the moving object (S307).

図４は、本発明の撮像装置の一実施例で撮像される画像の例を示す図である。４０１はある時点で撮像部１０３により撮像された画像であり、撮像部１０１、１０２もほぼ同様の画像を撮影し取得している。４０２、４０３、４０４は被写体であり、ほぼ同じ距離にあるものとする。画像内の枠は撮像した画像にはなく、認識した動体を明示的に示したものである。 FIG. 4 is a diagram illustrating an example of an image captured by an embodiment of the imaging apparatus of the present invention. Reference numeral 401 denotes an image picked up by the image pickup unit 103 at a certain point in time, and the image pickup units 101 and 102 also capture and acquire almost the same image. Reference numerals 402, 403, and 404 denote subjects, which are at substantially the same distance. The frame in the image is not in the captured image, but explicitly shows the recognized moving object.

４０２は急な飛び出しにより撮影範囲に入ってきた歩行者を捉え動体として認識していることを示し、４０３は交通信号の青が点灯していることを動体として認識していることを示す。交通信号は商用交流電源を整流した電源を用いるため１００Ｈｚあるいは１２０Ｈｚで点滅している（いわゆるダイナミック点灯）。従って例えば１秒当たり３０枚の周期で撮影した場合、交通信号が明滅あるいは消灯しているように見えてしまう。 Reference numeral 402 indicates that a pedestrian who has entered the shooting range due to a sudden pop-up is captured and recognized as a moving object, and 403 indicates that the traffic light blue is lit as a moving object. The traffic signal blinks at 100 Hz or 120 Hz (so-called dynamic lighting) because a power source obtained by rectifying a commercial AC power source is used. Therefore, for example, when shooting at a cycle of 30 frames per second, the traffic signal appears to blink or be extinguished.

そこで本実施例のように、例えば１秒当たり４８０枚の周期で撮影することで、交通信号の点灯している期間を正確に捉えることが可能になる。４０４も歩行者で、被写体４０２、４０３とほぼ同じ距離にあるが、静止しているため動体としては認識していない。このように、本実施例によれば、急な飛び出し者や信号機やそれ以外のダイナミック点灯している表示器を的確にとらえることが可能になる。 Therefore, as in the present embodiment, for example, by photographing at a cycle of 480 frames per second, it is possible to accurately capture the period during which the traffic signal is lit. 404 is also a pedestrian and is almost the same distance as the subjects 402 and 403, but is not recognized as a moving object because it is stationary. As described above, according to the present embodiment, it is possible to accurately capture a sudden jumper, a traffic light, and other dynamically lit display devices.

本実施例によれば、２つの撮像部で被写体の距離を検出すると共に、別の撮像部で距離検出よりも高いフレームレートで動体を検出することで、素早く動体の距離を検出することが可能になり、安全性を向上できる。高いフレームレートで撮像する撮像部は距離を検出するための撮像部と独立しているので、従来の距離検出機能に追加する形で距離検出機能を制限することなく実現できる。 According to the present embodiment, it is possible to detect the distance of the moving object quickly by detecting the distance of the subject with the two imaging units and detecting the moving object with a higher frame rate than the distance detection with another imaging unit. And improve safety. Since the imaging unit for imaging at a high frame rate is independent of the imaging unit for detecting the distance, it can be realized without limiting the distance detection function in addition to the conventional distance detection function.

図５は、撮像タイミング信号生成部１０４で生成され出力される、撮像タイミング信号のパルス波形タイミングの別の実施例を示す図である。同図中（５−１）（５−２）は撮像部１０１、１０２にそれぞれに出力する撮像タイミング信号である。（５−３）は撮像部１０３に出力する撮像タイミング信号を示す。 FIG. 5 is a diagram illustrating another example of the pulse waveform timing of the imaging timing signal generated and output by the imaging timing signal generation unit 104. In the figure, (5-1) and (5-2) are imaging timing signals output to the imaging units 101 and 102, respectively. (5-3) indicates an imaging timing signal output to the imaging unit 103.

同図中、撮像タイミングＴ５１において、前述の急な飛び出し者を、撮像部１０３で撮影した画像から動体検出部１０６により動体として検出した場合、動体検出部１０６は撮像タイミング信号生成部１０４に対し検出した旨を通知する。撮像タイミング信号生成部１０４は、その通知を受け、撮像タイミングＴ５２において、撮像部１０１、１０２に撮像タイミング信号を出力する。 In the figure, at the imaging timing T51, when the above-mentioned sudden jumping out person is detected as a moving object by the moving object detecting unit 106 from the image captured by the imaging unit 103, the moving object detecting unit 106 detects the imaging timing signal generating unit 104. Notify that it has been done. The imaging timing signal generation unit 104 receives the notification and outputs the imaging timing signal to the imaging units 101 and 102 at the imaging timing T52.

撮像タイミングＴ５２の直前の撮像タイミング信号で撮影された画像は撮像途中であるため破棄されるが、撮像タイミングＴ５２から撮像をし直すので、動体の距離を早く取得することが可能になる。また、前述の交通信号のようにダイナミック点灯している表示器を捉えた場合、動体検出部１０６において、輝度信号の変化から、点灯しているタイミングに合わせて撮像タイミング信号を出力することも可能になる。 The image captured with the imaging timing signal immediately before the imaging timing T52 is discarded because it is in the middle of imaging. However, since the imaging is performed again from the imaging timing T52, the distance of the moving object can be acquired quickly. In addition, when capturing a dynamically lit display such as the traffic signal described above, the moving object detection unit 106 can output an imaging timing signal in accordance with the lighting timing from the change in the luminance signal. become.

その場合、距離検出部１０５においては、常に交通信号が点灯した状態とすることができるので、視差を検出する場合の輝度値が撮像タイミングによる影響を受けず、正確に距離を算出することが可能になる。この場合、撮像部１０１、１０２の画像センサをカラー画素センサとすることで、点灯している信号の色を正確に判別することが可能になる。 In that case, the distance detection unit 105 can always keep the traffic signal on, so that the brightness value when detecting the parallax is not affected by the imaging timing, and the distance can be calculated accurately. become. In this case, by using the image sensors of the imaging units 101 and 102 as color pixel sensors, it is possible to accurately determine the color of the lighted signal.

その際、撮像部１０３の画像センサは、輝度信号の変化により動体検出をするので、白黒画像センサでもよく、装置のコスト低減が図れる。 At this time, the image sensor of the image pickup unit 103 detects a moving object based on a change in the luminance signal, and thus may be a monochrome image sensor, and the cost of the apparatus can be reduced.

本実施例によれば、２つの撮像部で被写体の距離を検出すると共に、別の撮像部で距離検出よりも高いフレームレートで動体を検出する際、動体の状態に合わせて距離検出の動作を行うので、素早く動体の距離を検出することが可能になり、安全性を向上できる。 According to the present embodiment, when the distance of the subject is detected by the two imaging units and the moving object is detected at a higher frame rate than the distance detection by another imaging unit, the distance detection operation is performed according to the state of the moving object. As a result, the distance of the moving object can be detected quickly, and the safety can be improved.

図６は、本発明の撮像装置の第２の実施例の構成を示す図である。同図中６０１は撮像部、６０２はフレームレート変換部である。本実施例では、撮像部として撮像部６０１と撮像部１０２の２つの撮像部を備える。撮像部６０１と撮像部１０２は、所定の距離で左右に離れて設置され、撮像部６０１と撮像部１０２で撮影した画像の視差から、被写体までの距離を算出できる。また、撮像タイミング信号生成部１０４は、撮像部６０１と撮像部１０２に対し、撮像タイミング信号を出力する。 FIG. 6 is a diagram showing the configuration of the second embodiment of the imaging apparatus of the present invention. In the figure, reference numeral 601 denotes an imaging unit, and 602 denotes a frame rate conversion unit. In the present embodiment, two imaging units, an imaging unit 601 and an imaging unit 102, are provided as imaging units. The imaging unit 601 and the imaging unit 102 are installed to be separated from each other at a predetermined distance, and the distance to the subject can be calculated from the parallax of images captured by the imaging unit 601 and the imaging unit 102. In addition, the imaging timing signal generation unit 104 outputs an imaging timing signal to the imaging unit 601 and the imaging unit 102.

図７は、図６に示す撮像装置における、撮像タイミング信号生成部１０４で生成され出力される、撮像タイミング信号のタイミングの一例を示す図である。同図中（７−１）は撮像部６０１に出力する撮像タイミング信号であり、（７−２）は撮像部１０２に出力する撮像タイミング信号を示す。（７−１）では、例えば１秒当たり４８０パルスの周期で同時に撮像部６０１に出力し、（７−２）では、１秒当たり３０パルスの周期で撮像部１０２に出力する。 FIG. 7 is a diagram illustrating an example of the timing of the imaging timing signal generated and output by the imaging timing signal generation unit 104 in the imaging apparatus illustrated in FIG. In the figure, (7-1) is an imaging timing signal output to the imaging unit 601, and (7-2) is an imaging timing signal output to the imaging unit 102. In (7-1), for example, it outputs to the imaging unit 601 simultaneously at a cycle of 480 pulses per second, and in (7-2), it outputs to the imaging unit 102 at a cycle of 30 pulses per second.

これらの撮像タイミング信号は同期しており、（７−１）（７−２）の撮像タイミング信号は、撮像タイミングＴ７１、Ｔ７２、Ｔ７３，Ｔ７４，Ｔ７５では同時に揃って出力し、その際には撮像部６０１と１０２は同時に撮像することになる。 These imaging timing signals are synchronized, and the imaging timing signals (7-1) and (7-2) are simultaneously output at the imaging timings T71, T72, T73, T74, and T75. The parts 601 and 102 will pick up images simultaneously.

再び図６に戻って説明する。前述のように、撮像部６０１、撮像部１０２は、撮像タイミング信号生成部１０４から出力される撮像タイミング信号に従って撮像を行う。フレームレート変換部６０２は撮像部６０１と距離検出部１０５の間に挿入されている。フレームレート変換部６０２は、入力した画像のフレームレートを落として距離検出部１０５に出力する。フレームレートの変換は、例えば、入力された画像を間引いて出力する方法や、複数枚の画像の平均をとって出力する方法などがある。ここでは、図７の撮像タイミングＴ７１、Ｔ７２、Ｔ７３、Ｔ７４、およびＴ７５の画像を距離検出部１０５に出力し、それ以外の画像は破棄する。これにより、距離検出部１０５には、撮像部６０１、および撮像部１０２によって同じタイミングに撮影された画像が１秒当たり３０枚入力される。これ以降の動作は、第１の実施例と同じであり、距離検出部１０５において、撮像部６０１と撮像部１０２によって同じタイミングで撮像した画像の視差により被写体の距離を検出するとともに、撮像部６０１で撮像した画像を動体検出部１０６に入力し、動体検出を行う。認識部１０７は、距離検出部１０５と動体検出部１０６による検出結果を受け取り、画像上の座標位置を比較参照することにより動体の距離を認識する。 Returning again to FIG. As described above, the imaging unit 601 and the imaging unit 102 perform imaging according to the imaging timing signal output from the imaging timing signal generation unit 104. The frame rate conversion unit 602 is inserted between the imaging unit 601 and the distance detection unit 105. The frame rate conversion unit 602 reduces the frame rate of the input image and outputs it to the distance detection unit 105. The conversion of the frame rate includes, for example, a method of thinning and outputting an input image, a method of outputting an average of a plurality of images, and the like. Here, the images at the imaging timings T71, T72, T73, T74, and T75 in FIG. 7 are output to the distance detection unit 105, and the other images are discarded. Thereby, 30 images captured at the same timing by the imaging unit 601 and the imaging unit 102 are input to the distance detection unit 105 per second. The subsequent operation is the same as that of the first embodiment. In the distance detection unit 105, the distance of the subject is detected by the parallax of the images captured at the same timing by the imaging unit 601 and the imaging unit 102, and the imaging unit 601. The image picked up in (5) is input to the moving object detection unit 106 to detect the moving object. The recognition unit 107 receives detection results from the distance detection unit 105 and the moving object detection unit 106, and recognizes the distance of the moving object by comparing and referring to the coordinate positions on the image.

本実施例では、撮像部６０１と撮像部１０２の２つの撮像部で構成し、撮像部６０１において、高いフレームレートで撮影した画像から動体検出を行い、また、フレームレート変換部６０２において、撮像部１０２において撮影された画像のフレームレート、撮像タイミングに合わせるように、画像を間引き、距離検出部１０５に出力するので、本発明の撮像装置の第１の実施例に比べ、低コストで実現することが可能で、同様の性能の距離検出機能が得られる。また、撮像部が２つでよいので、撮像部側の軽量化、低消費電力化、筐体が小さくなることによる、車両設置への寸法制限を低減することが可能になり、低コスト化できる。なお、撮像部１０２についても撮像部６０１と同じ高いフレームレートで撮影し、距離検出部１０５との間にフレームレート変換部を同様に挿入してもよい。その場合、撮像部６０１と撮像部１０２は同じ性能の画像センサを採用できる。 In this embodiment, the image capturing unit 601 and the image capturing unit 102 are configured to have two image capturing units. The image capturing unit 601 detects a moving object from an image captured at a high frame rate. The frame rate conversion unit 602 includes an image capturing unit. Since the image is thinned out and output to the distance detection unit 105 so as to match the frame rate and image capturing timing of the image captured in 102, it can be realized at a lower cost than the first embodiment of the image capturing apparatus of the present invention. The distance detection function with the same performance can be obtained. In addition, since only two image pickup units are required, it is possible to reduce the size restriction on the vehicle installation due to the light weight of the image pickup unit, the low power consumption, and the reduction in the housing, and the cost can be reduced. . Note that the imaging unit 102 may also shoot at the same high frame rate as the imaging unit 601 and insert a frame rate conversion unit between the distance detection unit 105 in the same manner. In that case, the imaging unit 601 and the imaging unit 102 can employ image sensors having the same performance.

図８は、本発明の撮像装置の第３の実施例の構成を示す図である。本実施例では、第１の実施例の撮像部１０３と動体検出部１０６を別筐体に収め、８０２で示す動体撮像部とし、残りの部分を８０１で示す視差撮像部としたものである。この場合、視差撮像部８０１に動体撮像部８０２を追加して構成することが可能になり、距離検出のみを行う装置と、距離検出に加え動体検出を行う装置を分けて提供することが容易に可能になる。また、この実施例の場合、視差撮像部８０１と動体撮像部８０２の間を、画像そのものを出力することがないので、伝送するデータ量の低減が可能になる。 FIG. 8 is a diagram showing the configuration of the third embodiment of the imaging apparatus of the present invention. In this embodiment, the image pickup unit 103 and the moving object detection unit 106 of the first embodiment are housed in separate housings to be a moving object image pickup unit indicated by 802 and the remaining part is a parallax image pickup unit indicated by 801. In this case, the moving object imaging unit 802 can be added to the parallax imaging unit 801, and it is easy to separately provide a device that performs only distance detection and a device that performs moving object detection in addition to distance detection. It becomes possible. In this embodiment, since the image itself is not output between the parallax imaging unit 801 and the moving body imaging unit 802, the amount of data to be transmitted can be reduced.

図９は、本発明の撮像装置の第４の実施例の構成を示す図である。撮像装置１は、自動車などの車両に搭載されており、同図中９０１は車両制御部である。認識部１０７の出力が車両制御部９０１に入力されている。車両制御部９０１は、認識部１０７による認識結果を受け、車両の他の図示しない装置に対し制御を行う。車両の制御としては、急な飛び出し者や、赤信号や道路標識を検出したことによる、運転者への警告ランプの点灯、警告音の発生、ブレーキ制動による減速、停止制御、先行車追従時のスロットル、ブレーキ制御、その他の衝突回避や斜線維持のための舵角制御などである。これらの車両制御情報は撮像装置１から図示しない他の装置に対して、車内ネットワークを介して出力する。なお、同図では車両制御部９０１は撮像装置１とは同一筐体に収められる例を示したが、それに限るものではなく、前述のように、撮像部１０１、１０２、１０３を別筐体としてもよい。 FIG. 9 is a diagram showing the configuration of the fourth embodiment of the imaging apparatus of the present invention. The imaging apparatus 1 is mounted on a vehicle such as an automobile, and reference numeral 901 in the figure is a vehicle control unit. The output of the recognition unit 107 is input to the vehicle control unit 901. The vehicle control unit 901 receives the recognition result from the recognition unit 107 and controls other devices (not shown) of the vehicle. Vehicle control includes sudden jumpers, detection of red lights and road signs, lighting of warning lamps for drivers, generation of warning sounds, deceleration by brake braking, stop control, and tracking of preceding vehicles. Throttle, brake control, and other steering angle control for collision avoidance and oblique line maintenance. The vehicle control information is output from the imaging device 1 to another device (not shown) via the in-vehicle network. Although the vehicle control unit 901 is shown in the same figure as the imaging device 1 in the same housing in the figure, the present invention is not limited to this. As described above, the imaging units 101, 102, and 103 are separated from each other. Also good.

図１０は、本発明の撮像装置のさらに別の実施例の構成を示す図である。２０１はネットワーク撮像部、２０３はネットワーク動体検出部である。２０６はＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）であり、２０５は制御部である。ネットワーク撮像部２０１、ネットワーク動体検出部２０３は、ＬＡＮ２０６を介して制御部２０５と接続されている。また、２０２は画像圧縮・インタフェース部、２０４は動体検出・インタフェース部、２０７はネットワークインタフェース部、２０８は撮像タイミング情報送信部、２０９は画像伸張部、２１０は動体検出受信インタフェース部である。 FIG. 10 is a diagram showing the configuration of still another embodiment of the imaging apparatus of the present invention. 201 is a network imaging unit, and 203 is a network moving object detection unit. Reference numeral 206 denotes a LAN (Local Area Network), and 205 denotes a control unit. The network imaging unit 201 and the network moving object detection unit 203 are connected to the control unit 205 via the LAN 206. Reference numeral 202 denotes an image compression / interface unit, 204 denotes a moving object detection / interface unit, 207 denotes a network interface unit, 208 denotes an imaging timing information transmission unit, 209 denotes an image expansion unit, and 210 denotes a moving object detection / reception interface unit.

画像圧縮・インタフェース部２０２は、撮像部１０１、撮像部１０２で撮影した画像を圧縮してＬＡＮ２０６に送信し、またＬＡＮ２０６から送られてくる撮像タイミング情報を受信して撮像部１０１、１０２に伝達する。画像圧縮の処理時間を少なくするため、複数の画像の時間的相関関係を使わず、一枚の画像内で圧縮を行う画面内圧縮方式を用いてもよい。また、映像圧縮符号化方式を選択して切り換えてもよい。画像圧縮・インタフェース部２０２は、圧縮符号化データを生成し、所定のネットワークプロトコルに従ってデータを送信する。 The image compression / interface unit 202 compresses an image captured by the imaging unit 101 and the imaging unit 102 and transmits the compressed image to the LAN 206, and receives imaging timing information transmitted from the LAN 206 and transmits it to the imaging units 101 and 102. . In order to reduce the processing time of image compression, an in-screen compression method in which compression is performed within one image without using the temporal correlation of a plurality of images may be used. Also, the video compression encoding method may be selected and switched. The image compression / interface unit 202 generates compression-encoded data and transmits the data according to a predetermined network protocol.

制御部２０５においては、ネットワークインタフェース部２０７において、圧縮画像データの受信と撮像タイミング情報の送信を、ＬＡＮ２０６を介して行う。撮像タイミング情報送信部２０８では、各撮像部１０１、１０２、１０３が撮像する撮像タイミングを示す撮像タイミング情報を送信する。本実施例においては、ネットワーク撮像部２０１、ネットワーク動体検出部２０３と制御部２０５の間で、時刻を同期させる仕組みを設けている。時刻を同期させる方法としては、例えばＩＥＥＥ１５８８に記載された方法や、ＩＥＥＥ８０２．１ＡＶＢの方式を用いることができる。そのような時刻情報を送受する方法を用いてネットワークに接続する機器間で定期的に時刻を同期させる。例えば、ネットワーク撮像部２０１における基準信号の発振周期を例えばＰＬＬ（ＰｈａｓｅＬｏｃｋｅｄＬｏｏｐ）を用いて時刻情報をもとに調節する。このようにすることにより、基準信号の周期を機器間で一致させ、時刻を同期することができる。その状態で、撮像タイミング情報として、同期している時刻の絶対時間や、そこからの相対時間、時間間隔などを送信することで、撮像タイミングを合わせることが可能になる。撮像タイミング情報は、例えば電源投入後に各撮像部１０１、１０２、１０３に対し送信する。本実施例では、撮像部１０１、１０２に対しては同じ撮像タイミング情報を、撮像部１０３に対しては、撮像部１０１、１０２より高いフレームレートで撮像するような撮像タイミング情報を送信することで、前述の図２に示した撮像タイミングでの撮像が可能になる。撮像タイミング情報が相対時間や時間間隔の場合、撮像部１０１、１０２、１０３では、機器間で同期した時刻を参照しながら受信した撮像タイミング情報に従って撮像するので、撮像タイミング情報は毎回送る必要はない。 In the control unit 205, the network interface unit 207 performs reception of compressed image data and transmission of imaging timing information via the LAN 206. The imaging timing information transmission unit 208 transmits imaging timing information indicating the imaging timing at which each imaging unit 101, 102, 103 images. In this embodiment, a mechanism for synchronizing the time among the network imaging unit 201, the network moving object detection unit 203, and the control unit 205 is provided. As a method for synchronizing the time, for example, a method described in IEEE 1588 or an IEEE 802.1AVB method can be used. Using such a method for transmitting and receiving time information, the time is periodically synchronized between devices connected to the network. For example, the oscillation cycle of the reference signal in the network imaging unit 201 is adjusted based on the time information using, for example, a PLL (Phase Locked Loop). By doing in this way, the period of a reference signal can be made to correspond between apparatuses and time can be synchronized. In this state, the imaging timing can be adjusted by transmitting the absolute time of the synchronized time, the relative time from the time, the time interval, and the like as the imaging timing information. The imaging timing information is transmitted to each of the imaging units 101, 102, and 103 after the power is turned on, for example. In this embodiment, the same image capturing timing information is transmitted to the image capturing units 101 and 102, and image capturing timing information that is imaged at a higher frame rate than the image capturing units 101 and 102 is transmitted to the image capturing unit 103. The imaging at the imaging timing shown in FIG. 2 is possible. When the imaging timing information is a relative time or a time interval, the imaging units 101, 102, and 103 capture images according to the received imaging timing information while referring to the time synchronized between the devices, so it is not necessary to send the imaging timing information every time. .

画像圧縮・インタフェース部２０２と、動体検出・インタフェース部２０４においては、受信した撮像タイミング情報をもとに、前述の実施例のパルス状の撮像タイミング信号を生成し、撮像部１０１、１０２、１０３に出力する。 The image compression / interface unit 202 and the moving object detection / interface unit 204 generate the pulse-shaped imaging timing signals of the above-described embodiment based on the received imaging timing information, and send them to the imaging units 101, 102, 103. Output.

制御部２０５のネットワークインタフェース部２０７で受信した圧縮画像データは、画像伸張部２０９において元の画像に伸張され、撮像部１０１で撮影された画像と撮像部１０２で撮影された画像を距離検出部１０５に出力する。 The compressed image data received by the network interface unit 207 of the control unit 205 is expanded to an original image by the image expansion unit 209, and the distance detection unit 105 determines the image captured by the imaging unit 101 and the image captured by the imaging unit 102. Output to.

一方、ネットワーク動体検出部２０３においては、動体検出・インタフェース部２０４で受信した撮像タイミング情報をもとに撮像部１０３で撮像した画像から動体を検出する。検出の方式は、前述の実施例と同様の方式でよい。動体検出結果であるブロック毎のベクトル量を所定のフォーマットに変換してＬＡＮ２０６を介して制御部２０５に送信する。制御部２０５においては、ネットワークインタフェース部２０７で受信した動体検出結果を動体検出受信インタフェース部２１０においてブロック毎のベクトル量にフォーマットを変換する。以降の動作は最初の実施例と同様である。 On the other hand, the network moving object detection unit 203 detects a moving object from the image captured by the imaging unit 103 based on the imaging timing information received by the moving object detection / interface unit 204. The detection method may be the same as that in the above-described embodiment. A vector amount for each block, which is a moving object detection result, is converted into a predetermined format and transmitted to the control unit 205 via the LAN 206. In the control unit 205, the moving object detection result received by the network interface unit 207 is converted into a vector quantity for each block in the moving object detection reception interface unit 210. The subsequent operations are the same as in the first embodiment.

本実施例によれば、ＬＡＮ２０６を介して画像や撮像タイミング情報をやり取りするので、撮像部側の処理量を減らすことができ、撮像部側の軽量化、低消費電力化、筐体が小さくなることによる、車両設置への寸法制限を低減することが可能になる。また、ネットワーク撮像部２０１と制御部２０５で構成される撮像装置に、ネットワーク動体検出部２０３を追加して構成することが可能になり、距離検出のみを行う装置と、距離検出に加え動体検出を行う装置を分けて提供することが容易に可能になる。また、ネットワーク動体検出部２０３と制御部２０５の間を、画像そのものを出力することがないので、伝送するデータ量の低減が可能になる。 According to the present embodiment, since the image and the imaging timing information are exchanged via the LAN 206, the processing amount on the imaging unit side can be reduced, the imaging unit side can be reduced in weight, the power consumption can be reduced, and the housing can be reduced. Therefore, it becomes possible to reduce the dimensional limitation on the vehicle installation. In addition, it is possible to add the network moving object detection unit 203 to the image pickup apparatus composed of the network image pickup unit 201 and the control unit 205, and to perform the moving object detection in addition to the distance detection device and the device that performs only distance detection. It becomes possible to provide the devices to be performed separately. Further, since the image itself is not output between the network moving object detection unit 203 and the control unit 205, the amount of data to be transmitted can be reduced.

以上のように、２つの撮像部で被写体の距離を検出すると共に、距離検出よりも高いフレームレートで動体を検出することで、素早く動体の距離を検出することが可能になり、高性能で低コストの装置を提供できる。 As described above, by detecting the distance of the subject with the two imaging units and detecting the moving object at a frame rate higher than the distance detection, it becomes possible to quickly detect the distance of the moving object. Cost equipment can be provided.

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 In addition, this invention is not limited to an above-described Example, Various modifications are included. For example, the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described. Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. Further, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 In addition, each of the above-described configurations may be configured such that some or all of them are configured by hardware, or are implemented by executing a program by a processor. Further, the control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

１…撮像装置、１０１〜１０３…撮像部、１０４…撮像タイミング信号生成部、１０５…距離検出部、１０６…動体検出部、１０７認識部、４０１…撮影画像、４０２〜４０４…被写体、６０１…撮像部、６０２…フレームレート変換部、８０１…視差撮像部、８０２…動体撮像部、９０１…車両制御部、２０１…ネットワーク撮像部、２０２…画像圧縮・インタフェース部、２０３…ネットワーク動体検出部、２０４…動体検出・インタフェース部、２０５…制御部、２０６…ＬＡＮ、２０７…ネットワークインタフェース部、２０８…撮像タイミング情報送信部、２０９…画像伸張部、２１０…動体検出受信インタフェース部。 DESCRIPTION OF SYMBOLS 1 ... Imaging device, 101-103 ... Imaging part, 104 ... Imaging timing signal generation part, 105 ... Distance detection part, 106 ... Moving body detection part, 107 recognition part, 401 ... Captured image, 402-404 ... Subject, 601 ... Imaging , 602 ... Frame rate conversion unit, 801 ... Parallax imaging unit, 802 ... Moving object imaging unit, 901 ... Vehicle control unit, 201 ... Network imaging unit, 202 ... Image compression / interface unit, 203 ... Network moving object detection unit, 204 ... Moving object detection / interface unit 205... Control unit 206 206 LAN 207 Network interface unit 208 Imaging timing information transmission unit 209 Image expansion unit 210 Moving object reception interface unit

Claims

複数の撮像部を有する撮像装置であって、
前記複数の撮像部のうち、少なくとも１つの撮像部は、第１のフレームレートで撮像する第１の撮像部であり、
前記複数の撮像部のうち、少なくとも１つの撮像部は、前記第１のフレームレートより高い第２のフレームレートで撮像する第２の撮像部であり、
前記第２のフレームレートで撮像する撮像部で取得した画像に基づいて動体を検出する動体検出部と、
前記複数の撮像部で取得した複数の画像の視差に基づいて被写体との距離を検出する距離検出部と、を有し、
前記第１の撮像部は、単位時間当たり第１の時間間隔で第１の複数の画像を撮像し、
前記第２の撮像部は、単位時間当たり前記第１の時間間隔よりも細かい第２の時間間隔で第２の複数の画像を撮像し、さらに、
同期したタイミングで撮像するための撮像タイミング信号を前記複数の撮像部にそれぞれ出力する撮像タイミング信号生成部を有し、
前記複数の撮像部は、入力する撮像タイミング信号に基づいて撮像し、
前記同期したタイミングの直前の撮像タイミングで撮像された画像は破棄し、前記同期したタイミングで撮像を再度行う、ことを特徴とする撮像装置。 An imaging apparatus having a plurality of imaging units,
Among the plurality of imaging units, at least one imaging unit is a first imaging unit that images at a first frame rate,
Of the plurality of imaging units, at least one imaging unit is a second imaging unit that images at a second frame rate higher than the first frame rate,
A moving object detection unit that detects a moving object based on an image acquired by an imaging unit that images at the second frame rate;
A distance detection unit that detects a distance to a subject based on parallax of a plurality of images acquired by the plurality of imaging units;
The first imaging unit captures a first plurality of images at a first time interval per unit time;
The second imaging unit captures a second plurality of images at a second time interval finer than the first time interval per unit time, and
An imaging timing signal generation unit that outputs imaging timing signals for imaging at synchronized timings to the plurality of imaging units, respectively;
The plurality of imaging units capture images based on input imaging timing signals,
An imaging apparatus, wherein an image captured at an imaging timing immediately before the synchronized timing is discarded, and imaging is performed again at the synchronized timing.

請求項１に記載の撮像装置において、
さらに、前記動体検出部と前記距離検出部の出力に基づいて前記動体との距離を認識する認識部を有することを特徴とする撮像装置。 The imaging device according to claim 1,
The imaging apparatus further comprises a recognition unit that recognizes a distance from the moving object based on outputs of the moving object detection unit and the distance detection unit.

請求項１に記載の撮像装置において、
前記撮像タイミング信号生成部は、前記動体検出部の出力に基づいて、前記複数の撮像部に出力する撮像タイミング信号を制御することを特徴とする撮像装置。 The imaging device according to claim 1,
The imaging apparatus according to claim 1, wherein the imaging timing signal generation unit controls imaging timing signals output to the plurality of imaging units based on an output of the moving object detection unit.

請求項３に記載の撮像装置において、
前記撮像タイミング信号生成部は、前記動体検出部の出力に基づいて、前記第１の撮像部に出力する撮像タイミング信号を制御することを特徴とする撮像装置。 The imaging device according to claim 3.
The imaging apparatus, wherein the imaging timing signal generation unit controls an imaging timing signal output to the first imaging unit based on an output of the moving object detection unit.

請求項１に記載の撮像装置において、
前記複数の撮像部と、前記撮像タイミング信号生成部とが、ネットワークを介して接続され、
前記撮像タイミング信号生成部は、前記複数の撮像部に対し、それぞれ撮像タイミング情報を送信し、
前記複数の撮像部は、ネットワークからの前記撮像タイミング情報に基づいて、撮像することを特徴とする撮像装置。 The imaging device according to claim 1,
The plurality of imaging units and the imaging timing signal generation unit are connected via a network,
The imaging timing signal generation unit transmits imaging timing information to the plurality of imaging units,
The plurality of image pickup units pick up images based on the image pickup timing information from a network.

請求項１に記載の撮像装置において、
前記撮像部および前記動体検出部と、前記撮像タイミング信号生成部および認識部とが、ネットワークを介して接続され、
前記認識部は、前記動体検出部の検出結果、及び前記距離検出部の検出結果から前記動体の距離を認識する、ことを特徴とする撮像装置。 The imaging device according to claim 1,
The imaging unit and the moving object detection unit, the imaging timing signal generation unit and the recognition unit are connected via a network,
The said recognition part recognizes the distance of the said moving body from the detection result of the said moving body detection part, and the detection result of the said distance detection part, The imaging device characterized by the above-mentioned.

請求項２に記載の撮像装置において、
車両の運動を制御する車両制御部を備え、
前記車両制御部は、前記認識部の認識結果に基づいて前記車両を制御することを特徴とする撮像装置。 The imaging device according to claim 2,
A vehicle control unit for controlling the movement of the vehicle;
The image pickup apparatus, wherein the vehicle control unit controls the vehicle based on a recognition result of the recognition unit.

複数の撮像部を有する撮像装置であって、
前記複数の撮像部のうち、少なくとも１つの撮像部は、第１のフレームレートで撮像する撮像部であり、
前記複数の撮像部のうち、少なくとも１つの撮像部は、前記第１のフレームレートより高い第２のフレームレートで撮像する撮像部であり、
前記第２のフレームレートで撮像する撮像部で取得した画像に基づいて動体を検出する動体検出部と、
前記複数の撮像部で取得した複数の画像の視差に基づいて被写体との距離を検出する距離検出部と、
同期したタイミングで撮像するための撮像タイミング信号を前記複数の撮像部にそれぞれ出力する撮像タイミング信号生成部と、を有し、
前記複数の撮像部は、入力する撮像タイミング信号に基づいて撮像し、
前記撮像タイミング信号生成部は、前記動体検出部の出力に基づいて、前記複数の撮像部に出力する撮像タイミング信号を制御し、
前記撮像タイミング信号生成部は、前記動体検出部の出力に基づいて、前記第１のフレームレートで撮像する撮像部に出力する撮像タイミング信号を制御し、
前記同期したタイミングの直前の撮像タイミングで撮像された画像は破棄し、前記同期したタイミングで撮像を再度行う、ことを特徴とする撮像装置。 An imaging apparatus having a plurality of imaging units,
Among the plurality of imaging units, at least one imaging unit is an imaging unit that images at a first frame rate,
Among the plurality of imaging units, at least one imaging unit is an imaging unit that captures an image at a second frame rate higher than the first frame rate,
A moving object detection unit that detects a moving object based on an image acquired by an imaging unit that images at the second frame rate;
A distance detection unit that detects a distance to a subject based on parallax of a plurality of images acquired by the plurality of imaging units;
An imaging timing signal generation unit that outputs imaging timing signals for imaging at synchronized timings to the plurality of imaging units, respectively.
The plurality of imaging units capture images based on input imaging timing signals,
The imaging timing signal generation unit controls imaging timing signals output to the plurality of imaging units based on the output of the moving object detection unit,
The imaging timing signal generation unit controls an imaging timing signal output to an imaging unit that images at the first frame rate based on the output of the moving object detection unit,
An imaging apparatus, wherein an image captured at an imaging timing immediately before the synchronized timing is discarded, and imaging is performed again at the synchronized timing.

請求項８に記載の撮像装置において、
さらに、前記動体検出部と前記距離検出部の出力に基づいて前記動体との距離を認識する認識部を有することを特徴とする撮像装置。 The imaging device according to claim 8,
The imaging apparatus further comprises a recognition unit that recognizes a distance from the moving object based on outputs of the moving object detection unit and the distance detection unit.

請求項８に記載の撮像装置において、
前記複数の撮像部と、前記撮像タイミング信号生成部とが、ネットワークを介して接続され、
前記撮像タイミング信号生成部は、前記複数の撮像部に対し、それぞれ撮像タイミング情報を送信し、
前記複数の撮像部は、ネットワークからの前記撮像タイミング情報に基づいて、撮像することを特徴とする撮像装置。 The imaging device according to claim 8,
The plurality of imaging units and the imaging timing signal generation unit are connected via a network,
The imaging timing signal generation unit transmits imaging timing information to the plurality of imaging units,
The plurality of image pickup units pick up images based on the image pickup timing information from a network.

請求項８に記載の撮像装置において、
前記撮像部および前記動体検出部と、前記撮像タイミング信号生成部および認識部とが、ネットワークを介して接続され、
前記認識部は、前記動体検出部の検出結果、及び前記距離検出部の検出結果から前記動体の距離を認識することを特徴とする撮像装置。 The imaging device according to claim 8,
The imaging unit and the moving object detection unit, the imaging timing signal generation unit and the recognition unit are connected via a network,
The recognition device recognizes a distance of the moving object from a detection result of the moving object detection unit and a detection result of the distance detection unit.

請求項９に記載の撮像装置において、
車両の運動を制御する車両制御部を備え、
前記車両制御部は、前記認識部の認識結果に基づいて前記車両を制御することを特徴とする撮像装置。 The imaging device according to claim 9,
A vehicle control unit for controlling the movement of the vehicle;
The image pickup apparatus, wherein the vehicle control unit controls the vehicle based on a recognition result of the recognition unit.