JP2024016541A - Imaging apparatus and program - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of switching a frame rate according to the motion speed of a subject without causing a delay in a single imaging apparatus.

SOLUTION: An imaging apparatus includes an image sensor, an event detection type sensor, and a control unit. The image sensor captures images at a predetermined image update rate. The event detection type sensor detects the presence or absence of movement of a subject imaged by the image sensor. The control unit controls the image sensor to capture an image at an image update rate determined depending on whether there is movement of the subject detected by the event detection sensor.

SELECTED DRAWING: Figure 1

COPYRIGHT: (C)2024,JPO&INPIT

Description

本発明は、撮像装置およびプログラムに関する。 The present invention relates to an imaging device and a program.

例えばテレビ放送のスポーツ中継番組などで用いられるスローモーション映像は、フレームレートの高い高速度カメラで撮像した映像を低いフレームレートで再生することによって得られる。高速度カメラは常に高いフレームレートで動作するため、通常のカメラに比べ消費電力が大きい。 For example, slow-motion video used in sports broadcasts on television is obtained by capturing video with a high-speed camera with a high frame rate and playing it back at a low frame rate. High-speed cameras always operate at a high frame rate, so they consume more power than regular cameras.

消費電力を下げるなどといった目的のために、カメラが撮影する被写体の動きに応じて、その動きが早い場合のみに高速度撮影をする撮像装置が提案されている。 2. Description of the Related Art For purposes such as reducing power consumption, an imaging device has been proposed that performs high-speed imaging only when the movement of an object is fast, depending on the movement of the object being photographed by the camera.

特許文献１に記載されている技術では、撮像装置は、フレームレートを変更するためのスイッチを備えている。撮影者は、撮影中にそのスイッチを操作することによってフレームレートの変更指示を入力することができる。つまり、撮影者は、撮影中の被写体の動きに応じてスイッチを操作することによって、フレームレートを変更することができる。 In the technology described in Patent Document 1, the imaging device includes a switch for changing the frame rate. The photographer can input an instruction to change the frame rate by operating the switch during shooting. In other words, the photographer can change the frame rate by operating the switch according to the movement of the subject being photographed.

特許文献２に記載されている技術では、画像信号処理装置が、撮影した画像を基に動き量を算出し、その動き量に応じて撮影する際のフレームレートを制御する。 In the technique described in Patent Document 2, an image signal processing device calculates the amount of movement based on a shot image, and controls the frame rate when shooting according to the amount of movement.

特許文献３に記載されている技術では、撮像装置は、周囲の画像を撮像することによって得られる画像データに基づいて、所定の事象が発生し得る可能性の高さを予測し、その結果に応じて撮像するためのフレームレートを変更することができる。 In the technology described in Patent Document 3, an imaging device predicts the probability that a predetermined event will occur based on image data obtained by capturing surrounding images, and uses the result to predict the probability that a predetermined event will occur. The frame rate for imaging can be changed accordingly.

特開２００８－０９９１１０号公報JP2008-099110A 特許第４６８７４０４号公報Patent No. 4687404 特開２０２０－１３６９００号公報Japanese Patent Application Publication No. 2020-136900

しかしながら、従来技術には、解決すべき課題が存在する。特許文献１に記載の技術を用いる場合には、撮影者が、フレーミングやズームやフォーカスなどといった本来の撮影のための操作に加えて、フレームレートを変更するための操作を行う必要があり、操作が煩雑になるという問題がある。特許文献２に記載の技術を用いる場合には、撮影された画像を基に動き量を計算しその結果に基づいてフレームレートの変更（高速度撮影への移行等）を行うまでの間に遅延が生じるという問題がある。特許文献３に記載の技術を用いる場合には、複数のカメラが必要となり、システムの構成が大きくなるとともに、システム全体での消費電力の増加を招いてしまうという問題がある。 However, the conventional technology has problems to be solved. When using the technology described in Patent Document 1, the photographer needs to perform an operation to change the frame rate in addition to the original shooting operations such as framing, zooming, and focusing. The problem is that it becomes complicated. When using the technology described in Patent Document 2, there is a delay between calculating the amount of movement based on the captured image and changing the frame rate (shifting to high-speed shooting, etc.) based on the result. There is a problem that occurs. When using the technique described in Patent Document 3, there is a problem that a plurality of cameras are required, which increases the size of the system configuration and increases the power consumption of the entire system.

被写体の動きの度合いの大きさに応じてフレームレートを自動的に変えられるようにすることが望ましい。しかしながら、上記の通り従来技術では、フレームレートの切り替えの制御において遅延が生じたり、システム構成が大きくなってしまって消費電力の低減が困難であったりするという、解決すべき課題が存在していた。 It is desirable to be able to automatically change the frame rate depending on the degree of movement of the subject. However, as mentioned above, with the conventional technology, there were issues that needed to be solved, such as delays occurring in controlling frame rate switching and the system configuration becoming large, making it difficult to reduce power consumption. .

本発明は、上記の課題認識に基づいて行なわれたものであり、単体の撮像装置で遅延を生じさせることなく被写体の動作の有無等に応じてフレームレートを切り替えることのできる撮像装置およびプログラムを提供しようとするものである。 The present invention has been made based on the above-mentioned problem recognition, and provides an imaging device and a program that can switch the frame rate according to the presence or absence of a subject's movement without causing delay in a single imaging device. This is what we are trying to provide.

［１］上記の課題を解決するため、本発明の一態様による撮像装置は、所定の画像更新レートで映像を撮像するイメージセンサーと、前記イメージセンサーが撮像する被写体の動きの有無を検知するためのイベント検知型センサーと、前記イベント検知型センサーが検知した被写体の前記動きの有無に応じて決定される画像更新レートで前記イメージセンサーが撮像を行うように制御する制御部と、を備えるものである。 [1] In order to solve the above problems, an imaging device according to one aspect of the present invention includes an image sensor that captures an image at a predetermined image update rate, and a sensor for detecting the presence or absence of movement of a subject imaged by the image sensor. an event detection sensor; and a control unit that controls the image sensor to capture an image at an image update rate determined depending on the presence or absence of the movement of the subject detected by the event detection sensor. be.

［２］また、本発明の一態様は、上記［１］の撮像装置において、前記イメージセンサーは、当該イメージセンサーが撮像する映像内の領域ごとに撮像の際の画像更新レートを可変とすることができるものであり、前記イベント検知型センサーは、前記領域ごとに、被写体の動きの有無を検知し、前記制御部は、前記イベント検知型センサーが検知した、前記領域ごとの、被写体の前記動きの有無に応じて、前記領域ごとに決定される画像更新レートで前記イメージセンサーが撮像を行うように制御する、というものである。 [2] Further, one aspect of the present invention is that in the imaging device according to [1] above, the image sensor has a variable image update rate during imaging for each region in the video imaged by the image sensor. The event detection type sensor detects the presence or absence of movement of the subject for each area, and the control unit detects the movement of the subject for each area detected by the event detection type sensor. The image sensor is controlled to perform imaging at an image update rate determined for each region depending on the presence or absence of the region.

［３］また、本発明の一態様は、上記［１］または［２］の撮像装置において、単一の撮像光学系から出射された光を、前記イメージセンサー側で結像する光と、前記イベント検知型センサー側で結像する光と、に分光する分光器、をさらに備えるものである。 [3] Further, in the imaging device according to [1] or [2] above, one aspect of the present invention is that the light emitted from a single imaging optical system is focused on the image sensor side; The system further includes a spectrometer that separates the light into which it forms an image on the event detection sensor side.

［４］また、本発明の一態様は、上記［１］または［２］の撮像装置において、光を集光し前記イメージセンサー側で結像させるための撮像光学系である第１撮像光学系と、前記イメージセンサーが撮像する被写体を含む光を前記イベント検知型センサー側で結像させるための撮像光学系である第２撮像光学系と、をさらに備え、前記第１撮像光学系と前記第２撮像光学系とは、互いに別の光学系である、というものである。 [4] Further, one aspect of the present invention is a first imaging optical system that is an imaging optical system for condensing light and forming an image on the image sensor side in the imaging device according to [1] or [2] above. and a second imaging optical system that is an imaging optical system for forming an image of light including the object imaged by the image sensor on the event detection type sensor side, the first imaging optical system and the second imaging optical system forming an image on the event detection type sensor side. The two imaging optical systems are mutually different optical systems.

［５］また、本発明の一態様は、所定の画像更新レートで映像を撮像するイメージセンサーと、前記イメージセンサーが撮像する被写体の動きの有無を検知するためのイベント検知型センサーと、を備える制御部としてコンピューターを機能させるプログラムであって、前記制御部は、前記イベント検知型センサーが検知した被写体の前記動きの有無に応じて決定される画像更新レートで前記イメージセンサーが撮像を行うように制御する、プログラムである。 [5] Further, one aspect of the present invention includes an image sensor that captures an image at a predetermined image update rate, and an event detection type sensor that detects the presence or absence of movement of a subject imaged by the image sensor. A program that causes a computer to function as a control unit, the control unit causing the image sensor to capture images at an image update rate determined according to the presence or absence of the movement of the subject detected by the event detection type sensor. It is a program that controls.

本発明によれば、撮像装置は、被写体の動きの有無に応じた撮像時のフレームレートの切り替えの制御を遅延なく行うことができるようになる。これにより、例えば、通常速度撮影から高速度撮影への移行を遅延なく行うことが可能となる。 According to the present invention, the imaging device can control switching of the frame rate at the time of imaging according to the presence or absence of movement of the subject without delay. This makes it possible, for example, to transition from normal speed photography to high speed photography without delay.

本発明の第１実施形態による撮像装置の概略機能構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic functional configuration of an imaging device according to a first embodiment of the present invention. 同実施形態において撮像画面全体のフレームレート（画像更新レート）を一律とする場合の、（Ａ）イメージセンサーの画面領域と（Ｂ）イベント検知型センサーの画面領域との関係を示す概略図である。FIG. 2 is a schematic diagram showing the relationship between (A) the screen area of the image sensor and (B) the screen area of the event detection type sensor when the frame rate (image update rate) of the entire imaging screen is made uniform in the same embodiment. . 同実施形態において撮像画面内の領域ごとに異なるフレームレート（画像更新レート）を設定可能とする場合の、（Ａ）イメージセンサーの画面領域と（Ｂ）イベント検知型センサーの画面領域との関係を示す概略図である。In the same embodiment, the relationship between (A) the screen area of the image sensor and (B) the screen area of the event detection sensor is shown in the case where a different frame rate (image update rate) can be set for each area in the imaging screen. FIG. 第２実施形態による撮像装置の概略機能構成を示すブロック図である。FIG. 2 is a block diagram showing a schematic functional configuration of an imaging device according to a second embodiment. 第１実施形態や第２実施形態における撮像装置が内部に備えるコンピューターの構成の例を示すブロック図である。FIG. 2 is a block diagram illustrating an example of a configuration of a computer included in an imaging apparatus according to a first embodiment or a second embodiment.

［第１実施形態］
次に、本発明の実施形態について、図面を参照しながら説明する。本実施形態の撮像装置は、前記の課題を解決するために、フレームレート可変型の高速イメージセンサーを用いて実現される。また、本実施形態の撮像装置は、さらに、イベント検知型センサーと、同一の被写体の光学像を各センサーにおいて結像するための光学系と、上記高速イメージセンサーを駆動するための駆動部を備える。本実施形態では、イベント検知型センサーがイベント（被写体の動き）を検知し、その結果に基づいて高速イメージセンサーでの撮像のためのフレームレートを制御する。 [First embodiment]
Next, embodiments of the present invention will be described with reference to the drawings. In order to solve the above-mentioned problem, the imaging device of this embodiment is realized using a high-speed image sensor with a variable frame rate. The imaging device of the present embodiment further includes an event detection sensor, an optical system for forming an optical image of the same subject on each sensor, and a drive section for driving the high-speed image sensor. . In this embodiment, an event detection type sensor detects an event (movement of a subject), and based on the result, controls a frame rate for imaging with a high-speed image sensor.

図１は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置１は、レンズ（光学系）２１と、分光器２２と、高速イメージセンサー２３Ｒ、２３Ｇ，および２３Ｂと、イベント検知型センサー２４と、イベント信号処理部３１と、センサー駆動部３２と、映像信号処理部３３とを含むように構成される。 FIG. 1 is a block diagram showing a schematic functional configuration of an imaging device according to this embodiment. As shown in the figure, the imaging device 1 includes a lens (optical system) 21, a spectroscope 22, high-speed image sensors 23R, 23G, and 23B, an event detection type sensor 24, an event signal processing section 31, and a sensor drive 32 and a video signal processing section 33.

撮像装置１は、光学系と電子回路とを用いて実現される。高速イメージセンサー２３Ｒ、２３Ｇ，および２３Ｂや、イベント検知型センサー２４のそれぞれは、画素単位で受光する光量に基づいた電気信号を出力する。電子回路の処理の部分では、必要に応じて、半導体メモリーや磁気ハードディスク装置などといった記憶手段を内部に持つようにしてよい。また、処理の一部をコンピューターおよびソフトウェアによって実現するようにしてもよい。 The imaging device 1 is realized using an optical system and an electronic circuit. Each of the high-speed image sensors 23R, 23G, and 23B and the event detection type sensor 24 outputs an electrical signal based on the amount of light received in each pixel. The processing portion of the electronic circuit may have internal storage means such as a semiconductor memory or a magnetic hard disk device, if necessary. Further, part of the processing may be realized by a computer and software.

レンズ（光学系）２１は、入射光を集光し、後述する高速イメージセンサー２３Ｒ、２３Ｇ，および２３Ｂや、イベント検知型センサー２４の撮像面において被写体の像を結像させる作用を有するものである。 The lens (optical system) 21 has the function of condensing incident light and forming an image of a subject on the imaging surface of high-speed image sensors 23R, 23G, and 23B, which will be described later, or an event detection sensor 24. .

分光器２２は、レンズ２１を通して入射される光を分光する。分光器２２は、入射光を赤（Ｒ）、緑（Ｇ）、青（Ｂ）、および赤外（ＩＲ）に分光し、それぞれの光の成分を高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂ、およびイベント検知型センサー２４に振り向ける。分光器２２としては、例えば、４板式プリズム光学系を用いる。赤、緑、青、および赤外の光は、これらそれぞれのセンサーにおいて結像する。つまり、分光器２２は、単一の撮像光学系（レンズ（光学系）２１）から出射された光を、イメージセンサー（高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂ）側で結像する光と、イベント検知型センサー２４側で結像する光と、に分光する。 The spectrometer 22 separates the light incident through the lens 21 into spectra. The spectrometer 22 splits the incident light into red (R), green (G), blue (B), and infrared (IR), and transmits each light component to high-speed image sensors 23R, 23G, 23B, and an event. Direct it to the detection type sensor 24. As the spectrometer 22, for example, a four-plate prism optical system is used. Red, green, blue, and infrared light are imaged at their respective sensors. In other words, the spectrometer 22 combines light emitted from a single imaging optical system (lens (optical system) 21) into light that is imaged on the image sensor (high-speed image sensors 23R, 23G, 23B) and event detection. The light is separated into light that forms an image on the type sensor 24 side.

高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂのそれぞれは、分光器２２からの光を受光し、その光の像に対応する電気信号を出力する。高速イメージセンサー２３Ｒは、赤の光の画像信号を生成し、映像信号処理部３３に渡す。高速イメージセンサー２３Ｇは、緑の光の画像信号を生成し、映像信号処理部３３に渡す。高速イメージセンサー２３Ｂは、青の光の画像信号を生成し、映像信号処理部３３に渡す。高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂのそれぞれは、映像を撮像する際のフレームレート（単位時間当たりのフレーム数）を可変とすることができる。高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂのそれぞれは、センサー駆動部３２から入力される制御信号に基づいてフレームレートを変える。 Each of the high-speed image sensors 23R, 23G, and 23B receives light from the spectroscope 22 and outputs an electrical signal corresponding to an image of the light. The high-speed image sensor 23R generates an image signal of red light and passes it to the video signal processing section 33. The high-speed image sensor 23G generates a green light image signal and passes it to the video signal processing section 33. The high-speed image sensor 23B generates an image signal of blue light and passes it to the video signal processing section 33. Each of the high-speed image sensors 23R, 23G, and 23B can make the frame rate (number of frames per unit time) variable when capturing images. Each of the high-speed image sensors 23R, 23G, and 23B changes the frame rate based on a control signal input from the sensor drive unit 32.

高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂのそれぞれは、例えば、通常撮影（低フレームレート撮影とも呼ぶ）と高速撮影（高フレームレート撮影とも呼ぶ）とを切り替えることができる。一例として、低フレームレートを６０ｆｐｓ（フレーム毎秒）、高フレームレートを２０００ｆｐｓ、などとしてよい。ただし、具体的なフレームレートの数値は、ここに例示したものに限られない。また、高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂのそれぞれは、通常撮影と高速撮影の２段階の切り替えではなく、多段階にフレームレートを切り替えることができるものであってもよい。 Each of the high-speed image sensors 23R, 23G, and 23B can, for example, switch between normal shooting (also called low frame rate shooting) and high speed shooting (also called high frame rate shooting). As an example, the low frame rate may be 60 fps (frames per second), the high frame rate may be 2000 fps, and so on. However, the specific numerical values of the frame rate are not limited to those exemplified here. Further, each of the high-speed image sensors 23R, 23G, and 23B may be capable of switching the frame rate in multiple stages instead of switching in two stages between normal shooting and high-speed shooting.

つまり、高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂのそれぞれは、所定の画像更新レート（フレームレート）で映像を撮像するものである。 That is, each of the high-speed image sensors 23R, 23G, and 23B images a video at a predetermined image update rate (frame rate).

イベント検知型センサー２４は、分光器２２からの赤外光を受光し、その像に関する情報を表す電気信号を出力する。イベント検知型センサー２４は、ＥＤセンサーとも呼ばれる。ここで「ＥＤ」は、「event driven」の略である。イベントとは、被写体の動きに関する事象や、被写体に相当する画素の画素値の変化に関する事象や、その他の画面内における画素値の変化に関する事象である。具体的には、イベント検知型センサー２４は、被写体の変化等を検知するとともに、変化のあった画素の位置（ｘ座標およびｙ座標）および時間の情報を出力する。ある画素における変化があった場合に、イベント検知型センサー２４は、これをイベントとして出力する。イベント検知型センサー２４は、複数のイベントの情報を出力することができる。なお、イベント検知型センサーについては、下記参考文献にも記載されている。イベント検知型センサー２４は、素子としては市販されているものである。
［参考文献： Finateu Thomas，Niwa Atsumi，Matolin Daniel他，A 1280×720 Back-Illuminated Stacked Temporal Contrast Event-Based Vision Sensors with 4.86μm Pixels, 1.066GEPS Readout, Programmable Event-Rate Controller and Compressive Data-Formatting Pipeline，IEEE Conference Proceedings，ISSCC，Volume 2020，Pages 112-114，2020年刊行．］ The event detection sensor 24 receives infrared light from the spectroscope 22 and outputs an electrical signal representing information regarding the image. The event detection type sensor 24 is also called an ED sensor. Here, "ED" is an abbreviation for "event driven." An event is an event related to the movement of a subject, an event related to a change in the pixel value of a pixel corresponding to the subject, or an event related to another change in pixel value within the screen. Specifically, the event detection sensor 24 detects changes in the subject and outputs information on the position (x coordinate and y coordinate) and time of the pixel where the change occurred. When there is a change in a certain pixel, the event detection type sensor 24 outputs this as an event. The event detection sensor 24 can output information on multiple events. Note that event detection type sensors are also described in the following references. The event detection type sensor 24 is a commercially available element.
[References: Finateu Thomas, Niwa Atsumi, Matolin Daniel et al., A 1280×720 Back-Illuminated Stacked Temporal Contrast Event-Based Vision Sensors with 4.86μm Pixels, 1.066GEPS Readout, Programmable Event-Rate Controller and Compressive Data-Formatting Pipeline, IEEE Conference Proceedings, ISSCC, Volume 2020, Pages 112-114, published in 2020. ]

イベント検知型センサー２４では、フレームのすべての情報を読み出す必要がないため、非常に高速に被写体の変化を検知することができる。イベント検知型センサー２４を用いることにより、被写体の動きの有無等に応じて、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂの撮像フレームレートを変える制御を行うことができる。 Since the event detection sensor 24 does not need to read out all the information in the frame, it is possible to detect changes in the subject very quickly. By using the event detection type sensor 24, it is possible to perform control to change the imaging frame rate of the high-speed image sensors 23R, 23G, and 23B depending on the presence or absence of movement of the subject.

つまり、イベント検知型センサー２４は、イメージセンサー（上記の高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂ）が撮像する被写体の動きの有無を検知するものである。 In other words, the event detection type sensor 24 detects the presence or absence of movement of the subject imaged by the image sensors (the high-speed image sensors 23R, 23G, and 23B).

本実施形態では、イベント検知型センサー２４においては、可視光側の高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂと同一の入射光に基づいて、同一の被写体が結像される。よって、実際に可視光で撮像されている映像の動きを遅延なく検知することができる。 In this embodiment, the event detection type sensor 24 forms an image of the same subject based on the same incident light as the visible light side high-speed image sensors 23R, 23G, and 23B. Therefore, the movement of an image that is actually captured using visible light can be detected without delay.

イベント信号処理部３１は、イベント検知型センサー２４からの信号を受信し、被写体の動きの度合いが所定の閾値以上であるか否かを判定する。具体的にはイベント信号処理部３１は、イベント検知型センサー２４から渡されるイベント数が閾値を超えたか否かを判定する。イベント数が閾値を超えた場合には、イベント信号処理部３１は、被写体に動きがあったものと判定する。その他の場合（イベント数が前記閾値未満である場合）には、イベント信号処理部３１は、被写体の動きがなかったものと判定する。 The event signal processing unit 31 receives a signal from the event detection sensor 24 and determines whether the degree of movement of the subject is greater than or equal to a predetermined threshold. Specifically, the event signal processing unit 31 determines whether the number of events passed from the event detection sensor 24 exceeds a threshold value. If the number of events exceeds the threshold, the event signal processing unit 31 determines that there is movement in the subject. In other cases (when the number of events is less than the threshold value), the event signal processing unit 31 determines that there is no movement of the subject.

イベント信号処理部３１は、画面全体を一括してイベント数のカウントを行うようにしてもよいし、画面を複数のエリアに細かく分割（例えば６４分割など）し、エリアごとにイベント数のカウントを行うようにしてもよい。また、イベント信号処理部３１は、イベント数をカウントして被写体の動きの有無を判定するまでにイベントを蓄積する周期を設けるようにしてもよい。つまり、イベント信号処理部３１は、例えば１ミリ秒などの周期でイベントを蓄積して、その周期ごと（例えば１ミリ秒ごと）に被写体の有無を判定するようにしてもよい。 The event signal processing unit 31 may count the number of events on the entire screen at once, or may divide the screen into multiple areas (for example, into 64 areas) and count the number of events for each area. You may also do so. Further, the event signal processing unit 31 may provide a cycle in which events are accumulated until counting the number of events and determining whether or not there is movement of the subject. That is, the event signal processing unit 31 may accumulate events at a cycle of, for example, 1 millisecond, and determine the presence or absence of a subject at each cycle (eg, every 1 millisecond).

イベント信号処理部３１が被写体の動きの速度を求めるようにしてもよい。イベント信号処理部３１は、例えば既存の技術を用いてフレーム間のオプティカルフローを求める。オプティカルフローは、映像における被写体の見かけの速度の分布である。 The event signal processing unit 31 may obtain the speed of movement of the subject. The event signal processing unit 31 obtains the optical flow between frames using, for example, existing technology. Optical flow is the distribution of apparent velocities of objects in a video.

イベント信号処理部３１は、判定結果（被写体の動きの有無）を表す信号（「動き判定信号」と呼ぶ）を、センサー駆動部３２と映像信号処理部３３とに渡す。イベント信号処理部３１が被写体の動きの速度を求める場合には、イベント信号処理部３１は、被写体の速度の情報を、上記の動き判定信号の一部として、センサー駆動部３２と映像信号処理部３３とに渡す。 The event signal processing unit 31 passes a signal (referred to as a “motion determination signal”) representing the determination result (the presence or absence of movement of the subject) to the sensor drive unit 32 and the video signal processing unit 33. When the event signal processing unit 31 determines the speed of movement of the subject, the event signal processing unit 31 sends information about the speed of the subject to the sensor drive unit 32 and the video signal processing unit as part of the movement determination signal. Give it to 33.

センサー駆動部３２は、イベント信号処理部３１から受信する動き判定信号に基づいて、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂを駆動する。具体的には、動き判定信号が「被写体の動き無し」を示している場合には、センサー駆動部３２は、低フレームレートに設定して高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂを駆動する。動き判定信号が「被写体の動き有り」を示している場合には、センサー駆動部３２は、高フレームレートに設定して高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂを駆動する。ここで、低フレームレートと高フレームレートとは、相対的な関係である。実際の低フレームレートと高フレームレートの数値（ｆｐｓ値）については適宜設定してよい。一例として、低フレームレートを６０ｆｐｓ（フレーム毎秒）、高フレームレートを２０００ｆｐｓ、などとしてよいが、具体的な数値はこれらに限定されない。また、低フレームレートと高フレームレートの２段階だけではなく、被写体の動きの程度（上において求められた速度等）に応じて３段階以上のフレームレートを切り替えるようにしてもよい。 The sensor driving section 32 drives the high-speed image sensors 23R, 23G, and 23B based on the motion determination signal received from the event signal processing section 31. Specifically, when the motion determination signal indicates "no movement of the subject," the sensor drive unit 32 sets the frame rate to a low frame rate and drives the high-speed image sensors 23R, 23G, and 23B. When the motion determination signal indicates that "the subject is moving", the sensor drive section 32 sets a high frame rate and drives the high-speed image sensors 23R, 23G, and 23B. Here, the low frame rate and high frame rate are relative. The actual numerical values (fps values) of the low frame rate and high frame rate may be set as appropriate. As an example, the low frame rate may be 60 fps (frames per second), the high frame rate may be 2000 fps, etc., but the specific values are not limited to these. Further, instead of only the two levels of low frame rate and high frame rate, the frame rate may be switched between three or more levels depending on the degree of movement of the subject (such as the speed determined above).

センサー駆動部３２による駆動に基づいて、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれは、各色の画像（映像）を撮像する。高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれは、被写体の動きの有無あるいは速度に応じたフレームレートで撮像した映像信号（センサー信号）を、映像信号処理部３３に渡す。 Based on the drive by the sensor drive unit 32, each of the high-speed image sensors 23R, 23G, and 23B captures an image (video) of each color. Each of the high-speed image sensors 23R, 23G, and 23B passes a video signal (sensor signal) captured at a frame rate depending on the presence or absence of movement or speed of the subject to the video signal processing unit 33.

つまり、イベント信号処理部３１およびセンサー駆動部３２（これらを併せて「制御部」と呼ぶ）は、イベント検知型センサー２４が検知した被写体の動きの有無または動きの速度に応じて決定される画像更新レートで、イメージセンサー（高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれ）が撮像を行うように制御する。 In other words, the event signal processing section 31 and the sensor driving section 32 (together referred to as the "control section") generate an image that is determined according to the presence or absence or speed of movement of the subject detected by the event detection sensor 24. The image sensors (high-speed image sensors 23R, 23G, and 23B) are controlled to capture images at the update rate.

映像信号処理部３３は、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれが出力するセンサー信号を受け取り、処理する。映像信号処理部３３は、色の調整や明度の調整などの必要な処理を行ってから、ＲＧＢの３原色で成るカラー映像を外部に出力する。なお、映像信号処理部３３は、イベント信号処理部３１から渡される動き判定信号に基づいて、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂが撮像した際のフレームレートを認識することができる。 The video signal processing unit 33 receives and processes sensor signals output from each of the high-speed image sensors 23R, 23G, and 23B. The video signal processing unit 33 performs necessary processing such as color adjustment and brightness adjustment, and then outputs a color video consisting of the three primary colors of RGB to the outside. Note that the video signal processing unit 33 can recognize the frame rate at which the high-speed image sensors 23R, 23G, and 23B capture images based on the motion determination signal passed from the event signal processing unit 31.

次に、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれによって撮像する映像について、撮像画面全体のフレームレートを一律とする場合と、撮像画面内の領域ごとにフレームレートを変えることができるようにする場合と、のそれぞれについて説明する。 Next, for images captured by each of the high-speed image sensors 23R, 23G, and 23B, it is possible to make the frame rate uniform for the entire imaging screen, and to change the frame rate for each area within the imaging screen. We will explain each case.

［撮像画面全体のフレームレートを一律とする場合］
図２は、撮像画面全体のフレームレートを一律とする場合の、（Ａ）イメージセンサーの画面領域と（Ｂ）イベント検知型センサーの画面領域との関係を示す概略図である。同図（Ａ）は、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれが撮影対象とする画面である。同図（Ｂ）は、イベント検知型センサー２４が撮影対象とする画面である。本例では、撮像装置１は、撮像する画面全体を一つの領域として扱い、画面の更新頻度（フレームレート）は１種類である。前述の通り、イベント信号処理部３１の判定結果に基づいて、センサー駆動部３２は高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂが撮像する際のフレームレートを設定する。このとき、本例では、イベント信号処理部３１は、（Ｂ）のイベント検知型センサーの画面領域全体において発生するイベントに基づいて被写体の動きを判定する。また、センサー駆動部３２は、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂそれぞれについて（Ａ）の画面領域の全体を一律のフレームレートに設定する。 [When making the frame rate of the entire imaging screen uniform]
FIG. 2 is a schematic diagram showing the relationship between (A) the screen area of the image sensor and (B) the screen area of the event detection type sensor when the frame rate of the entire imaging screen is made uniform. FIG. 2A shows the screen to be photographed by each of the high-speed image sensors 23R, 23G, and 23B. FIG. 2B shows a screen to be photographed by the event detection type sensor 24. In this example, the imaging device 1 treats the entire screen to be imaged as one area, and the screen update frequency (frame rate) is one type. As described above, based on the determination result of the event signal processing section 31, the sensor driving section 32 sets the frame rate at which the high-speed image sensors 23R, 23G, and 23B take images. At this time, in this example, the event signal processing unit 31 determines the movement of the subject based on the event that occurs in the entire screen area of the event detection sensor (B). Further, the sensor driving unit 32 sets the entire screen area (A) to a uniform frame rate for each of the high-speed image sensors 23R, 23G, and 23B.

［撮像画面内の領域ごとに異なるフレームレートを設定可能とする場合］
図３は、撮像画面内の領域ごとに異なるフレームレートを設定可能とする場合の、（Ａ）イメージセンサーの画面領域と（Ｂ）イベント検知型センサーの画面領域との関係を示す概略図である。本例では、画面は複数の領域に分割されている。図示する例では、（Ａ）のイメージセンサーの画面および（Ｂ）のイベント検知型センサーの画面は、ともに、１番から３２番までの３２個の領域に分割されている。これらの領域のそれぞれは、（Ａ）の高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂの画面側と、（Ｂ）のイベント検知型センサー２４の画面側との間で対応付けられている。つまり、イベント信号処理部３１は、イベント検知型センサー２４の画面内の各領域について、動きがあるか否かを判定する。そのイベント信号処理部３１の判定結果に基づいて、センサー駆動部３２は、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂ内の対応する領域のフレームレートを設定する。 [When it is possible to set different frame rates for each area within the imaging screen]
FIG. 3 is a schematic diagram showing the relationship between (A) the screen area of the image sensor and (B) the screen area of the event detection type sensor when different frame rates can be set for each area in the imaging screen. . In this example, the screen is divided into multiple areas. In the illustrated example, the screen of the image sensor in (A) and the screen of the event detection type sensor in (B) are both divided into 32 areas numbered 1 to 32. Each of these areas is associated with the screen side of the high-speed image sensors 23R, 23G, and 23B in (A) and the screen side of the event detection type sensor 24 in (B). That is, the event signal processing unit 31 determines whether or not there is movement in each area within the screen of the event detection sensor 24. Based on the determination result of the event signal processing section 31, the sensor driving section 32 sets the frame rate of the corresponding areas in the high-speed image sensors 23R, 23G, and 23B.

図３に示す例では、３２個の領域はすべて同じサイズであり、画面内において横８個×縦４個の領域が配置されている。例えば、画面全体の画素数が横１９２０画素×縦１０８０画素である場合、各々の領域の画素数は横２４０画素×縦２７０画素である。画面全体の画素数が横３８４０画素×縦２１６０画素である場合、各々の領域の画素数は横４８０画素×縦５４０画素である。画面全体の画素数が横７６８０画素×縦４３２０画素である場合、各々の領域の画素数は横９６０画素×縦１０８０画素である。なお、画面の画素数や各領域の画素数は、ここに提示したものには限られない。 In the example shown in FIG. 3, all 32 areas have the same size, and 8 areas horizontally by 4 areas vertically are arranged within the screen. For example, if the number of pixels on the entire screen is 1920 pixels horizontally x 1080 pixels vertically, the number of pixels in each area is 240 pixels horizontally x 270 pixels vertically. When the number of pixels of the entire screen is 3840 pixels horizontally by 2160 pixels vertically, the number of pixels in each area is 480 pixels horizontally by 540 pixels vertically. If the number of pixels on the entire screen is 7680 pixels horizontally x 4320 pixels vertically, the number of pixels in each area is 960 pixels horizontally x 1080 pixels vertically. Note that the number of pixels on the screen and the number of pixels in each area are not limited to those presented here.

図３に示す例では画面全体を３２個の領域に分割しているが、領域の分割のしかたはここに図示する例に限らず、任意である。例えば、１つの領域の画素数が１画素（横１画素×縦１画素）であってもよい。また、例えば、１つの領域の画素数が１６画素（横４画素×縦４画素）であってもよい。また、複数の領域の形状やサイズが互いに異なっていてもよい。 In the example shown in FIG. 3, the entire screen is divided into 32 regions, but the method of dividing the regions is not limited to the example shown here and may be arbitrary. For example, the number of pixels in one area may be 1 pixel (1 pixel horizontally x 1 pixel vertically). Further, for example, the number of pixels in one area may be 16 pixels (4 pixels horizontally×4 pixels vertically). Further, the shapes and sizes of the plurality of regions may be different from each other.

図３に示すように画面を複数の領域に分割する場合には、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれは、領域ごとに画素読み出しのレートを設定できるようになっている。なお、領域ごとの画素値の更新のレート（単位時間あたりの画素値の読み出し回数）を便宜的に「フレームレート」と呼ぶ。高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂが持つ電子回路は、センサー駆動部３２によって領域ごとに設定された頻度（フレームレート）で、領域内の画素の画素値を読み出し、領域の画像の信号を出力する。それらの領域の画像の信号は、映像信号処理部３３に渡される。 When the screen is divided into a plurality of regions as shown in FIG. 3, each of the high-speed image sensors 23R, 23G, and 23B can set a pixel readout rate for each region. Note that the rate of updating pixel values for each area (the number of times pixel values are read out per unit time) is conveniently referred to as a "frame rate." The electronic circuits of the high-speed image sensors 23R, 23G, and 23B read out the pixel values of pixels within the area at a frequency (frame rate) set for each area by the sensor drive unit 32, and output signals of the image of the area. do. The image signals of those areas are passed to the video signal processing section 33.

つまり、図３に示す領域の分割を行う場合には、撮像装置１の各部は、次の通りである。即ち、イメージセンサー（高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれ）は、当該イメージセンサーが撮像する映像内の領域ごとに撮像の際の画像更新レートを可変とすることができるものである。また、イベント検知型センサー２４は、前記の領域ごとに、被写体の動きの有無を検知する。また、制御部（イベント信号処理部３１およびセンサー駆動部３２）は、イベント検知型センサー２４が検知した、前記領域ごとの、被写体の動きの有無に応じて、領域ごとに決定される画像更新レートでイメージセンサー（高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれ）が撮像を行うように制御する。 That is, when dividing the area shown in FIG. 3, each part of the imaging device 1 is as follows. That is, the image sensors (high-speed image sensors 23R, 23G, and 23B) can vary the image update rate during imaging for each region in the video imaged by the image sensor. Furthermore, the event detection sensor 24 detects the presence or absence of movement of the subject in each of the above areas. The control unit (event signal processing unit 31 and sensor drive unit 32) also controls an image update rate determined for each area according to the presence or absence of movement of the subject in each area detected by the event detection sensor 24. The image sensors (high-speed image sensors 23R, 23G, and 23B) are controlled to perform imaging.

図３に示すように画面を複数の領域に分割する場合には、領域ごとに画像（画素値）の読み出し周期を変えることができる。映像信号処理部３３は、各領域の画像（映像）を統合する。この場合、動きのある部分（領域）あるいは動きの速い部分（領域）だけを高フレームレートで撮像することができる。動きのない部分（領域）あるいは動きの遅い部分（領域）は低フレームレートで撮像してよい。 When the screen is divided into a plurality of regions as shown in FIG. 3, the readout period of the image (pixel values) can be changed for each region. The video signal processing unit 33 integrates images (videos) of each area. In this case, only a moving part (region) or a fast-moving part (region) can be imaged at a high frame rate. A portion (region) with no movement or a portion (region) with slow movement may be imaged at a low frame rate.

つまり、図２に示した例の場合には、センサー駆動部３２は、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれのフレームレートが全画素で一定になるように制御する。一方で、図３に示した例の場合には、センサー駆動部３２は、分割された領域ごとの被写体の動き等の有無に基づいて領域ごとに個別に、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれのフレームレートを制御する。つまり、領域ごとにフレームレートが異なり得る。 That is, in the case of the example shown in FIG. 2, the sensor drive unit 32 controls the frame rate of each of the high-speed image sensors 23R, 23G, and 23B to be constant for all pixels. On the other hand, in the case of the example shown in FIG. 3, the sensor driving unit 32 individually drives the high-speed image sensors 23R, 23G, and 23B for each divided area based on the presence or absence of subject movement in each divided area. control the frame rate of each. In other words, the frame rate can vary from region to region.

本実施形態の撮像装置１において、イベント検知型センサー２４がイベントを検知してイベント信号処理部３１が動き判定を完了するまでに要する時間は数ミリ秒程度以下である。そして、イベント信号処理部３１からの動き判定信号に基づいて、センサー駆動部３２は瞬時に高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのフレームレートを切り替える設定を完了することができる。したがって、通常撮影時のフレームレートが例えば６０ｆｐｓあるいは１２０ｆｐｓ程度の場合、通常撮影を行っている状態から被写体の速い動きを検知して高速撮影に切り替えるまでの制御に要する時間は１フレーム時間未満に収まる。つまり、通常撮影の状態においてイベント検知型センサー２４がイベントを検知したとき、センサー駆動部３２は、概ね次のフレームの撮影の開始時から高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれが高速撮影を行うように切り替えることができる。つまり、例えば撮像した画像に基づいて被写体の動きを検知する従来技術を用いる場合と比べて、本実施形態の撮像装置１では非常に少ない遅延で高速撮影に移ることが可能となる。 In the imaging device 1 of this embodiment, the time required for the event detection sensor 24 to detect an event and for the event signal processing unit 31 to complete motion determination is approximately several milliseconds or less. Then, based on the motion determination signal from the event signal processing section 31, the sensor driving section 32 can instantly complete settings for switching the frame rates of the high-speed image sensors 23R, 23G, and 23B. Therefore, if the frame rate during normal shooting is, for example, about 60 fps or 120 fps, the time required for control from normal shooting to detecting fast movement of the subject and switching to high-speed shooting is less than 1 frame time. . That is, when the event detection type sensor 24 detects an event in the normal shooting state, the sensor drive unit 32 causes each of the high-speed image sensors 23R, 23G, and 23B to start high-speed shooting from approximately the start of shooting the next frame. You can switch to do it. In other words, compared to, for example, a conventional technique that detects the movement of a subject based on a captured image, the imaging apparatus 1 of this embodiment can shift to high-speed imaging with very little delay.

また、本実施形態の撮像装置１では、分光器２２が分光を行い、イベント検知型センサー２４側には分光された赤外線（赤外光）成分のみを入射するように構成している。このため、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂの側に入射する可視光（それぞれ、赤、緑、および青）の光量が下がらない。つまり、撮像装置１が撮像する際の感度の低下を防ぐことができる。 Further, in the imaging device 1 of the present embodiment, the spectroscope 22 performs spectroscopy, and the configuration is such that only the spectroscopic infrared (infrared light) component is incident on the event detection type sensor 24 side. Therefore, the amount of visible light (red, green, and blue, respectively) incident on the high-speed image sensors 23R, 23G, and 23B does not decrease. In other words, it is possible to prevent a decrease in sensitivity when the imaging device 1 takes an image.

つまり、本実施形態の撮像装置１では、従来の技術では困難であった被写体の状況に応じて遅延なくフレームレートを変えるような制御が可能である。また、本実施形態では被写体の動きを判定するためのイベント検知型センサー２４への入射光に赤外光を使っているため、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂ側のカメラ感度が低下することなく、高画質用途の撮像装置として実現することが可能である。 In other words, the imaging device 1 of this embodiment allows control to change the frame rate without delay depending on the situation of the subject, which was difficult with conventional techniques. Furthermore, in this embodiment, since infrared light is used as the incident light to the event detection sensor 24 for determining the movement of the subject, the camera sensitivity of the high-speed image sensors 23R, 23G, and 23B may be reduced. Therefore, it is possible to realize an imaging device for high image quality.

［第１変形例］
第１実施形態の変形例として、分光器２２が持つ４板式プリズム光学系の分光感度特性を変更してもよい。具体的には、次の通りである。上記の第１実施形態では分光器２２から出射する光のうちのイベント検知型センサー２４側への出射光を赤外光としていたが、本変形例では、イベント検知型センサー２４側への出射光に可視光の一部を含めるようにする。このような形態を実現するためには、分光器２２が持つ４板式プリズム光学系において、例えば、イベント検知型センサー２４側への出射光が可視光側にブロードな感度分布にするなどといった方法を用いることができる。 [First modification]
As a modification of the first embodiment, the spectral sensitivity characteristics of the four-plate prism optical system included in the spectrometer 22 may be changed. Specifically, it is as follows. In the first embodiment described above, out of the light emitted from the spectrometer 22, the light emitted toward the event detection sensor 24 side is infrared light, but in this modification, the light emitted toward the event detection sensor 24 side is infrared light. include some visible light. In order to realize this configuration, in the four-plate prism optical system of the spectrometer 22, a method such as making the output light toward the event detection sensor 24 have a broad sensitivity distribution toward the visible light side is necessary. Can be used.

［第２変形例］
第１実施形態の別の変形例として、分光器２２が持つ光学プリズムを２板式としてもよい。この場合、２板式光学プリズムは、入射光を可視光と赤外光（赤外線）とに２分光する。また、本変形例では、図１に示した高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂの代わりに、カラーフィルター付きの高速カラーイメージセンサーを設ける。高速カラーイメージセンサーでは画素ごとに赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルターが設けられており、各画素はそれぞれのフィルターの色に応じた成分の画素値を出力する。画素の配列としては、例えばベイヤー配列などを用いるようにする。２板式光学プリズムによって分光された可視光は、この高速カラーイメージセンサー側に入射する。また、２板式光学プリズムによって分光された赤外光は、イベント検知型センサー２４側に入射する。イベント検知型センサー２４から出力視される信号に基づいてイベント信号処理部３１が被写体の動き等の判定を行う点は、既に第１実施形態として説明した通りである。センサー駆動部３２は、イベント信号処理部３１から渡される信号に基づいて、上記の高速カラーイメージセンサーのフレームレートを設定する。即ち、高速カラーイメージセンサーは、センサー駆動部３２から渡される制御信号に応じて、高速撮影または低速撮影のいずれかを行うことができる。 [Second modification]
As another modification of the first embodiment, the optical prism of the spectrometer 22 may be of a two-plate type. In this case, the two-plate optical prism splits the incident light into visible light and infrared light. Furthermore, in this modification, a high-speed color image sensor with a color filter is provided in place of the high-speed image sensors 23R, 23G, and 23B shown in FIG. In high-speed color image sensors, each pixel is equipped with a red (R), green (G), or blue (B) color filter, and each pixel outputs the pixel value of the component corresponding to the color of each filter. . For example, a Bayer array is used as the pixel array. Visible light separated by the two-plate optical prism enters the high-speed color image sensor. Further, the infrared light separated by the two-plate optical prism enters the event detection sensor 24 side. The point that the event signal processing unit 31 determines the movement of the subject based on the signal outputted from the event detection sensor 24 is as already described in the first embodiment. The sensor driving section 32 sets the frame rate of the high-speed color image sensor described above based on the signal passed from the event signal processing section 31. That is, the high-speed color image sensor can perform either high-speed photography or low-speed photography depending on the control signal passed from the sensor driving section 32.

［第２実施形態］
次に、本発明の第２実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。 [Second embodiment]
Next, a second embodiment of the present invention will be described. Note that description of matters already described in the previous embodiment may be omitted below. Here, matters specific to this embodiment will be mainly explained.

図４は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置２は、レンズ（光学系）５１および５２と、高速カラーイメージセンサー５３と、イベント検知型センサー５４と、イベント信号処理部３１と、センサー駆動部３２と、映像信号処理部３３とを含むように構成される。 FIG. 4 is a block diagram showing a schematic functional configuration of the imaging device according to this embodiment. As shown in the figure, the imaging device 2 includes lenses (optical systems) 51 and 52, a high-speed color image sensor 53, an event detection type sensor 54, an event signal processing section 31, a sensor driving section 32, and a video signal processing section. 33.

本実施形態の特徴は、高速カラーイメージセンサー５３とイベント検知型センサー５４とのそれぞれが、別のレンズ（光学系）を通して結像する像を処理する点である。つまり、レンズ（光学系）５１を通過する入射光は、高速カラーイメージセンサー５３によって撮像される。また、レンズ（光学系）５２を通過する入射光については、イベント検知型センサー５４によって処理される。便宜的に、レンズ（光学系）５１を第１撮像光学系と呼び、レンズ（光学系）５２を第２撮像光学系と呼んでもよい。 A feature of this embodiment is that the high-speed color image sensor 53 and the event detection type sensor 54 each process images formed through separate lenses (optical systems). That is, incident light passing through the lens (optical system) 51 is imaged by the high-speed color image sensor 53. Furthermore, incident light passing through the lens (optical system) 52 is processed by an event detection type sensor 54. For convenience, the lens (optical system) 51 may be referred to as a first imaging optical system, and the lens (optical system) 52 may be referred to as a second imaging optical system.

第１実施形態においては、単一のレンズ（光学系）２１を通った光が分光器２２で分光され、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂ側とイベント検知型センサー２４側との両方で結像していた。つまり、両者において同一の像に基づく処理を行うことが可能であった。これに対して本実施形態では、レンズ（光学系）５１およびレンズ（光学系）５２という別々の系の光が、それぞれ高速カラーイメージセンサー５３側とイベント検知型センサー５４側とで結像する。高速カラーイメージセンサー５３側とイベント検知型センサー５４側との間で画像内の被写体の位置が微妙にずれる可能性がある。しかしながらそのような位置の差を無視することができる程度の大きさを有する領域に関しては、イベント検知型センサー５４で検知したイベントに基づいて、被写体の動きの有無等を判定することが可能である。また、その判定結果に基づいて、適切に高速カラーイメージセンサー５３が撮像する際のフレームレートを制御することが可能である。 In the first embodiment, light passing through a single lens (optical system) 21 is separated by a spectrometer 22, and is combined both on the high-speed image sensors 23R, 23G, and 23B side and on the event detection type sensor 24 side. I was imagining it. In other words, it was possible to perform processing based on the same image in both cases. In contrast, in the present embodiment, light from separate systems, ie, a lens (optical system) 51 and a lens (optical system) 52, form images on the high-speed color image sensor 53 side and the event detection type sensor 54 side, respectively. There is a possibility that the position of the subject in the image shifts slightly between the high-speed color image sensor 53 side and the event detection type sensor 54 side. However, for areas that are large enough to ignore such positional differences, it is possible to determine whether the subject is moving or not based on the event detected by the event detection sensor 54. . Furthermore, based on the determination result, it is possible to appropriately control the frame rate when the high-speed color image sensor 53 captures an image.

本実施形態における各部の機能は、次の通りである。 The functions of each part in this embodiment are as follows.

高速カラーイメージセンサー５３は、各画素の受光部の前側（被写体側）に赤、緑、青のカラーフィルターを備えている。画素の配列としては、例えばベイヤー配列などを用いるようにする。高速カラーイメージセンサー５３が撮像する際のフレームレートは、第１実施形態における高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂと同様に、可変である。つまり、高速カラーイメージセンサー５３のフレームレートとしては、例えば、高速撮影と低速撮影とを切り替えることができる。高速カラーイメージセンサー５３による撮像は、センサー駆動部３２によって制御される。つまり、センサー駆動部３２は、高速カラーイメージセンサー５３のフレームレートを適宜切り替えることができる。高速カラーイメージセンサー５３は、センサー信号（画像信号）を映像信号処理部３３に渡す。 The high-speed color image sensor 53 includes red, green, and blue color filters in front of the light receiving section of each pixel (on the subject side). For example, a Bayer array is used as the pixel array. The frame rate when the high-speed color image sensor 53 captures an image is variable, similar to the high-speed image sensors 23R, 23G, and 23B in the first embodiment. That is, the frame rate of the high-speed color image sensor 53 can be switched between, for example, high-speed photography and low-speed photography. Imaging by the high-speed color image sensor 53 is controlled by the sensor driving section 32. That is, the sensor driving section 32 can switch the frame rate of the high-speed color image sensor 53 as appropriate. The high-speed color image sensor 53 passes a sensor signal (image signal) to the video signal processing section 33.

イベント検知型センサー５４は、第１実施形態におけるイベント検知型センサー２４と同様に、イベントを検知し、その結果をイベント信号処理部３１に渡す。本実施形態では分光器による分光を行っていないため、イベント検知型センサー５４は、第１実施形態と比べて、可視光の分も含め受光する光量においては有利な設計をすることも可能である。つまり、イベント検知型センサー５４には、可視光を含む光を入射させることもできる。 The event detection type sensor 54 detects an event and passes the result to the event signal processing unit 31 similarly to the event detection type sensor 24 in the first embodiment. Since this embodiment does not perform spectroscopy using a spectrometer, the event detection sensor 54 can be designed to be more advantageous in terms of the amount of light it receives, including visible light, compared to the first embodiment. . That is, light including visible light can also be made incident on the event detection type sensor 54.

つまり、第２実施形態の撮像装置２は、第１撮像光学系と第２撮像光学系とを備える。第１撮像光学系は、前記のレンズ（光学系）５１であり、光を集光しイメージセンサー（高速カラーイメージセンサー５３）側で結像させるための撮像光学系である。第２撮像光学系は、前記のレンズ（光学系）５２であり、イメージセンサーが撮像する被写体を含む光をイベント検知型センサー（イベント検知型センサー５４）側で結像させるための撮像光学系である。なお、第１撮像光学系と第２撮像光学系とは、互いに別の光学系である。 That is, the imaging device 2 of the second embodiment includes a first imaging optical system and a second imaging optical system. The first imaging optical system is the aforementioned lens (optical system) 51, and is an imaging optical system for condensing light and forming an image on the image sensor (high-speed color image sensor 53) side. The second imaging optical system is the above-mentioned lens (optical system) 52, and is an imaging optical system for forming an image of the light including the subject to be imaged by the image sensor on the event detection sensor (event detection sensor 54) side. be. Note that the first imaging optical system and the second imaging optical system are mutually different optical systems.

［変形例］
第２実施形態の撮像装置２は、図４に示したように、高速カラーイメージセンサー５３を備えて構成されていた。その変形例として、レンズ（光学系）５１を通過した光を３板式光学プリズム等で赤、緑、および青の３色に分光し、これらそれぞれの色用の高速イメージセンサーでイメージ信号を生成するようにしてもよい。この場合、赤、緑、および青のそれぞれの色のセンサー信号は、映像信号処理部３３に送られ、映像信号処理部３３によってカラー画像として合成される。 [Modified example]
The imaging device 2 of the second embodiment was configured to include a high-speed color image sensor 53, as shown in FIG. As a modified example, the light that has passed through the lens (optical system) 51 is separated into three colors of red, green, and blue using a three-plate optical prism or the like, and an image signal is generated using a high-speed image sensor for each of these colors. You can do it like this. In this case, the sensor signals of each color of red, green, and blue are sent to the video signal processing section 33, and are combined by the video signal processing section 33 into a color image.

上記の各実施形態（変形例を含む）で説明した撮像装置の少なくとも一部の機能を、コンピューターおよびプログラムで実現することが可能である。例えば、イベント信号処理部３１の機能や、センサー駆動部３２の機能や、映像信号処理部３３の機能などの少なくとも一部の処理の手順を、プログラムとして記述することが可能である。 At least some of the functions of the imaging device described in each of the above embodiments (including modified examples) can be realized by a computer and a program. For example, it is possible to describe at least some of the processing procedures, such as the functions of the event signal processing section 31, the functions of the sensor driving section 32, and the functions of the video signal processing section 33, as a program.

一例として、イベント信号処理部３１およびセンサー駆動部３２（これらを併せて「制御部」と呼ぶ）の機能を、コンピューターとプログラムとで実現するようにしてもよい。この場合、イメージセンサー（高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂや、高速カラーイメージセンサー５３）は、所定の画像更新レートで映像を撮像するものである。このイメージセンサーのフレームレートは可変である。つまり、制御部は、イメージセンサーのフレームレートを変えることができる。また、イベント検知型センサーは、前記イメージセンサーが撮像する被写体の動きの有無を検知する。制御部は、イベント検知型センサーが検知した被写体の動きの有無に応じて決定される画像更新レートでイメージセンサーが撮像を行うように制御する。 As an example, the functions of the event signal processing section 31 and the sensor driving section 32 (together referred to as "control section") may be realized by a computer and a program. In this case, the image sensors (high-speed image sensors 23R, 23G, and 23B and high-speed color image sensor 53) capture images at a predetermined image update rate. The frame rate of this image sensor is variable. That is, the control unit can change the frame rate of the image sensor. Further, the event detection type sensor detects the presence or absence of movement of the subject imaged by the image sensor. The control unit controls the image sensor to capture images at an image update rate determined depending on whether or not there is movement of the subject detected by the event detection type sensor.

図５は、第１実施形態や第２実施形態（それぞれの変形例を含む）における撮像装置が内部に備えるコンピューターの構成の例を示すブロック図である。図示するように、そのコンピューターは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピューター自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピューター内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。 FIG. 5 is a block diagram illustrating an example of the configuration of a computer included in the imaging apparatus according to the first embodiment and the second embodiment (including their respective modified examples). As shown in the figure, the computer includes a central processing unit 901, a RAM 902, an input/output port 903, input/output devices 904 and 905, and a bus 906. The computer itself can be implemented using existing technology. The central processing unit 901 executes instructions included in a program read from the RAM 902 or the like. The central processing unit 901 writes data to the RAM 902, reads data from the RAM 902, and performs arithmetic and logical operations in accordance with each instruction. RAM 902 stores data and programs. Each element included in RAM 902 has an address and can be accessed using the address. Note that RAM is an abbreviation for "random access memory." The input/output port 903 is a port through which the central processing unit 901 exchanges data with an external input/output device. Input/output devices 904 and 905 are input/output devices. The input/output devices 904 and 905 exchange data with the central processing unit 901 via the input/output port 903. Bus 906 is a common communication path used within computers. For example, central processing unit 901 reads and writes data to RAM 902 via bus 906 . Further, for example, the central processing unit 901 accesses input/output ports via the bus 906.

なお、上述した撮像装置の少なくとも一部の機能をコンピューターで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。つまり、「コンピューター読み取り可能な記録媒体」とは、非一過性の（non-transitory）コンピューター読み取り可能な記録媒体であってよい。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。 Note that at least some of the functions of the imaging device described above can be realized by a computer. In that case, a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read into a computer system and executed. Note that the "computer system" herein includes hardware such as an OS and peripheral devices. Furthermore, "computer-readable recording media" refers to portable media such as flexible disks, magneto-optical disks, ROM, CD-ROM, DVD-ROM, and USB memory, and storage devices such as hard disks built into computer systems. Say something. That is, the "computer-readable recording medium" may be a non-transitory computer-readable recording medium. Furthermore, a "computer-readable recording medium" refers to a medium that temporarily and dynamically stores a program, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In that case, it may also include something that retains a program for a certain period of time, such as a volatile memory inside a computer system that is a server or client. Further, the program may be one for realizing a part of the above-mentioned functions, or may be one that can realize the above-mentioned functions in combination with a program already recorded in the computer system.

上で説明した第１実施形態および第２実施形態（それぞれの変形例を含む）では、フレーム全体を１つの領域として更新する場合の画像の更新頻度や、フレーム内で分割された領域のそれぞれを更新する場合の画像の更新頻度を、フレームレートと呼んでいた。これらの頻度を表す数値を画像更新レートと呼んでもよい。画像更新レートの単位は、フレーム毎秒、あるいは更新回数毎秒である。 In the first and second embodiments (including their respective variations) described above, the image update frequency when updating the entire frame as one area, and the update frequency of each area divided within the frame are The frequency at which images are updated is called the frame rate. The numerical value representing these frequencies may be called an image update rate. The unit of the image update rate is frames per second or number of updates per second.

以上、この発明の複数の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although multiple embodiments of this invention have been described above in detail with reference to the drawings, the specific configuration is not limited to these embodiments, and includes designs within the scope of the gist of this invention. .

本発明は、例えば、映像を撮像するための手段として利用することができる。また、そのような手段を用いて例えば映像コンテンツを制作するために利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。 INDUSTRIAL APPLICATION This invention can be utilized as a means for imaging a video, for example. Furthermore, such means can be used to produce video content, for example. However, the scope of use of the present invention is not limited to what is exemplified here.

１，２ 撮像装置
２１ レンズ（光学系）
２２ 分光器
２３Ｒ 高速イメージセンサー（赤）
２３Ｇ 高速イメージセンサー（緑）
２３Ｂ 高速イメージセンサー（青）
２４ イベント検知型センサー
３１ イベント信号処理部
３２ センサー駆動部
３３ 映像信号処理部
５１ レンズ（光学系、第１撮像光学系）
５２ レンズ（光学系、第２撮像光学系）
５３ 高速カラーイメージセンサー（赤・緑・青）
５４ イベント検知型センサー
９０１ 中央処理装置
９０２ ＲＡＭ
９０３ 入出力ポート
９０４，９０５ 入出力デバイス
９０６ バス 1, 2 Imaging device 21 Lens (optical system)
22 Spectrometer 23R High-speed image sensor (red)
23G high-speed image sensor (green)
23B High-speed image sensor (blue)
24 Event detection sensor 31 Event signal processing unit 32 Sensor drive unit 33 Video signal processing unit 51 Lens (optical system, first imaging optical system)
52 Lens (optical system, second imaging optical system)
53 High-speed color image sensor (red, green, blue)
54 Event detection type sensor 901 Central processing unit 902 RAM
903 Input/output ports 904, 905 Input/output device 906 Bus

Claims (5)

所定の画像更新レートで映像を撮像するイメージセンサーと、
前記イメージセンサーが撮像する被写体の動きの有無を検知するためのイベント検知型センサーと、
前記イベント検知型センサーが検知した被写体の前記動きの有無に応じて決定される画像更新レートで前記イメージセンサーが撮像を行うように制御する制御部と、
を備える撮像装置。 an image sensor that captures images at a predetermined image update rate;
an event detection type sensor for detecting the presence or absence of movement of a subject imaged by the image sensor;
a control unit that controls the image sensor to capture images at an image update rate determined according to the presence or absence of the movement of the subject detected by the event detection type sensor;
An imaging device comprising: 前記イメージセンサーは、当該イメージセンサーが撮像する映像内の領域ごとに撮像の際の画像更新レートを可変とすることができるものであり、
前記イベント検知型センサーは、前記領域ごとに、被写体の動きの有無を検知し、
前記制御部は、前記イベント検知型センサーが検知した、前記領域ごとの、被写体の前記動きの有無に応じて、前記領域ごとに決定される画像更新レートで前記イメージセンサーが撮像を行うように制御する、
請求項１に記載の撮像装置。 The image sensor is capable of making an image update rate variable during image capturing for each region in the video imaged by the image sensor,
The event detection type sensor detects the presence or absence of movement of the subject for each area,
The control unit controls the image sensor to perform imaging at an image update rate determined for each region, depending on the presence or absence of the movement of the subject for each region detected by the event detection type sensor. do,
The imaging device according to claim 1. 単一の撮像光学系から出射された光を、前記イメージセンサー側で結像する光と、前記イベント検知型センサー側で結像する光と、に分光する分光器、
をさらに備える請求項１または２に記載の撮像装置。 a spectrometer that separates light emitted from a single imaging optical system into light that is imaged on the image sensor side and light that is imaged on the event detection sensor side;
The imaging device according to claim 1 or 2, further comprising: 光を集光し前記イメージセンサー側で結像させるための撮像光学系である第１撮像光学系と、
前記イメージセンサーが撮像する被写体を含む光を前記イベント検知型センサー側で結像させるための撮像光学系である第２撮像光学系と、
をさらに備え、
前記第１撮像光学系と前記第２撮像光学系とは、互いに別の光学系である、
請求項１または２に記載の撮像装置。 a first imaging optical system that is an imaging optical system for condensing light and forming an image on the image sensor side;
a second imaging optical system that is an imaging optical system for forming an image of light including the subject imaged by the image sensor on the event detection sensor side;
Furthermore,
The first imaging optical system and the second imaging optical system are different optical systems,
The imaging device according to claim 1 or 2. 所定の画像更新レートで映像を撮像するイメージセンサーと、
前記イメージセンサーが撮像する被写体の動きの有無を検知するためのイベント検知型センサーと、
を備える制御部としてコンピューターを機能させるプログラムであって、
前記制御部は、
前記イベント検知型センサーが検知した被写体の前記動きの有無に応じて決定される画像更新レートで前記イメージセンサーが撮像を行うように制御する、
プログラム。 an image sensor that captures images at a predetermined image update rate;
an event detection type sensor for detecting the presence or absence of movement of a subject imaged by the image sensor;
A program that causes a computer to function as a control unit comprising:
The control unit includes:
controlling the image sensor to perform imaging at an image update rate determined according to the presence or absence of the movement of the subject detected by the event detection type sensor;
program.

Images