JP2016046774A - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP2016046774A
JP2016046774A JP2014171802A JP2014171802A JP2016046774A JP 2016046774 A JP2016046774 A JP 2016046774A JP 2014171802 A JP2014171802 A JP 2014171802A JP 2014171802 A JP2014171802 A JP 2014171802A JP 2016046774 A JP2016046774 A JP 2016046774A
Authority
JP
Japan
Prior art keywords
optical system
image
optical
angle
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014171802A
Other languages
Japanese (ja)
Inventor
智行 河合
Satoyuki Kawai
智行 河合
小田　和也
Kazuya Oda
和也 小田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014171802A priority Critical patent/JP2016046774A/en
Publication of JP2016046774A publication Critical patent/JP2016046774A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Cameras In General (AREA)
  • Blocking Light For Cameras (AREA)
  • Lenses (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a small-sized inexpensive imaging device capable of simultaneously acquiring, by using a single imaging unit, a wide-angle image and a telescopic image whose optical axes agree with each other, and capable of securely capturing an object of a tracking target by using the telescopic image.SOLUTION: Arranging an optical filter on one of a light path of a light flux incident on a directional sensor from a central optical system and a light path of a light flux incident on the directional sensor from an annular optical system makes it possible to simultaneously acquire both of a light flux incident on the directional sensor from the central optical system through the optical filter and a light flux incident on the directional sensor from the annular optical system without passing through the optical filter or to simultaneously acquire both of a light flux incident on the directional sensor from the central optical system without passing through the optical filter and a light flux incident on the directional sensor from the annular optical system through the optical filter.SELECTED DRAWING: Figure 2

Description

本発明は撮像装置に関し、特に広角画像と望遠画像とを同時に撮像することができる撮像装置に関する。   The present invention relates to an imaging apparatus, and more particularly to an imaging apparatus that can simultaneously capture a wide-angle image and a telephoto image.

従来、広角画像と望遠画像とを同時に撮像することができる自動追尾撮像装置として、特許文献１、２に記載のものがある。   Conventionally, as an automatic tracking imaging device capable of simultaneously imaging a wide-angle image and a telephoto image, there are those described in Patent Documents 1 and 2.

特許文献１、２に記載のシステムは、いずれも広角画像を撮像する広角カメラと、電動雲台（パン・チルト装置）に搭載された望遠画像を撮像する望遠カメラとを備え、広角カメラにより撮像された広角画像から追尾対象の物体を検出し、検出した物体の広角画像における位置情報に基づいて電動雲台を回動制御し、望遠カメラにより物体を自動追尾して望遠撮像することを基本的な構成としている。   The systems described in Patent Documents 1 and 2 each include a wide-angle camera that captures a wide-angle image and a telephoto camera that captures a telephoto image mounted on an electric pan head (pan / tilt device). Basically, the object to be tracked is detected from the captured wide-angle image, the electric pan head is controlled based on the position information of the detected object in the wide-angle image, and the object is automatically tracked by the telephoto camera. It has a simple structure.

また、円形中央部分の狭角のレンズ部とこの円形中央部分を囲む環状部分の広角のレンズ部とが同軸に配置された光学系と、狭角のレンズ部により狭角画像が結像される中央区域と広角のレンズ部により広角画像が結像される周辺区域とを有する画像センサとを備えたカメラを、パン・チルト基台に装着し、トラッキングされる物体（ＯＢＴ）をカメラの視野の中心で捉えるようにパン・チルト基台を制御するトラッキングシステムが提案されている（特許文献３）。   In addition, a narrow-angle image is formed by the optical system in which the narrow-angle lens portion in the circular central portion and the wide-angle lens portion in the annular portion surrounding the circular central portion are arranged coaxially, and the narrow-angle lens portion. A camera having an image sensor having a central area and a peripheral area on which a wide-angle image is formed by a wide-angle lens unit is mounted on a pan / tilt base, and an object to be tracked (OBT) is A tracking system that controls a pan / tilt base so as to be captured at the center has been proposed (Patent Document 3).

これにより、ＯＢＴが狭角画像から逸脱しても、広角画像によりＯＢＴを捉えることができ、トラッキング逸脱（tracking dropout）が生じないようにしている。   As a result, even if the OBT deviates from the narrow-angle image, the OBT can be captured by the wide-angle image, so that no tracking dropout occurs.

また、広角像と望遠像とを観察可能なコンタクトレンズが、カリフォルニア大学サンディエゴ校(UCSD) の Joseph Ford により提案されている（非特許文献１）。   A contact lens capable of observing a wide-angle image and a telephoto image has been proposed by Joseph Ford of the University of California, San Diego (UCSD) (Non-Patent Document 1).

このコンタクトレンズの構成をカメラに利用すれば、広角像と望遠像とを得ることができる可能性がある。   If this contact lens configuration is used in a camera, a wide-angle image and a telephoto image may be obtained.

特開平１１−６９３４２号公報Japanese Patent Laid-Open No. 11-69342 特開２００６−３３２２４号公報JP 2006-33224 A 特表２００３−５１０６６６号公報Special table 2003-510666 gazette

"Photonic Systems Integration Laboratory",インターネット〈URL：http://psilab.ucsd.edu/research/Telescopic Contact Lens/main.html〉"Photonic Systems Integration Laboratory", Internet <URL: http://psilab.ucsd.edu/research/Telescopic Contact Lens / main.html>

特許文献１、２に記載のシステムは、いずれも２台の独立した広角カメラと望遠カメラとを備えることを基本構成としているため、システムが高価になるとともに、大型化するという問題がある。また、広角カメラと望遠カメラの光軸は共通ではなく、それぞれ撮像される広角画像と望遠画像とに視差が生じるため、物体の距離情報を使って視差補正をしなければ、（原理的に）正確な物体の追尾を行うことができない。更に、広角カメラは固定されているため、広角画像の画角を越えて物体が移動すると、物体を追尾することができないという問題がある。   Since the systems described in Patent Documents 1 and 2 are basically provided with two independent wide-angle cameras and a telephoto camera, there is a problem that the system becomes expensive and increases in size. In addition, the optical axes of the wide-angle camera and the telephoto camera are not the same, and parallax occurs between the wide-angle image and the telephoto image that are captured, so if you do not perform parallax correction using object distance information (in principle) Accurate object tracking is not possible. Furthermore, since the wide-angle camera is fixed, there is a problem that if the object moves beyond the angle of view of the wide-angle image, the object cannot be tracked.

一方、特許文献３に記載のトラッキングシステムは、円形中央部分の狭角のレンズ部により撮像される狭角画像と、環状部分の広角のレンズ部により撮像される広角画像（歪曲収差が補正されていない魚眼画像）とを滑らかにつなぐような光学系の設計が困難であり、狭角画像と広角画像との境界部分のＯＢＴのトラッキングが難しいという問題がある。   On the other hand, the tracking system described in Patent Document 3 has a narrow-angle image captured by a narrow-angle lens portion in a circular central portion and a wide-angle image (distortion aberration is corrected) captured by a wide-angle lens portion in an annular portion. It is difficult to design an optical system that smoothly connects a non-fish-eye image), and it is difficult to track OBT at the boundary between a narrow-angle image and a wide-angle image.

即ち、画像センサ上では、狭角画像と広角画像とが重複（バッティング）してしまう。それを避けるために光学的な遮蔽・分離機構を設けると、広角画像はドーナツ状になり、広角画像の真ん中部分は欠落して撮影できない。   That is, the narrow-angle image and the wide-angle image overlap (batt) on the image sensor. If an optical shielding / separating mechanism is provided to avoid this, the wide-angle image becomes a donut shape, and the middle part of the wide-angle image is lost and cannot be photographed.

また、円形中央部分を望遠レンズとし、環状部分を広角レンズとした場合、これらのレンズにより撮像される望遠画像と広角画像とを滑らかにつなぐような光学系の設計は困難である上に、望遠画像と広角画像との境界には撮像されない領域が発生する。   In addition, when a circular central portion is a telephoto lens and an annular portion is a wide-angle lens, it is difficult to design an optical system that smoothly connects a telephoto image captured by these lenses and a wide-angle image. An uncaptured region occurs at the boundary between the image and the wide-angle image.

非特許文献１に記載のコンタクトレンズは、広角像と望遠像の視差の問題を解決することができるものの、広角像と望遠像の二つの像を分離獲得するために、切替えシャッタが必要であり、そのためシステムが複雑になっている。更に、両像を同タイミングで取得することができないので、望遠像を取得している間は広角像の情報を取得することができず、トラッキングの精度が低下するという欠点がある。   Although the contact lens described in Non-Patent Document 1 can solve the problem of parallax between a wide-angle image and a telephoto image, a switching shutter is necessary to separately acquire two images of a wide-angle image and a telephoto image. Therefore, the system is complicated. Furthermore, since both images cannot be acquired at the same timing, there is a drawback that information on a wide-angle image cannot be acquired while a telephoto image is acquired, and tracking accuracy is reduced.

本発明はこのような事情に鑑みてなされたもので、単一の撮像部により光軸が一致した広角画像と望遠画像とを同時に取得することができ、追尾対象の物体を望遠画像で確実に捉えることができる小型で安価な撮像装置を提供することを目的とする。   The present invention has been made in view of such circumstances, and a wide-angle image and a telephoto image in which the optical axes coincide with each other can be simultaneously acquired by a single imaging unit, and the object to be tracked can be reliably detected with the telephoto image. An object is to provide a small and inexpensive imaging device that can be captured.

本発明の第１態様は、それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、中央光学系及び環状光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、中央光学系を介して受光した第１画像を示す画像信号と環状光学系を介して受光した第２画像を示す画像信号とをそれぞれ指向性センサから取得する画像読み出し装置と、中央光学系から指向性センサに入射する光束の光路および環状光学系から指向性センサに入射する光束の光路のうちのいずれか一方の光路に配置された光学フィルタと、を備える撮像装置を提供する。   According to a first aspect of the present invention, there is provided a photographing optical system comprising a central optical system at the center and an annular optical system at the periphery thereof arranged on the same optical axis, and photoelectric conversion elements arranged two-dimensionally A directional sensor having a plurality of pixels configured by: a directional sensor including a plurality of pixels that selectively receive light by dividing the light beam incident through the central optical system and the annular optical system, respectively; An image reading device for acquiring from the directional sensor an image signal indicating the first image received through the central optical system and an image signal indicating the second image received through the annular optical system, and directing from the central optical system There is provided an imaging device comprising: an optical filter disposed in any one of an optical path of a light beam incident on a directional sensor and an optical path of a light beam incident on a directional sensor from an annular optical system.

本発明の第２態様は、光学フィルタは、中央光学系から指向性センサに入射する光束の光路である第１光路に配置された第１光学フィルタを含む項１に記載の撮像装置を提供する。   According to a second aspect of the present invention, there is provided the imaging apparatus according to item 1, wherein the optical filter includes a first optical filter disposed in a first optical path that is an optical path of a light beam incident on the directional sensor from the central optical system. .

本発明の第３態様は、中央光学系は環状光学系より広角であり、第１光学フィルタは、中央光学系から指向性センサに入射する光束の赤外線をカットする光学特性を有し、中央光学系の画角に赤外線を照射する赤外線照射部と、赤外線照射部の発光の開始を制御するとともに、第１光学フィルタの第１光路からの退出を制御する制御部と、をさらに備える項２に記載の撮像装置を提供する。   In the third aspect of the present invention, the central optical system has a wider angle than the annular optical system, and the first optical filter has an optical characteristic that cuts infrared rays of a light beam incident on the directional sensor from the central optical system. Item 2. The infrared irradiation unit that irradiates infrared rays on the angle of view of the system, and a control unit that controls the start of light emission of the infrared irradiation unit and controls the exit of the first optical filter from the first optical path. An imaging device as described is provided.

本発明の第４態様は、制御部は、第１画像の明るさが閾値以下であるか否かを判断し、第１画像の明るさが閾値以下である場合、赤外線照射部の発光の開始を制御するとともに、第１光学フィルタの第１光路からの退出を制御する項３に記載の撮像装置を提供する。   In the fourth aspect of the present invention, the control unit determines whether or not the brightness of the first image is equal to or less than a threshold value, and when the brightness of the first image is equal to or less than the threshold value, start of light emission of the infrared irradiation unit. And an image pickup apparatus according to item 3, which controls the exit of the first optical filter from the first optical path.

本発明の第５態様は、第１光学フィルタは、光束の赤外線を透過するとともに可視光線をカットする光学特性を有し、中央光学系の画角に赤外線を照射する赤外線照射部と、赤外線照射部の発光の開始を制御するとともに、第１光学フィルタの第１光路からの挿入を制御する制御部と、をさらに備える項２に記載の撮像装置を提供する。   According to a fifth aspect of the present invention, the first optical filter has an optical characteristic that transmits infrared rays of a light beam and cuts visible rays, and irradiates infrared rays at an angle of view of the central optical system; The imaging device according to Item 2, further comprising: a control unit that controls the start of light emission of the first optical filter and controls insertion of the first optical filter from the first optical path.

本発明の第６態様は、赤外線照射部の照射する赤外線は、中央光学系の画角に指向性を有する項３〜５のいずれか１項に記載の撮像装置を提供する。   The sixth aspect of the present invention provides the imaging apparatus according to any one of Items 3 to 5, wherein the infrared rays irradiated by the infrared irradiation unit have directivity at the angle of view of the central optical system.

本発明の第７態様は、光学フィルタは、環状光学系から指向性センサに入射する光束の光路である第２光路に配置された第２光学フィルタを含む項１に記載の撮像装置を提供する。   According to a seventh aspect of the present invention, there is provided the imaging apparatus according to item 1, wherein the optical filter includes a second optical filter disposed in a second optical path that is an optical path of a light beam incident on the directional sensor from the annular optical system. .

本発明の第８態様は、中央光学系は環状光学系より広角であり、第２光学フィルタは、光束の赤外線をカットする光学特性を有し、環状光学系の画角に可視光線を照射する可視光線照射部と、可視光線照射部の発光の開始を制御するとともに、第２光学フィルタの光路への挿入を制御する制御部と、をさらに備える項７に記載の撮像装置を提供する。   In the eighth aspect of the present invention, the central optical system has a wider angle than the annular optical system, and the second optical filter has an optical characteristic of cutting the infrared rays of the luminous flux, and irradiates the visible angle on the angle of view of the annular optical system. The imaging device according to Item 7, further comprising: a visible light irradiation unit; and a control unit that controls the start of light emission of the visible light irradiation unit and controls the insertion of the second optical filter into the optical path.

本発明の第９態様は、第２画像から被写体を検出する被写体検出部をさらに備え、制御部は、被写体検出部により第２画像から被写体が検出された場合、可視光線照射部の発光の開始を制御するとともに、第２光学フィルタの光路への挿入を制御する項８に記載の撮像装置を提供する。   The ninth aspect of the present invention further includes a subject detection unit that detects a subject from the second image, and the control unit starts emission of the visible light irradiation unit when the subject detection unit detects the subject from the second image. And an image pickup apparatus according to item 8, which controls insertion of the second optical filter into the optical path.

本発明の第１０態様は、可視光線照射部の照射する可視光線は、環状光学系の画角に指向性を有する項８または９に記載の撮像装置を提供する。   A tenth aspect of the present invention provides the imaging apparatus according to Item 8 or 9, wherein the visible light irradiated by the visible light irradiation unit has directivity at the angle of view of the annular optical system.

本発明の第１１態様は、環状光学系は、光束を２回以上反射させる反射光学系を有する項１〜１０のいずれか１項に記載の撮像装置を提供する。   An eleventh aspect of the present invention provides the imaging apparatus according to any one of Items 1 to 10, wherein the annular optical system includes a reflective optical system that reflects the light beam twice or more.

本発明の第１２態様は、第２光学フィルタは、環状光学系の光束を２回以上反射させる反射光学系よりも被写体側に配置される項７に記載の撮像装置を提供する。   A twelfth aspect of the present invention provides the imaging apparatus according to Item 7, wherein the second optical filter is disposed closer to the subject side than the reflection optical system that reflects the light beam of the annular optical system twice or more.

この発明によると、中央光学系から指向性センサに入射する光束の光路および環状光学系から指向性センサに入射する光束の光路のうちのいずれか一方の光路に配置された光学フィルタを配置することで、中央光学系から当該光学フィルタを経由して指向性センサに入射する光束と環状光学系から当該光学フィルタを経由しないで指向性センサに入射する光束の双方を同時に取得するか、あるいは、中央光学系から当該光学フィルタを経由しないで指向性センサに入射する光束と環状光学系から当該光学フィルタを経由して指向性センサに入射する光束の双方を同時に取得することができる。   According to the present invention, the optical filter is disposed in one of the optical path of the light beam incident on the directional sensor from the central optical system and the optical path of the light beam incident on the directional sensor from the annular optical system. In the central optical system, both the light beam incident on the directional sensor via the optical filter and the light beam incident on the directional sensor without passing through the optical filter from the annular optical system are simultaneously acquired, or It is possible to simultaneously acquire both the light beam incident on the directional sensor from the optical system without passing through the optical filter and the light beam incident on the directional sensor from the annular optical system via the optical filter.

本発明に係る自動追尾撮像装置の外観斜視図1 is an external perspective view of an automatic tracking imaging apparatus according to the present invention. 自動追尾撮像装置の撮像部の第１の実施形態を示す断面図Sectional drawing which shows 1st Embodiment of the imaging part of an automatic tracking imaging device 光路に挿入されたフィルタ６３ａを示す断面図Sectional drawing which shows the filter 63a inserted in the optical path 光路に挿入されたフィルタ６３ｂを示す断面図Sectional drawing which shows filter 63b inserted in the optical path 光路に挿入されたフィルタ６３ａおよび６３ｂを示す断面図Sectional drawing which shows filter 63a and 63b inserted in the optical path 図２に示したマイクロレンズアレイ及びイメージセンサの要部拡大図FIG. 2 is an enlarged view of a main part of the microlens array and the image sensor shown in FIG. マイクロレンズ１６ａ１個当たりが受け持つ受光セルの個数を示す図The figure which shows the number of the light reception cells which one micro lens 16a takes charge of イメージセンサに配設されたカラーフィルタ配列等を示す図The figure which shows the color filter arrangement etc. which are arranged in the image sensor 自動追尾撮像装置の内部構成の実施形態を示すブロック図The block diagram which shows embodiment of the internal structure of an automatic tracking imaging device 自動追尾撮像装置により撮像される広角画像（追尾対象が広角画像の周辺部に存在）及び望遠画像の一例を示す図The figure which shows an example of the wide-angle image (tracking target exists in the peripheral part of a wide-angle image) and a telephoto image imaged with an automatic tracking imaging device 自動追尾撮像装置により撮像される広角画像（追尾対象が広角画像の中央部に存在）及び望遠画像の一例を示す図The figure which shows an example of the wide-angle image (tracking target exists in the center part of a wide-angle image) and a telephoto image imaged with an automatic tracking imaging device 動体を追尾対象の物体として検出する動体検出方法の一例について説明するために用いた図The figure used for explaining an example of a moving object detection method for detecting a moving object as an object to be tracked 本発明に係る自動追尾撮像装置による自動追尾制御方法の一例を示すフローチャート6 is a flowchart showing an example of an automatic tracking control method by the automatic tracking imaging apparatus according to the present invention. フィルタ制御（広角）を示すフローチャートFlow chart showing filter control (wide angle) 指向性センサの他の実施形態を示す側面図Side view showing another embodiment of a directional sensor 自動追尾撮像装置に適用可能な撮像部の他の実施形態を示す断面図Sectional drawing which shows other embodiment of the imaging part applicable to an automatic tracking imaging device 自動追尾撮像装置の内部構成の他の実施形態を示すブロック図The block diagram which shows other embodiment of the internal structure of an automatic tracking imaging device 本発明に係る自動追尾撮像装置による自動追尾制御方法の他の一例を示すフローチャートThe flowchart which shows another example of the automatic tracking control method by the automatic tracking imaging device concerning this invention フィルタ制御（望遠）を示すフローチャートFlow chart showing filter control (telephoto) 撮影光学系１２の他の実施形態を示す図The figure which shows other embodiment of the imaging optical system 12.

以下、添付図面に従って本発明に係る自動追尾撮像装置の実施の形態について説明する。   Embodiments of an automatic tracking imaging device according to the present invention will be described below with reference to the accompanying drawings.

＜自動追尾撮像装置の外観＞
図１は本発明に係る自動追尾撮像装置の外観斜視図である。 <Appearance of automatic tracking imaging device>
FIG. 1 is an external perspective view of an automatic tracking imaging apparatus according to the present invention.

図１に示すように自動追尾撮像装置１０は、主として装置本体２と、撮像部１１と、パン・チルト装置３０（図９）と、撮像部１１を覆うドームカバー６とを有している。一例として、自動追尾撮像装置１０は、小型無人飛行機に取り付けられるが、その取付先は特に限られず、飛行機、ヘリコプター、車両、建物といった、各種の機器、構造物、移動体、飛翔物に取り付けることができる。また、自動追尾撮像装置１０は、単独で持ち運びがされてもよい。   As shown in FIG. 1, the automatic tracking imaging apparatus 10 mainly includes an apparatus main body 2, an imaging unit 11, a pan / tilt device 30 (FIG. 9), and a dome cover 6 that covers the imaging unit 11. As an example, the automatic tracking imaging apparatus 10 is attached to a small unmanned airplane, but the attachment destination is not particularly limited, and is attached to various devices, structures, moving objects, flying objects such as airplanes, helicopters, vehicles, and buildings. Can do. Moreover, the automatic tracking imaging device 10 may be carried alone.

パン・チルト装置３０は、台座４と、台座４に固定されるとともに、撮像部１１を回動自在に保持する保持部８とを有している。   The pan / tilt device 30 includes a pedestal 4 and a holding unit 8 that is fixed to the pedestal 4 and holds the imaging unit 11 in a rotatable manner.

台座４は、装置本体２の垂直方向Ｚの軸を中心に回転自在に配設され、パン駆動部３４（図９）により垂直方向Ｚの軸を中心にして回転する。   The pedestal 4 is disposed so as to be rotatable about the axis in the vertical direction Z of the apparatus main body 2 and is rotated about the axis in the vertical direction Z by the pan driving unit 34 (FIG. 9).

保持部８は、水平方向Ｘの軸と同軸上に設けられたギア８Ａを有し、チルト駆動部３６（図９）からギア８Ａを介して駆動力が伝達されることにより、撮像部１１を上下方向に回動（チルト動作）させる。   The holding unit 8 includes a gear 8A provided coaxially with the axis in the horizontal direction X, and the driving force is transmitted from the tilt driving unit 36 (FIG. 9) via the gear 8A, thereby causing the imaging unit 11 to move. Rotate vertically (tilt operation).

ドームカバー６は、防塵及び防滴用のカバーであり、撮像部１１の光軸方向Ｌにかかわらず、撮像部１１の光学性能が変化しないように、水平方向Ｘの軸と垂直方向Ｚの軸との交点を、曲率中心とする一定肉厚の球殻形状であることが好ましい。   The dome cover 6 is a dustproof and dripproof cover, and the horizontal X axis and the vertical Z axis so that the optical performance of the imaging unit 11 does not change regardless of the optical axis direction L of the imaging unit 11. It is preferable to have a spherical shell shape having a constant thickness with the intersection point with the center of curvature.

また、装置本体２の背面には、図示しない三脚取付部（三脚ねじ穴等）を設けることが好ましい。   Moreover, it is preferable to provide a tripod mounting portion (such as a tripod screw hole) (not shown) on the back surface of the apparatus body 2.

［撮像部の構成］
図２は、自動追尾撮像装置１０の撮像部１１の第１の実施形態を示す断面図である。 [Configuration of imaging unit]
FIG. 2 is a cross-sectional view illustrating the first embodiment of the imaging unit 11 of the automatic tracking imaging apparatus 10.

図２〜５に示すように、撮像部１１は、撮影光学系１２と指向性センサ１７とフィルタ６３（６３ａ、６３ｂ）とから構成されている。   As shown in FIGS. 2 to 5, the imaging unit 11 includes a photographing optical system 12, a directivity sensor 17, and filters 63 (63 a and 63 b).

＜撮影光学系＞
撮影光学系１２は、それぞれ同一の光軸上に配置された、第１の光学系としての中央部の中央光学系１３と、その周辺部の同心円状の第２の光学系としての環状光学系１４とから構成されている。 <Photographing optical system>
The photographing optical system 12 is arranged on the same optical axis, and a central optical system 13 as a first optical system and an annular optical system as a concentric second optical system at the periphery thereof. 14.

中央光学系１３は、第１レンズ１３ａ、第２レンズ１３ｂ、第３レンズ１３ｃ、第４レンズ１３ｄ、及び共通レンズ１５から構成された広角光学系（広角レンズ）であり、指向性センサ１７を構成するマイクロレンズアレイ１６上に広角画像を結像させる。   The central optical system 13 is a wide-angle optical system (wide-angle lens) that includes a first lens 13 a, a second lens 13 b, a third lens 13 c, a fourth lens 13 d, and a common lens 15. A wide-angle image is formed on the microlens array 16.

環状光学系１４は、第１レンズ１４ａ、第２レンズ１４ｂ、反射光学系としての第１反射ミラー１４ｃ、第２反射ミラー１４ｄ、及び共通レンズ１５から構成された望遠光学系（望遠レンズ）であり、マイクロレンズアレイ１６上に望遠画像を結像させる。第１レンズ１４ａ、及び第２レンズ１４ｂを介して入射した光束は、第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより２回反射された後、共通レンズ１５を通過する。第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより光束が折り返されることにより、焦点距離の長い望遠光学系（望遠レンズ）の光軸方向の長さを短くしている。   The annular optical system 14 is a telephoto optical system (telephoto lens) including a first lens 14a, a second lens 14b, a first reflection mirror 14c as a reflection optical system, a second reflection mirror 14d, and a common lens 15. A telephoto image is formed on the microlens array 16. The light beam incident through the first lens 14a and the second lens 14b is reflected twice by the first reflection mirror 14c and the second reflection mirror 14d, and then passes through the common lens 15. The light beam is folded back by the first reflecting mirror 14c and the second reflecting mirror 14d, so that the length in the optical axis direction of the telephoto optical system (telephoto lens) having a long focal length is shortened.

フィルタ６３は、特定の帯域の波長を透過および／または遮蔽する光学特性を有する光学フィルタであり、中央光学系１３に対応したフィルタ６３ａと、環状光学系１４に対応したフィルタ６３ｂを含む。   The filter 63 is an optical filter having an optical characteristic of transmitting and / or shielding a specific band of wavelengths, and includes a filter 63 a corresponding to the central optical system 13 and a filter 63 b corresponding to the annular optical system 14.

図３に例示するように、フィルタ６３ａは、中央光学系１３の光路に挿入されるか、あるいは図４に例示するように、当該光路から退出される。   As illustrated in FIG. 3, the filter 63a is inserted into the optical path of the central optical system 13, or exits from the optical path as illustrated in FIG.

また図４に例示するように、フィルタ６３ｂは、環状光学系１４の光路に挿入されるか、あるいは図３に例示するように、当該光路から退出される。   Also, as illustrated in FIG. 4, the filter 63b is inserted into the optical path of the annular optical system 14, or exits from the optical path as illustrated in FIG.

さらに図５に例示するように、フィルタ６３ａとフィルタ６３ｂは、同時に光路に挿入することができる。   Further, as illustrated in FIG. 5, the filter 63a and the filter 63b can be simultaneously inserted into the optical path.

なお、中央光学系１３と環状光学系１４は同一の光軸上に配置されるため、これらの結像する広角画像および望遠画像ではパララックスが発生しない。   Since the central optical system 13 and the annular optical system 14 are arranged on the same optical axis, no parallax occurs in the wide-angle image and the telephoto image that are formed.

＜指向性センサ＞
指向性センサ１７は、マイクロレンズアレイ１６とイメージセンサ１８とから構成されている。 <Directivity sensor>
The directivity sensor 17 includes a microlens array 16 and an image sensor 18.

図６は、マイクロレンズアレイ１６及びイメージセンサ１８の要部拡大図である。   FIG. 6 is an enlarged view of a main part of the microlens array 16 and the image sensor 18.

マイクロレンズアレイ１６は、複数のマイクロレンズ（瞳結像レンズ）１６ａが２次元状に配列されて構成されており、各マイクロレンズの水平方向及び垂直方向の間隔は、イメージセンサ１８の光電変換素子である受光セル１８ａの３つ分の間隔に対応している。即ち、マイクロレンズアレイ１６の各マイクロレンズは、水平方向及び垂直方向の各方向に対して、２つ置きの受光セルの位置に対応して形成されたものが使用される。   The microlens array 16 includes a plurality of microlenses (pupil imaging lenses) 16 a arranged in a two-dimensional manner, and the horizontal and vertical intervals between the microlenses are the photoelectric conversion elements of the image sensor 18. This corresponds to the interval of three light receiving cells 18a. That is, each microlens of the microlens array 16 is formed corresponding to the position of every two light receiving cells in each of the horizontal direction and the vertical direction.

また、マイクロレンズアレイ１６の各マイクロレンズ１６ａは、撮影光学系１２の中央光学系１３及び環状光学系１４に対応する、円形の中央瞳像（第１の瞳像）１７ａ及び環状瞳像（第２の瞳像）１７ｂを、イメージセンサ１８の対応する受光領域の受光セル１８ａ上に結像させる。   Each microlens 16a of the microlens array 16 has a circular central pupil image (first pupil image) 17a and an annular pupil image (first pupil image) corresponding to the central optical system 13 and the annular optical system 14 of the photographing optical system 12. 2b) 17b is formed on the light receiving cell 18a in the corresponding light receiving region of the image sensor 18.

図６に示すマイクロレンズアレイ１６及びイメージセンサ１８によれば、マイクロレンズアレイ１６の１マイクロレンズ１６ａ当たりに付き、格子状（正方格子状）の３×３個の受光セル１８ａが割り付けられている。以下、１つのマイクロレンズ１６ａ及び１つのマイクロレンズ１６ａに対応する受光セル群（３×３個の受光セル１８ａ）を単位ブロックという。   According to the microlens array 16 and the image sensor 18 shown in FIG. 6, 3 × 3 light receiving cells 18 a having a lattice shape (square lattice shape) are assigned to each microlens 16 a of the microlens array 16. . Hereinafter, one microlens 16a and a light receiving cell group (3 × 3 light receiving cells 18a) corresponding to one microlens 16a are referred to as a unit block.

中央瞳像１７ａは、単位ブロックの中央の受光セル１８ａのみに結像し、環状瞳像１７ｂは、単位ブロックの周囲の８個の受光セル１８ａに結像する。   The central pupil image 17a is formed only on the light receiving cell 18a at the center of the unit block, and the annular pupil image 17b is formed on the eight light receiving cells 18a around the unit block.

上記構成の撮像部１１によれば、後述するように中央光学系１３に対応する広角画像と、環状光学系１４に対応する望遠画像とを同時に撮像することができる。   According to the imaging unit 11 configured as described above, a wide-angle image corresponding to the central optical system 13 and a telephoto image corresponding to the annular optical system 14 can be simultaneously captured as described later.

図７は、受光セル１８ａの配置例を示す。受光セル１８ａは、マイクロレンズ１６ａ１個当たりが受け持つ受光セルの個数が、中央から周辺にいくにしたがって（像高が高くなるにしたがって）少なくなる構造となっている。図７に示す例では、１マイクロレンズ１６ａ当たりの受け持つ受光セル１８ａの個数（紙面の上下方向の個数）を、中央（入射角０°）では３個、中間（入射角３．２°）では２個、周辺（入射角１４．４°）では１個としている。   FIG. 7 shows an arrangement example of the light receiving cells 18a. The light receiving cell 18a has a structure in which the number of light receiving cells handled by one microlens 16a decreases from the center toward the periphery (as the image height increases). In the example shown in FIG. 7, the number of light-receiving cells 18a per microlens 16a (the number in the vertical direction of the paper surface) is three at the center (incident angle 0 °) and intermediate (incident angle 3.2 °). Two and one at the periphery (incident angle 14.4 °).

図７に示すように受光セル１８ａのサイズが同一の場合、マイクロレンズ１６ａは、周辺にいくにしたがって小さいサイズで、焦点距離の短いもの使用する。これにより、周辺ほど高密度なサンプリングが可能になる。   As shown in FIG. 7, when the size of the light receiving cell 18a is the same, the microlens 16a having a smaller size and a shorter focal length is used as it goes to the periphery. As a result, higher density sampling is possible in the periphery.

［イメージセンサの実施形態］
図８は、イメージセンサ１８に配設されたカラーフィルタ配列等を示す図である。尚、図７上で、マイクロレンズアレイ１６は省略されているが、円形で示した領域は、マイクロレンズアレイ１６の各マイクロレンズ１６ａにより瞳像が結像される３×３個の受光セルを含む単位ブロックを示している。 [Embodiment of Image Sensor]
FIG. 8 is a diagram showing a color filter array and the like disposed in the image sensor 18. In FIG. 7, the microlens array 16 is omitted, but the region indicated by a circle is a 3 × 3 light receiving cell on which a pupil image is formed by each microlens 16 a of the microlens array 16. The unit block to be included is shown.

図８（ａ）に示すようにイメージセンサ１８の撮像面上には、各受光セル上に配設されたカラーフィルタにより構成されるカラーフィルタ配列が設けられる。   As shown in FIG. 8A, on the imaging surface of the image sensor 18, a color filter array including color filters arranged on each light receiving cell is provided.

このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各波長域の光を透過させる３原色のカラーフィルタ（以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという）により構成されている。そして、各受光セル上には、ＲＧＢフィルタのいずれかが配置される。以下、Ｒフィルタが配置された受光セルを「Ｒ受光セル」、Ｇフィルタが配置された受光セルを「Ｇ受光セル」、Ｂフィルタが配置された受光セルを「Ｂ受光セル」という。   This color filter array is constituted by three primary color filters (hereinafter referred to as R filter, G filter, and B filter) that transmit light in each wavelength band of red (R), green (G), and blue (B). Has been. One of the RGB filters is disposed on each light receiving cell. Hereinafter, the light receiving cell in which the R filter is disposed is referred to as “R light receiving cell”, the light receiving cell in which the G filter is disposed is referred to as “G light receiving cell”, and the light receiving cell in which the B filter is disposed is referred to as “B light receiving cell”.

図８（ａ）に示すカラーフィルタ配列は、６×６個の受光セルを基本ブロックＢ（図８（ａ）の太枠で示したブロック、及び図８（ｂ）参照）とし、基本ブロックＢが水平方向及び垂直方向に繰り返し配置されて構成されている。   In the color filter array shown in FIG. 8A, 6 × 6 light receiving cells are defined as a basic block B (see a block indicated by a thick frame in FIG. 8A and FIG. 8B). Are repeatedly arranged in the horizontal direction and the vertical direction.

図８（ｂ）に示すように基本ブロックＢは、４個の単位ブロックＢ１〜Ｂ４により構成されている。   As shown in FIG. 8B, the basic block B is composed of four unit blocks B1 to B4.

図８（ｃ１）及び（ｃ２）は、それぞれ４個の単位ブロックＢ１〜Ｂ４の中央の受光セル（図６に示した中央光学系１３を通過した光束が入射する受光セル）のグループと、周囲の８個の受光セル（図６に示した環状光学系１４を通過した光速が入射する受光セル）のグループとを示す。   8 (c1) and 8 (c2) show a group of light receiving cells at the center of each of the four unit blocks B1 to B4 (light receiving cells into which the light beam that has passed through the central optical system 13 shown in FIG. 8 groups of light receiving cells (light receiving cells to which the speed of light that has passed through the annular optical system 14 shown in FIG. 6 is incident).

図８（ｃ１）に示すように中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像となる。これにより、ベイヤ配列のモザイク画像をデモザイク処理することにより、カラー画像を得ることができる。   As shown in FIG. 8C1, the image of the center light receiving cell group is a Bayer array mosaic image. Accordingly, a color image can be obtained by demosaicing the mosaic image of the Bayer array.

一方、図８（ｃ２）に示すように、単位ブロックＢ１〜Ｂ４の各中央の受光セルの周囲の８個の受光セルのグループは、８個の受光セル内にＲＧＢの全ての受光セル（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）を含み、かつ単位ブロックＢ１〜Ｂ４にかかわらず、ＲＧＢの受光セルが同じパターンで配置されている。   On the other hand, as shown in FIG. 8 (c2), a group of eight light receiving cells around each central light receiving cell of the unit blocks B1 to B4 is composed of all the RGB light receiving cells (R RGB light receiving cells are arranged in the same pattern regardless of the unit blocks B1 to B4.

具体的には、各単位ブロックＢ１〜Ｂ４の４隅の４つの受光セルは、Ｇ受光セルが配置され、中央の受光セルを挟んで上下の２個の受光セルは、Ｒ受光セルが配置され、中央の受光セルを挟んで左右の２個の受光セルは、Ｂ受光セルが配置されている。   Specifically, G light receiving cells are arranged in the four light receiving cells at the four corners of each of the unit blocks B1 to B4, and R light receiving cells are arranged in the two upper and lower light receiving cells across the center light receiving cell. The B light receiving cells are arranged in the two left and right light receiving cells with the central light receiving cell interposed therebetween.

また、Ｒ受光セル、Ｇ受光セル、及びＢ受光セルは、それぞれ単位ブロックの中央の受光セル（中心）に対して対称位置に配置されている。これにより、単位ブロック内のＲＧＢの受光セルの出力信号を使用して、その単位ブロック毎のデモザイク処理（同時化処理）後の、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。   In addition, the R light receiving cell, the G light receiving cell, and the B light receiving cell are arranged at symmetrical positions with respect to the center light receiving cell (center) of the unit block. Thereby, using the output signal of the RGB light receiving cell in the unit block, one pixel (RGB pixel value) constituting the image after the demosaic process (synchronization process) for each unit block is generated. be able to.

即ち、単位ブロック内の４個のＧ受光セルの出力信号（画素値）の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置におけるＧ画素の画素値を取得することができ、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置におけるＲ画素及びＢ画素の画素値を取得することができる。   That is, by obtaining the average value of the output signals (pixel values) of the four G light receiving cells in the unit block, the pixel value of the G pixel at the center position of the unit block (1 microlens) can be obtained. Similarly, by calculating the average value of the pixel values of the two R light receiving cells in the unit block and the average value of the pixel values of the two B light receiving cells, the R pixel and the B pixel at the center position of the unit block, respectively. Pixel values can be acquired.

これにより、単位ブロックの周囲の８個の受光セルのグループにより生成される、環状光学系１４（望遠光学系）に対応する望遠画像については、単位ブロック内のＲＧＢの受光セルの画素値を使用してデモザイク処理を行うことができ、周囲の単位ブロックの受光セルの画素値を補間して特定の波長域の画素の画素値を生成する必要がなく、出力画像の解像度（実質的な画素数）を低下させることがない。   Thereby, for the telephoto image corresponding to the annular optical system 14 (telephoto optical system) generated by the group of eight light receiving cells around the unit block, the pixel values of the RGB light receiving cells in the unit block are used. Therefore, it is not necessary to generate pixel values of pixels in a specific wavelength range by interpolating the pixel values of the light receiving cells of the surrounding unit blocks, and the resolution of the output image (substantial number of pixels) ) Is not reduced.

＜自動追尾撮像装置の内部構成＞
図９は、自動追尾撮像装置１０の内部構成の実施形態を示すブロック図である。 <Internal configuration of automatic tracking imaging device>
FIG. 9 is a block diagram illustrating an embodiment of the internal configuration of the automatic tracking imaging apparatus 10.

図９に示すように自動追尾撮像装置１０は、図２で説明した中央光学系１３及び環状光学系１４を有する撮影光学系１２と、図６ないし図８で説明したマイクロレンズアレイ１６及びイメージセンサ１８を有する指向性センサ１７とからなる撮像部１１を備えている。   As shown in FIG. 9, the automatic tracking imaging apparatus 10 includes a photographing optical system 12 having the central optical system 13 and the annular optical system 14 described with reference to FIG. 2, a microlens array 16 and an image sensor described with reference to FIGS. 6 to 8. An imaging unit 11 including a directional sensor 17 having 18 is provided.

この撮像部１１は、望遠光学系（環状光学系１４）の焦点調整を行う焦点調整部１９を備えることが好ましい。焦点調整部１９は、例えば、環状光学系１４の全体又は一部の光学系を光軸方向に移動させるボイスコイルモータ等により構成することができる。また、望遠画像の合焦の判断は、望遠画像の焦点検出領域のコントラストにより行うことができるが、焦点調整方法はこれに限定されない。尚、広角光学系（中央光学系１３）については、別途、焦点調整部を設けるようにしてよいし、パンフォーカスとしてもよい。   The imaging unit 11 preferably includes a focus adjustment unit 19 that performs focus adjustment of the telephoto optical system (annular optical system 14). The focus adjustment unit 19 can be configured by, for example, a voice coil motor or the like that moves the entire or part of the annular optical system 14 in the optical axis direction. In addition, the focus of the telephoto image can be determined based on the contrast of the focus detection area of the telephoto image, but the focus adjustment method is not limited to this. For the wide-angle optical system (central optical system 13), a focus adjustment unit may be provided separately or pan focus may be used.

パン・チルト装置（電動雲台）３０は、図１に示したように撮像部１１を装置本体２に対して水平方向（パン方向）に回転されるパン機構、及び垂直方向（チルト方向）に回動させるチルト機構（以下、「パン・チルト機構」と称す）３２、パン駆動部３４、及びチルト駆動部３６等を備えている。パン・チルト機構３２は、パン方向の回転角（パン角）の基準位置を検出するホームポジションセンサ、チルト方向の傾き角（チルト角）の基準位置を検出するホームポジションセンサを有している。   As shown in FIG. 1, the pan / tilt device (electric head) 30 has a pan mechanism that rotates the imaging unit 11 in the horizontal direction (pan direction) with respect to the apparatus body 2 and a vertical direction (tilt direction). A tilt mechanism (hereinafter referred to as “pan / tilt mechanism”) 32 for rotating, a pan driving unit 34, a tilt driving unit 36, and the like are provided. The pan / tilt mechanism 32 includes a home position sensor that detects a reference position of a rotation angle (pan angle) in the pan direction and a home position sensor that detects a reference position of a tilt angle (tilt angle) in the tilt direction.

パン駆動部３４及びチルト駆動部３６は、それぞれステッピングモータ及びモータドライバを有し、パン・チルト機構３２に駆動力を出力し、パン・チルト機構３２を駆動する。   The pan driving unit 34 and the tilt driving unit 36 each have a stepping motor and a motor driver, and output a driving force to the pan / tilt mechanism 32 to drive the pan / tilt mechanism 32.

撮像部１１は、撮影光学系１２及び指向性センサ１７を介して時系列の広角画像及び望遠画像を撮像するものであり、撮影光学系１２を介して指向性センサ１７（イメージセンサ１８）の各受光セル（光電変換素子）の受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。   The imaging unit 11 captures time-series wide-angle images and telephoto images via the photographing optical system 12 and the directivity sensor 17, and each of the directivity sensors 17 (image sensors 18) via the photographing optical system 12. The subject image formed on the light receiving surface of the light receiving cell (photoelectric conversion element) is converted into a signal voltage (or charge) in an amount corresponding to the amount of incident light.

イメージセンサ１８に蓄積された信号電圧（または電荷）は、受光セルそのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧（または電荷）は、Ｘ−Ｙアドレス方式を用いたＭＯＳ型撮像素子（いわゆるＣＭＯＳセンサ）の手法を用いて、受光セル位置の選択とともに読み出される。   The signal voltage (or charge) accumulated in the image sensor 18 is accumulated in the light receiving cell itself or an attached capacitor. The stored signal voltage (or charge) is read out together with the selection of the light receiving cell position by using a method of a MOS type image pickup device (so-called CMOS sensor) using an XY address method.

これにより、イメージセンサ１８から中央光学系１３に対応する中央の受光セルのグループの広角画像を示す画素信号と、環状光学系１４に対応する周囲８個の受光セルのグループの望遠画像を示す画素信号とを読み出すことができる。尚、イメージセンサ１８からは、所定のフレームレート（例えば、１秒当たりのフレーム数２４ｐ，３０ｐ，又は６０ｐ）で、広角画像及び望遠画像を示す画素信号が連続して読み出される。   Thereby, the pixel signal indicating the wide-angle image of the group of the light receiving cells in the center corresponding to the central optical system 13 from the image sensor 18 and the pixel indicating the telephoto image of the group of eight light receiving cells corresponding to the annular optical system 14. Signal can be read out. Note that pixel signals indicating a wide-angle image and a telephoto image are continuously read from the image sensor 18 at a predetermined frame rate (for example, the number of frames per second is 24p, 30p, or 60p).

イメージセンサ１８から読み出された画素信号（電圧信号）は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、受光セル毎の出力信号に含まれるフィードスルー成分レベルと信号成分レベルとの差をとることにより正確な画素データを得る処理）により受光セル毎の画素信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画素信号をデジタル信号に変換して画像取得部２２に出力する。尚、ＭＯＳ型センサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１８から直接デジタル信号が出力される。   The pixel signal (voltage signal) read from the image sensor 18 is converted into an output signal for each light receiving cell for the purpose of reducing correlated double sampling processing (noise (particularly thermal noise) included in the sensor output signal). The pixel signal for each light-receiving cell is sampled and held by a process of obtaining accurate pixel data by taking the difference between the included feedthrough component level and the signal component level, and is amplified and applied to the A / D converter 20 . The A / D converter 20 converts sequentially input pixel signals into digital signals and outputs them to the image acquisition unit 22. Note that some MOS type sensors include an A / D converter. In this case, a digital signal is directly output from the image sensor 18.

画像取得部２２は、イメージセンサ１８の受光セル位置を選択して画素信号を読み出すことにより、広角画像を示す画素信号と望遠画像を示す画素信号とを同時に、又は選択的に取得することができる。   The image acquisition unit 22 can acquire the pixel signal indicating the wide-angle image and the pixel signal indicating the telephoto image simultaneously or selectively by selecting the light receiving cell position of the image sensor 18 and reading out the pixel signal. .

即ち、イメージセンサ１８の中央瞳像１７ａが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり１個の受光セル（３×３の受光セルの中央の受光セル）の広角画像を示す画素信号（ベイヤ配列のモザイク画像を示す画素信号）を取得することができ、一方、イメージセンサ１８の環状瞳像１７ｂが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり８個の受光セル（３×３の受光セルの周囲の受光セル）の望遠画像を示す画素信号を取得することができる。   That is, by selectively reading out the pixel signal of the light receiving cell on which the central pupil image 17a of the image sensor 18 enters, the wide angle of one light receiving cell (light receiving cell in the center of 3 × 3 light receiving cells) per microlens. A pixel signal indicating an image (a pixel signal indicating a mosaic image of a Bayer array) can be acquired. On the other hand, by selectively reading out a pixel signal of a light receiving cell on which the annular pupil image 17b of the image sensor 18 is incident, 1 A pixel signal indicating a telephoto image of eight light receiving cells (light receiving cells around a 3 × 3 light receiving cell) per microlens can be acquired.

尚、イメージセンサ１８から全ての画素信号を読み出してバッファメモリに一時的に記憶させ、バッファメモリに記憶させた画素信号から、広角画像と望遠画像の２つ画像の画素信号のグループ分けを行ってもよい。   Note that all pixel signals are read from the image sensor 18 and temporarily stored in the buffer memory, and the pixel signals of the two images of the wide-angle image and the telephoto image are grouped from the pixel signals stored in the buffer memory. Also good.

画像取得部２２により取得された広角画像及び望遠画像を示す画素信号は、それぞれデジタル信号処理部４０及び物体検出部５０に出力される。   Pixel signals indicating the wide-angle image and the telephoto image acquired by the image acquisition unit 22 are output to the digital signal processing unit 40 and the object detection unit 50, respectively.

デジタル信号処理部４０は、入力するデジタルの画素信号（ＲＧＢの点順次のＲ信号、Ｇ信号、Ｂ信号）に対して、オフセット処理、ガンマ補正処理、及びＲＧＢのモザイク画像の信号に対するデモザイク処理や、広角画像および望遠画像のそれぞれから個別に推定された光源の色温度に基づいたホワイトバランス補正処理等の所定の信号処理を行う。   The digital signal processing unit 40 performs offset processing, gamma correction processing, and demosaicing processing on RGB mosaic image signals on input digital pixel signals (RGB dot-sequential R signal, G signal, B signal). Then, predetermined signal processing such as white balance correction processing based on the color temperature of the light source individually estimated from each of the wide-angle image and the telephoto image is performed.

ここで、デモザイク処理とは、単板式のイメージセンサ１８のカラーフィルタ配列に対応したＲＧＢのモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなるイメージセンサ１８の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。   Here, the demosaic process is a process of calculating all color information for each pixel from the RGB mosaic image corresponding to the color filter array of the single-plate image sensor 18, and is also referred to as a synchronization process. For example, in the case of the image sensor 18 composed of RGB color filters, this is a process of calculating color information of all RGB for each pixel from a mosaic image composed of RGB.

また、広角画像および望遠画像のそれぞれから個別に推定された光源の色温度に基づいたホワイトバランス補正処理とは、図８（ｃ１）の中央の受光セル及び図７（ｃ２）の周囲の８個の受光セルのそれぞれから得られた、広角画像および望遠画像のそれぞれに対応するＲ、Ｇ、Ｂの画像信号に基づいて自動的に光源種（被写界の色温度）を求め、予め光源種別に設定されたＲ、Ｇ、Ｂのホワイトバランスゲイン（ホワイトバランス補正値）を記憶するテーブルから対応するホワイトバランスゲインを読み出し、広角画像および望遠画像のそれぞれに対応するＲ、Ｇ、Ｂの画像信号に、それぞれに対応するホワイトバランスゲインが乗算されることをいう。   Further, the white balance correction processing based on the color temperature of the light source estimated individually from each of the wide-angle image and the telephoto image is the light receiving cell in the center of FIG. 8 (c1) and the eight in the periphery of FIG. 7 (c2). The light source type (the color temperature of the object field) is automatically obtained based on the R, G, B image signals corresponding to the wide-angle image and the telephoto image obtained from each of the light receiving cells, and the light source type is determined in advance. R, G, and B white balance gains (white balance correction values) set in the table are read out corresponding white balance gains, and R, G, and B image signals corresponding to the wide-angle image and the telephoto image, respectively. And the corresponding white balance gain.

即ち、デジタル信号処理部４０に含まれるデモザイク処理部は、広角画像（ベイヤ配列のモザイク画像）のＧ受光セルの位置には、Ｒ受光セル、Ｂ受光セルが無いため、そのＧ受光セルの周囲のＲ受光セル、Ｂ受光セルのＲ信号、Ｂ信号をそれぞれ補間して、Ｇ受光セルの位置におけるＲ信号、Ｂ信号を生成する。同様に、モザイク画像のＲ受光セルの位置には、Ｇ受光セル、Ｂ受光セルが無いため、そのＲ受光セルの周囲のＧ受光セル、Ｂ受光セルのＧ信号、Ｂ信号をそれぞれ補間してＲ受光セルの位置におけるＧ信号、Ｂ信号を生成し、また、モザイク画像のＢ受光セルの位置には、Ｇ受光セル、Ｒ受光セルが無いため、そのＢ受光セルの周囲のＧ受光セル、Ｒ受光セルのＧ信号、Ｒ信号をそれぞれ補間してＢ受光セルの位置におけるＧ信号、Ｒ信号を生成する。   That is, the demosaic processing unit included in the digital signal processing unit 40 has no R light receiving cell and B light receiving cell at the position of the G light receiving cell in the wide-angle image (Bayer array mosaic image). R signal and B signal of the R light receiving cell and B light receiving cell are respectively interpolated to generate R signal and B signal at the position of the G light receiving cell. Similarly, since there are no G light receiving cell and B light receiving cell at the position of the R light receiving cell in the mosaic image, the G light receiving cell around the R light receiving cell, the G signal of the B light receiving cell, and the B signal are respectively interpolated. G signal and B signal are generated at the position of the R light receiving cell, and since there are no G light receiving cell and R light receiving cell at the position of the B light receiving cell of the mosaic image, the G light receiving cells around the B light receiving cell, The G signal and R signal at the position of the B light receiving cell are generated by interpolating the G signal and R signal of the R light receiving cell, respectively.

一方、望遠画像は、図８（ｃ２）に示したように１マイクロレンズ１６ａ当たり８個（３×３の単位ブロックの周囲８個）のモザイク画像からなり、かつ８個の受光セル内には、ＲＧＢの全ての色情報（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）が含まれているため、デモザイク処理部は、単位ブロック内の８個の受光セルの出力信号を使用して単位ブロック毎にデモザイク処理した、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。   On the other hand, as shown in FIG. 8 (c2), the telephoto image is composed of 8 mosaic images per microlens 16a (8 around the 3 × 3 unit block), and in the 8 light receiving cells. Since all the RGB color information (R light receiving cell, G light receiving cell, B light receiving cell) is included, the demosaic processing unit uses the output signals of the eight light receiving cells in the unit block. It is possible to generate one pixel (RGB pixel value) constituting an image, demosaiced every time.

具体的には、望遠画像のモザイク画像をデモザイク処理するデモザイク処理部は、単位ブロック内の４個のＧ受光セルの画素値の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置における画素のＧの画素値を算出し、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置における画素のＲの画素値及びＢの画素値を算出する。   Specifically, the demosaic processing unit that performs demosaic processing of the mosaic image of the telephoto image obtains the average value of the pixel values of the four G light receiving cells in the unit block, thereby obtaining the center position of the unit block (1 microlens). By calculating the G pixel value of the pixel at the same time, and similarly calculating the average value of the pixel values of the two R light receiving cells and the average value of the pixel values of the two B light receiving cells in the unit block, respectively. The R pixel value and B pixel value of the pixel at the center position of the block are calculated.

上記デモザイク処理部により生成される広角画像及び望遠画像の２つのデモザイク画像のうちの望遠画像のデモザイク画像は、単位ブロック内の８個の受光セルの出力信号を使用してデモザイク処理が行われるため、周囲の単位ブロックの受光セルの出力信号を使用（補間）してデモザイク処理が行われる広角画像のデモザイク画像よりも解像度が実質的に高いものとなる。   The demosaic image of the telephoto image of the two demosaic images of the wide-angle image and the telephoto image generated by the demosaic processing unit is demosaiced using the output signals of the eight light receiving cells in the unit block. The resolution is substantially higher than the demosaic image of the wide-angle image in which the demosaic process is performed using (interpolating) the output signals of the light receiving cells of the surrounding unit blocks.

また、デジタル信号処理部４０は、デモザイク処理部によりデモザイク処理されたＲＧＢの色情報（Ｒ信号、Ｇ信号、Ｂ信号）から輝度信号Ｙと色差信号Ｃｂ，Ｃｒを生成するＲＧＢ／ＹＣ変換等を行い、所定のフレームレートの広角画像及び望遠画像を示す動画記録用及び動画表示用の画像信号を生成する。   Further, the digital signal processing unit 40 performs RGB / YC conversion for generating the luminance signal Y and the color difference signals Cb, Cr from the RGB color information (R signal, G signal, B signal) demosaiced by the demosaic processing unit. And generating image signals for recording and displaying moving images indicating wide-angle images and telephoto images at a predetermined frame rate.

デジタル信号処理部４０で処理された広角画像及び望遠画像を示す画像信号は、それぞれ記録部４２及び表示制御部４５に出力される。記録部４２は、デジタル信号処理部４０により処理された広角画像及び／又は望遠画像を示す動画記録用の画像信号を記録媒体（ハードディスク、メモリカード等）に記録する。尚、記録部４２は、広角画像中の望遠画像に相当する画角から物体が検出された場合に望遠画像を記録し、それ以外の場合は広角画像のみを記録するようにしてもよい。   Image signals indicating the wide-angle image and the telephoto image processed by the digital signal processing unit 40 are output to the recording unit 42 and the display control unit 45, respectively. The recording unit 42 records a moving image recording image signal indicating the wide-angle image and / or the telephoto image processed by the digital signal processing unit 40 on a recording medium (hard disk, memory card, or the like). The recording unit 42 may record the telephoto image when an object is detected from the angle of view corresponding to the telephoto image in the wide-angle image, and may record only the wide-angle image otherwise.

表示部４４は、表示制御部４５から選択的に出力される広角画像または望遠画像を示す動画表示用の画像信号により、広角画像及び望遠画像を表示する。尚、表示部４４は、記録部４２に記録された画像信号に基づいて広角画像及び／又は望遠画像を再生することもできる。   The display unit 44 displays a wide-angle image and a telephoto image by an image signal for moving image display indicating a wide-angle image or a telephoto image selectively output from the display control unit 45. The display unit 44 can also reproduce a wide-angle image and / or a telephoto image based on the image signal recorded in the recording unit 42.

一方、物体検出部５０は、画像取得部２２が取得した広角画像を示す画素信号に基づいて追尾対象の物体を検出し、検出した物体の画像中における位置情報をパン・チルト制御部６０に出力するものである。   On the other hand, the object detection unit 50 detects the tracking target object based on the pixel signal indicating the wide-angle image acquired by the image acquisition unit 22, and outputs position information of the detected object in the image to the pan / tilt control unit 60. To do.

物体検出部５０における物体の検出方法としては、人物の顔認識を行う技術や、車両のナンバープレートのナンバー認識に代表される物体認識技術により特定の物体を検出する方法、又は動体を追尾対象の物体として検出する動体検出方法がある。   As a method for detecting an object in the object detection unit 50, a technique for performing human face recognition, a method for detecting a specific object by an object recognition technique represented by number recognition of a license plate of a vehicle, or a moving object is a tracking target. There is a moving object detection method for detecting an object.

物体認識による物体の検出方法は、特定の物体の見え方の特徴（車両のナンバープレートの数字の形状など）を物体辞書として予め登録しておき、撮影された画像から位置や大きさを変えながら切り出した画像と、物体辞書とを比較しながら物体を認識する方法である。   The object detection method based on object recognition is a method of registering in advance the characteristics of the appearance of a specific object (such as the shape of a number on a vehicle license plate) as an object dictionary, and changing the position and size of the captured image. This is a method for recognizing an object by comparing a cut-out image with an object dictionary.

赤外線照射機８１は、中央光学系１３の画角に相当する指向性を有する赤外線を照射する装置であり、ＬＥＤなどで構成される。デバイス制御部８２は、赤外線照射機８１の発光の開始・終了を制御する。操作部８３は、ボタン、キー、タッチパネルなど、ユーザの操作を受け付け、その操作に対応する信号をＣＰＵ８５に出力する。ＣＰＵ８５は、撮像装置を統括制御するプロセッサであり、その処理に必要なデータは、メモリ８４に格納される。   The infrared irradiator 81 is a device that irradiates infrared rays having directivity corresponding to the angle of view of the central optical system 13 and is configured by LEDs or the like. The device control unit 82 controls the start and end of light emission of the infrared irradiator 81. The operation unit 83 receives user operations such as buttons, keys, and a touch panel, and outputs a signal corresponding to the operations to the CPU 85. The CPU 85 is a processor that performs overall control of the imaging apparatus, and data necessary for the processing is stored in the memory 84.

図１０及び図１１は、それぞれ撮像された広角画像及び望遠画像の一例を示す図である。尚、広角画像中の破線で示した領域は、望遠画像の撮像範囲を示している。   10 and 11 are diagrams illustrating examples of a wide-angle image and a telephoto image that are captured, respectively. In addition, the area | region shown with the broken line in a wide angle image has shown the imaging range of the telephoto image.

いま、図１０（ａ）及び（ｂ）に示す広角画像Ｉ１及び望遠画像Ｉ２（広角画像Ｉ１の中の範囲Ｒに相当）が撮像され、かつ人物の顔を追尾対象とし、物体（顔）認識技術により人物の顔を検出する場合、広角画像では、顔を検出することができるが、望遠画像では、顔を検出することができない。望遠画像には、人物の顔の一部しか入っておらず、顔を認識することができないからである。   Now, a wide-angle image I1 and a telephoto image I2 (corresponding to a range R in the wide-angle image I1) shown in FIGS. 10A and 10B are captured, and a person's face is a tracking target, and object (face) recognition is performed. When a human face is detected by technology, a face can be detected in a wide-angle image, but a face cannot be detected in a telephoto image. This is because the telephoto image contains only a part of the human face and cannot recognize the face.

従って、この場合、人物の顔（物体）の、広角画像中の位置情報をパン・チルト制御部６０に出力する。また、表示制御部４５は広角画像を選択的に表示部４４に出力する。すなわち、望遠画像に追尾対象の一部しか映っていない場合、広角画像を選択的に表示部４４に表示することで、追尾対象を見やすくする。   Therefore, in this case, the position information of the person's face (object) in the wide-angle image is output to the pan / tilt control unit 60. Further, the display control unit 45 selectively outputs a wide-angle image to the display unit 44. That is, when only a part of the tracking target is shown in the telephoto image, the wide-angle image is selectively displayed on the display unit 44 to make the tracking target easy to see.

一方、図１１（ａ）及び（ｂ）に示すように、広角画像Ｉ１中の望遠画像Ｉ２に相当する範囲Ｒで物体を検出した場合には、検出した物体の望遠画像中の位置情報をパン・チルト制御部６０に出力するとともに、表示制御部４５は望遠画像を選択的に表示部４４に出力する。望遠画像に追尾対象が映り物体が検出された場合、広角画像よりも望遠画像の方が検出された物体を見やすいからである。   On the other hand, as shown in FIGS. 11A and 11B, when an object is detected in a range R corresponding to the telephoto image I2 in the wide-angle image I1, the position information of the detected object in the telephoto image is panned. -While outputting to the tilt control part 60, the display control part 45 outputs a telephoto image to the display part 44 selectively. This is because when the tracking target appears in the telephoto image and an object is detected, the telephoto image is easier to see than the wide-angle image.

パン・チルト制御部６０は、上記のように物体検出部５０から入力する広角画像中の物体の位置情報に基づいてパン・チルト装置３０を制御する部分であり、物体の画像中の位置情報（例えば、追尾対象の顔の場合には、顔領域の重心位置）が画像の中心位置（光軸上の位置）に移動するように、パン駆動部３４、チルト駆動部３６を介してパン・チルト機構３２（即ち、撮像部１１による撮影方向）を制御する。   The pan / tilt control unit 60 controls the pan / tilt device 30 based on the position information of the object in the wide-angle image input from the object detection unit 50 as described above. For example, in the case of a face to be tracked, pan / tilt is performed via the pan drive unit 34 and the tilt drive unit 36 so that the center of gravity of the face region moves to the center position of the image (position on the optical axis). The mechanism 32 (that is, the shooting direction by the imaging unit 11) is controlled.

上記のパン・チルト機構３２の制御により、追尾対象の物体（例えば、人物の顔）が広角画像の中心にくるように、物体を自動追尾して撮像することができる。尚、本例では、物体の画像中の位置（重心位置）が、望遠画像の中心にくるように追尾制御する場合について説明したが、これに限らず、物体の画像中の位置（重心位置）が、少なくとも望遠画像の画角（好ましくは、望遠画像の中心近傍の一定範囲（例えば、焦点検出領域内））に入るようにパン・チルト機構３２を制御するようにしてもよい。   By controlling the pan / tilt mechanism 32 described above, an object can be automatically tracked and imaged so that the object to be tracked (for example, a human face) is at the center of the wide-angle image. In this example, the case where the tracking control is performed so that the position (centroid position) of the object in the image is located at the center of the telephoto image is not limited to this, but the position (center of gravity position) of the object is not limited to this. However, the pan / tilt mechanism 32 may be controlled so that it enters at least the angle of view of the telephoto image (preferably within a certain range near the center of the telephoto image (for example, within the focus detection region)).

次に、物体検出部５０における物体の検出方法として、動体を追尾対象の物体として検出する動体検出方法の一例について説明する。   Next, as an object detection method in the object detection unit 50, an example of a moving object detection method for detecting a moving object as a tracking target object will be described.

この場合、物体検出部５０は、図１２に示すように時系列の２枚の広角画像（前回取得した広角画像（図１２（ａ）と、今回取得した広角画像（図１２（ｂ））の差分をとった差分画像（図１２（ｃ））を検出する。   In this case, as shown in FIG. 12, the object detection unit 50 includes two time-series wide-angle images (a wide-angle image acquired previously (FIG. 12A) and a wide-angle image acquired this time (FIG. 12B)). A difference image (FIG. 12 (c)) obtained from the difference is detected.

図１２（ａ）及び（ｂ）に示す例では、物体Ａ，Ｂのうちの物体Ａが移動し、物体Ｂは停止している。   In the example shown in FIGS. 12A and 12B, the object A out of the objects A and B moves and the object B stops.

従って、図１２（ｃ）に示すように差分画像Ａ１，Ａ２は、物体Ａの移動により生じた画像である。 Accordingly, as shown in FIG. 12C, the difference images A 1 and A 2 are images generated by the movement of the object A.

ここで、差分画像Ａ１，Ａ２の重心位置を算出し、それぞれ位置Ｐ１，Ｐ２とし、これらの位置Ｐ１，Ｐ２を結ぶ線分の中点を、位置Ｇとする。そして、この位置Ｇを動体（物体Ａ）の広角画像中の位置とする。 Here, the barycentric positions of the difference images A 1 and A 2 are calculated and set as positions P 1 and P 2 , respectively, and the midpoint of the line segment connecting these positions P 1 and P 2 is set as a position G. The position G is set as a position in the wide-angle image of the moving object (object A).

このようして算出した広角画像中の物体Ａの位置Ｇが、広角画像の中心位置（光軸上の位置）に移動するように、パン・チルト機構３２（即ち、撮像部１１による撮影方向）を繰り返し制御することにより、物体Ａが広角画像の中心位置に移動（収束）する。   The pan / tilt mechanism 32 (that is, the shooting direction by the imaging unit 11) so that the position G of the object A in the wide-angle image thus calculated moves to the center position (position on the optical axis) of the wide-angle image. Is repeatedly controlled, the object A moves (converges) to the center position of the wide-angle image.

撮像部１１が移動（パン・チルト機構３２により移動、又は自動追尾撮像装置１０を車載することにより移動）する場合、時系列の画像間の背景も移動することになるが、この場合には、時系列の画像間の背景が一致するように画像をシフトさせ、シフト後の画像間の差分画像をとることにより、撮像部１１の移動にかかわらず、実空間内を移動する物体を検出することができる。更に、動体検出方法は、上記の実施形態に限らない。   When the imaging unit 11 moves (moves by the pan / tilt mechanism 32 or moves by mounting the automatic tracking imaging device 10), the background between the time-series images also moves. In this case, Detecting an object moving in the real space regardless of the movement of the imaging unit 11 by shifting the images so that the backgrounds between the time-series images match and taking the difference image between the shifted images. Can do. Furthermore, the moving object detection method is not limited to the above embodiment.

＜自動追尾制御方法＞
図１３は、本発明に係る自動追尾撮像装置による自動追尾制御方法の例を示すフローチャートである。 <Automatic tracking control method>
FIG. 13 is a flowchart showing an example of an automatic tracking control method by the automatic tracking imaging apparatus according to the present invention.

図１３において、物体検出部５０は、画像取得部２２から広角画像を取得する（ステップＳ２０）。このステップＳ２０の時点では、フィルタ６３ａは光路に挿入されているとする（図３参照）。続いて、ＣＰＵ８５は、フィルタ制御処理（広角）を実施する（Ｓ２１）。この処理の詳細は後述する。   In FIG. 13, the object detection unit 50 acquires a wide-angle image from the image acquisition unit 22 (step S20). It is assumed that the filter 63a is inserted in the optical path at the time of step S20 (see FIG. 3). Subsequently, the CPU 85 performs a filter control process (wide angle) (S21). Details of this processing will be described later.

フィルタ制御処理（広角）の後、物体検出部５０は、取得した広角画像から追尾対象の物体を検出する（ステップＳ２２）。   After the filter control process (wide angle), the object detection unit 50 detects the tracking target object from the acquired wide angle image (step S22).

続いて、物体検出部５０は、ステップＳ２２において、広角画像中で望遠画像の画角に相当する範囲から物体が検出されたか否かを判別する（ステップＳ２４）。この範囲から物体が検出された場合（「Yes」の場合）には、物体検出部５０は、検出した物体の広角画像中の位置情報を算出する（ステップＳ２６）。表示制御部４５は、デジタル信号処理部４０から出力された望遠画像および広角画像のうち、望遠画像を選択的に表示部４４に出力する（ステップＳ２７）。この結果、表示部４４には、望遠画像が表示される。また、記録部４２は、デジタル信号処理部４０により処理された望遠画像を示す動画記録用の画像信号を記録媒体に記録する（ステップＳ２７）。これにより、例えば不審人物が検出された場合、その人物を画角内に捉えた望遠画像の記録が開始される。   Subsequently, in step S22, the object detection unit 50 determines whether an object is detected from a range corresponding to the angle of view of the telephoto image in the wide-angle image (step S24). When an object is detected from this range (in the case of “Yes”), the object detection unit 50 calculates position information of the detected object in the wide-angle image (step S26). The display control unit 45 selectively outputs the telephoto image among the telephoto image and the wide-angle image output from the digital signal processing unit 40 to the display unit 44 (step S27). As a result, a telephoto image is displayed on the display unit 44. The recording unit 42 records an image signal for recording a moving image indicating the telephoto image processed by the digital signal processing unit 40 on a recording medium (step S27). Thereby, for example, when a suspicious person is detected, recording of a telephoto image in which the person is captured within the angle of view is started.

一方、この範囲から物体が検出されなかった場合（「No」の場合）には、ステップＳ２８に遷移する。ここで、ステップＳ２８からステップＳ３２の処理は、物体検出部５０は、画像取得部２２から広角画像を取得し（ステップＳ２８）、取得した広角画像から追尾対象の物体を検出し（ステップＳ３０）、検出した物体の広角画像中の位置情報を算出する（ステップＳ３２）。表示制御部４５は、デジタル信号処理部４０から出力された望遠画像および広角画像のうち、広角画像を選択的に表示部４４に出力する（ステップＳ３３）。この結果、表示部４４には、広角画像が表示される。   On the other hand, when an object is not detected from this range (in the case of “No”), the process proceeds to step S28. Here, in the processing from step S28 to step S32, the object detection unit 50 acquires a wide-angle image from the image acquisition unit 22 (step S28), detects the tracking target object from the acquired wide-angle image (step S30), and Position information in the wide-angle image of the detected object is calculated (step S32). The display control unit 45 selectively outputs a wide-angle image among the telephoto image and the wide-angle image output from the digital signal processing unit 40 to the display unit 44 (step S33). As a result, a wide-angle image is displayed on the display unit 44.

次に、パン・チルト制御部６０は、ステップＳ２６又はステップＳ３２により検出された広角画像中の物体の位置情報を入力し、入力した位置情報に基づいて物体が広角画像中の中心位置にくるようにパン・チルト装置３０を制御する（ステップＳ３４）。   Next, the pan / tilt control unit 60 inputs the position information of the object in the wide-angle image detected in step S26 or step S32, so that the object comes to the center position in the wide-angle image based on the input position information. Then, the pan / tilt device 30 is controlled (step S34).

次に、自動追尾撮像が終了したか否かを判別し（ステップＳ３６）、終了していないと判別すると、ステップＳ２０に遷移させる。これにより、上記ステップＳ２０からステップＳ３６の処理が繰り返され、物体を自動追尾した撮像が行われる。一方、自動追尾撮像が終了したと判別されると、自動追尾撮像を終了する。   Next, it is determined whether or not automatic tracking imaging has ended (step S36). If it is determined that automatic tracking imaging has not ended, the process proceeds to step S20. Thereby, the processing from step S20 to step S36 is repeated, and imaging with automatic tracking of the object is performed. On the other hand, when it is determined that the automatic tracking imaging is finished, the automatic tracking imaging is finished.

図１４はフィルタ制御処理（広角）のフローチャートを示す。この処理の前提として、フィルタ６３ａは、赤外線をカットする光学特性を有する赤外線カットフィルタで構成されているものとする。   FIG. 14 shows a flowchart of the filter control process (wide angle). As a premise of this processing, it is assumed that the filter 63a is composed of an infrared cut filter having optical characteristics for cutting infrared rays.

Ｓ１０１では、ＣＰＵ８５は、Ｓ２０で取得された広角画像の輝度値（Ｙ）を、広角画像の明るさとして検出する。そして、検出された広角画像の明るさが、所定の閾値以下であるか否かを判断する。Ｙｅｓの場合はＳ１０２に進む。Ｎｏの場合は、フィルタ６３ａを挿入した状態を維持し、Ｓ２０に進む。Ｎｏの場合は、広角画像の明るさが確保されているため、赤外線により照らされた被写体をイメージセンサ１８でとらえる必要がなく、可視光により照らされた被写体をイメージセンサ１８でとらえればよいためである。   In S101, the CPU 85 detects the brightness value (Y) of the wide-angle image acquired in S20 as the brightness of the wide-angle image. Then, it is determined whether or not the brightness of the detected wide-angle image is equal to or less than a predetermined threshold value. In the case of Yes, it progresses to S102. In No, the state which inserted the filter 63a is maintained, and it progresses to S20. In the case of No, since the brightness of the wide-angle image is ensured, it is not necessary to capture the subject illuminated by infrared rays with the image sensor 18, and it is only necessary to capture the subject illuminated with visible light with the image sensor 18. is there.

Ｓ１０２では、ＣＰＵ８５は、デバイス制御部８２に対し、赤外線照射機８１の発光を開始するよう指示する。デバイス制御部８２は、この指示に従い、赤外線照射機８１の発光を開始する。   In S <b> 102, the CPU 85 instructs the device control unit 82 to start the light emission of the infrared irradiator 81. The device control unit 82 starts light emission of the infrared irradiator 81 in accordance with this instruction.

Ｓ１０３では、ＣＰＵ８５は、デバイス制御部８２に対し、光路からフィルタ６３ａを退出するよう指示する。デバイス制御部８２は、この指示に従い、光路に挿入されているフィルタ６３ａ（図３参照）を、光路から退出させ（図２参照）、イメージセンサ１８に赤外線が入射できるようにする。これにより、赤外線により被写体の照らされた広角画像を得ることができ、暗所に潜む不審者などの物体追尾に役立つ。   In S103, the CPU 85 instructs the device control unit 82 to exit the filter 63a from the optical path. In accordance with this instruction, the device controller 82 causes the filter 63a (see FIG. 3) inserted in the optical path to exit from the optical path (see FIG. 2) so that infrared light can enter the image sensor 18. This makes it possible to obtain a wide-angle image of a subject illuminated by infrared rays, and is useful for tracking an object such as a suspicious person who is hidden in a dark place.

なお、フィルタ６３ｂは、フィルタ６３ａと同じく赤外線カットフィルタで構成されているものとすると、Ｓ１０３では、ＣＰＵ８５は、デバイス制御部８２に対し、環状光学系１４の光路にフィルタ６３ｂを挿入するよう指示し、デバイス制御部８２は、この指示に従い、環状光学系１４の光路にフィルタ６３ｂに挿入させることが好ましい（図４参照）。   Assuming that the filter 63b is an infrared cut filter similar to the filter 63a, in S103, the CPU 85 instructs the device controller 82 to insert the filter 63b in the optical path of the annular optical system 14. The device controller 82 preferably inserts the filter 63b into the optical path of the annular optical system 14 in accordance with this instruction (see FIG. 4).

このようなフィルタ配列の理由は次の通りである。すなわち、夜間などの暗い撮影シーンにおいて、広角画像には、点光源被写体や月明かりなど、何かしら写ると考えられる。一方、望遠画像には、対象となる被写体が写らないことがあり、また写ったとしても暗く映る可能性もある。暗い場合で被写体に気づかれず撮影したいときは、広角画像には影響が出てこないように、赤外線照射機８１で照らされた主要被写体を明るく取りたいため、このようなフィルタ配列が望ましい。   The reason for such a filter arrangement is as follows. That is, in a dark shooting scene such as at night, it is considered that something appears in the wide-angle image, such as a point light source subject or moonlight. On the other hand, in the telephoto image, the subject subject may not appear, and even if it appears, it may appear dark. When it is dark and it is desired to take a picture without noticing the subject, such a filter arrangement is desirable because it is desired to brighten the main subject illuminated by the infrared illuminator 81 so that the wide-angle image is not affected.

＜指向性センサの他の実施形態＞
図１５は、指向性センサの他の実施形態を示す側面図である。 <Other Embodiments of Directional Sensor>
FIG. 15 is a side view showing another embodiment of the directivity sensor.

この指向性センサ１１７は、瞳分割手段としてのマイクロレンズアレイ１１８及び遮光マスクとして機能する遮光部材１２０と、遮光部材１２０により受光セル１１６ａ、１１６ｂの一部が遮光されたイメージセンサ１１６とから構成されている。尚、遮光部材１２０により一部が遮光された受光セル１１６ａと受光セル１１６ｂとは、イメージセンサ１１６の左右方向及び上下方向に交互（チェッカーフラグ状）に設けられている。   The directivity sensor 117 includes a microlens array 118 serving as a pupil dividing unit, a light shielding member 120 functioning as a light shielding mask, and an image sensor 116 in which a part of the light receiving cells 116 a and 116 b is shielded from light by the light shielding member 120. ing. The light receiving cells 116a and the light receiving cells 116b partially shielded by the light shielding member 120 are provided alternately (checker flag shape) in the horizontal direction and the vertical direction of the image sensor 116.

マイクロレンズアレイ１１８は、イメージセンサ１１６の受光セル１１６ａ、１１６ｂと一対一に対応するマイクロレンズ１１８ａを有している。   The microlens array 118 includes microlenses 118 a that correspond one-to-one with the light receiving cells 116 a and 116 b of the image sensor 116.

遮光部材１２０は、イメージセンサ１１６の受光セル１１６ａ、１１６ｂの開口を規制するものであり、図２に示した撮影光学系１２の中央光学系１３及び環状光学系１４に対応する開口形状を有している。尚、マイクロレンズアレイ１１８の各レンズの下方には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されている。   The light shielding member 120 regulates the opening of the light receiving cells 116a and 116b of the image sensor 116, and has an opening shape corresponding to the central optical system 13 and the annular optical system 14 of the photographing optical system 12 shown in FIG. ing. Note that red (R), green (G), and blue (B) color filters are disposed below each lens of the microlens array 118.

受光セル１１６ａは、遮光部材１２０の遮光部１２０ａによりその開口の周辺部が遮光され、一方、受光セル１１６ｂは、遮光部材１２０の遮光部１２０ｂによりその開口の中心部が遮光されている。これにより、撮影光学系１２の中央光学系１３を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ａにより瞳分割されて受光セル１１６ａに入射し、一方、撮影光学系１２の環状光学系１４を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ｂにより瞳分割されて受光セル１１６ｂに入射する。   In the light receiving cell 116a, the periphery of the opening is shielded by the light shielding portion 120a of the light shielding member 120, while in the light receiving cell 116b, the central portion of the opening is shielded by the light shielding portion 120b of the light shielding member 120. As a result, the light beam that has passed through the central optical system 13 of the photographic optical system 12 is pupil-divided by the microlens array 118 and the light shielding portion 120a of the light shielding member 120 and enters the light receiving cell 116a. The light beam that has passed through the optical system 14 is divided into pupils by the microlens array 118 and the light shielding portion 120b of the light shielding member 120, and enters the light receiving cell 116b.

これにより、イメージセンサ１１６の各受光セル１１６ａから広角画像の画素信号を読み出すことができ、イメージセンサ１１６の各受光セル１１６ｂから望遠画像の画素信号を読み出すことができる。   Thereby, the pixel signal of the wide-angle image can be read from each light receiving cell 116a of the image sensor 116, and the pixel signal of the telephoto image can be read from each light receiving cell 116b of the image sensor 116.

＜撮像部の他の実施形態＞
次に、本発明に係る自動追尾撮像装置に適用される撮像部の他の実施形態について説明する。 <Other Embodiments of Imaging Unit>
Next, another embodiment of the imaging unit applied to the automatic tracking imaging apparatus according to the present invention will be described.

図１６は、自動追尾撮像装置１０に適用可能な撮像部の他の実施形態を示す断面図である。   FIG. 16 is a cross-sectional view illustrating another embodiment of an imaging unit applicable to the automatic tracking imaging apparatus 10.

この撮像部は、撮影光学系１１２と、指向性センサ１７とから構成されている。尚、指向性センサ１７は、図２及び図６に示したものと同一であるため、以下、撮影光学系１１２について説明する。   The imaging unit includes a photographic optical system 112 and a directivity sensor 17. The directivity sensor 17 is the same as that shown in FIGS. 2 and 6, and therefore the photographing optical system 112 will be described below.

この撮影光学系１１２は、それぞれ同一の光軸上に配置された中央部の中央光学系１１３とその周辺部の環状光学系１１４とから構成されている。   The photographing optical system 112 includes a central optical system 113 at the center and an annular optical system 114 at the periphery thereof arranged on the same optical axis.

中央光学系１１３は、第１レンズ１１３ａ、第２レンズ１１３ｂ、及び共通レンズ１１５から構成された望遠光学系であり、画角αを有している。   The central optical system 113 is a telephoto optical system including a first lens 113a, a second lens 113b, and a common lens 115, and has an angle of view α.

環状光学系１１４は、レンズ１１４ａ及び共通レンズ１１５から構成された広角光学系であり、画角β（β＞α）を有し、中央光学系１１３よりも広角である。   The annular optical system 114 is a wide-angle optical system including a lens 114 a and a common lens 115, has an angle of view β (β> α), and is wider than the central optical system 113.

この撮影光学系１１２は、図２に示した撮影光学系１２と比較すると、反射ミラーを使用しておらず、また、中央光学系１１３が望遠光学系であり、環状光学系１１４が広角光学系である点で相違する。   Compared with the photographing optical system 12 shown in FIG. 2, the photographing optical system 112 does not use a reflecting mirror, the central optical system 113 is a telephoto optical system, and the annular optical system 114 is a wide-angle optical system. It is different in that.

＜フィルタ制御処理の他の実施形態＞
図１７は、自動追尾撮像装置１０の内部構成の他の実施形態を示すブロック図である。図１７において、図９のブロックと同様の機能を有するものには、同じ符号が付されている。この自動追尾撮像装置１０は、ＬＥＤや有機ＥＬなどのサーチライトで構成された可視光照射機８６をさらに備えている。可視光照射機８６は、環状光学系１４の画角に相当する指向性を有する可視光線を照射する。可視光照射機８６の発光の開始および停止は、デバイス制御部８２によって制御される。 <Other Embodiments of Filter Control Processing>
FIG. 17 is a block diagram showing another embodiment of the internal configuration of the automatic tracking imaging apparatus 10. In FIG. 17, components having the same functions as those in the block of FIG. The automatic tracking imaging apparatus 10 further includes a visible light irradiator 86 formed of a search light such as an LED or an organic EL. The visible light irradiator 86 irradiates visible light having directivity corresponding to the angle of view of the annular optical system 14. The start and stop of light emission of the visible light irradiator 86 is controlled by the device control unit 82.

図１８は、図１７の自動追尾撮像装置１０が実行する自動追尾制御方法の他の例を示すフローチャートである。この処理は、図１３の処理の代わりに実行される。このフローチャートでは、Ｓ２４にて広角画像中で望遠画像の画角に相当する範囲から物体が検出されたと判断された場合（Ｙｅｓ）の後、Ｓ２５にてフィルタ制御処理（望遠）が実行される。この処理の前提として、フィルタ６３ｂは、赤外線カットフィルタで構成されているものとする。   FIG. 18 is a flowchart illustrating another example of the automatic tracking control method executed by the automatic tracking imaging device 10 of FIG. This process is executed instead of the process of FIG. In this flowchart, when it is determined in S24 that an object is detected from the range corresponding to the angle of view of the telephoto image in the wide-angle image (Yes), filter control processing (telephoto) is executed in S25. As a premise of this processing, it is assumed that the filter 63b is configured by an infrared cut filter.

図１９はフィルタ制御処理（望遠）のフローチャートを示す。   FIG. 19 shows a flowchart of the filter control process (telephoto).

Ｓ１１１では、ＣＰＵ８５は、デバイス制御部８２に対し、環状光学系１１４の光路にフィルタ６３ｂを挿入するよう指示する。デバイス制御部８２は、この指示に従い、環状光学系１１４の光路から退出されているフィルタ６３ｂ（図２参照）を、環状光学系１１４の光路に挿入させる（図４参照）。   In S111, the CPU 85 instructs the device controller 82 to insert the filter 63b in the optical path of the annular optical system 114. In accordance with this instruction, the device control unit 82 inserts the filter 63b (see FIG. 2) that has exited from the optical path of the annular optical system 114 into the optical path of the annular optical system 114 (see FIG. 4).

Ｓ１１２では、ＣＰＵ８５は、デバイス制御部８２に対し、可視光照射機８６の発光を開始するよう指示する。デバイス制御部８２は、この指示に従い、可視光照射機８６の発光を開始する。これにより、被写体が可視光で照らされ被写体がカラーでよく見える望遠画像を取得できる。   In S <b> 112, the CPU 85 instructs the device control unit 82 to start emission of the visible light irradiator 86. The device controller 82 starts light emission of the visible light irradiator 86 in accordance with this instruction. Thereby, it is possible to obtain a telephoto image in which the subject is illuminated with visible light and the subject can be seen well in color.

なお、フィルタ６３ａは、赤外線を透過し可視光はカットする光学特性を有するフィルタ（ＩＲ透過可視光カットフィルタ）で構成されているものとすると、Ｓ１１２では、ＣＰＵ８５は、デバイス制御部８２に対し、中央光学系１３の光路に、フィルタ６３ａを挿入するよう指示し、デバイス制御部８２は、この指示に従い、中央光学系１３の光路にフィルタ６３ａを挿入させることが好ましい。こうすれば、可視光照射機８６で照らされた被写体の可視光像が広角画像に映ることが防げ、かつ、赤外線照射機８１で照らされた被写体の赤外線像を広角画像でとらえることができる。   If the filter 63a is configured by a filter having an optical characteristic of transmitting infrared rays and cutting visible light (IR transmission visible light cut filter), in S112, the CPU 85 causes the device control unit 82 to It is preferable to instruct the optical path of the central optical system 13 to insert the filter 63a, and the device control unit 82 preferably inserts the filter 63a into the optical path of the central optical system 13 in accordance with this instruction. In this way, the visible light image of the subject illuminated by the visible light irradiator 86 can be prevented from appearing in the wide-angle image, and the infrared image of the subject illuminated by the infrared illuminator 81 can be captured as the wide-angle image.

逆に、フィルタ６３ａがＩＲカットフィルタで構成され、フィルタ６３ｂがＩＲ透過可視光カットフィルタで構成されている場合、フィルタ制御処理（広角）および／またはフィルタ制御処理（望遠）が実行されてもよい。フィルタ６３ｂがＩＲ透過可視光カットフィルタで構成されている場合、望遠画像のＹ信号から明るさを検出し、この明るさが所定の閾値以下であれば、環状光学系１１４の画角に指向性を有する赤外線を照射して望遠画像での被写体の検出と追尾を試みる。これにより、暗いシーンでも、被写体の赤外線像を望遠画像にて視認できる。この際、フィルタ６３ａは挿入した状態とすると，望遠画像での被写体の検出に処理を集中させることができる。   Conversely, when the filter 63a is configured with an IR cut filter and the filter 63b is configured with an IR transmitted visible light cut filter, filter control processing (wide angle) and / or filter control processing (telephoto) may be executed. . When the filter 63b is composed of an IR transmitted visible light cut filter, the brightness is detected from the Y signal of the telephoto image, and if this brightness is equal to or less than a predetermined threshold, the directivity is set to the angle of view of the annular optical system 114. Attempts to detect and track a subject in a telephoto image by irradiating with infrared rays having. Thereby, the infrared image of the subject can be visually recognized as a telephoto image even in a dark scene. At this time, if the filter 63a is inserted, the processing can be concentrated on the detection of the subject in the telephoto image.

＜撮影光学系の他の実施形態＞
図２０は撮影光学系１２の他の実施形態を示す。図２と同様の機能を有する部材には、図２０においても共通の符号が付されている。撮影光学系１２は、第１レンズ１４ａよりも被写体側に第５レンズ１３ｅ（中央光学系）、１４ｅ（環状光学系）をさらに備えており、第１レンズ１４ａと第５レンズ１４ｅの間、すなわち、第１レンズ１４ａよりも被写体側には、フィルタ６３ａ、フィルタ６３ｂが配置されている。なお第１レンズ１３ａおよび第５レンズ１３ｅの相対的位置をボイスコイルモータなどで調整することで、広角画像の変倍が可能となる。 <Other Embodiments of Imaging Optical System>
FIG. 20 shows another embodiment of the photographing optical system 12. Members having the same functions as those in FIG. 2 are given the same reference numerals in FIG. The photographing optical system 12 further includes a fifth lens 13e (central optical system) and 14e (annular optical system) on the subject side of the first lens 14a, and is between the first lens 14a and the fifth lens 14e, that is, A filter 63a and a filter 63b are disposed on the subject side of the first lens 14a. Note that by adjusting the relative positions of the first lens 13a and the fifth lens 13e with a voice coil motor or the like, zooming of a wide-angle image becomes possible.

フィルタ６３ｂは、第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより光束が折り返される前の光路に配置されており、反射した光束を含めた複数の光束は通過させない。このため、反射した光束を含めた複数の光束がフィルタ６３ｂを通過して望遠画像が正常に再生できないことを防げる。   The filter 63b is disposed in the optical path before the light beam is folded back by the first reflection mirror 14c and the second reflection mirror 14d, and does not allow a plurality of light beams including the reflected light beam to pass therethrough. For this reason, it can be prevented that a plurality of light beams including the reflected light beam pass through the filter 63b and the telephoto image cannot be normally reproduced.

［その他］
本実施形態の自動追尾撮像装置１０は、撮像部１１をパン方向及びチルト方向に回動させるパン・チルト機構３２が装置本体２に設けられているが、これに限らず、撮像装置全体を電動雲台（パン・チルト装置）に搭載したものでもよい。尚、本発明に係る自動追尾撮像装置は、例えば、監視カメラ、車載カメラとして使用することができる。 [Others]
In the automatic tracking imaging device 10 according to the present embodiment, the pan / tilt mechanism 32 that rotates the imaging unit 11 in the pan direction and the tilt direction is provided in the apparatus main body 2. It may be mounted on a pan head (pan / tilt device). Note that the automatic tracking imaging apparatus according to the present invention can be used as, for example, a surveillance camera or an in-vehicle camera.

また、追尾対象の物体は、表示部４４に表示された広角画像からタッチパネル等を使用して操作者が最初に設定するようにしてもよい。   Further, the tracking target object may be initially set by the operator using a touch panel or the like from the wide-angle image displayed on the display unit 44.

本実施形態の撮影光学系は、第１の光学系の周辺部に設けられた第２の光学系を、環状光学系としたが、これに限らず、光軸を中心とした同心円上に配設した複数の光学系により構成されたものでもよい。   In the photographing optical system of the present embodiment, the second optical system provided in the peripheral portion of the first optical system is an annular optical system, but is not limited to this, and is arranged on a concentric circle with the optical axis as the center. It may be configured by a plurality of optical systems provided.

また、図２に示した撮影光学系１２の反射ミラー型のレンズ構成のうちの反射ミラーは、凹面鏡や凸面鏡に限らず、平面鏡でもよく、また、反射ミラーの枚数も２枚に限らず、３枚以上設けるようにしてもよい。   2 is not limited to a concave mirror or a convex mirror, and may be a plane mirror, and the number of reflection mirrors is not limited to two. You may make it provide more sheets.

更に、焦点調整部は、中央光学系及び環状光学系の共通レンズ、又はイメージセンサを光軸方向に移動させるものでもよい。   Further, the focus adjustment unit may move the common lens of the central optical system and the annular optical system or the image sensor in the optical axis direction.

更にまた、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。   Furthermore, it goes without saying that the present invention is not limited to the embodiments described above, and various modifications can be made without departing from the spirit of the present invention.

１０…自動追尾撮像装置、１１…撮像部、１２、１１２…撮影光学系、１３、１１３…中央光学系、１４、１１４…環状光学系、１６、１１８…マイクロレンズアレイ、１６ａ、１１８ａ…マイクロレンズ、１７、１１７…指向性センサ、１８、１１６…イメージセンサ、１８ａ、１１６ａ、１１６ｂ…受光セル、２２…画像取得部、３０…パン・チルト装置、３２…パン・チルト機構、４２…記録部、５０…物体検出部、５６…モード選択部、６０…パン・チルト制御部、１２０…遮光部材   DESCRIPTION OF SYMBOLS 10 ... Automatic tracking imaging device, 11 ... Imaging part, 12, 112 ... Shooting optical system, 13, 113 ... Central optical system, 14, 114 ... Annular optical system, 16, 118 ... Micro lens array, 16a, 118a ... Micro lens , 17, 117 ... Directional sensor, 18, 116 ... Image sensor, 18a, 116a, 116b ... Light receiving cell, 22 ... Image acquisition unit, 30 ... Pan / tilt device, 32 ... Pan / tilt mechanism, 42 ... Recording unit, 50: Object detection unit, 56: Mode selection unit, 60: Pan / tilt control unit, 120: Light shielding member

Claims (12)

それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系と、
２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記中央光学系及び前記環状光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、
前記中央光学系を介して受光した第１画像を示す画像信号と前記環状光学系を介して受光した第２画像を示す画像信号とをそれぞれ前記指向性センサから取得する画像読み出し装置と、
前記中央光学系から前記指向性センサに入射する光束の光路および前記環状光学系から前記指向性センサに入射する光束の光路のうちのいずれか一方の光路に配置された光学フィルタと、
を備える撮像装置。 An imaging optical system composed of a central optical system at the center and an annular optical system at the periphery thereof, each disposed on the same optical axis,
A directional sensor having a plurality of pixels configured by two-dimensionally arranged photoelectric conversion elements, wherein light beams incident through the central optical system and the annular optical system are selectively divided by pupils. A directional sensor including a plurality of pixels for receiving light;
An image reading device for acquiring from the directivity sensor an image signal indicating a first image received via the central optical system and an image signal indicating a second image received via the annular optical system;
An optical filter disposed in one of the optical path of the light beam incident on the directional sensor from the central optical system and the optical path of the light beam incident on the directional sensor from the annular optical system;
An imaging apparatus comprising: 前記光学フィルタは、前記中央光学系から前記指向性センサに入射する光束の光路である第１光路に配置された第１光学フィルタを含む請求項１に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the optical filter includes a first optical filter disposed in a first optical path that is an optical path of a light beam incident on the directional sensor from the central optical system. 前記中央光学系は前記環状光学系より広角であり、
前記第１光学フィルタは、前記中央光学系から前記指向性センサに入射する光束の赤外線をカットする光学特性を有し、
前記中央光学系の画角に赤外線を照射する赤外線照射部と、
前記赤外線照射部の発光の開始を制御するとともに、前記第１光学フィルタの前記第１光路からの退出を制御する制御部と、
をさらに備える請求項２に記載の撮像装置。 The central optical system is wider than the annular optical system;
The first optical filter has an optical characteristic of cutting infrared rays of a light beam incident on the directional sensor from the central optical system,
An infrared irradiation unit that irradiates infrared rays to the angle of view of the central optical system;
A control unit for controlling the start of light emission of the infrared irradiation unit and for controlling the exit of the first optical filter from the first optical path;
The imaging apparatus according to claim 2, further comprising: 前記制御部は、前記第１画像の明るさが閾値以下であるか否かを判断し、前記第１画像の明るさが閾値以下である場合、前記赤外線照射部の発光の開始を制御するとともに、前記第１光学フィルタの前記第１光路からの退出を制御する請求項３に記載の撮像装置。   The control unit determines whether or not the brightness of the first image is equal to or less than a threshold value, and controls the start of light emission of the infrared irradiation unit when the brightness of the first image is equal to or less than the threshold value. The imaging apparatus according to claim 3, wherein the exit of the first optical filter from the first optical path is controlled. 前記第１光学フィルタは、前記光束の赤外線を透過するとともに可視光線をカットする光学特性を有し、
前記中央光学系の画角に赤外線を照射する赤外線照射部と、
前記赤外線照射部の発光の開始を制御するとともに、前記第１光学フィルタの前記第１光路からの挿入を制御する制御部と、
をさらに備える請求項２に記載の撮像装置。 The first optical filter has an optical characteristic that transmits infrared rays of the luminous flux and cuts visible light,
An infrared irradiation unit that irradiates infrared rays to the angle of view of the central optical system;
A control unit for controlling the start of light emission of the infrared irradiation unit and controlling the insertion of the first optical filter from the first optical path;
The imaging apparatus according to claim 2, further comprising: 前記赤外線照射部の照射する赤外線は、前記中央光学系の画角に指向性を有する請求項３〜５のいずれか１項に記載の撮像装置。   The imaging device according to any one of claims 3 to 5, wherein the infrared rays irradiated by the infrared irradiation unit have directivity at an angle of view of the central optical system. 前記光学フィルタは、前記環状光学系から前記指向性センサに入射する光束の光路である第２光路に配置された第２光学フィルタを含む請求項１に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the optical filter includes a second optical filter disposed in a second optical path that is an optical path of a light beam incident on the directivity sensor from the annular optical system. 前記中央光学系は前記環状光学系より広角であり、
前記第２光学フィルタは、前記光束の赤外線をカットする光学特性を有し、
前記環状光学系の画角に可視光線を照射する可視光線照射部と、
前記可視光線照射部の発光の開始を制御するとともに、前記第２光学フィルタの前記光路への挿入を制御する制御部と、
をさらに備える請求項７に記載の撮像装置。 The central optical system is wider than the annular optical system;
The second optical filter has an optical property of cutting infrared rays of the light flux,
A visible light irradiation unit that irradiates visible light to the angle of view of the annular optical system;
A control unit that controls the start of light emission of the visible light irradiation unit and controls the insertion of the second optical filter into the optical path;
The imaging device according to claim 7, further comprising: 前記第２画像から被写体を検出する被写体検出部をさらに備え、
前記制御部は、前記被写体検出部により前記第２画像から被写体が検出された場合、前記可視光線照射部の発光の開始を制御するとともに、前記第２光学フィルタの前記光路への挿入を制御する請求項８に記載の撮像装置。 A subject detection unit for detecting a subject from the second image;
The control unit controls the start of light emission of the visible light irradiation unit and the insertion of the second optical filter into the optical path when a subject is detected from the second image by the subject detection unit. The imaging device according to claim 8. 前記可視光線照射部の照射する可視光線は、前記環状光学系の画角に指向性を有する請求項８または９に記載の撮像装置。   The imaging device according to claim 8 or 9, wherein the visible light irradiated by the visible light irradiation unit has directivity at an angle of view of the annular optical system. 前記環状光学系は、光束を２回以上反射させる反射光学系を有する請求項１〜１０のいずれか１項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the annular optical system includes a reflection optical system that reflects a light beam twice or more. 前記第２光学フィルタは、前記環状光学系の光束を２回以上反射させる反射光学系よりも被写体側に配置される請求項７に記載の撮像装置。   The imaging apparatus according to claim 7, wherein the second optical filter is disposed closer to the subject side than a reflection optical system that reflects the light beam of the annular optical system at least twice.
JP2014171802A 2014-08-26 2014-08-26 Imaging device Pending JP2016046774A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014171802A JP2016046774A (en) 2014-08-26 2014-08-26 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014171802A JP2016046774A (en) 2014-08-26 2014-08-26 Imaging device

Publications (1)

Publication Number Publication Date
JP2016046774A true JP2016046774A (en) 2016-04-04

Family

ID=55636916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014171802A Pending JP2016046774A (en) 2014-08-26 2014-08-26 Imaging device

Country Status (1)

Country Link
JP (1) JP2016046774A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107121760A (en) * 2017-07-04 2017-09-01 北京理工大学 A kind of infrared refractive and reflective panorama camera lens of broadband refrigeration
JP2019176427A (en) * 2018-03-29 2019-10-10 沖電気工業株式会社 Adjustment method of object detection system, information processing device, and information processing program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107121760A (en) * 2017-07-04 2017-09-01 北京理工大学 A kind of infrared refractive and reflective panorama camera lens of broadband refrigeration
JP2019176427A (en) * 2018-03-29 2019-10-10 沖電気工業株式会社 Adjustment method of object detection system, information processing device, and information processing program

Similar Documents

Publication Publication Date Title
JP6027560B2 (en) Automatic tracking imaging device
JP6641470B2 (en) Stereo camera and stereo camera control method
JP6302085B2 (en) Imaging apparatus and object recognition method
JP6214481B2 (en) Imaging device
EP3058713B1 (en) Image capture control methods and apparatus
JP6165680B2 (en) Imaging device
KR20170032227A (en) Compound-eye imaging device
JP2016046772A (en) On-vehicle camera
US20190243533A1 (en) Display controller, control method thereof, and non-transitory computer readable medium
US10552963B2 (en) Imaging device, imaging method, and non-transitory recording medium
JP2016048825A (en) Imaging apparatus
JP2016048824A (en) Tracking device, tracking system and display device
JP2016046774A (en) Imaging device
JP2018134712A (en) Robot system and control method for robot system
JP2016046771A (en) Imaging device, imaging system, and display device
JP2005148265A (en) Camera apparatus
JP2016048282A (en) Imaging apparatus
JP2016046773A (en) Imaging device
JP2010210691A (en) Stereoscopic imaging apparatus
WO2020066341A1 (en) Degree-of-focus detection device, depth map generation device, and electronic device