WO2022196210A1 - 撮像装置、撮像方法及び電子機器 - Google Patents

撮像装置、撮像方法及び電子機器 Download PDF

Info

Publication number
WO2022196210A1
WO2022196210A1 PCT/JP2022/005661 JP2022005661W WO2022196210A1 WO 2022196210 A1 WO2022196210 A1 WO 2022196210A1 JP 2022005661 W JP2022005661 W JP 2022005661W WO 2022196210 A1 WO2022196210 A1 WO 2022196210A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
pixel array
region
imaging device
image
Prior art date
Application number
PCT/JP2022/005661
Other languages
English (en)
French (fr)
Inventor
サトヤナラヤナ ダンダムディ
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2022196210A1 publication Critical patent/WO2022196210A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the lens 102 may be, for example, a convex lens or a hemispherical asymmetric lens, and is not particularly limited.
  • the lens 102 can be made of a resin material such as silicon oxide (SiO 2 ), silicon nitride (SiN), styrene resin, acrylic resin, styrene-acrylic copolymer resin, or siloxane resin. can.
  • FIG. 3 is a schematic diagram showing an example of the configuration of the color filter 200 shown in FIG.
  • the color filter 200 can transmit light of specific wavelengths as described above.
  • the Bayer array means that the color filter blocks 204 that transmit green light are arranged in a checkered pattern, and the remaining portions are color filter blocks 204 that transmit red light and color filter blocks 204 that transmit blue light. It is an arrangement pattern in which each row is arranged alternately.
  • the filter region 202b since the filter region 202b has the configuration described above, the imaging apparatus 10 can capture images using the filter region 202b, thereby achieving a wide range of images similar to those of a general visible light camera (RGB camera). It becomes possible to capture the light of the band.
  • the filter region 202b is not limited to the Bayer array, and is not limited to the above wavelengths.
  • the bandwidth corresponding to the distribution range of the person's skin color is divided into a plurality of regions, and the filter regions 202a, 202c, and 202d transmit light of wavelengths in each division, respectively. It is composed of a plurality of color filter blocks 204 .
  • the filter regions 202a, 202c, and 202d may be, for example, a Bayer array, or may transmit predetermined monochromatic light (infrared light or near-infrared light with a predetermined wavelength). It may be a filter.
  • the output circuit section 338 performs signal processing on the pixel signals sequentially supplied from each of the column signal processing circuit sections 334 described above through the horizontal signal line 346 and outputs the processed signal.
  • the output circuit section 338 may function, for example, as a functional section that performs buffering, or may perform processing such as black level adjustment, column variation correction, and various digital signal processing. Note that buffering refers to temporarily storing pixel signals in order to compensate for differences in processing speed and transfer speed when exchanging pixel signals.
  • the input/output terminal 348 is a terminal for exchanging signals with an external device.
  • the pixel array region 304b can capture an image of the entire subject 800 in cooperation with the filter region 202b that transmits light in a wide band of wavelengths.
  • Each of the pixel array regions 304a, 304c, and 304d cooperates with filter regions 202a, 202c, and 202d that transmit narrow-band wavelength light that is optimized for a portion of the color of the subject 800.
  • a portion eg, face
  • one pixel array unit 302 can capture not only the entire subject 800 but also a part of the subject 800 according to the color characteristics of a part of the subject 800 . Therefore, according to the present embodiment, the imaging apparatus 10 can improve the resolution of some colors of the subject 800 and more accurately detect some colors of the subject 800 .
  • the processing unit 410 can process pixel signals from the pixel array unit 302 to obtain images (first image, second image). Then, the processing unit 410 can output the image data to the output unit 440, which will be described later.
  • the processing unit 410 extracts a predetermined subject (object) 800 or A portion of the subject 800 can be detected as a Region of Interest (ROI).
  • ROI Region of Interest
  • the number of ROIs to be detected is not limited to one, and a plurality of ROIs may be detected.
  • the processing unit 410 detects a contour having a predetermined characteristic from contours included in a two-level tone image generated by binarizing the image. , ROI may be detected.
  • the processing unit 410 may directly detect the ROI by extracting predetermined feature points (shape, color, etc.) from the image without using the two-tone image.
  • the processing unit 410 may detect the ROI based on a predetermined region specified in advance by the user in the image without using the two-tone image. For example, the processing unit 410 can extract the eyes from the image and detect the area of the face image as the ROI. Further, in the present embodiment, for example, from a plurality of pixels 306 in a pixel array region (first pixel array region) 304b displayed on a display device (not shown) superimposed on a touch panel (not shown), When the user performs a touch operation on an image (first image) based on pixel signals to specify a range (the touch operation may be performed in real time), the processing unit 410 performs the specified range. A ROI may be set based on the range. Furthermore, in the present embodiment, the processing unit 410 may set, for example, an area in which the lens unit 100 is in focus as the ROI (object 800).
  • the control unit 420 detects the ROI detected from the image (first image) based on the pixel signals from the plurality of pixels 306 in the pixel array region (first pixel array region) 304b.
  • the filter areas (second filter areas) 202a, 202c, and 202d to be used are selected according to the color and color distribution.
  • the control unit 420 refers to the color distribution in the ROI with a table 432 (see FIG. 11) stored in the storage unit 430, which will be described later, and selects filter areas (second filter areas) 202a and 202c to be used. , 202d can be selected.
  • control unit 420 selects the pixels 306 from which pixel signals are to be read during ROI imaging.
  • some of the pixels 306 in the pixel array regions 304a, 304c, and 304d are controlled according to the ROI. An increase in power consumption of the device 10 can be suppressed.
  • the output unit 440 can acquire image data from the processing unit 410 and output it to the synthesizing unit 500, for example.
  • the synthesizing unit 500 may be configured by a CPU, GPU, or the like other than the processing unit 400 provided in the imaging device 10, or may be provided in the processing unit 400. good.
  • the synthesizing unit 500 corresponds to an image (first image) based on pixel signals from a plurality of pixels 306 in a pixel array region (first pixel array region) 304b and an ROI (region of interest).
  • the subject 800 or a partial image of the subject 800 (second image) may be synthesized.
  • FIG. 7 is a flowchart diagram of the imaging method according to the present embodiment
  • FIGS. 8 to 10 are explanatory diagrams for explaining the imaging method according to the embodiment of the present disclosure
  • FIG. is an explanatory diagram for explaining an example of a table 432 used in the imaging method according to .
  • the imaging device 10 sets imaging conditions to capture an entire image based on pixel signals from the plurality of pixels 306 in the pixel array region 304b (step S101).
  • the imaging device 10 images the entire subject 802 under the imaging conditions set in step S101 (step S102).
  • the imaging device 10 identifies ROIs 810a to 810c from the entire image 808 obtained in step S102 (step S103). For example, in the example of FIG. 9, the imaging device 10 extracts eyes from the entire image and detects two face image regions as ROIs 810a to 810c.
  • the imaging device 10 images the ROIs 810a to 810c under the imaging conditions set in step S106 (step S107). At this time, the imaging device 10 may capture an area ROUI (not shown) obtained by excluding the ROIs 810a to 810c from the entire image 808.
  • FIG. 1 A block diagram illustrating an exemplary computing environment in accordance with the present disclosure.
  • the colors of the subjects 800 and 802 or part of the subjects 800 and 802 can be accurately detected with high resolution, and the imaging device 10 can be downsized. Also, an increase in power consumption can be suppressed.
  • the imaging device 10 has a simple and compact configuration and can detect light of wavelengths in a predetermined band with high resolution. 802 colors can be accurately detected and reproduced. Furthermore, in the present embodiment, by detecting in advance a location where the color is to be detected with high accuracy and controlling only the pixels corresponding to the location, an increase in image data to be output is suppressed, which in turn reduces an increase in power consumption. can be suppressed.
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or part of the operations within the smartphone 900 according to various programs recorded in the ROM 902, RAM 903, storage device 904, or the like.
  • a ROM 902 stores programs and calculation parameters used by the CPU 901 .
  • a RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 , ROM 902 and RAM 903 are interconnected by a bus 914 .
  • the storage device 904 is a data storage device configured as an example of a storage unit of the smartphone 900 .
  • the sensor module 907 is, for example, a motion sensor (eg, an acceleration sensor, a gyro sensor, a geomagnetic sensor, etc.), a biological information sensor (eg, a pulse sensor, a blood pressure sensor, a fingerprint sensor, etc.), or a position sensor (eg, GNSS (Global Navigation Satellite system) receiver, etc.) and various sensors.
  • a motion sensor eg, an acceleration sensor, a gyro sensor, a geomagnetic sensor, etc.
  • a biological information sensor eg, a pulse sensor, a blood pressure sensor, a fingerprint sensor, etc.
  • GNSS Global Navigation Satellite system
  • the speaker 911 can output, for example, the voice of a call, the voice accompanying the video content displayed by the display device 910 described above, and the like to the user.
  • the user's face can be imaged by the imaging device 10 mounted on the smartphone 900, and the skin color of the user's face can be accurately detected. Therefore, by applying the technology according to the present disclosure, it is possible to provide a service that proposes, for example, cosmetics and makeup methods, color coordination of clothes, etc., according to the skin color detection result. Furthermore, according to the smartphone 900 to which the technology according to the present disclosure is applied, the skin color detection result is analyzed, the user's physiological state and psychological state are recognized, and proposals for treatment and health promotion, products, services, etc. are provided. can also make suggestions.
  • a plurality of propellers 930 are provided above unmanned flying object 920 , and are rotated by power transmitted from a propeller drive unit 932 provided inside unmanned flying object 920 . , and maintains the attitude of the unmanned flying object 920 horizontally.
  • a propeller driving section 932 is provided inside the unmanned flying object 920 and rotates each propeller 930 according to control from a flight control section 934, which will be described later.
  • the positioning unit 940 mainly has an attitude detection section 942, a GPS (Global Positioning System) unit 944, and an altimeter 946, as shown in FIG.
  • the attitude detection unit 942 includes, for example, a gyro sensor or the like that is a combination of an acceleration sensor and an angular velocity sensor, and detects the attitude (inclination, orientation, etc.) and acceleration of the unmanned flying object 920 .
  • the GPS unit 944 is composed of a current position measurement device that performs measurement using GPS signals from GPS satellites, and can obtain two-dimensional position information (latitude information and longitude information) of the unmanned flying object 920 on the ground surface.
  • the altimeter 946 can acquire altitude information (height above the ground) of the unmanned air vehicle 920 .
  • the positioning unit 940 may not include the altimeter 946 if the GPS unit 944 can acquire altitude information with sufficient accuracy. However, the altitude information obtained by the GPS unit 944 may have low accuracy depending on the positioning state. . Therefore, the positioning unit 940 preferably includes an altimeter 946 to obtain altitude information with sufficient accuracy.
  • the flight control unit 934 When the flight control unit 934 receives a control signal from a control device (not shown) owned by the pilot, the flight control unit 934 utilizes the position information and the attitude information acquired by the positioning unit 940 described above, and generates the control signal. It controls the propeller driver 932 according to the flight instructions.
  • the technology (the present technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to an endoscopic surgery system.
  • An endoscope 11100 is composed of a lens barrel 11101 whose distal end is inserted into the body cavity of a patient 11132 and a camera head 11102 connected to the proximal end of the lens barrel 11101 .
  • an endoscope 11100 configured as a so-called rigid scope having a rigid lens barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible scope having a flexible lens barrel. good.
  • the CCU 11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc., and controls the operations of the endoscope 11100 and the display device 11202 in an integrated manner. Further, the CCU 11201 receives an image signal from the camera head 11102 and performs various image processing such as development processing (demosaicing) for displaying an image based on the image signal.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the display device 11202 displays an image based on an image signal subjected to image processing by the CCU 11201 under the control of the CCU 11201 .
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and instructions to the endoscopic surgery system 11000 via the input device 11204 .
  • the user inputs an instruction or the like to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100 .
  • the driving of the light source device 11203 may be controlled so as to change the intensity of the output light every predetermined time.
  • the drive of the imaging device of the camera head 11102 in synchronism with the timing of the change in the intensity of the light to obtain an image in a time-division manner and synthesizing the images, a high dynamic A range of images can be generated.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, the wavelength dependence of light absorption in body tissues is used to irradiate a narrower band of light than the irradiation light (i.e., white light) used during normal observation, thereby observing the mucosal surface layer.
  • narrow band imaging in which a predetermined tissue such as a blood vessel is imaged with high contrast, is performed.
  • fluorescence observation may be performed in which an image is obtained from fluorescence generated by irradiation with excitation light.
  • FIG. 16 is a block diagram showing an example of functional configurations of the camera head 11102 and CCU 11201 shown in FIG.
  • the camera head 11102 has a lens unit 11401, an imaging section 11402, a drive section 11403, a communication section 11404, and a camera head control section 11405.
  • the CCU 11201 has a communication section 11411 , an image processing section 11412 and a control section 11413 .
  • the camera head 11102 and the CCU 11201 are communicably connected to each other via a transmission cable 11400 .
  • the number of imaging elements constituting the imaging unit 11402 may be one (so-called single-plate type) or plural (so-called multi-plate type).
  • image signals corresponding to RGB may be generated by each image pickup element, and a color image may be obtained by synthesizing the image signals.
  • the imaging unit 11402 may be configured to have a pair of imaging elements for respectively acquiring right-eye and left-eye image signals corresponding to 3D (dimensional) display.
  • the 3D display enables the operator 11131 to more accurately grasp the depth of the living tissue in the surgical site.
  • a plurality of systems of lens units 11401 may be provided corresponding to each imaging element.
  • the drive unit 11403 is configured by an actuator, and moves the zoom lens and focus lens of the lens unit 11401 by a predetermined distance along the optical axis under control from the camera head control unit 11405 . Thereby, the magnification and focus of the image captured by the imaging unit 11402 can be appropriately adjusted.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus may be appropriately designated by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. good.
  • the endoscope 11100 is equipped with so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function.
  • the camera head control unit 11405 controls driving of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is composed of a communication device for transmitting and receiving various information to and from the camera head 11102 .
  • the communication unit 11411 receives image signals transmitted from the camera head 11102 via the transmission cable 11400 .
  • control unit 11413 causes the display device 11202 to display a captured image showing the surgical site and the like based on the image signal that has undergone image processing by the image processing unit 11412 .
  • the control unit 11413 may recognize various objects in the captured image using various image recognition techniques. For example, the control unit 11413 detects the shape, color, and the like of the edges of objects included in the captured image, thereby detecting surgical instruments such as forceps, specific body parts, bleeding, mist during use of the energy treatment instrument 11112, and the like. can recognize.
  • the control unit 11413 may use the recognition result to display various types of surgical assistance information superimposed on the image of the surgical site. By superimposing and presenting the surgery support information to the operator 11131, the burden on the operator 11131 can be reduced and the operator 11131 can proceed with the surgery reliably.
  • a transmission cable 11400 connecting the camera head 11102 and the CCU 11201 is an electrical signal cable compatible with electrical signal communication, an optical fiber compatible with optical communication, or a composite cable of these.
  • FIG. 17 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle in which the vehicle control system 12000 is installed.
  • the vehicle exterior information detection unit 12030 is connected with an imaging section 12031 .
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image, and can also output it as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver state detection section 12041 that detects the state of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing off.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided at positions such as the front nose, side mirrors, rear bumper, back door, and windshield of the vehicle 12100, for example.
  • An image pickup unit 12101 provided in the front nose and an image pickup unit 12105 provided above the windshield in the passenger compartment mainly acquire images in front of the vehicle 12100 .
  • Imaging units 12102 and 12103 provided in the side mirrors mainly acquire side images of the vehicle 12100 .
  • An imaging unit 12104 provided in the rear bumper or back door mainly acquires an image behind the vehicle 12100 .
  • the imaging unit 12105 provided above the windshield in the passenger compartment is mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • the microcomputer 12051 converts three-dimensional object data related to three-dimensional objects to other three-dimensional objects such as motorcycles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see. Then, the microcomputer 12051 judges the collision risk indicating the degree of danger of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, an audio speaker 12061 and a display unit 12062 are displayed. By outputting an alarm to the driver via the drive system control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • the imaging device according to any one of (5) to (7) above, wherein (9) The imaging device according to any one of (1) to (8) above, wherein the first and second pixel array regions are composed of a plurality of pixels arranged in a matrix on the substrate. (10) The imaging device according to (9) above, wherein the area of the pixels forming the first pixel array region is different from the area of the pixels forming the second pixel array region. (11) The imaging device according to (9) or (10) above, wherein the number of pixels forming the first pixel array region is different from the number of pixels forming the second pixel array region. (12) The imaging device according to any one of (1) to (11) above, further comprising a lens unit that guides light to the color filter.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Filters (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

第１の帯域の波長を有する光を透過する第１のフィルタ領域と、第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタ（２００）と、前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部（３０２）と、前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部（４１０）と、前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部（４２０）と、を備える、撮像装置（１０）を提供する。

Description

撮像装置、撮像方法及び電子機器
　本開示は、撮像装置、撮像方法及び電子機器に関する。
　一般的に使用されている撮像装置は、ＲＧＢカメラ（可視光カメラ）であり、幅広い範囲の波長を有する光を３つのＲＧＢ原色として検出することができる。しかしながら、ＲＧＢカメラでは、人間の目には見えない微妙な色の違いを捉えることが難しい。そこで、被写体の色を精度よく検出、再現するために、光の波長を細かく複数に分けて検出することが可能なマルチスペクトルカメラを利用する場合がある。
国際公開第２００９／１５１９０３号
　しかしながら、上記マルチスペクトルカメラでは、被写体象に係る光の波長を細かく複数に分けて検出するために、回折格子、複数のカラーフィルタ、複数の受光部等の多数の光学部品や撮像部品を必要とすることから、構成が複雑になりやすく、製造コストが増加することを避けることが難しい。さらに、マルチスペクトルカメラでは、構成が複雑であることから、小型化が難しく、且つ、消費電力の増加を抑えることは難しい。
　そこで、本開示では、被写体の色を細かく精度よく検出しつつ、小型化が可能で、且つ、消費電力の増加を抑えることができる、撮像装置、撮像方法及び電子機器を提案する。
　本開示によれば、第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部とを備える撮像装置が提供される。
　また、本開示によれば、第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部とを有する撮像装置を用いた撮像方法であって、前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出し、前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する、ことを含む撮像方法が提供される。
　さらに、本開示によれば、撮像装置を搭載する電子機器であって、前記撮像装置は、第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部とを有する、電子機器が提供される。
本開示の実施形態に係る撮像装置１０の構成の一例を示す模式図である。 図１に示すレンズ部１００の構成の一例を示す模式図である。 図１に示すカラーフィルタ２００の構成の一例を示す模式図である。 図１に示す撮像部３００の構成の一例を示す模式図である。 図４に示す撮像部３００の画素アレイ部３０２の構成の一例を示す模式図である。 図１に示す処理ユニット４００の概略的な機能構成の一例を示すブロック図である。 本開示の実施形態に係る撮像方法のフローチャート図である。 本開示の実施形態に係る撮像方法を説明するための説明図（その１）である。 本開示の実施形態に係る撮像方法を説明するための説明図（その２）である。 本開示の実施形態に係る撮像方法を説明するための説明図（その３）である。 本開示の実施形態に係る撮像方法で使用されるテーブル４３２の一例を説明するための説明図である。 スマートフォンの概略的な機能構成の一例を示すブロック図である。 無人飛行体の外観の模式図である。 無人飛行体の概略的な機能構成の一例を示すブロック図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、実質的に同一又は類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
１．　本開示の実施形態を創作するに至る背景
２．　実施形態
　　　２．１　詳細構成
　　　２．２　撮像方法
３．　まとめ
４．　応用例
　　　４．１　スマートフォンへの応用例
　　　４．２　無人飛行体への応用例
　　　４．３　内視鏡手術システムへの応用例
　　　４．４　車両等の移動体への応用例
５．　補足
　＜＜１．　本開示の実施形態を創作するに至る背景＞＞
　まずは、本開示の実施形態を説明する前に、本発明者が本開示の実施形態を創作するに至る背景について説明する。
　先に説明したように、一般的に使用されている撮像装置は、ＲＧＢカメラであり、幅広い範囲の波長を有する光を３つのＲＧＢ原色として検出することができる。しかしながら、ＲＧＢカメラでは、人間の目には見えない微妙な色の違いを捉えることが難しく、被写体の色を精度よく検出、再現することに限界がある。そこで、被写体の色を精度よく検出、再現するために、光の波長を細かく複数に分けて検出する（高分解能で検出する）ことが可能なマルチスペクトルカメラを利用する場合がある。
　上記マルチスペクトルカメラでは、被写体象に係る光の波長を３つではなく、細かく複数に分けて検出するために、回折格子、複数のカラーフィルタ、複数の受光部等の多数の光学部品や撮像部品を必要とすることから、構成が複雑になりやすく、製造コストが増加することを避けることが難しい。さらに、マルチスペクトルカメラでは、構成が複雑であることから、小型化が難しく、且つ、消費電力の増加を抑えることは難しいことから、スマートフォン等の携帯端末に搭載することが難しかった。
　そこで、本発明者は、このような状況を鑑みて、以下に説明する本開示の実施形態を創作するに至った。本発明者が創作した本開示の実施形態においては、撮像装置の有する１つのカラーフィルタは、広帯域の波長の光を透過する領域と、狭帯域の波長の光を透過する１つ又は複数の領域とを含む。さらに、本実施形態に係る撮像装置の受光部（画素アレイ部）は、各フィルタ領域を透過した光を受光する複数の領域を有する。さらに、本実施形態においては、狭帯域の波長の光を透過するカラーフィルタの領域は、狭帯域の波長の光を細かく分けて検出できるような構成を有する。従って、このような本開示の実施形態によれば、撮像装置は、シンプル、且つ、コンパクトな構成でありながら、所定の帯域の波長の光を細かく検出することができることから、被写体の色を精度よく検出、再現することが可能となる。さらに、本発明者が創作した本実施形態においては、特に色を精度よく検出したい箇所を予め検出し、当該箇所に応じた画素のみを制御することにより、出力される画像データの増加を抑え、ひいては消費電力の増加を抑えることができる。
　すなわち、本開示の実施形態によれば、被写体の色を細かく精度よく検出しつつ、撮像装置の小型化が可能であり、且つ、消費電力の増加を抑えることができる。以下に、本発明者が創作した本開示の実施形態の詳細を順次説明する。
　＜＜２．　実施形態＞＞
　＜２．１　詳細構成＞
　（撮像装置１０）
　まずは、図１から図６を参照して、本発明者が創作した本開示の実施形態に係る撮像装置１０の詳細構成を説明する。図１は、本実施形態に係る撮像装置１０の構成の一例を示す模式図である。図１に示すように、本開示に係る撮像装置１０は、被写体８００からの光を集光するレンズ部１００と、特定の波長の光を透過するカラーフィルタ２００とを有する。さらに、当該撮像装置１０は、カラーフィルタ２００を透過した光を受光して光電変換し画素信号を出力する撮像部３００と、撮像部３００を制御したり、上記画素信号を処理したりする処理ユニット４００とを主に有する。以下、本実施形態に係る撮像装置１０の各ブロックの詳細構成を順次説明する。
　（レンズ部１００)
　まずは、図２を参照して、本実施形態に係るレンズ部１００の詳細構成を説明する。図２は、図１に示すレンズ部１００の構成の一例を示す模式図である。レンズ部１００は、先に説明したように、被写体８００からの光をカラーフィルタ２００へ導き、撮像部３００に集光することができる。
　図２においては、撮像部３００の画素アレイ部３０２の各領域３０４ａ～３０４ｄ（図５　参照）と対になるカラーフィルタ２００の各領域２０２ａ～２０２ｄに対して、複数のレンズ１０２がそれぞれ設けられているような構成が示されている。そして、本実施形態においては、各レンズ１０２は、画素アレイ部３０２の各領域３０４ａ～３０４ｄが、同一の画像を捉えることができるような構成であることが好ましく、例えば、同一の材料、形状及びサイズを持つ。なお、本実施形態においては、カラーフィルタ２００の各領域２０２及び画素アレイ部３０２の各領域３０４に対応するように複数のレンズ１０２が設けられているような構成に限定されるものではなく、例えば、１つのレンズ１０２が設けられていてもよい。また、レンズ１０２は、例えば、凸レンズであってもよく、半球状の非対称レンズであってもよく、特に限定されるものではない。さらに、レンズ１０２は、酸化シリコン（ＳｉＯ２）、窒化シリコン（ＳｉＮ）、スチレン系樹脂、アクリル系樹脂、スチレン－アクリル共重合系樹脂、又は、シロキサン系樹脂等の樹脂系材料によって形成することができる。
　また、本実施形態においては、カラーフィルタ２００の各領域２０２ａ～２０２ｄ及び画素アレイ部３０２の各領域３０４ａ～３０４ｄに対応するように複数のレンズ１０２が設けられているような構成の場合には、各レンズ１０２は、独立して、又は、同時に、制御され、フォーカス等が調整されてもよい。さらに、本実施形態においては、レンズ部１００は、図示しない１つ又は複数の光学系を有していてもよい。このような場合には、当該光学系は、レンズ１０２と、他の光学系と、独立して制御されてもよい。なお、本実施形態においては、レンズ部１００の構成は、図２に示される構成に限定されるものではない。
　（カラーフィルタ２００）
　次に、図３を参照して、本実施形態に係るカラーフィルタ２００の詳細構成を説明する。図３は、図１に示すカラーフィルタ２００の構成の一例を示す模式図である。カラーフィルタ２００は、先に説明したように、特定の波長の光を透過することができる。
　詳細には、図３に示すように、カラーフィルタ２００は、互いに異なる帯域の波長を有する光を透過する複数のフィルタ領域（第１のフィルタ領域、第２のフィルタ領域）２０２ａ～２０２ｄを有する。本実施形態においては、フィルタ領域２０２ａ～２０２ｄは、同一面内に位置しており、すなわち、これらフィルタ領域２０２ａ～２０２ｄが同一面内に配置されることにより、１つのカラーフィルタを構成している。なお、図３では、カラーフィルタ２００の有するフィルタ領域２０２ａ～２０２ｄの数は４つとなっているが、本実施形態においては、２つ以上のフィルタ領域２０２があれば特に限定されるものではない。
　例えば、図３のフィルタ領域（第１のフィルタ領域）２０２ｂは、例えば、４５０ｎｍ～７５０ｎｍの波長をもつ光を透過することができる。より具体的には、例えば、フィルタ領域２０２ｂは、赤色光（例えば、波長６２０ｎｍ～７５０ｎｍ）を透過するカラーフィルタブロック（第１のサブフィルタ）２０４と、緑色光（例えば、波長４９５ｎｍ～５７０ｎｍ）を透過するカラーフィルタブロック（第２のサブフィルタ）２０４と、青色光（例えば、波長４５０ｎｍ～４９５ｎｍ）を透過するカラーフィルタブロック（第３のサブフィルタ）２０４とからなるベイヤー配列から構成される。ここで、ベイヤー配列とは、緑色光を透過するカラーフィルタブロック２０４が市松状に並び、残りの部分に、赤色光を透過するカラーフィルタブロック２０４と、青色光を透過するカラーフィルタブロック２０４とが一列ごとに交互に並ぶような、配列パターンである。本実施形態においては、フィルタ領域２０２ｂは上述のような構成を持つことから、撮像装置１０は、フィルタ領域２０２ｂを用いて撮像することで、一般的な可視光カメラ（ＲＧＢカメラ）と同様の広い帯域の光を捉えることが可能となる。なお、本実施形態においては、フィルタ領域２０２ｂは、ベイヤー配列に限定されるものではなく、さらには、上記波長に限定されるものではない。
　また、例えば、図３のフィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄは、フィルタ領域２０２ｂを透過する光の波長の帯域に比べて狭い帯域の波長の光を透過する。フィルタ領域２０２ａ、２０２ｃ、２０２ｄは、例えば、６００ｎｍ～７００ｎｍの波長をもつ光を透過することができる。また、フィルタ領域２０２ａ、２０２ｃ、２０２ｄは、互いに対応する帯域や帯域幅が異なっていてもよい。さらに、図３においては、フィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄは３つ存在するが、本実施形態においては、３つに限定されるものではなく、１つ以上であれば特に限定されるものではない。
　また、フィルタ領域２０２ｂと同様に、各フィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄは、互いに異なる波長の光を透過する、複数のカラーフィルタブロック（サブフィルタ）２０４が所定の配列パターンで配列することにより構成される。詳細には、フィルタ領域２０２ａ、２０２ｃ、２０２ｄは、狭い帯域内の波長の光を複数に細かく分けて検出できるような、透過する光の波長が段階的に異なる、複数のカラーフィルタブロック２０４から構成される。例えば、人の肌色を細かく検出したい場合は、人の肌の色の分布範囲に応じた帯域幅を複数に区分し、フィルタ領域２０２ａ、２０２ｃ、２０２ｄは、各区分の波長の光をそれぞれ透過する複数のカラーフィルタブロック２０４から構成されることとなる。なお、本実施形態においては、フィルタ領域２０２ａ、２０２ｃ、２０２ｄは、例えば、ベイヤー配列であってもよく、もしくは、所定の単色光（所定の波長の赤外光や近赤外光）を透過するフィルタであってもよい。すなわち、本実施形態に係るフィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄにおいては、カラーフィルタブロック２０４が透過する光の波長や、カラーフィルタブロック２０４の配列も、目的に応じて選択することができ、特に限定されるものではない。
　より具体的には、例えば、各フィルタ領域２０２ａ、２０２ｃ、２０２ｄは、人の肌の色に最適化されたカラーフィルタブロック２０４及び配列パターンを有することができる。例えば、フィルタ領域２０２ａは、例えば白色の肌に最適化され、フィルタ領域２０２ｃは、例えば黒褐色の肌に最適化され、フィルタ領域２０２ｄは、白色と黒褐色との中間程度の色の肌に最適化されることができる。これら各フィルタ領域２０２ａ、２０２ｃ、２０２ｄは、それぞれの肌の色に最適化された狭い帯域の波長の光を透過するカラーフィルタブロック２０４によって構成されることができることから、撮像装置１０は、肌色に対する解像度が向上し、これまで難しかった人の肌の色をより正確に検出することが可能となる。
　また、図３においては、各カラーフィルタブロック２０４のサイズは同一であるが、本実施形態においては、互いに異なっていてもよく、特に限定されるものではない。例えば、フィルタ領域（第１のフィルタ領域）２０２ｂを構成するカラーフィルタブロック２０４のサイズ（面積）は、フィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄを構成するカラーフィルタブロック２０４のサイズと異なっていてもよい。さらに、例えば、各フィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄを構成するカラーフィルタブロック２０４のサイズも互いに異なっていてもよい。また、例えば、フィルタ領域（第１のフィルタ領域）２０２ｂを構成するカラーフィルタブロック２０４の数は、フィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄを構成するカラーフィルタブロック２０４の数と異なっていてもよい。さらに、例えば、各フィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄを構成するカラーフィルタブロック２０４の数も互いに異なっていてもよい。
　また、本実施形態においては、例えば、カラーフィルタ２００は、例えば、シリコーン等の透明バインダ中に顔料又は染料が分散させた材料から形成することができる。また、本実施形態においては、カラーフィルタ２００は、表面プラズモン共鳴を利用することができる、周期的なホールアレイを有するカラーフィルタから形成することもでき、特に限定されるものではない。なお、本実施形態においては、カラーフィルタ２００の構成は、図３に示す構成に限定されるものではない。
　（撮像部３００）
　次に、図４及ぶ図５を参照して、本実施形態に係る撮像部３００の詳細構成を説明する。図４は、図１に示す撮像部３００の構成の一例を示す模式図であり、図５は、図４に示す撮像部３００の画素アレイ部３０２の構成の一例を示す模式図である。撮像部３００は、先に説明したように、カラーフィルタ２００を透過した光を受光して光電変換し画素信号を出力することができる。
　まずは、図４を参照して、撮像部３００の概略構成について説明する。図４に示すように、撮像部３００は、例えばシリコンからなる半導体基板３１０上に、画素３０６がマトリック状に配置されている画素アレイ部３０２と、当該画素アレイ部３０２を取り囲むように設けられた周辺回路部とを有する。さらに、上記撮像部３００には、当該周辺回路部として、垂直駆動回路部３３２、カラム信号処理回路部３３４、水平駆動回路部３３６、出力回路部３３８、制御回路部３４０等が含まれる。以下、撮像部３００の各ブロックの詳細について説明する。
　画素アレイ部３０２は、半導体基板３１０上に、行方向及び列方向に沿ってマトリックス状に２次元配置された複数の画素３０６を有する。各画素３０６は、入射された光に対して光電変換を行う素子であって、光電変換部（図示省略）と、複数の画素トランジスタ（例えばＭＯＳ（Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジスタ）（図示省略）とを有している。また、例えば、画素３０６の一辺の長さは約１μｍとし、隣り合う画素３０６の間隔は約１μｍとすることができる。そして、当該画素トランジスタは、例えば、転送トランジスタ、選択トランジスタ、リセットトランジスタ、及び、増幅トランジスタの４つのＭＯＳトランジスタを含む。なお、本実施形態における、画素アレイ部３０２の詳細構成については後述する。
　垂直駆動回路部３３２は、例えばシフトレジスタによって形成され、画素駆動配線３４２を選択し、選択された画素駆動配線４２に画素３０６を駆動するためのパルスを供給し、行単位で画素３０６を駆動する。すなわち、垂直駆動回路部３３２は、画素アレイ部３０２の各画素３０６を行単位で順次垂直方向（図４中の上下方向）に選択走査し、各画素３０６の光電変換部（図示省略）の受光量に応じて生成された信号電荷に基づく画素信号を、垂直信号線３４４を通して後述するカラム信号処理回路部３３４に供給する。
　カラム信号処理回路部３３４は、画素３０６の列ごとに配置されており、１行分の画素３０６から出力される画素信号に対して画素３０６列ごとにノイズ除去等の信号処理を行う。例えば、カラム信号処理回路部３３４は、画素３０６固有の固定パターンノイズを除去するためにＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ：相関２重サンプリング)およびＡＤ（Ａｎａｌｏｇ－Ｄｅｇｉｔａｌ）変換等の信号処理を行う。
　水平駆動回路部３３６は、例えばシフトレジスタによって形成され、水平走査パルスを順次出力することによって、上述したカラム信号処理回路部３３４の各々を順番に選択し、カラム信号処理回路部３３４の各々から画素信号を水平信号線３４６に出力させる。
　出力回路部３３８は、上述したカラム信号処理回路部３３４の各々から水平信号線３４６を通して順次に供給される画素信号に対し、信号処理を行って出力する。出力回路部３３８は、例えば、バッファリング（ｂｕｆｆｅｒｉｎｇ）を行う機能部として機能してもよく、もしくは、黒レベル調整、列ばらつき補正、各種デジタル信号処理等の処理を行ってもよい。なお、バッファリングとは、画素信号のやり取りの際に、処理速度や転送速度の差を補うために、一時的に画素信号を保存することをいう。さらに、入出力端子３４８は、外部装置との間で信号のやり取りを行うための端子である。
　制御回路部３４０は、入力クロックと、動作モード等を指令するデータを受け取り、画素アレイ部３０２へ信号を出力する。すなわち、制御回路部３４０は、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動回路部３３２、カラム信号処理回路部３３４及び水平駆動回路部３３６等の動作の基準となるクロック信号や制御信号を生成する。そして、制御回路部３４０は、生成したクロック信号や制御信号を、垂直駆動回路部３３２、カラム信号処理回路部３３４及び水平駆動回路部３３６等に出力する。
　さらに、本実施形態においては、画素アレイ部３０２は、図５に示すように、フィルタ領域（第１のフィルタ領域）２０２ａを透過した光を受光する複数の画素３０６からなる画素アレイ領域（第１の画素アレイ領域）３０４ａと、各フィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄを透過した光を受光する複数の画素３０６からなる、各画素アレイ領域（第２の画素アレイ領域）３０４ａ、３０４ｃ、３０４ｄとを有する。すなわち、画素アレイ部３０２は、各フィルタ領域２０２ａ～２０２ｄに対応する各画素アレイ領域３０４ａ～３０４ｄを有する。また、本実施形態においては、画素アレイ領域３０４ａ～３０４ｄは、１つの半導体基板３１０の同一面内に位置しており、すなわち、これら画素アレイ領域３０４ａ～３０４ｄが同一面内に配置されることにより、１つの画素アレイ部３０２を構成している。なお、図５では、画素アレイ部３０２は、４つの画素アレイ領域３０４ａ～３０４ｄを有するものとして図示されている。しかしながら、本実施形態においては、カラーフィルタ２００のフィルタ領域２０２ａ～２０２ｄの数と同じであり、且つ、２つ以上の画素アレイ領域３０４があれば、画素アレイ領域３０４の数は特に限定されるものではない。
　また、図５においては、各画素アレイ領域３０４ａ～３０４ｄのサイズは同一であるが、本実施形態においては、各画素アレイ領域３０４ａ～３０４ｄのサイズは、互いに異なっていてもよい。詳細には、例えば、画素アレイ領域（第１の画素アレイ領域）３０４ｂのサイズ（面積）は、画素アレイ領域（第２の画素アレイ領域）３０４ａ、３０４ｃ、３０４ｄのサイズと異なっていてもよい。さらに、例えば、各画素アレイ領域（第２の画素アレイ領域）３０４ａ、３０４ｃ、３０４ｄのサイズも互いに異なっていてもよい。また、本実施形態においては、画素アレイ領域（第１の画素アレイ領域）３０４ｂを構成する画素３０６の数は、画素アレイ領域（第２の画素アレイ領域）３０４ａ、３０４ｃ、３０４ｄを構成する画素３０６の数と異なっていてもよい。さらに、例えば、各画素アレイ領域（第２の画素アレイ領域）３０４ａ、３０４ｃ、３０４ｄを構成する画素３０６の数も互いに異なっていてもよい。加えて、各画素アレイ領域３０４ａ～３０４ｄを構成する画素３０６のサイズ（面積）も互いに異なっていてもよい。すなわち、本実施形態においては、各画素アレイ領域３０４ａ～３０４ｄは、互いに異なるピクセル解像度で撮像してもよい。
　本実施形態においては、具体的には、例えば、画素アレイ領域３０４ｂは、広帯域の波長の光を透過するフィルタ領域２０２ｂと協働して、被写体８００全体を撮像することができる。また、各画素アレイ領域３０４ａ、３０４ｃ、３０４ｄは、被写体８００の一部の色彩に最適化した、狭帯域の波長の光を透過するフィルタ領域２０２ａ、２０２ｃ、２０２ｄと協働して、被写体８００の一部（例えば、顔面）を撮像することができる。本実施形態においては、１つの画素アレイ部３０２により、被写体８００の全体だけでなく、被写体８００の一部の色彩の特徴に合わせて被写体８００の一部を撮像することができる。従って、本実施形態によれば、撮像装置１０は、被写体８００の一部の色彩に対する解像度が向上し、被写体８００の一部の色彩をより正確に検出することができる。
　なお、本実施形態においては、撮像部３００の構成は、図４及び図５に示す構成に限定されるものではなく、図示しない機能部等や構成を有していてもよい。
　（処理ユニット４００）
　次に、図６を参照して、本実施形態に係る処理ユニット４００の詳細構成を説明する。図６は、図１に示す処理ユニット４００の概略的な機能構成の一例を示すブロック図である。処理ユニット４００は、先に説明したように、撮像部３００を制御したり、上記画素信号を処理したりすることができる。例えば、処理ユニット４００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等によって構成され、撮像装置１０の動作を統括的に制御したり、画素信号に基づく画像を出力するため、各種の画像処理を施したりすることができる。また、図６に示すように、処理ユニット４００は、処理部４１０と、制御部４２０と、記憶部４３０と、出力部４４０とを主に有する。以下、処理ユニット４００の各ブロックの詳細について説明する。
　処理部４１０は、画素アレイ部３０２からの画素信号を処理して画像（第１の画像、第２の画像）を取得することができる。そして、処理部４１０は、上記画像のデータ、後述する出力部４４０に出力することができる。
　また、処理部４１０は、例えば、画素アレイ領域（第１の画素アレイ領域）３０４ｂ内の複数の画素３０６からの画素信号に基づく画像（第１の画像）から、所定の被写体（物体）８００又は被写体８００の一部を、ＲＯＩ（Ｒｅｇｉｏｎ　ｏｆ　Ｉｎｔｅｒｅｓｔ）（対象領域）として検出することができる。なお、本実施形態においては、検出されるＲＯＩは１つに限定されるものではなく、複数であってもよい。詳細には、本実施形態においては、例えば、処理部４１０は、上記画像を２値化処理して生成した２段階色調画像内に含まれる輪郭から、所定の特徴を有する輪郭を検出することにより、ＲＯＩを検出してもよい。また、本実施形態においては、処理部４１０は、２段階色調画像を用いることなく、上記画像から所定の特徴点（形状、色彩等）を抽出することにより、ＲＯＩを直接検出してもよい。さらに、本実施形態においては、処理部４１０は、２段階色調画像を用いることなく、上記画像内の、ユーザが予め指定した所定の領域に基づいて、ＲＯＩを検出してもよい。例えば、処理部４１０は、上記画像から目を抽出し、ＲＯＩとして顔画像の領域を検出することができる。また、本実施形態においては、例えば、タッチパネル（図示省略）と重畳された表示装置（図示省略）に表示された、画素アレイ領域（第１の画素アレイ領域）３０４ｂ内の複数の画素３０６からの画素信号に基づく画像（第１の画像）に対して、ユーザがタッチ操作を行って範囲を指定した場合（タッチ操作は、リアルタイムに行われてもよい）には、処理部４１０は、当該指定範囲に基づいて、ＲＯＩを設定してもよい。さらに、本実施形態においては、処理部４１０は、例えば、レンズ部１００の焦点が合っている領域を、ＲＯＩ（被写体８００）として設定してもよい。
　また、制御部４２０は、ＲＯＩ（対象領域）に対応する被写体８００又は被写体８００の一部の画像（第２の画像）を取得するために、ＲＯＩの位置に基づいて、画素アレイ領域（第２の画素アレイ領域）３０４ａ、３０４ｃ、３０４ｄ内に位置する複数の画素３０６の一部を制御することができる。
　より具体的には、例えば、制御部４２０は、画素アレイ領域（第１の画素アレイ領域）３０４ｂ内の複数の画素３０６からの画素信号に基づく画像（第１の画像）から検出されたＲＯＩの色彩や色彩分布に応じて、使用するフィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄを選択する。例えば、制御部４２０は、ＲＯＩ内の色彩分布を、後述する記憶部４３０内に格納されたテーブル４３２（図１１　参照）と参照して、使用するフィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄを選択することができる。次に、制御部４２０は、上記画像（第１の画像）内におけるＲＯＩの位置座標（詳細、ＲＯＩを撮像した各画素３０６のＸＹ座標）を特定する。そして、制御部４２０は、画素アレイ領域３０４ｂと、選択されたフィルタ領域２０２ａ、２０２ｃ、２０２ｄに対応する画素アレイ領域３０４ａ、３０４ｃ、３０４ｄとの既知の相対的位置関係に基づき、特定したＲＯＩの位置座標を修正する。さらに、制御部４２０は、修正されたＲＯＩの位置座標に基づき、選択された画素アレイ領域３０４ａ、３０４ｃ、３０４ｄ内で制御する複数の画素３０６を選択する。詳細には、制御部４２０は、ＲＯＩの撮影に際に画素信号を読み出す画素３０６を選択する。本実施形態においては、このように、ＲＯＩに応じて、画素アレイ領域３０４ａ、３０４ｃ、３０４ｄ内の一部の画素３０６を制御することから、処理する画素信号のデータ量の増加を抑え、ひいては撮像装置１０の消費電力の増加を抑えることができる。
　さらに、制御部４２０は、撮像装置１０により撮像する際の撮像条件を調整してもよい。本実施形態においては、例えば、画素アレイ領域（第１の画素アレイ領域）３０４ｂ内の複数の画素３０６からの画素信号に基づく画像（第１の画像）と、画素アレイ領域（第２の画素アレイ領域）３０４ａ、３０４ｃ、３０４ｄ内の複数の画素３０６からの画素信号に基づく画像（第２の画像）とは、異なる撮像条件で取得されてもよい。また、本実施形態においては、複数のＲＯＩが検出される場合には、ＲＯＩごとに異なる撮像条件で、画素アレイ領域３０４ａ、３０４ｃ、３０４ｄ内の複数の画素３０６からの画素信号に基づく画像を取得してもよい。より具体的には、例えば、制御部４２０は、ＲＯＩに応じて、レンズ部１００、撮像部３００やシャッタ機構（図示省略）等を制御して、シャッタ速度（露光時間）、露出値、倍率、フォーカス等を調整してもよい。また、本実施形態においては、制御部４２０は、画素アレイ領域３０４ａ～３０４ｄごとに、対応するレンズ１０２、シャッタ機構（図示省略）、光学系（図示省略）を個別に制御してもよい。本実施形態においては、このように制御することにより、全体画像（第１の画像）やＲＯＩに応じて好適に撮像することができる。また、本実施形態においては、画素アレイ領域３０４ａ、３０４ｃ、３０４ｄごとに、各レンズ１０２を調整して、フォーカスを合わせることから、制御部４２０は、各レンズ１０２の調整結果の組み合わせに基づいて、画素アレイ領域３０４ａ、３０４ｃ、３０４ｄごとの被写体の相対的な距離の違い（深さ情報）を取得してもよい。
　また、本実施形態においては、制御部４２０は、全体画像（第１の画像）からＲＯＩを除外した領域であるＲＯＵＩ（Ｒｅｇｉｏｎ　ｏｆ　Ｕｎｉｎｔｅｒｅｓｔ）（非対象領域）を撮像するように、画素アレイ部３０２等を制御してもよい。例えば、制御部４２０は、画素アレイ領域（第１の画素アレイ領域）３０４ｂ内の複数の画素３０６の一部を制御して、上記ＲＯＵＩを撮像してもよい。この場合、ＲＯＵＩは、高い解像度で撮像する必要がないため、制御部４２０は、ＲＯＩに比べて低い解像度で撮像するように、画素アレイ部３０２等を制御してもよい。
　また、記憶部４３０は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等から構成され、制御部４２０等の制御において用いられるデータ等を格納する。例えば、記憶部４３０は、色彩の分布とそれに対応するフィルタ領域２０２との関係を規定する上記テーブル４３２（図１１　参照）を格納することができる。
　出力部４４０は、処理部４１０からの画像データを取得し、例えば、合成部５００へ出力することができる。例えば、合成部５００は、図６に示すように、撮像装置１０内に設けられた、処理ユニット４００以外のＣＰＵやＧＰＵ等によって構成されもよく、もしくは、当該処理ユニット４００内に設けられてもよい。詳細には、合成部５００は、画素アレイ領域（第１の画素アレイ領域）３０４ｂ内の複数の画素３０６からの画素信号に基づく画像（第１の画像）と、ＲＯＩ（対象領域）に対応する被写体８００又は被写体８００の一部の画像（第２の画像）とを合成してもよい。もしくは、合成部５００は、ＲＯＩに対応する被写体８００又は被写体８００の一部の画像と、ＲＯＵＩ（非対象領域）に対応する被写体８００又は被写体８００の一部の画像とを合成してもよい。本実施形態によれば、例えば、ＲＯＩとして人の顔を指定した場合には、ＲＯＩである人の顔面の肌色を高い解像度で検出することができることから、上記合成部５００によって得られたポートレートにおいて、再現が難しかった肌色をより正確に再現することができる。
　なお、本実施形態においては、出力部４４０は、上述した合成部５００へ画像データを出力することに限定されるものではなく、画像解析を行う解析部（図示省略）へ画像データを出力してもよい。この場合、解析部では、ＲＯＩとして得られた被写体の色彩を高解像度で解析し、被写体の状態を検出することができる。例えば、ＲＯＩとして人の顔面に指定した場合には、上記解析部は、高解像度で検出した顔面の肌の色彩に基づき、該当する人物の生理状態や心理状態等を解析することができる。また、例えば、ＲＯＩとして穀物畑を指定した場合には、上記解析部は、高解像度で検出した穀物畑の画像の色彩に基づき、穀物の生育状況等を解析することができる。
　また、本実施形態においては、例えば、フィルタ領域２０２ａ、２０２ｃ、２０２ｄを、所定の波長の赤外光や近赤外光を透過するフィルタとして構成し、当該フィルタ領域２０２ａ、２０２ｃ、２０２ｄに対応する画素アレイ領域３０４ａ、３０４ｃ、３０４ｄを測距センサ（ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）センサ）として機能させてもよい。また、本実施形態においては、上述したＲＯＩの検出法を利用して、同一の被写体８００までの距離を測定するステレオカメラのように、２つの画素アレイ領域３０４を機能させてもよい。また、本実施形態においては、このようにして得られた被写体８００との間の距離と、後述する記憶部４３０内に格納されたテーブル（図示省略）とを参照することにより、ＲＯＩの位置座標をより精度よく修正してもよい。
　なお、本実施形態においては、撮像装置１０は、図１から図６に示す構成に限定されるものではなく、図示しない機能部等を有していてもよい。
　＜２．２　撮像方法＞
　次に、図７から図１１を参照して、本実施形態に係る撮像方法を説明する。図７は、本実施形態に係る撮像方法のフローチャート図であり、図８から図１０は、本開示の実施形態に係る撮像方法を説明するための説明図であり、図１１は、本実施形態に係る撮像方法で使用されるテーブル４３２の一例を説明するための説明図である。
　図７に示すように、本実施形態に係る撮像方法は、ステップＳ１０１からステップＳ１０７の複数のステップを含む。以下、当該撮像方法に含まれる各ステップの詳細を順次説明する。
　まずは、撮像装置１０は、画素アレイ領域３０４ｂ内の複数の画素３０６からの画素信号に基づく全体画像を撮像するために、撮像条件を設定する（ステップＳ１０１）。
　次に、撮像装置１０は、図８に示すように、上述したステップＳ１０１で設定された撮像条件下で、被写体８０２全体を撮像する（ステップＳ１０２）。
　そして、撮像装置１０は、図９に示すように、上述したステップＳ１０２で得られた全体画像８０８からＲＯＩ８１０ａ～８１０ｃを特定する（ステップＳ１０３）。例えば、図９の例では、撮像装置１０は、全体画像から目を抽出し、ＲＯＩ８１０ａ～８１０ｃとして２つの顔画像の領域を検出している。
　次に、撮像装置１０は、ＲＯＩ８１０ａ～８１０ｃ内の色彩分布に基づき、図１１に示されるテーブル４３２を参照して、使用するフィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄを選択する（ステップＳ１０４）。上記テーブル４３２は、先に説明したように、色彩の分布とそれに対応するフィルタ領域２０２との関係を規定する情報を含む。撮像装置１０は、図９の例では、ＲＯＩ８１０ａで捉えられた人物の顔面の肌の色に応じて、フィルタ領域２０２ａを選択し、ＲＯＩ８１０ｃで捉えられた人物の顔面の肌の色に応じて、フィルタ領域２０２ｃを選択し、ＲＯＩ８１０ｄで捉えられた人物の顔面の肌の色に応じて、フィルタ領域２０２ｄを選択する。
　そして、撮像装置１０は、全体画像８０８内におけるＲＯＩ８１０ａ～８１０ｃの位置に基づき、制御する画素３０６を選択する（ステップＳ１０５）。詳細には、撮像装置１０は、全体画像８０８内におけるＲＯＩ８１０ａ～８１０ｃを撮像した各画素３０６のＸＹ座標を特定する。そして、撮像装置１０は、画素アレイ領域３０４ｂと、選択されたフィルタ領域２０２ａ、２０２ｃ、２０２ｄに対応する画素アレイ領域３０４ａ、３０４ｃ、３０４ｄとの既知の相対的位置関係に基づき、特定した各画素３０６のＸＹ座標を修正する。さらに、撮像装置１０は、図１０に示すように、修正されたＸＹ座標に基づき、選択された画素アレイ領域３０４ａ、３０４ｃ、３０４ｄ内で制御する複数の画素３０６を選択する。より具体的には、撮像装置１０は、画素信号を読み出す画素３０６を選択する。
　そして、撮像装置１０は、ＲＯＩ８１０ａ～８１０ｃを撮像するために、撮像条件を設定する（ステップＳ１０６）。
　さらに、撮像装置１０は、上述したステップＳ１０６で設定された撮像条件下で、ＲＯＩ８１０ａ～８１０ｃを撮像する（ステップＳ１０７）。なお、この際、撮像装置１０は、全体画像８０８からＲＯＩ８１０ａ～８１０ｃを除外した領域ＲＯＵＩ（図示省略）を撮像してもよい。
　＜＜３．　まとめ＞＞
　以上のように、本開示の実施形態によれば、被写体８００、８０２又は被写体８００、８０２の一部の色彩を高い解像度で精度よく検出が可能であり、撮像装置１０の小型化が可能であり、且つ、消費電力の増加を抑えることができる。詳細には、本開示の実施形態によれば、撮像装置１０は、シンプル、且つ、コンパクトな構成でありながら、所定の帯域の波長の光を高解像度で検出することができることから、被写体８００、８０２の色を精度よく検出、再現することが可能となる。さらに、本実施形態においては、特に色を精度よく検出したい箇所を予め検出し、当該箇所に応じた画素のみを制御することにより、出力される画像データの増加を抑え、ひいては消費電力の増加を抑えることができる。
　＜＜４．　応用例＞＞
　＜４．１　スマートフォンへの応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、カメラ、スマートフォン、生産ラインに設けられる産業用カメラといった各種の電子機器に適用することができる。そこで、図１２を参照して、本技術を適用した電子機器としての、スマートフォン９００の構成例について説明する。図１２は、スマートフォンの概略的な機能構成の一例を示すブロック図である。
　図１２に示すように、スマートフォン９００は、ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３を含む。また、スマートフォン９００は、ストレージ装置９０４、通信モジュール９０５、及びセンサモジュール９０７を含む。さらに、スマートフォン９００は、測距モジュール９０８、上述した撮像装置１０が適用される撮像装置９０９、表示装置９１０、スピーカ９１１、マイクロフォン９１２、入力装置９１３、及びバス９１４を含む。また、スマートフォン９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、又はストレージ装置９０４等に記録された各種プログラムに従って、スマートフォン９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、バス９１４により相互に接続されている。また、ストレージ装置９０４は、スマートフォン９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９０４は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス等により構成される。このストレージ装置９０４は、ＣＰＵ９０１が実行するプログラムや各種データ、及び外部から取得した各種のデータ等を格納する。
　通信モジュール９０５は、例えば、通信ネットワーク９０６に接続するための通信デバイスなどで構成された通信インタフェースである。通信モジュール９０５は、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等であり得る。また、通信モジュール９０５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は、各種通信用のモデム等であってもよい。通信モジュール９０５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号等を送受信する。また、通信モジュール９０５に接続される通信ネットワーク９０６は、有線又は無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信又は衛星通信等である。
　センサモジュール９０７は、例えば、モーションセンサ（例えば、加速度センサ、ジャイロセンサ、地磁気センサ等）、生体情報センサ（例えば、脈拍センサ、血圧センサ、指紋センサ等）、又は位置センサ（例えば、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）受信機等）等の各種のセンサを含む。
　測距システム６１１は、スマートフォン９００の表面に設けられ、例えば、当該表面と向かい合う、被写体の距離や３次元形状を測距結果として取得することができる。なお、本実施形態においては、撮像装置９０９が測距センサを兼ねることができる場合には、測距システム６１１は設けられていなくてもよい。
　撮像装置９０９は、スマートフォン９００の表面に設けられ、スマートフォン９００の周囲に位置する対象物等を撮像することができる。すなわち、本開示の実施形態に係る撮像装置１０は、上記撮像装置９０９に適用される。詳細には、撮像装置９０９は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　ＭＯＳ）イメージセンサ等の撮像素子（図示省略）と、撮像素子で光電変換された信号に対して撮像信号処理を施す信号処理回路（図示省略）とを含んで構成することができる。さらに、撮像装置９０９は、撮像レンズ、絞り機構、ズームレンズ、及びフォーカスレンズ等により構成される光学系機構（図示省略）及び、上記光学系機構の動作を制御する駆動系機構（図示省略）をさらに有することができる。そして、上記撮像素子は、被写体からの入射光を光学像として集光し、上記信号処理回路は、結像された光学像を画素単位で光電変換し、各画素の信号を撮像信号として読み出し、画像処理することにより撮像画像を取得することができる。
　表示装置９１０は、スマートフォン９００の表面に設けられ、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置であることができる。表示装置９１０は、操作画面や、上述した撮像装置９０９が取得した撮像画像などを表示することができる。
　スピーカ９１１は、例えば、通話音声や、上述した表示装置９１０が表示する映像コンテンツに付随する音声等を、ユーザに向けて出力することができる。
　マイクロフォン９１２は、例えば、ユーザの通話音声、スマートフォン９００の機能を起動するコマンドを含む音声や、スマートフォン９００の周囲環境の音声を集音することができる。
　入力装置９１３は、例えば、ボタン、キーボード、タッチパネル、マウス等、ユーザによって操作される装置である。入力装置９１３は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１３を操作することによって、スマートフォン９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　以上、スマートフォン９００の構成例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
　スマートフォン９００に本開示に係る技術を適用することにより、例えば、ユーザの顔をスマートフォン９００に搭載された撮像装置１０により撮像し、当該ユーザの顔の肌色を正確に検出することができる。従って、本開示に係る技術を適用することにより、肌色の検出結果に応じて、例えば、化粧品や化粧方法の提案や、洋服のカラーコーディネート等の提案等を行うサービスを提供することができる。さらに、本開示に係る技術を適用したスマートフォン９００によれば、肌色の検出結果を解析して、ユーザの生理状態や心理状態を認識し、治療や健康増進のための提案や、商品、サービス等の提案を行うこともできる。
　＜４．２　無人飛行体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、無人飛行体に搭載するカメラに適用することができる。そこで、図１３及び図１４を参照して、本開示の実施形態に係る撮像装置１０を搭載し得る無人飛行体について説明する。図１３は、無人飛行体の外観の模式図であり、詳細には、無人飛行体９２０をその正面９５０から見た場合の模式図である。また、図１４は、無人飛行体９２０の概略的な機能構成の一例を示すブロック図である。
　無人飛行体９２０は、無人の小型飛行機であって、自律飛行機能および自立姿勢制御機能等により飛行することができる。当該無人飛行体９２０は、プロペラ９３０と、プロペラ駆動部９３２と、飛行制御部９３４と、測位ユニット９４０と、飛行制御用通信部９５０とを主に有する。以下に、無人飛行体９２０の各機能ユニットについて説明する。
　プロペラ９３０は、図１３に示すように無人飛行体９２０の上部に複数設けられ、無人飛行体９２０の内部に設けられたプロペラ駆動部９３２から伝達された動力により回転することにより、無人飛行体９２０に推進力を与えたり、無人飛行体９２０の姿勢を水平に保持したりする。また、プロペラ駆動部９３２は、無人飛行体９２０の内部に設けられ、後述する飛行制御部９３４からの制御に従って、各プロペラ９３０を回転させる。
　測位ユニット９４０は、無人飛行体９２０の内部に設けられ、無人飛行体９２０の位置情報である二次元位置情報（経度情報、緯度情報）及び高度情報と、無人飛行体９２０の姿勢情報及び加速度情報とを取得し、後述する飛行制御部９３４に出力する。出力された位置情報や姿勢情報等は、無人飛行体９２０を所望する場所へ飛行させたり、無人飛行体９２０を水平姿勢に維持したりするために用いられる。
　測位ユニット９４０は、図１４に示すように、姿勢検出部９４２、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）ユニット９４４及び高度計９４６を主に有する。詳細には、姿勢検出部９４２は、例えば、加速度センサ及び角速度センサが組み合わされたジャイロセンサ等を含み、無人飛行体９２０の姿勢（傾き、向き等）及び加速度を検出する。ＧＰＳユニット９４４は、ＧＰＳ衛星からのＧＰＳ信号を用いて計測を行う現在位置計測装置からなり、無人飛行体９２０の地表における二次元位置情報（緯度情報、経度情報）を取得することができる。高度計９４６は、無人飛行体９２０の高度情報（地表からの高さ）を取得することができる。
　なお、測位ユニット９４０は、ＧＰＳユニット９４４によって十分な精度を持つ高度情報を取得することができる場合には、高度計９４６を含まなくてもよい。しかしながら、ＧＰＳユニット９４４によって得られる高度情報は、測位状態によっては精度が低い場合があり、この場合、無人飛行体９２０の飛行等に用いる高度情報としては、十分な精度を持っていないことがある。従って、十分な精度を持つ高度情報を取得するために、測位ユニット９４０は高度計９４６を含んでいることが好ましい。
　飛行制御部９３４は、操縦者が有する操縦装置（図示省略）からの制御信号を受信した場合には、上述の測位ユニット９４０で取得した位置情報及び姿勢情報等を利用しつつ、上記制御信号の飛行指示に従ってプロペラ駆動部９３２を制御する。
　飛行制御用通信部９５０は、操縦者が有する操縦装置（図示省略）との間で無線通信し、無人飛行体９２０の飛行に用いられる制御信号等の送受信を行う。例えば、飛行制御用通信部９５０は、所定の時間おきに、上記操縦装置から制御信号を受信し、受信した制御信号を上述した飛行制御部９３４に出力する。
　無人飛行体９２０に本開示に係る技術を適用することにより、例えば、無人飛行体９２０に搭載された撮像装置１０により、上空から穀物畑を撮像し、穀物畑の画像の色彩を高解像度で解析することにより、穀物の生育状況を認識することができる。
　＜４．３　内視鏡手術システムへの応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図１５は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図１５では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ:Ｃａｍｅｒａ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ　Ｂａｎｄ　Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図１６は、図１５に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ　Ｗｈｉｔｅ　Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、内視鏡１１１００のカメラヘッド１１１０２の撮像部１１４０２等に適用され得る。
　なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、例えば、顕微鏡手術システム等に適用されてもよい。例えば、本開示に係る技術を顕微鏡に適用した場合には、染色された術部の微妙な色の違いを精度よく認識することができることから、正確に術部に対して手術を施すことが可能となる。
　＜４．４　車両等の移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１８は、撮像部１２０３１の設置位置の例を示す図である。
　図１８では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用することができる。
　＜＜５．　補足＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、
　前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
　前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、
　前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部と、
　を備える、撮像装置。
（２）
　前記制御部は、前記第１の画素アレイ領域と前記第２の画素アレイ領域との位置関係に基づき、制御する前記画素を選択する、上記（１）に記載の撮像装置。
（３）
　前記第２のフィルタ領域及び前記第２の画素アレイ領域を複数個有し、
　前記各第２のフィルタは、互いに異なる帯域の波長の光を透過する、
　上記（１）に記載の撮像装置。
（４）
　前記制御部は、前記対象領域の色彩に応じて、複数の第２の画素アレイ領域から、制御する１つ以上の前記第２の画素アレイ領域を選択する、上記（３）に記載の撮像装置。
（５）
　前記第１及び第２のフィルタ領域は、前記カラーフィルタの同一面内に所定の配列パターンで配列する、互いに異なる波長の光を透過する複数のサブフィルタから構成される、上記（１）～（４）のいずれか１つに記載の撮像装置。
（６）
　前記第１のフィルタ領域を構成する前記サブフィルタの面積は、前記第２のフィルタ領域を構成する前記サブフィルタの面積と異なる、上記（５）に記載の撮像装置。
（７）
　前記第１のフィルタ領域を構成する前記サブフィルタの数は、前記第２のフィルタ領域を構成する前記サブフィルタの数と異なる、上記（５）又は（６）に記載の撮像装置。
（８）
　前記第１のフィルタ領域は、ベイヤー配列で配列する、赤色光を透過する第１のサブフィルタと、緑色光を透過する第２のサブフィルタと、青色光を透過する第３のサブフィルタとから構成される、上記（５）～（７）のいずれか１つに記載の撮像装置。
（９）
　前記第１及び第２の画素アレイ領域は、基板上にマトリックス状に配置された複数の画素から構成される、上記（１）～（８）のいずれか１つに記載の撮像装置。
（１０）
　前記第１の画素アレイ領域を構成する前記画素の面積は、前記第２の画素アレイ領域を構成する前記画素の面積と異なる、上記（９）に記載の撮像装置。
（１１）
　前記第１の画素アレイ領域を構成する前記画素の数は、前記第２の画素アレイ領域を構成する前記画素の数と異なる、上記（９）又は（１０）に記載の撮像装置。
（１２）
　前記カラーフィルタに光を導くレンズ部をさらに備える、上記（１）～（１１）のいずれか１つに記載の撮像装置。
（１３）
　前記レンズ部は、前記第１及び第２のフィルタ領域にそれぞれ対応する複数のレンズから構成される、上記（１２）に記載の撮像装置。
（１４）
　前記制御部は、前記第１のフィルタ領域に対応する前記レンズによるフォーカスと、前記第２のフィルタ領域に対応する前記レンズによるフォーカスとを、独立して、又は、同時に、調整する、上記（１３）に記載の撮像装置。
（１５）
　前記制御部は、前記第１のフィルタ領域に対応する前記レンズによるフォーカスの調整結果と前記第２のフィルタ領域に対応する前記レンズによるフォーカスの調整結果との組み合わせに基づいて、第１の画素アレイ領域の対象物と前記第２の画素アレイ領域の対象物との相対距離情報を取得する、上記（１３）又は（１４）に記載の撮像装置。
（１６）
　前記処理部は、前記対象領域として物体を検出する、上記（１）～（１５）のいずれか１つに記載の撮像装置。
（１７）
　前記処理部は、前記対象領域として顔画像の領域を検出する、上記（１６）に記載の撮像装置。
（１８）
　前記第１の画像と前記第２の画像とは、異なる撮像条件で取得される、上記（１）～（１７）のいずれか１つに記載の撮像装置。
（１９）
　前記第１の画像と前記第２の画像とを合成する合成部をさらに備える、上記（１）～（１８）のいずれか１つに記載の撮像装置。
（２０）
　第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、
　前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
　を有する撮像装置を用いた撮像方法であって、
　前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出し、
　前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する、
　ことを含む撮像方法。
（２１）
　撮像装置を搭載する電子機器であって、
　前記撮像装置は、
　第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、
　前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
　前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、
　前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部と、
　を有する、
　電子機器。
　　１０　　撮像装置
　　１００　　レンズ部
　　１０２、１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ　　レンズ
　　２００　　カラーフィルタ
　　２０２ａ、２０２ｂ、２０２ｃ、２０２ｄ　　フィルタ領域
　　２０４　　カラーフィルタブロック
　　３００　　撮像部
　　３０２　　画素アレイ部
　　３０４ａ、３０４ｂ、３０４ｃ、３０４ｄ　　画素アレイ領域
　　３０６　　画素
　　３１０　　半導体基板
　　３３２　　垂直駆動回路部
　　３３４　　カラム信号処理回路部
　　３３６　　水平駆動回路部
　　３３８　　出力回路部
　　３４０　　制御回路部
　　３４２　　画素駆動配線
　　３４４　　垂直信号線
　　３４６　　水平信号線
　　３４８　　入出力端子
　　４００　　処理ユニット
　　４１０　　処理部
　　４２０　　制御部
　　４３０　　記憶部
　　４３２　　テーブル
　　４４０　　出力部
　　５００　　合成部
　　８００、８０２　　被写体
　　８０８　　全体画像
　　８１０ａ、８１０ｃ、８１０ｄ　　ＲＯＩ

Claims (21)

  1. 　第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、
    　前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
    　前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、
    　前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部と、
    　を備える、撮像装置。
  2. 　前記制御部は、前記第１の画素アレイ領域と前記第２の画素アレイ領域との位置関係に基づき、制御する前記画素を選択する、請求項１に記載の撮像装置。
  3. 　前記第２のフィルタ領域及び前記第２の画素アレイ領域を複数個有し、
    　前記各第２のフィルタは、互いに異なる帯域の波長の光を透過する、
    　請求項１に記載の撮像装置。
  4. 　前記制御部は、前記対象領域の色彩に応じて、複数の第２の画素アレイ領域から、制御する１つ以上の前記第２の画素アレイ領域を選択する、請求項３に記載の撮像装置。
  5. 　前記第１及び第２のフィルタ領域は、前記カラーフィルタの同一面内に所定の配列パターンで配列する、互いに異なる波長の光を透過する複数のサブフィルタから構成される、請求項１に記載の撮像装置。
  6. 　前記第１のフィルタ領域を構成する前記サブフィルタの面積は、前記第２のフィルタ領域を構成する前記サブフィルタの面積と異なる、請求項５に記載の撮像装置。
  7. 　前記第１のフィルタ領域を構成する前記サブフィルタの数は、前記第２のフィルタ領域を構成する前記サブフィルタの数と異なる、請求項５に記載の撮像装置。
  8. 　前記第１のフィルタ領域は、ベイヤー配列で配列する、赤色光を透過する第１のサブフィルタと、緑色光を透過する第２のサブフィルタと、青色光を透過する第３のサブフィルタとから構成される、請求項５に記載の撮像装置。
  9. 　前記第１及び第２の画素アレイ領域は、基板上にマトリックス状に配置された複数の画素から構成される、請求項１に記載の撮像装置。
  10. 　前記第１の画素アレイ領域を構成する前記画素の面積は、前記第２の画素アレイ領域を構成する前記画素の面積と異なる、請求項９に記載の撮像装置。
  11. 　前記第１の画素アレイ領域を構成する前記画素の数は、前記第２の画素アレイ領域を構成する前記画素の数と異なる、請求項９に記載の撮像装置。
  12. 　前記カラーフィルタに光を導くレンズ部をさらに備える、請求項１に記載の撮像装置。
  13. 　前記レンズ部は、前記第１及び第２のフィルタ領域にそれぞれ対応する複数のレンズから構成される、請求項１２に記載の撮像装置。
  14. 　前記制御部は、前記第１のフィルタ領域に対応する前記レンズによるフォーカスと、前記第２のフィルタ領域に対応する前記レンズによるフォーカスとを、独立して、又は、同時に、調整する、請求項１３に記載の撮像装置。
  15. 　前記制御部は、前記第１のフィルタ領域に対応する前記レンズによるフォーカスの調整結果と前記第２のフィルタ領域に対応する前記レンズによるフォーカスの調整結果との組み合わせに基づいて、第１の画素アレイ領域の対象物と前記第２の画素アレイ領域の対象物との相対距離情報を取得する、請求項１３に記載の撮像装置。
  16. 　前記処理部は、前記対象領域として物体を検出する、請求項１に記載の撮像装置。
  17. 　前記処理部は、前記対象領域として顔画像の領域を検出する、請求項１６に記載の撮像装置。
  18. 　前記第１の画像と前記第２の画像とは、異なる撮像条件で取得される、請求項１に記載の撮像装置。
  19. 　前記第１の画像と前記第２の画像とを合成する合成部をさらに備える、請求項１に記載の撮像装置。
  20. 　第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、
    　前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
    　を有する撮像装置を用いた撮像方法であって、
    　前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出し、
    　前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する、
    　ことを含む撮像方法。
  21. 　撮像装置を搭載する電子機器であって、
    　前記撮像装置は、
    　第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、
    　前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
    　前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、
    　前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部と、
    　を有する、
    　電子機器。
PCT/JP2022/005661 2021-03-17 2022-02-14 撮像装置、撮像方法及び電子機器 WO2022196210A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-043627 2021-03-17
JP2021043627A JP2022143220A (ja) 2021-03-17 2021-03-17 撮像装置、撮像方法及び電子機器

Publications (1)

Publication Number Publication Date
WO2022196210A1 true WO2022196210A1 (ja) 2022-09-22

Family

ID=83322237

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005661 WO2022196210A1 (ja) 2021-03-17 2022-02-14 撮像装置、撮像方法及び電子機器

Country Status (2)

Country Link
JP (1) JP2022143220A (ja)
WO (1) WO2022196210A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013108788A (ja) * 2011-11-18 2013-06-06 Tokyo Institute Of Technology マルチスペクトル画像情報取得装置及びマルチスペクトル画像情報取得方法
JP2018096834A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、プログラム、および電子機器
JP2019036843A (ja) * 2017-08-15 2019-03-07 キヤノン株式会社 撮像装置、カメラおよび輸送機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013108788A (ja) * 2011-11-18 2013-06-06 Tokyo Institute Of Technology マルチスペクトル画像情報取得装置及びマルチスペクトル画像情報取得方法
JP2018096834A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、プログラム、および電子機器
JP2019036843A (ja) * 2017-08-15 2019-03-07 キヤノン株式会社 撮像装置、カメラおよび輸送機器

Also Published As

Publication number Publication date
JP2022143220A (ja) 2022-10-03

Similar Documents

Publication Publication Date Title
US10958847B2 (en) Imaging device, image processing method, and image processing system
WO2018110303A1 (ja) 固体撮像素子および電子機器
WO2017163927A1 (ja) チップサイズパッケージ、製造方法、電子機器、および内視鏡
US11372200B2 (en) Imaging device
JP2022044653A (ja) 撮像装置
WO2018150768A1 (ja) 測光装置、測光方法、プログラムおよび撮像装置
WO2018003245A1 (ja) 信号処理装置、撮像装置、及び信号処理方法
US11936979B2 (en) Imaging device
EP3855726A1 (en) Solid-state imaging system, solid-state imaging device, information processing device, image processing method, information processing method, and program
WO2020170565A1 (ja) 信号処理方法および撮像装置
JPWO2020026856A1 (ja) 撮像装置および電子機器
WO2018037680A1 (ja) 撮像装置、撮像システム、及び、信号処理方法
JP7225131B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP2018166242A (ja) 画像処理装置、画像処理方法、および電子機器
CN116195065A (zh) 固态成像装置和电子设备
WO2022196210A1 (ja) 撮像装置、撮像方法及び電子機器
JP2019179782A (ja) 半導体装置および半導体装置の製造方法
KR20220146447A (ko) 촬상 장치, 촬상 방법, 전자기기
JP7034925B2 (ja) 固体撮像装置および撮像方法
WO2020202876A1 (ja) 固体撮像素子及び撮像装置
TWI847334B (zh) 圖像處理裝置、圖像處理方法、及攝像裝置
US20210272995A1 (en) Imaging element and electronic apparatus
WO2019082686A1 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22770969

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22770969

Country of ref document: EP

Kind code of ref document: A1