JP2015213281A - Imaging device, image processing apparatus, image processing method and program - Google Patents
Imaging device, image processing apparatus, image processing method and program Download PDFInfo
- Publication number
- JP2015213281A JP2015213281A JP2014095939A JP2014095939A JP2015213281A JP 2015213281 A JP2015213281 A JP 2015213281A JP 2014095939 A JP2014095939 A JP 2014095939A JP 2014095939 A JP2014095939 A JP 2014095939A JP 2015213281 A JP2015213281 A JP 2015213281A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- star
- imaging
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Blocking Light For Cameras (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置、画像処理装置、画像処理方法及びプログラムに関し、特に、星空を撮影する技術に関する。 The present invention relates to an imaging device, an image processing device, an image processing method, and a program, and more particularly to a technique for photographing a starry sky.
所定の周期で被写体像を繰り返し撮影し、得られた複数の画像間の輝度情報を用いて比較明合成処理を行うことにより、例えば、地球の日周運動に起因して夜空を移動する星の光跡を残した写真を作成する映像表現手法が知られている（特許文献１参照）。 By repeatedly taking a subject image at a predetermined period and performing comparatively bright combining processing using luminance information between the obtained images, for example, a star moving in the night sky due to the earth's diurnal motion A video expression technique for creating a photograph that leaves a light trail is known (see Patent Document 1).
また、偽色による画質劣化を抑制することができる技術が提案されている（例えば、特許文献２参照）。特許文献２に記載された技術では、撮像センサ（ＲＧＢの三原色のカラーフィルタを備える撮像素子）とレンズ光学系との間にウォブリング素子を配置し、ウォブリング素子により光束を変位させて撮像センサの撮像面に結像させる。こうして得られる第１の結像位置での撮影データと第２の結像位置での撮影データとを合成し、デモザイキングして、該当画素の色値を作成している。 In addition, a technique that can suppress image quality degradation due to false colors has been proposed (see, for example, Patent Document 2). In the technique described in Patent Document 2, a wobbling element is arranged between an image sensor (an image sensor having three primary colors of RGB color filters) and a lens optical system, and a light beam is displaced by the wobbling element to capture an image of the image sensor. Form an image on the surface. The obtained image data at the first image formation position and the image data obtained at the second image formation position are combined and demosaiced to create the color value of the corresponding pixel.
しかしながら、被写体が星空の星のように微光量で移動するような点光源である場合には、点光源がカラーフィルタの全ての色の画素上に乗らないことで偽色が発生し、偽色のままで光跡となってしまうことがある。その場合に、特許文献１に記載されているように複数の画像間の輝度情報から比較明合成処理を行うことで夜空を移動する星の光跡を残した写真を作成すると、特に不自然な画像になってしまう。また、特許文献２に記載された技術では、被写体が星空の星のように複数の移動する点光源である場合に、デモザイキング処理による色値作成の過補正や解像感の劣化によって、画質が低下してしまうおそれがある。 However, if the subject is a point light source that moves with a slight amount of light like a star in the starry sky, a false color is generated because the point light source does not ride on all the color pixels of the color filter. It may become a light trail. In that case, as described in Patent Document 1, it is particularly unnatural to create a photo that leaves a light trail of a star moving in the night sky by performing comparatively bright combination processing from luminance information between a plurality of images. It becomes an image. Further, in the technique described in Patent Document 2, when the subject is a plurality of moving point light sources such as stars in the starry sky, image quality can be reduced by overcorrection of color value creation by the demosaicing process or deterioration of resolution. May decrease.
本発明は、星空の星のように移動する被写体の１点を撮影する際に、その被写体の１点の光跡が偽色になることによる撮影画像の不自然さを低減させることができる技術を提供することを目的とする。 The present invention is a technique capable of reducing unnaturalness of a captured image due to a false color of a light trace of one point of a subject moving when shooting a point of a subject moving like a star in the starry sky. The purpose is to provide.
本発明に係る第１の撮像装置は、異なる複数の色のカラーフィルタがそれぞれ割り当てられた複数の画素を有する撮像素子を備える撮像装置であって、前記撮像素子と撮影レンズとの光路内に配置される、光学特性の制御が可能な光学特性フィルタと、前記撮像素子の動作を制御する制御手段と、を有し、前記制御手段は、前記撮像素子を制御してそれぞれ異なる撮影条件で第１の画像と第２の画像を撮影し、前記第２の画像を撮像する際には、被写体の１点からの光が、少なくとも前記第１の画像の撮影時に結像されるカラーフィルタの色とは異なる色の画素を含む領域に結像されるように、前記光学特性フィルタの光学特性を制御することを特徴とする。 A first imaging device according to the present invention is an imaging device including an imaging device having a plurality of pixels to which color filters of a plurality of different colors are respectively assigned, and is disposed in an optical path between the imaging device and a photographic lens. An optical characteristic filter capable of controlling the optical characteristics, and a control means for controlling the operation of the image sensor. The control means controls the image sensor and controls the first under different photographing conditions. When the second image and the second image are captured, and the second image is captured, the light from one point of the subject is at least the color of the color filter that is imaged when the first image is captured. The optical characteristic of the optical characteristic filter is controlled so that an image is formed in an area including pixels of different colors.
本発明に係る第２の撮像装置は、撮影レンズと、異なる複数の色のカラーフィルタがそれぞれ割り当てられた複数の画素を有する撮像素子と、を備える撮像装置であって、前記撮影レンズを駆動する駆動手段と、被写体の第１の画像を撮影し、前記第１の画像の撮影とは異なるタイミングで第２の画像を撮影するように前記撮像装置の動作を制御する制御手段と、を有し、前記制御手段は、前記第２の画像を撮影する際に、前記被写体の１点からの光が前記カラーフィルタのより多くの色の画素に結像するように、前記駆動手段を介して前記撮影レンズの位置を制御することを特徴とする。 A second imaging device according to the present invention is an imaging device including a photographic lens and an imaging device having a plurality of pixels to which color filters of different colors are assigned, and drives the photographic lens. Drive means, and control means for controlling the operation of the imaging apparatus so as to take a first image of the subject and take a second image at a timing different from that of the first image. The control means, via the drive means, causes the light from one point of the subject to form an image on more color pixels of the color filter when taking the second image. The position of the taking lens is controlled.
本発明に係る画像処理装置は、撮影された複数の第１の画像に含まれる被写体の同一の１点からの光の移動ベクトル情報を算出する算出手段と、前記移動ベクトル情報と、前記複数の第１の画像の撮影とは異なるタイミングで撮影された第２の画像とから、前記被写体の同一の１点の色マスク画像を生成する生成手段と、前記複数の第１の画像の輝度信号と前記色マスク画像とから、前記色マスク画像の色信号からなる画像を合成する合成手段と、を備え、前記第２の画像は、前記被写体の同一の１点からの光が、前記第１の画像と前記第２の画像とを撮影する撮像素子が有する複数の画素毎に異なる色が割り当てられたカラーフィルタの全ての色の画素に結像するように撮影されていることを特徴とする。 An image processing apparatus according to the present invention includes a calculation unit that calculates movement vector information of light from the same point of a subject included in a plurality of captured first images, the movement vector information, and the plurality of pieces Generating means for generating the same one-point color mask image of the subject from a second image photographed at a timing different from that of the first image; luminance signals of the plurality of first images; Synthesis means for synthesizing an image composed of color signals of the color mask image from the color mask image, and the second image is obtained by applying light from the same point of the subject to the first image. The image sensor is characterized in that it is photographed so as to form an image on all color pixels of a color filter to which a different color is assigned to each of a plurality of pixels included in an image sensor that captures the image and the second image.
本発明に係る画像処理方法は、異なる複数の色のカラーフィルタがそれぞれ割り当てられた複数の画素を有する撮像素子により、移動する被写体の１点を含む複数の第１の画像を一定の時間間隔で撮影するステップと、前記第１の画像の撮影とは異なるタイミングで、前記被写体の１点からの光が前記カラーフィルタの全ての色の画素に結像するように第２の画像を撮影するステップと、前記複数の第１の画像に含まれる前記被写体の１点の移動ベクトル情報を算出するステップと、前記移動ベクトル情報と、前記第２の画像とから、前記被写体の１点の色マスク画像を生成するステップと、前記複数の第１の画像の輝度信号と前記色マスク画像とから、前記色マスク画像の色信号からなる画像を生成するステップと、を有することを特徴とする。 According to an image processing method of the present invention, a plurality of first images including one point of a moving subject are captured at a constant time interval by an imaging device having a plurality of pixels to which color filters of different colors are respectively assigned. The step of photographing and the step of photographing the second image so that light from one point of the subject forms an image on pixels of all colors of the color filter at a timing different from the photographing of the first image. A one-point color mask image of the subject from the step of calculating one-point movement vector information of the subject included in the plurality of first images, the movement vector information, and the second image. And generating an image composed of color signals of the color mask image from the luminance signals of the plurality of first images and the color mask image. That.
本発明によれば、星空の星のような被写体の１点を撮影する際に、第１の画像の撮影タイミングとは異なるタイミングで被写体の１点の色情報を取得するための第２の画像を撮影する。これにより、撮影画像（第１の画像）に対する解像感の劣化を回避すると共に、点光源の光跡が偽色になることによる不自然さを低減させた高画質な撮影画像を得ることができる。 According to the present invention, when shooting one point of a subject such as a star in the starry sky, the second image for acquiring color information of one point of the subject at a timing different from the shooting timing of the first image. Shoot. As a result, it is possible to obtain a high-quality photographed image that avoids deterioration of the resolution of the photographed image (first image) and reduces the unnaturalness caused by the light trace of the point light source becoming a false color. it can.
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
＜撮像装置の概略構成＞
図１は、本発明の実施形態に係る撮像装置１００の概略構造を示すブロック図である。撮像装置１００は、撮像部１０１、画像処理部１０２、メモリ制御部１０３、システム制御部１０４、メモリ１０５、不揮発性メモリ１０６、システムメモリ１０７及びシステムタイマ１０８を備える。また、撮像装置１００は、操作部１０９、表示部１１０、Ｄ／Ａ変換器１１１及び記憶媒体Ｉ／Ｆ１１２を備え、記憶媒体Ｉ／Ｆ１１２には記憶媒体１１３が接続可能となっている。
<Schematic configuration of imaging device>
FIG. 1 is a block diagram illustrating a schematic structure of an imaging apparatus 100 according to an embodiment of the present invention. The imaging apparatus 100 includes an imaging unit 101, an image processing unit 102, a memory control unit 103, a system control unit 104, a memory 105, a nonvolatile memory 106, a system memory 107, and a system timer 108. Further, the imaging apparatus 100 includes an operation unit 109, a display unit 110, a D / A converter 111, and a storage medium I / F 112, and a storage medium 113 can be connected to the storage medium I / F 112.
撮像部１０１は、被写体からの光を光学像として結像させるレンズと、光学像を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子とを含む。なお、撮像部１０１の詳細な構成については、図２を参照して後述する。画像処理部１０２は、撮像部１０１とメモリ制御部１０３から供給される各種のデータに対して、所定の画素補間や縮小等のリサイズ処理、色変換処理等を行う。また、画像処理部１０２は、撮像部１０１から取得した画像データを用いて所定の演算処理を行い、演算結果をシステム制御部１０４へ供給する。 The imaging unit 101 includes a lens that forms light from a subject as an optical image, and an imaging element such as a CCD or CMOS that converts the optical image into an electrical signal. A detailed configuration of the imaging unit 101 will be described later with reference to FIG. The image processing unit 102 performs predetermined pixel interpolation, resizing processing such as reduction, color conversion processing, and the like on various data supplied from the imaging unit 101 and the memory control unit 103. The image processing unit 102 performs predetermined calculation processing using the image data acquired from the imaging unit 101 and supplies the calculation result to the system control unit 104.
システム制御部１０４は、画像処理部１０２から取得した演算結果を用いて、撮像部１０１に対して露光制御や測距制御、光学制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理が実現される。撮像部１０１からの出力データは、画像処理部１０２及びメモリ制御部１０３を介して、或いは、メモリ制御部１０３を介して、メモリ１０５に書き込まれる。 The system control unit 104 performs exposure control, distance measurement control, optical control, and the like on the imaging unit 101 using the calculation result acquired from the image processing unit 102. As a result, TTL (through the lens) AF (autofocus) processing, AE (automatic exposure) processing, and EF (strobe pre-flash) processing are realized. Output data from the imaging unit 101 is written into the memory 105 via the image processing unit 102 and the memory control unit 103 or via the memory control unit 103.
システム制御部１０４は、撮像装置１００の全体的な動作を制御する。また、システム制御部１０４は、不揮発性メモリ１０６に格納された所定のプログラムを実行することにより、後述する各種の処理を実行する。なお、ここでの「プログラム」とは、後述するフローチャート（図３，６，８）の処理を実行するためのプログラムを指す。不揮発性メモリ１０６は、電気的に消去／記憶が可能なメモリであり、例えば、ＥＥＰＲＯＭ等である。不揮発性メモリ１０６には、システム制御部１０４の動作用定数、プログラム等が格納される。 The system control unit 104 controls the overall operation of the imaging apparatus 100. Further, the system control unit 104 executes various processes described below by executing a predetermined program stored in the nonvolatile memory 106. Here, the “program” refers to a program for executing processing of flowcharts (FIGS. 3, 6, and 8) described later. The nonvolatile memory 106 is an electrically erasable / storable memory, such as an EEPROM. The nonvolatile memory 106 stores operation constants, programs, and the like for the system control unit 104.
メモリ１０５は、撮像部１０１から得られた画像データを格納する。メモリ１０５は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を有している。また、メモリ１０５は、画像表示用のメモリ（ビデオメモリ）を兼ねる。表示部１１０は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等の表示装置を含む。Ｄ／Ａ変換器１１１は、メモリ１０５に格納されている画像表示用のデータをアナログ信号に変換して表示部１１０に供給する。これにより、表示部１１０に画像が表示される。 The memory 105 stores image data obtained from the imaging unit 101. The memory 105 has a storage capacity sufficient to store a predetermined number of still images, a moving image and sound for a predetermined time. The memory 105 also serves as an image display memory (video memory). The display unit 110 includes a display device such as a liquid crystal display or an organic EL display, for example. The D / A converter 111 converts the image display data stored in the memory 105 into an analog signal and supplies the analog signal to the display unit 110. Thereby, an image is displayed on the display unit 110.
システムメモリ１０７には、ＲＡＭが用いられる。システムメモリ１０７には、システム制御部１０４の動作用の定数、変数、不揮発性メモリ１０６から読み出したプログラム等が展開される。システムタイマ１０８は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。操作部１０９は、撮像装置１００の本体に設けられた各種のボタンを含み、所定のボタンが押下されると、押下されたボタンに割り当てられた機能をシステム制御部１０４が実行する。また、操作部１０９は、表示部１１０に設けられたタッチパネルを含み、タッチパネルに表示された所定のアイコンが選択されると、選択されたアイコンに割り当てられた機能がシステム制御部１０４により実行される。 A RAM is used as the system memory 107. In the system memory 107, constants and variables for operation of the system control unit 104, programs read from the nonvolatile memory 106, and the like are expanded. The system timer 108 is a time measuring unit that measures the time used for various controls and the time of a built-in clock. The operation unit 109 includes various buttons provided on the main body of the imaging apparatus 100. When a predetermined button is pressed, the system control unit 104 executes a function assigned to the pressed button. The operation unit 109 includes a touch panel provided on the display unit 110. When a predetermined icon displayed on the touch panel is selected, a function assigned to the selected icon is executed by the system control unit 104. .
記憶媒体Ｉ／Ｆ１１２は、記憶媒体１１３とシステム制御部１０４との間の通信を可能とするためのインタフェースである。記憶媒体１１３は、撮影された画像を記憶し、保存する媒体であり、例えば、半導体メモリや磁気ディスク（ハードディスク）等である。記憶媒体１１３は、撮像装置１００の本体内に内蔵されていてもよいし、撮像装置１００の本体に対して着脱自在であってもよい。 The storage medium I / F 112 is an interface for enabling communication between the storage medium 113 and the system control unit 104. The storage medium 113 is a medium for storing and storing captured images, and is, for example, a semiconductor memory or a magnetic disk (hard disk). The storage medium 113 may be built in the main body of the imaging device 100 or may be detachable from the main body of the imaging device 100.
図２は、撮像部１０１の概略構成を示すブロック図である。ここでは、撮像部１０１の構成として、光学特性フィルタを備えないもの（以下「撮像部１０１Ａ」という）と、光学特性フィルタを備えるもの（以下「撮像部１０１Ｂ」という）の２種類の構造を例示する。 FIG. 2 is a block diagram illustrating a schematic configuration of the imaging unit 101. Here, as the configuration of the imaging unit 101, two types of structures are exemplified, one having no optical characteristic filter (hereinafter referred to as “imaging unit 101A”) and one having an optical characteristic filter (hereinafter referred to as “imaging unit 101B”). To do.
図２（ａ）は、撮像部１０１Ａの概略構成を示すブロック図である。撮像部１０１Ａは、撮影レンズ２０１（以下「レンズ２０１」と記す）、撮像センサ２０２（以下「センサ２０２」と記す）及びレンズ制御部２０３を有する。レンズ２０１は、被写体からの光束を集光し、集光した光束をセンサ２０２の撮像面上に光学像として結像させる単一レンズ又はレンズ群である。レンズ２０１は、レンズ制御部２０３からのレンズ制御情報に応じて光軸上を移動可能に構成されており、これにより、光軸後方への光量調整やセンサ２０２に対する光学像の結像位置の調整等を行うことができるようになっている。 FIG. 2A is a block diagram illustrating a schematic configuration of the imaging unit 101A. The imaging unit 101A includes a photographing lens 201 (hereinafter referred to as “lens 201”), an imaging sensor 202 (hereinafter referred to as “sensor 202”), and a lens control unit 203. The lens 201 is a single lens or a lens group that collects a light beam from a subject and forms the collected light beam as an optical image on the imaging surface of the sensor 202. The lens 201 is configured to be movable on the optical axis in accordance with lens control information from the lens control unit 203, thereby adjusting the light amount behind the optical axis and adjusting the image formation position of the optical image with respect to the sensor 202. Etc. can be performed.
センサ２０２は、レンズ２０１により結像された光学像を電気信号に変換するＣＣＤセンサやＣＭＯＳセンサ等の撮像センサである。センサ２０２には、被写体の色情報を取得することができるように、センサ２０２を構成する撮像素子の画素単位で、Ｒ（赤）、Ｇ（緑）、Ｂ（青）三原色のカラーフィルタが、例えば、ベイヤ配列で配置されている。レンズ制御部２０３は、システム制御部１０４による制御下で、レンズ２０１の光学特性を変化させる機械的な制御、例えば、フォーカス制御や撮影時の手ブレ等を低減させるための光学的な防振制御等を行う。 The sensor 202 is an imaging sensor such as a CCD sensor or a CMOS sensor that converts an optical image formed by the lens 201 into an electrical signal. The sensor 202 has color filters of R (red), G (green), and B (blue) three primary colors for each pixel of the image sensor that constitutes the sensor 202 so that the subject color information can be acquired. For example, they are arranged in a Bayer array. The lens control unit 203 is mechanically controlled to change the optical characteristics of the lens 201 under the control of the system control unit 104, for example, optical image stabilization control for reducing focus control or camera shake during shooting. Etc.
図２（ｂ）は、撮像部１０１Ｂの概略構成を示すブロック図である。撮像部１０１Ｂは、レンズ２０１、センサ２０２、レンズ制御部２０３、光学特性フィルタ２０４及び光学特性フィルタ制御部２０５を有する。レンズ２０１、センサ２０２及びレンズ制御部２０３は、それぞれ、図２（ａ）に示したものと同じであるので、ここでの説明を省略する。 FIG. 2B is a block diagram illustrating a schematic configuration of the imaging unit 101B. The imaging unit 101B includes a lens 201, a sensor 202, a lens control unit 203, an optical characteristic filter 204, and an optical characteristic filter control unit 205. Since the lens 201, the sensor 202, and the lens control unit 203 are the same as those shown in FIG. 2A, description thereof is omitted here.
光学特性フィルタ２０４は、レンズ２０１とセンサ２０２の間の光路内の光軸上に配置され、レンズ２０１がセンサ２０２に結像する光学像に対して、光学特性を変化させるデバイスである。光学特性フィルタ２０４は、具体的には、光学像に対してローパスフィルタやバンドパスフィルタとしてのフィルタリングが実現できるものであればよい。光学特性フィルタ制御部２０５は、システム制御部１０４の制御下で、光学特性フィルタ２０４に対してフィルタ特性の切り替えを行う。 The optical property filter 204 is a device that is arranged on the optical axis in the optical path between the lens 201 and the sensor 202 and changes the optical property with respect to the optical image formed on the sensor 202 by the lens 201. Specifically, the optical characteristic filter 204 may be any filter that can realize filtering as a low-pass filter or a band-pass filter for an optical image. The optical characteristic filter control unit 205 switches filter characteristics for the optical characteristic filter 204 under the control of the system control unit 104.
上述した撮像装置１００の構成は、一例であって、以下に説明する動作と処理（撮影動作、画像処理）を実行することができるものであれば、上述した構成に限定されるものではない。 The configuration of the imaging apparatus 100 described above is an example, and the configuration is not limited to the above-described configuration as long as operations and processes (imaging operation and image processing) described below can be executed.
＜第１実施形態＞
第１実施形態では、撮像装置１００を用いて、星空（夜空）の星（被写体の１点）の光跡を残す写真を撮影するシーンを取り上げることとし、星の光跡を残す写真を撮影するための撮影シーケンスを星空撮影モードと定義する。星空撮影モードでは、システム制御部１０４の制御下で、撮像装置１００は、同一撮影条件で、且つ、一定の時間間隔で、複数回（Ｎ回）の撮影を繰り返し、撮影された複数枚（Ｎ枚）の画像に対して比較明合成処理を施して、１枚の合成画像を作成する。なお、「比較明合成処理」とは、第１の画像と第２の画像の同一座標の画素の輝度値を比較し、明るい方（輝度値が高い画像）の輝度値を選択して、第２の画像における同一座標の画素の輝度値を置換する処理である。この場合、第２の画像を黒画像として初期化しておくことで、第２の画像は、ｍ回目（１＜ｍ＜Ｎ）の比較明合成時には、ｍ−１回目までの合成結果の画像となる。
<First Embodiment>
In the first embodiment, the imaging device 100 is used to pick up a scene that captures a photo of a starry sky (night sky) star (one point of the subject) and captures a photo of the star light trail. The shooting sequence is defined as the starry sky shooting mode. In the starry sky shooting mode, under the control of the system control unit 104, the imaging apparatus 100 repeats shooting a plurality of times (N times) under the same shooting conditions and at a fixed time interval (N times) (N A comparatively bright composite process is performed on the (single) image to create one composite image. The “comparative bright combination processing” refers to comparing the luminance values of the pixels at the same coordinates of the first image and the second image, selecting the luminance value of the brighter (image having a higher luminance value), This is a process for replacing the luminance value of the pixel at the same coordinate in the two images. In this case, by initializing the second image as a black image, the second image can be combined with an image obtained as a result of the synthesis up to the m−1th time in the m-th (1 <m <N) comparative bright synthesis. Become.
図３は、撮像装置１００による撮影方法の第１の例のフローチャートであり、システム制御部１０４による処理内容を示している。ここで、撮像装置１００は、撮像部１０１として、図２（ｂ）に示した撮像部１０１Ｂを備えるものとする。また、システム制御部１０４は、不揮発性メモリ１０６に格納されたプログラムをシステムメモリ１０７に展開することにより、図３のフローチャートの各種処理を実行する。 FIG. 3 is a flowchart of a first example of an imaging method by the imaging apparatus 100, and shows processing contents by the system control unit 104. Here, it is assumed that the imaging apparatus 100 includes the imaging unit 101B illustrated in FIG. Further, the system control unit 104 executes various processes in the flowchart of FIG. 3 by developing the program stored in the nonvolatile memory 106 in the system memory 107.
ステップＳ３０１においてシステム制御部１０４は、ユーザが設定した本画像（第１の画像）の撮影時の撮影条件を取得する。第１実施形態では、撮影条件には、少なくとも、露光時間やレンズ２０１の絞り値、センサ２０２のＩＳＯ感度等の露光量に関わる情報が含まれているものとする。続くステップＳ３０２においてシステム制御部１０４は、ステップＳ３０１で取得した撮影条件を用いて、星の色情報取得時の撮影条件を算出する。第１実施形態では、星の色情報取得時の撮影条件が、本画像撮影時の露光量と同等となり（好ましくは等しくなり）、且つ、露光時間が最も短くなるように、露光時間とレンズ２０１の絞り値、センサ２０２のＩＳＯ感度が決定される。 In step S301, the system control unit 104 acquires shooting conditions at the time of shooting the main image (first image) set by the user. In the first embodiment, it is assumed that the shooting conditions include at least information related to the exposure amount such as the exposure time, the aperture value of the lens 201, and the ISO sensitivity of the sensor 202. In subsequent step S302, the system control unit 104 calculates shooting conditions when acquiring star color information using the shooting conditions acquired in step S301. In the first embodiment, the exposure time and the lens 201 are set so that the shooting condition at the time of obtaining star color information is equivalent to (preferably equal to) the exposure amount at the time of actual image shooting, and the exposure time is the shortest. Aperture value and ISO sensitivity of the sensor 202 are determined.
ステップＳ３０３においてシステム制御部１０４は、ステップＳ３０２で算出した星の色情報取得時の撮影条件の露光時間が所定の露光時間以内であるか否かを判定する。ここでの判定に用いる所定の露光時間は、任意の露光時間でよい。例えば、星空撮影モードは、Ｎ枚の撮影画像に対して比較明合成処理を行うことで星の光跡同士をつなぐため、星の光跡をつなぐことができる露光時間を、ステップＳ３０３の判定に用いる所定の露光時間として設定することができる。その場合、単位時間あたりの星の移動量は撮影方位や撮影画角によって異なるため、星の光跡をつなぐことができる露光時間は撮影方位や撮影画角の情報を用いて決定してもよい。 In step S <b> 303, the system control unit 104 determines whether or not the exposure time of the shooting condition at the time of obtaining the star color information calculated in step S <b> 302 is within a predetermined exposure time. The predetermined exposure time used for the determination here may be an arbitrary exposure time. For example, in the starry sky shooting mode, since the light trails of stars are connected by performing comparatively bright combination processing on N shot images, the exposure time that can connect the star light tracks is determined in step S303. It can be set as a predetermined exposure time to be used. In this case, since the moving amount of the star per unit time varies depending on the shooting direction and the shooting angle of view, the exposure time that can connect the light trails of the stars may be determined using information on the shooting direction and the shooting angle of view. .
システム制御部１０４は、星の色情報取得時の撮影条件の露光時間が所定の露光時間以内である場合（Ｓ３０３でＹＥＳ）処理をステップＳ３０４へ進める。また、システム制御部１０４は、星の色情報取得時の撮影条件の露光時間が所定の露光時間以内ではない場合（Ｓ３０３でＮＯ）、処理をステップＳ３０５へ進める。 The system control unit 104 advances the process to step S304 when the exposure time of the imaging condition when acquiring the star color information is within the predetermined exposure time (YES in S303). In addition, when the exposure time of the photographing condition at the time of obtaining the star color information is not within the predetermined exposure time (NO in S303), the system control unit 104 advances the process to step S305.
ステップＳ３０４においてシステム制御部１０４は、ステップＳ３０３で算出された星の色情報取得時の撮影条件で撮像部１０１による撮影を行い、星の色情報を含む画像（第２の画像）を取得する。このとき、システム制御部１０４は、光学特性フィルタ制御部２０５を介して、星からの光が少なくとも本画像撮影時に結像されるカラーフィルタの色とは異なる色の画素を含む領域に結像されるように、光学特性フィルタ２０４の光学特性を制御する。ここで、ステップＳ３０４における光学特性フィルタ２０４の光学特性制御について、図４を参照して説明する。 In step S304, the system control unit 104 performs shooting by the imaging unit 101 under the shooting condition at the time of obtaining the star color information calculated in step S303, and acquires an image (second image) including star color information. At this time, the system control unit 104 forms an image of light from the star through an optical characteristic filter control unit 205 at least in an area including pixels of a color different from the color of the color filter formed at the time of actual image shooting. As described above, the optical characteristic of the optical characteristic filter 204 is controlled. Here, the optical characteristic control of the optical characteristic filter 204 in step S304 will be described with reference to FIG.
図４は、ステップＳ３０４における星の色情報を取得するＲための撮影方法を模式的に示す図である。センサ２０２には、Ｒ，Ｇ（Ｇ１，Ｇ２），Ｂの三原色のカラーフィルタがベイヤ配列で撮像素子の画素毎に配置されているものとする。図４に示す直線４０１は、ユーザが設定した露出時間における、被写体の１点である星空の星Ｓ（以下の説明では、適宜、星Ｓを「点光源」と称呼する）が移動する方向及び移動量を示している。また、図４には、通常撮影時のセンサ２０２での結像領域が、結像領域４０２として示されている。これに対してステップＳ３０４では、星Ｓの色情報を含む画像取得を行うために、星Ｓからの光の結像を、領域４０４のようにカラーフィルタの全ての色の画素（Ｒ，Ｇ（Ｇ１，Ｇ２），Ｂ）を含む結像領域４０３となるように、光学特性フィルタ２０４を制御する。 FIG. 4 is a diagram schematically showing a photographing method for R for acquiring star color information in step S304. In the sensor 202, color filters of three primary colors of R, G (G1, G2), and B are arranged for each pixel of the image sensor in a Bayer array. A straight line 401 shown in FIG. 4 indicates a direction in which a star S that is one point of the subject during the exposure time set by the user (in the following description, the star S is appropriately referred to as “point light source”) and The amount of movement is shown. Also, in FIG. 4, an image formation region at the sensor 202 during normal photographing is shown as an image formation region 402. On the other hand, in step S304, in order to acquire an image including the color information of the star S, image formation of light from the star S is performed using all color pixels (R, G ( The optical characteristic filter 204 is controlled so as to be an imaging region 403 including G1, G2), and B).
図５は、ステップＳ３０４での撮影によって得られる撮影画像と星の色情報との関係を説明する図である。図５（ｃ）は、図４を参照して説明した光学特性フィルタ２０４の光学特性制御を行うことによって撮影された画像を模式的に示す図である。図５（ｃ）では、星の色の違いをハッチングの違いで表現しており、本画像撮影時と同じ構図で、それぞれの星の光についてそれぞれの星に対応した色を取得することができる。 FIG. 5 is a diagram for explaining the relationship between the photographed image obtained by photographing in step S304 and star color information. FIG. 5C is a diagram schematically illustrating an image photographed by performing the optical characteristic control of the optical characteristic filter 204 described with reference to FIG. In FIG. 5C, the difference in star color is expressed by the difference in hatching, and the color corresponding to each star can be acquired for the light of each star with the same composition as that at the time of actual image shooting. .
なお、ステップＳ３０４では、画像処理部１０２において、星の色情報を含む画像に対して前述した比較明合成処理を行ってもよい。例えば、ｎ枚目（２＜ｎ≦Ｎ）で撮影された星の色情報を含む画像（図５（ｃ））を第１の画像とし、ｎ−１枚目までの星の色情報を含む画像を第２の画像（図５（ａ））とした場合、比較明合成後の第２の画像は図５（ｅ）となる。 In step S304, the image processing unit 102 may perform the above-described comparatively bright combination process on an image including star color information. For example, an image including color information of a star photographed on the nth image (2 <n ≦ N) (FIG. 5C) is the first image, and includes color information of stars up to the (n−1) th image. When the image is the second image (FIG. 5A), the second image after the comparatively bright combination is shown in FIG.
図３の説明に戻る。ステップＳ３０５においてシステム制御部１０４は、ユーザが設定した本画像撮影時の撮影条件で撮像部１０１による撮影を行い、本画像を取得する。このとき、システム制御部１０４は、光学特性フィルタ制御部２０５を介して光学特性フィルタ２０４が通常の撮影時の光学特性となるように制御を行って、撮影を行う。図５（ｄ）は、ステップＳ３０５で撮影された本画像を示している。 Returning to the description of FIG. In step S <b> 305, the system control unit 104 captures an image with the image capturing unit 101 under the capturing conditions at the time of capturing the main image set by the user, and acquires the main image. At this time, the system control unit 104 controls the optical property filter 204 via the optical property filter control unit 205 such that the optical property filter 204 has the optical characteristics at the time of normal imaging, and performs imaging. FIG. 5D shows the main image taken in step S305.
なお、ステップＳ３０５では、画像処理部１０２において、本画像に対して前述した比較明合成処理を行ってもよい。例えば、ｎ枚目で撮影された本画像（図５（ｄ））を第１の画像，ｎ−１枚目までの比較明合成された本画像を第２の画像（図５（ｂ））とした場合、比較明合成後の第２の画像は図５（ｆ）となる。なお、第１実施形態において、ｎは任意の枚数であるが、図５は、ｎ＝２の場合を例示している。 In step S305, the image processing unit 102 may perform the above-described comparatively bright combination process on the main image. For example, the main image (FIG. 5 (d)) taken with the nth image is the first image, and the main image synthesized with comparatively bright light up to the (n-1) th image is the second image (FIG. 5 (b)). In this case, the second image after the comparatively bright combination is shown in FIG. In the first embodiment, n is an arbitrary number, but FIG. 5 illustrates the case where n = 2.
ステップＳ３０６においてシステム制御部１０４は、Ｎ枚の撮影が完了したか否かを判定する。システム制御部１０４は、Ｎ枚目である場合（Ｓ３０６でＹＥＳ）、処理をステップＳ３０７へ進め、Ｎ枚目ではない場合（Ｓ３０６でＮＯ）、処理をステップＳ３０２へ戻す。ステップＳ３０７においてシステム制御部１０４は、取得した本画像（図５（ｆ））と星の色情報（図５（ｅ））とを関連付けて記憶媒体１１３に保存する。ここでの関連付けは、本画像と星の色情報とが１対１の関係で関連付けられていればよい。したがって、記憶媒体１１３に記憶されるファイル構成は、本画像と星の色情報とがそれぞれ別ファイルとして保存されてもよいし、本画像のファイルに星の色情報が埋め込こまれた単一のファイルとして保存されてもよい。 In step S306, the system control unit 104 determines whether or not N images have been captured. If it is the Nth sheet (YES in S306), the system control unit 104 advances the process to step S307, and if it is not the Nth sheet (NO in S306), the process returns to step S302. In step S <b> 307, the system control unit 104 stores the acquired main image (FIG. 5F) and star color information (FIG. 5E) in association with each other in the storage medium 113. In this case, it is only necessary that the main image and the star color information are related in a one-to-one relationship. Therefore, the file structure stored in the storage medium 113 may be a single image in which the main image and star color information may be stored as separate files, or the star color information is embedded in the file of the main image. It may be saved as a file.
以上の説明の通り、第１実施形態では、星空撮影モードでの撮影時に、本画像の撮影タイミングとは異なるタイミングで、センサ２０２の少なくとも本画像撮影時に結像されるカラーフィルタの色とは異なる色の画素を含む領域に星Ｓからの光が結像するように光学特性フィルタ２０４を制御する。このようにして星の色情報を取得するための撮影を行うことで、本画像（図５（ｆ））に対する解像感の劣化を招くことなく、星の色情報（図５（ｅ））を取得することができる。そして、ユーザは、取得した星の色情報を用いることにより、本画像の星の光跡に対して星の色を再現するための画像処理を容易に行うことができるようになる。 As described above, in the first embodiment, at the time of shooting in the starry sky shooting mode, the color of the color filter formed at least during the shooting of the main image of the sensor 202 is different from the shooting timing of the main image. The optical characteristic filter 204 is controlled so that the light from the star S forms an image in a region including the color pixels. Shooting for obtaining the star color information in this way causes the star color information (FIG. 5 (e)) without degrading the resolution of the main image (FIG. 5 (f)). Can be obtained. Then, by using the acquired star color information, the user can easily perform image processing for reproducing the star color with respect to the light trail of the star of the main image.
＜第２実施形態＞
第１実施形態では、撮像部１０１Ｂを備える撮像装置１００を用いて星空撮影モードでの撮影を行い、その際に、光学特性フィルタ２０４の制御を行うことによって星の色情報を取得した。これに対して、第２実施形態では、撮像部１０１Ａを備える撮像装置１００を用いて星空撮影モードでの撮影を行う。
Second Embodiment
In the first embodiment, shooting in the starry sky shooting mode is performed using the imaging device 100 including the imaging unit 101B, and the color information of the stars is acquired by controlling the optical characteristic filter 204 at that time. On the other hand, in 2nd Embodiment, imaging | photography in starry sky imaging | photography mode is performed using the imaging device 100 provided with 101 A of imaging parts.
図６は、撮像装置１００による撮影方法の第２の例のフローチャートであり、システム制御部１０４による処理内容を示している。システム制御部１０４は、不揮発性メモリ１０６に格納されたプログラムをシステムメモリ１０７に展開することにより、図６のフローチャートの各種処理を実行する。なお、図６のフローチャートにある処理であって、図３のフローチャートにもある処理については、同じステップ番号を付して、ここでの説明を省略することとする。 FIG. 6 is a flowchart of a second example of the imaging method by the imaging apparatus 100, and shows the processing contents by the system control unit 104. The system control unit 104 executes various processes in the flowchart of FIG. 6 by developing the program stored in the nonvolatile memory 106 in the system memory 107. Note that the processes in the flowchart of FIG. 6 that are also in the flowchart of FIG. 3 are denoted by the same step numbers and description thereof is omitted here.
ステップＳ３０１〜Ｓ３０３の処理は、第１実施形態（図３のステップＳ３０１〜Ｓ３０３）の処理と同じである。システム制御部１０４は、星の色情報取得時の撮影条件の露光時間が所定の露光時間以内である場合（Ｓ３０３でＹＥＳ）処理をステップＳ６０１へ進める。また、システム制御部１０４は、星の色情報取得時の撮影条件の露光時間が所定の露光時間以内ではない場合（Ｓ３０３でＮＯ）、処理をステップＳ３０５へ進める。 The processing of steps S301 to S303 is the same as that of the first embodiment (steps S301 to S303 in FIG. 3). The system control unit 104 advances the process to step S601 when the exposure time of the shooting condition at the time of obtaining the star color information is within the predetermined exposure time (YES in S303). In addition, when the exposure time of the photographing condition at the time of obtaining the star color information is not within the predetermined exposure time (NO in S303), the system control unit 104 advances the process to step S305.
ステップＳ６０１においてシステム制御部１０４は、ユーザが設定した本画像撮影時の撮像部１０１のレンズ制御情報をメモリ１０５へ保存する。第２実施形態では、一例として、レンズ制御情報として、レンズ２０１のフォーカス位置情報が保存されるものとする。続くステップＳ６０２においてシステム制御部１０４は、ステップＳ３０２で算出された星の色情報取得時の撮影条件で撮像部１０１により撮影を行い、星の色情報を含む画像を取得する。このとき、システム制御部１０４は、レンズ制御部２０３を介して、星からの光が少なくとも本画像撮影時に結像されるカラーフィルタの色とは異なる色の画素を含む領域に結像されるように、レンズ２０１の動作制御を行う。ステップＳ６０２におけるレンズ２０１の駆動制御について、図７を参照して説明する。 In step S <b> 601, the system control unit 104 stores the lens control information of the imaging unit 101 at the time of capturing the main image set by the user in the memory 105. In the second embodiment, as an example, focus position information of the lens 201 is stored as lens control information. In subsequent step S602, the system control unit 104 captures an image including the star color information by capturing with the image capturing unit 101 under the capturing condition at the time of acquiring the star color information calculated in step S302. At this time, the system control unit 104 causes the light from the star to be imaged via the lens control unit 203 at least in an area including pixels of a color different from the color of the color filter that is imaged at the time of actual image capturing. In addition, the operation of the lens 201 is controlled. The drive control of the lens 201 in step S602 will be described with reference to FIG.
図７は、ステップＳ６０２における星の色情報を取得するための撮影方法を模式的に示す図である。センサ２０２には、図４に示したカラーフィルタと同様に、Ｒ，Ｇ（Ｇ１，Ｇ２），Ｂの三原色のカラーフィルタがベイヤ配列で配置されているものとする。 FIG. 7 is a diagram schematically illustrating a photographing method for acquiring star color information in step S602. Similarly to the color filter shown in FIG. 4, the sensor 202 is assumed to have R, G (G1, G2), and B primary color filters arranged in a Bayer array.
図７（ａ）は、レンズ２０１のフォーカス位置を制御して、星の色情報を取得する方法を模式的に示す図である。図７（ａ）に示す直線７０１は、ユーザが設定した露出時間での被写体である星Ｓ（点光源）が移動する方向及び移動量を示している。そして、通常撮影時、即ち、すなわちステップＳ６０１で保存したフォーカス位置でのセンサ２０２での結像領域が、結像領域７０２として示されている。これに対して、ステップＳ６０２では、星の色情報を含む画像を取得するために、レンズ制御部２０３は、レンズ２０１のフォーカス位置を制御した撮影を行う。即ち、点光源である星Ｓからの光が、領域７０４のようにカラーフィルタの全ての色の画素を含む結像領域となるように、デフォーカス制御を行う。 FIG. 7A is a diagram schematically illustrating a method for acquiring the color information of the star by controlling the focus position of the lens 201. A straight line 701 shown in FIG. 7A indicates the direction and amount of movement of the star S (point light source) that is the subject at the exposure time set by the user. An imaging region at the sensor 202 at the time of normal photographing, that is, at the focus position stored in step S601 is shown as an imaging region 702. On the other hand, in step S602, the lens control unit 203 performs shooting with the focus position of the lens 201 controlled in order to acquire an image including star color information. That is, defocus control is performed so that the light from the star S, which is a point light source, becomes an imaging region including pixels of all the colors of the color filter as in the region 704.
ここで、図７（ａ）の例では、星Ｓの中心が、Ｒ，Ｇ１，Ｇ２，Ｂの各画素の頂点が交わる位置にあるため、領域７０４のような狭い領域でも、カラーフィルタの全ての色の画素を略均等な領域で含むことができる。しかし、不図示であるが、例えば、星Ｓの中心がＢの画素の中心にあった場合には、領域７０４の大きさでは、カラーフィルタの全ての色の画素を略均等に含むことはできず、星Ｓの正確な色を取得することができなくなる。そこで、Ｒ，Ｇ１，Ｇ２，Ｂの各画素を１つずつ必ず包含する大きさの結像領域７０３となるようなデフォーカス制御を行う。これにより、カラーフィルタ上での星Ｓの中心位置に関係なく、確実にカラーフィルタの全ての色の画素を含ませることができる。 Here, in the example of FIG. 7A, since the center of the star S is at a position where the vertices of the respective pixels R, G1, G2, and B intersect, even in a narrow region such as the region 704, all of the color filters. Can be included in a substantially uniform region. However, although not shown, for example, when the center of the star S is at the center of the pixel B, the size of the region 704 cannot include pixels of all colors of the color filter substantially evenly. Therefore, the accurate color of the star S cannot be obtained. Therefore, defocus control is performed so that the imaging region 703 has a size that necessarily includes each of R, G1, G2, and B pixels. Thereby, regardless of the center position of the star S on the color filter, it is possible to reliably include all the color pixels of the color filter.
なお、第２実施形態では、被写体である星のフォーカス位置は、一般的に無限遠となるため、前述のデフォーカス制御に際して、予め固定のフォーカス値を定めているものとする。但し、これに限られず、前述のデフォーカス制御を実現することができれば、別の方法でステップＳ６０２のフォーカス値を算出してもよい。 In the second embodiment, since the focus position of a star as a subject is generally infinite, it is assumed that a fixed focus value is set in advance in the defocus control described above. However, the present invention is not limited to this, and the focus value in step S602 may be calculated by another method as long as the above-described defocus control can be realized.
このようなレンズ２０１のフォーカス位置を制御する方法に代えて、被写体からの光束のセンサ２０２に対する結像位置にレンズ２０１の位置を制御することで、星の色情報を取得してもよい。図７（ｂ）は、レンズ２０１による光束の結像位置を制御することによって星の色情報を取得する方法を模式的に示す図である。被写体である星Ｓからの光が、少なくとも本画像撮影時に結像されるカラーフィルタの色とは異なる色の画素を含む領域（画素群）に結像されるようにする。具体的には、通常撮影時の星Ｓの結像領域７０２と、通常撮影時の星Ｓの位置から垂直方向に距離ｄＨ、水平方向に距離ｄＷだけそれぞれずれた２カ所での星Ｓ´の結像領域７０５とを含むように、レンズ制御部２０３によるレンズ２０１の駆動制御を行って撮影を行う。 Instead of such a method of controlling the focus position of the lens 201, the color information of the star may be acquired by controlling the position of the lens 201 to the image formation position of the light flux from the subject with respect to the sensor 202. FIG. 7B is a diagram schematically illustrating a method of acquiring star color information by controlling the imaging position of the light beam by the lens 201. The light from the star S, which is the subject, is imaged at least in a region (pixel group) including pixels of a color different from the color of the color filter that is imaged at the time of actual image capturing. Specifically, the imaging region 702 of the star S at the time of normal shooting and the star S ′ at two positions shifted from the position of the star S at the time of normal shooting by a distance dH in the vertical direction and a distance dW in the horizontal direction, respectively. The lens control unit 203 performs drive control of the lens 201 so as to include the imaging region 705 and performs imaging.
なお、図７（ｂ）では、垂直方向の距離ｄＨと水平方向の距離ｄＷをそれぞれ、センサ２０２の画素ピッチと同等としているが、少なくとも本画像撮影時に結像されるカラーフィルタの色とは異なる色の画素を含む領域に結像されれば、このような距離に限定されるものではなく、他の距離を設定してもよい。また、レンズ制御部２０３による結像位置の制御は、被写体である星が点光源であって、しかも移動体であるため、センサ２０２の露光中に動的に行われることが好ましい。更に、システム制御部１０４は、各色の画素上での被写体の露光時間が均等となるように結像位置を遷移させる制御を行うことが好ましい。その際、各色の画素上での露出時間がステップＳ３０２で算出された星の色情報取得時の撮影条件における露出時間となるように、レンズ２０１の結像位置制御に応じて、ステップＳ６０２での撮影時間を再計算してもよい。 In FIG. 7B, the vertical distance dH and the horizontal distance dW are respectively equal to the pixel pitch of the sensor 202, but at least different from the color of the color filter formed at the time of actual image shooting. As long as an image is formed in a region including color pixels, the distance is not limited to this, and other distances may be set. Further, the control of the imaging position by the lens control unit 203 is preferably performed dynamically during exposure of the sensor 202 because the star as a subject is a point light source and is a moving body. Furthermore, the system control unit 104 preferably performs control to change the imaging position so that the exposure time of the subject on the pixels of each color is equal. At that time, according to the imaging position control of the lens 201, the exposure time on the pixels of each color is the exposure time in the photographing condition at the time of obtaining the star color information calculated in step S302. The shooting time may be recalculated.
第２実施形態においても、ステップＳ６０２において撮影された画像は、第１実施形態と同様に、図５（ｃ）となり、本画像撮影時と同じ構図で、それぞれの星の光についてそれぞれの星に対応した色を取得することができる。 Also in the second embodiment, the image taken in step S602 is the same as that in the first embodiment, as shown in FIG. 5C. The corresponding color can be acquired.
図６の説明に戻る。ステップＳ６０３においてシステム制御部１０４は、ステップＳ６０１でメモリに保存したレンズ２０１のフォーカス位置情報（レンズ制御情報）を読み出し、レンズ制御部２０３によりレンズ２０１のフォーカス位置をユーザが設定した本画像撮影時の状態に戻す。ステップＳ６０３の後のステップＳ３０５〜Ｓ３０７の処理は、図３に示したステップＳ３０５〜Ｓ３０７と同じであるため、ここでの説明を省略する。 Returning to the description of FIG. In step S603, the system control unit 104 reads the focus position information (lens control information) of the lens 201 stored in the memory in step S601, and the lens control unit 203 sets the focus position of the lens 201 by the user at the time of actual image shooting. Return to the state. Since the process of step S305-S307 after step S603 is the same as step S305-S307 shown in FIG. 3, description here is abbreviate | omitted.
以上の説明の通り、第２実施形態でも、星空撮影モードでの撮影時に、本画像の撮影タイミングとは異なるタイミングで、センサ２０２の少なくとも本画像撮影時に結像されるカラーフィルタの色とは異なる色の画素を含む領域に星（点光源）からの光が結像するように、レンズ制御部２０３によりレンズ２０１を駆動制御する。このようにして星の色情報を取得するための撮影を行うことで、本画像（図５（ｆ））に対する解像感の劣化を招くことなく、星の色情報（図５（ｅ））を取得することができる。そして、ユーザは、取得した星の色情報を用いることにより、本画像の星の光跡に対して星の色を再現するための画像処理を容易に行うことができるようになる。 As described above, also in the second embodiment, at the time of shooting in the starry sky shooting mode, the sensor 202 differs from the color of the color filter formed at the time of shooting the main image at a timing different from the shooting timing of the main image. The lens control unit 203 drives and controls the lens 201 so that light from a star (point light source) forms an image on an area including color pixels. Shooting for obtaining the star color information in this way causes the star color information (FIG. 5 (e)) without degrading the resolution of the main image (FIG. 5 (f)). Can be obtained. Then, by using the acquired star color information, the user can easily perform image processing for reproducing the star color with respect to the light trail of the star of the main image.
＜第３実施形態＞
第３実施形態では、第１実施形態及び第２実施形態で取得した星の色情報を用いた本画像の星の光跡に対する画像処理方法である星の偽色低減処理について説明する。
<Third Embodiment>
In the third embodiment, a pseudo false color reduction process, which is an image processing method for the star light trail of the main image using the star color information acquired in the first embodiment and the second embodiment, will be described.
図８は、第１実施形態及び第２実施形態で取得した星の色情報を用いた本画像の星の光跡に対する偽色低減処理のフローチャートであり、システム制御部１０４による処理内容を示している。ステップＳ８０１においてシステム制御部１０４は、記憶媒体１１３から本画像（図５（ｆ）の画像データ）を取得する。続くステップＳ８０２においてシステム制御部１０４は、ステップＳ８０１で取得した本画像に関連付けて記憶媒体１１３に保存されている星の色情報（図５（ｅ））を記憶媒体１１３から取得する。 FIG. 8 is a flowchart of the false color reduction process for the star light trail of the main image using the star color information acquired in the first embodiment and the second embodiment, and shows the processing contents by the system control unit 104. Yes. In step S <b> 801, the system control unit 104 acquires the main image (image data in FIG. 5F) from the storage medium 113. In subsequent step S <b> 802, the system control unit 104 acquires from the storage medium 113 the star color information (FIG. 5E) stored in the storage medium 113 in association with the main image acquired in step S <b> 801.
その後のステップＳ８０３においてシステム制御部１０４は、本画像に対応した星の移動ベクトル情報を取得する。ここでの星の移動ベクトル情報とは、広義には、撮影露光中に本画像（撮影画面）内に写り込んだ星の移動方向と移動量とを求めることができる情報である。なお、撮影露光中に星が移動するのは、地球の自転運動に起因したものであるとみなして、地球の公知の振る舞いとして説明は省略する。 In subsequent step S803, the system control unit 104 acquires star movement vector information corresponding to the main image. The moving vector information of the star here is information that can determine the moving direction and moving amount of the star reflected in the main image (shooting screen) during shooting exposure in a broad sense. Note that the movement of the stars during the photographic exposure is considered to be caused by the rotation of the earth, and the explanation of the known behavior of the earth is omitted.
星の移動ベクトル情報を取得するために、例えば、撮像装置１００が水準器やＧＰＳを搭載している場合には、撮像装置１００の撮影方位や撮影高度の情報を、予め撮影画像に関連付けて記憶しておくようにする。これにより、地軸の位置と撮像装置１００の撮影構図位置との位置関係に基づき、構図内に写り込んだ星の移動ベクトル情報を算出することができる。 In order to acquire star movement vector information, for example, when the imaging apparatus 100 is equipped with a level or GPS, information on the shooting direction and shooting altitude of the imaging apparatus 100 is stored in advance in association with the shot image. Try to keep it. Thereby, the movement vector information of the star reflected in the composition can be calculated based on the positional relationship between the position of the earth axis and the photographing composition position of the imaging apparatus 100.
一方、撮像装置１００の撮影方位や撮影高度についての情報を撮影時に取得することができない場合がある。その場合には、撮影時に主に手振れ補正機能で用いられるブロックマッチング法を用いることで、星の移動ベクトル情報を算出することができる。即ち、画像を複数のエリアに分割し、分割されたエリア毎にブロックマッチング法を用いた撮影画像間の動きベクトル検出処理を施すことで、星の移動ベクトル情報を算出することができる。算出した星の移動ベクトル情報は、星の色情報と関連付けて記憶媒体１１３に保存するようにしてもよい。 On the other hand, there are cases where information about the shooting direction and shooting altitude of the imaging apparatus 100 cannot be acquired at the time of shooting. In that case, the moving vector information of the star can be calculated by using a block matching method mainly used in the camera shake correction function at the time of shooting. That is, by dividing an image into a plurality of areas and performing motion vector detection processing between captured images using a block matching method for each of the divided areas, it is possible to calculate star movement vector information. The calculated star movement vector information may be stored in the storage medium 113 in association with the star color information.
図９は、星の移動ベクトル情報を模式的に説明する図である。図９（ａ）は、第１実施形態のステップＳ３０４（星の色情報を取得するための撮影）において、ｎ−１枚目に撮影された星の色情報を含む第１の画像である。また、図９（ｂ）は、第１実施形態のステップＳ３０４（星の色情報を取得するための撮影）において、ｎ枚目に撮影された星の色情報を含む第２の画像である。これらの第１の画像と第２の画像に対してブロックマッチング法を用いて、画面内のエリア毎の動きベクトルを算出すると、図９（ｃ）に示す算出結果が得られる。そして、図９（ｄ）に示すように、画面内のエリア毎の動きベクトル方向と直交する直線上の交点を地軸の位置する座標として算出し、算出された地軸位置と撮像装置１００の構図位置と関係から、構図内における星の移動ベクトル情報を算出する。 FIG. 9 is a diagram schematically illustrating star movement vector information. FIG. 9A is a first image including star color information photographed in the (n-1) th image in step S304 (photographing for acquiring star color information) in the first embodiment. FIG. 9B is a second image including the color information of the star photographed in the nth image in step S304 (photographing for acquiring star color information) in the first embodiment. When the motion vector for each area in the screen is calculated for the first image and the second image using the block matching method, the calculation result shown in FIG. 9C is obtained. Then, as shown in FIG. 9D, the intersection point on the straight line orthogonal to the motion vector direction for each area in the screen is calculated as the coordinates of the position of the ground axis, and the calculated ground axis position and the composition position of the imaging device 100 are calculated. From the relationship, the movement vector information of the star in the composition is calculated.
なお、地球の自転運動の周期に対して、例えば、撮影時の露光時間が数十秒である場合等には、星の移動量は極めて微小である。この場合、星の移動方向を線形として扱うことができるため、本画像の露光時間によっては、ブロックマッチング法により算出した動きベクトルの情報をそのまま、星の移動ベクトル情報として取り扱ってもよい。第３実施形態では、画面内のエリア毎の動きベクトルの情報（図９（ｃ））を星の移動ベクトル情報として扱うこととする。 Note that, for example, when the exposure time during photographing is several tens of seconds with respect to the period of rotation of the earth, the moving amount of the star is extremely small. In this case, since the moving direction of the star can be treated as linear, depending on the exposure time of the main image, the motion vector information calculated by the block matching method may be handled as it is as the moving vector information of the star. In the third embodiment, motion vector information (FIG. 9C) for each area in the screen is handled as star movement vector information.
図８の説明に戻る。ステップＳ８０４においてシステム制御部１０４は、ステップＳ８０２で取得した星の色情報（図５（ｅ））とステップＳ８０３で取得した星の移動ベクトル情報（図９（ｃ））とを用いて、星の色マスク画像の生成を行う。星の色マスク画像は、広義には、本画像内の偽色となっている星の光跡領域に対して、色信号のマスク処理を行うことができる画像であればよい。 Returning to the description of FIG. In step S804, the system control unit 104 uses the star color information acquired in step S802 (FIG. 5E) and the star movement vector information acquired in step S803 (FIG. 9C) to A color mask image is generated. The star color mask image may be an image that can perform color signal mask processing on a star light trail region that is a false color in the main image in a broad sense.
図１０は、星の色マスク画像を模式的に説明する図である。図１０（ａ）に示すように、星の色情報（図５（ｅ））にある任意の星１００３に注目し、この星１００３の領域１００１に対して、星１００３の移動ベクトル情報１００４から、星１００３の任意の移動先の領域１００２を算出する。ここで、領域１００２内には、他の星（被写体）が存在することがある。そこで、領域１００２内にある星であって、その星の輝度値と星１００３の輝度値との差が所定の閾値以内にある星を、領域１００２内の星１００３であると判定する。そして、同一の星である判定された星に対して、移動元の星の領域と移動先の星の領域とを結合させた領域を、その星の光跡領域とする。図１０（ａ）には、画像内の複数の星の中から注目した星１００３について、星１００３が位置する画素を用いて、星１００３の光跡領域１００５を生成する画像処理が示されている。 FIG. 10 is a diagram schematically illustrating a star color mask image. As shown in FIG. 10 (a), paying attention to an arbitrary star 1003 in the star color information (FIG. 5 (e)), for the region 1001 of this star 1003, from the moving vector information 1004 of the star 1003, A region 1002 of an arbitrary movement destination of the star 1003 is calculated. Here, other stars (subjects) may exist in the area 1002. Therefore, a star that is in the area 1002 and that has a difference between the brightness value of the star and the brightness value of the star 1003 within a predetermined threshold is determined as the star 1003 in the area 1002. Then, a region obtained by combining the moving star region and the moving star region with the determined star being the same star is set as the light trail region of the star. FIG. 10A shows image processing for generating a light trail region 1005 of a star 1003 using a pixel in which the star 1003 is located with respect to a star 1003 noted from a plurality of stars in the image. .
ここで、生成した光跡領域を注目した星の色の画素値で塗り潰すような処理を行ってもよい。このとき、注目した星の光跡領域内に他の星の光跡領域が含まれる場合には、重複する領域について、注目した星の光跡領域の画素値と他の星の光跡領域の画素値とを加算平均した画素値を適用するようにしてもよい。また、空気の澄み具合等によって撮影時の環境変化が原因となって撮影される星の色が変化することを考慮することが好ましい場合がある。この場合には、画像領域内での塗り潰し位置に応じて、移動元と移動先の星の位置関係に基づき、移動元の星の画素値と移動先の星の画素値を用いた重み付け処理を行って、塗り潰しに用いる画素値を決定してもよい。また、移動元の星の画素値から移動先の星の画素値へと連続的に変化するようなグラデーションを適用した塗り潰しを行ってもよい。更に、星以外の被写体が写っている領域に対しては、画素値０（つまり、黒色）に塗り潰す処理を行ってもよい。このような光跡領域に対する塗り潰し処理を図５（ｅ）の星の色情報に対して行うことにより、図１０（ｂ）に示す星の色マスク画像を生成することができる。 Here, a process of filling the generated light trace area with a pixel value of a focused star color may be performed. At this time, when the light trail region of another star is included in the light trail region of the noticed star, the pixel value of the light trail region of the noticed star and the light trail region of the other star are determined for the overlapping region. A pixel value obtained by averaging the pixel values may be applied. In addition, it may be preferable to take into consideration that the color of a star to be photographed changes due to an environmental change at the time of photographing due to the air clearance. In this case, the weighting process using the pixel value of the source star and the pixel value of the destination star is performed based on the positional relationship between the source and destination stars according to the fill position in the image area. The pixel value used for filling may be determined. In addition, it is possible to perform painting by applying a gradation that continuously changes from the pixel value of the source star to the pixel value of the destination star. Furthermore, a process of painting to a pixel value 0 (that is, black) may be performed on an area where an object other than a star is shown. A star color mask image shown in FIG. 10B can be generated by performing the filling process on the light trace area on the star color information shown in FIG.
図８の説明に戻る。ステップＳ８０５においてシステム制御部１０４は、ステップＳ８０４で生成した星の色マスク画像を用いて、本画像の星の光跡領域に対する偽色補正処理を行う。第３実施形態では、星の色マスク画像上で画素値が０以外であり、且つ、星の色マスク画像の輝度信号と本画像の輝度信号とを比較したときの輝度値の差が所定値以内に収まる場合に、星の色マスク画像の色信号で本画像の色信号を置換する処理を行う。 Returning to the description of FIG. In step S805, the system control unit 104 performs a false color correction process on the star light trail region of the main image using the star color mask image generated in step S804. In the third embodiment, the pixel value is other than 0 on the star color mask image, and the luminance value difference when the luminance signal of the star color mask image and the luminance signal of the main image are compared is a predetermined value. If it falls within the range, the color signal of the main image is replaced with the color signal of the star color mask image.
偽色補正処理には、本画像の星の光跡領域に対して、光跡が偽色となっているか否かの判定処理（偽色判定）を加えてもよい。具体的には、先ず、星の色マスク画像（図１０（ｂ））の輝度信号と本画像（図５（ｆ））の輝度信号を比較し、輝度値の差が所定の閾値以内に収まる領域の面積を算出する。そして、算出した面積が所定の閾値より小さい場合には、星からの光がカラーフィルタの全ての色の画素に含まれなかったと判定して、星の色マスク画像による色信号の補間処理を行う。偽色判定に用いる所定の閾値には、星からの光がセンサ２０２のカラーフィルタの所定数の色の画素に最低限含まれた場合の星の光跡領域の面積を用いればよく、この面積は、星の移動ベクトル情報に基づく星の移動量と本画像撮影時の露光時間から求めることができる。その他にも、星の色マスク画像と本画像とは同じ構図の画像であるため、レンズ２０１の光学性能情報に基づいて処理範囲の切り替えを行ってもよい。また、ユーザが指定した本画像内の部分的な領域に対してのみ、偽色判定を行ってもよい。 In the false color correction process, a determination process (false color determination) as to whether or not the light trace is a false color may be added to the star light trace region of the main image. Specifically, first, the luminance signal of the star color mask image (FIG. 10B) is compared with the luminance signal of the main image (FIG. 5F), and the difference in luminance values falls within a predetermined threshold. Calculate the area of the region. If the calculated area is smaller than the predetermined threshold, it is determined that the light from the star is not included in all the color pixels of the color filter, and color signal interpolation processing is performed using the star color mask image. . As the predetermined threshold value used for the false color determination, the area of the light trail region of the star when the light from the star is at least included in the pixels of the predetermined number of colors of the color filter of the sensor 202 may be used. Can be obtained from the moving amount of the star based on the moving vector information of the star and the exposure time at the time of photographing the main image. In addition, since the star color mask image and the main image are images having the same composition, the processing range may be switched based on the optical performance information of the lens 201. Further, the false color determination may be performed only on a partial area in the main image designated by the user.
図１１は、本画像の星の光跡領域に対する偽色補正処理を模式的に説明する図である。ステップＳ８０５では、結果的には、本画像の色信号を置換する処理によって、図１１に示すように、星の光跡領域が偽色となっている部分に対してのみ、星の光跡領域の偽色を低減した画像を生成する。ステップＳ８０５での星の光跡に対する偽色低減処理は、上述した処理に限られず、広義には、星の色マスク画像と星の移動ベクトル情報とを用いて、星の光跡領域に対して偽色を低減するような画像処理であればよい。 FIG. 11 is a diagram schematically illustrating the false color correction process for the star light trail region of the main image. In step S805, as a result, as shown in FIG. 11, by the process of replacing the color signal of the main image, only the portion where the star light trail region is false color is shown. An image with reduced false color is generated. The false color reduction process for the star light trail in step S805 is not limited to the above-described process. In a broad sense, the star light trace region is used for the star light trace area using the star color mask image and the star movement vector information. Any image processing that reduces false colors may be used.
ステップＳ８０５の後のステップＳ８０６においてシステム制御部１０４は、ステップＳ８０５で星の偽色補正処理がなされた画像を記憶媒体１１３へ保存し、これにより本処理は終了となる。 In step S806 after step S805, the system control unit 104 saves the image that has been subjected to the star false color correction process in step S805 in the storage medium 113, and thus the process ends.
なお、第３実施形態の画像処理が実行されるタイミングは、第１実施形態及び第２実施形態での撮影時に自動的に行われてもよいし、ユーザが記憶媒体１１３から画像データを読み出して再生するときに、ユーザによる指示によって実行されてもよい。更に、第３実施形態の画像処理は、記憶媒体１１３に保存されたデータを外部装置（例えば、パーソナルコンピュータ）に転送し、その外部装置で実行することもできる。 Note that the timing at which the image processing of the third embodiment is executed may be automatically performed at the time of shooting in the first embodiment and the second embodiment, or the user reads image data from the storage medium 113. When reproducing, it may be executed by an instruction from the user. Furthermore, the image processing of the third embodiment can be executed by transferring data stored in the storage medium 113 to an external device (for example, a personal computer) and using the external device.
以上の説明の通り、第３実施形態では、星の色情報と星の移動ベクトル情報とを用いて、星の光跡に対する偽色を補正する画像処理を施す。これにより、星の光跡が偽色となることによる撮影画像の不自然さを低減することができる。 As described above, in the third embodiment, image processing for correcting a false color for a light trail of a star is performed using the star color information and the star movement vector information. Thereby, the unnaturalness of the picked-up image by the light trail of a star becoming a false color can be reduced.
＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
<Other embodiments>
Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. Furthermore, each embodiment mentioned above shows only one embodiment of this invention, and it is also possible to combine each embodiment suitably.
本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program code. It is a process to be executed. In this case, the program and the storage medium storing the program constitute the present invention.
１００ 撮像装置
１０１，１０１Ａ，１０１Ｂ 撮像部
１０２ 画像処理部
１０４ システム制御部
２０１ レンズ
２０２ センサ
２０３ レンズ制御部
２０４ 光学特性フィルタ
２０５ 光学特性フィルタ制御部
DESCRIPTION OF SYMBOLS 100 Imaging device 101,101A, 101B Image pick-up part 102 Image processing part 104 System control part 201 Lens 202 Sensor 203 Lens control part 204 Optical characteristic filter 205 Optical characteristic filter control part
Claims (15)
前記撮像素子と撮影レンズとの光路内に配置される、光学特性の制御が可能な光学特性フィルタと、
前記撮像素子の動作を制御する制御手段と、を有し、
前記制御手段は、前記撮像素子を制御してそれぞれ異なる撮影条件で第１の画像と第２の画像を撮影し、前記第２の画像を撮像する際には、被写体の１点からの光が、少なくとも前記第１の画像の撮影時に結像されるカラーフィルタの色とは異なる色の画素を含む領域に結像されるように、前記光学特性フィルタの光学特性を制御することを特徴とする撮像装置。 An imaging device comprising an imaging device having a plurality of pixels each assigned a plurality of different color filters,
An optical characteristic filter that is disposed in an optical path between the imaging element and the photographing lens and capable of controlling optical characteristics;
Control means for controlling the operation of the image sensor,
The control means controls the image sensor to shoot a first image and a second image under different shooting conditions, and when taking the second image, light from one point of the subject is taken. The optical characteristic of the optical characteristic filter is controlled so as to form an image in a region including pixels of a color different from the color of the color filter formed at the time of photographing the first image. Imaging device.
前記撮影レンズを駆動する駆動手段と、
被写体の第１の画像を撮影し、前記第１の画像の撮影とは異なるタイミングで第２の画像を撮影するように前記撮像装置の動作を制御する制御手段と、を有し、
前記制御手段は、前記第２の画像を撮影する際に、前記被写体の１点からの光が前記カラーフィルタのより多くの色の画素に結像するように、前記駆動手段を介して前記撮影レンズの位置を制御することを特徴とする撮像装置。 An imaging apparatus comprising: a photographic lens; and an imaging device having a plurality of pixels each assigned with a plurality of different color filters.
Driving means for driving the photographing lens;
Control means for controlling the operation of the imaging apparatus so as to capture a first image of a subject and to capture a second image at a timing different from that of the first image;
The control unit is configured to capture the second image through the driving unit so that light from one point of the subject forms an image on more color pixels of the color filter. An image pickup apparatus that controls a position of a lens.
前記制御手段は、複数枚の前記第１の画像に対して前記画像処理手段による前記比較明合成を行うことで、比較明合成された画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。 The control means includes image processing means for generating a composite image that is comparatively brightly synthesized from a plurality of images obtained by photographing a plurality of images at a constant time interval,
7. The control unit according to claim 1, wherein the control unit generates the comparatively brightly combined image by performing the comparatively bright combination by the image processing unit on the plurality of first images. The imaging device according to any one of the above.
前記比較明合成では、前記第１の画像として前記比較明合成がなされていない画像が用いられ、前記第２の画像として前記比較明合成がなされた前記合成画像であって、黒画像として初期化された画像が用いられることを特徴とする請求項７に記載の撮像装置。 The image processing means compares the luminance value of the pixel at the same coordinate of the first image and the second image of the plurality of images, selects the luminance value of the image having the higher luminance value, Performing the comparatively bright combination by replacing luminance values of pixels of the same coordinates in the second image,
In the comparatively bright combination, an image that has not been subjected to the comparatively bright combination is used as the first image, and the combined image that has been subjected to the comparatively bright combination as the second image is initialized as a black image. The imaging apparatus according to claim 7, wherein a captured image is used.
前記移動ベクトル情報と、前記複数の第１の画像の撮影とは異なるタイミングで撮影された第２の画像とから、前記被写体の同一の１点の色マスク画像を生成する生成手段と、
前記複数の第１の画像の輝度信号と前記色マスク画像とから、前記色マスク画像の色信号からなる画像を合成する合成手段と、を備え、
前記第２の画像は、前記被写体の同一の１点からの光が、前記第１の画像と前記第２の画像とを撮影する撮像素子が有する複数の画素毎に異なる色が割り当てられたカラーフィルタの全ての色の画素に結像するように撮影されていることを特徴とする画像処理装置。 Calculating means for calculating movement vector information of light from the same point of the subject included in the plurality of first images taken;
Generating means for generating the same one-point color mask image of the subject from the movement vector information and a second image shot at a timing different from the shooting of the plurality of first images;
Synthesizing means for synthesizing an image composed of color signals of the color mask image from the luminance signals of the plurality of first images and the color mask image;
The second image is a color in which light from the same point of the subject is assigned a different color for each of a plurality of pixels included in an image sensor that captures the first image and the second image. An image processing apparatus which is photographed so as to form an image on pixels of all colors of a filter.
異なる複数の色の前記カラーフィルタがそれぞれ割り当てられた複数の画素を有する前記撮像素子と、
前記撮像素子による画像の撮影を制御する制御手段と、
前記複数の第１の画像と前記第２の画像とを関連付けて記憶する記憶手段と、を備えることを特徴とする請求項１１に記載の画像処理装置。 A taking lens,
The imaging device having a plurality of pixels to which the color filters of different colors are respectively assigned;
Control means for controlling photographing of an image by the image sensor;
The image processing apparatus according to claim 11, further comprising storage means for storing the plurality of first images and the second image in association with each other.
前記第１の画像の撮影とは異なるタイミングで、前記被写体の１点からの光が前記カラーフィルタの全ての色の画素に結像するように第２の画像を撮影するステップと、
前記複数の第１の画像に含まれる前記被写体の１点の移動ベクトル情報を算出するステップと、
前記移動ベクトル情報と、前記第２の画像とから、前記被写体の１点の色マスク画像を生成するステップと、
前記複数の第１の画像の輝度信号と前記色マスク画像とから、前記色マスク画像の色信号からなる画像を生成するステップと、を有することを特徴とする画像処理方法。 Photographing a plurality of first images including a single point of a moving subject at fixed time intervals by an imaging device having a plurality of pixels to which color filters of different colors are respectively assigned;
Photographing a second image so that light from one point of the subject is imaged on pixels of all colors of the color filter at a timing different from the photographing of the first image;
Calculating movement vector information of one point of the subject included in the plurality of first images;
Generating a one-point color mask image of the subject from the movement vector information and the second image;
An image processing method comprising: generating an image including a color signal of the color mask image from the luminance signals of the plurality of first images and the color mask image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014095939A JP6478481B2 (en) | 2014-05-07 | 2014-05-07 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014095939A JP6478481B2 (en) | 2014-05-07 | 2014-05-07 | Image processing apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015213281A true JP2015213281A (en) | 2015-11-26 |
| JP6478481B2 JP6478481B2 (en) | 2019-03-06 |
Family
ID=54697318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014095939A Active JP6478481B2 (en) | 2014-05-07 | 2014-05-07 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6478481B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07322149A (en) * | 1994-05-20 | 1995-12-08 | Canon Inc | Image pickup device |
| JPH10248068A (en) * | 1997-03-05 | 1998-09-14 | Canon Inc | Image pickup device and image processor |
| JPH11149556A (en) * | 1997-08-27 | 1999-06-02 | Sharp Corp | Method for improving resolution of color text |
| JP2006180210A (en) * | 2004-12-22 | 2006-07-06 | Sony Corp | Imaging apparatus and method, and program |
| JP2007258923A (en) * | 2006-03-22 | 2007-10-04 | Seiko Epson Corp | Image processing apparatus, image processing method, image processing program |
| JP2013062740A (en) * | 2011-09-14 | 2013-04-04 | Ricoh Co Ltd | Imaging device |
| JP2013186879A (en) * | 2012-03-12 | 2013-09-19 | Casio Comput Co Ltd | Imaging device, image composition method thereof, and program |
-
2014
- 2014-05-07 JP JP2014095939A patent/JP6478481B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07322149A (en) * | 1994-05-20 | 1995-12-08 | Canon Inc | Image pickup device |
| JPH10248068A (en) * | 1997-03-05 | 1998-09-14 | Canon Inc | Image pickup device and image processor |
| JPH11149556A (en) * | 1997-08-27 | 1999-06-02 | Sharp Corp | Method for improving resolution of color text |
| JP2006180210A (en) * | 2004-12-22 | 2006-07-06 | Sony Corp | Imaging apparatus and method, and program |
| JP2007258923A (en) * | 2006-03-22 | 2007-10-04 | Seiko Epson Corp | Image processing apparatus, image processing method, image processing program |
| JP2013062740A (en) * | 2011-09-14 | 2013-04-04 | Ricoh Co Ltd | Imaging device |
| JP2013186879A (en) * | 2012-03-12 | 2013-09-19 | Casio Comput Co Ltd | Imaging device, image composition method thereof, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6478481B2 (en) | 2019-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7995852B2 (en) | Imaging device and imaging method | |
| US7877004B2 (en) | Imaging apparatus and imaging method | |
| JP5574423B2 (en) | Imaging apparatus, display control method, and program | |
| US9509911B2 (en) | Image-capturing device, and image combination program | |
| US9654681B2 (en) | Electronic apparatus and method of controlling the same | |
| EP2219366B1 (en) | Image capturing device, image capturing method, and image capturing program | |
| JP6495122B2 (en) | Imaging apparatus and image processing method | |
| US10999489B2 (en) | Image processing apparatus, image processing method, and image capture apparatus | |
| US8836821B2 (en) | Electronic camera | |
| US20110187903A1 (en) | Digital photographing apparatus for correcting image distortion and image distortion correcting method thereof | |
| JP6541501B2 (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, AND IMAGE PROCESSING METHOD | |
| JP4952574B2 (en) | Image composition apparatus and program | |
| JP6758950B2 (en) | Imaging device, its control method and program | |
| JP5413625B2 (en) | Image composition apparatus and program | |
| JP2015232620A (en) | Imaging device, control method and program | |
| JP6478481B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6296909B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| US11109034B2 (en) | Image processing apparatus for alignment of images, control method for image processing apparatus, and storage medium | |
| JP5910613B2 (en) | Image composition apparatus and program | |
| JP6157274B2 (en) | Imaging apparatus, information processing method, and program | |
| JP5831492B2 (en) | Imaging apparatus, display control method, and program | |
| JP6762843B2 (en) | Image processing equipment, image processing methods, and programs | |
| JP4687619B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2008283477A (en) | Image processor, and image processing method | |
| JP2019041399A (en) | Image processing device, image processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170414 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180718 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190205 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6478481 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |