JP2016086362A - Image processing device, image processing method, and computer program - Google Patents
Image processing device, image processing method, and computer program Download PDFInfo
- Publication number
- JP2016086362A JP2016086362A JP2014219517A JP2014219517A JP2016086362A JP 2016086362 A JP2016086362 A JP 2016086362A JP 2014219517 A JP2014219517 A JP 2014219517A JP 2014219517 A JP2014219517 A JP 2014219517A JP 2016086362 A JP2016086362 A JP 2016086362A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- depth
- refocus
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法及びコンピュータプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a computer program.
動画像を撮像する一般的な撮像装置においては、所望の被写体にフォーカスを合わせながら、撮影が行われる。
しかしながら、被写体にフォーカスを合わせる際には、ある程度の時間を要する。
In a general imaging device that captures a moving image, shooting is performed while focusing on a desired subject.
However, it takes some time to focus on the subject.
近時では、事後的にフォーカスを調整（リフォーカス）することが可能な撮像装置が提案されている。かかる撮像装置は、ライトフィールドカメラと称される。 Recently, an imaging apparatus capable of adjusting (refocusing) the focus afterwards has been proposed. Such an imaging device is called a light field camera.
しかしながら、単にリフォーカスを行って動画像を表示した場合には、閲覧者に違和感を与える場合がある。 However, when a moving image is displayed simply by performing refocusing, the viewer may feel uncomfortable.
本発明の目的は、閲覧者に違和感を与えることなく、リフォーカスした動画像を表示し得る画像処理装置、画像処理方法及びコンピュータプログラムを提供することにある。 An object of the present invention is to provide an image processing apparatus, an image processing method, and a computer program that can display a refocused moving image without causing a viewer to feel uncomfortable.
実施形態の一観点によれば、視差を有する複数の画像を含むライトフィールド画像に基づいて、リフォーカス画像を生成する画像処理装置であって、奥行き方向における被写体の移動速度又は移動量に基づいて、前記リフォーカス画像における被写界深度を設定する処理部を有することを特徴とする画像処理装置が提供される。 According to one embodiment of the present invention, an image processing apparatus that generates a refocus image based on a light field image including a plurality of images having parallax, and is based on a moving speed or moving amount of a subject in the depth direction. There is provided an image processing apparatus comprising a processing unit for setting a depth of field in the refocused image.
実施形態の他の観点によれば、視差を有する複数の画像を含むライトフィールド画像に基づいて、リフォーカス画像を生成する画像処理方法であって、奥行き方向における被写体の移動速度又は移動量を求めるステップと、前記奥行き方向における前記被写体の前記移動速度又は前記移動量に基づいて、前記リフォーカス画像における被写界深度を設定するステップとを有することを特徴とする画像処理方法が提供される。 According to another aspect of the embodiment, there is provided an image processing method for generating a refocus image based on a light field image including a plurality of images having parallax, and obtaining a moving speed or moving amount of a subject in the depth direction. There is provided an image processing method comprising: a step; and a step of setting a depth of field in the refocused image based on the moving speed or the moving amount of the subject in the depth direction.
実施形態の更に他の観点によれば、視差を有する複数の画像を含むライトフィールド画像に基づいて、リフォーカス画像を生成するコンピュータプログラムであって、奥行き方向における被写体の移動速度又は移動量に基づいて、前記リフォーカス画像における被写界深度を設定することを特徴とするコンピュータプログラムが提供される。 According to still another aspect of the embodiment, there is provided a computer program that generates a refocus image based on a light field image including a plurality of images having parallax, and is based on a moving speed or moving amount of a subject in a depth direction. Thus, there is provided a computer program for setting a depth of field in the refocus image.
本発明によれば、奥行き方向における被写体の移動速度又は移動量に基づいて、リフォーカス画像における被写界深度を設定するため、閲覧者に対して違和感を与えることなく、リフォーカスした動画像を表示することができる。 According to the present invention, since the depth of field in the refocused image is set based on the moving speed or moving amount of the subject in the depth direction, the refocused moving image is displayed without giving the viewer a sense of incongruity. Can be displayed.
フォーカスを合わせる対象である被写体が奥行き方向に移動している場合には、被写体の移動に応じて、フォーカスを調整することが好ましい。 When the subject to be focused is moving in the depth direction, it is preferable to adjust the focus according to the movement of the subject.
しかし、被写体の移動に応じて単にリフォーカスを行い、リフォーカスした動画像を再生した場合には、被写界深度の急激な変化が生じてしまう場合があり、閲覧者に違和感を与えてしまう場合がある。 However, when refocusing is simply performed according to the movement of the subject and the refocused moving image is played back, a sudden change in the depth of field may occur, giving the viewer a sense of discomfort. There is a case.
［第１実施形態］
本発明の第１実施形態による画像処理装置、画像処理方法及びその画像処理方法を実現するコンピュータプログラムについて図面を用いて説明する。図１は、本実施形態における画像処理装置を示すブロック図である。図２は、本実施形態による画像処理装置の一部を示す概略図である。
[First Embodiment]
An image processing apparatus, an image processing method, and a computer program for realizing the image processing method according to the first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating an image processing apparatus according to this embodiment. FIG. 2 is a schematic diagram illustrating a part of the image processing apparatus according to the present embodiment.
図１に示すように、本実施形態による画像処理装置は、視差を有する複数の画像（サブ画像）を含むライトフィールド画像を取得する撮影光学系（撮像光学系）１２９と、ライトフィールド画像に基づいてリフォーカス画像を生成する処理部１３０とを有している。 As shown in FIG. 1, the image processing apparatus according to the present embodiment is based on a photographing optical system (imaging optical system) 129 that acquires a light field image including a plurality of images (sub-images) having parallax, and the light field image. And a processing unit 130 for generating a refocus image.
なお、ここでは、撮影光学系１２９を有する画像処理装置、即ち、ライトフィールドカメラを例に説明するが、これに限定されるものではない。本発明は、撮影光学系１２９を有さない画像処理装置、例えば、フォトビューワー等にも適用可能である。 Here, an image processing apparatus having the photographing optical system 129, that is, a light field camera will be described as an example, but the present invention is not limited to this. The present invention is also applicable to an image processing apparatus that does not have the photographing optical system 129, such as a photo viewer.
撮影光学系１２９は、レンズ光学系１１７と、マイクロレンズアレイ１０３と、撮像素子（イメージセンサ）１０４とを有している。 The photographing optical system 129 includes a lens optical system 117, a microlens array 103, and an image sensor (image sensor) 104.
レンズ光学系１１７は、例えば、ズームレンズ１０１とフォーカスレンズ１０２とにより構成されている。 The lens optical system 117 is constituted by, for example, a zoom lens 101 and a focus lens 102.
レンズ光学系１１７の一部を構成するフォーカスレンズ１０２の後段には、マイクロレンズアレイ１０３が配されている。マイクロレンズアレイ１０３は、レンズ光学系１１７と撮像素子１０４との間に配されている。より具体的には、マイクロレンズアレイ１０３は、撮像素子１０４の受光部上に配されている。マイクロレンズアレイ１０３は、複数のマイクロレンズ１２０を有している（図２参照）。複数のマイクロレンズ１２０は、撮像素子１０４の受光面に沿って２次元配列されている。なお、図２においては、ズームレンズ１０１の図示を省略している。マイクロレンズアレイ１０３は、各々のマイクロレンズ１２０が像平面１１９上に位置するように配されている。被写体１２１からの光が、レンズ光学系１１７により集光され、マイクロレンズアレイ１０３に入射されるようになっている。 A microlens array 103 is disposed downstream of the focus lens 102 that constitutes a part of the lens optical system 117. The microlens array 103 is disposed between the lens optical system 117 and the image sensor 104. More specifically, the microlens array 103 is disposed on the light receiving unit of the image sensor 104. The microlens array 103 has a plurality of microlenses 120 (see FIG. 2). The plurality of microlenses 120 are two-dimensionally arranged along the light receiving surface of the image sensor 104. In FIG. 2, the zoom lens 101 is not shown. The microlens array 103 is arranged so that each microlens 120 is positioned on the image plane 119. Light from the subject 121 is collected by the lens optical system 117 and is incident on the microlens array 103.
マイクロレンズアレイ１０３の後段には、撮像素子１０４が配されている。撮像素子１０４としては、例えばＣＭＯＳ撮像素子等が用いられる。撮像素子１０４には、複数の画素１２３が２次元配列されている。各々の画素１２３は、複数の部分画素１２２ａ〜１２２ｄに分割されている。ここでは、１つの画素１２３が、例えば４つに分割されている。即ち、４つの部分画素１２２ａ〜１２２ｄにより、１つの画素１２３が構成されている。１つの画素１２３に対して１つのマイクロレンズ１２０が対応している。即ち、複数の部分画素１２２ａ〜１２２ｄに対して、１つのマイクロレンズ１２０が対応している。マイクロレンズ１２０に入射される光は、マイクロレンズ１２０により分割されて、各々の部分画素１２２ａ〜１２２ｄに入射される。 An imaging element 104 is arranged at the subsequent stage of the microlens array 103. For example, a CMOS image sensor or the like is used as the image sensor 104. A plurality of pixels 123 are two-dimensionally arranged on the image sensor 104. Each pixel 123 is divided into a plurality of partial pixels 122a to 122d. Here, one pixel 123 is divided into four, for example. That is, one pixel 123 is configured by the four partial pixels 122a to 122d. One microlens 120 corresponds to one pixel 123. That is, one microlens 120 corresponds to the plurality of partial pixels 122a to 122d. The light incident on the microlens 120 is divided by the microlens 120 and is incident on each of the partial pixels 122a to 122d.
図３（ａ）は、各々の画素１２３における部分画素１２２ａ〜１２２ｄの配置の例を示す概略図である。図３（ａ）においては、部分画素１２２ａを“Ａ”で示しており、部分画素１２２ｂを“Ｂ”で示しており、部分画素１２２ｄを“Ｃ”で示しており、部分画素１２２ｄを“Ｄ”で示している。図３（ａ）に示すように、各々の画素１２３は２行２列に分割されている。換言すれば、２行２列に配列された部分画素１２２ａ〜１２２ｄより、１つの画素１２３が構成されている。 FIG. 3A is a schematic diagram illustrating an example of the arrangement of the partial pixels 122 a to 122 d in each pixel 123. In FIG. 3A, the partial pixel 122a is indicated by “A”, the partial pixel 122b is indicated by “B”, the partial pixel 122d is indicated by “C”, and the partial pixel 122d is indicated by “D”. ". As shown in FIG. 3A, each pixel 123 is divided into two rows and two columns. In other words, one pixel 123 is composed of the partial pixels 122a to 122d arranged in 2 rows and 2 columns.
図３（ｂ）は、撮像素子１０４により取得される複数の画像の例を示す概念図である。画像１２４ａは、２次元配列された複数の画素１２３のそれぞれに配された部分画素１２２ａによって取得される画像を示している。画像１２４ｂは、２次元配列された複数の画素１２３のそれぞれに配された部分画素１２２ｂによって取得される画像を示している。画像１２４ｃは、２次元配列された複数の画素１２３のそれぞれに配された部分画素１２２ｃによって取得される画像を示している。画像１２４ｄは、２次元配列された複数の画素１２３のそれぞれに配された部分画素１２２ｄによって取得される画像を示している。このように、視差の存在する例えば４種類の画像１２４ａ〜１２４ｄが得られる。 FIG. 3B is a conceptual diagram illustrating an example of a plurality of images acquired by the image sensor 104. The image 124a shows an image acquired by the partial pixel 122a arranged in each of the plurality of pixels 123 arranged two-dimensionally. An image 124b shows an image acquired by the partial pixel 122b arranged in each of the plurality of pixels 123 arranged two-dimensionally. An image 124c shows an image acquired by the partial pixel 122c arranged in each of the plurality of pixels 123 arranged two-dimensionally. The image 124d shows an image acquired by the partial pixel 122d arranged in each of the plurality of pixels 123 arranged two-dimensionally. In this way, for example, four types of images 124a to 124d with parallax are obtained.
視差の存在するこれらの画像１２４ａ〜１２４ｄは、ライトフィールド画像を構成する各々であるため、サブ画像と称される。視差の存在する複数のサブ画像１２４ａ〜１２４ｄにより、ライトフィールド画像が構成される。 These images 124a to 124d in which parallax exists are each a light field image and are therefore referred to as sub-images. A light field image is composed of a plurality of sub-images 124a to 124d having parallax.
ライトフィールド画像についてのデータは、ライトフィールドデータと称される。また、サブ画像についてのデータは、サブ画像データと称される。 Data about the light field image is referred to as light field data. The data about the sub image is referred to as sub image data.
視差の存在する複数のサブ画像１２４ａ〜１２４ｄによりライトフィールド画像が構成されているため、ライトフィールドデータには、２次元的な光強度分布の情報のみならず、光の入射方向の情報までもが含まれている。換言すれば、ライトフィールドデータは、被写体空間の３次元的な情報を含んでいる。 Since the light field image is composed of the plurality of sub-images 124a to 124d having parallax, the light field data includes not only information on the two-dimensional light intensity distribution but also information on the incident direction of light. include. In other words, the light field data includes three-dimensional information about the subject space.
なお、ここでは、１つの画素１２３が４つの部分画素１２２ａ〜１２２ｄにより構成されている場合を例に説明したが、１つの画素１２３を構成する部分画素１２２ａ〜１２２ｄの数は、４つに限定されるものではなく、適宜設定し得る。 Here, the case where one pixel 123 includes four partial pixels 122a to 122d has been described as an example. However, the number of partial pixels 122a to 122d included in one pixel 123 is limited to four. It can be set as appropriate.
図３（ｃ）は、リフォーカス画像１２５の例を示す概念図である。リフォーカス画像１２５は、撮影後、即ち、事後的にフォーカスを合わせ直す処理であるリフォーカスを行うことにより得られる画像である。ライトフィールド画像には視差を有する複数のサブ画像１２４ａ〜１２４ｄが含まれているため、ライトフィールド画像に基づいてリフォーカス画像１２５を生成することが可能である。 FIG. 3C is a conceptual diagram illustrating an example of the refocus image 125. The refocus image 125 is an image obtained by performing refocus, which is a process of refocusing after shooting, that is, afterwards. Since the light field image includes a plurality of sub-images 124a to 124d having parallax, the refocus image 125 can be generated based on the light field image.
撮像素子１０４の後段には、撮像素子１０４の出力インターフェースとして機能するデジタルフロントエンド（ＤＦＥ：Digital Front End）１０５が配されている。 A digital front end (DFE) 105 that functions as an output interface of the image sensor 104 is disposed after the image sensor 104.
なお、撮像素子１０４に対する制御は、処理部１３０の一部である撮像素子制御部１１４によって行われる。また、撮像素子制御部１１４に対する制御は、処理部１３０の一部であるシステム制御部１１３によって行われる。 Note that the image sensor 104 is controlled by the image sensor control unit 114 that is a part of the processing unit 130. Control of the image sensor control unit 114 is performed by the system control unit 113 that is a part of the processing unit 130.
本実施形態による画像処理装置の処理部１３０は、信号処理部１０６と、被写体検出部１０７と、移動速度検出部１１５と、被写体認識部１１８とを有している。また、本実施形態による画像処理装置の処理部１３０は、画像処理装置全体の制御を司るシステム制御部１１３と、撮像素子を制御する撮像素子制御部１１４と、データを一時的に保持するメモリ１０８とを有している。また、本実施形態による画像処理装置の処理部１３０は、表示部１２７，１２８と、表示部１２７，１２８を制御する表示制御部１１２と、記録媒体（図示せず）にデータを記録する記録部１２６と、操作者が操作入力を行うための操作部１３２とを有している。 The processing unit 130 of the image processing apparatus according to the present embodiment includes a signal processing unit 106, a subject detection unit 107, a moving speed detection unit 115, and a subject recognition unit 118. In addition, the processing unit 130 of the image processing apparatus according to the present embodiment includes a system control unit 113 that controls the entire image processing apparatus, an image sensor control unit 114 that controls the image sensor, and a memory 108 that temporarily stores data. And have. Further, the processing unit 130 of the image processing apparatus according to the present embodiment includes display units 127 and 128, a display control unit 112 that controls the display units 127 and 128, and a recording unit that records data on a recording medium (not shown). 126 and an operation unit 132 for an operator to input an operation.
信号処理部１０６、被写体検出部１０７、移動速度検出部１１５、被写体検出部１１８、表示制御部１１２等は、例えばシステムＬＳＩ等を用いて構成することができる。かかるシステムＬＳＩには、本実施形態による画像処理方法を実行するコンピュータプログラムが組み込まれている。 The signal processing unit 106, the subject detection unit 107, the moving speed detection unit 115, the subject detection unit 118, the display control unit 112, and the like can be configured using, for example, a system LSI. In such a system LSI, a computer program for executing the image processing method according to the present embodiment is incorporated.
撮像素子１０４の出力信号は、デジタルフロントエンド１０５を介して、信号処理部１０６に入力されるようになっている。信号処理部１０６は、撮像素子１０４から出力されるライトフィールドデータ（画素データ、画像データ）に対して所定の信号処理を施すものである。信号処理部１０６によって所定の信号処理が施されたライトフィールドデータは、メモリ（メインメモリ）１０８に書き込まれる。本実施形態による画像処理装置は、動画像の処理を行い得るものである。従って、信号処理部１０６は、撮像素子１０４から順次出力されるライトフィールドデータに対して所定の信号処理を順次施し、信号処理を施したライトフィールドデータをメモリ１０８に順次書き込む。 An output signal of the image sensor 104 is input to the signal processing unit 106 via the digital front end 105. The signal processing unit 106 performs predetermined signal processing on light field data (pixel data, image data) output from the image sensor 104. Light field data that has been subjected to predetermined signal processing by the signal processing unit 106 is written in a memory (main memory) 108. The image processing apparatus according to the present embodiment can perform moving image processing. Accordingly, the signal processing unit 106 sequentially performs predetermined signal processing on the light field data sequentially output from the image sensor 104 and sequentially writes the light field data subjected to the signal processing to the memory 108.
メモリ１０８は、書き込まれたデータを一時的に保持するものである。メモリ１０８としては、例えばＤＲＡＭ等が用いられる。なお、メモリ１０８に対するデータの書き込みや読み出しは、メモリコントローラ１０９を用いて行われる。 The memory 108 temporarily holds the written data. For example, a DRAM or the like is used as the memory 108. Note that data is written to and read from the memory 108 using the memory controller 109.
撮像素子１０４の出力信号は、デジタルフロントエンド１０５を介して、被写体検出部１０７にも入力されるようになっている。被写体検出部１０７は、撮像素子１０４から出力される画像データ（ライトフィールドデータ）に基づいて、被写体（ピントを合わせる対象となる人物や物体）１２１を検出する。 The output signal of the image sensor 104 is also input to the subject detection unit 107 via the digital front end 105. The subject detection unit 107 detects a subject (a person or an object to be focused) 121 based on image data (light field data) output from the image sensor 104.
被写体検出部１０７による被写体（注目被写体）の検出結果は、移動速度検出部（移動速度算出部）１１５に入力される。移動速度検出部１１５は、奥行き方向における被写体１２１の移動速度を検出（算出）するものである。 The detection result of the subject (target subject) by the subject detection unit 107 is input to the movement speed detection unit (movement speed calculation unit) 115. The moving speed detector 115 detects (calculates) the moving speed of the subject 121 in the depth direction.
被写体認識部１１８は、特徴検出部１１０と認識／認証部１１１とにより構成されている。特徴検出部１１０は、被写体１２１の画像に基づいて、被写体１２１の特徴を抽出するものである。認識／認証部１１１は、特徴検出部１１０により抽出された特徴を解析することにより、被写体１２１の認識や認証を行うものである。 The subject recognition unit 118 includes a feature detection unit 110 and a recognition / authentication unit 111. The feature detection unit 110 extracts the feature of the subject 121 based on the image of the subject 121. The recognition / authentication unit 111 recognizes and authenticates the subject 121 by analyzing the features extracted by the feature detection unit 110.
被写体１２１が人間である場合には、特徴検出部１１０は、例えば、人間の顔の部位（耳、目、鼻、口等）等を抽出する。認識／認証部１１１は、特徴検出部１１０により抽出された人間の顔の部位（耳、目、鼻、口等）等を解析することにより、例えば、笑顔の有無や個人の特定等を行う。 When the subject 121 is a human, the feature detection unit 110 extracts, for example, a part of the human face (ear, eye, nose, mouth, etc.). The recognition / authentication unit 111 analyzes, for example, the part of the human face (ear, eye, nose, mouth, etc.) extracted by the feature detection unit 110, and identifies, for example, whether or not there is a smile or an individual.
なお、被写体１２１は、人間に限定されるものではなく、物体であってもよい。被写体１２１が物体である場合には、特徴検出部１１０は、例えば物体の色や形状等を抽出し、認識／認証部１１１は、例えば物体の特定等を行う。 The subject 121 is not limited to a human but may be an object. When the subject 121 is an object, the feature detection unit 110 extracts, for example, the color and shape of the object, and the recognition / authentication unit 111 performs, for example, identification of the object.
表示制御部１１２は、表示部１２７、１２８を制御するものである。表示部１２７としては、例えば液晶ビューファインダー等が挙げられる。表示部１２８としては、例えば液晶モニタ等を挙げることができる。液晶モニタ１２８としては、例えばタッチパネル液晶モニタ等を挙げることができる。タッチパネル液晶モニタ１２８は、表示装置と位置入力装置（指示入力部）とが組み合わせられたものである。操作者は、タッチパネル液晶モニタ１２８の表示画面の一部に指等を接触させることにより、ピントを合わせる対象となる被写体１２１を指示することができる。操作者により指示された被写体１２１には、タッチパネル液晶モニタ１２８の表示画面上において、例えば矩形の枠を表示するようにしてもよい。このような枠をタッチパネル液晶モニタ１２８の表示画面に表示すれば、ピントを合わせる対象である被写体（注目被写体）１２１がどれであるのかが分かりやすくなる。 The display control unit 112 controls the display units 127 and 128. Examples of the display unit 127 include a liquid crystal viewfinder. An example of the display unit 128 is a liquid crystal monitor. Examples of the liquid crystal monitor 128 include a touch panel liquid crystal monitor. The touch panel liquid crystal monitor 128 is a combination of a display device and a position input device (instruction input unit). The operator can instruct the subject 121 to be focused by bringing a finger or the like into contact with a part of the display screen of the touch panel liquid crystal monitor 128. For example, a rectangular frame may be displayed on the subject 121 instructed by the operator on the display screen of the touch panel liquid crystal monitor 128. Displaying such a frame on the display screen of the touch panel liquid crystal monitor 128 makes it easy to identify the subject (target subject) 121 that is the object of focus.
記録部１２６は、ライトフィールドデータ及びメタデータをメモリ１０８から読み出し、読み出したライトフィールドデータ及びメタデータを、図示しない記録媒体に記録する。かかるメタデータには、後述するように、リフォーカス画像における被写界深度（リフォーカス範囲）についての情報が含まれている。 The recording unit 126 reads the light field data and metadata from the memory 108 and records the read light field data and metadata on a recording medium (not shown). As will be described later, the metadata includes information on the depth of field (refocus range) in the refocus image.
次に、本実施形態による画像処理装置の撮影時における動作について図４を用いて説明する。図４は、本実施形態による画像処理装置の撮影時における動作を示すフローチャートである。 Next, the operation at the time of shooting of the image processing apparatus according to the present embodiment will be described with reference to FIG. FIG. 4 is a flowchart showing an operation at the time of shooting of the image processing apparatus according to the present embodiment.
まず、画像処理装置の電源が操作者（撮影者）によってＯＮ状態にされる（ステップＳ１）。 First, the power source of the image processing apparatus is turned on by the operator (photographer) (step S1).
本実施形態による画像処理装置は、各フィールドの開始を示す同期信号に同期して所定の画像処理を行うものである。なお、各々のフィールドは、動画像の１フレームに対応するものである。かかる同期信号としては、例えば撮像素子１０４に印加される垂直同期信号等を用いることができる。同期信号を検出すると（ステップＳ２においてＹＥＳ）、システム制御部１１３は、撮像素子制御部１１４を介して撮像素子１０４を制御することにより、撮像素子１０４からライトフィールドデータを出力させる。撮像素子１０４から出力されたライトフィールドデータは、信号処理部１０６に入力される。こうして、撮像素子１０４により取得されたライトフィールドデータが、信号処理部１０６により読み出される（ステップＳ３）。なお、ステップＳ２においてＮＯの場合には、ステップＳ２が繰り返し行われ、同期信号を待つ。 The image processing apparatus according to the present embodiment performs predetermined image processing in synchronization with a synchronization signal indicating the start of each field. Each field corresponds to one frame of a moving image. As such a synchronization signal, for example, a vertical synchronization signal applied to the image sensor 104 can be used. When the synchronization signal is detected (YES in step S2), the system control unit 113 controls the image sensor 104 via the image sensor control unit 114 to output light field data from the image sensor 104. Light field data output from the image sensor 104 is input to the signal processing unit 106. Thus, the light field data acquired by the image sensor 104 is read by the signal processing unit 106 (step S3). In the case of NO in step S2, step S2 is repeatedly performed to wait for a synchronization signal.
次に、システム制御部１１３は、信号処理部１０６に所定の信号処理を行わせる。信号処理部１０６は、撮像素子１０４から入力されたライトフィールドデータに対して、所定の信号処理を行う（ステップＳ４）。 Next, the system control unit 113 causes the signal processing unit 106 to perform predetermined signal processing. The signal processing unit 106 performs predetermined signal processing on the light field data input from the image sensor 104 (step S4).
次に、システム制御部１１３は、信号処理部１０６によって信号処理が施されたライトフィールドデータを、メモリ１０８に書き込む（ステップＳ５）。 Next, the system control unit 113 writes the light field data subjected to the signal processing by the signal processing unit 106 in the memory 108 (step S5).
次に、システム制御部１１３は、被写体検出機能がＯＮ状態に設定されているか否かを判定する（ステップＳ６）。被写体検出機能がＯＦＦ状態に設定されている場合には（ステップＳ６においてＮＯ）、ステップＳ２に戻り、次のフィールドの開始を示す同期信号を待つ。 Next, the system control unit 113 determines whether or not the subject detection function is set to the ON state (step S6). If the subject detection function is set to the OFF state (NO in step S6), the process returns to step S2 and waits for a synchronization signal indicating the start of the next field.
被写体検出機能がＯＮ状態に設定されている場合には（ステップＳ６においてＹＥＳ）、システム制御部１１３は、撮影された画像から所望の被写体（注目被写体）１２１を検出する（ステップＳ７）。 When the subject detection function is set to ON (YES in step S6), the system control unit 113 detects a desired subject (target subject) 121 from the captured image (step S7).
次に、システム制御部１１３は、被写体認識機能がＯＮ状態に設定されているか否かを判定する（ステップＳ８）。被写体認識機能がＯＦＦ状態に設定されている場合には（ステップＳ８においてＮＯ）、ステップＳ２に戻り、次のフィールドの開始を示す同期信号を待つ。 Next, the system control unit 113 determines whether or not the subject recognition function is set to the ON state (step S8). If the subject recognition function is set to the OFF state (NO in step S8), the process returns to step S2 and waits for a synchronization signal indicating the start of the next field.
被写体認識機能がＯＮ状態に設定されている場合には（ステップＳ８においてＹＥＳ）、システム制御部１１３は、被写体認識部１１８に被写体１２１を認識する処理を行わせる。被写体認識部１１８の特徴検出部１１０は、例えば、被写体１２１の一部を少なくとも含む矩形領域内の画像に基づいて、被写体１２１の特徴を抽出する。そして、被写体１２１の認証や認識が被写体認識部１１８の認識／認証部１１１によって行われる（ステップＳ９）。 If the subject recognition function is set to ON (YES in step S8), the system control unit 113 causes the subject recognition unit 118 to perform processing for recognizing the subject 121. The feature detection unit 110 of the subject recognition unit 118 extracts the feature of the subject 121 based on, for example, an image in a rectangular area including at least a part of the subject 121. Then, authentication and recognition of the subject 121 are performed by the recognition / authentication unit 111 of the subject recognition unit 118 (step S9).
次に、システム制御部１１３は、移動速度検出部１１５に、奥行き方向における被写体１２１の移動速度Ｖを検出させる（ステップＳ１０）。図５は、被写体の移動を概念的に示す図である。実線の枠で囲まれた矩形領域（検出領域）Ａ内に示された被写体１２１は、移動前における被写体１２１を示している。破線の枠で囲まれた矩形領域（検出領域）Ｂ内に示された被写体１２１は、移動後における被写体１２１を示している。移動速度検出部１１５は、奥行き方向における被写体１２１の移動速度Ｖを検出する。 Next, the system control unit 113 causes the movement speed detection unit 115 to detect the movement speed V of the subject 121 in the depth direction (step S10). FIG. 5 is a diagram conceptually showing the movement of the subject. A subject 121 shown in a rectangular area (detection area) A surrounded by a solid frame indicates the subject 121 before moving. A subject 121 shown in a rectangular region (detection region) B surrounded by a broken-line frame indicates the subject 121 after movement. The moving speed detector 115 detects the moving speed V of the subject 121 in the depth direction.
次に、システム制御部１１３は、奥行き方向における被写体１２１の移動速度Ｖを閾値Ｖｔｈと比較する（ステップＳ１１）。 Next, the system control unit 113 compares the moving speed V of the subject 121 in the depth direction with a threshold value Vth (step S11).
奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には（ステップＳ１１においてＮＯ）、システム制御部１１３は、リフォーカス画像における被写界深度が深くなるように被写界深度のパラメータを設定する（ステップＳ１２）。即ち、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上（閾値以上）である場合には、システム制御部１１３は、リフォーカス画像におけるリフォーカス範囲が大きくなるように、リフォーカス範囲決定パラメータを設定する。 When the moving speed V of the subject 121 in the depth direction is equal to or higher than the threshold value Vth (NO in step S11), the system control unit 113 sets the depth-of-field parameter so that the depth of field in the refocus image becomes deep. Is set (step S12). That is, when the moving speed V of the subject 121 in the depth direction is equal to or higher than the threshold value Vth (threshold value or higher), the system control unit 113 sets the refocus range determination parameter so that the refocus range in the refocus image becomes larger. Set.
リフォーカス画像とは、リフォーカスを行うことにより得られる画像のことである。被写界深度とは、ピントがあっているよう見える被写体側における距離のことである。リフォーカス範囲とは、リフォーカスを行うことによって、ピントがあっているように見えるようになる被写体側における範囲のことである。従って、「リフォーカス画像における被写界深度」は、「リフォーカス範囲」と同義である。 A refocus image is an image obtained by performing refocus. The depth of field is the distance on the subject side that appears to be in focus. The refocus range is a range on the subject side that appears to be in focus when refocusing is performed. Therefore, “depth of field in refocus image” is synonymous with “refocus range”.
また、リフォーカス画像における被写界深度とは、事後的にリフォーカスすることにより得られるリフォーカス画像における被写界深度のことである。即ち、リフォーカス画像における被写界深度とは、リフォーカスを行って動画像を再生する際における被写界深度のことである。 Further, the depth of field in the refocus image is the depth of field in the refocus image obtained by refocusing afterwards. That is, the depth of field in the refocused image is the depth of field when the moving image is reproduced by performing refocusing.
奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には（ステップＳ１１においてＹＥＳ）、システム制御部１１３は、リフォーカス画像における被写界深度が浅くなるように、被写界深度のパラメータを決定する（ステップＳ１３）。即ち、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には、システム制御部１１３は、リフォーカス画像におけるリフォーカス範囲が小さくなるように、リフォーカス範囲決定パラメータを設定する。 When the moving speed V of the subject 121 in the depth direction is smaller than the threshold value Vth (YES in step S11), the system control unit 113 sets the depth-of-field parameter so that the depth of field in the refocus image becomes shallow. Is determined (step S13). That is, when the moving speed V of the subject 121 in the depth direction is smaller than the threshold value Vth, the system control unit 113 sets the refocus range determination parameter so that the refocus range in the refocus image becomes small.
このように、本実施形態では、奥行き方向における被写体１２１の移動速度Ｖに基づいて、リフォーカス画像における被写界深度（リフォーカス範囲）が設定される。システム制御部１１３は、ライトフィールドデータと、リフォーカス範囲決定パラメータを含むメタデータとをメモリ１０８に書き込む。より具体的には、システム制御部１１３は、ライトフィールドデータと、リフォーカス範囲決定パラメータを含むメタデータとを、互いに関連付けてメモリ１０８に書き込む（ステップＳ１４）。 Thus, in this embodiment, the depth of field (refocus range) in the refocus image is set based on the moving speed V of the subject 121 in the depth direction. The system control unit 113 writes the light field data and metadata including the refocus range determination parameter in the memory 108. More specifically, the system control unit 113 writes the light field data and the metadata including the refocus range determination parameter in the memory 108 in association with each other (step S14).
次に、システム制御部１１３は、メモリ１０８に書き込まれたライトフィールドデータ及びメタデータを、メモリ１０８から読み出す（ステップＳ１５）。 Next, the system control unit 113 reads the light field data and metadata written in the memory 108 from the memory 108 (step S15).
次に、システム制御部１１３は、記録媒体への記録を記録部１２６に行わせる。記録部１２６は、メモリ１０８から読み出されたライトフィールドデータ及びメタデータを、図示しない記録媒体に記録する（ステップＳ１６）。 Next, the system control unit 113 causes the recording unit 126 to perform recording on the recording medium. The recording unit 126 records the light field data and metadata read from the memory 108 on a recording medium (not shown) (step S16).
次に、システム制御部１１３は、撮影された画像の表示を表示制御部１１２に行わせる（ステップＳ１７）。表示制御部１１２は、撮影された画像を、例えば表示部１２７を用いて表示する。なお、この段階において表示部１２７に表示される画像は、リフォーカスが行われた画像ではなく、リフォーカスが行われていない画像である。なお、ステップＳ１７を行った後は、ステップＳ２に戻り、上記のような処理が繰り返される。 Next, the system control unit 113 causes the display control unit 112 to display the captured image (step S17). The display control unit 112 displays the captured image using the display unit 127, for example. Note that the image displayed on the display unit 127 at this stage is not an image that has been refocused but an image that has not been refocused. In addition, after performing step S17, it returns to step S2 and the above processes are repeated.
こうして、本実施形態による画像処理装置を用いて撮影が行われる。 Thus, photographing is performed using the image processing apparatus according to the present embodiment.
次に、本実施形態による画像処理装置の再生時における動作について図６を用いて説明する。図６は、本実施形態による画像処理装置の再生時における動作を示すフローチャートである。 Next, an operation during reproduction of the image processing apparatus according to the present embodiment will be described with reference to FIG. FIG. 6 is a flowchart showing an operation during reproduction of the image processing apparatus according to the present embodiment.
まず、画像処理装置の電源が操作者（閲覧者）によりＯＮ状態にされる（ステップＳ２１）。 First, the power source of the image processing apparatus is turned on by the operator (viewer) (step S21).
次に、画像処理装置の操作部１３２を介して、動画像の再生の指示が操作者によって入力されると（ステップＳ２２においてＹＥＳ）、システム制御部１１３は、記録媒体に記録されたライトフィールドデータとメタデータとを読み出す（ステップＳ２３）。上述したように、メタデータには、ライトフィールドデータに基づいてリフォーカス画像を生成する際における、リフォーカス画像の被写界深度（リフォーカス範囲）を示すリフォーカス範囲決定パラメータが含まれている。 Next, when an instruction to reproduce a moving image is input by the operator via the operation unit 132 of the image processing apparatus (YES in step S22), the system control unit 113 records the light field data recorded on the recording medium. And metadata are read (step S23). As described above, the metadata includes a refocus range determination parameter indicating the depth of field (refocus range) of the refocus image when generating the refocus image based on the light field data. .
次に、システム制御部１１３は、ライトフィールドデータに基づいて、リフォーカス画像を生成する。この際、システム制御部１１３は、リフォーカス範囲決定パラメータに基づいて、リフォーカス画像における被写界深度（リフォーカス範囲）を設定する（ステップＳ２４）。奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には、リフォーカス画像におけるリフォーカス範囲が小さくなるように、リフォーカス範囲決定パラメータが設定されている。従って、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には、被写界深度が比較的浅いリフォーカス画像が生成される。一方、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には、リフォーカス画像におけるリフォーカス範囲が大きくなるように、リフォーカス範囲決定パラメータが設定されている。従って、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には、被写界深度が比較的深いリフォーカス画像が生成される。 Next, the system control unit 113 generates a refocus image based on the light field data. At this time, the system control unit 113 sets the depth of field (refocus range) in the refocus image based on the refocus range determination parameter (step S24). When the moving speed V of the subject 121 in the depth direction is smaller than the threshold value Vth, the refocus range determination parameter is set so that the refocus range in the refocus image becomes smaller. Therefore, when the moving speed V of the subject 121 in the depth direction is smaller than the threshold value Vth, a refocus image with a relatively shallow depth of field is generated. On the other hand, when the moving speed V of the subject 121 in the depth direction is equal to or higher than the threshold value Vth, the refocus range determination parameter is set so that the refocus range in the refocus image becomes large. Therefore, when the moving speed V of the subject 121 in the depth direction is equal to or higher than the threshold value Vth, a refocus image having a relatively deep depth of field is generated.
次に、システム制御部１１３は、生成されたリフォーカス画像の表示を表示制御部１１２に行わせる（ステップＳ２５）。表示制御部１１２は、例えば表示部１２８を用いてリフォーカス画像を表示する。なお、ステップＳ２５を行った後は、ステップＳ２３に戻り、上記のような処理が繰り返される。 Next, the system control unit 113 causes the display control unit 112 to display the generated refocus image (step S25). The display control unit 112 displays a refocus image using the display unit 128, for example. In addition, after performing step S25, it returns to step S23 and the above processes are repeated.
図７は、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合に生成されるリフォーカス画像における被写界深度を概念的に示す図である。図７（ａ）は、被写体１２１が移動する前のリフォーカス画像における被写界深度を概念的に示している。図７（ｂ）は、被写体１２１が移動した後のリフォーカス画像における被写界深度を概念的に示している。細い実線の枠で囲まれた矩形領域Ａ内に示されている被写体１２１は、移動前における被写体１２１である。細い破線の枠で囲まれた矩形領域Ｂ内に示されている被写体１２１は、移動後の被写体１２１である。図７において太い実線の枠で示す矩形領域は、ピントがあっているように見える領域を概念的に示している。 FIG. 7 is a diagram conceptually illustrating the depth of field in the refocus image generated when the moving speed V of the subject 121 in the depth direction is smaller than the threshold value Vth. FIG. 7A conceptually shows the depth of field in the refocus image before the subject 121 moves. FIG. 7B conceptually shows the depth of field in the refocused image after the subject 121 has moved. A subject 121 shown in a rectangular area A surrounded by a thin solid frame is the subject 121 before moving. The subject 121 shown in the rectangular area B surrounded by the thin broken line frame is the subject 121 after movement. In FIG. 7, a rectangular area indicated by a thick solid frame conceptually indicates an area that appears to be in focus.
図７から分かるように、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には、奥行き方向の比較的狭い領域においてピントがあっているように見える。即ち、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には、リフォーカス画像における被写界深度は比較的浅くなる。奥行き方向における移動速度Ｖが比較的小さいため、リフォーカス画像における被写界深度が比較的浅くても、閲覧者に著しい違和感を与えない。 As can be seen from FIG. 7, when the moving speed V of the subject 121 in the depth direction is smaller than the threshold value Vth, it seems that the focus is in a relatively narrow area in the depth direction. That is, when the moving speed V of the subject 121 in the depth direction is smaller than the threshold value Vth, the depth of field in the refocus image becomes relatively shallow. Since the moving speed V in the depth direction is relatively small, even if the depth of field in the refocused image is relatively shallow, the viewer does not feel a sense of incongruity.
図８は、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合に生成されるリフォーカス画像における被写界深度を概念的に示す図である。細い実線の枠で囲まれた矩形領域Ａ内に示されている被写体１２１は、移動前における被写体１２１である。細い破線の枠で囲まれた矩形領域Ｂ内に示されている被写体１２１は、移動後における被写体１２１である。図８において太い実線の枠で示す矩形領域Ｃは、ピントがあっている領域を示している。 FIG. 8 is a diagram conceptually illustrating the depth of field in the refocus image generated when the moving speed V of the subject 121 in the depth direction is equal to or higher than the threshold value Vth. A subject 121 shown in a rectangular area A surrounded by a thin solid frame is the subject 121 before moving. A subject 121 shown in a rectangular area B surrounded by a thin dashed frame is the subject 121 after movement. In FIG. 8, a rectangular area C indicated by a thick solid line frame indicates a focused area.
図８から分かるように、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には、奥行き方向の比較的広い領域においてピントがあっているように見える。即ち、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には、リフォーカス画像における被写界深度は比較的深くなる。リフォーカス画像における被写界深度が比較的深いため、奥行き方向における移動速度Ｖが比較的速くても、閲覧者に著しい違和感を与えない。 As can be seen from FIG. 8, when the moving speed V of the subject 121 in the depth direction is equal to or higher than the threshold value Vth, it seems that the focus is in a relatively wide area in the depth direction. That is, when the moving speed V of the subject 121 in the depth direction is equal to or higher than the threshold value Vth, the depth of field in the refocus image is relatively deep. Since the depth of field in the refocused image is relatively deep, even if the moving speed V in the depth direction is relatively fast, the viewer does not feel a sense of incongruity.
このように、本実施形態では、奥行き方向における被写体１２１の移動速度が比較的大きい場合には、被写界深度が比較的深いリフォーカス画像が生成される。一方、奥行き方向における被写体１２１の移動速度が比較的小さい場合には、被写界深度が比較的浅いリフォーカス画像が生成される。このため、本実施形態によれば、閲覧者に対して違和感を与えることなく、リフォーカスした動画像を表示することができる。 Thus, in the present embodiment, when the moving speed of the subject 121 in the depth direction is relatively high, a refocus image with a relatively deep depth of field is generated. On the other hand, when the moving speed of the subject 121 in the depth direction is relatively low, a refocus image with a relatively shallow depth of field is generated. For this reason, according to this embodiment, a refocused moving image can be displayed without giving a strange feeling to the viewer.
（変形例）
次に、本実施形態による画像処理装置、画像処理方法及びコンピュータプログラムの変形例について図９を用いて説明する。図９は、本変形例による画像処理装置の動作を示すフローチャートである。
(Modification)
Next, a modification of the image processing apparatus, the image processing method, and the computer program according to the present embodiment will be described with reference to FIG. FIG. 9 is a flowchart showing the operation of the image processing apparatus according to this modification.
本変形例による画像処理装置は、撮像時においては、リフォーカス画像における被写界深度を決定せず、再生時において、リフォーカス画像における被写界深度を決定するものである。 The image processing apparatus according to the present modification does not determine the depth of field in the refocus image at the time of imaging, but determines the depth of field in the refocus image at the time of reproduction.
まず、画像処理装置の電源が操作者（閲覧者）によりＯＮ状態にされる（ステップＳ３１）。 First, the power source of the image processing apparatus is turned on by the operator (browser) (step S31).
次に、画像処理装置の操作部１３２を介して、動画像の再生の指示が操作者によって入力されると（ステップＳ３２においてＹＥＳ）、システム制御部１１３は、記録媒体に記録されたライトフィールドデータ（画像データ）を読み出す（ステップＳ３３）。なお、本変形例では、撮像時にリフォーカス範囲決定パラメータを決定しないため、リフォーカス範囲決定パラメータを含むメタデータは、ライトフィールドデータに関連付けられて記録媒体に記録されていない。 Next, when an instruction to reproduce a moving image is input by the operator via the operation unit 132 of the image processing apparatus (YES in step S32), the system control unit 113 records the light field data recorded on the recording medium. (Image data) is read out (step S33). In this modification, since the refocus range determination parameter is not determined at the time of imaging, metadata including the refocus range determination parameter is not recorded on the recording medium in association with the light field data.
次に、システム制御部１１３は、被写体検出機能がＯＮ状態に設定されているか否かを判定する（ステップＳ３４）。被写体検出機能がＯＦＦ状態に設定されている場合には（ステップＳ３４においてＮＯ）、後述するステップＳ４２以降を行う。 Next, the system control unit 113 determines whether or not the subject detection function is set to the ON state (step S34). If the subject detection function is set to the OFF state (NO in step S34), step S42 and subsequent steps described later are performed.
被写体検出機能がＯＮ状態に設定されている場合には（ステップＳ３４においてＹＥＳ）、システム制御部１１３は、読み出した画像から所望の被写体１２１を検出する（ステップＳ３５）。被写体１２１の検出は、例えば、撮影中に検出した被写体１２１であってもよいし、再生時に操作者（閲覧者）が指示した被写体１２１であってもよい。上述したように、操作者は、タッチパネル液晶モニタ１２８の表示画面の一部に指等を接触させることにより、ピントを合わせる対象となる被写体１２１を指示することができる。 If the subject detection function is set to ON (YES in step S34), system control unit 113 detects desired subject 121 from the read image (step S35). The detection of the subject 121 may be, for example, the subject 121 detected during shooting, or the subject 121 designated by the operator (viewer) at the time of reproduction. As described above, the operator can instruct the subject 121 to be focused by bringing a finger or the like into contact with a part of the display screen of the touch panel liquid crystal monitor 128.
次に、システム制御部１１３は、被写体認識機能がＯＮ状態に設定されているか否かを判定する（ステップＳ３６）。被写体認識機能がＯＦＦ状態に設定されている場合には（ステップＳ３６においてＮＯ）、後述するステップＳ４２以降を行う。 Next, the system control unit 113 determines whether or not the subject recognition function is set to the ON state (step S36). If the subject recognition function is set to the OFF state (NO in step S36), step S42 and subsequent steps described later are performed.
被写体認識機能がＯＮ状態に設定されている場合には（ステップＳ３６においてＹＥＳ）、システム制御部１１３は、被写体１２１を認識する処理を被写体認識部１１８に行わせる。被写体認識部１１８の特徴検出部１１０は、例えば、被写体１２１の一部を少なくとも含む矩形領域内の画像に基づいて、被写体１２１の特徴を抽出する。そして、被写体１２１の認証や認識が被写体認識部１１８の認識／認証部１１１によって行われる（ステップＳ３７）。 If the subject recognition function is set to ON (YES in step S36), the system control unit 113 causes the subject recognition unit 118 to perform processing for recognizing the subject 121. The feature detection unit 110 of the subject recognition unit 118 extracts the feature of the subject 121 based on, for example, an image in a rectangular area including at least a part of the subject 121. Then, authentication and recognition of the subject 121 is performed by the recognition / authentication unit 111 of the subject recognition unit 118 (step S37).
次に、システム制御部１１３は、移動速度検出部１１５に、奥行き方向における被写体１２１の移動速度Ｖを検出させる（ステップＳ３８）。 Next, the system control unit 113 causes the movement speed detection unit 115 to detect the movement speed V of the subject 121 in the depth direction (step S38).
次に、システム制御部１１３は、奥行き方向における被写体１２１の移動速度Ｖを閾値Ｖｔｈと比較する（ステップＳ３９）。 Next, the system control unit 113 compares the moving speed V of the subject 121 in the depth direction with the threshold value Vth (step S39).
奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には（ステップＳ３９においてＮＯ）、システム制御部１１３は、リフォーカス画像における被写界深度が深くなるように、被写界深度のパラメータを設定する（ステップＳ４０）。即ち、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には、システム制御部１１３は、リフォーカス画像におけるリフォーカス範囲が大きくなるように、リフォーカス範囲決定パラメータを設定する。 If the moving speed V of the subject 121 in the depth direction is equal to or higher than the threshold value Vth (NO in step S39), the system control unit 113 sets the depth of field so that the depth of field in the refocus image becomes deep. A parameter is set (step S40). That is, when the moving speed V of the subject 121 in the depth direction is equal to or higher than the threshold value Vth, the system control unit 113 sets the refocus range determination parameter so that the refocus range in the refocus image becomes large.
奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には（ステップＳ３９においてＹＥＳ）、システム制御部１１３は、リフォーカス画像における被写界深度が浅くなるように、被写界深度のパラメータを決定する（ステップＳ４１）。即ち、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には、システム制御部１１３は、リフォーカス画像におけるリフォーカス範囲が小さくなるように、リフォーカス範囲決定パラメータを設定する。 When the moving speed V of the subject 121 in the depth direction is smaller than the threshold value Vth (YES in step S39), the system control unit 113 sets the depth-of-field parameter so that the depth of field in the refocus image becomes shallow. Is determined (step S41). That is, when the moving speed V of the subject 121 in the depth direction is smaller than the threshold value Vth, the system control unit 113 sets the refocus range determination parameter so that the refocus range in the refocus image becomes small.
次に、システム制御部１１３は、ライトフィールドデータに基づいて、リフォーカス画像を生成する（ステップＳ４２）。この際、システム制御部１１３は、リフォーカス範囲決定パラメータに基づいて、リフォーカス画像における被写界深度（リフォーカス範囲）を設定する。奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には、リフォーカス画像におけるリフォーカス範囲が小さくなるように、リフォーカス範囲決定パラメータが設定されている。従って、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には、被写界深度が比較的浅いリフォーカス画像が生成される。一方、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には、リフォーカス画像におけるリフォーカス範囲が大きくなるように、リフォーカス範囲決定パラメータが設定されている。従って、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には、被写界深度が比較的深いリフォーカス画像が生成される。 Next, the system control unit 113 generates a refocus image based on the light field data (step S42). At this time, the system control unit 113 sets the depth of field (refocus range) in the refocus image based on the refocus range determination parameter. When the moving speed V of the subject 121 in the depth direction is smaller than the threshold value Vth, the refocus range determination parameter is set so that the refocus range in the refocus image becomes smaller. Therefore, when the moving speed V of the subject 121 in the depth direction is smaller than the threshold value Vth, a refocus image with a relatively shallow depth of field is generated. On the other hand, when the moving speed V of the subject 121 in the depth direction is equal to or higher than the threshold value Vth, the refocus range determination parameter is set so that the refocus range in the refocus image becomes large. Therefore, when the moving speed V of the subject 121 in the depth direction is equal to or higher than the threshold value Vth, a refocus image having a relatively deep depth of field is generated.
次に、システム制御部１１３は、生成されたリフォーカス画像の表示を表示制御部１１２に行わせる（ステップＳ４３）。表示制御部１１２は、例えば表示部１２８を用いてリフォーカス画像を表示する。なお、ステップＳ４３を行った後は、ステップＳ３３に戻り、上記のような処理が繰り返される。 Next, the system control unit 113 causes the display control unit 112 to display the generated refocus image (step S43). The display control unit 112 displays a refocus image using the display unit 128, for example. In addition, after performing step S43, it returns to step S33 and the above processes are repeated.
このように、撮像時においてはリフォーカス画像における被写界深度を決定せず、再生時においてリフォーカス画像における被写界深度を決定するようにしてもよい。 In this way, the depth of field in the refocus image may not be determined at the time of imaging, but the depth of field in the refocus image may be determined at the time of reproduction.
［第２実施形態］
本発明の第２実施形態による画像処理装置、画像処理方法及びコンピュータプログラムについて図１０乃至図１２を用いて説明する。図１０は、本実施形態による画像処理装置を示すブロック図である。図１乃至図９に示す第１実施形態による画像処理装置等と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
[Second Embodiment]
An image processing apparatus, an image processing method, and a computer program according to a second embodiment of the present invention will be described with reference to FIGS. FIG. 10 is a block diagram illustrating the image processing apparatus according to the present embodiment. The same components as those of the image processing apparatus according to the first embodiment shown in FIG. 1 to FIG.
本実施形態による画像処理装置は、奥行き方向における被写体１２１の移動量（移動距離）に基づいて、リフォーカス画像における被写界深度を設定するものである。 The image processing apparatus according to the present embodiment sets the depth of field in the refocus image based on the movement amount (movement distance) of the subject 121 in the depth direction.
図１０に示すように、本実施形態では、処理部１３０は、移動量検出部１１６を更に有している。被写体検出部１０７による被写体（注目被写体）１２１の検出結果は、移動量検出部（移動距離検出部）１１６にも入力されるようになっている。移動量検出部１１６は、奥行き方向における被写体１２１の移動量（移動距離）を検出（算出）する。 As illustrated in FIG. 10, in the present embodiment, the processing unit 130 further includes a movement amount detection unit 116. The detection result of the subject (target subject) 121 by the subject detection unit 107 is also input to the movement amount detection unit (movement distance detection unit) 116. The movement amount detection unit 116 detects (calculates) the movement amount (movement distance) of the subject 121 in the depth direction.
また、本実施形態では、処理部１３０は、距離検出部１３１を更に有している。被写体検出部１０７による被写体１２１の検出結果は、距離検出部１３１にも入力されるようになっている。距離検出部１３１は、奥行き方向における撮像素子１０４から被写体１２１までの距離を検出（算出）する。 In the present embodiment, the processing unit 130 further includes a distance detection unit 131. The detection result of the subject 121 by the subject detection unit 107 is also input to the distance detection unit 131. The distance detection unit 131 detects (calculates) the distance from the image sensor 104 to the subject 121 in the depth direction.
本実施形態による画像処理装置の動作について図１１を用いて説明する。図１１は、本実施形態による画像処理装置の動作を示すフローチャートである。 The operation of the image processing apparatus according to the present embodiment will be described with reference to FIG. FIG. 11 is a flowchart showing the operation of the image processing apparatus according to the present embodiment.
まず、画像処理装置の電源が操作者（撮影者）によってＯＮ状態にされる（ステップＳ５１）。 First, the power source of the image processing apparatus is turned on by the operator (photographer) (step S51).
次に、所定の同期信号を検出すると（ステップＳ５２においてＹＥＳ）、システム制御部１１３は、撮像素子制御部１１４を介して撮像素子１０４を制御することにより、撮像素子１０４からライトフィールドデータを出力させる。撮像素子１０４から出力されたライトフィールドデータは、信号処理部１０６に入力される。こうして、撮像素子１０４により取得されたライトフィールドデータが、信号処理部１０６により読み出される（ステップＳ５３）。なお、ステップＳ５２においてＮＯの場合には、ステップＳ５２が繰り返し行われ、同期信号を待つ。 Next, when a predetermined synchronization signal is detected (YES in step S52), the system control unit 113 controls the image sensor 104 via the image sensor control unit 114 to output light field data from the image sensor 104. . Light field data output from the image sensor 104 is input to the signal processing unit 106. Thus, the light field data acquired by the image sensor 104 is read by the signal processing unit 106 (step S53). If NO in step S52, step S52 is repeatedly performed to wait for a synchronization signal.
次に、システム制御部１１３は、信号処理部１０６に所定の信号処理を行わせる。信号処理部１０６は、撮像素子１０４から入力されたライトフィールドデータに対して、所定の信号処理を行う（ステップＳ５４）。 Next, the system control unit 113 causes the signal processing unit 106 to perform predetermined signal processing. The signal processing unit 106 performs predetermined signal processing on the light field data input from the image sensor 104 (step S54).
次に、システム制御部１１３は、信号処理部１０６によって信号処理が施されたライトフィールドデータを、メモリ１０８に書き込む（ステップＳ５５）。 Next, the system control unit 113 writes the light field data subjected to the signal processing by the signal processing unit 106 in the memory 108 (step S55).
次に、システム制御部１１３は、被写体検出機能がＯＮ状態に設定されているか否かを判定する（ステップＳ５６）。被写体検出機能がＯＦＦ状態に設定されている場合には（ステップＳ５６においてＮＯ）、ステップＳ５２に戻り、次のフィールドの開始を示す同期信号を待つ。 Next, the system control unit 113 determines whether or not the subject detection function is set to the ON state (step S56). If the subject detection function is set to the OFF state (NO in step S56), the process returns to step S52 and waits for a synchronization signal indicating the start of the next field.
被写体検出機能がＯＮ状態に設定されている場合には（ステップＳ５６においてＹＥＳ）、システム制御部１１３は、撮影された画像から所望の被写体（注目被写体）１２１を検出する（ステップＳ５７）。 If the subject detection function is set to ON (YES in step S56), system control unit 113 detects a desired subject (target subject) 121 from the captured image (step S57).
次に、システム制御部１１３は、被写体認識機能がＯＮ状態に設定されているか否かを判定する（ステップＳ５８）。被写体認識機能がＯＦＦ状態に設定されている場合には（ステップＳ５８においてＮＯ）、ステップＳ５２に戻り、次のフィールドの開始を示す同期信号を待つ。 Next, the system control unit 113 determines whether or not the subject recognition function is set to the ON state (step S58). If the subject recognition function is set to the OFF state (NO in step S58), the process returns to step S52 and waits for a synchronization signal indicating the start of the next field.
被写体認識機能がＯＮ状態に設定されている場合には（ステップＳ５８においてＹＥＳ）、システム制御部１１３は、被写体認識部１１８に被写体１２１を認識する処理を行わせる。被写体認識部１１８の特徴検出部１１０は、被写体１２１の一部を少なくとも含む矩形領域内の画像に基づいて、被写体１２１の特徴を抽出する。そして、被写体１２１の認証や認識が被写体認識部１１８の認識／認証部１１１によって行われる（ステップＳ５９）。 If the subject recognition function is set to the ON state (YES in step S58), the system control unit 113 causes the subject recognition unit 118 to perform processing for recognizing the subject 121. The feature detection unit 110 of the subject recognition unit 118 extracts features of the subject 121 based on an image in a rectangular area including at least a part of the subject 121. Then, authentication and recognition of the subject 121 are performed by the recognition / authentication unit 111 of the subject recognition unit 118 (step S59).
次に、システム制御部１１３は、移動速度検出部１１５に、奥行き方向における被写体１２１の移動速度Ｖを検出させる（ステップＳ６０）。 Next, the system control unit 113 causes the movement speed detection unit 115 to detect the movement speed V of the subject 121 in the depth direction (step S60).
次に、システム制御部１１３は、奥行き方向における被写体１２１の移動速度Ｖを閾値Ｖｔｈと比較する（ステップＳ６１）。 Next, the system control unit 113 compares the moving speed V of the subject 121 in the depth direction with the threshold value Vth (step S61).
奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には（ステップＳ６１においてＹＥＳ）、ステップＳ５２に戻り、次のフィールドの開始を示す同期信号を待つ。 If the moving speed V of the subject 121 in the depth direction is smaller than the threshold value Vth (YES in step S61), the process returns to step S52 and waits for a synchronization signal indicating the start of the next field.
奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には（ステップＳ６１においてＮＯ）、システム制御部１１３は、距離検出部１３１に、奥行き方向における被写体１２１までの距離Ｌを検出させる（ステップＳ６２）。具体的には、システム制御部１１３は、距離検出部１３１に、奥行き方向における撮像素子１０４から被写体１２１までの距離Ｌを検出させる。 When the moving speed V of the subject 121 in the depth direction is equal to or higher than the threshold value Vth (NO in step S61), the system control unit 113 causes the distance detection unit 131 to detect the distance L to the subject 121 in the depth direction ( Step S62). Specifically, the system control unit 113 causes the distance detection unit 131 to detect the distance L from the image sensor 104 to the subject 121 in the depth direction.
次に、システム制御部１１３は、奥行き方向における被写体１２１までの距離Ｌを閾値Ｌｔｈと比較する（ステップＳ６３）。 Next, the system control unit 113 compares the distance L to the subject 121 in the depth direction with a threshold value Lth (step S63).
奥行き方向における被写体１２１までの距離Ｌが閾値Ｌｔｈ以上である場合には（ステップＳ６３においてＮＯ）、システム制御部１１３は、リフォーカス画像における被写界深度が深くなるように、被写界深度のパラメータを設定する（ステップＳ６４）。即ち、奥行き方向における被写体１２１までの距離Ｌが閾値Ｌｔｈ以上である場合には、システム制御部１１３は、リフォーカス画像におけるリフォーカス範囲が大きくなるように、リフォーカス範囲決定パラメータを設定する。 When the distance L to the subject 121 in the depth direction is equal to or greater than the threshold Lth (NO in step S63), the system control unit 113 sets the depth of field so that the depth of field in the refocus image becomes deep. A parameter is set (step S64). That is, when the distance L to the subject 121 in the depth direction is equal to or greater than the threshold value Lth, the system control unit 113 sets the refocus range determination parameter so that the refocus range in the refocus image is increased.
奥行き方向における被写体１２１までの距離Ｌが閾値Ｌｔｈより小さい場合には（ステップＳ６３においてＹＥＳ）、システム制御部１１３は、奥行き方向における被写体１２１の移動量Ｘを移動量検出部１１５に検出させる（ステップＳ６５）。 If the distance L to the subject 121 in the depth direction is smaller than the threshold Lth (YES in step S63), the system control unit 113 causes the movement amount detection unit 115 to detect the movement amount X of the subject 121 in the depth direction (step S63). S65).
図１２は、被写体１２１の移動を概念的に示す図である。実線の枠で囲まれた矩形領域（検出領域）Ａ内に示されている被写体１２１は、移動前における被写体１２１である。破線の枠で囲まれた矩形領域（検出領域）Ｂ内に示されている被写体１２１は、移動後における被写体１２１である。移動量検出部１１５は、奥行き方向における被写体１２１の移動量Ｘを検出する。 FIG. 12 is a diagram conceptually illustrating the movement of the subject 121. A subject 121 shown in a rectangular area (detection area) A surrounded by a solid frame is the subject 121 before moving. A subject 121 shown in a rectangular region (detection region) B surrounded by a broken-line frame is the subject 121 after movement. The movement amount detection unit 115 detects the movement amount X of the subject 121 in the depth direction.
奥行き方向における被写体１２１の移動量Ｘが閾値Ｘｔｈ以下である場合には（ステップＳ６６においてＮＯ）、システム制御部１１３は、リフォーカス画像における被写界深度が深くなるように、被写界深度のパラメータを設定する（ステップＳ６４）。即ち、奥行き方向における被写体１２１の移動量Ｘが閾値Ｘｔｈ以下（閾値以下）である場合には、システム制御部１１３は、リフォーカス画像におけるリフォーカス範囲が大きくなるように、リフォーカス範囲決定パラメータを設定する。 When the movement amount X of the subject 121 in the depth direction is equal to or less than the threshold value Xth (NO in step S66), the system control unit 113 sets the depth of field so that the depth of field in the refocus image becomes deep. A parameter is set (step S64). That is, when the movement amount X of the subject 121 in the depth direction is equal to or less than the threshold value Xth (less than the threshold value), the system control unit 113 sets the refocus range determination parameter so that the refocus range in the refocus image becomes large. Set.
一方、奥行き方向における被写体１２１の移動量Ｘが閾値Ｘｔｈより大きい場合には（ステップＳ６６においてＹＥＳ）、システム制御部１１３は、リフォーカス画像における被写界深度が浅くなるように被写界深度のパラメータを設定する（ステップＳ６７）。即ち、奥行き方向における被写体１２１までの距離Ｌが閾値Ｌｔｈより大きい場合には、システム制御部１１３は、リフォーカス画像におけるリフォーカス範囲が小さくなるように、リフォーカス範囲決定パラメータを設定する。 On the other hand, when the movement amount X of the subject 121 in the depth direction is larger than the threshold value Xth (YES in step S66), the system control unit 113 sets the depth of field so that the depth of field in the refocus image becomes shallow. A parameter is set (step S67). That is, when the distance L to the subject 121 in the depth direction is larger than the threshold value Lth, the system control unit 113 sets the refocus range determination parameter so that the refocus range in the refocus image becomes small.
更に、システム制御部１１３は、ピントの位置が被写体１２１の移動に対して緩やかに追従するように、再生時にＬＰＦ（ローパスフィルタ）処理を行うことを示す情報をメタデータに含ませる（ステップＳ６８）。 Further, the system control unit 113 includes in the metadata information indicating that LPF (low-pass filter) processing is performed during reproduction so that the focus position gently follows the movement of the subject 121 (step S68). .
このように、本実施形態では、奥行き方向における被写体１２１の移動量Ｘに基づいて、リフォーカス画像における被写界深度（リフォーカス範囲）が設定される。システム制御部１１３は、ライトフィールドデータと、リフォーカス範囲決定パラメータ等を含むメタデータとをメモリ１０８に書き込む。より具体的には、システム制御部１１３は、ライトフィールドデータと、リフォーカス範囲決定パラメータ等を含むメタデータとを、互いに関連付けてメモリ１０８に書き込む（ステップＳ６９）。 Thus, in this embodiment, the depth of field (refocus range) in the refocus image is set based on the movement amount X of the subject 121 in the depth direction. The system control unit 113 writes the light field data and metadata including the refocus range determination parameter and the like in the memory 108. More specifically, the system control unit 113 writes the light field data and the metadata including the refocus range determination parameter in the memory 108 in association with each other (step S69).
次に、システム制御部１１３は、メモリ１０８に書き込まれたライトフィールドデータ及びメタデータを、メモリ１０８から読み出す（ステップＳ７０）。 Next, the system control unit 113 reads the light field data and metadata written in the memory 108 from the memory 108 (step S70).
次に、システム制御部１１３は、記録部１２６に記録を行わせる。記録部１２６は、メモリ１０８から読み出されたライトフィールドデータ及びメタデータを、図示しない記録媒体に記録する（ステップＳ７１）。 Next, the system control unit 113 causes the recording unit 126 to perform recording. The recording unit 126 records the light field data and metadata read from the memory 108 on a recording medium (not shown) (step S71).
次に、システム制御部１１３は、撮影された画像の表示を表示制御部１１２に行わせる（ステップＳ７２）。表示制御部１１２は、撮影された画像を、例えば表示部１２７を用いて表示する。なお、この段階において表示される画像は、リフォーカス画像ではなく、リフォーカスが行われていない画像である。なお、ステップＳ７２を行った後は、ステップＳ５２に戻り、上記のような処理が繰り返される。 Next, the system control unit 113 causes the display control unit 112 to display the captured image (step S72). The display control unit 112 displays the captured image using the display unit 127, for example. Note that the image displayed at this stage is not a refocus image but an image that has not been refocused. In addition, after performing step S72, it returns to step S52 and the above processes are repeated.
こうして、本実施形態による画像処理装置を用いて撮影が行われる。 Thus, photographing is performed using the image processing apparatus according to the present embodiment.
なお、本実施形態による画像処理装置における再生時の動作は、図６を用いて上述した第１実施形態による画像処理装置における再生時の動作と同様であるため、説明を省略する。 Note that the operation at the time of reproduction in the image processing device according to the present embodiment is the same as the operation at the time of reproduction in the image processing device according to the first embodiment described above with reference to FIG.
このように、本実施形態では、奥行き方向における被写体１２１までの距離Ｌが比較的小さく、且つ、奥行き方向における被写体１２１の移動量Ｘが比較的小さい場合には、被写界深度（リフォーカス範囲）が比較的深く設定される。また、本実施形態では、奥行き方向における被写体１２１までの距離Ｌが比較的小さく、且つ、奥行き方向における被写体１２１の移動量Ｘが比較的大きい場合には、被写界深度（リフォーカス範囲）が比較的浅く設定される。しかも、この場合には、ローパスフィルタ処理を行うことにより、被写体１２１の移動に対して緩やかにフォーカスを追従させる。また、本実施形態では、奥行き方向における被写体１２１までの距離Ｌが大きい場合には、被写界深度（リフォーカス範囲）を比較的深く設定する。従って、本実施形態によっても、閲覧者に違和感を生じさせることなく、リフォーカスした動画像を表示することができる。 Thus, in the present embodiment, when the distance L to the subject 121 in the depth direction is relatively small and the movement amount X of the subject 121 in the depth direction is relatively small, the depth of field (refocus range) ) Is set relatively deep. In the present embodiment, when the distance L to the subject 121 in the depth direction is relatively small and the movement amount X of the subject 121 in the depth direction is relatively large, the depth of field (refocus range) is large. Set relatively shallow. In addition, in this case, the focus is gently followed with respect to the movement of the subject 121 by performing a low-pass filter process. In this embodiment, when the distance L to the subject 121 in the depth direction is large, the depth of field (refocus range) is set to be relatively deep. Therefore, according to the present embodiment, it is possible to display the refocused moving image without causing the viewer to feel uncomfortable.
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
［変形実施形態］
上記実施形態に限らず種々の変形が可能である。
例えば、上記実施形態では、画像処理装置が撮像機能を有している場合、即ち、画像処理装置が撮像装置である場合を例に説明したが、画像処理装置は撮像装置に限定されるものではない。例えば、画像処理装置が、撮像機能を有さず、表示機能を有する画像処理装置、例えばフォトビューワー等であってもよい。また、画像処理装置が、撮像機能も表示機能も有さない処理装置であってもよい。画像処理装置が表示機能を有さない場合には、例えば、画像処理装置と別個に表示装置を設ければよい。
[Modified Embodiment]
The present invention is not limited to the above embodiment, and various modifications are possible.
For example, in the above embodiment, the case where the image processing apparatus has an imaging function, that is, the case where the image processing apparatus is an imaging apparatus has been described as an example. However, the image processing apparatus is not limited to the imaging apparatus. Absent. For example, the image processing apparatus may be an image processing apparatus that does not have an imaging function but has a display function, such as a photo viewer. Further, the image processing apparatus may be a processing apparatus having neither an imaging function nor a display function. If the image processing device does not have a display function, for example, a display device may be provided separately from the image processing device.
また、第２実施形態では、リフォーカス画像における被写界深度（リフォーカス範囲決定パラメータ）を撮影時において決定する場合を例に説明したが、これに限定されるものではない。例えば、第１実施形態の変形例のように、撮像時においては、リフォーカス画像における被写界深度を決定せず、再生時において、リフォーカス画像における被写界深度を決定するようにしてもよい。 In the second embodiment, the case where the depth of field (refocus range determination parameter) in the refocus image is determined at the time of shooting has been described as an example. However, the present invention is not limited to this. For example, as in the modification of the first embodiment, the depth of field in the refocus image is not determined at the time of imaging, and the depth of field in the refocus image is determined at the time of reproduction. Good.
また、上記実施形態では、図２に示すような撮影光学系１２９を用いてライトフィールドデータを取得する場合を例に説明したが、ライトフィールドデータを取得する手段はこれに限定されるものではない。様々な手段によって取得されたライトフィールドデータに対して、本発明を適用することが可能である。例えば特開２０１１−２２７９６号公報に示すように、視点の異なる複数のカメラ（カメラアレイ）を用いてライトフィールドデータを取得するようにしてもよい。即ち、ライトフィールドデータを取得するための撮影光学系（撮像手段）は、視点の異なる複数のカメラ（カメラアレイ）であってもよい。 In the above embodiment, the case where the light field data is acquired using the photographing optical system 129 as shown in FIG. 2 has been described as an example. However, the means for acquiring the light field data is not limited to this. . The present invention can be applied to light field data acquired by various means. For example, as shown in Japanese Patent Application Laid-Open No. 2011-22796, light field data may be acquired using a plurality of cameras (camera arrays) having different viewpoints. That is, the photographing optical system (imaging means) for acquiring the light field data may be a plurality of cameras (camera arrays) having different viewpoints.
また、上記実施形態では、レンズ光学系１１７の結像面（像平面）の近傍にマイクロレンズアレイ１０３を配する場合を例に説明したが（図２参照）、これに限定されるものではない。例えば、特開２０１３−２５２４６号公報の段落００４９及び図７（ｂ）に示すように、レンズ光学系からの光束をマイクロレンズアレイによって結像させ、その結像面に撮像素子を位置させるようにしてもよい。この場合には、被写体平面（物体平面）と撮像素子とが、光学的共役関係を構成する。また、特開２０１３−２５２４６号公報の段落００５０及び図７（ｃ）に示すように、レンズ光学系からの光束をマイクロレンズアレイによって再結像させ、その結像面に撮像素子が位置するようにしてもよい。なお、一度結像した光束が拡散する状態にあるものを結像させるため、再結像と称している。この場合にも、被写体平面と撮像素子とが、光学的共役関係を構成する。 In the above-described embodiment, the case where the microlens array 103 is disposed in the vicinity of the imaging surface (image plane) of the lens optical system 117 has been described as an example (see FIG. 2), but the present invention is not limited to this. . For example, as shown in paragraph 0049 of Japanese Patent Application Laid-Open No. 2013-25246 and FIG. 7B, a light beam from a lens optical system is imaged by a microlens array, and an image sensor is positioned on the imaging surface. May be. In this case, the subject plane (object plane) and the image sensor form an optical conjugate relationship. Further, as shown in paragraph 0050 of Japanese Patent Laid-Open No. 2013-25246 and FIG. 7C, the light beam from the lens optical system is re-imaged by the microlens array so that the imaging element is positioned on the imaging surface. It may be. Note that this is called re-imaging in order to form an image in a state where the light beam once imaged is diffused. Also in this case, the subject plane and the image sensor form an optical conjugate relationship.
また、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系１２９の光路中に挿入するようにしてもよい。 Further, a mask (gain modulation element) with an appropriate pattern may be inserted into the optical path of the photographing optical system 129.
１０１…ズームレンズ
１０２…フォーカスレンズ
１０３…マイクロレンズアレイ
１０４…撮像素子
１０５…ＤＦＥ
１０６…信号処理部
１０７…被写体検出部
１０８…メモリ
１０９…メモリコントローラ
１１０…特徴検出部
１１１…認識／認証部
１２６…記録部
１２７、１２８…表示部
１１３…システム制御部
１１４…撮像素子制御部
１１５…移動速度検出部
１１６…移動量検出部
１３１…距離検出部
101 ... Zoom lens 102 ... Focus lens 103 ... Micro lens array 104 ... Image sensor 105 ... DFE
106 ... Signal processing unit 107 ... Subject detection unit 108 ... Memory 109 ... Memory controller 110 ... Feature detection unit 111 ... Recognition / authentication unit 126 ... Recording unit 127, 128 ... Display unit 113 ... System control unit 114 ... Image sensor control unit 115 ... Moving speed detector 116 ... Moving amount detector 131 ... Distance detector
Claims (10)
奥行き方向における被写体の移動速度又は移動量に基づいて、前記リフォーカス画像における被写界深度を設定する処理部を有する
ことを特徴とする画像処理装置。 An image processing device that generates a refocus image based on a light field image including a plurality of images having parallax,
An image processing apparatus comprising: a processing unit that sets a depth of field in the refocused image based on a moving speed or moving amount of a subject in a depth direction.
ことを特徴とする請求項１記載の画像処理装置。 The depth of field in the refocus image that is set when the moving speed of the subject in the depth direction is equal to or greater than a first threshold is the moving speed of the subject in the depth direction. The image processing apparatus according to claim 1, wherein the image processing apparatus is deeper than the depth of field in the refocused image that is set when it is smaller than a threshold value.
ことを特徴とする請求項１記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the processing unit sets the depth of field in the refocused image further based on a distance to the subject in the depth direction.
ことを特徴とする請求項３記載の画像処理装置。 The subject in the refocus image that is set when the distance to the subject in the depth direction is smaller than a second threshold and the amount of movement of the subject in the depth direction is less than or equal to a third threshold. The depth of field is set when the movement amount of the subject in the depth direction is smaller than the second threshold value and the movement amount of the subject in the depth direction is larger than the third threshold value. The image processing apparatus according to claim 3, wherein the image processing apparatus is deeper than the depth of field in the focus image.
ことを特徴とする請求項１記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the processing unit records metadata indicating the depth of field to be set when generating the refocused image in association with the light field image. .
ことを特徴とする請求項１記載の画像処理装置。 The processing unit is metadata indicating the depth of field to be set when generating the refocus image, and the refocus image is based on the metadata recorded in association with the light field image. The image processing apparatus according to claim 1, wherein the depth of field is set.
前記処理部は、前記操作者により指示された前記被写体の前記奥行き方向における前記移動速度又は前記移動量に基づいて、前記リフォーカス画像における前記被写界深度を設定する
ことを特徴とする請求項１記載の画像処理装置。 An instruction input unit for an operator to indicate the subject;
The processing unit sets the depth of field in the refocus image based on the moving speed or the moving amount of the subject in the depth direction instructed by the operator. The image processing apparatus according to 1.
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。 The light field image includes a focus lens, an imaging unit in which a plurality of pixels are two-dimensionally arranged, and a microlens array including a plurality of microlenses arranged between the focus lens and the imaging unit. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image acquired by an optical system.
奥行き方向における被写体の移動速度又は移動量を求めるステップと、
前記奥行き方向における前記被写体の前記移動速度又は前記移動量に基づいて、前記リフォーカス画像における被写界深度を設定するステップと
を有することを特徴とする画像処理方法。 An image processing method for generating a refocus image based on a light field image including a plurality of images having parallax,
Determining the moving speed or moving amount of the subject in the depth direction;
And setting a depth of field in the refocused image based on the moving speed or the moving amount of the subject in the depth direction.
奥行き方向における被写体の移動速度又は移動量に基づいて、前記リフォーカス画像における被写界深度を設定する
ことを特徴とするコンピュータプログラム。 A computer program for generating a refocus image based on a light field image including a plurality of images having parallax,
A computer program that sets a depth of field in the refocused image based on a moving speed or moving amount of a subject in a depth direction.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014219517A JP6434778B2 (en) | 2014-10-28 | 2014-10-28 | Image processing apparatus, image processing method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014219517A JP6434778B2 (en) | 2014-10-28 | 2014-10-28 | Image processing apparatus, image processing method, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016086362A true JP2016086362A (en) | 2016-05-19 |
| JP6434778B2 JP6434778B2 (en) | 2018-12-05 |
Family
ID=55973374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014219517A Active JP6434778B2 (en) | 2014-10-28 | 2014-10-28 | Image processing apparatus, image processing method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6434778B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008276214A (en) * | 2007-04-04 | 2008-11-13 | Nikon Corp | Digital camera |
| JP2010062987A (en) * | 2008-09-05 | 2010-03-18 | Fujifilm Corp | Imaging apparatus and method |
| JP2011022796A (en) * | 2009-07-15 | 2011-02-03 | Canon Inc | Image processing method and image processor |
| JP2011211291A (en) * | 2010-03-29 | 2011-10-20 | Sanyo Electric Co Ltd | Image processing apparatus, imaging apparatus and display device |
| JP2012249125A (en) * | 2011-05-30 | 2012-12-13 | Canon Inc | Image processing apparatus, image processing method and program |
| JP2014057294A (en) * | 2012-08-13 | 2014-03-27 | Canon Inc | Image processing apparatus, control method of the same, and program |
| JP2014179870A (en) * | 2013-03-15 | 2014-09-25 | Canon Inc | Image reproducing apparatus, image reproducing method, and imaging apparatus |
-
2014
- 2014-10-28 JP JP2014219517A patent/JP6434778B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008276214A (en) * | 2007-04-04 | 2008-11-13 | Nikon Corp | Digital camera |
| JP2010062987A (en) * | 2008-09-05 | 2010-03-18 | Fujifilm Corp | Imaging apparatus and method |
| JP2011022796A (en) * | 2009-07-15 | 2011-02-03 | Canon Inc | Image processing method and image processor |
| JP2011211291A (en) * | 2010-03-29 | 2011-10-20 | Sanyo Electric Co Ltd | Image processing apparatus, imaging apparatus and display device |
| JP2012249125A (en) * | 2011-05-30 | 2012-12-13 | Canon Inc | Image processing apparatus, image processing method and program |
| JP2014057294A (en) * | 2012-08-13 | 2014-03-27 | Canon Inc | Image processing apparatus, control method of the same, and program |
| JP2014179870A (en) * | 2013-03-15 | 2014-09-25 | Canon Inc | Image reproducing apparatus, image reproducing method, and imaging apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6434778B2 (en) | 2018-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5898501B2 (en) | Image processing apparatus, imaging apparatus, control method, program, and recording medium | |
| US9451148B2 (en) | Image recording apparatus and image reproducing apparatus | |
| US10855903B2 (en) | Image processing apparatus, image capturing apparatus, control method and recording medium | |
| RU2565855C1 (en) | Image capturing device, method of controlling said device and programme | |
| JP2013145314A5 (en) | ||
| JP6095266B2 (en) | Image processing apparatus and control method thereof | |
| JP2014007580A (en) | Imaging apparatus, method of controlling the same and program therefor | |
| CN103782234B (en) | Stereoscopic image capture equipment and method | |
| US10681260B2 (en) | Focus detection device and focus detection method | |
| JP2018017876A (en) | Imaging apparatus and control method of the same, and image processing apparatus and method | |
| JP6434778B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP6774279B2 (en) | Imaging device and its control method, information processing device, and information processing method | |
| JP2019144502A (en) | Focus detection device and focus detection method | |
| JP6491442B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP2014147062A (en) | Image pickup device, and control method and program therefor | |
| JP7198055B2 (en) | Image processing device, its control method, and program | |
| JP6336284B2 (en) | Image processing apparatus, control method thereof, and program | |
| JP6223502B2 (en) | Image processing apparatus, image processing method, program, and storage medium storing the same | |
| JP2018005008A (en) | Camera body and interchangeable lens | |
| JP6757245B2 (en) | Video playback device, imaging device, video playback method and program | |
| JP6478536B2 (en) | Image processing apparatus and imaging apparatus, and control method and program thereof | |
| JP6202982B2 (en) | Image processing apparatus, control method thereof, and control program | |
| US20150365599A1 (en) | Information processing apparatus, image capturing apparatus, and control method | |
| JP6387149B2 (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| JP6272099B2 (en) | Image processing apparatus, control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171018 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20171214 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180925 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181109 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6434778 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |