JP6478587B2 - Image processing apparatus, image processing method and program, and imaging apparatus - Google Patents
Image processing apparatus, image processing method and program, and imaging apparatus Download PDFInfo
- Publication number
- JP6478587B2 JP6478587B2 JP2014238956A JP2014238956A JP6478587B2 JP 6478587 B2 JP6478587 B2 JP 6478587B2 JP 2014238956 A JP2014238956 A JP 2014238956A JP 2014238956 A JP2014238956 A JP 2014238956A JP 6478587 B2 JP6478587 B2 JP 6478587B2
- Authority
- JP
- Japan
- Prior art keywords
- focal plane
- frame
- reference frame
- moving image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、撮影データの再構成によって任意の焦点面の画像を生成可能な画像処理装置に関し、特に再構成された画像を利用してフレームレート変換などの処理を行う画像処理装置に関する。 The present invention relates to an image processing apparatus that can generate an image of an arbitrary focal plane by reconstructing shooting data, and more particularly to an image processing apparatus that performs processing such as frame rate conversion using the reconstructed image.
例えば特許文献1には、デジタルカメラなどで撮影された動画像のフレームレートを変換する技術が開示されている。この文献に係る技術では、時間的に隣接するフレーム画像から補間フレーム画像を生成し、元の動画像に補間フレーム画像を追加することでフレームレートを変換している。これによりフレームレート変換後の動画像において、滑らかな表示を可能としている。
For example,
一方、結像光学系の射出瞳の異なる領域を通過した光束を撮像素子によって取得し、得られた信号を合成することにより、1回の撮影で任意の焦点面における像の画像データを生成する技術が開示されている(特許文献2)。このような機能を持つカメラは一般にライトフィールドカメラとして知られている。 On the other hand, light beams that have passed through different regions of the exit pupil of the imaging optical system are acquired by an imaging device, and the obtained signals are combined to generate image data of an image at an arbitrary focal plane in one shooting. A technique is disclosed (Patent Document 2). A camera having such a function is generally known as a light field camera.
上記特許文献1では、フレーム間における被写体の動きを補間することにより、焦点面の変化に対しても補間はなされるが、焦点面の補間として適切であるとは限らない。加算平均で補間フレームを生成した場合、焦点面の変化も滑らかになったように見えるが、実際には複数の焦点面が存在することになる。
In the above-mentioned
また、特許文献2では1回の撮影データから任意の焦点面の画像を生成できるが、動画像における時系列の焦点面変化の補間に関する言及はない。 Further, in Patent Document 2, an image of an arbitrary focal plane can be generated from a single shooting data, but there is no mention regarding interpolation of time-series focal plane changes in moving images.
本発明は上記の問題点に鑑み、動画像における補間フレームの追加おいて、追加後の動画像の焦点面の変化を滑らかにすることを可能にする画像処理装置の提供を目的とする。 In view of the above problems, an object of the present invention is to provide an image processing apparatus that makes it possible to smoothly change a focal plane of a moving image after the addition of an interpolation frame in the moving image.
画像処理装置は、光線の経路情報と光量情報とを含むライトフィールドデータの複数のフレームから成る動画データの一つのフレームを基準フレームとし、基準フレームのライトフィールドデータから少なくとも1つの仮想焦点面におけるリフォーカス画像を生成するリフォーカス手段と、リフォーカス画像を、動画データの補間フレームとして、基準フレームと時系列で隣り合う位置に内挿する補間手段と、基準フレームを含む複数のフレームの焦点面の変化に基づいて、リフォーカス画像の仮想焦点面を決定する仮想焦点面決定手段とを備える。 The image processing apparatus uses, as a reference frame, one frame of moving image data composed of a plurality of frames of light field data including light path information and light amount information, and reconstructs at least one virtual focal plane from the light field data of the reference frame. Refocusing means for generating a focus image; interpolation means for interpolating the refocused image as an interpolation frame of moving image data at a position adjacent to the reference frame in time series; and focal planes of a plurality of frames including the reference frame Virtual focal plane determining means for determining a virtual focal plane of the refocused image based on the change.
本発明によれば、動画像における補間フレームの追加において、補間フレームの追加後の動画像の焦点面の変化を滑らかにすることを可能にする画像処理装置を提供できる。 ADVANTAGE OF THE INVENTION According to this invention, in the addition of the interpolation frame in a moving image, the image processing apparatus which makes it possible to smooth the change of the focal plane of the moving image after the addition of an interpolation frame can be provided.
以下、図面を参照しながら本発明の好適な実施の形態を詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
図1から図6を参照して、本発明の第1の実施例に係る画像処理装置を説明する。本発明は、動画データから生成されたフレーム画像で当該動画データのフレームを補間することを含む所定の処理にライトフィールドデータから得られる仮想焦点面における再構成画像(リフォーカス画像)を利用する発明である。第1の実施例は、所定の処理の例としてフレームレート変換処理を用い、ライトフィールドカメラである撮像装置で撮影された動画データ(ライトフィールドデータ)から生成された再構成画像を補間フレームとして用いる。これにより、フレームレート変換後の動画像の焦点面の変化を滑らかにすることが可能となる。 An image processing apparatus according to the first embodiment of the present invention will be described with reference to FIGS. The present invention uses a reconstructed image (refocused image) in a virtual focal plane obtained from light field data for a predetermined process including interpolation of a frame of the moving image data with a frame image generated from the moving image data. It is. In the first embodiment, frame rate conversion processing is used as an example of predetermined processing, and a reconstructed image generated from moving image data (light field data) captured by an imaging device that is a light field camera is used as an interpolation frame. . This makes it possible to smooth the change in the focal plane of the moving image after the frame rate conversion.
図1は、本実施例に係わる画像処理装置100の構成を示すブロック図である。同図において、画像処理装置100は、設定部101、入力部102、フレームレート変換部103、および出力部107を備える。
FIG. 1 is a block diagram illustrating a configuration of an
設定部101は、各種スイッチやグラフィカルユーザインターフェースなどの操作手段であり、変換後のフレームレートの設定を受け付ける。設定部101で設定されたフレームレートは仮想焦点面決定部104に出力される。入力部102は、指定された動画データ(ライトフィールドデータ)を読み込み、フレームレート変換部103の各部に出力する。
The
フレームレート変換部103は、仮想焦点面決定部104、リフォーカス画像生成部105、および変換データ生成部106で構成され、動画撮影により記録された動画データを低フレームレートから高フレームレートに変換する。仮想焦点面決定部104は、入力動画データに付与された焦点面情報および設定されているフレームレートに基づいて、フレームレート変換で内挿される補間フレームの仮想焦点面を決定し、リフォーカス画像生成部105に出力する。
The frame
リフォーカス画像生成部105は、入力動画データおよび仮想焦点面決定部104で決定された仮想焦点面に基づき、シフト加算演算によって仮想焦点面におけるリフォーカス画像を生成する。リフォーカス画像生成部105で生成されたリフォーカス画像は、変換データ生成部106に出力される。
Based on the input moving image data and the virtual focal plane determined by the virtual focal plane determination unit 104, the refocus
ここで、図2から図4を用いて、ライトフィールドカメラにおける撮像素子の構成とリフォーカスの原理について説明する。 Here, the configuration of the image sensor in the light field camera and the principle of refocus will be described with reference to FIGS.
図2(a)はライトフィールドカメラにおける撮像素子の一部の領域を拡大した図であり、マイクロレンズアレイと画素の対応関係を示す図である。図中の円201はマイクロレンズを示している。前記マイクロレンズ201に対応する矩形領域は画素である。撮像素子は、図2(a)に示すマイクロレンズ201と画素との2次元配列を有する。
FIG. 2A is an enlarged view of a part of the image sensor in the light field camera, and is a diagram illustrating a correspondence relationship between the microlens array and the pixels. A
次に画素の構成について説明する。図2(b)は撮像素子上の1画素を上面から観察した図である。図2(c)は図2(b)に示す線分P−P´における画素の断面図である。なお図2において同一の部分については同一の番号を付して示す。 Next, the configuration of the pixel will be described. FIG. 2B is a diagram in which one pixel on the image sensor is observed from above. FIG. 2C is a cross-sectional view of the pixel along the line P-P ′ shown in FIG. In FIG. 2, the same parts are denoted by the same reference numerals.
マイクロレンズ201は、撮像光学系から出力された光束を集光する。マイクロレンズ201は撮像光学系の結像面近傍に配置されている。202〜205は光電変換部である。以後、これらの光電変換部を分割画素と呼称する。図3に示すように、分割画素202および分割画素203は、図3に示す撮像光学系の射出瞳301上の特定の領域302および303を通過した光束をそれぞれ受光する。
The
図4は、上記ライトフィールドカメラで取得されたライトフィールドデータに対するリフォーカス処理の動作を説明する図である。図4(a)は撮像素子の有る領域における入射光と焦点面の関係を示している。図3で説明した射出瞳領域302および303を通過した光束はマイクロレンズにより瞳分割され、分割画素で受光される。分割画素401、403、405,407、409では射出瞳領域302を通過した光束を、分割画素402、404、406、408、410では射出瞳領域303を通過した光束をそれぞれ受光する。
FIG. 4 is a diagram for explaining the operation of the refocus processing for the light field data acquired by the light field camera. FIG. 4A shows a relationship between incident light and a focal plane in a region where an image sensor is present. The light flux that has passed through the
図4(b)はそれぞれの分割画素が受光する光束を模式的に示した図である。同一レンズ下の分割画素401および402、403および404、405および406、407および408、409および410をそれぞれ加算することによって同一の種類の線で表わされる光束が結像した画像を得ることができる。
FIG. 4B is a diagram schematically showing a light beam received by each divided pixel. By adding the divided
図4(d)は受光した信号群をシフトして加算する例を示している。それぞれの分割画素は図4(a)で示した光線の経路情報と光量情報を有しているため、シフト加算によって得られる信号は、異なる種類の線で表わされる光束が結像した信号が得られる。これは図4(c)に示すような仮想焦点面411で取得できる信号と近似して扱うことができる。 FIG. 4D shows an example in which received signal groups are shifted and added. Since each divided pixel has the light path information and light quantity information shown in FIG. 4A, the signal obtained by the shift addition is obtained by imaging a light beam represented by a different kind of line. It is done. This can be handled by approximating a signal that can be acquired by the virtual focal plane 411 as shown in FIG.
図4(f)は逆方向にシフトして加算を行った例であり、図4(e)に示すような仮想焦点面412で得られる信号と近似した信号として扱うことができる。
FIG. 4F is an example in which addition is performed by shifting in the reverse direction, and can be handled as a signal approximate to the signal obtained on the virtual
同様にして縦方向に対してもシフト加算し、全ての画素に対して処理を行うことで、任意の位置に焦点面を変化させたリフォーカス画像を得ることができる。 Similarly, by performing shift addition in the vertical direction and performing processing for all the pixels, a refocus image in which the focal plane is changed to an arbitrary position can be obtained.
このようにシフト加算を用いることで任意の被写体領域にピントの合ったリフォーカス画像を生成することができる。 By using shift addition in this way, it is possible to generate a refocus image focused on an arbitrary subject area.
なお、ここではマイクロレンズに対して分割画素が4つである場合の例を用いてリフォーカス処理を説明したが、本発明の範囲はこれに限定されるものではない。分割画素の分割数等の画素構造や光学系の構成に応じた再合成処理を行うことで合成用仮想焦点面に対応したリフォーカス画像を得ることができればよい。詳細は公知の技術であるため、省略する。 Here, the refocus processing has been described using an example in which there are four divided pixels with respect to the microlens, but the scope of the present invention is not limited to this. It is only necessary to obtain a refocus image corresponding to the synthesis virtual focal plane by performing the recombination processing in accordance with the pixel structure such as the number of divided pixels and the configuration of the optical system. Details are well-known techniques, and are therefore omitted.
また、説明の為に簡易なシフト加算演算によるリフォーカス処理の例を示したが、これに限定されるものではなく、別の方法を用いて各仮想焦点面におけるリフォーカス画像を得ても良い。例えば特許文献2のように重み付けを行ったシフト加算による処理を行うようにしても良い。 Further, for the sake of explanation, an example of the refocus processing by a simple shift addition operation has been shown, but the present invention is not limited to this, and a refocus image at each virtual focal plane may be obtained using another method. . For example, as in Patent Document 2, processing by weighted shift addition may be performed.
図1に戻り、変換データ生成部106は、リフォーカス画像生成部105で生成されたリフォーカス画像と入力動画データから、フレームレートを変換したデータを生成する。生成された変換データは出力部107に出力される。なお、フレームレート変換部103の各部の詳細な動作については後述する。
Returning to FIG. 1, the conversion
出力部107は、フレームレート変換部106で生成された変換データに対して、符号化によるデータ圧縮等のコーデック処理を行い、生成された動画データをメモリ等の記憶手段に記録する。
The
以上、実施形態における画像処理装置100の構成について説明した。次に、本実施例におけるフレームレート変換動作を、図5および図6を用いて説明する。
The configuration of the
図5は、動画データを低いフレームレートから高いフレームレートに変換する場合の変換処理動作のフローチャートを示す図である。また、図6は30fpsから120fpsにフレームレート変換する場合の処理を模式的に示した図である。図6(a)は、入力動画データが撮影された時の撮影時間に対する焦点面(ピント位置)の変化例を示している。ここで焦点面とは、レンズの光学系情報とフォーカスレンズ位置から算出される値であり、基本的には主被写体までの距離に相当する。図6(b)は、入力動画データの動画記録フレームレートが30fpsの場合の記録フレームの例を示している。図6(c)は、フレームレート変換部103によって入力動画データを120fpsにフレームレート変換した場合のフレームの例を示している。
FIG. 5 is a diagram showing a flowchart of the conversion processing operation when moving image data is converted from a low frame rate to a high frame rate. FIG. 6 is a diagram schematically showing a process in the case of converting the frame rate from 30 fps to 120 fps. FIG. 6A shows an example of change of the focal plane (focus position) with respect to the shooting time when the input moving image data is shot. Here, the focal plane is a value calculated from the optical system information of the lens and the focus lens position, and basically corresponds to the distance to the main subject. FIG. 6B shows an example of a recording frame when the moving image recording frame rate of the input moving image data is 30 fps. FIG. 6C shows an example of a frame when the frame
次に、図5のフローチャートの各ステップの処理を、図6(a)(b)(c)を参照して説明する。図5のフローチャートに従った処理動作は、画像処理装置100の不図示の制御部のCPUが、当該制御部が有するメモリに格納された制御プログラムを実行することで実現される。
Next, processing of each step in the flowchart of FIG. 5 will be described with reference to FIGS. 6 (a), (b), and (c). The processing operation according to the flowchart of FIG. 5 is realized by a CPU of a control unit (not shown) of the
ステップS501では、仮想焦点面決定部104が設定部101よって入力された変換フレームレートの設定値を読み込む。変換フレームレートの設定がなされると、ステップS502に進む。
In step S501, the virtual focal plane determination unit 104 reads the setting value of the conversion frame rate input by the
ステップS502では、仮想焦点面決定部104が、入力部102で読み込まれた入力データの動画記録フレームレートと、ステップS501で設定された変換フレームレートから内挿する補間フレーム数を決定する。図6(b)および(c)に示すように記録フレームレートが30fpsであり、これを120fpsに変換する場合には、内挿する補間フレーム数は611〜613、615〜617、619〜621というように3フレームとなる。ここで、フレームレート変換前のフレーム607、608、609はそれぞれ、変換後のフレーム610、614、618に対応し、同一のフレームである。ステップS502で仮想焦点面決定部104により内挿される補間フレーム数が決定されると、ステップS503に進む。
In step S502, the virtual focal plane determination unit 104 determines the number of interpolation frames to be interpolated from the moving image recording frame rate of the input data read by the
ステップS503では変換データ生成部106が、出力フレームとして生成するフレームが補間処理を必要としない動画記録フレーム(以下、基準フレームと称する)の順番か、内挿する補間フレームの順番であるか否かを判定する。出力フレームとして内挿する補間フレームを生成する場合はステップS504に進み、動画記録フレームをそのまま出力フレームとする場合にはステップS506に進む。
In step S503, the conversion
ステップS504では、仮想焦点面決定部104が内挿する複数の補間フレームの仮想焦点面を決定する。図6の(a)(b)に示すように動画撮影中にフォーカスレンズが駆動し、焦点面601が変化している場合に対して、その変化の連続性が維持されて変換後の動画において焦点面の変化が滑らかになるように、内挿する補間フレームの仮想焦点面を決定する。内挿する補間フレームの仮想焦点面は、変換前の時系列に隣り合う2つのフレームにおける焦点面を線形補間することで求める。ここでは動画の記録フレーム607と608の間に内挿する補間フレームの仮想焦点面を決定する例を説明する。記録フレーム607,608の焦点面602、603からフレーム間の焦点面変化を線形補間し、ステップS502で決定された補間フレーム数に応じて内挿する補間フレームの仮想焦点面604〜606を決定する。ステップS504で仮想焦点面が決定されると、ステップS505に進む。
In step S504, the virtual focal plane determination unit 104 determines virtual focal planes of a plurality of interpolation frames to be interpolated. As shown in FIGS. 6A and 6B, when the focus lens is driven during moving image shooting and the
ステップS505では、リフォーカス画像生成部105がステップS504で決定した仮想焦点面に基づいてリフォーカス画像の生成を行い、内挿する複数補間フレームを生成する。ここでは入力動画データの動画記録フレーム607を基準フレームとし、これと次のフレーム608との間に内挿する補間フレームを仮想焦点面604〜606に基づいて、基準フレーム607に対してリフォーカス処理を行い、補間フレーム611〜613を生成している。
In step S505, the refocus
次にステップS506では、変換データ生成部106が仮想焦点面に基づいたリフォーカス処理によって生成された補間フレームおよび動画記録フレームからフレームレート変換データを生成し、出力部107に出力する。
In step S506, the conversion
ステップS507では、出力部107がステップS506で生成されたフレームレート変換データに符号化によるデータ圧縮等のコーデック処理を行い、画像処理装置100の不図示の記憶媒体に記録する。ステップS507の変換データの記録処理が終了すると、ステップS508に進む。
In step S507, the
ステップS508では、入力部102に未変換のデータが残っているか否かを判定する。未変換のデータが残っている場合はステップS503に戻り、すべてのデータの変換が完了した場合はフレームレート変換処理を終了する。
In step S508, it is determined whether unconverted data remains in the
以上説明したように、本実施例によれば、フレーム間の焦点面変化を補間して生成したフレームを内挿することで、低フレームレートから高フレームレートへの変換において焦点面の変化が滑らかな動画像を生成することが可能となる。 As described above, according to the present embodiment, the change of the focal plane is smooth in the conversion from the low frame rate to the high frame rate by interpolating the frame generated by interpolating the focal plane change between the frames. It is possible to generate a simple moving image.
本実施例では、内挿する補間フレームの仮想焦点面を決定する際、時系列に隣り合う2つのフレーム間を線形補間する例を説明したが、これに限られるものではなく、別の補間演算を用いてフレーム間の焦点面を補間して求めてもよい。例えば2つ以上のフレームにおける焦点面情報を用いて、ラグランジュ補間による処理を行うようにしてもよい。 In the present embodiment, when the virtual focal plane of the interpolation frame to be interpolated is determined, an example in which linear interpolation is performed between two frames adjacent in time series has been described. However, the present invention is not limited to this, and another interpolation calculation is performed. May be obtained by interpolating the focal plane between frames. For example, processing by Lagrange interpolation may be performed using focal plane information in two or more frames.
また、補間フレームは動画記録フレームを基準とし、それ以降に内挿フレーム数だけ基準フレームをリフォーカス処理して生成したフレームを内挿したが、これに限られるものではない。基準フレームの以前、前後、以降のいずれかに内挿フレーム数だけ基準フレームをリフォーカス処理して得られる補間フレームを内挿してもよい。 Further, the interpolation frame is based on the moving image recording frame, and after that, the frame generated by refocusing the reference frame by the number of interpolation frames is interpolated. However, the present invention is not limited to this. An interpolation frame obtained by refocusing the reference frame by the number of interpolation frames before, before, after, or after the reference frame may be interpolated.
また、本実施例では焦点面の補間に言及して説明をしたが、被写体の動作に対する補間も考慮して内挿する補間フレームを生成してもよい。例えば、隣接する2つの基準フレームの焦点面が一致するように各分割画素をシフトさせた上で加算平均合成し、その後に焦点面を補間するようにリフォーカス処理を行うことで内挿する補間フレームを生成する。このような手順で補間フレームを生成することで、被写体の動きを補間し、複数の焦点面を存在させることなく焦点面の変化も補間することが可能となる。 Further, although the present embodiment has been described with reference to the focal plane interpolation, an interpolation frame to be interpolated may be generated in consideration of the interpolation with respect to the motion of the subject. For example, interpolation is performed by shifting each divided pixel so that the focal planes of two adjacent reference frames coincide with each other and then performing addition-average synthesis, and then performing refocus processing so as to interpolate the focal plane. Generate a frame. By generating the interpolation frame in such a procedure, it is possible to interpolate the movement of the subject and also to interpolate the change of the focal plane without having a plurality of focal planes.
また、内挿する補間フレームを生成する際のリフォーカス処理はフレーム全体に対して行う例を示したが、これに限らず、被写体や背景といった領域ごとに処理してもよい。 In addition, although an example in which the refocus processing when generating an interpolation frame to be interpolated is performed on the entire frame has been shown, the present invention is not limited to this, and processing may be performed for each region such as a subject and a background.
また、変換する動画記録フレーム間において焦点面が変化していなかった場合、もしくは基準フレームをそのまま出力フレームとする場合には、仮想焦点面の決定S504およびリフォーカス画像の生成S505の処理を行わない。これにより処理負荷および消費電力を低減することも可能である。 If the focal plane has not changed between moving image recording frames to be converted, or if the reference frame is used as an output frame as it is, the processing of virtual focal plane determination S504 and refocus image generation S505 is not performed. . As a result, the processing load and power consumption can be reduced.
また、本実施例ではハードウェアによる構成を例にして説明したが、これに限られるものではなく、本発明の特徴とする動作フローをソフトウェアとして実現してもよい。 In the present embodiment, the hardware configuration is described as an example. However, the present invention is not limited to this, and the operation flow that characterizes the present invention may be realized as software.
図7および図8を参照して、本発明の第2の実施例を説明する。本実施例では、第1の実施例で説明した画像処理装置100のフレームレート変換部103を撮像装置に適用した例について説明する。本発明の画像処理装置を撮像装置に適用することで、動画撮影と同時に焦点面の変化が滑らかなフレームレート変換処理が可能となり、記録データの読み込み等の処理が削減され、電力消費の削減も期待される。
A second embodiment of the present invention will be described with reference to FIGS. In this embodiment, an example in which the frame
図7は本実施例に係わる撮像装置700の構成を示すブロック図、図8は本実施例に係わる撮像装置における動画撮影動作のフローチャートを示す図である。なお、第1の実施例で既に説明を行った部分については同一の記号を付し、ここでの詳細な説明を省略する。
FIG. 7 is a block diagram showing a configuration of the
図7において、701はフォーカスレンズを含んで構成される撮像光学系である。撮像光学系701は被写体からの光を受け、複数のレンズ群および絞りを介して撮像素子702に光を導く。撮像光学系701に含まれるフォーカスレンズは不図示のレンズ駆動制御部からの駆動命令またはピントリングの回転動作に基づいて駆動し、ピント位置の調節を可能にする。撮像光学系701を通過した光束は撮像素子702上に被写体の光学像を形成する。
In FIG. 7,
撮像素子702には、第1の実施例で説明したように複数のマイクロレンズが格子状に並べられており、各マイクロレンズ下には複数の分割画素が備えられている。撮像素子702は受光した光束を電気信号に変換し、アナログ信号としてA/D変換部703に出力する。
As described in the first embodiment, the
A/D変換器703は撮像素子702からのアナログ信号をデジタル信号に変換するための変換器である。A/D変換器703は、変換したデジタル信号を画像処理部704に出力する。
An A /
画像処理部704は、後述する焦点検出部705、第1の実施例で説明したフレームレート変換部103を含む画像処理機能を有する回路及びシステム制御部706が実行するプログラム群である。画像処理部704は、システム制御部706からの制御命令に基づいてA/D変換部703によって取得されるデジタル信号群に対して画像処理を行い、記録用および表示用の画像データを生成する。画像処理部704で行われる画像処理は、倍率色収差補正や歪み補正、ノイズリダクション処理やガンマ処理などの現像処理である。
The
焦点検出部705は、A/D変換器703を介して得られたデジタル信号群に基づいて相関演算を行い、レンズ位置調節に用いる評価値を算出する。焦点検出部705により算出された評価値はシステム制御部706を介してレンズ駆動命令へと変換され、撮像光学系701の駆動に用いられる。
The
ここで、焦点検出部705の詳細な動作について説明する。焦点検出部705は始めに、オートフォーカス領域内の瞳分割像を生成する。先の撮像素子702の説明でも述べたが、分割画素はそれぞれ射出瞳上の異なる領域を通過した光束を受光する。従って、マイクロレンズ中央に対して対称の位置関係にある分割画素の出力を集めることで、一対の瞳分割された信号を得ることができる。次に、得られた前記一対の瞳分割像に対して相関演算を行い、信号の差、つまりズレ量を算出する。相関演算は、前記一対の瞳分割像を水平方向にシフトさせながら重なり合う画素毎の差分値の絶対値を積分することで評価値を取得する。次に前記評価値が最も低くなる位置、すなわち瞳分割像の一致度が最も高くなる位置までの像のシフト量を算出する(SAD演算)。このシフト量に基づいて撮像光学系701を駆動して焦点面調節を行う。
Here, the detailed operation of the
なお、ここでは評価値として各画素の差分の絶対値を用いる例について説明したが、差分値の2乗和(SSD演算)、またはそれ以外の方法によって評価値を取得してもよい。 Although an example in which the absolute value of the difference of each pixel is used as the evaluation value has been described here, the evaluation value may be acquired by a sum of squares of the difference value (SSD calculation) or other methods.
図7に戻り、システム制御部706はCPUを含み、不図示のメモリに格納されている制御プログラムに従ってシステム全体の動作制御を行う。また、システム制御部706は画像処理によって得られたデータや、撮像光学系701のレンズ位置情報の取得等の各ブロック間の信号の入出力も行う。
Returning to FIG. 7, the
操作手段707は撮像装置700に備えられた各種スイッチやダイヤルなどの操作部材であり、撮影者は操作部707を用いて撮影パラメータの設定や撮影動作などを制御することが可能である。操作部707による操作入力はシステム制御部706に出力される。
The
表示部708はLCD等のディスプレイであり、システム制御部706から転送される撮影時の画像や記憶部709に記憶された画像データ、および各種設定画面などを表示する。記憶部709はSDカードやCFカードなどの記録媒体であり、システム制御部706を介して転送される画像データの記録や、記録データの読み出しを行う。
A
以上が本実施例に係わる撮像装置700の構成である。次に、本実施例に係わる撮像装置におけるフレームレートの変換動作を、図8を用いて説明する。図8は、撮像装置700において動画の撮影中に撮影記録フレームレートの動画と高フレームレートに変換した動画を同時に生成する場合の撮影動作のフローチャートを示す図である。撮像装置700は、操作部707により動画撮影開始操作が実行されると、システム制御部706が制御プログラムを実行して以下の処理動作を実現する。
The above is the configuration of the
ステップS801では、仮想焦点面決定部104が操作部707によって入力された撮影記録フレームレートおよび変換フレームレートの設定値を、システム制御部706を介して読み込む。撮影記録、変換フレームレートの設定がなされると、ステップS502に進む。
In step S <b> 801, the virtual focal plane determination unit 104 reads the setting values of the recording / recording frame rate and the conversion frame rate input by the
ステップS502では、第1の実施例で説明したように仮想焦点面決定部104が、ステップS801で設定されたフレームレートから内挿する補間フレーム数を決定する。ステップS502で仮想焦点面決定部104により内挿される補間フレーム数が決定されると、ステップS802に進む。 In step S502, as described in the first embodiment, the virtual focal plane determination unit 104 determines the number of interpolation frames to be interpolated from the frame rate set in step S801. When the number of interpolation frames to be interpolated is determined by the virtual focal plane determination unit 104 in step S502, the process proceeds to step S802.
ステップS802では、システム制御部706が操作部707によって動画撮影の停止操作が行われたか否かを判定する。ステップS802で動画撮影の停止操作が行われたと判定した場合は、動画撮影動作を終了する。一方、ステップS802で停止操作が行われなかった場合には、ステップS803に進む。
In step S <b> 802, the
ステップS803では、オートフォーカス、自動露出機能による絞り値、シャッタースピードの決定といった撮影の予備動作を行う。ステップS803で撮影の予備動作が完了すると、ステップS804に進む。 In step S803, a preliminary shooting operation such as determination of an autofocus, an aperture value by an automatic exposure function, and a shutter speed is performed. When the preliminary shooting operation is completed in step S803, the process proceeds to step S804.
ステップS804では、動画撮影フレームレートに応じたシャッタースピードで露光が行われ、撮像素子702から撮影対象領域の信号が出力される。ステップS804で露光動作が完了すると、ステップS805に進む。
In step S804, exposure is performed at a shutter speed corresponding to the moving image shooting frame rate, and a signal of the shooting target area is output from the
ステップS805では、画像処理部704が撮像素子702およびA/D変換器703によって取得された撮影対象領域のデジタル信号に対して現像処理等の画像処理を施し、記録用および表示用の画像データを生成する。ステップS805で画像処理が完了すると、ステップS806に進む。
In step S <b> 805, the
ステップS806では、フレームレート変換部103が第1の実施例で説明したステップS504〜S506の処理により内挿する補間フレームの仮想焦点面の決定、デジタル信号のリフォーカス処理、変換データの生成を行い、フレームレート変換処理を行う。各フレームの焦点面情報は焦点検出部705によって取得される。
In step S806, the frame
焦点検出部705は現在のフォーカスレンズの位置から現フレームの焦点面情報を取得し、算出したシフト量に基づいて次のフレームの焦点面情報を取得することができる。フレームレート変換部103は、焦点検出部705によって取得された現フレームと次のフレームの焦点面情報を用いた線形補間により内挿する補間フレームの仮想焦点面を決定する。
The
ステップS807では、ステップS805で生成された記録用データおよび、S806で生成されたフレームレート変換データが、システム制御部706を介して画像処理装置700の不図示の記憶媒体スロットに挿入されている記憶部709に記録される。また、表示用データはシステム制御部706を介して、表示部708に表示される。
In step S807, the recording data generated in step S805 and the frame rate conversion data generated in S806 are stored in a storage medium slot (not shown) of the
以上説明したように、撮像装置として構成すると、動画撮影と同時にフレームレート変換処理が可能となり、記録データの読み込み等の処理が削減されるため、電力消費の削減もできる。 As described above, when configured as an imaging device, frame rate conversion processing can be performed simultaneously with moving image shooting, and processing such as reading of recorded data is reduced, so that power consumption can also be reduced.
図9を参照して、本発明の第3の実施例に係る画像処理装置について説明する。第1の実施例および第2の実施例では、動画データを低フレームレートから高フレームレートに変換する処理を例にして本発明の焦点面の変化を滑らかにする構成を示した。本実施例では、フレーム補間を含む所定の処理として、動画撮影中に静止画撮影を行う場合に欠落してしまうフレームを補間して動画記録データ、表示データを生成する処理を例にして本発明に係わる焦点面の変化を滑らかにする構成を説明する。なお、本実施例に係わる構成は、第2の実施例に係わる撮像装置あるいは第1の実施例に係わる画像処理装置が適用されていない撮像装置に適用できることは明らかである。 With reference to FIG. 9, an image processing apparatus according to a third embodiment of the present invention will be described. In the first and second embodiments, the process of converting moving image data from a low frame rate to a high frame rate is taken as an example, and the configuration for smoothing the focal plane change of the present invention is shown. In the present embodiment, the predetermined processing including frame interpolation is exemplified by processing for generating moving image recording data and display data by interpolating frames that are lost when still image shooting is performed during moving image shooting. A configuration for smoothing the change of the focal plane related to the above will be described. It is obvious that the configuration according to the present embodiment can be applied to the imaging apparatus according to the second embodiment or the imaging apparatus to which the image processing apparatus according to the first embodiment is not applied.
図9は、動画撮影中に静止画撮影を行った場合に、欠損してしまう動画記録フレームを模式的に示す図である。図9(a)は、ある一定時間において撮影された動画記録フレームを示しており、フレーム905〜908は、図9(b)に示す動画撮影中に行われた静止画の撮影処理913によって欠損してしまうフレームを示している。
FIG. 9 is a diagram schematically showing a moving image recording frame that is lost when still image shooting is performed during moving image shooting. FIG. 9A shows a moving image recording frame shot at a certain time, and frames 905 to 908 are lost by the still
第2の実施例で説明した撮像装置700では、動画撮影処理時において操作手段707に含まれるシャッターボタンが半押し状態になるとオートフォーカス等の予備動作を行い、シャッターボタンが全押し状態になると静止画の撮影処理が行われるようになっている。動画撮影中の静止画撮影ではモードの切り替えが発生するため、静止画撮影動を行っている間は撮影記録フレームレートで動画撮影を継続することができない。したがって、動画記録データおよび表示用データは静止画撮影処理が完了し、再び動画撮影モードに戻るまでの間はフレームが更新されないという問題がある。
In the
前記問題に対して、第1の実施例および第2の実施例で説明したフレームレート変換処理を静止画撮影開始直前のフレームを基準フレームとして適用する。これにより、静止画撮影処理期間において同一のフレームを記録、表示するのではなく、焦点面の変化を滑らかに表現したフレームを記録、表示することが可能となる。なお、補間フレームの数は動画撮影のフレームレートと静止画撮影に要した時間などから決定することが可能である。 For the above problem, the frame rate conversion processing described in the first and second embodiments is applied with the frame immediately before the start of still image shooting as the reference frame. Accordingly, it is possible to record and display a frame that smoothly expresses a change in focal plane, instead of recording and displaying the same frame during the still image shooting processing period. Note that the number of interpolation frames can be determined from the frame rate of moving image shooting and the time required for still image shooting.
以上説明したように、本実施例に従って動画撮影中に静止画撮影を行っている期間の動画記録および表示データに対して本発明を適用すれば、撮影された動画像において焦点面の変化を滑らかに表現することが可能になる。結果として、撮影者に対して違和感の少ない動画表示を提供することができる。 As described above, if the present invention is applied to moving image recording and display data during a period of still image shooting during moving image shooting according to the present embodiment, the focal plane changes smoothly in the captured moving image. It becomes possible to express it. As a result, it is possible to provide a moving image display with less discomfort to the photographer.
[他の実施例]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
[Other embodiments]
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
Claims (12)
前記リフォーカス画像を、前記動画データの補間フレームとして、前記基準フレームと時系列で隣り合う位置に内挿する補間手段と、
前記基準フレームを含む複数のフレームの焦点面の変化に基づいて、前記リフォーカス画像の仮想焦点面を決定する仮想焦点面決定手段と、
を備え、
前記基準フレームを含む複数のフレームの焦点面に変化がなかった場合は、前記仮想焦点面決定手段は前記仮想焦点面の決定を行わず、前記リフォーカス手段は前記リフォーカス画像の生成をしないことを特徴とする画像処理装置。 One frame of moving image data including a plurality of frames of light field data including light path information and light amount information is used as a reference frame, and a refocus image is generated on at least one virtual focal plane from the light field data of the reference frame. Refocusing means,
Interpolating means for interpolating the refocus image as an interpolation frame of the moving image data at a position adjacent to the reference frame in time series;
Virtual focal plane determination means for determining a virtual focal plane of the refocused image based on a change in focal plane of a plurality of frames including the reference frame;
Equipped with a,
When there is no change in the focal planes of a plurality of frames including the reference frame, the virtual focal plane determining unit does not determine the virtual focal plane, and the refocusing unit does not generate the refocus image. An image processing apparatus.
前記リフォーカス手段は、前記所定の処理に従って前記基準フレームから生成する前記リフォーカス画像の数を決定することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。 Processing means for performing predetermined processing on the moving image data, including interpolation of the refocus image by the interpolation means;
Said refocusing means, the image processing apparatus according to any one of claims 1 to 3, wherein the step of determining the number of said refocusing image generated from the reference frame according to the predetermined processing.
前記リフォーカス画像を、前記動画データの補間フレームとして、前記基準フレームと時系列で隣り合う位置に内挿する補間手段と、 Interpolating means for interpolating the refocus image as an interpolation frame of the moving image data at a position adjacent to the reference frame in time series;
前記基準フレームを含む複数のフレームの焦点面の変化に基づいて、前記リフォーカス画像の仮想焦点面を決定する仮想焦点面決定手段と、 Virtual focal plane determination means for determining a virtual focal plane of the refocused image based on a change in focal plane of a plurality of frames including the reference frame;
前記補間手段による前記リフォーカス画像の内挿を含む所定の処理を前記動画データに行う処理手段と、 Processing means for performing predetermined processing on the moving image data including interpolation of the refocus image by the interpolation means;
を備え、With
前記所定の処理は、動画撮影中の静止画撮影のために撮影された動画データから欠落したフレームの補間処理であり、前記基準フレームは、前記動画データにおける前記静止画撮影の直前のフレームであることを特徴とする画像処理装置。 The predetermined process is an interpolation process for a frame missing from moving image data shot for still image shooting during moving image shooting, and the reference frame is a frame immediately before the still image shooting in the moving image data. An image processing apparatus.
前記撮像光学系の特定の射出瞳領域を通過した光線を受光する複数の分割画素を備える画素の2次元配列を有し、前記光線の経路情報と光量情報とを含むライトフィールドデータの複数のフレームから成る動画データを生成する撮像手段と、
前記複数のフレームから成る動画データの一つのフレームを基準フレームとし、前記基準フレームのライトフィールドデータから少なくとも1つの仮想焦点面におけるリフォーカス画像を生成するリフォーカス手段と、
前記リフォーカス画像を、前記動画データの補間フレームとして、前記基準フレームと時系列で隣り合う位置に内挿する補間手段と、
前記基準フレームを含む複数のフレームの焦点面の変化に基づいて、前記リフォーカス画像の仮想焦点面を決定する仮想焦点面決定手段と、
前記補間手段による前記リフォーカス画像の内挿を含む所定の画像処理を前記動画データに行う処理手段と、
を備え、
前記基準フレームを含む複数のフレームの焦点面に変化がなかった場合は、前記仮想焦点面決定手段は前記仮想焦点面の決定を行わず、前記リフォーカス手段は前記リフォーカス画像の生成をしないことを特徴とする撮像装置。 An imaging optical system;
A plurality of frames of light field data having a two-dimensional array of pixels including a plurality of divided pixels that receive a light beam that has passed through a specific exit pupil region of the imaging optical system and including path information and light amount information of the light beam Imaging means for generating moving image data comprising:
Refocus means for generating a refocus image in at least one virtual focal plane from the light field data of the reference frame, with one frame of the moving image data composed of the plurality of frames as a reference frame;
Interpolating means for interpolating the refocus image as an interpolation frame of the moving image data at a position adjacent to the reference frame in time series;
Virtual focal plane determination means for determining a virtual focal plane of the refocused image based on a change in focal plane of a plurality of frames including the reference frame;
Processing means for performing predetermined image processing including interpolation of the refocused image by the interpolation means on the moving image data;
Equipped with a,
When there is no change in the focal planes of a plurality of frames including the reference frame, the virtual focal plane determining unit does not determine the virtual focal plane, and the refocusing unit does not generate the refocus image. An imaging apparatus characterized by the above.
前記リフォーカス画像を、前記動画データの補間フレームとして、前記基準フレームと時系列で隣り合う位置に内挿する補間工程と、
前記基準フレームを含む複数のフレームの焦点面の変化に基づいて、前記リフォーカス画像の仮想焦点面を決定する仮想焦点面決定工程と、
を備え、
前記基準フレームを含む複数のフレームの焦点面に変化がなかった場合は、前記仮想焦点面決定工程は前記仮想焦点面の決定を行わず、前記リフォーカス工程は前記リフォーカス画像の生成をしないことを特徴とする画像処理方法。 One frame of moving image data including a plurality of frames of light field data including light path information and light amount information is used as a reference frame, and a refocus image is generated on at least one virtual focal plane from the light field data of the reference frame. Refocusing process,
An interpolation step of interpolating the refocused image as an interpolation frame of the moving image data at a position adjacent to the reference frame in time series;
A virtual focal plane determination step for determining a virtual focal plane of the refocused image based on a change in focal plane of a plurality of frames including the reference frame;
Equipped with a,
When there is no change in the focal planes of a plurality of frames including the reference frame, the virtual focal plane determination step does not determine the virtual focal plane, and the refocus step does not generate the refocus image. An image processing method characterized by the above.
コンピュータを、
光線の経路情報と光量情報とを含むライトフィールドデータの複数のフレームから成る動画データの一つのフレームを基準フレームとし、前記基準フレームのライトフィールドデータから少なくとも1つの仮想焦点面におけるリフォーカス画像を生成するリフォーカス手段、
前記リフォーカス画像を、前記動画データの補間フレームとして、前記基準フレームと時系列で隣接する位置に内挿する補間手段、
前記基準フレームを含む複数のフレームの焦点面の変化に基づいて、前記リフォーカス画像の仮想焦点面を決定する仮想焦点面決定手段、
として機能させ、
前記基準フレームを含む複数のフレームの焦点面に変化がなかった場合は、前記仮想焦点面決定手段が前記仮想焦点面の決定を行わず、前記リフォーカス手段が前記リフォーカス画像の生成をしないように機能させるプログラム。 A program for controlling an image processing apparatus,
Computer
One frame of moving image data including a plurality of frames of light field data including light path information and light amount information is used as a reference frame, and a refocus image is generated on at least one virtual focal plane from the light field data of the reference frame. Refocusing means,
Interpolating means for interpolating the refocus image as an interpolation frame of the moving image data at a position adjacent to the reference frame in time series,
Virtual focal plane determination means for determining a virtual focal plane of the refocused image based on a change in focal plane of a plurality of frames including the reference frame;
To function as,
When there is no change in the focal planes of a plurality of frames including the reference frame, the virtual focal plane determining unit does not determine the virtual focal plane, and the refocusing unit does not generate the refocused image. program Ru to function in.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014238956A JP6478587B2 (en) | 2014-11-26 | 2014-11-26 | Image processing apparatus, image processing method and program, and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014238956A JP6478587B2 (en) | 2014-11-26 | 2014-11-26 | Image processing apparatus, image processing method and program, and imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016100868A JP2016100868A (en) | 2016-05-30 |
JP6478587B2 true JP6478587B2 (en) | 2019-03-06 |
Family
ID=56078199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014238956A Active JP6478587B2 (en) | 2014-11-26 | 2014-11-26 | Image processing apparatus, image processing method and program, and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6478587B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019012657A1 (en) * | 2017-07-13 | 2019-01-17 | オリンパス株式会社 | Image processing device and light field imaging device |
US20210352241A1 (en) * | 2017-08-30 | 2021-11-11 | Panasonic Intellectual Property Management Co., Ltd. | Recording method and recording apparatus |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5370542B1 (en) * | 2012-06-28 | 2013-12-18 | カシオ計算機株式会社 | Image processing apparatus, imaging apparatus, image processing method, and program |
JP6335434B2 (en) * | 2013-04-19 | 2018-05-30 | キヤノン株式会社 | Imaging apparatus, control method thereof, and program |
-
2014
- 2014-11-26 JP JP2014238956A patent/JP6478587B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016100868A (en) | 2016-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6341736B2 (en) | Imaging apparatus, control method, program, storage medium | |
KR101256961B1 (en) | Image sensing apparatus | |
US9681037B2 (en) | Imaging apparatus and its control method and program | |
US10530994B2 (en) | Image capture apparatus, control method for image capture apparatus and non-transitory recording medium for combining image | |
US20230186501A1 (en) | Depth information generating apparatus, image capturing apparatus, depth information generating method, image processing apparatus, and image processing method | |
JP6851854B2 (en) | Control method of image processing device, imaging device and image processing device | |
JP6360338B2 (en) | Image processing apparatus, image processing method and program, and imaging apparatus | |
US9883096B2 (en) | Focus detection apparatus and control method thereof | |
JP2021027523A5 (en) | ||
JP6478587B2 (en) | Image processing apparatus, image processing method and program, and imaging apparatus | |
JP2015175982A (en) | Image processor, image processing method, and program | |
JP2018017876A (en) | Imaging apparatus and control method of the same, and image processing apparatus and method | |
JP2011242652A (en) | Focus detector and control method thereof | |
JP2019168661A (en) | Controller, imaging unit, method for control, program, and storage medium | |
JP6566800B2 (en) | Imaging apparatus and imaging method | |
JP2016138999A (en) | Focus adjustment device and imaging device using the same and focus adjustment method | |
JP6532411B2 (en) | IMAGE PROCESSING DEVICE, IMAGING DEVICE, AND IMAGE PROCESSING PROGRAM | |
JP2020017851A (en) | Imaging apparatus, control method of imaging apparatus, and program | |
JP2019075640A (en) | Image processing device and image processing method | |
JP2012103285A (en) | Focus detecting device and method for controlling the same | |
JP5157757B2 (en) | Electronic camera | |
JP2018045101A (en) | Focus adjustment unit, focus adjustment method, and program | |
JP2018050147A (en) | Imaging apparatus, imaging method and program | |
JP2017134154A (en) | Focus control device, imaging device, and focus control program | |
US9578235B2 (en) | Image processing apparatus, control method, and recording medium for processing an image signal for which a focus state can be changed after image capture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171025 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20171214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190205 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6478587 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |