JP2013247538A - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP2013247538A JP2013247538A JP2012120420A JP2012120420A JP2013247538A JP 2013247538 A JP2013247538 A JP 2013247538A JP 2012120420 A JP2012120420 A JP 2012120420A JP 2012120420 A JP2012120420 A JP 2012120420A JP 2013247538 A JP2013247538 A JP 2013247538A
- Authority
- JP
- Japan
- Prior art keywords
- image
- speed
- image processing
- weighting
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
Abstract
Description
本技術は、例えば高速度カメラにより撮像（撮影）された画像データ（以下「高速画」と呼ぶ。）に基づいて一倍速画を合成する場合に好適な画像処理装置および画像処理方法に関する。 The present technology relates to an image processing apparatus and an image processing method suitable for synthesizing a 1 × speed image based on image data (hereinafter referred to as “high speed image”) captured (captured) by a high speed camera, for example.
近年、動画像のスローモーション再生を実現するために、通常のカメラのフレームレート（毎秒３０フレーム）をはるかに凌ぐ毎秒数百フレームから数千フレームといった高フレームレートで撮像することのできる高速度カメラが登場してきている。 In recent years, in order to realize slow-motion playback of moving images, a high-speed camera that can capture images at a high frame rate of several hundred to several thousand frames per second, far exceeding the normal camera frame rate (30 frames per second) Has appeared.
また、通常のＨＤ（High Definition）のカメラを用いてサッカー中継などを撮影した際、カメラの撮影範囲を急に動かすと観客席の映像がＳＤ（Standard Definition）のカメラで撮影した時よりも画質が劣化するという問題がある。その問題に対処するために、高速度カメラを用いて撮影し、より自然な映像を撮影する事が考えられている。 Also, when shooting soccer broadcasts using a normal HD (High Definition) camera, moving the camera's shooting range abruptly causes the image of the spectator seat to be higher than when shooting with an SD (Standard Definition) camera. There is a problem of deterioration. In order to cope with this problem, it is considered to shoot with a high-speed camera and shoot a more natural image.
ただし、テレビジョン受像機に表示できる映像は１倍速のものになるので、どのように高速画から一倍速画を合成するかが問題になる。 However, since the video that can be displayed on the television receiver is 1 × speed, the problem is how to synthesize the 1 × speed image from the high speed image.
例えば、特許文献１には、実速モードの動画（一倍速画）を合成するのに、フレームバッファに一時格納した動画データ（高速画）をフレーム間引きして実速モードの動画データを生成することが記述されている。 For example, in Patent Document 1, in order to synthesize an actual speed mode moving image (single speed image), moving image data temporarily stored in a frame buffer (high speed image) is thinned out to generate actual speed mode moving image data. It is described.
しかし、特許文献１に記載の技術では、単に高速画のフレームを間引きするだけであり、実際の一倍速画としたときに、シャッターが入ったパラパラ感のある映像となり、滑らかさのある映像を得ることが難しかった。 However, the technique described in Patent Document 1 simply thins out a frame of a high-speed image, and when it is set to an actual single-speed image, it becomes a crisp image with a shutter and a smooth image. It was difficult to get.
以上のような事情に鑑み、本技術の目的は、高速画から合成される一倍速画の滑らかさを向上させる事ができる画像処理装置および画像処理方法を提供することにある。 In view of the circumstances as described above, an object of the present technology is to provide an image processing apparatus and an image processing method capable of improving the smoothness of a 1 × speed image synthesized from a high speed image.
上記目的を達成するため、本技術の一形態に係る画像処理装置は、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートにより撮影された画像を高速画として取得する取得部と、取得部が取得した前記高速画を構成する各フレームの各画素に、単峰性を有し、かつ値が位相により段階的に変化する重みづけ係数のセットの当該重みづけ係数を乗じる重みづけ乗算部と、前記重みづけ係数が乗じられた前記各フレームを画素ごとにｎフレーム分加算する加算部と、前記ｎフレーム分加算された値を前記重みづけ係数の合計値により除して、前記基準のフレームレートの画像を出力する除算部とを具備する。 In order to achieve the above object, an image processing apparatus according to an aspect of the present technology provides a high-speed image captured at a frame rate that is n (n is an integer of 2 or more) times a predetermined reference frame rate. An acquisition unit that acquires the image, and each pixel of each frame that constitutes the high-speed image acquired by the acquisition unit has a unimodality and a set of weighting coefficients whose values change stepwise according to the phase A weighting multiplication unit that multiplies the weighting factor; an addition unit that adds each frame multiplied by the weighting factor for n frames for each pixel; and a sum of the weighting factors for the value added for the n frames A division unit that outputs an image of the reference frame rate divided by the value.
本技術では、高速画を構成するｎ個のフレームの１番目からｎ番目までのそれぞれのフレームの全ての画素に、その順番のフレームに応じた重みづけ係数を乗じてから、全てのフレームの画素値を合計する。合計した画素値を重みづけ係数の合計値により除して、最終的な一倍速の映像を得る。例えばｎ＝１６の場合を例にとると、単峰性がありかつ値が位相により段階的に変化すればよいので、重みづけ係数として順に、１、２、３、４、５、６、７、８、８、７、６、５、４、３、２、１を乗じたものでもよい。また、順に、１、３、５、７、９、１１、１０、９、８、７、６、５、４、３、２、１を乗じたものでもよい。重みづけ係数に単峰性のピークを持たせ、ピーク近辺のフレームの画像を合成する画像の核となる画像として用いて動解像度感を保つとともに、ピークから遠いフレームの画像も少ない重みづけ係数により足しこむことでぶれ感をだし映像に滑らか感を持たせることができる。すなわち、ある程度の動解像度感を持った映像の滑らかさを向上させることができる。 In the present technology, all the pixels of the first to nth frames of the n frames constituting the high-speed image are multiplied by the weighting coefficient corresponding to the frame in the order, and then the pixels of all the frames. Sum the values. The total pixel value is divided by the sum of the weighting coefficients to obtain a final single-speed video. For example, taking the case of n = 16 as an example, since there is unimodality and the value only needs to change stepwise depending on the phase, 1, 2, 3, 4, 5, 6, 7 in order as weighting factors. , 8, 8, 7, 6, 5, 4, 3, 2, 1 may be used. Moreover, you may multiply 1, 3, 5, 7, 9, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1 in order. The weighting coefficient has a unimodal peak and is used as the core image for synthesizing the image of the frame near the peak to maintain a sense of dynamic resolution, and the image of the frame far from the peak is also reduced by the weighting coefficient. Adding it will add a sense of blur and give the image a smooth feeling. That is, it is possible to improve the smoothness of a video having a certain degree of dynamic resolution.
また、上記目的を達成するため、本技術の一形態に係る画像処理装置は、値の組み合わせが互いに異なる複数のセットが予め記憶されたセット記憶部と、前記取得された前記高速画の動きを検出し、検出された動きをもとに前記セット記憶部に記憶された複数のセットから１つのセットを選択して前記重みづけ乗算部に与える動き検出部とをさらに具備してもよい。 In order to achieve the above object, an image processing apparatus according to an embodiment of the present technology includes a set storage unit in which a plurality of sets having different combinations of values are stored in advance, and the movement of the acquired high-speed image. And a motion detection unit that detects and selects one set from a plurality of sets stored in the set storage unit based on the detected motion and applies the selected set to the weighting multiplication unit.
この構成により、高速画の被写体の動きが低速の場合や高速の場合に、その動きの度合いに応じて、最適な重みづけ係数のセットを選択することができる。 With this configuration, when the movement of the subject of the high-speed image is low speed or high speed, an optimal set of weighting coefficients can be selected according to the degree of the movement.
また、上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記動き検出部は、前記高速画の動きが無いときの均等な重みづけ係数のセットの選択に始まり、前記高速画の動きが高速になるに従い、より突出した峰の単峰性となる重みづけ係数のセットを選択する構成でもよい。 In order to achieve the above object, in the image processing device according to an aspect of the present technology, the motion detection unit starts with selection of a set of uniform weighting coefficients when there is no motion of the high-speed image, and A configuration may be used in which a set of weighting coefficients that are unimodal with more prominent peaks as the movement of the image becomes faster may be used.
この構成により、高速画の被写体の動きが低速の場合から高速の場合まで、その動きの度合いに応じた重みづけ係数のセットを複数用意することができる。 With this configuration, it is possible to prepare a plurality of sets of weighting coefficients corresponding to the degree of movement of a high-speed image subject from low speed to high speed.
また、上記目的を達成するため、本技術の他の形態に係る画像処理装置は、値の組み合わせが互いに異なる複数のセットが予め記憶されたセット記憶部と、前記セット記憶部に記憶された複数のセットの中からユーザに１つのセットを選択させ、選択されたセットを前記重みづけ乗算部に与えるセット設定部とをさらに具備してもよい。 In order to achieve the above object, an image processing apparatus according to another embodiment of the present technology includes a set storage unit in which a plurality of sets having different combinations of values are stored in advance, and a plurality of sets stored in the set storage unit. And a set setting unit that allows the user to select one set from the set and gives the selected set to the weighting multiplication unit.
この構成により、高速画の被写体の動きに応じた重みづけ係数の選択を、ユーザが目視しながら行うことができるので、人間の目で見て最も滑らか感と動解像度感があると感じられる重みづけ係数を、被写体の動きに最適な重みづけ係数として選択する事ができる。 With this configuration, since the user can select the weighting coefficient according to the movement of the subject of the high-speed image while visually observing, the weight that feels most smooth and dynamic resolution with the human eye. The weighting coefficient can be selected as a weighting coefficient optimal for the movement of the subject.
また、上記目的を達成するため、本技術の一形態に係る画像処理方法では、取得部が、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートにより撮影された画像を高速画として取得し、重みづけ乗算部が、取得部が取得した前記高速画を構成する各フレームの各画素に、単峰性を有し、かつ値が位相により段階的に変化する重みづけ係数のセットの当該重みづけ係数を乗じ、加算部が、前記重みづけ係数が乗じられた前記各フレームを画素ごとにｎフレーム分加算し、除算部が、前記ｎフレーム分加算された値を前記重みづけ係数の合計値により除して、前記基準のフレームレートの画像を出力する。 In order to achieve the above object, in the image processing method according to an aspect of the present technology, the acquisition unit has a frame rate that is n (n is an integer of 2 or more) times a predetermined reference frame rate. The captured image is acquired as a high-speed image, and the weighting multiplication unit has unimodality in each pixel of each frame constituting the high-speed image acquired by the acquisition unit, and the value is stepwise according to the phase. The weighting factor of the set of changing weighting factors is multiplied by the weighting factor, and the addition unit adds each frame multiplied by the weighting factor for each n frames, and the division unit adds the n frames. The image with the reference frame rate is output by dividing the obtained value by the total value of the weighting coefficients.
本技術に係る画像処理方法では、上記画像処理装置について説明したように、重みづけ係数に単峰性のピークを持たせ、ピーク近辺のフレームの画像を合成する画像の核となる画像として用いて動解像度感を保つとともに、ピークから遠いフレームの画像も少ない重みづけ係数により足しこむことでぶれ感をだし映像に滑らか感を持たせることができる。すなわち、ある程度の動解像度感を持った映像の滑らかさを向上させることができる。 In the image processing method according to the present technology, as described for the image processing apparatus, the weighting coefficient has a unimodal peak and is used as a core image for synthesizing an image of a frame near the peak. In addition to maintaining a sense of dynamic resolution, adding an image of a frame far from the peak with a small weighting coefficient makes it possible to give a sense of blurring and give the image a smooth feeling. That is, it is possible to improve the smoothness of a video having a certain degree of dynamic resolution.
以上のように、本技術によれば、高速画から合成される一倍速画の滑らかさを向上させる事ができる。 As described above, according to the present technology, the smoothness of a 1 × speed image synthesized from a high speed image can be improved.
以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施の形態＞
［高速画について］
はじめに、高速画について説明する。
Hereinafter, embodiments according to the present technology will be described with reference to the drawings.
<First Embodiment>
[About high-speed images]
First, the high-speed image will be described.
高速画は、高速度カメラにより連続的に撮影された画像データである。典型的なカメラによる撮像は毎秒３０フレーム（３０〔ｆｐｓ（フレーム毎秒）〕）で行われるのに対し、高速度カメラは、例えば毎秒数百フレーム、毎秒数千フレーム、毎秒数万フレームといった高フレームレートでの撮像を行うことのできるカメラである。 A high-speed image is image data continuously captured by a high-speed camera. A typical camera performs imaging at 30 frames per second (30 [fps (frames per second)]), whereas a high speed camera, for example, has a high frame rate of several hundred frames per second, thousands frames per second, and tens of thousands frames per second It is a camera that can perform imaging at a rate.
このような高速度カメラにより撮像された高フレームレートの画像は基準のフレームレート（標準レート）で再生、すなわち一倍速画として再生されることによってスローモーションの動画（スロー画）として再生される。 A high frame rate image captured by such a high-speed camera is reproduced at a reference frame rate (standard rate), that is, reproduced as a single-speed image, thereby being reproduced as a slow-motion moving image (slow image).
一倍速画とは、基準のフレームレート、例えば３０〔ｆｐｓ〕のフレームレートで撮影された映像である。高速画とは、基準のフレームレートのｎ（ｎは２以上の整数）倍のレートで撮影された映像である。 A single-speed image is an image shot at a reference frame rate, for example, a frame rate of 30 [fps]. A high-speed image is an image shot at a rate n (n is an integer of 2 or more) times the reference frame rate.
ｎ倍速の高速画を一倍速で再生すると１／ｎ倍の速度のスローモーション映像が得られる。例えば１６倍速の毎秒４８０フレームで撮像された高速画が毎秒３０フレームのレートで再生されることにより、基準のフレームレートの１／１６の速度でのスローモーション再生が実現される。 When a high-speed image of n times speed is played back at 1 time speed, a slow motion image of 1 / n times speed can be obtained. For example, a high-speed image captured at 480 frames per second at 16 times speed is played back at a rate of 30 frames per second, thereby realizing slow motion playback at 1/16 the reference frame rate.
［映像の滑らかさについて］
まず、映像の滑らかさについて、数学的な滑らか度と動解像度との関係を考える。図１は、数学的な滑らか度と動解像度との関係を表したグラフである。このグラフからわかるように、数学的には、動解像度が高くなるに従って、滑らか度が一次関数的に減少する関係にある。
[Smoothness of video]
First, regarding the smoothness of video, consider the relationship between mathematical smoothness and dynamic resolution. FIG. 1 is a graph showing the relationship between mathematical smoothness and dynamic resolution. As can be seen from this graph, mathematically, the degree of smoothness decreases linearly as the dynamic resolution increases.
次に、映像の滑らかさについて、人間工学的な滑らか感と動解像度感との関係を考える。本技術では、「人間の目では、少しぶれ感を出すと急に滑らか感が増す」という仮説を立てている。図２は、人間工学的な滑らか感と動解像度感との関係を表したグラフである。このグラフからわかることは、被写体の動きが低速のときは、数学的な滑らか度と動解像度との関係と同じように、滑らか感と動解像度感との関係は一次関数的であるが、動きが高速になるに従い、グラフは右上に膨らんだ二次関数的な曲線になっていく。 Next, regarding the smoothness of video, consider the relationship between ergonomic smoothness and dynamic resolution. In this technology, the hypothesis is made that "the human eye suddenly increases smoothness when it feels a little blurred." FIG. 2 is a graph showing the relationship between ergonomic smoothness and dynamic resolution. This graph shows that when the movement of the subject is slow, the relationship between smoothness and dynamic resolution is a linear function, just like the mathematical relationship between smoothness and dynamic resolution. As the speed increases, the graph becomes a quadratic curve that swells to the upper right.
本実施の形態では、上記のように、グラフが右上に膨らんだ部分（グラフ中の丸印により示している個所）、すなわち、ある程度の滑らか感を保ちつつ、動解像度感もある程度持った一倍速画を高速画から合成することを目標とする。 In the present embodiment, as described above, the portion where the graph swells to the upper right (the portion indicated by a circle in the graph), that is, a single speed that maintains a certain level of smoothness and also has a certain degree of dynamic resolution. The goal is to combine images from high-speed images.
［ｎ倍速の高速画からの１倍速画の合成］
ｎ倍速（例えば１６倍速）の高速画を基に、１倍速画を合成する場合、ｎフレーム分の画像を全て足して平均を取ると、とてもぶれた画像になってしまう。一方、フレームを間引きしてｎフレームの内の１フレームのみを出力すると、シャッターの入ったパラパラ感のある映像になってしまい、滑らかさが失われる。核となるフレームを中心としつつ、ある程度のぶれ感を出すために核としたフレーム以外のフレームを重みを付けて足すことにより、滑らか感と動解像度感の両者を保った映像を得ることができる。
[Combine 1x image from nx speed image]
When synthesizing a 1 × speed image based on a high speed image of n × speed (for example, 16 × speed), if all the images for n frames are added and averaged, the image becomes very blurred. On the other hand, if the frames are thinned and only one of the n frames is output, the image will have a shimmering feeling with a shutter and the smoothness will be lost. By adding weights to frames other than the core frame in order to produce a certain amount of blurring while focusing on the core frame, it is possible to obtain an image that maintains both smoothness and dynamic resolution. .
図３は、１６倍速の高速画から一倍速画を合成する際に、８フレーム目以外を間引きして合成した画像を示す図である。画像の上に記してある数字は、高速画の１フレーム目から１６フレーム目までのそれぞれのフレームに乗じる重みづけ係数を表している。この図における重みづけ係数は、８フレーム目だけが１であり、他のフレームの重みづけ係数は０なので、高速画の８フレーム目だけが抽出されて、一倍速画を構成することになる。 FIG. 3 is a diagram showing an image synthesized by thinning out frames other than the eighth frame when synthesizing a 1 × speed image from a 16 × speed high speed image. The number written on the image represents the weighting coefficient by which each frame from the first frame to the 16th frame of the high-speed image is multiplied. The weighting coefficient in this figure is 1 only for the 8th frame, and the weighting coefficient for the other frames is 0. Therefore, only the 8th frame of the high-speed image is extracted to constitute a 1 × speed image.
この画像は非常にクリアな動解像度感のあるものになるが、この画像をつなげた映像は、パラパラ感があり、滑らかさを失った映像となってしまう。 Although this image has a very clear sense of dynamic resolution, the video connected with this image has a feeling of parallax and loses its smoothness.
図４は、１６倍速の高速画から一倍速画を合成する際に、全てのフレームの平均を取って合成した画像を示す図である。全てのフレームに乗じる重みづけ係数が１となっている。 FIG. 4 is a diagram showing an image synthesized by taking an average of all the frames when synthesizing a 1 × speed image from a 16 × speed high speed image. The weighting coefficient multiplied by all the frames is 1.
この画像は、１６倍速の高速画のすべてのフレームの平均なので、例えばシャッターを開けたまま全てのフレームを連続して撮影したような、とてもぶれた感じの画像になってしまっている。 Since this image is the average of all the frames of a 16 × high-speed image, for example, the image is very blurred as if all the frames were continuously photographed with the shutter opened.
図５は、１６倍速の高速画から一倍速画を合成する際に、各フレームに重み付けを行い合成した画像を示す図である。１フレーム目から１６フレーム目までにかけて、乗じる重みづけ係数として順に、１、２、３、４、５、６、７、８、８、７、６、５、４、３、２、１を乗じたものである。重みづけ係数が８である８フレーム目および９フレーム目を核として、重みづけ係数を減じながら前後のフレームを足している。 FIG. 5 is a diagram illustrating an image that is synthesized by weighting each frame when a 1 × speed image is combined from a 16 × high speed image. From the first frame to the 16th frame, multiply by 1, 2, 3, 4, 5, 6, 7, 8, 8, 7, 6, 5, 4, 3, 2, 1 in order as weighting coefficients to be multiplied. It is a thing. With the 8th and 9th frames having a weighting coefficient of 8 as the core, the preceding and succeeding frames are added while decreasing the weighting coefficient.
この画像は、８および９フレーム目の画像が核となりある程度の動解像度感を持ちながら、１から７フレーム目および１０から１６フレーム目の画像を少量足したことによりぶれ感が出て、滑らか感も持ち合わせた画像になっている。 This image has a certain degree of dynamic resolution with the images in the 8th and 9th frames as the core, but the image of the 1st to 7th frames and the 10th to 16th frames are added and a blur is produced, resulting in a smooth feeling. It has become an image that has also.
なお、図５の例では、８および９フレーム目を中心に１フレーム目から７フレーム目までの重みづけ係数と１０フレーム目から１６フレーム目までの重みづけ係数とが対称的になっているが、本技術は、このような対称性を持った重みづけ係数に限られるものではない。本技術では、ピークが１つある単峰性が保たれればよい。例えば重みづけ係数として、１フレーム目から順に、１、３、５、７、９、１１、１０、９、８、７、６、５、４、３、２、１というような重みづけ係数を用いてもよい。 In the example of FIG. 5, the weighting coefficients from the first frame to the seventh frame and the weighting coefficients from the tenth frame to the sixteenth frame are symmetrical with respect to the eighth and ninth frames. The present technology is not limited to the weighting coefficient having such symmetry. In the present technology, it is only necessary to maintain unimodality with one peak. For example, weighting factors such as 1, 3, 5, 7, 9, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1 are sequentially set from the first frame. It may be used.
以上から、動解像度感と滑らか感を持ち合わせた一倍速の映像を合成するには、各フレームの画像を重み付けして足し合わせることが有効であることがわかる。 From the above, it can be seen that it is effective to weight and add the images of each frame in order to synthesize a single-speed video having a sense of dynamic resolution and smoothness.
［被写体の動きに応じた重み付け］
被写体の動きは一定ではなく、低速度から高速度まで変化することが考えられる。その場合、被写体の動く速度に応じて、重み付けの程度を変えることが考えられる。通常、動きの無い画像では、なるべくＳ／Ｎを良くするために、全てのフレームに対する重み付けを等しくして一倍速画を生成する。それに対し、被写体の動きが高速になるに従い、徐々に峰が突出する単峰性となるような重み付けにより、一倍速画を生成する方向で制御を行う。図６は、被写体の動きに応じて、目標とする滑らか感と動解像度感との組み合わせの割合を変更していく様子を、丸印の移動により表したグラフである。
[Weighting according to subject movement]
It is conceivable that the movement of the subject is not constant and changes from a low speed to a high speed. In that case, it is conceivable to change the degree of weighting according to the moving speed of the subject. Normally, in an image having no motion, in order to improve the S / N as much as possible, a single-speed image is generated with equal weightings for all frames. On the other hand, as the subject moves faster, the control is performed in the direction of generating a 1 × speed image by weighting so that the peak gradually becomes a single peak. FIG. 6 is a graph showing how the ratio of the target combination of smoothness and dynamic resolution is changed according to the movement of the subject by moving the circles.
［画像処理装置のブロック図］
次に、上記の重みづけを行いながら複数のフレームを合わせて一倍速画を合成する画像処理装置について説明する。
[Block diagram of image processing apparatus]
Next, an image processing apparatus that combines a plurality of frames and synthesizes a single-speed image while performing the above weighting will be described.
図７は、本実施の形態に係る画像処理装置１０のブロック図である。画像処理装置１０は、高速画像入力部１１（取得部）、重みづけ乗算器１２（重みづけ乗算部）、加算器１３（加算部）、除算器１４（除算部）、動き検出部１５（セット記憶部、動き検出部、セット設定部）、フレームカウンタ１６を備える。 FIG. 7 is a block diagram of the image processing apparatus 10 according to the present embodiment. The image processing apparatus 10 includes a high-speed image input unit 11 (acquisition unit), a weighting multiplier 12 (weighting multiplication unit), an adder 13 (addition unit), a divider 14 (division unit), and a motion detection unit 15 (set). Storage unit, motion detection unit, set setting unit), and frame counter 16.
高速画像入力部１１は、入力されたｎ倍速の高速画を受け付け、保持する。また、フレーム順に画像を重みづけ乗算器１２および動き検出部１５に出力する。 The high-speed image input unit 11 receives and holds the input n-times high-speed image. In addition, the images are output to the weighting multiplier 12 and the motion detection unit 15 in the order of frames.
重みづけ乗算器は、高速画像入力部１１から渡されたフレーム毎の画像の画素ごとに、動き検出部１５から渡された重み情報（重みづけ係数）に基づいて、重みづけ係数を乗算し、１フレーム毎に、加算器１３に出力する。 The weighting multiplier multiplies the weighting coefficient for each pixel of the image for each frame passed from the high-speed image input unit 11 based on the weight information (weighting coefficient) passed from the motion detection unit 15; Each frame is output to the adder 13.
加算器１３は、重みづけ乗算器１２から出力されたフレームを、ｎフレーム分だけ加算し、結果を除算器１４に出力する。また、フレームカウンタ１６からのリセット信号により、加算結果をゼロクリアして、次のｎ個のフレームの加算に備える。 The adder 13 adds the frames output from the weighting multiplier 12 by n frames, and outputs the result to the divider 14. Further, the addition result is cleared to zero by a reset signal from the frame counter 16 to prepare for the addition of the next n frames.
除算器１４は、加算器１３により加算されたｎ個のフレームの画像を重みづけ係数の合計値（例えば各フレームの重みづけが１の場合はｎ）により除し、一倍速画を生成する。生成された一倍速画は、フレームカウンタ１６からの出力信号により、外部へ出力される。 The divider 14 divides the images of n frames added by the adder 13 by the total value of weighting coefficients (for example, n when the weight of each frame is 1) to generate a 1 × speed image. The generated single-speed image is output to the outside by an output signal from the frame counter 16.
動き検出部１５は、高速画像入力部１１から渡された高速画を解析し、被写体の動きの程度を検出する。検出した被写体の動きの程度に応じて、予め記憶している複数の重み情報のセットの中から最適な重み情報のセットを選択し、フレームの順番に応じてセット内の重み情報を重みづけ乗算器１２へ出力する。 The motion detection unit 15 analyzes the high-speed image passed from the high-speed image input unit 11 and detects the degree of movement of the subject. According to the detected degree of movement of the subject, an optimum set of weight information is selected from a plurality of pre-stored sets of weight information, and the weight information in the set is weighted and multiplied according to the frame order. To the device 12.
フレームカウンタ１６は、高速画とともに入力された同期信号を受け付け、フレームをカウントする。フレームをｎ個カウントすると、加算器１３に対しリセット信号を送ると共に、除算器１４に対して出力信号を送る。 The frame counter 16 receives the synchronization signal input together with the high-speed image and counts the frames. When n frames are counted, a reset signal is sent to the adder 13 and an output signal is sent to the divider 14.
［画像処理装置１０の処理の流れ］
次に、画像処理装置１０における画像処理の流れを説明する。図８は、画像処理装置１０における画像処理の流れを示すフローチャートである。
[Processing flow of image processing apparatus 10]
Next, the flow of image processing in the image processing apparatus 10 will be described. FIG. 8 is a flowchart showing the flow of image processing in the image processing apparatus 10.
まず、画像処理装置１０は、高速画像入力部１１にあるバッファをクリアすると共に、フレームカウンタ１６のカウンタをクリアする。フレームカウンタ１６からのリセット信号により加算器１３もリセットされる。また、重みづけ乗算器１２および除算器１４も初期化される（ステップＳ１）。 First, the image processing apparatus 10 clears the buffer in the high-speed image input unit 11 and clears the counter of the frame counter 16. The adder 13 is also reset by the reset signal from the frame counter 16. The weighting multiplier 12 and the divider 14 are also initialized (step S1).
次に、高速画が画像処理装置１０に入力されると、高速画像入力部１１が受け付ける（ステップＳ２）。 Next, when a high-speed image is input to the image processing apparatus 10, the high-speed image input unit 11 receives it (step S2).
受け付けられた高速画は、動き検出部１５に送られる。動き検出部１５が、送られた高速画を解析し、被写体の動きの度合いを把握して、最適な重み情報のセットを選択する。選択された重み情報のセット内の重み情報が、重みづけ乗算器に送られる（ステップＳ３）。 The accepted high speed image is sent to the motion detector 15. The motion detection unit 15 analyzes the sent high-speed image, grasps the degree of motion of the subject, and selects an optimal set of weight information. The weight information in the selected set of weight information is sent to the weighting multiplier (step S3).
高速画像入力部１１により受け付けられた高速画は、重みづけ乗算器１２にも送られる。重みづけ乗算器１２は、受け付けた高速画の各画素に対し、動き検出部１５から送られてきた重み情報に基づく重みを重みづけ係数として乗じる（ステップＳ４）。実際の演算は、画素のＲＧＢのそれぞれの値に、重みづけ係数を乗じる形になる。重みづけ係数を乗じた後、画像は加算器１３に出力される。 The high-speed image received by the high-speed image input unit 11 is also sent to the weighting multiplier 12. The weighting multiplier 12 multiplies each pixel of the received high-speed image as a weighting coefficient by a weight based on the weight information sent from the motion detection unit 15 (step S4). The actual calculation is obtained by multiplying each RGB value of the pixel by a weighting coefficient. After multiplying by the weighting coefficient, the image is output to the adder 13.
重みづけ乗算器１２から、重みづけ係数をかけた画像を受け取った加算器１３は、既に受け取った画像の値に、新しく受け取った画像の値を、画素ごとに加算する（ステップＳ５）。 The adder 13 that has received the image multiplied by the weighting coefficient from the weighting multiplier 12 adds the newly received image value for each pixel to the already received image value (step S5).
加算器１３は、次に、ｎ個のフレームについて加算が終了したか否かを判定する。またｎ個分の加算が終わっていない場合（ステップＳ６のＮｏ）、フレームカウンタ１６のカウントアップを行い（ステップＳ７）、高速画の入力（ステップＳ２）に戻り、次のフレームの処理を行う。 Next, the adder 13 determines whether or not the addition has been completed for n frames. If n additions have not been completed (No in step S6), the frame counter 16 is incremented (step S7), and the process returns to high-speed image input (step S2) to process the next frame.
ｎ個のフレームの加算が終わった場合（ステップＳ６のＹｅｓ）、除算器１４が、加算結果を加算器１３から受け取り、加算結果に対して除算を行う。またフレームカウンタ１６から出力信号を受けた除算器１４は、除算結果を一倍速画として、画像処理装置１０から出力する（ステップＳ８）。このステップにおいて除算を行うのは、重みづけ係数を乗じたり、複数フレーム分を加算したりしたＲＧＢの値を、出力する一倍速画のＲＧＢの値として適切な範囲に戻すためである。実際に除算を行う為に用いる値は、各フレームに重みとして乗じた重みづけ係数の合計値である。 When the addition of n frames is completed (Yes in step S6), the divider 14 receives the addition result from the adder 13, and performs division on the addition result. The divider 14 that has received the output signal from the frame counter 16 outputs the division result as a single-speed image from the image processing apparatus 10 (step S8). The division is performed in this step in order to return the RGB value obtained by multiplying the weighting coefficient or adding a plurality of frames to an appropriate range as the RGB value of the single-speed image to be output. The value actually used for division is the total value of the weighting coefficients obtained by multiplying each frame as a weight.
最後に、画像処理装置１０は、高速画の処理が全て終了したか否かを判定し（ステップＳ９）、高速画の処理が残っている場合は最初に戻って上記の処理を繰り返し、高速画の処理が全て終了している場合（ステップＳ９のＹｅｓ）は、処理を終了する。 Finally, the image processing apparatus 10 determines whether or not all of the high-speed image processing has been completed (step S9). If high-speed image processing remains, the process returns to the beginning and repeats the above-described processing. If all the processes are completed (Yes in step S9), the process is terminated.
以上の処理により、被写体の動きに応じて、適切な重みづけ係数を用いて、高速画から滑らか感と動解像度感を保ったまま、一倍速画を合成することができる。 With the above processing, it is possible to synthesize a single-speed image while maintaining a smooth feeling and a dynamic resolution feeling from a high-speed image using an appropriate weighting coefficient according to the movement of the subject.
＜変形例１＞
上記の実施の形態では、動き検出部１５が、高速画の動きの速度に応じて適切な重み情報のセットを選択することにした。その構成以外に、動き検出部１５が記憶している複数の重み情報セットの中から、最も滑らか感と動解像度感が得られる重み情報の組み合わせをもったセットをユーザが選択できるようにしてもよい。この構成では、ユーザが目視して確認するので、確実に最適な重み情報のセットを選択できる。
<Modification 1>
In the above embodiment, the motion detection unit 15 selects an appropriate set of weight information according to the speed of motion of the high-speed image. In addition to the configuration, the user can select a set having a combination of weight information that provides the most smooth feeling and dynamic resolution feeling from among a plurality of weight information sets stored in the motion detection unit 15. Good. In this configuration, since the user visually confirms, the optimum set of weight information can be surely selected.
１０…画像処理装置
１１…高速画像入力部
１２…重みづけ乗算器
１３…加算器
１４…除算器
１５…動き検出部
１６…フレームカウンタ
DESCRIPTION OF SYMBOLS 10 ... Image processing apparatus 11 ... High-speed image input part 12 ... Weighting multiplier 13 ... Adder 14 ... Divider 15 ... Motion detection part 16 ... Frame counter
Claims (5)
取得部が取得した前記高速画を構成する各フレームの各画素に、単峰性を有し、かつ値が位相により段階的に変化する重みづけ係数のセットの当該重みづけ係数を乗じる重みづけ乗算部と、
前記重みづけ係数が乗じられた前記各フレームを画素ごとにｎフレーム分加算する加算部と、
前記ｎフレーム分加算された値を前記重みづけ係数の合計値により除して、前記基準のフレームレートの画像を出力する除算部と
を具備する画像処理装置。 An acquisition unit that acquires, as a high-speed image, an image shot at a frame rate that is n (n is an integer of 2 or more) times a predetermined reference frame rate;
Weighting multiplication by which each pixel of each frame constituting the high-speed image acquired by the acquisition unit is multiplied by the weighting coefficient of a set of weighting coefficients having a single peak and whose value changes stepwise according to the phase. And
An adder for adding each frame multiplied by the weighting coefficient for each pixel for n frames;
An image processing apparatus comprising: a division unit that divides a value added for n frames by a total value of the weighting coefficients and outputs an image of the reference frame rate.
値の組み合わせが互いに異なる複数のセットが予め記憶されたセット記憶部と、
前記取得された前記高速画の動きを検出し、検出された動きをもとに前記セット記憶部に記憶された複数のセットから１つのセットを選択して前記重みづけ乗算部に与える動き検出部と
をさらに具備する画像処理装置。 The image processing apparatus according to claim 1,
A set storage unit in which a plurality of sets having different combinations of values are stored in advance;
A motion detection unit that detects a motion of the acquired high-speed image, selects one set from a plurality of sets stored in the set storage unit based on the detected motion, and applies the selected set to the weighting multiplication unit An image processing apparatus further comprising:
前記動き検出部は、
前記高速画の動きが無いときの均等な重みづけ係数のセットの選択に始まり、前記高速画の動きが高速になるに従い、より突出した峰の単峰性となる重みづけ係数のセットを選択する
画像処理装置。 The image processing apparatus according to claim 2,
The motion detector is
Starting with the selection of a set of equal weighting coefficients when there is no movement of the high-speed image, the set of weighting coefficients that becomes a single peak of more prominent peaks is selected as the movement of the high-speed image increases. Image processing device.
値の組み合わせが互いに異なる複数のセットが予め記憶されたセット記憶部と、
前記セット記憶部に記憶された複数のセットの中からユーザに１つのセットを選択させ、選択されたセットを前記重みづけ乗算部に与えるセット設定部と
をさらに具備する画像処理装置。 The image processing apparatus according to claim 1,
A set storage unit in which a plurality of sets having different combinations of values are stored in advance;
An image processing apparatus further comprising: a set setting unit that allows a user to select one set from a plurality of sets stored in the set storage unit, and gives the selected set to the weighting multiplication unit.
重みづけ乗算部が、取得部が取得した前記高速画を構成する各フレームの各画素に、単峰性を有し、かつ値が位相により段階的に変化する重みづけ係数のセットの当該重みづけ係数を乗じ、
加算部が、前記重みづけ係数が乗じられた前記各フレームを画素ごとにｎフレーム分加算し、
除算部が、前記ｎフレーム分加算された値を前記重みづけ係数の合計値により除して、前記基準のフレームレートの画像を出力する
画像処理方法。 The acquisition unit acquires, as a high-speed image, an image shot at a frame rate that is n (n is an integer of 2 or more) times a predetermined reference frame rate,
The weight multiplication unit has a single peak property for each pixel of each frame constituting the high-speed image acquired by the acquisition unit, and the weight of the set of weighting coefficients whose values change stepwise according to the phase. Multiply by a factor
An adder adds each frame multiplied by the weighting coefficient for each pixel for n frames,
An image processing method in which a division unit divides a value added for the n frames by a total value of the weighting coefficients and outputs an image of the reference frame rate.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012120420A JP2013247538A (en) | 2012-05-28 | 2012-05-28 | Image processing device and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012120420A JP2013247538A (en) | 2012-05-28 | 2012-05-28 | Image processing device and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013247538A true JP2013247538A (en) | 2013-12-09 |
Family
ID=49846996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012120420A Pending JP2013247538A (en) | 2012-05-28 | 2012-05-28 | Image processing device and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013247538A (en) |
-
2012
- 2012-05-28 JP JP2012120420A patent/JP2013247538A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10277812B2 (en) | Image processing to obtain high-quality loop moving image | |
| KR101362651B1 (en) | Video image processing device, video image processing method, and computer-readable recording medium having a computer program recorded thereon | |
| US7511730B2 (en) | Image processing apparatus and method and image pickup apparatus | |
| CN108886584A (en) | Method and apparatus for generating high-fidelity scaling for mobile video | |
| US20100265353A1 (en) | Image Processing Device, Image Sensing Device And Image Reproduction Device | |
| US11871127B2 (en) | High-speed video from camera arrays | |
| US8264552B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| US8654131B2 (en) | Video image processing apparatus and video image processing method | |
| JP4483501B2 (en) | Image processing apparatus, program, and method for performing preprocessing for reproducing still image as moving picture | |
| JP5762756B2 (en) | Image processing apparatus, image processing method, image processing program, and photographing apparatus | |
| US8928769B2 (en) | Method for image processing of high-bit depth sensors | |
| JP5531865B2 (en) | Image processing apparatus, image processing method, and program | |
| CN105407266A (en) | Image capturing apparatus and control method therefor | |
| CN102668572B (en) | Method and apparatus for optimal motion reproduction in stereoscopic digital cinema | |
| JP2010028472A (en) | Video signal processor, and video signal processing method | |
| JP6134267B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP2019207603A (en) | Tone mapping processing method by maximizing edge intensity, and hdr video conversion device | |
| JP5664356B2 (en) | Generation apparatus and generation method | |
| CN114339030B (en) | Network live video image stabilizing method based on self-adaptive separable convolution | |
| JP5566196B2 (en) | Image processing apparatus and control method thereof | |
| JP2013247538A (en) | Image processing device and image processing method | |
| JP2014229988A (en) | Image processing apparatus, image processing method, and program | |
| JP5820213B2 (en) | Image processing apparatus and method, and imaging apparatus | |
| Prasantha | An Approach for Frame Rate conversion of a Video | |
| JP6346529B2 (en) | Imaging device, control method thereof, and program |