JP6147318B2 - Image processing apparatus and image processing apparatus control method - Google Patents
Image processing apparatus and image processing apparatus control method Download PDFInfo
- Publication number
- JP6147318B2 JP6147318B2 JP2015225967A JP2015225967A JP6147318B2 JP 6147318 B2 JP6147318 B2 JP 6147318B2 JP 2015225967 A JP2015225967 A JP 2015225967A JP 2015225967 A JP2015225967 A JP 2015225967A JP 6147318 B2 JP6147318 B2 JP 6147318B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- correction
- images
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明はデジタル画像データに対してフィルム調の効果を与える画像処理装置に関するものである。 The present invention relates to an image processing apparatus that gives a film-like effect to digital image data.
近年、デジタルカメラの画像表現の一つとして、撮影画像に対しフィルム撮影による粒状感の効果を出すために粒状ノイズ(以下、グレインノイズ)をデジタル画像に付加する合成の方法が提案されている。 In recent years, as one of the image expressions of a digital camera, there has been proposed a synthesis method for adding granular noise (hereinafter referred to as grain noise) to a digital image in order to produce a grainy effect by film shooting on the captured image.
特許文献1では、グレインノイズの元となる粒状パターンデータをフィルムから算出し、これをランダムな位置で切り出したノイズデータを複数並べて配置することでグレインノイズを付加している。
In
しかし、フィルムを映写機に掛けて再生した場合に画像に発生する現象には、上記のような画像全体にかかるグレインノイズだけでなくフィルム自体についた傷などがあり、それらを同時に映像効果として付与することはできていなかった。本発明は、上述の課題に鑑みたものであって、異なる特性をもつ2つのノイズを画像に付与することが可能な画像処理装置を提供することにある。 However, the phenomenon that occurs in an image when the film is played on a projector includes not only the above-described grain noise on the entire image but also scratches on the film itself, which are simultaneously given as a video effect. It wasn't possible. The present invention has been made in view of the above-described problems, and it is an object of the present invention to provide an image processing apparatus capable of adding two noises having different characteristics to an image.
上記課題を解決するために、本発明の画像処理装置は、複数フレームの画像を順次取得する取得手段と、前記複数フレームの画像に対して、ランダムに決まる入出力特性で輝度の補正を行う補正手段と、前記補正手段によるランダムに決まる入出力特性に基づく輝度の補正の有効あるいは無効を設定する設定手段と、前記補正手段で補正がなされた複数フレームの画像を動画像として出力する出力手段と、を有し、前記補正手段は、前記判定手段により前記輝度の補正が有効と設定されている場合には、ランダムに決まる入出力特性で輝度の補正を行い、前記判定手段により前記輝度の補正が無効と設定されている場合には、基準となる特性で輝度の補正を行うことを特徴とする。
また、本発明の画像処理装置は、複数フレームの画像を取得する取得手段と、前記複数フレームの画像に対して、ランダムに決まる入出力特性で輝度の補正を行う補正手段と、前記補正手段によって前記補正がなされた画像に対して、予め設定された領域にマスク画像の重畳を行うマスク手段と、前記マスク手段から出力される複数フレームの画像を動画像として出力する出力手段と、を有することを特徴とする。
また、本発明の画像処理装置は、複数フレームの画像を取得する取得手段と、前記複数フレームの画像に対して、ランダムに決まる入出力特性で輝度の補正を行う補正手段と、前記複数フレームの画像それぞれに対して、ランダムに決定される位置で切り出しを行う切出手段と、前記補正手段および前記切出手段により処理された画像から、所定のアスペクト比に対応する領域で画像情報を含む画像を抽出する抽出手段と、前記抽出手段から出力される複数フレームの画像を動画像として出力する出力手段と、を有することを特徴とする画像処理装置。
In order to solve the above problems, an image processing apparatus of the present invention includes an acquisition means for sequentially acquiring images of multiple frames, the image of the plurality of frames, and corrects the luminance output characteristics determined randomly a correction unit, wherein the setting means for setting the enable or disable the correction of the brightness based on the input-output characteristics determined randomly by the correction means, an output image of a plurality of frames correction is a prior Kiho positive means as a moving image and output means for, have a, said correction means, wherein when the correction of the brightness is set to be valid by the determining means performs the correction of the luminance input and output characteristics determined randomly by the determination unit When the luminance correction is set to be invalid, the luminance correction is performed with reference characteristics.
The image processing apparatus according to the present invention includes an acquisition unit that acquires a plurality of frames of images, a correction unit that corrects luminance of the plurality of frames of images with input / output characteristics determined at random, and the correction unit. A mask unit that superimposes a mask image on a preset area with respect to the corrected image; and an output unit that outputs a plurality of frames of images output from the mask unit as a moving image. It is characterized by.
The image processing apparatus according to the present invention includes an acquisition unit that acquires a plurality of frames of images, a correction unit that corrects luminance of the plurality of frames of images with input / output characteristics that are randomly determined, and a plurality of frames of images. An image including image information in a region corresponding to a predetermined aspect ratio from the image processed by the correction unit and the cutout unit, and a cutout unit that cuts out each image at a randomly determined position An image processing apparatus comprising: extraction means for extracting the image; and output means for outputting a plurality of frames of images output from the extraction means as moving images.
また、本発明の画像処理装置の制御方法は、複数フレームの画像を取得する取得ステップと、前記複数フレームの画像に対して、ランダムに決まる入出力特性で輝度の補正を行う補正ステップと、前記補正ステップによるランダムに決まる入出力特性に基づく輝度の補正の有効あるいは無効を設定する設定ステップと、前記補正ステップにて補正がなされた複数フレームの画像を動画像として出力する出力ステップと、を有し、前記補正ステップでは、前記判定ステップにて前記輝度の補正が有効と設定されている場合には、ランダムに決まる入出力特性で輝度の補正を行い、前記判定ステップにより前記輝度の補正が無効と設定されている場合には、基準となる特性で輝度の補正を行うことを特徴とする。
また、本発明の画像処理装置の制御方法は、複数フレームの画像を取得する取得ステップと、前記複数フレームの画像に対して、ランダムに決まる入出力特性で輝度の補正を行う補正ステップと、前記補正ステップにて前記補正がなされた画像に対して、予め設定された領域にマスク画像の重畳を行うマスクステップと、前記マスクステップで生成される複数フレームの画像を動画像として出力する出力ステップと、を有することを特徴とする。
また、本発明の画像処理装置の制御方法は、複数フレームの画像を取得する取得ステップと、前記複数フレームの画像に対して、ランダムに決まる入出力特性で輝度の補正を行う補正ステップと、前記複数フレームの画像それぞれに対して、ランダムに決定される位置で切り出しを行う切出ステップと、前記補正ステップおよび前記切出ステップにて処理された画像から、所定のアスペクト比に対応する領域で画像情報を含む画像を抽出する抽出ステップと、前記抽出ステップで生成される複数フレームの画像を動画像として出力する出力ステップと、を有することを特徴とする。
Further, the control method of the image processing apparatus of the present invention includes an acquisition step of acquiring a plurality of frames of images, a correction step of correcting the luminance with a random input / output characteristic for the plurality of frames of images, Yes a setting step of setting the enable or disable the correction of the brightness based on the input-output characteristics determined randomly by the correction step, an output step of outputting an image of a plurality of frames have been corrected in the correcting step as a moving image, the In the correction step, if the luminance correction is set to be valid in the determination step, the luminance correction is performed with input / output characteristics that are randomly determined, and the luminance correction is invalidated in the determination step. Is set, the luminance is corrected with a reference characteristic.
Further, the control method of the image processing apparatus of the present invention includes an acquisition step of acquiring a plurality of frames of images, a correction step of correcting the luminance with a random input / output characteristic for the plurality of frames of images, A mask step for superimposing a mask image on a preset region with respect to the image corrected in the correction step; and an output step for outputting a plurality of frames of images generated in the mask step as a moving image. It is characterized by having.
Further, the control method of the image processing apparatus of the present invention includes an acquisition step of acquiring a plurality of frames of images, a correction step of correcting the luminance with a random input / output characteristic for the plurality of frames of images, An image in a region corresponding to a predetermined aspect ratio from a cut-out step of cutting out each of the images of a plurality of frames at a randomly determined position, and the image processed in the correction step and the cut-out step An extraction step for extracting an image including information, and an output step for outputting a plurality of frames of images generated in the extraction step as a moving image.
以上説明したように、本発明によれば、異なる特性をもつ2つのノイズを画像に付与することが可能となる。 As described above, according to the present invention, two noises having different characteristics can be added to an image.
以下、本発明の好適な実施形態について説明する。 Hereinafter, preferred embodiments of the present invention will be described.
<第1の実施形態>
本実施形態では、フィルム風のノイズ効果として粒状感を与えるために粒状ノイズであるグレインノイズを画像に付加することが可能な画像処理装置を示す。
<First Embodiment>
In the present embodiment, an image processing apparatus capable of adding grain noise, which is granular noise, to an image in order to give a granular feeling as a film-like noise effect is shown.
図1は第1の実施形態における画像処理装置としてのデジタルビデオカメラのブロック図である。撮像素子100は結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部101へ入力される。カメラ信号処理部101では光電変換された信号に対し各種の画像処理を行い映像信号へ変換し出力する。出力された映像信号はエンコーダ部111で所定の記録フォーマットで符号化され、記録メディア112へ記録される。
FIG. 1 is a block diagram of a digital video camera as an image processing apparatus according to the first embodiment. The
次にカメラ信号処理部101での信号処理について説明する。カメラ信号処理部101へ入力した信号は、まず画像処理部104で各種信号処理が行われる。各種信号処理とは、通常の撮影の際に画像データに対して行われる、ホワイトバランス処理、ガンマ処理、色空間変換処理、カラーゲイン処理、カラーバランス処理などである。処理後の信号は撮像画像として第1のフレームメモリ108へ格納される。
Next, signal processing in the camera
2次元109はグレインノイズとして2次元ノイズデータ301を格納しているメモリである。ノイズデータ301はメモリ109から読み出される。切り出し処理部106はメモリデータ301から所定の位置と大きさのノイズデータ302を切り出す。切り出しされたノイズデータ302は第2のフレームメモリ110へ格納される。第2のフレームメモリ110から読み出されたノイズデータ302は、拡大処理部107で撮像画像との合成に必要な大きさのノイズデータ402にリサイズ処理される。
The two-dimensional 109 is a memory that stores two-
合成処理部105は所定のタイミングで第1のフレームメモリ108に格納されている撮像画像401と拡大処理部107で処理されたノイズデータ402を読み出し、合成を行い、合成画像を出力する。合成処理部105は撮像画像401とノイズデータ402の合成比率を変更することが可能である。合成比率を変えることで付加するグレインノイズの強度を変えることもできる。グレインノイズの生成方法、付加方法については後に詳述する。
The
信号発生器103は撮像素子100の駆動タイミングを制御する信号を発生する信号発生器(Signal Generator:SG)である。発生した信号は撮像素子100に供給される。
The
システムコントローラ102は、撮像素子100とカメラ信号処理部101で構成されるカメラブロックの制御を行う。撮像素子100に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。画像処理部104に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。合成処理部105に対しては、合成対象となるフレームメモリの指定、合成比率の指定および合成タイミングの指示を行う。切り出し処理部106に対しては、グレインノイズを生成するために、メモリ109から読み出しを行うタイミングの指示、切り出し位置と大きさの指示、切り出したデータを第2のフレームメモリ110へ書き出すタイミングの指示を行う。拡大処理部107に対しては、第2のフレームメモリ110から読み出しを行うタイミングの指示、リサイズ時の大きさの指示を行う。信号発生器103に対しては、撮像素子100を駆動する駆動タイミングの指示を行う。
A
ここで、図3、図4を用いて、本実施形態の特徴的な処理である画像データにフィルム風の粒状効果を与えるグレインノイズを付加する際に用いるグレインノイズの生成方法、付加方法について詳述する。特許文献1のように粒状パターンデータを複数配置する方法では、動画像の更新周期、つまりフレームレートに同期してパターンデータの配置を行うには、フレームレートの周期以内で毎回異なる配置を行う高速な処理システムが必要となる。また、複数のグレインノイズパターンから選択してこれを付加する方法では、グレインノイズを格納するメモリ領域が複数必要となる。
Here, with reference to FIGS. 3 and 4, the generation method and the addition method of the grain noise used when adding the grain noise that gives the film-like grain effect to the image data, which is a characteristic process of the present embodiment, are described in detail. Describe. In the method of arranging a plurality of granular pattern data as in
そこで、本実施形態では、あらかじめグレインノイズを2次元データとして持っておき、任意の位置で入力される画像のフレーム全体に対応するノイズデータの切り出しを行い、切り出したノイズデータを動画像に合成する。この時、切り出しのタイミングを動画像のフレームレートに同期させ、切り出しの位置を複数フレームで毎回変化させることで、空間的と時間的にランダムなグレインノイズを動画像に合成することが可能となる。 Therefore, in this embodiment, grain noise is previously stored as two-dimensional data, noise data corresponding to the entire frame of an image input at an arbitrary position is extracted, and the extracted noise data is combined with a moving image. . At this time, by synchronizing the cut-out timing with the frame rate of the moving image and changing the cut-out position every frame, it becomes possible to synthesize spatially and temporally random grain noise into the moving image. .
図3は2次元のノイズデータ(グレインノイズデータ301)とそこから切り出す切り出しノイズデータ302の関係を示した図である。図4は切り出しノイズデータ302と撮像画像の合成の概念を示した図である。グレインノイズデータ301は、本実施形態では最小粒状単位を1画素として、ガウス分布に従った乱数が画素値として1画素ごとに記録されている画素群である。ここで、乱数はガウス分布に従ったものに限らず、一様乱数や指数乱数など多くの乱数の種類が考えられ、乱数の種類は限定されない。ノイズデータとしての実際のデータの形態は、画像データ、もしくはデータ列などさまざまな形態が考えられ、それらの形態のいずれにも限定されない。また、最小粒状単位についても1画素に限定されないが、当然小さければ小さいほどランダム性があがる。
FIG. 3 is a diagram showing the relationship between two-dimensional noise data (grain noise data 301) and cut-out
グレインノイズデータ301に対して、処理時刻やカメラの姿勢情報や位置情報などのカメラ内で取得できる動的な値を利用して切り出し開始位置X,Yをランダムに決定する。決定された開始位置から所定サイズのデータを切り出しノイズデータ302としてグレインノイズデータ301から切り出し、図4のように撮像画像と合成することで、撮像画像にグレインノイズを付加する。
For the
ここで、切り出しの開始位置をランダムに毎回変化させる際、前回の切り出しの位置と今回の切り出しの位置が近い場合や水平あるいは垂直方向にずれているだけの場合は、合成結果として2次元のパターンが移動しているように見えてしまう。 Here, when the cutout start position is randomly changed each time, if the previous cutout position and the current cutout position are close to each other or only shifted in the horizontal or vertical direction, a two-dimensional pattern is obtained as a synthesis result. Appears to move.
そこで、本実施形態では、前回切り出し位置から今回の切り出し位置への移動量が、所定の範囲内にならないように今回の切り出し位置を設定する。 Therefore, in the present embodiment, the current cutout position is set so that the amount of movement from the previous cutout position to the current cutout position does not fall within a predetermined range.
図7を用い、本実施例におけるシステムコントローラ102が切り出し処理部106に対し指示するノイズデータ301の切り出し制御について説明する。この制御は、撮影画像に対してフィルム風のノイズ効果を付加する撮影モードのときに行われる。あるいは、記録メディア212等のメモリに記憶された動画像を連続的に読み出して事後処理として行われる。
With reference to FIG. 7, the clipping control of the
ステップS701では、メモリ109に格納されているノイズデータから上述したように動的な値を利用して今回どの位置から切り出すかの候補値を指示する。切り出したデータをグレインノイズとして合成するため、毎回ランダムに決定し、前回の切り出し位置とは異なる位置とする。指示する今回の切り出し位置が決定するとステップS702へ進む。
In step S701, candidate values to be extracted from this time are instructed from the noise data stored in the
ステップS702では、信号発生器103に指示する駆動タイミング信号に基づき現在の撮像素子100のフレームレート情報を取得する。情報を取得するとステップS703へ進む。
In step S702, the current frame rate information of the
ステップS703では、今回指示されている切り出し位置と一時メモリ(不図示)に保存されている前回の切り出し位置が、どの程度離れた位置にあるかを判定する判定基準値を算出する。フレームレートに同期して合成するグレインノイズの更新を行うため、フレームレートが小さくなるほど、つまり撮像画像の更新周期が長くなるほど、グレインノイズの更新周期も長くなり、見え続ける。そのため、前回の切り出し位置と今回の切り出し位置が近い位置にあると、合成されたグレインノイズが移動しているように見える。そこで、ステップS702で取得したフレームレート情報に応じて、今回指示されている切り出し位置と前回の切り出し位置がどの程度近い位置にあるかを判定する基準(所定値)を変更する。例えば、60fpsのフレームレート(第1のフレームレート)では前回位置を中心として周辺10画素(第1の所定値)以内に今回の位置があった場合に、近い位置であると判定する。一方、30fps(第2のフレームレート)では周辺20画素(第2の所定値)以内に今回の位置があった場合を所定値以下の近い位置であると判定するように判定基準を決定する。判定基準を決定するとステップS704へ進む。 In step S703, a determination reference value for determining how far the cutout position instructed this time is from the previous cutout position stored in the temporary memory (not shown) is calculated. Since the grain noise to be synthesized in synchronism with the frame rate is updated, the grain noise update period becomes longer as the frame rate becomes smaller, that is, the captured image update period becomes longer, and it continues to be seen. Therefore, if the previous cutout position and the current cutout position are close to each other, the synthesized grain noise appears to move. In view of this, the reference (predetermined value) for determining how close the current cutout position is to the previous cutout position is changed according to the frame rate information acquired in step S702. For example, at a frame rate of 60 fps (first frame rate), when the current position is within 10 pixels (first predetermined value) around the previous position, it is determined that the position is close. On the other hand, at 30 fps (second frame rate), the determination criterion is determined so as to determine that the current position is within 20 pixels (second predetermined value) in the vicinity and that the position is close to the predetermined value or less. When the determination criterion is determined, the process proceeds to step S704.
ステップS704では、グレインノイズデータ上の前回のノイズデータの切り出し位置からステップS701で算出した今回の切り出し位置がどの程度変化したかを示す、切り出し位置間の距離を算出する。算出するとステップS705へ進む。 In step S704, a distance between cutout positions is calculated that indicates how much the current cutout position calculated in step S701 has changed from the previous cutout position of the noise data on the grain noise data. If it calculates, it will progress to step S705.
ステップS705では、ステップS704で算出した前回切り出し位置から今回指示されている切り出し位置への距離とステップS703で算出した判定基準との大小を比較する。距離が判定基準より大きい、つまり切り出し位置が前回から今回で大きく変化していると判定した場合は、ステップS707へ進む。一方、距離が判定基準より小さい、つまり切り出し位置が前回から今回で小さく変化していると判定した場合は、ステップS706へ進む。 In step S705, the distance from the previous cutout position calculated in step S704 to the cutout position instructed this time is compared with the determination criterion calculated in step S703. If it is determined that the distance is greater than the criterion, that is, the cutout position has changed significantly from the previous time to this time, the process proceeds to step S707. On the other hand, if it is determined that the distance is smaller than the criterion, that is, the cutout position has changed slightly from the previous time to this time, the process proceeds to step S706.
ステップS706では、ステップS701で算出した今回指示されている切り出し位置の位置情報に対して補正を行う。切り出し位置の位置情報の補正方法については後述する。切り出し位置の位置情報の補正を行うとステップS707へ進む。 In step S706, correction is performed on the position information of the cutout position instructed this time calculated in step S701. A method for correcting the position information of the cutout position will be described later. When the position information of the cutout position is corrected, the process proceeds to step S707.
ステップS707では、ステップS706で補正した切り出し位置の位置情報を次回の切り出し位置の制御で利用するために、一時メモリに保存し、ステップS708へ進む。 In step S707, the position information of the cutout position corrected in step S706 is stored in a temporary memory so as to be used for the next cutout position control, and the process proceeds to step S708.
ステップS708では、ステップS706で補正した切り出し位置を切り出し処理部106へ指示し、処理を終了する。
In step S708, the cutout position corrected in step S706 is instructed to the
次にステップS706における切り出し位置の補正処理について説明する。図8、図9、図10は、メモリ103に格納されているノイズデータ301から切り出し位置の補正を行う場合の補正条件と補正位置を説明する図である。ノイズデータ301の幅と高さがそれぞれW画素、H画素であるとする(W≧4、H≧4)。また、ノイズデータの切り出しは画素単位で行い、左上を切り出し位置の原点(0,0)とする。また、切り出す切り出しノイズデータ302の大きさを幅(W/2)画素、高さ(H/2)画素とする。
Next, the cutout position correction processing in step S706 will be described. 8, 9, and 10 are diagrams illustrating correction conditions and correction positions when correcting the cutout position from the
例えば、図3に示すように、今回の切り出し位置が(X,Y)であった場合に、上記大きさの切り出しノイズデータを切り出す切り出し開始位置(X,Y)は(0≦X<W/2,0≦Y<Y/2)の範囲の領域を指定し得る(図8)。さらに、この切り出し開始位置の指定し得る領域を図8の(a)、(b)、(c)および(d)に示す4つの領域、領域1、2、3および4に分ける。領域1は切り出し位置を(0≦X<W/4,0≦Y<H/4)に含む領域であり、領域2は切り出し位置を(W/4≦X<W/2,0≦Y<H/4)に含む領域である。さらに、領域3が(0≦X<W/4,H/4≦Y<H/2)、領域4が(W/4≦X<W/2,H/4≦Y<H/2)の各範囲で切り出し位置を含む領域である。
For example, as shown in FIG. 3, when the current cutout position is (X, Y), the cutout start position (X, Y) for cutting out the cutout noise data of the above size is (0 ≦ X <W / An area in the range of 2, 0 ≦ Y <Y / 2) can be specified (FIG. 8). Further, the region where the start position of cutout can be specified is divided into four regions,
切り出し位置を補正する場合、前回の切り出し位置で切り出したノイズデータと今回指示されている切り出し位置とで、重複するデータの面積が少なく、さらにその位置が離れている方が合成時のランダム性が向上するため好ましい。そこで、補正制御では今回の切り出し位置が上記領域1〜4のどこにあるかを判定し、その箇所に応じて対角の領域である領域上に切り出し位置を補正する。この時、図9の表に示すように切り出し位置(X,Y)を補正切り出し位置(X’,Y’)に補正する。
When correcting the cutout position, the noise data cut out at the previous cutout position and the cutout position instructed this time have a smaller area of overlapping data, and if the position is farther away, the randomness at the time of synthesis is higher. It is preferable because it improves. Therefore, in the correction control, it is determined where the current cutout position is in the
例えば、今回の切り出し位置が領域1にあった場合、補正後の位置が領域4となるようにすると(図10 1003)、領域2、領域3に移動した場合(図10 1001、1002)に比べ、切り出されたノイズデータが重複する面積が少なくなる。その結果、ノイズデータの移動が目立ちにくくなり、グレインノイズの時間的なランダム性が向上する。
For example, if the current cut-out position is in
以上のように、第1の実施形態では、2次元ノイズデータから、任意の範囲を撮像画像の更新に合わせて毎回ランダムに切り出し、これを撮像画像と合成する。これにより、動画像であっても粒状ノイズが付加された画像を生成することが可能となる。また、ランダムに決めた切り出し位置が前回と所定範囲内の近い位置にあったとしても、その位置を所定範囲外に補正することで、ノイズのランダム性を確保することを可能としている。本実施形態では、特許文献に比べ、すでに読み込まれているデータから所定大きさのデータを切り出すだけでノイズデータの生成が可能であり、生成に要する時間を短縮することが可能である。 As described above, in the first embodiment, an arbitrary range is randomly extracted from the two-dimensional noise data every time the captured image is updated, and this is combined with the captured image. Thereby, it is possible to generate an image to which granular noise is added even if it is a moving image. Further, even if the randomly determined cut-out position is close to the previous range within the predetermined range, the randomness of the noise can be ensured by correcting the position outside the predetermined range. In this embodiment, compared to patent literature, noise data can be generated simply by cutting out data of a predetermined size from already read data, and the time required for generation can be reduced.
さらに、ノイズデータの今回の切り出し位置が前回の切り出し位置と比較して、位置の変化が少なく、近い位置である場合には、今回の切り出し位置を変更することで、切り出したノイズデータが移動して見えることを防ぎ、ノイズのランダム性が向上する。 Furthermore, if the current cut position of the noise data is nearer than the previous cut position, the cut noise data moves by changing the current cut position. Noise randomness is improved.
本実施形態では、グレインノイズデータ301(幅W、高さH)に対して切り出しノイズデータの大きさを幅(W/2)画素、高さ(H/2)画素とした。しかしグレインノイズデータに対する切り出しノイズデータの大きさとしてはこれに限らず、グレインノイズデータの大きさを超えるものでなければ本実施形態に比べて大きくても小さくてもよい。ただし、切り出しノイズデータの大きさが大きくなるとそれだけランダム性が損なわれやすく、小さいと必要な切り出しノイズデータの大きさに対してグレインノイズデータ301を大きく持ちすぎているため、メモリの容量を食ってしまう。そこで本実施形態では、ノイズデータ301と切り出しノイズデータの大きさの比を4:1程度にし、さらに開始位置が近くならないよう制御する本実施形態の処理を入れることで、ノイズのランダム性の確保とメモリ容量の節約の両方をより好適に実現している。
In the present embodiment, the size of the cut-out noise data with respect to the grain noise data 301 (width W, height H) is set to width (W / 2) pixels and height (H / 2) pixels. However, the size of the cut-out noise data with respect to the grain noise data is not limited to this, and may be larger or smaller than this embodiment as long as it does not exceed the size of the grain noise data. However, if the size of the cut-out noise data is increased, the randomness is easily lost. If the size is small, the
また、本実施形態では、切り出し開始位置のとり得る領域を4つに分割したが、分割数、分割面積の割り振りとしてはこれに限定されない。 In this embodiment, the area where the cutout start position can be divided is divided into four. However, the allocation of the number of divisions and the divided areas is not limited to this.
また、本実施形態では、今回と前回の切り出し位置間の距離が所定値以下であるかどうかを判定し、所定値以下であった場合に、上記のような切り出し開始位置の領域を移動する補正を行った。しかし、補正方法についてはこれに限らず、単に今回と前回の切り出し位置間の距離が所定値より大きくなる距離以上に座標移動をさせるようにしてもよい。すなわち、60fpsのフレームレートで所定値が周辺10画素であった場合、周辺11画素以上になるように位置(座標)を変更してもよい。また、そもそも初めから今回の開始位置の指定の際に、周辺10画素以内の座標を候補からはずしてランダムに指定させてもよい。 Further, in the present embodiment, it is determined whether the distance between the current and previous cutout positions is equal to or smaller than a predetermined value, and when the distance is equal to or smaller than the predetermined value, correction for moving the region of the cutout start position as described above is performed. Went. However, the correction method is not limited to this, and the coordinate may be simply moved beyond the distance at which the distance between the current and previous cutout positions is greater than a predetermined value. That is, when the predetermined value is 10 pixels around at a frame rate of 60 fps, the position (coordinates) may be changed so that it becomes 11 pixels or more around. In the first place, when designating the start position of this time from the beginning, coordinates within 10 pixels in the vicinity may be removed from the candidates and designated at random.
また、本実施形態では、今回と前回の切り出し位置間の距離が所定値以下であるかどうかを判定し、所定値以下にあった場合に、上記のような切り出し開始位置の領域を移動する補正を行った。しかし、切り出し開始位置の判定方法についてはこれに限らず、今回と前回の切り出し位置の属する領域を判定し(図8の領域1、2、3、4いずれの領域に属しているか)、同じ領域に属していた場合、異なる領域に移動させるように補正してもよい。このとき領域の移動を対角の領域にすると本実施形態のように前回と今回の切り出し領域の重なる領域がより小さくなり好ましい。さらに、本判定方法と今回と前回の切り出し位置間の距離が所定値以下であるか否かを判定する方法とを組み合わせて判定を行うと領域の境界近傍に開始位置があった場合にも有効な判定が可能となる。
Further, in this embodiment, it is determined whether the distance between the current and previous cutout positions is equal to or less than a predetermined value, and when the distance is equal to or less than the predetermined value, the correction for moving the cutout start position area as described above is performed. Went. However, the method for determining the cutout start position is not limited to this, and the area to which the current and previous cutout positions belong is determined (whether it belongs to any of the
<第2の実施形態>
本実施形態では、フィルム調の効果としてフィルムに傷がついた効果を与えるために縦線状ノイズであるスクラッチ傷を画像に付加することが可能な画像処理装置を示す。図5、図6は、本実施形態におけるスクラッチ傷のノイズデータの切り出しと合成について説明する。図5は複数パターンのスクラッチ傷で構成されているノイズデータとそこから切り出すノイズデータの関係を示した図である。スクラッチ傷ノイズデータ501は水平方向の1画素を最小単位とし、垂直方向にスクラッチ傷が記憶されており、その強度は乱数で決定されている。また垂直方向は複数画素を最小単位として強度が変化しており、これにより、垂直方向にスクラッチ傷の濃さや太さが変化し、傷の「かすれ」を表現する。乱数はガウス分布をはじめとして様々なものが考えられるが、その種類には依らない。
<Second Embodiment>
In the present embodiment, an image processing apparatus capable of adding a scratch to the image, which is vertical line noise, in order to give an effect of scratching the film as a film-like effect is shown. 5 and 6 explain the extraction and synthesis of noise data for scratches in the present embodiment. FIG. 5 is a diagram showing a relationship between noise data composed of a plurality of patterns of scratches and noise data cut out therefrom. Scratch
図6は切り出したスクラッチ傷と撮像画像の合成の概念を示した図である。本実施形態では、図5のようなスクラッチ傷ノイズデータ501から切り出しノイズデータ502を切り出し、所定の画像サイズにリサイズして貼り付けノイズデータ602を生成する。そして前回までの貼り付けノイズデータ602の貼り付け位置とその位置での貼り付けの継続時間に応じて今回の貼り付けノイズデータ602の貼り付け位置を決定し、貼り付ける。
FIG. 6 is a diagram showing the concept of combining the cut scratch and the captured image. In the present embodiment, the cut-out
図2は第2の実施形態としての画像処理装置としてのデジタルビデオカメラのブロック図である。撮像素子200は結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部201へ入力される。カメラ信号処理部201では光電変換された信号に対し各種の画像処理を行い映像信号へ変換し出力する。出力された映像信号はエンコーダ部211で所定の記録フォーマットで符号化され、記録メディア212へ記録される。
FIG. 2 is a block diagram of a digital video camera as an image processing apparatus according to the second embodiment. The
次にカメラ信号処理部201での信号処理について説明する。カメラ信号処理部201へ入力した信号はまず、画像処理部204で第1の実施形態と同様に各種信号処理が行われる。処理後の信号は撮像画像としてフレームメモリ209へ格納される。
Next, signal processing in the camera
210は複数のパターンから構成されているスクラッチ傷のノイズデータ501を格納しているメモリである。ノイズデータ501はメモリ210から読み出される。切り出し処理部206はノイズデータ501上の指定された位置と大きさのスクラッチ傷のノイズデータ502を切り出す。切り出したノイズデータ502は拡大処理部207で撮像画像601との合成に必要な大きさのノイズデータ602にリサイズ処理される。貼り付け処理部208は切り出し位置に依らない任意の位置でノイズデータ602を合成するための貼り付け位置の指定を行う。
A memory 210 stores scratch
合成処理部205は所定のタイミングでフレームメモリ209に格納されている撮像画像601と貼り付け処理部208で処理されたノイズデータ602を読み出し、合成を行い、合成画像を出力する。
The
信号発生器(SG)203は撮像素子200の駆動タイミングを制御する信号を発生する信号発生器である。発生した信号は撮像素子200とシステムコントローラ202に供給される。
A signal generator (SG) 203 is a signal generator that generates a signal for controlling the drive timing of the
システムコントローラ202は、撮像素子200とカメラ信号処理部201で構成されるカメラブロックの制御を行う。撮像素子200に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。画像処理部204に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。合成処理部205に対しては、合成対象となるフレームメモリの指定、合成比率の指定および合成タイミングの指示を行う。切り出し処理部206に対しては、スクラッチ傷を生成するために、メモリ210から読み出しを行うタイミングの指示、切り出し位置と大きさの指示を行う。拡大処理部207に対しては、リサイズ時の大きさの指示を行う。貼り付け処理部208に対しては、合成時の貼り付け位置の指示を行う。信号発生器203に対しては、撮像素子200を駆動する駆動タイミングの指示を行う。
A
次に図11、図12を用い、本実施例におけるシステムコントローラ202が貼り付け処理部208に対し指示する貼り付けノイズデータ602の貼り付け制御について説明する。この制御は、撮影画像に対してスクラッチ傷が付加されているかのような画像処理を施す撮影モードのときに行われる。あるいは、記録メディア212等のメモリに記憶された動画像を連続的に読み出して事後処理として行われる。本処理は、垂直同期信号に連動して開始され、同期信号によって一連の処理が繰り返されることになる。
Next, the pasting control of the pasting noise data 602 instructed by the
ステップS1101では、一時メモリ(不図示)に保存されているスクラッチ傷が撮像画像に重畳している時間を計測するカウンタである重畳カウンタ(第1の検出手段)の値が、重畳の目標時間(第1の所定時間)に達しているか否かを判定する。目標時間に達していなければステップS1108へ進む。一方、達している場合はステップS1102へ進む。ここで、重畳の目標時間とは、撮影画像に対して同一のスクラッチ傷をどれくらいの時間続けて表示してよいかを決める時間であり、各種条件によって定めてよいし、ユーザが決めてもよい。 In step S1101, the value of the superimposition counter (first detection means), which is a counter that measures the time during which the scratches stored in the temporary memory (not shown) are superimposed on the captured image, is set to the superimposition target time (first detection means). It is determined whether or not the first predetermined time has been reached. If the target time has not been reached, the process proceeds to step S1108. On the other hand, if it has reached, the process proceeds to step S1102. Here, the target time for superimposition is a time for determining how long the same scratches can be continuously displayed on the captured image, and may be determined according to various conditions or may be determined by the user. .
ステップS1102では、目標時間に達した重畳カウンタを初期状態にクリアし、ステップS1103へ進む。 In step S1102, the superposition counter that has reached the target time is cleared to the initial state, and the process proceeds to step S1103.
ステップS1103では、メモリ210に格納されているノイズデータから取り出したスクラッチ傷を今回重畳するか否かの有無を取得する。例えば、スクラッチ傷をランダムに重畳するために乱数発生手段から無作為に得た値を有無情報としてもよい。有無情報を取得するとステップS1104へ進む。 In step S1103, it is acquired whether or not this time scratch scratches extracted from the noise data stored in the memory 210 are to be superimposed. For example, the presence / absence information may be a value randomly obtained from random number generation means in order to randomly superimpose scratches. When the presence / absence information is acquired, the process proceeds to step S1104.
ステップS1104では、ステップS1103で得た有無情報が重畳有りか否かの判定を行う。判定結果は一時メモリに保存される。有無情報は二値で定義されてもよいし、例えば、乱数発生手段から得た値であれば、その値が所定のしきい値より大きければ重畳有り、逆にしきい値以下であれば重畳無しと決定する。時間変化で見えると、ステップS1104の処理が実行されることで、図12に示すように所定フレーム毎に重畳有りと重畳無しの期間がランダムに発生する。本実施形態では、1フレーム毎に重畳の有無を決定するものとする。判定の結果、重畳有りと判定した場合は、ステップS1105へ進む。一方で重畳無しと判定した場合はステップS1121へ進む。 In step S1104, it is determined whether the presence / absence information obtained in step S1103 is superimposed. The determination result is stored in a temporary memory. Presence / absence information may be defined as a binary value. For example, if it is a value obtained from random number generation means, superimposition is present if the value is greater than a predetermined threshold, and conversely if there is less than the threshold. And decide. If it looks as a time change, the process of step S1104 is executed, and as shown in FIG. 12, periods with and without superimposition occur randomly for each predetermined frame. In the present embodiment, the presence / absence of superposition is determined for each frame. As a result of the determination, if it is determined that there is superposition, the process proceeds to step S1105. On the other hand, if it is determined that there is no overlap, the process proceeds to step S1121.
ステップS1105では、メモリ210に格納されているスクラッチ傷ノイズデータ501から、切り出しノイズデータ502の切り出し開始位置、切り出しの幅、高さを決定する。これらが変わることで、重畳するスクラッチ傷のパターン(長さ、強度、本数など)が変わる。そのため毎回異なる開始位置から切り出しを行うように、乱数発生手段を用いて決定してもよい。切り出し位置を算出するとステップS1106へ進む。
In step S <b> 1105, the cut start position, the cut width, and the height of the
ステップS1106では、ステップS1105で決定した切り出し位置を切り出し処理部206へ指示し、ステップS1107へ進む。
In step S1106, the cutout position determined in step S1105 is instructed to the
ステップS1107では、重畳の目標時間を決定して一時メモリへ保存した後、ステップS1108へ進む。 In step S1107, the superimposition target time is determined and stored in the temporary memory, and then the process proceeds to step S1108.
ステップS1108では、重畳カウンタの加算(インクリメント)を行い、ステップS1109へ進む。 In step S1108, addition (increment) of the superposition counter is performed, and the process proceeds to step S1109.
ステップS1109では、スクラッチ傷の重畳無しの状態から有りの状態と判定されてからの経過時間を計測するために重畳継続カウンタ(第2の検出手段)の加算を行い、ステップS1110へ進む。 In step S1109, a superposition continuation counter (second detection means) is added to measure the elapsed time since it is determined that there is no scratch scratch superposition, and the flow proceeds to step S1110.
ステップS1110では、切り出し処理部206で切り出されたノイズデータを今回撮像された画像上のどの位置に合成して貼り付けるかの貼り付け位置を決定する。貼り付け位置は合成のタイミングによってランダムな貼り付け位置とする。例えば乱数発生手段を用い、貼り付け位置を取得すると、合成の都度、画面上の異なる位置にスクラッチ傷が重畳され、ランダムノイズに見える。貼り付け位置を取得するとステップS1111へ進む。
In step S1110, the position where the noise data cut out by the cut-
ステップS1111では、信号発生器203に指示する駆動タイミング信号に基づき現在の撮像素子200のフレームレート情報を取得する。情報を取得するとステップS1112へ進む。
In step S1111, the current frame rate information of the
ステップS1112では、今回の貼り付け位置と前回の貼り付け位置がどの程度離れた位置にあるかを判定する判定基準値(所定値)を算出する。フレームレートに同期して、合成するスクラッチ傷の更新を行うため、フレームレートが小さくなるほどつまり撮像画像の更新周期が長くなるほど、スクラッチ傷の更新周期も長くなり、見え続ける。前回の貼り付け位置と今回の貼り付け位置の距離が大きいと、合成されたスクラッチ傷が移動しているように見えてしまう。そこで、ステップS1111で取得したフレームレート情報に応じて、今回と前回の貼り付け位置がどの程度遠い位置にあるかを判定する基準を変更する。例えば、60fpsのフレームレート(第1のフレームレート)では前回位置を中心として水平前後10画素(第1の所定値)より遠い位置に今回の位置があった場合に、所定値より大きい、遠い位置であると判定する。一方、30fps(第2のフレームレート)では水平前後20画素(第2の所定値)より遠い位置に今回の位置があった場合を所定値より大きい、遠い位置であると判定するように判定基準を変更する。判定基準を決定するとステップS1113へ進む。 In step S1112, a determination reference value (predetermined value) for determining how far the current pasting position and the previous pasting position are located is calculated. Since the scratch scratch to be synthesized is updated in synchronization with the frame rate, the scratch scratch update cycle becomes longer as the frame rate decreases, that is, the captured image update cycle becomes longer, and the scratch scratch continues to be seen. If the distance between the previous pasting position and the current pasting position is large, the combined scratches appear to move. Therefore, the criterion for determining how far the current and previous pasting positions are is changed according to the frame rate information acquired in step S1111. For example, at a frame rate of 60 fps (first frame rate), when the current position is at a position farther than 10 pixels (first predetermined value) before and after the horizontal position with the previous position as the center, a far position that is larger than the predetermined value. It is determined that On the other hand, at 30 fps (second frame rate), the criterion is such that if the current position is farther than 20 pixels before and after the horizontal (second predetermined value), it is determined that the position is farther than the predetermined value. To change. When the determination criterion is determined, the process proceeds to step S1113.
ステップS1113では、前回のノイズデータの貼り付け位置からステップS1110で算出した今回の貼り付け位置がどの程度移動したかの距離を算出する。算出するとステップS1114へ進む。 In step S1113, the distance of how much the current pasting position calculated in step S1110 has moved from the previous pasting position of the noise data is calculated. If it calculates, it will progress to step S1114.
ステップS1114では、ステップS1113で算出した貼り付け位置間の距離とステップS1113で算出した判定基準との大小を比較する。距離が判定基準(所定値)より大きい、つまり貼り付け位置が前回から今回で大きく変化していると判定した場合は、ステップS1116へ進む。一方、距離が判定基準より小さい、つまり貼り付け位置が前回から今回で小さく変化していると判定した場合は、ステップS1115へ進む。 In step S1114, the distance between the pasting positions calculated in step S1113 is compared with the determination criterion calculated in step S1113. If it is determined that the distance is greater than the criterion (predetermined value), that is, the pasting position has changed significantly from the previous time to this time, the process proceeds to step S1116. On the other hand, if it is determined that the distance is smaller than the criterion, that is, the pasting position has changed slightly from the previous time to this time, the process proceeds to step S1115.
ステップS1115では、あらかじめ規定されている重畳継続カウンタ上限値(第2の所定時間)を大きくなるように変更する。変更するとステップS1117へ進む。 In step S1115, the superposition continuation counter upper limit value (second predetermined time) defined in advance is changed to be larger. If it changes, it will progress to step S1117.
ステップS1116では、あらかじめ規定されている重畳継続カウンタ上限値を小さくなるように変更する。変更するとステップS1117へ進む。 In step S1116, the superposition continuation counter upper limit value specified in advance is changed to be smaller. If it changes, it will progress to step S1117.
ステップS1117では、重畳継続カウンタ上限値と一時メモリに保存されている重畳継続カウンタの値を比較する。重畳継続カウンタが上限に達した場合はステップS1122へ進む。一方、上限に達していない場合はステップS1118へ進む。 In step S1117, the superposition continuation counter upper limit value is compared with the value of the superposition continuation counter stored in the temporary memory. If the superposition continuation counter reaches the upper limit, the process proceeds to step S1122. On the other hand, if the upper limit has not been reached, the process proceeds to step S1118.
ステップS1118では、決定した今回の貼り付け位置を一時メモリに保存し、次回の制御に利用する。保存を行うとステップS1119へ進む。 In step S1118, the determined pasting position is stored in a temporary memory and used for the next control. If it preserve | saves, it will progress to step S1119.
ステップS1119では、今回の貼り付け位置を貼り付け処理部208に対して指示する。指示を行うと、ステップS1120へ進む。
In step S 1119, the current paste position is instructed to the
ステップS1120では、合成処理部205に対して貼り付け指示されたスクラッチ傷と撮像画像の重畳を有効とする指示を行う。重畳を有効にすると、制御を終了する。
In step S1120, the
ステップS1121では、一時メモリに保存されている重畳継続カウンタの値を初期状態にクリアし、保存を行う。保存が終了するとステップS1122へ進む。 In step S1121, the value of the superposition continuation counter stored in the temporary memory is cleared to the initial state and stored. When the storage ends, the process proceeds to step S1122.
ステップS1122では、合成処理部205に対して貼り付け指示されたスクラッチ傷と撮像画像の重畳の無効を指示する。無効にする方法は、合成処理そのものを行わず撮像画像のみを出力する方法でもよいし、合成処理は行うが、撮像画像に対するスクラッチ傷の合成比率を下げて、撮像画像のみが出力される方法でもよく、その実現手段はどのようなものであってもよい。重畳を無効にすると、制御を終了する。
In step S <b> 1122, the
第2の実施形態では、あらかじめ記憶手段に記憶しておいた複数のパターンのスクラッチ傷で構成されるノイズデータから、任意の位置を撮像画像の更新に合わせて毎回ランダムに切り出し、これを撮像画像と任意の位置で合成する。これにより、時間的と空間的にランダムに発生し、移動するスクラッチ傷を動画像に付加することが可能となる。 In the second embodiment, an arbitrary position is randomly extracted every time in accordance with the update of the captured image from the noise data composed of a plurality of patterns of scratches stored in advance in the storage unit, and this is captured image And at any position. As a result, it is possible to add to the moving image scratch scratches that occur randomly and temporally and spatially.
さらに、スクラッチ傷の付加が一定期間以上継続した場合に、ノイズデータの今回の貼り付け位置と前回の貼り付け位置とを比較する。このとき、位置の移動が大きく遠い位置へのスクラッチ傷の付加を制限することで、実際のスクラッチ傷の発生に近い動作を実現することが可能となる。 Furthermore, when the addition of scratches continues for a certain period or longer, the current pasting position of noise data is compared with the previous pasting position. At this time, it is possible to realize an operation close to the actual occurrence of scratches by restricting the addition of scratches to a position where the movement of the position is far away.
また、上述の第1および第2の実施形態では、グレインノイズの切り出し位置の変更制御およびスクラッチ傷の付加の無効制御は、動画像のフレームレートに依存してグレインノイズの変更条件およびスクラッチ傷の無効条件を変更した。しかし、ノイズデータの合成比率が小さい場合は、合成後の画像においてノイズ成分が視認されにくい。そのため、グレインノイズの切り出し制御において、今回の切り出し位置が前回の位置の近くであったとしても、パターンが移動しているように認識されにくい。 In the first and second embodiments described above, the grain noise cut-out position change control and the scratch scratch addition invalidity control depend on the frame rate of the moving image, and the grain noise change condition and the scratch damage control. The invalid condition was changed. However, when the synthesis ratio of noise data is small, it is difficult for the noise component to be visually recognized in the synthesized image. Therefore, in the grain noise cut-out control, even if the current cut-out position is near the previous position, it is difficult to recognize the pattern as moving.
そこで、合成における撮像画像とノイズデータの合成比率の設定をユーザーによる操作あるいは自動で変更できる場合は、ノイズデータの合成比率に応じた条件の変更が可能であることは言うまでもない。すなわち、撮像画像に対するノイズデータの合成比率が小さいほど、所定値は大きくすることができる。 Therefore, it goes without saying that if the setting of the composite ratio of the captured image and noise data in the synthesis can be changed by a user operation or automatically, the condition can be changed according to the synthesis ratio of the noise data. That is, the smaller the synthesis ratio of noise data to the captured image is, the larger the predetermined value can be.
また、上述の第1および第2の実施形態では、デジタルビデオカメラの動画像撮影時動作でグレインノイズおよびスクラッチ傷を付加する場合について述べた。しかし、本発明は動画像撮影に限られるものではなく、静止画像撮影において連写撮影で、各撮影時に異なるパターンのグレインノイズを付加する場合に用いることも可能である。また動画像あるいは静止画像の再生において、フィルム撮影の効果を付加する場合に利用することが可能であることも言うまでもない。 In the first and second embodiments described above, the case where grain noise and scratches are added in the moving image shooting operation of the digital video camera has been described. However, the present invention is not limited to moving image shooting, and can be used for continuous shooting in still image shooting and adding different patterns of grain noise during each shooting. Needless to say, it can be used to add the effect of film shooting in the reproduction of moving images or still images.
<第3の実施形態>
本実施形態では、フィルム風の効果としてフィルムを映写機に掛けて再生した場合に発生する映像の上下ぶれを画像に与えることが可能な画像処理装置を示す。図14、図15は本実施形態における上下ぶれを実現するためのフレームメモリからの画像切り出しと、切り出しによるノイズ(画像情報がないデータ)を隠蔽する処理について説明している。
<Third Embodiment>
In the present embodiment, an image processing apparatus capable of giving an image an up-and-down shake of a video generated when a film is played on a projector as a film-like effect is shown. FIG. 14 and FIG. 15 explain the image cut-out from the frame memory and the process of concealing the noise (data without image information) due to the cut-out in order to realize the vertical shake in this embodiment.
図14は撮像素子で撮像した撮像画像が格納されているフレームメモリ内のデータの構造とフレームメモリから指定された位置で切り出しを行った場合に表示される画像を示した図である。フレームメモリ内のデータは逐次更新されている。撮像画像の前後の領域には別の用途のデータが格納されているが、撮像画像データとしてはノイズデータ(画像情報がないデータ)と見なせる。格納されている撮像画像は所定の切り出し開始位置で、かつ所定の切り出し範囲で切り出しを行うと、表示画像1400として出力される。切り出し開始位置を乱数で決定することで、異なる位置から切り出しを行うことができ、上下ぶれの発生した撮像画像を表示画像1401、1402のように出力することが可能である。切り出し開始位置は画像の垂直方向の1画素分つまり1ライン分を最小単位として決定される。
FIG. 14 is a diagram showing the structure of data in the frame memory in which the captured image captured by the image sensor is stored and the image displayed when clipping is performed at a position specified from the frame memory. Data in the frame memory is updated sequentially. Although data for other purposes is stored in the areas before and after the captured image, the captured image data can be regarded as noise data (data without image information). The stored captured image is output as a
また、切り出し開始位置を決定する乱数は、ガウス分布をはじめとして様々なものが考えられるが、その種類には依らない。 In addition, various random numbers, such as a Gaussian distribution, are conceivable as the random number for determining the cutout start position, but it does not depend on the type.
また、上下ぶれ量すなわち、ぶれがない状態を基準位置として、基準位置から切り出し開始位置までのオフセット量に上限を設けることで、一定量以上のぶれが発生しないようにしている。 In addition, by setting an upper limit on the amount of vertical shake, that is, a state where there is no shake as a reference position, an upper limit is set for the offset amount from the reference position to the cutout start position, so that a certain amount of shake does not occur.
また、異なる周期で決定した二つの上下ぶれ量の和をオフセット量とし、オフセット量の分だけ画像の読み出し開始位置を左上端からずらし、切り出し開始位置とする。こうすることで、フィルムの送出動作で発生する上下ぶれとフィルムの巻き取り動作で発生する上下ぶれのように異なる種類のぶれの組み合わせとして構成される上下ぶれを表現することが可能である。 Also, the sum of the two upper and lower shake amounts determined at different periods is used as an offset amount, and the image reading start position is shifted from the upper left corner by the amount of the offset amount, and is set as the cutout start position. By doing so, it is possible to express the vertical blur configured as a combination of different types of blur such as the vertical blur generated in the film feeding operation and the vertical blur generated in the film winding operation.
図15は、上下ぶれの効果を付加した際に発生するノイズデータの隠蔽方法を示した図である。上下ぶれの無い撮像画像1500に対し、任意の上下ぶれが発生した撮像画像1501、1505には画面下部にノイズデータが表示される。隠蔽方法として例えば、マスクを付加する方法、あるいは拡大する方法が考えられる。
FIG. 15 is a diagram illustrating a method for concealing noise data generated when the effect of vertical shake is added. Noise data is displayed at the lower part of the screen in the captured
マスクを付加する方法では、撮像画像1504に対し、上下ぶれの最大ぶれ幅(最大のオフセット量)以上となるマスク画像1503を画面下部に重畳しノイズデータを隠す。この時、画面上部にも同じ大きさのマスク画像を重畳することで、いわゆるレターボックス状態のアスペクト比の撮像画像1502を表示することができる。
In the method of adding a mask, a
一方、拡大する方法では、上下ぶれの最大ぶれ幅を含まない領域1506に対し、領域1506の高さが画面高に等しくなるように、かつ画面のアスペクト比を維持して拡大を行うことで、表示画像1507として表示することができる。
On the other hand, in the method of enlarging, by enlarging the
図13は第3の実施形態としての画像処理装置としてのデジタルビデオカメラのブロック図である。撮像素子1300は結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部1301へ入力される。カメラ信号処理部1301では光電変換された信号に対し各種の画像処理を行い映像信号へ変換し出力する。出力された映像信号はエンコーダ部1311で所定の記録フォーマットで符号化され、記録メディア1312へ記録される。
FIG. 13 is a block diagram of a digital video camera as an image processing apparatus according to the third embodiment. The
次にカメラ信号処理部1301での信号処理について説明する。カメラ信号処理部1301へ入力した信号はまず、画像処理部1304で第1の実施形態と同様に各種信号処理が行われる。処理後の信号は撮像画像として第1のフレームメモリ1305へ格納される。
Next, signal processing in the camera
切り出し処理部1306は上下ぶれの効果を与えるために第1のフレームメモリ1305から予め定められたオフセット量の上限値で任意の位置の切り出しを行う。
The
1308は切り出し処理により発生するノイズデータを隠すためのマスク画像を格納している第2のフレームメモリである。マスク処理部1307は上下ぶれの最大幅以上となるマスク画像を生成し、第2のフレームメモリ1308へ格納する。
合成処理部1309は所定のタイミングで第1のフレームメモリ1305に格納されている撮像画像1504と、マスク処理部1307で生成され第2のフレームメモリ1308に格納されているマスク画像1304とを読み出し、合成を行い、合成画像を出力する。
The
信号発生器(SG)1303は撮像素子1300の駆動タイミングを制御する信号を発生する信号発生器である。発生した信号は撮像素子1300とシステムコントローラ1302に供給される。
A signal generator (SG) 1303 is a signal generator that generates a signal for controlling the drive timing of the
システムコントローラ1302は、撮像素子1300とカメラ信号処理部1301で構成されるカメラブロックの制御を行う。撮像素子1300に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。画像処理部1304に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。合成処理部1309に対しては、合成対象となるフレームメモリの指定、合成タイミングの指示を行う。切り出し処理部1306に対しては、第1のフレームメモリ1305から読み出しを行うタイミングの指示、切り出し位置の指示を行う。マスク処理部1307に対しては、重畳するマスクの大きさ、色の指示、動作開始および解除指示を行う。信号発生器1303に対しては、撮像素子1300を駆動する駆動タイミングの指示を行う。
A
次に図16、図17を用い、本実施例におけるシステムコントローラ1302が切り出し処理部1306、マスク処理部1307に対し指示し、各部が動作する撮像画像の切り出し処理およびマスク処理のフローチャートについて説明する。この制御は、撮影画像に対して上下ぶれが付加されているかのような画像処理を施す撮影モードのときに行われる。あるいは、記録メディア1312等のメモリに記憶された動画像を連続的に読み出して事後処理として行われる。本処理は、垂直同期信号に連動して開始され、同期信号によって一連の処理が繰り返されることになる。本実施形態では、上下ぶれを付加するか否かをユーザによる手動あるいはシーン判別等により自動で切り換えることができる。上下ぶれを付加する場合、ノイズデータが見えてしまわないように、マスク→上下ぶれの順に処理をかけ、上下ぶれの付加をやめる場合には逆に上下ぶれ停止→マスク解除の順にかけるようにする。
Next, with reference to FIGS. 16 and 17, a flowchart of the cutout process and the mask process of the captured image in which the
ステップS1601では、上下ぶれの停止要求の制御を行う。撮影モード情報等、動作状態を取得し、上下ぶれが必要な撮影モードから不要な撮影モードに遷移したことを検出した場合は停止要求を発行し、ステップS1609へ進む。そうでない場合はステップS1602へ進む。 In step S1601, the control of the vertical shake stop request is performed. If the operating state such as the shooting mode information is acquired and it is detected that the shooting mode has changed from the shooting mode that requires up / down shaking to the unnecessary shooting mode, a stop request is issued, and the process proceeds to step S1609. Otherwise, the process proceeds to step S1602.
ステップS1602では、上下ぶれの発生要求の制御を行う。撮影モード情報等、動作状態を取得し、上下ぶれが不要な撮影モードから必要な撮影モードに遷移したことを検出した場合は発生要求を発行し、ステップS1603へ進む。そうでない場合はステップS1612へ進む。 In step S1602, the occurrence request for vertical shake is controlled. When the operating state such as the shooting mode information is acquired and it is detected that the shooting mode has changed from the shooting mode that does not require vertical shaking, a generation request is issued, and the process proceeds to step S1603. Otherwise, the process proceeds to step S1612.
ステップS1603では、上下ぶれの動作状態を「発生」に設定する。状態が「発生」の場合、上下ぶれの制御が可能となる。設定が完了するとステップS1604へ進む。 In step S1603, the operation state of the vertical shake is set to “occurrence”. When the state is “occurrence”, it is possible to control vertical movement. When the setting is completed, the process proceeds to step S1604.
ステップS1604では、上下に付加するマスクの動作状態を判定する。判定の結果「付加」である場合は、ステップS1605へ進み、「付加」でなく「解除」である場合はステップS1607へ進む。 In step S1604, the operating state of the mask to be added vertically is determined. If the result of determination is “addition”, the process proceeds to step S1605, and if it is “release” instead of “addition”, the process proceeds to step S1607.
ステップS1605では、上下ぶれのぶれ量を決定する。ぶれ量はランダムに決定される値であり、例えば乱数発生手段から得た値に対し、
X=Xmax×(r/R)
の式で決定してもよい。ここでXはぶれ量、Xmaxは最大ぶれ量、rは乱数発生手段から得た値、Rは乱数発生手段が出力する最大値である。
In step S1605, the amount of vertical shake is determined. The amount of blur is a value determined randomly, for example, for the value obtained from the random number generator,
X = Xmax × (r / R)
It may be determined by the following formula. Here, X is a shake amount, Xmax is a maximum shake amount, r is a value obtained from the random number generation means, and R is a maximum value output from the random number generation means.
また、上述したように複数の異なる種類のぶれを組み合わせることも可能である。例えば第1のぶれとして、短周期で変化するがぶれ量の少ないぶれと、第2のぶれとして、長周期で変化するが、ぶれ量の多いぶれの組み合わせを考える。第1のぶれの時間変化は図17の1701に、同様に第2のぶれの時間変化は図17の1702に示される。この時、2つのぶれの組み合わせである第1と第2のぶれ量の時間変化の和は図17の1703に示される。この時、ぶれ量Xは乱数発生手段から得た値に対し、
X=Xmax1 ×(r1/R1)+Xmax2 ×(r2/R2)
の式で決定してもよい。ここでXmax1は第1のぶれ量変化における最大ぶれ量、Xmax2は第2のぶれ量変化における最大ぶれ量、r1、r2は第1、第2のぶれ量として乱数発生手段から得た値、R1、R2は乱数発生手段が出力する最大値である。
Also, as described above, a plurality of different types of blur can be combined. For example, a combination of a shake that changes in a short period but a small amount of blur as the first shake and a shake that changes in a long period but a large amount of shake as the second shake is considered. The time variation of the first shake is indicated by 1701 in FIG. 17, and similarly, the time change of the second shake is indicated by 1702 in FIG. At this time, the sum of the temporal changes of the first and second shake amounts, which is a combination of the two shakes, is shown by 1703 in FIG. At this time, the shake amount X is a value obtained from the random number generation means,
X = Xmax1 * (r1 / R1) + Xmax2 * (r2 / R2)
It may be determined by the following formula. Here, Xmax1 is the maximum shake amount in the first shake amount change, Xmax2 is the maximum shake amount in the second shake amount change, r1 and r2 are values obtained from the random number generator as the first and second shake amounts, and R1 , R2 is the maximum value output by the random number generating means.
ステップS1605でぶれ量を決定するとステップS1606へ進む。 If the shake amount is determined in step S1605, the process proceeds to step S1606.
ステップS1606では、ステップS1605で決定したぶれ量から、フレームメモリ内に格納されている撮像画像の切り出し開始位置を算出する。算出が終わると制御を終了する。 In step S1606, the cutout start position of the captured image stored in the frame memory is calculated from the amount of blur determined in step S1605. When the calculation is finished, the control is finished.
ステップS1607では、上下ぶれ発生時に見える画面下部のノイズデータを隠蔽するマスク画像の付加をマスク処理部1307に実行させる。この際、マスク画像の大きさを示す大きさ情報をマスク処理部1307に指示する。マスク画像の付加が終わるとステップS1608へ進む。
In step S1607, the
ステップS1608では、マスクの動作状態を「付加」に設定し、制御を終了する。 In step S1608, the operation state of the mask is set to “addition”, and the control ends.
ステップS1609では、上下ぶれの動作状態を判定する。状態が「停止」の場合、ステップS1610へ進み、状態が「発生」の場合はステップS1612へ進む。 In step S1609, the operating state of the vertical shake is determined. If the state is “stop”, the process proceeds to step S1610. If the state is “occurrence”, the process proceeds to step S1612.
ステップS1610では、上下ぶれ発生時に見える画面下部のノイズデータを隠蔽するマスク画像の付加の解除をマスク処理部1307に対し指示する。指示する情報はマスク画像の重畳を無効とする重畳無効情報である。指示が終わるとステップS1611へ進む。
In step S1610, the
ステップS1611では、マスクの動作状態を「解除」に設定し、制御を終了する。 In step S1611, the operation state of the mask is set to “release”, and the control ends.
ステップS1612では、上下ぶれの動作状態を「停止」に設定する。状態が「停止」の場合、上下ぶれの制御が無効となる。設定が完了するとステップS1613へ進む。 In step S1612, the movement state of the vertical shake is set to “stop”. When the state is “stop”, the vertical shake control is disabled. When the setting is completed, the process proceeds to step S1613.
ステップS1613では、上下ぶれのない値をぶれ量として設定する。ぶれ量を決定するとステップS1614へ進む。 In step S1613, a value with no up and down shake is set as the shake amount. When the shake amount is determined, the process proceeds to step S1614.
ステップS1614では、ステップS1613で決定したぶれ量から、フレームメモリ内に格納されている撮像画像の切り出し開始位置を算出する。この時切り出し開始位置は基準の位置となる。算出が終わると制御を終了する。 In step S1614, the cutout start position of the captured image stored in the frame memory is calculated from the amount of blur determined in step S1613. At this time, the cutout start position is a reference position. When the calculation is finished, the control is finished.
上記のステップを状況別に見ていくと、(1)上下ぶれの付加が開始するときにはぶれ停止要求はなく、ぶれ発生要求があるので、S1601、S1602、S1603、S1604と進む。S1604では上下マスク状態は初期状態で上下マスク状態=解除となっているので、S1607に進み、まず上下マスクが付加され、S1608で上下マスク状態=付加の状態に変えて、一巡目を終了する。次のフレームでは、同様にS1604まで進み、上下マスク状態=付加になっているので、次にS1605、S1606の処理で上下ぶれを発生させる。以降、(2)上下ぶれの付加が継続されているときは、S1601〜S1606の処理が各フレームで繰り返される。また、(3)上下ぶれの付加を終了するときには、ぶれ停止要求があり、ぶれ発生要求はなしとし、S1601からS1609に進む。1巡目は上下ぶれ状態=発生の状態なのでS1612へ進み、上下ぶれ=停止にするとともにS1613、S1614でまず上下ぶれを停止する。次のフレームでは、S1601、S1609と進み、上下ぶれ状態=停止の状態なのでS1610に進み、上下マスクの解除を実行し、上下マスク状態=解除にして2巡目を終了し、ここまでで上下ぶれの付加を終了させる。(4)上下ぶれの付加を行わない状態を継続する場合には、ぶれ停止要求もぶれ発生要求もないので、S1601からS1602、そしてS1612と進む。S1613、S1614はぶれ量のない切り出し位置での切り出し、すなわち上下ぶれのない状態を作るステップなので、このループを継続することで上下ぶれのない状態を継続する。 Looking at the above steps by situation, (1) there is no shake stop request when up / down shake addition starts, and there is a shake occurrence request, so the process proceeds to S1601, S1602, S1603, and S1604. In S1604, since the upper and lower mask states are in the initial state, the upper and lower mask states are released, the process proceeds to S1607. First, the upper and lower masks are added. In the next frame, the process proceeds to S1604 in the same manner, and the upper and lower mask states = added. Next, in the processes in S1605 and S1606, vertical shake is generated. Thereafter, (2) when addition of up and down movement is continued, the processing of S1601 to S1606 is repeated for each frame. Further, (3) when the addition of up and down shake is finished, there is a shake stop request, no shake occurrence request is made, and the process proceeds from S1601 to S1609. In the first round, since the up / down shake state = occurrence state, the process proceeds to S1612. The up / down shake is stopped, and the up / down shake is first stopped in S1613 and S1614. In the next frame, the process proceeds to S1601 and S1609. Since the up / down shake state = stopped state, the process proceeds to S1610, the release of the upper / lower mask is executed, the upper / lower mask state = release is completed, and the second round is completed. End addition of. (4) In the case where the state in which the vertical shake is not added is continued, since there is no shake stop request and no shake occurrence request, the process proceeds from S1601 to S1602, and then to S1612. Since S1613 and S1614 are steps for creating a cut-out position with no shake amount, that is, a state in which there is no vertical shake, by continuing this loop, a state without vertical shake is continued.
以上のように、第3の実施形態では、ランダムに決められた切り出し開始位置で画像の切り出しを行った画像を表示することで、フィルム風の効果としてフィルムを映写機に掛けて再生した場合に発生する映像の上下ぶれを画像に与えることを可能にしている。 As described above, in the third embodiment, an image obtained by clipping an image at a randomly determined clipping start position is displayed, and this occurs when the film is played on a projector as a film-like effect. This makes it possible to give the image the top and bottom blur of the video to be played.
<第4の実施形態>
本実施形態では、フィルム風の効果としてフィルムを映写機に掛けて再生した場合に発生する映像の明るさのムラ(以下、明滅と称する)を画像に与えることが可能な画像処理装置を示す。
<Fourth Embodiment>
In the present embodiment, an image processing apparatus capable of giving an image an unevenness in brightness of a video (hereinafter referred to as blinking) that occurs when a film is played on a projector as a film-like effect is shown.
図19は本実施形態における明滅を実現するための輝度信号の補正処理について説明している。本実施形態では、最終的に表示、記録される画像の明滅を実現するために、輝度信号の入出力特性を変化させる補正を行う方法を用いる。補正処理では入力された撮像画像に対し、逐次異なる入出力特性で出力画像の輝度成分を変化させる。本実施形態では、輝度信号の変化の最小単位は出力画像の信号の最小分解能であり、時間の最小単位は撮像画像の更新周期となる。 FIG. 19 illustrates luminance signal correction processing for realizing blinking in the present embodiment. In the present embodiment, a method of performing correction to change the input / output characteristics of the luminance signal is used in order to finally realize blinking of an image to be displayed and recorded. In the correction process, the luminance component of the output image is sequentially changed with different input / output characteristics with respect to the input captured image. In the present embodiment, the minimum unit of change in the luminance signal is the minimum resolution of the signal of the output image, and the minimum unit of time is the update period of the captured image.
基準となる特性1901から特性1902、1903、1904の実線で示される特性の順に補正した場合、撮像画像は特性1901に対応する画像1905に対して画像1906、1907、1908となる。この時、画像1908>画像1905>画像1907>画像1906の順で明るい。
When correction is performed in the order of the characteristics indicated by the solid lines of the
明滅をランダムに発生させるため、例えば入出力特性を構成するパラメータデータを複数用意しておき、その中からどのパラメータデータを利用するかを乱数で決定することが考えられる。このパラメータデータ決定の乱数は、ガウス分布をはじめとして様々なものが考えられるが、その種類には依らない。 In order to generate blinking at random, for example, it is conceivable to prepare a plurality of parameter data constituting the input / output characteristics and determine which parameter data is to be used from among the parameter data. There are various random numbers for determining the parameter data, including a Gaussian distribution, but it does not depend on the type.
図18(a)は第4の実施形態としての画像処理装置としてのデジタルビデオカメラのブロック図である。撮像素子1800は結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部1801へ入力される。カメラ信号処理部1801では光電変換された信号に対し各種の画像処理を行い映像信号へ変換し出力する。出力された映像信号はエンコーダ部1808で所定の記録フォーマットで符号化され、記録メディア1809へ記録される。
FIG. 18A is a block diagram of a digital video camera as an image processing apparatus according to the fourth embodiment. The
次にカメラ信号処理部1801での信号処理について説明する。カメラ信号処理部1801へ入力された信号はまず、画像処理部1804で輝度成分、色成分、黒成分の各信号成分に対し、各種信号処理が行われる。処理後の信号は撮像画像としてフレームメモリ1805へ格納される。
Next, signal processing in the camera
特性データ格納部1807は映像信号の輝度の入出力特性を決定するパラメータデータを複数格納しているメモリである。例えば特性が1901〜1904のように一次関数で表される場合、パラメータデータとしては直線の傾き、切片がある。また特性1904のように、入力が大きい場合に出力をクリップするポイントやクリップされる値もパラメータデータである。決定されたパラメータデータは補正処理部1806へ送られる。
A characteristic
補正処理部1806は特性データ格納部1807から送られたパラメータデータに応じた輝度の入出力特性を決定し、その特性に応じてフレームメモリ1805に格納されている撮像画像の補正を行い、補正画像を出力する。また補正は画像処理部1804で映像信号が輝度信号(Y信号)、色差信号(U、V信号)の後に行われる処理であるため、補正により出力特性が変わったとしても、その結果が画像処理部1804で行われる輝度成分の処理に影響を与えることはない。
The
信号発生器(SG)1803は撮像素子1800の駆動タイミングを制御する信号を発生する信号発生器である。発生した信号は撮像素子1800とシステムコントローラ1802に供給される。
A signal generator (SG) 1803 is a signal generator that generates a signal for controlling the drive timing of the
システムコントローラ1802は、撮像素子1800とカメラ信号処理部1801で構成されるカメラブロックの制御を行う。撮像素子1800に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。画像処理部1804に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。特性データ格納部1807に対しては、入出力特性のパラメータデータの指定を行う。補正処理部1806に対しては、フレームメモリ1805から読み出しを行うタイミングの指示、補正処理の有効、無効の指示を行う。信号発生器1803に対しては、撮像素子1800を駆動する駆動タイミングの指示を行う。
A
次に図20を用い、本実施例におけるシステムコントローラ1802が補正処理部1806および特性データ格納部1807に対し指示し、各部が動作する補正処理および特性データの決定処理のフローチャートについて説明する。この制御は、撮影画像に対して明滅が付加されているかのような画像処理を施す撮影モードのときに行われる。あるいは、記録メディア1809等のメモリに記憶された動画像を連続的に読み出して事後処理として行われる。本処理は、垂直同期信号に連動して開始され、同期信号によって一連の処理が繰り返されることになる。
Next, with reference to FIG. 20, a flowchart of correction processing and characteristic data determination processing in which each unit operates when the
ステップS2001では、まず現状の撮影モード情報等から明滅制御の動作状態を取得し、その結果を判定する。取得した動作状態から明滅の「発生」が必要であると判定した場合はステップS2002へ進み、動作状態から明滅の「停止」が必要であると判定した場合はステップS2004へ進む。 In step S2001, first, the operation state of blinking control is acquired from the current shooting mode information and the like, and the result is determined. If it is determined that “occurrence” of blinking is necessary from the acquired operation state, the process proceeds to step S2002, and if it is determined that “stop” of blinking is necessary from the operation state, the process proceeds to step S2004.
ステップS2002では、明滅を発生させるために特性データ格納部1807に格納されている入出力特性を変えるパラメータデータを決定する。この時、明滅の量に変化を与えるために、複数あるパラメータデータのうち、いずれか1つのデータを選択する。例えば、明滅の量をランダムに発生させるために乱数発生手段から無作為に得た値に基づいてパラメータデータを決定する。パラメータデータを決定するとステップS2003へ進む。
In step S2002, parameter data for changing the input / output characteristics stored in the characteristic
ステップS2003では、ステップS2002で決定したパラメータデータを用いて補正処理部1806が補正処理を行い、処理を終了する。
In step S2003, the
ステップS2004では、明滅を停止するために、特性データ格納部1807に格納されている入出力特性のうち基準となるパラメータデータを選択する。これにより、明滅停止時は常に同じ特性となる。選択が完了したら、ステップS2003へ進む。
In step S2004, reference parameter data is selected from the input / output characteristics stored in the characteristic
以上のように、第4の実施形態では、画像に対して通常の画像処理に加えて輝度信号の入出力特性を変化させる補正を行う。これにより、フィルム風の効果としてフィルムを映写機に掛けて再生した場合に発生する映像の明るさのムラを画像に与えることを可能にしている。 As described above, in the fourth embodiment, correction for changing the input / output characteristics of the luminance signal is performed on the image in addition to the normal image processing. As a result, it is possible to give the image unevenness in the brightness of the video that occurs when the film is played on a projector as a film-like effect.
また、図14(b)は明滅の効果を与える補正処理を、通常の撮影の際にも行われる画像処理部1804内のガンマ処理においてまとめてかける場合の実施形態を示したブロック図である。ホワイトバランス処理部1810でホワイトバランス処理が行われ、出力された段階では赤(R)、緑(G)、青(B)信号の状態で、この信号を受けて補正処理部1806は、輝度信号、色信号に分けて処理を行う。具体的には、輝度信号用のRGB信号と色信号用のRGB信号を用意し、それぞれに適したガンマ補正をかける。その後、輝度信号用のRGB信号から輝度(Y)信号を生成し、色信号用のRGB信号から色差(Cb、Cr)信号を生成し、カラーバランス補正部1811に出力される。これらの過程において、輝度信号用のRGB信号に対してかけるガンマカーブを、本実施形態における入出力特性を加味したカーブに変換する。これにより、明滅用に別途処理ブロックやメモリを必要とすることなく明滅の効果を実現できる。
FIG. 14B is a block diagram showing an embodiment in which correction processing that gives a blinking effect is performed collectively in gamma processing in the
<第5の実施形態>
本実施形態では、フィルムを映写機に掛けて再生した場合に画像に発生するような映像効果を与える画像処理として、前述の実施形態で説明したスクラッチ傷と明滅と上下ぶれを重ねて画像に与える画像処理を実行可能な画像処理装置を示す。スクラッチ傷、明滅、上下ぶれの各効果を与える方法は上述の実施形態にある方法を用いるものとし、ここでは詳細な説明は省略する。
<Fifth Embodiment>
In this embodiment, as image processing that gives a video effect that occurs in an image when the film is played on a projector, the image that is given to the image by overlapping the scratches, blinking, and vertical blur described in the previous embodiment. 1 shows an image processing apparatus capable of executing processing. As a method of giving each effect of scratching, blinking, and vertical shaking, the method in the above-described embodiment is used, and detailed description thereof is omitted here.
図21は、第5の実施形態としての画像処理装置としてのデジタルビデオカメラのブロック図である。撮像素子2100は結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部2101へ入力される。カメラ信号処理部2101では光電変換された信号に対し各種の画像処理を行い映像信号へ変換し出力する。出力された映像信号はエンコーダ部2113で所定の記録フォーマットで符号化され、記録メディア2114へ記録される。
FIG. 21 is a block diagram of a digital video camera as an image processing apparatus according to the fifth embodiment. The
次にカメラ信号処理部2101での信号処理について説明する。カメラ信号処理部2101へ入力した信号はまず、画像処理部2104で第1の実施形態と同様に各種信号処理が行われ、輝度信号と色差信号で出力される。処理後の信号は撮像画像として第1のフレームメモリ2105へ格納される。
Next, signal processing in the camera
2106、2107、2108はフィルム風の効果を与える各種処理を行った結果を一時的に格納する第2、第3、第4のフレームメモリである。
次にフィルム風の効果を与える処理部について説明する。2109は、上下ぶれを発生させるために画像を所定の切り出し位置で画像の切り出しを行う切り出し処理部、2110は、明滅を発生させるために画像の輝度の入出力特性を補正する補正処理部である。2111は、スクラッチ傷を付加させるためにスクラッチ傷のノイズ画像を画像に合成する合成処理部、2112は、切り出し処理時に発生するノイズを隠蔽するためのマスク画像の付加を行うマスク処理部である。
Next, a processing unit that gives a film-like effect will be described.
信号発生器(SG)2103は撮像素子2100の駆動タイミングを制御する信号を発生する信号発生器である。発生した信号は撮像素子2100とシステムコントローラ2102に供給される。
A signal generator (SG) 2103 is a signal generator that generates a signal for controlling the drive timing of the
システムコントローラ2102は、撮像素子2100とカメラ信号処理部2101で構成されるカメラブロックの制御を行う。撮像素子2100に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。画像処理部2104に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。切り出し処理部2109に対しては、切り出し制御の有効、無効の指示、第1のフレームメモリ2105からの切り出し位置の指示、第1のフレームメモリ2105からの読み出しおよび第2のフレームメモリ2106への書き出しを行うタイミングの指示を行う。補正処理部2110に対しては、補正処理の有効、無効の指示、入出力特性のパラメータデータの指定、第2のフレームメモリ2106から読み出しおよび第3のフレームメモリ2107への書き出しを行うタイミングの指示を行う。合成処理部2111に対しては、合成制御の有効、無効の指示、合成対象となるノイズ画像(不図示)の指定、第3のフレームメモリ2107から読み出しおよび第4のフレームメモリ2108への書き出しを行うタイミングの指示を行う。マスク処理部2112に対しては、マスク画像の制御として重畳するマスクの大きさ、色の指示、フレームメモリ2108から読み出しを行うタイミングの指示、動作開始および解除指示を行う。信号発生器2103に対しては、撮像素子2100を駆動する駆動タイミングの指示を行う。
A
次に図22に、本実施形態におけるシステムコントローラ2202が切り出し処理部2109、補正処理部2110、合成処理部2111、マスク処理部2112に対して行う制御と、それによる各部の動作のフローチャートを示す。この制御は、撮影画像に対して複数のフィルム風の効果の付加がされているかのような画像処理を施す撮影モードのときに行われる。あるいは、記録メディア2114等のメモリに記憶された動画像を連続的に読み出して事後処理として行われる。本処理は、垂直同期信号に連動して開始され、同期信号によって一連の処理が繰り返されることになる。
Next, FIG. 22 shows a flowchart of the control performed by the system controller 2202 in the present embodiment on the cut-
ステップS2201では、撮影モードや各種設定の情報を取得し、上下ぶれの有効、無効を判定する。上下ぶれが有効と判定された場合は、切り出し処理部2109に切り出し処理を実行する指示を行い、ステップS2202へ進む。一方、無効と設定されている場合は、切り出し処理部2109に切り出し制御を実行しない指示を行い、ステップS2203へ進む。
In step S2201, information on the shooting mode and various settings is acquired, and it is determined whether vertical shake is valid or invalid. If it is determined that the vertical shake is valid, the
ステップS2202では、第1のフレームメモリ2105から読み出した画像データに対して第3の実施形態で示したように切り出し処理を行う。図16のフローにおけるS1605、S1606の処理と同様にマスク処理が行われる。切り出された画像データは、第2のフレームメモリ2106へ書き込まれる。そして、ステップS2203へ進む。
In step S2202, clipping processing is performed on the image data read from the
ステップS2203では、撮影モードや各種設定の情報を取得し、明滅の有効、無効を判定する。明滅が有効と判定された場合は、補正処理部2110に補正処理を実行する指示を行い、ステップS2204へ進む。一方、無効と判定された場合は、補正処理部21010に補正処理を実行しない指示を行い、ステップS2205へ進む。
In step S2203, information on the shooting mode and various settings is acquired, and whether flashing is enabled or disabled is determined. If it is determined that blinking is valid, the
ステップS2204では、第2のフレームメモリ2106から読み出した画像データに対し、第4の実施形態で示したように輝度の入出力特性の補正を行うことで、明滅の制御を行う。図20のフローに沿って、各種設定に応じて、システムコントローラ2202の指示によって補正処理部2110により1巡分処理が進められる。補正された画像データは、第3のフレームメモリ2107に書き込まれ、ステップS2205へ進む。
In step S2204, blinking is controlled by correcting the input / output characteristics of the luminance as shown in the fourth embodiment for the image data read from the
ステップS2205では、撮影モードや各種設定の情報を取得し、スクラッチ傷の付加の有効、無効を判定する。スクラッチ傷の付加が有効と判定された場合は、合成処理部2111にてスクラッチ傷のノイズ画像の合成制御を実行する指示を行い、ステップS2206へ進む。一方、無効と判定された場合は、合成処理部2111にスクラッチ傷のノイズ画像の合成制御を実行しない指示を行い、ステップS2206へ進む。
In step S2205, information on the shooting mode and various settings is acquired, and the validity / invalidity of adding scratches is determined. If it is determined that the addition of scratches is valid, the
ステップS2206では、第3のフレームメモリ2107から読み出した画像データに対して、第2の実施形態で示したようにスクラッチ傷のノイズ画像データの合成処理が行われる。図11のフローに沿って、各種設定に応じて、システムコントローラ2202の指示によって合成処理部2111により1巡分処理が進められる。ノイズ画像の切り出し位置および合成位置を決定する。合成された画像データは、第4のフレームメモリ2108に書き込まれ、ステップS2207へ進む。
In step S <b> 2206, the image data read from the
ステップS2207では、撮影モードや各種設定の情報を取得し、上下マスクの付加の有効、無効を判定する。上下マスクの付加が有効と判定された場合は、マスク処理部2112にマスク画像の合成制御を実行する指示を行い、ステップS2208へ進む。一方、無効であると判定された場合は、マスク処理部2112にマスク画像の合成制御を実行しない指示を行い、ステップS2208へ進む。
In step S2207, information on the shooting mode and various settings is acquired, and it is determined whether the upper and lower masks are added or not. If it is determined that the addition of the upper and lower masks is valid, the
ステップS2208では、第4のフレームメモリ2108から読み出した画像データに対して、第4の実施形態で示したように、マスク画像を付加する処理を行う。図16のフローにおけるS1607、S1608の処理と同様にマスク処理が行われる。マスク処理された画像データは、カメラ信号処理部2101にて各種の信号処理が行われた後の画像データとしてエンコーダ部2113等に出力され、1巡目の処理を終了する。
In step S2208, processing for adding a mask image is performed on the image data read from the
以上のように、第5の実施形態では、入力される画像データの画像に対して、スクラッチ傷と明滅と上下ぶれを重ねて画像に与える。これにより、フィルムを映写機に掛けて再生した場合に画像に発生するような映像効果を、より忠実に与えることができる。 As described above, in the fifth embodiment, scratch damage, blinking, and up / down blur are superimposed on an image of input image data and applied to the image. As a result, it is possible to more faithfully give a video effect that occurs in an image when the film is played on a projector.
また、図21(b)に、本実施形態で画像に与える効果のうち、通常の撮影モードにおける各種の処理と並行して与えられるものをまとめて与えるようにした実施形態の画像処理装置を示す。この形態では、切り出し処理部2109は、通常、センサーから読み出した画像を一旦フレームメモリにバッファリングし、センタリングや不要画素のカットなど画角合わせを行っており、これらの切り出しの処理を行うブロックである。また手ぶれによる画像全体のぶれを補正するための電子防振の機能としても用いられる。本実施形態では、ここに上下ぶれのための切り出し処理も実行させる。さらに、図18(b)と同様に、画像処理部2104内で通常の撮影時にも行われる輝度信号へのガンマ補正を行う補正処理部2110に、明滅のための輝度の入出力特性の補正を踏まえたガンマカーブによってガンマ補正を実行させる。これにより、新たに設ける処理ブロックも少なくなり、処理の高速化も実現できる。
FIG. 21B shows an image processing apparatus according to an embodiment in which the effects given to the image in the present embodiment are collectively given in parallel with various processes in the normal shooting mode. . In this form, the
<第6の実施形態>
本実施形態では、フィルムを映写機に掛けて再生した場合に画像に発生するような映像効果(フィルム調の効果)をデジタル画像に重畳するために、グレインノイズとスクラッチ傷とを重ねて付加することが可能な画像処理装置を示す。グレインノイズとスクラッチ傷の生成についての詳細は第1及び第2の実施形態にて詳述しているため、ここでは省略する。
<Sixth Embodiment>
In the present embodiment, in order to superimpose a video effect (film-like effect) generated on an image when the film is played on a projector on a digital image, grain noise and scratches are added in an overlapping manner. An image processing apparatus capable of Details on the generation of grain noise and scratches are described in detail in the first and second embodiments, and are omitted here.
図24はフィルムを記録媒体とした動画撮影における記録(以下、撮影)から再生(以下、上映)までの過程を説明した図である。図25は図24で挙げた各過程において、上映結果に影響を与える事象((1)の過程における(A)、(B))と、その事象による効果(同じく(A−1)、(A−2)、(B))、また、その効果を疑似的に画像処理で実現するための手段を載せた表である。 FIG. 24 is a diagram illustrating a process from recording (hereinafter referred to as shooting) to playback (hereinafter referred to as screening) in moving image shooting using a film as a recording medium. FIG. 25 shows events that affect the screening results ((A) and (B) in the process of (1)) and effects by the events (also (A-1) and (A -2), (B)), and a table on which means for realizing the effect by pseudo image processing are placed.
動画撮影における過程はまず(1)撮影、(2)現像・編集、(3)保管、(4)上映の順で4つに分けられる。グレインノイズは(2)現像・編集の過程で例えば「銀のこし」として知られる現像手法によって発生する。また、スクラッチ傷は(4)上映の過程で走行中のフィルムに傷が付くことで発生する。すなわち、グレインノイズとスクラッチ傷は、フィルムで撮影された画像が上映される行程において、別の原因によって発生する、特性の異なるノイズである。第1の実施形態、第2の実施形態、及び本実施形態ではこの2つのノイズを、発生するノイズを模したノイズ画像を撮像画像に合成することで実現している。 The process of moving image shooting is divided into four steps: (1) shooting, (2) development / editing, (3) storage, and (4) screening. Grain noise is generated by (2) development / editing process, for example, by a development technique known as “silver strain”. Scratch scratches (4) occur when the running film is scratched during the screening process. That is, grain noise and scratches are noises with different characteristics that are generated due to other causes in the process in which an image taken with a film is shown. In the first embodiment, the second embodiment, and the present embodiment, these two noises are realized by synthesizing a noise image simulating generated noise with a captured image.
なお、その他(1)撮影の過程では撮影に利用した(A)光学系の特性により(A−1)周辺光量落ち、(A−2)歪曲が発生する。また(3)保管の過程では(A)フィルムの経年変化による退色、(B)ゴミの付着、シミの発生によるノイズなどが発生する。これらの効果についても同様に、歪曲であれば画像処理装置において(1)の(A−2)表示画像の変形、ゴミであれば(2)または(3)の(B)ランダムな粒状ノイズの貼り付けを行うことで、画像に疑似的に与えることができる。さらに、退色であれば(3)の(A)カラーバランス、カラーゲインの補正である。 In addition, in the process of (1) shooting, (A-1) the peripheral light amount drops and (A-2) distortion occurs due to the characteristics of the (A) optical system used for shooting. Further, (3) during the storage process, (A) fading due to aging of the film, (B) adhesion of dust, noise due to occurrence of stains, and the like are generated. Similarly, for these effects, (1) (A-2) deformation of the display image in the image processing apparatus if it is distorted, and (B) random grain noise in (2) or (3) if it is dust. By pasting, the image can be given in a pseudo manner. Further, if the color is faded, (3) (A) color balance and color gain correction.
フィルム調の効果として効果を複数付加する場合、フィルム撮影の過程に対応した順番で効果を与えることで、より好ましい結果を得ることができる。グレインノイズとスクラッチ傷を両方付加する場合、グレインノイズの原因となる現像・編集過程はスクラッチ傷の原因となる上映の過程の前段階にある。そのため本実施形態では、入力される画像データに対して、グレインノイズを合成した結果の画像データに対し、そのあとでスクラッチ傷を付加する処理を行う。こうすることで、より忠実なフィルム調の効果を与えることが可能となる。 When adding a plurality of effects as film-like effects, a more preferable result can be obtained by giving the effects in the order corresponding to the film photographing process. When both grain noise and scratches are added, the development / editing process that causes grain noise is in the previous stage of the screening process that causes scratches. For this reason, in the present embodiment, a process of adding a scratch to the image data obtained by combining the grain noise with the input image data is performed. This makes it possible to give a more faithful film-like effect.
図23は、第6の実施形態としての画像処理装置としてのデジタルビデオカメラのブロック図である。撮像素子2300は結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部2301へ入力される。カメラ信号処理部2301では光電変換された信号に対し各種の画像処理を行い映像信号へ変換し出力する。出力された映像信号はエンコーダ部2314で所定の記録フォーマットで符号化され、記録メディア2315へ記録される。
FIG. 23 is a block diagram of a digital video camera as an image processing apparatus according to the sixth embodiment. The image sensor 2300 photoelectrically converts the incident light that has been imaged. The photoelectrically converted signal is input to the camera
次にカメラ信号処理部2301での信号処理について説明する。信号処理部2301へ入力した信号はまず、画像処理部2304で第1の実施形態と同様に各種信号処理が行われる。処理後の信号は撮像画像として第1のフレームメモリ2305へ格納される。
Next, signal processing in the camera
2308はシステムコントローラ2302(第2の指定手段)の指示により、スクラッチ傷のノイズ画像の生成および切り出しを行うスクラッチ傷生成部(選択手段)である。第2のフレームメモリ2306(第2の記憶手段)に格納されたノイズ画像(第2のノイズデータ)は第2の実施形態に示したように処理され、合成処理部2310で合成される。
2309はシステムコントローラ2302(第1の指定手段)の指示により、グレインノイズのノイズ画像の生成および切り出しを行うグレインノイズ生成部(切り出し手段)である。第3のフレームメモリ2307(第1の記憶手段)に格納されたノイズ画像(第1のノイズデータ)は第1の実施形態で示したように処理され、合成処理部2310で合成される。
合成処理部2310は第1のフレームメモリ2305に格納されている撮像画像を異なる二つの画像と順次合成可能な合成処理部である。2311は第1の入力画像を合成する第1の合成部であり、第1のフレームメモリ2305に格納されている画像データとグレインノイズのノイズ画像データとの合成を行う。2312は第2の入力画像を合成する第2の合成部であり、第1の合成部の出力結果の画像データとスクラッチ傷のノイズ画像データとの合成を行う。切替制御部2313は第1、第2の合成部に、合成する画像データを入力するか否かの切り替えを行う。入力の切り替えは第1、第2の各合成部で独立して設定が可能である。また、第1、第2の各合成部に入力しない場合は、第1のフレームメモリ2305に格納されている画像データあるいは第1の合成部の出力結果の画像データがそのまま出力されることとなる。
A
信号発生器(SG)2303は撮像素子2300の駆動タイミングを制御する信号を発生する信号発生器である。発生した信号は撮像素子2300とシステムコントローラ2302に供給される。
A signal generator (SG) 2303 is a signal generator that generates a signal for controlling the drive timing of the image sensor 2300. The generated signal is supplied to the image sensor 2300 and the
システムコントローラ2302は、撮像素子2300とカメラ信号処理部2301で構成されるカメラブロックの制御を行う。撮像素子2300に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。画像処理部2304に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。合成処理部2310に対しては、合成を行うフレームメモリ2305の撮像画像の読み出しタイミングの指示、第1、第2の各合成部の合成比率の指示、第1、第2の各合成部が合成を行うか否かの指示を行う。スクラッチ傷生成部2308に対しては、スクラッチ傷を生成するために、メモリ2306へのノイズデータの読み書きのタイミングの指示、切り出し位置と大きさの指示、リサイズ時の大きさの指示および合成時の貼り付け位置の指示を行う。グレインノイズ生成部2309に対しては、グレインノイズを生成するために、メモリ2307へのノイズデータの読み書きのタイミングの指示、切り出し位置と大きさの指示、リサイズ時の大きさの指示および合成時の貼り付け位置の指示を行う。信号発生器2303に対しては、撮像素子200を駆動する駆動タイミングの指示を行う。
A
次に図26に、本実施形態におけるシステムコントローラ2302が合成処理部2310に対し指示する合成画像の切り替え制御、及びその制御を受けて各部で行われる処理のフローチャートを示す。この制御は、撮影画像に対して複数のフィルム風のノイズ効果を付加する撮影モードのときに行われる。あるいは、記録メディア2315等のメモリに記憶された動画像を連続的に読み出して事後処理として行われる。本処理は、垂直同期信号に連動して開始され、同期信号によって一連の処理が繰り返されることになる。
Next, FIG. 26 shows a composite image switching control instructed by the
グレインノイズとスクラッチ傷を多重に合成する場合、上述したようにグレインノイズ、スクラッチ傷の順に合成すると、実際にフィルムを上映した時に近い効果が得られる。そこで、第1の合成部の合成用の画像として、グレインノイズ生成部2309が出力するノイズ画像を入力し、第2の合成部の合成用画像として、スクラッチ傷生成部2308が出力するノイズ画像を入力する。
When combining grain noise and scratches in a multiplexed manner, as described above, combining grain noise and scratches in this order provides an effect close to that when the film is actually screened. Therefore, the noise image output from the grain
ステップS2601では、フレームメモリ2305に格納されている撮像画像に付加するノイズ効果の種別を取得し、ステップS2602へ進む。
In step S2601, the type of noise effect added to the captured image stored in the
ステップS2602では、ステップS2601で取得したノイズ効果の種別にグレインノイズが含まれているか否かを判定する。含まれている場合はステップS2603へ進み、含まれていない場合はステップS2604へ進む。 In step S2602, it is determined whether grain noise is included in the type of noise effect acquired in step S2601. If it is included, the process proceeds to step S2603, and if it is not included, the process proceeds to step S2604.
ステップS2603では、グレインノイズの合成を有効とし、第1の実施形態で示したように、グレインノイズの合成処理を行う。図7のフローに沿って、各種設定に応じて、システムコントローラ2302の指示によってグレインノイズ生成部2309、合成処理部2310により1巡分処理が進められる。本実施形態では、第1の合成部2311によって、入力される第1のフレームメモリ2305からの画像データとグレインノイズデータとを合成する。合成された出力結果は第2の合成部2312へ出力され、ステップS2605へ進む。
In step S2603, the synthesis of grain noise is validated, and the grain noise synthesis process is performed as shown in the first embodiment. In accordance with the various settings, the one-round processing is advanced by the grain
ステップS2604では、グレインノイズの合成を無効とする設定を決定し、ステップS2605へ進む。 In step S2604, a setting for invalidating the synthesis of grain noise is determined, and the process proceeds to step S2605.
ステップS2605では、ステップS2601で取得したノイズ効果の種別にスクラッチ傷が含まれているか否かを判定する。含まれている場合はステップS2606へ進み、含まれていない場合はステップS2607へ進む。 In step S2605, it is determined whether the noise effect type acquired in step S2601 includes a scratch. If it is included, the process proceeds to step S2606, and if it is not included, the process proceeds to step S2607.
ステップS2606では、スクラッチ傷の合成を有効とし、第2の実施形態で示したように、スクラッチ傷のノイズの合成処理を行う。図11のフローに沿って、各種設定に応じて、システムコントローラ2302の指示によってスクラッチ傷生成部2308、合成処理部2310により1巡分処理が進められる。本実施形態では、スクラッチ傷生成部2308にてスクラッチ傷のノイズデータを生成し、第2の合成部2312にて、第1の合成部2311の出力結果の画像データと、スクラッチ傷のノイズデータとを合成する。合成された出力結果の画像データはカメラ信号処理部2301の出力として出力され、制御を終了する。
In step S2606, scratch scratch synthesis is enabled, and scratch scratch noise synthesis processing is performed as shown in the second embodiment. In accordance with the various settings, one cycle processing is advanced by the scratch
ステップS2607では、スクラッチ傷の合成を無効とする設定を決定し、制御を終了する。 In step S2607, the setting for invalidating the synthesis of scratches is determined, and the control ends.
以上のように、第6の実施形態では、入力される画像データの画像に対して、時間的及び空間的なランダム性が互いに異なるグレインノイズとスクラッチ傷という2つのノイズをノイズデータとして別々に生成し、重ねて画像データに合成する。これにより、フィルムを映写機に掛けて再生した場合に画像に発生するような映像効果を、より忠実に与えることができる。さらに、画像データに各ノイズを合成する順番を、フィルム撮影の過程に対応した順番とすることで、より忠実なノイズ効果を得ることを可能としている。 As described above, in the sixth embodiment, two noises, namely, grain noise and scratch damage, which are different in temporal and spatial randomness, are separately generated as noise data for the input image data image. Then, the image data is superimposed and synthesized. As a result, it is possible to more faithfully give a video effect that occurs in an image when the film is played on a projector. Furthermore, the order of synthesizing each noise with the image data is set to the order corresponding to the film photographing process, so that a more faithful noise effect can be obtained.
本実施形態では、入力される画像データに対して、グレインノイズのノイズ画像データ、スクラッチ傷のノイズ画像データと、順に合成した。しかし、これに限らず、グレインノイズのノイズ画像データにスクラッチ傷のノイズ画像データを合成したものを、入力される画像データと合成しても良い。この際、グレインノイズのノイズ画像データとスクラッチ傷のノイズ画像データを合成する際に、予めグレインノイズに透過性を持たせてスクラッチ傷を0:1で合成する(貼り付ける)。その上で、入力される画像データと合成されたノイズ画像データとを0:1で合成すると、グレインノイズは透過性に対応した合成比率で合成され、スクラッチ傷は上から貼り付けられたような画像の出力となり、本実施形態のようにより忠実な画像が出来上がる。 In the present embodiment, the noise image data of grain noise and the noise image data of scratches are combined in order with the input image data. However, the present invention is not limited to this, and it is possible to combine the image data of scratch noise with the noise image data of grain noise and the input image data. At this time, when synthesizing the noise image data of the grain noise and the noise image data of the scratch damage, the scratch damage is synthesized (pasted) at 0: 1 by making the grain noise transparent in advance. Then, when the input image data and the synthesized noise image data are synthesized at a ratio of 0: 1, the grain noise is synthesized at a synthesis ratio corresponding to the transparency, and the scratches are pasted from above. An image is output, and a more faithful image is completed as in this embodiment.
(他の実施形態)
上記各実施形態では、画像処理装置の一例としてビデオカメラの撮影画像に対してフィルム調の効果を与える場合の実施形態を示した。しかし、これに限らず、本発明は入力される画像データに対して画像処理を加えられる画像処理装置であればその形態を問わない。例えばデジタルスチルカメラ、PC、携帯端末等様々なものが考えられる。
(Other embodiments)
In each of the above-described embodiments, as an example of the image processing apparatus, an embodiment in which a film-like effect is given to a captured image of a video camera has been described. However, the present invention is not limited to this, and the present invention may be in any form as long as it is an image processing apparatus that can perform image processing on input image data. For example, various devices such as a digital still camera, a PC, and a portable terminal are conceivable.
図27は本発明の適用できる画像処理装置のうち、記録画像に対して処理を行う場合の実施形態の一例を示している。信号処理部2701は上記各実施形態におけるカメラ信号処理部に相当し、必要に応じてフレームメモリ等も有しているものとする。記録部2703に記録された画像データに、記録制御部2702にて必要に応じて復号化あるいは伸長処理を施し、信号処理部2701にてフィルム調の効果を付加する処理を施す。処理後の画像データは、再び記録制御部2702に送られ、必要に応じて符号化、圧縮処理を施され、記録部2703に記録される。また、表示制御部2704に送られ、表示部2705に表示される。なお、信号処理部2701以外の構成は必ずしも画像処理装置内にある必要はなく、記録部2703として外部装置の記録媒体やWEB上のオンラインストレージなどでもよい。また、表示部2705も外部のモニタ等の表示装置でもよい。
FIG. 27 shows an example of an embodiment in which processing is performed on a recorded image among image processing apparatuses to which the present invention can be applied. The
また、本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ(またはCPU、MPU等)が記憶媒体に格納されたプログラムコードを読み出して実行するのである。 The object of the present invention can also be achieved as follows. That is, a storage medium in which a program code of software in which a procedure for realizing the functions of the above-described embodiments is described is recorded is supplied to the system or apparatus. The computer (or CPU, MPU, etc.) of the system or apparatus reads out and executes the program code stored in the storage medium.
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the novel function of the present invention, and the storage medium and program storing the program code constitute the present invention.
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD−R、磁気テープ、不揮発性のメモリカード、ROM等も用いることができる。 Examples of the storage medium for supplying the program code include a flexible disk, a hard disk, an optical disk, and a magneto-optical disk. Further, a CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, DVD-R, magnetic tape, nonvolatile memory card, ROM, or the like can also be used.
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。 Further, by making the program code read by the computer executable, the functions of the above-described embodiments are realized. Furthermore, when the OS (operating system) running on the computer performs part or all of the actual processing based on the instruction of the program code, the functions of the above-described embodiments are realized by the processing. Is also included.
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。 Furthermore, the following cases are also included. First, the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on the instruction of the program code, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing.
100、200 撮像素子
101、201 カメラ信号処理部
102、202 システムコントローラ
103、203 信号発生器
104、204 画像処理部
105、201 合成処理部
106、206 切り出し処理部
107、207 拡大処理部
108 第1のフレームメモリ
109、210 メモリ
110 第2のフレームメモリ
111、211 エンコーダ部
112、212 記録メディア
208 貼り付け処理部
209 フレームメモリ
100, 200
Claims (43)
前記複数フレームの画像に対して、ランダムに決まる入出力特性で輝度の補正を行う補正手段と、
前記補正手段によるランダムに決まる入出力特性に基づく輝度の補正の有効あるいは無効を設定する設定手段と、
前記補正手段で補正がなされた複数フレームの画像を動画像として出力する出力手段と、を有し、
前記補正手段は、前記判定手段により前記輝度の補正が有効と設定されている場合には、ランダムに決まる入出力特性で輝度の補正を行い、前記判定手段により前記輝度の補正が無効と設定されている場合には、基準となる特性で輝度の補正を行うことを特徴とする画像処理装置。 Acquisition means for acquiring images of a plurality of frames;
Correction means for correcting luminance with input / output characteristics determined at random for the images of the plurality of frames;
Setting means for setting whether to correct or invalidate luminance correction based on input / output characteristics determined randomly by the correction means;
An output unit that outputs a plurality of frames of images corrected by the correction unit as a moving image;
The correction unit corrects the luminance with a randomly determined input / output characteristic when the luminance correction is set to be valid by the determination unit, and the luminance correction is set to be invalid by the determination unit. If so, an image processing apparatus that corrects luminance with reference characteristics.
前記設定手段は、前記マスク手段によるマスク画像の重畳について有効あるいは無効を設定することを特徴とする請求項1乃至5のいずれか1つに記載の画像処理装置。 Mask means for superimposing a mask image on the image corrected by the correction means;
The image processing apparatus according to claim 1, wherein the setting unit sets whether the mask image is superimposed by the mask unit.
前記設定手段は、前記切出手段による画像の切り出しについて有効あるいは無効を設定することを特徴とする請求項1乃至8のいずれか1つに記載の画像処理装置。 For each of the images of the plurality of frames, it has a cutting means for cutting out at a position determined at random,
The image processing apparatus according to claim 1, wherein the setting unit sets whether to enable or disable image clipping by the clipping unit.
前記補正手段によって輝度の補正がなされた画像に対して前記合成手段によるノイズデータの合成を行い、その後前記切出手段による切出し及び前記マスク手段によるマスク画像の重畳を行うことを特徴とする請求項9乃至14のいずれか1つに記載の画像処理装置。 Having a synthesis means for superimposing noise data on an image;
The noise data is synthesized by the synthesizing unit with respect to the image whose luminance has been corrected by the correcting unit, and then the clipping by the clipping unit and the superimposition of the mask image by the masking unit are performed. The image processing apparatus according to any one of 9 to 14.
前記複数フレームの画像に対して、ランダムに決まる入出力特性で輝度の補正を行う補正手段と、
前記補正手段によって前記補正がなされた画像に対して、予め設定された領域にマスク画像の重畳を行うマスク手段と、
前記マスク手段から出力される複数フレームの画像を動画像として出力する出力手段と、を有することを特徴とする画像処理装置。 Acquisition means for acquiring images of a plurality of frames;
Correction means for correcting luminance with input / output characteristics determined at random for the images of the plurality of frames;
Mask means for superimposing a mask image on a preset region with respect to the image corrected by the correction means;
And an output unit that outputs a plurality of frames of images output from the mask unit as a moving image.
前記マスク手段は、切り出された画像に所定の大きさのマスク画像を重畳することを特徴とする請求項27乃至29のいずれか1つに記載の画像処理装置。 The cutout means performs a cutout with a predetermined size starting from a position determined according to an image offset amount that is randomly determined,
30. The image processing apparatus according to claim 27, wherein the mask unit superimposes a mask image having a predetermined size on the cut image.
前記補正手段によって輝度の補正がなされた画像に対して前記合成手段によるノイズデータの合成を行うことを特徴とする請求項20乃至32のいずれか1つに記載の画像処理装置。 Having a synthesis means for superimposing noise data on an image;
The image processing apparatus according to any one of claims 20 to 32, wherein noise data is synthesized by the synthesizing unit on an image whose luminance is corrected by the correcting unit.
前記複数フレームの画像に対して、ランダムに決まる入出力特性で輝度の補正を行う補正手段と、
前記複数フレームの画像それぞれに対して、ランダムに決定される位置で切り出しを行う切出手段と、
前記補正手段および前記切出手段により処理された画像から、所定のアスペクト比に対応する領域で画像情報を含む画像を抽出する抽出手段と、
前記抽出手段から出力される複数フレームの画像を動画像として出力する出力手段と、を有することを特徴とする画像処理装置。 Acquisition means for acquiring images of a plurality of frames;
Correction means for correcting luminance with input / output characteristics determined at random for the images of the plurality of frames;
For each of the images of the plurality of frames, clipping means for clipping at a position determined at random;
Extraction means for extracting an image including image information in an area corresponding to a predetermined aspect ratio from the image processed by the correction means and the clipping means;
An image processing apparatus comprising: output means for outputting a plurality of frames of images output from the extraction means as moving images.
前記複数フレームの画像に対して、ランダムに決まる入出力特性で輝度の補正を行う補正ステップと、
前記補正ステップによるランダムに決まる入出力特性に基づく輝度の補正の有効あるいは無効を設定する設定ステップと、
前記補正ステップにて補正がなされた複数フレームの画像を動画像として出力する出力ステップと、を有し、
前記補正ステップでは、前記判定ステップにて前記輝度の補正が有効と設定されている場合には、ランダムに決まる入出力特性で輝度の補正を行い、前記判定ステップにより前記輝度の補正が無効と設定されている場合には、基準となる特性で輝度の補正を行うことを特徴とする画像処理装置の制御方法。 An acquisition step of acquiring a multi-frame image;
A correction step for correcting the brightness with input / output characteristics determined at random for the images of the plurality of frames;
A setting step for setting whether to enable or disable luminance correction based on input / output characteristics determined at random by the correction step ;
An output step of outputting a plurality of frames of images corrected in the correction step as moving images,
In the correction step, if the luminance correction is set to be valid in the determination step, the luminance correction is performed with input / output characteristics determined at random, and the luminance correction is set to be invalid in the determination step. If so, a method for controlling an image processing apparatus, wherein brightness correction is performed with reference characteristics.
前記複数フレームの画像に対して、ランダムに決まる入出力特性で輝度の補正を行う補正ステップと、
前記補正ステップにて前記補正がなされた画像に対して、予め設定された領域にマスク画像の重畳を行うマスクステップと、
前記マスクステップで生成される複数フレームの画像を動画像として出力する出力ステップと、を有することを特徴とする画像処理装置の制御方法。 An acquisition step of acquiring a multi-frame image;
A correction step for correcting the brightness with input / output characteristics determined at random for the images of the plurality of frames;
A mask step of superimposing a mask image on a preset region with respect to the image corrected in the correction step;
And an output step of outputting a plurality of frames of images generated in the masking step as a moving image.
前記複数フレームの画像に対して、ランダムに決まる入出力特性で輝度の補正を行う補正ステップと、
前記複数フレームの画像それぞれに対して、ランダムに決定される位置で切り出しを行う切出ステップと、
前記補正ステップおよび前記切出ステップにて処理された画像から、所定のアスペクト比に対応する領域で画像情報を含む画像を抽出する抽出ステップと、
前記抽出ステップで生成される複数フレームの画像を動画像として出力する出力ステップと、を有することを特徴とする画像処理装置の制御方法。 An acquisition step of acquiring a multi-frame image;
A correction step for correcting the brightness with input / output characteristics determined at random for the images of the plurality of frames;
For each of the images of the plurality of frames, a cutting step for cutting out at a randomly determined position;
An extraction step of extracting an image including image information in an area corresponding to a predetermined aspect ratio from the image processed in the correction step and the clipping step;
And an output step of outputting a plurality of frames of images generated in the extraction step as moving images.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015225967A JP6147318B2 (en) | 2015-11-18 | 2015-11-18 | Image processing apparatus and image processing apparatus control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015225967A JP6147318B2 (en) | 2015-11-18 | 2015-11-18 | Image processing apparatus and image processing apparatus control method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014030452A Division JP5875611B2 (en) | 2014-02-20 | 2014-02-20 | Image processing apparatus and image processing apparatus control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016026366A JP2016026366A (en) | 2016-02-12 |
JP6147318B2 true JP6147318B2 (en) | 2017-06-14 |
Family
ID=55303629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015225967A Active JP6147318B2 (en) | 2015-11-18 | 2015-11-18 | Image processing apparatus and image processing apparatus control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6147318B2 (en) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5140414A (en) * | 1990-10-11 | 1992-08-18 | Mowry Craig P | Video system for producing video images simulating images derived from motion picture film |
JP2006094053A (en) * | 2004-09-22 | 2006-04-06 | Fuji Photo Film Co Ltd | Photo movie creating method and apparatus thereof, and photo movie creating program |
JP2006148494A (en) * | 2004-11-18 | 2006-06-08 | Matsushita Electric Ind Co Ltd | Imaging apparatus |
JP2006254067A (en) * | 2005-03-10 | 2006-09-21 | Casio Comput Co Ltd | Imaging device and program |
JP2007228167A (en) * | 2006-02-22 | 2007-09-06 | Funai Electric Co Ltd | Panel type video display device and liquid crystal television |
JP2008011202A (en) * | 2006-06-29 | 2008-01-17 | Toshiba Corp | Film grain processing circuit |
JP5067218B2 (en) * | 2008-03-18 | 2012-11-07 | ソニー株式会社 | Video signal processing device, display device, and video signal processing method |
-
2015
- 2015-11-18 JP JP2015225967A patent/JP6147318B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016026366A (en) | 2016-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5484310B2 (en) | Image processing apparatus and image processing apparatus control method | |
US20090268079A1 (en) | Image-capturing apparatus and image-capturing method | |
JP2005142680A (en) | Image processing apparatus | |
JP2005229198A (en) | Image processing apparatus and method, and program | |
JP2017175319A (en) | Image processing apparatus, image processing method, and program | |
JP2006254129A (en) | Histogram display device | |
JP2010258768A (en) | Image display device and control method thereof, program and storage medium | |
JP5241559B2 (en) | Image recording / playback device | |
JP6147318B2 (en) | Image processing apparatus and image processing apparatus control method | |
JP6194755B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP5875611B2 (en) | Image processing apparatus and image processing apparatus control method | |
JP5595257B2 (en) | Image processing apparatus and image processing apparatus control method | |
JP2005117399A (en) | Image processor | |
JP2018074523A (en) | Imaging device, control method thereof, program, and recording medium | |
JP2013145519A (en) | Image processing apparatus and method for controlling image processing apparatus | |
JP5951988B2 (en) | Image composition apparatus and image composition method | |
JP2011172103A (en) | Image generating apparatus | |
JP6202238B2 (en) | Image processing apparatus, image processing method, and program | |
JP6597734B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP2020141189A (en) | Imaging apparatus and control method of the same | |
JP2016224720A (en) | Image processing device, image processing method, and program | |
JP2021019347A (en) | Imaging apparatus and control method of the same | |
JP2017184243A (en) | Image composition device and image composition method | |
JP2004080709A (en) | Electronic camera, and image processing program | |
JP2016178694A (en) | Image display device, image composition device, and image display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151216 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170516 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6147318 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S802 | Written request for registration of partial abandonment of right |
Free format text: JAPANESE INTERMEDIATE CODE: R311802 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S802 | Written request for registration of partial abandonment of right |
Free format text: JAPANESE INTERMEDIATE CODE: R311802 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S802 | Written request for registration of partial abandonment of right |
Free format text: JAPANESE INTERMEDIATE CODE: R311802 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |