JP2017017435A - Image effect processing support device, image effect processing support method, and image effect processing support program - Google Patents

Abstract

PROBLEM TO BE SOLVED: To simply check an effect of image effect processing.SOLUTION: An image effect processing support device comprises: an image effect processing part which performs image effect processing on an image; a display control part for displaying the image subjected to the image effect processing with a predetermined frame rate; an image effect change determination part which detects change of the image effect processing on the image; and a visibility assist display control part which, when the image effect processing is changed, controls the display control part and changes the frame rate of the image subjected to the image effect processing.SELECTED DRAWING: Figure 1

Description

本発明は、画像に様々な特殊効果処理（フィルタ効果処理）を付加した撮影が可能な撮影機器に好適な画像効果処理支援装置、画像効果処理支援方法及び画像効果処理支援プログラムに関する。   The present invention relates to an image effect processing support device, an image effect processing support method, and an image effect processing support program suitable for a photographing apparatus capable of photographing by adding various special effect processing (filter effect processing) to an image.

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）が普及している。この種の撮影機器においては表示部を有して、撮影画像を表示する機能を有するものもある。更に、表示部にメニュー画面を表示して、撮影機器の操作を容易にしたものもある。   In recent years, portable devices with a photographing function (photographing devices) such as digital cameras have become widespread. Some types of photographing apparatuses have a display unit and a function of displaying a photographed image. Further, there is a display screen that displays a menu screen to facilitate operation of the photographing device.

また、撮像画像に対して、所定のフイルタ効果処理を適用する撮影モードを備えた撮影機器も開発されている。例えば、所定のフィルタ効果処理を撮像画像に施すことで、被写体に撮影者のこだわりを付与したり、それを明瞭に表示する等の各種画像処理が可能である。   In addition, a photographing apparatus having a photographing mode in which a predetermined filter effect process is applied to a captured image has been developed. For example, by applying a predetermined filter effect process to the captured image, various image processes such as giving a photographer's attention to the subject or displaying it clearly are possible.

これは、色彩のバランス、コントラスト、画像内の位置による処理の傾向を変更したりすることでユーザのこだわりを強調するものが多いが、画面の滑らかさやざらざら感を強調した画像処理もある。例えば、銀塩写真においては、使用する銀塩フィルムの銀粒子の特性等に応じて写真画質の粗さが変化し、表面のざらついた感じ（以下、粒状感という）が大きくなることがある。粒状感は、感度の高いフィルムで目立ち、銀粒子のサイズが大きい程大きく感じられるのが一般的である。粒状感は、被写体の存在感や質感を向上させる等の表現上の利点があり、特にモノクロ画像において有効な場合がある。これは、高感度フィルムで決定的瞬間を手ブレなく撮影するドキュメンタリー画像で使われることが多かった絵作りであって、デジタルカメラにおいても、フィルタ効果処理によって、撮像画像にこのような粒状感を付加することが可能であり、これにより、臨場感や劇的な瞬間を捉えたような画像効果を向上させることができる。   In many cases, the user's attention is emphasized by changing the processing tendency depending on the color balance, contrast, and position in the image, but there is also image processing that emphasizes the smoothness and roughness of the screen. For example, in a silver salt photograph, the roughness of the photographic image quality changes depending on the characteristics of the silver particles of the silver salt film used, and the rough surface (hereinafter referred to as graininess) may become large. The graininess is conspicuous in a highly sensitive film and generally feels larger as the size of silver particles increases. The graininess has an advantage in expression such as improving the presence and texture of the subject, and may be effective particularly in a monochrome image. This is a picture making that was often used for documentary images that shoot decisive moments without blurring on high-sensitivity film. Even in digital cameras, this kind of graininess is applied to captured images by filter effect processing. Therefore, it is possible to improve an image effect that captures a sense of reality and a dramatic moment.

例えば、特許文献１においては、撮影条件設定ダイヤルにより銀塩カメラの撮影条件や現像条件を任意に設定して銀塩カメラで撮影したのとほぼ同じ写真が得られるような画像データを生成する技術が開示されている。特許文献１の装置では、ノイズコントロールダイヤルにより粒状性ノイズの付与率を設定するようにしておいて銀塩カメラで撮影して得た写真の粒状感を表わす粒状性データを画像データに重畳し、その画像データを基に画像を得ることができるようになっている。   For example, in Patent Document 1, a technique for generating image data so that almost the same photograph as that obtained by photographing with a silver salt camera can be obtained by arbitrarily setting photographing conditions and development conditions of a silver salt camera with a photographing condition setting dial. Is disclosed. In the apparatus of Patent Document 1, the graininess data representing the graininess of a photograph obtained by photographing with a silver salt camera while superimposing the graininess noise provision rate with the noise control dial is superimposed on the image data, An image can be obtained based on the image data.

特開２００７−１９６１７号公報JP 2007-19617 A

しかしながら、接眼式の電子ファインダや、装置の背面に設けた表示画面に表示されるスルー画は、動画状態で表示されるので、被写体の動きによって、画像処理による絵柄の変化が確認し難くなる。このように、スルー画では、粒状性ノイズの効果は確認しづらく、撮影のまさにその時、その対象物を撮影するのに、ユーザにとって粒状性ノイズを付加した方がよいか否か、また、粒状性ノイズをどの程度付加すれば良いか等の判断は容易ではない。このため、ユーザにとって、粒状感を付加するフィルタ効果処理は効果の見極めに経験が必要であった。なお、粒状感を付加するフィルタ処理に限らず、静止画に対する画像効果処理を動画状態で確認することは容易ではない場合がある。   However, since the through image displayed on the eyepiece-type electronic viewfinder and the display screen provided on the back of the apparatus is displayed in a moving image state, it is difficult to confirm a change in the pattern due to image processing due to the movement of the subject. In this way, it is difficult to confirm the effect of graininess noise in the through image. Whether or not it is better for the user to add graininess noise to shoot the object at the time of shooting, It is not easy to determine how much sexual noise should be added. For this reason, the user needs experience in determining the effect of the filter effect processing for adding graininess. It should be noted that it is not easy to check the image effect processing for a still image in a moving image state, not limited to the filter processing for adding graininess.

本発明は、様々な特殊効果処理の効果を付与した場合にその効果を簡単に確認することができる画像効果処理支援装置、画像効果処理支援方法及び画像効果処理支援プログラムを提供することを目的とする。   It is an object of the present invention to provide an image effect processing support device, an image effect processing support method, and an image effect processing support program that can easily confirm the effects of various special effect processings. To do.

本発明に係る画像効果処理支援装置は、画像に対して画像効果処理を施す画像効果処理部と、上記画像効果処理後の画像を所定のフレームレートで表示するための表示制御部と、上記画像に対する上記画像効果処理の変更を検出する画像効果変更判定部と、上記画像効果処理が変更されると、上記表示制御部を制御して上記画像効果処理後の画像のフレームレートを変更する視認性アシスト表示制御部と、を具備する。   An image effect processing support apparatus according to the present invention includes an image effect processing unit that performs image effect processing on an image, a display control unit that displays an image after the image effect processing at a predetermined frame rate, and the image An image effect change determination unit that detects a change in the image effect process with respect to the image, and when the image effect process is changed, the display control unit is controlled to change the frame rate of the image after the image effect process. An assist display control unit.

また、本発明に係る画像効果処理支援方法は、画像に対して画像効果処理を施す画像効果処理ステップと、上記画像効果処理後の画像を所定のフレームレートで表示するための表示制御ステップと、上記画像に対する上記画像効果処理の変更を検出する画像効果変更判定ステップと、上記画像効果処理が変更されると、上記画像効果処理後の画像のフレームレートを変更する視認性アシスト表示制御ステップと、を具備する。   An image effect processing support method according to the present invention includes an image effect processing step for performing an image effect processing on an image, a display control step for displaying the image after the image effect processing at a predetermined frame rate, An image effect change determination step for detecting a change in the image effect process for the image; a visibility assist display control step for changing a frame rate of the image after the image effect process when the image effect process is changed; It comprises.

また、本発明に係る画像効果処理支援プログラムは、コンピュータに、画像に対して画像効果処理を施す画像効果処理ステップと、上記画像効果処理後の画像を所定のフレームレートで表示するための表示制御ステップと、上記画像に対する上記画像効果処理の変更を検出する画像効果変更判定ステップと、上記画像効果処理が変更されると、上記画像効果処理後の画像のフレームレートを変更する視認性アシスト表示制御ステップと、を実行させる。   An image effect processing support program according to the present invention includes an image effect processing step for performing image effect processing on an image on a computer, and display control for displaying the image after the image effect processing at a predetermined frame rate. An image effect change determination step for detecting a change in the image effect process for the image; and a visibility assist display control for changing a frame rate of the image after the image effect process when the image effect process is changed. Steps are executed.

本発明によれば、画像効果処理の効果を簡単に確認することができるという効果を有する。   According to the present invention, the effect of the image effect processing can be easily confirmed.

本発明の一実施の形態に係る画像効果処理支援装置が組み込まれた撮影機器の回路構成を示すブロック図。1 is a block diagram showing a circuit configuration of a photographing apparatus in which an image effect processing support device according to an embodiment of the present invention is incorporated. 図１の撮影機器の外観の一例を示す説明図。Explanatory drawing which shows an example of the external appearance of the imaging device of FIG. 横軸に画面水平位置をとり縦軸にレベルをとって、粒状性ノイズによる粒状感の効果を説明するための説明図。Explanatory drawing for demonstrating the effect of the graininess by a granularity noise by taking a screen horizontal position on a horizontal axis and taking a level on a vertical axis. 第１の実施の形態の動作を説明するためのフローチャート。The flowchart for demonstrating operation | movement of 1st Embodiment. 撮影の様子を説明するための説明図。Explanatory drawing for demonstrating the mode of imaging | photography. 粒状撮影モード時の画面表示を説明するための説明図。Explanatory drawing for demonstrating the screen display at the time of granular photography mode. 図６中の視認性アシスト表示制御の一例を示すフローチャート。7 is a flowchart showing an example of visibility assist display control in FIG. 6. 粒度の調整操作に対応した粒状性ノイズの一例を示す説明図。Explanatory drawing which shows an example of the graininess noise corresponding to the adjustment operation of a particle size. 粒状撮影モードにおいて粒度を変化させた場合の画像を説明するための説明図。Explanatory drawing for demonstrating the image at the time of changing a particle size in granular imaging | photography mode. 本発明の第２の実施の形態において採用される視認性アシスト表示制御を示すフローチャート。The flowchart which shows the visibility assist display control employ | adopted in the 2nd Embodiment of this invention.

以下、図面を参照して本発明の実施の形態について詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る画像効果処理支援装置が組み込まれた撮影機器の回路構成を示すブロック図である。また、図２は図１の撮影機器の外観の一例を示す説明図である。 (First embodiment)
FIG. 1 is a block diagram showing a circuit configuration of a photographing apparatus in which the image effect processing support device according to the first embodiment of the present invention is incorporated. FIG. 2 is an explanatory view showing an example of the appearance of the photographing apparatus of FIG.

本実施の形態は撮像時に撮像画像に粒状感を付与する特殊効果画像処理撮影（フィルタ）モード（以下、粒状撮影モードという）におけるスルー画表示において、粒状感の効果をユーザに容易に手際よく視認性よく迅速に確認させるために、所定期間、静止画によるスルー画表示を行ったり、表示フレームレートを低減させたりするものである。また、本実施の形態は、ユーザに粒状感を増減させる程度（以下、粒度という）を変更可能にさせると共に、変更後の粒状感の効果を静止画等によってユーザが確認できるようにすることで、効果的な粒状感の設定を行えるようにするものである。   In this embodiment, the effect of graininess can be easily and visually recognized by a user in a through image display in a special effect image processing shooting (filter) mode (hereinafter referred to as a graining shooting mode) that gives a sense of grain to a captured image at the time of imaging. In order to quickly and efficiently confirm, a through image display by a still image is performed for a predetermined period, or a display frame rate is reduced. In addition, this embodiment allows the user to change the degree to which the granular feeling is increased or decreased (hereinafter referred to as granularity), and allows the user to check the effect of the granular feeling after the change with a still image or the like. This makes it possible to set an effective graininess.

粒状撮影モードは、例えばランダムノイズ等の所定の信号（以下、粒状性ノイズという）や例えば曇りガラス等の粒状のパターン（以下、粒状性パターンという）等を撮像画像に加えるモードであり、銀塩写真における銀粒子の特性に応じた粒状感と同様の粒状感を得るものである。銀塩写真では、銀粒子の大きさ等に応じた粒度が得られるので、選んだフィルム感度によって粒状感が異なる。これによって個性的な表現を行う作家もいた。これに倣って、粒状撮影モードにおいては、粒状性ノイズの振幅及び周波数、粒状性パターンの振幅（コントラスト）及び空間周波数を変化させて粒度を変化させる。例えば、一般的には、粒状性ノイズ及び粒状性パターンの振幅及び周期が大きい程、粒度は大きくなる。こうした特性を利用することで、撮影画像に個性的な表現を与えることが出来る。   The granular photographing mode is a mode in which a predetermined signal such as random noise (hereinafter referred to as granular noise) or a granular pattern such as frosted glass (hereinafter referred to as granular pattern) is added to the captured image. A graininess similar to the graininess according to the characteristics of the silver particles in the photograph is obtained. In silver salt photography, a grain size corresponding to the size of silver particles can be obtained, so the graininess varies depending on the selected film sensitivity. Some writers expressed their unique expression. Following this, in the granular photographing mode, the granularity is changed by changing the amplitude and frequency of the granularity noise, the amplitude (contrast) of the granularity pattern, and the spatial frequency. For example, in general, the larger the amplitude and period of the granular noise and granular pattern, the larger the granularity. By using these characteristics, a unique expression can be given to the photographed image.

また、画像表面のざらつきの感じを変化させるために、粒状性ノイズ又は粒状性パターンを撮像画像に付加する例を説明するが、画像の質感を変化させるものとしては、単なるドットだけでなく、所定の模様等であってもよく、このような模様を含むパターン等を撮像画像に付加するようにしてもよい。以下の説明では、撮像画像に粒状性ノイズを付加する例について言及しているが、粒状性パターンや所定模様のパターンを付加する場合にも同様に適用可能である。特に、ノイズ性を利用した画像処理では、その経時変化によって刻一刻と状況が変わるので、画像取得と表示を繰り返すスルー画状態では、静止画時と印象が変わる場合が多かった。また、ノイズ性に係わらず、被写体の状況によって変化する画像処理では、被写体の動きやフレーミングの変化によって画像の印象が大きく変化するので、動画的に被写体を観察できるようにすると共に、静止画化した時の印象が分かるような静止画的な表示とすることが好ましい。低いフレームレートとすることで、これらの要求を満たす事が可能となる。ただし、被写体の動きが激しい場合などは、フレームアウトしないように、フレームレートを高めてもよい。   An example of adding graininess noise or a graininess pattern to a captured image in order to change the feeling of roughness on the surface of the image will be described. Or a pattern including such a pattern may be added to the captured image. In the following description, an example in which graininess noise is added to a captured image is described, but the present invention can be similarly applied to a case where a graininess pattern or a predetermined pattern is added. In particular, in image processing using noise characteristics, the situation changes every moment according to the change over time. Therefore, in the through image state in which image acquisition and display are repeated, the impression often changes from that in a still image. In addition, in image processing that changes depending on the subject's situation regardless of noise, the impression of the image changes greatly due to changes in the subject's movement and framing, so that the subject can be observed as a moving image and still images are created. It is preferable that the display is a still image so that the impression can be seen. By making the frame rate low, these requirements can be satisfied. However, the frame rate may be increased so that the subject does not move out when the subject moves strongly.

ところで、各撮像画像に同一の粒状性ノイズを加えた場合でも、得られる粒状感は画像毎に異なる。例えば、粒状性ノイズとしてランダムノイズを画像信号に一様に加えるものとする。なお、ランダムノイズは、レベル等はランダムに変化するが、平均的なレベルは一定であるものとする。   By the way, even when the same graininess noise is added to each captured image, the obtained graininess differs for each image. For example, it is assumed that random noise is uniformly added to the image signal as graininess noise. It is assumed that the level of random noise changes randomly, but the average level is constant.

図３は横軸に画面水平位置をとり縦軸にレベルをとって、粒状性ノイズによる粒状感の効果を説明するための説明図である。図３（ａ）は粒状感を付与する撮像画像を示し、図３（ｂ）は粒状性ノイズであるランダムノイズを示し、図３（ｃ）は粒状性ノイズが付加された撮像画像（合成画像）の粒状感確認領域における像信号を示している。   FIG. 3 is an explanatory diagram for explaining the effect of graininess due to graininess noise, with the horizontal axis representing the screen horizontal position and the vertical axis representing the level. 3A shows a picked-up image that gives a grainy feeling, FIG. 3B shows random noise that is a graininess noise, and FIG. 3C shows a picked-up image (composite image) to which the graininess noise is added. ) Shows an image signal in the graininess confirmation region.

図３（ａ）に示す撮像画像は、画面左端側において像信号のレベルが高く白飛びが生じており、画面中央において比較的細かい絵柄部分があり、この絵柄部分から画面右側に向かってレベルがなだらかに変化する部分があり、画面右端は、像信号のレベルが低く黒つぶれしている。粒状撮影モードにおいて、図３（ａ）に示す撮像画像に図３（ｂ）に示す粒状性ノイズを加える。   In the captured image shown in FIG. 3A, the level of the image signal is high on the left end side of the screen, and whiteout occurs, and there is a relatively fine pattern portion in the center of the screen, and the level increases from this pattern portion toward the right side of the screen. There is a part that changes gently, and the image signal level is low and blacked out at the right end of the screen. In the granular photographing mode, the granularity noise shown in FIG. 3B is added to the captured image shown in FIG.

白飛びが生じている部分に粒状性ノイズを加えても白飛びの状態は変化しないので、この部分からは粒状感は得られない。また、黒つぶれしている部分に粒状性ノイズを加えても黒つぶれの状態は変化しないので、この部分からも粒状感は得られない。また、細かい絵柄部分は粒状性ノイズの影響を受けるが、画像の絵柄によって、粒状性ノイズによる画像の変化は確認しにくい。つまり、細かい絵柄部分では粒状性ノイズの効果は比較的小さい。   Even if graininess noise is added to the portion where the whiteout occurs, the whiteout state does not change, and thus the graininess cannot be obtained from this portion. Further, even if graininess noise is added to the blackened portion, the blackened state does not change, so that no granularity can be obtained from this portion. Further, although the fine pattern portion is affected by the graininess noise, it is difficult to confirm the change of the image due to the graininess noise depending on the pattern of the image. That is, the effect of graininess noise is relatively small in a fine pattern portion.

これに対し、白飛び及び黒つぶれが生じておらず、且つ、像信号のレベルが一定又はなだらかに変化する部分については、図３（ｃ）に示すように、粒状性ノイズは、なだらかに変化する信号に付加されて視認性が良く、画面上で目立ち、粒状感の効果が比較的高い。   On the other hand, as shown in FIG. 3 (c), the graininess noise changes gently in a portion where no whiteout or blackout occurs and the level of the image signal is constant or changes gently. It is added to the signal to be viewed, has good visibility, is conspicuous on the screen, and the effect of graininess is relatively high.

また、通常のスルー画は、被写体の動きに追従するために比較的高いフレームレートで表示の更新を行っている。画像効果処理による微妙な画像の変化は、被写体の動きによって目立たなくなったしまうことがある。例えば、粒状性ノイズによる画像の変化は、画像の動きによるちらつきによって確認しづらくなる。このような比較的繊細な画像効果処理を撮像画像に施す場合には、被写体の動き等による画像の変化を低減させた方が、画像効果処理による粒状感等の画像効果の確認が容易になると考えられる。もちろん、前述のように被写体の動きに起因して画像処理の印象が変わるものは多数あるので、画像の変化を低減させる方が良いのは、粒状感に関する画像処理に限るものではない。   In addition, the normal live view image is updated at a relatively high frame rate in order to follow the movement of the subject. Subtle image changes due to image effect processing may become inconspicuous due to the movement of the subject. For example, a change in an image due to graininess noise is difficult to confirm due to flickering due to image movement. When such a relatively delicate image effect process is applied to a captured image, it is easier to check the image effect such as graininess by the image effect process if the change in the image due to the movement of the subject is reduced. Conceivable. Of course, as described above, there are many image processing impressions that change due to the movement of the subject. Therefore, it is not limited to image processing related to graininess that it is better to reduce image changes.

このように、各画像に同様の粒状性ノイズを加えた場合でも、画像毎の特徴等によって粒状感の効果は一様ではなく、実際の画像毎に粒状感の効果を確認する必要がある。しかし、静止画像に付加した画像効果処理を、スルー画による動画状態で確認することは困難である。   Thus, even when similar graininess noise is added to each image, the effect of graininess is not uniform due to the characteristics of each image, and it is necessary to confirm the effect of graininess for each actual image. However, it is difficult to confirm the image effect processing added to the still image in the moving image state by the through image.

そこで、本実施の形態においては、撮像画像に対する画像効果処理を変更する毎に、所定期間静止画又は低フレームレートによって撮像画像を表示する視認性アシスト表示を採用することによって、粒状感等の画像効果処理の効果の確認を容易にしている。   Therefore, in the present embodiment, every time the image effect processing for a captured image is changed, a visibility assist display that displays the captured image at a still image or a low frame rate for a predetermined period is employed, whereby an image such as a graininess is displayed. It is easy to confirm the effect of effect processing.

図１において、撮影機器１０には、前面に撮像部１２が設けられている。撮像部１２は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像素子１２ｂを有している。また、撮像部１２は、撮像素子１２ｂに被写体光学像を導くレンズ部１２ａを有している。レンズ部１２ａは、ズームやフォーカシングのための図示しないレンズ等を備えており、これらのレンズは画像処理制御部１１によって駆動制御されるようになっている。撮像部１２は、画像処理制御部１１によって、ピント位置、ズーム位置及び絞り等が制御される。撮像素子１２ｂは、レンズ部１２ａからの被写体光学像を光電変換して撮影画像を得る。   In FIG. 1, the imaging device 10 is provided with an imaging unit 12 on the front surface. The imaging unit 12 includes an imaging device 12b configured by an imaging device such as a CCD or a CMOS sensor. The imaging unit 12 includes a lens unit 12a that guides the subject optical image to the imaging element 12b. The lens unit 12 a includes a lens (not shown) for zooming and focusing, and these lenses are driven and controlled by the image processing control unit 11. The imaging unit 12 is controlled by the image processing control unit 11 such as a focus position, a zoom position, and a diaphragm. The image sensor 12b photoelectrically converts the subject optical image from the lens unit 12a to obtain a captured image.

画像処理制御部１１は、例えば、図示しないＣＰＵ等のプロセッサによって構成されて、メモリに記憶されたプログラムに従ってカメラ制御を行うものであってもよい。画像処理制御部１１は、撮像部１２に撮像素子の駆動信号を出力してシャッタースピード、露光時間等を制御すると共に、撮像部１２からの撮影画像を読み出す。画像処理制御部１１は、読み出した撮影画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。   The image processing control unit 11 may be configured by, for example, a processor such as a CPU (not shown) and perform camera control according to a program stored in the memory. The image processing control unit 11 outputs a drive signal for the image sensor to the image capturing unit 12 to control the shutter speed, the exposure time, and the like, and reads a captured image from the image capturing unit 12. The image processing control unit 11 performs predetermined signal processing, for example, color adjustment processing, matrix conversion processing, noise removal processing, and other various signal processing on the read captured image.

撮影機器１０の各回路は図２の筐体１０ａ内に収納される。筐体１０ａの前面側には、レンズ部１２ａが配置されている。レンズ部１２ａの周囲にはリング操作部２１が配設されている。また、筐体１０ａの上面にはシャッタボタン２２及び２つのダイヤル操作部２３ａ，２３ｂが配設されている。   Each circuit of the imaging device 10 is housed in the housing 10a of FIG. A lens portion 12a is disposed on the front side of the housing 10a. A ring operation unit 21 is disposed around the lens unit 12a. A shutter button 22 and two dial operation units 23a and 23b are disposed on the upper surface of the housing 10a.

図１において、操作部１３は、これらのリング操作部２１、シャッタボタン２２及びダイヤル操作部２３ａ，２３ｂや図示しないファンクションボタンや撮影モード設定等の各種スイッチ等を含む。画像処理制御部１１中の操作判定部１１ｂは、これらの操作部１３からユーザ操作に基づく操作信号が与えられて、ユーザ操作の内容を判定するようになっている。画像処理制御部１１は、操作判定結果に基づいて、各部を制御する。   In FIG. 1, the operation unit 13 includes a ring operation unit 21, a shutter button 22, dial operation units 23a and 23b, function buttons (not shown), various switches for shooting mode setting, and the like. An operation determination unit 11b in the image processing control unit 11 receives an operation signal based on a user operation from the operation unit 13 and determines the content of the user operation. The image processing control unit 11 controls each unit based on the operation determination result.

画像処理制御部１１は、撮像画像の記録及び再生に関する処理を行うことができる。例えば、画像処理制御部１１は、信号処理後の撮影画像を圧縮処理し、圧縮後の画像を記録部１４に与えて記録させることができる。記録部１４としては、例えばカードインターフェースを採用することができ、記録部１４はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。   The image processing control unit 11 can perform processing related to recording and reproduction of captured images. For example, the image processing control unit 11 can compress the captured image after the signal processing and give the compressed image to the recording unit 14 for recording. As the recording unit 14, for example, a card interface can be adopted, and the recording unit 14 can record image information, audio information, and the like on a recording medium such as a memory card.

画像処理制御部１１の表示制御部１１ａは表示に関する各種処理を実行する。表示制御部１１ａは、信号処理後の撮影画像を背面表示部１６及びファインダ表示部（Ｆ表示部）１７に与えることができる。表示部１６，１７は、ＬＣＤ等の表示画面を有しており、表示制御部１１ａから与えられた画像を表示する。また、表示制御部１１ａは、各種メニュー表示等を表示部１６，１７の表示画面に表示させることもできるようになっている。   The display control unit 11a of the image processing control unit 11 executes various processes related to display. The display control unit 11 a can give the captured image after the signal processing to the rear display unit 16 and the finder display unit (F display unit) 17. The display parts 16 and 17 have display screens, such as LCD, and display the image given from the display control part 11a. In addition, the display control unit 11a can display various menu displays on the display screens of the display units 16 and 17.

画像処理制御部１１は、記録部１４に記録されている撮像画像を読み出して伸張処理することができる。表示制御部１１ａは伸張処理された撮像画像を表示部１６，１７に与えることで、記録画像の再生が可能である。   The image processing control unit 11 can read the captured image recorded in the recording unit 14 and perform expansion processing. The display control unit 11a can reproduce the recorded image by giving the expanded captured image to the display units 16 and 17.

背面表示部１６は、後述するように、撮像画像を表示する表示画面１６ｂを有している。また、表示画面１６ｂ上には、タッチパネル１６ａが設けられている。タッチパネル１６ａは、ユーザが指で指し示した表示画面１６ｂ上の位置に応じた操作信号を発生することができる。この操作信号は、画像処理制御部１１に供給される。これにより、画像処理制御部１１の操作判定部１１ｂは、ユーザが表示画面１６ｂ上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を閉じ離間させる操作（ピンチ操作）、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができる。これにより、画像処理制御部１１はユーザのタッチパネル操作に対応した処理を実行することができるようになっている。   As will be described later, the rear display unit 16 includes a display screen 16b that displays a captured image. A touch panel 16a is provided on the display screen 16b. The touch panel 16a can generate an operation signal corresponding to the position on the display screen 16b pointed by the user with a finger. This operation signal is supplied to the image processing control unit 11. As a result, when the user touches or slides on the display screen 16b, the operation determination unit 11b of the image processing control unit 11 performs a user touch position, an operation for closing and separating a finger (pinch operation), and a slide. Various operations such as a position reached by an operation or a slide operation, a slide direction, a touch period, and the like can be detected. As a result, the image processing control unit 11 can execute processing corresponding to the touch panel operation of the user.

なお、背面表示部１６は、撮影機器１０の筐体１０ａの例えば背面の略全域を占めるように配設されており、撮影者は、撮影時に背面表示部１６の表示画面１６ｂ上に表示されたスルー画を確認することができ、スルー画を確認しながら撮影操作を行うこともできる。   The rear display unit 16 is arranged so as to occupy substantially the entire rear surface of the housing 10a of the photographing apparatus 10, and the photographer is displayed on the display screen 16b of the rear display unit 16 at the time of photographing. A through image can be confirmed, and a shooting operation can be performed while confirming the through image.

一方、Ｆ表示部１７は、筐体１０ａの上面に設けたファインダ部１７ａに収納されている。ファインダ部１７ａの近傍にはアイセンサ１８が設けられており、アイセンサ１８は、ユーザが目をファインダ部１７ａに近接させたことを検出し、検出結果を画像処理制御部１１に出力するようになっている。表示制御部１１ａは、アイセンサ１８の検出結果によって、画像の出力先を背面表示部１６とＦ表示部１７とで切換えるようになっていてもよい。   On the other hand, the F display unit 17 is housed in a finder unit 17a provided on the upper surface of the housing 10a. An eye sensor 18 is provided in the vicinity of the finder unit 17a. The eye sensor 18 detects that the user has brought the eye close to the finder unit 17a, and outputs the detection result to the image processing control unit 11. Yes. The display control unit 11 a may be configured to switch the image output destination between the rear display unit 16 and the F display unit 17 according to the detection result of the eye sensor 18.

画像処理制御部１１には画像効果処理部１１ｃが設けられている。画像効果処理部１１ｃは、撮像画像に所定の画像効果処理を施すことができるようになっている。画像処理制御部１１は、画像効果処理を施した撮像画像を記録部１４に与えて記録するだけでなく、画像効果処理を施した後の撮像画像をスルー画として表示制御部１１ａに与えて表示させることができるようになっている。   The image processing control unit 11 is provided with an image effect processing unit 11c. The image effect processing unit 11c can perform predetermined image effect processing on the captured image. The image processing control unit 11 not only gives the recording image subjected to the image effect processing to the recording unit 14 for recording, but also gives the captured image after the image effect processing to the display control unit 11a as a through image for display. It can be made to.

画像効果処理部１１ｃには粒度設定部１１ｄが設けられており、粒度設定部１１ｄは、粒状撮影モードにおいて、粒度を設定することができるようになっている。例えば、粒度設定部１１ｄは、撮像画像に付加する粒状性ノイズの振幅や周期を設定することで、画像表面の濃淡によるドットのサイズ及び密度を変化させる。粒度設定部１１ｄの設定によって粒状感を増減させることができる。   The image effect processing unit 11c is provided with a particle size setting unit 11d, and the particle size setting unit 11d can set the particle size in the granular photographing mode. For example, the particle size setting unit 11d changes the size and density of dots depending on the density of the image surface by setting the amplitude and period of the granular noise added to the captured image. The graininess can be increased or decreased by the setting of the particle size setting unit 11d.

粒度の設定等の画像効果処理の設定は、ユーザの操作に従って行われる。例えば、ユーザは、ダイヤル操作部２３ａ，２３ｂ等によって粒度の調整を行う。ユーザによる粒度の調整操作は、操作判定部１１ｂによって判定される。操作判定部１１ｂは、ユーザの調整操作に基づく操作信号を粒状感効果制御部１１ｇに与える。粒状感効果制御部１１ｇは、ユーザの粒度の調整操作に対応する粒度を設定するように、粒度設定部１１ｄを制御するようになっている。粒度設定部１１ｄは、粒状感効果制御部１１ｇに制御されて、粒度を変更する。   Setting of image effect processing such as setting of grain size is performed according to a user operation. For example, the user adjusts the granularity using the dial operation units 23a and 23b. The operation for adjusting the granularity by the user is determined by the operation determination unit 11b. The operation determination unit 11b gives an operation signal based on the user's adjustment operation to the graininess effect control unit 11g. The graininess effect control unit 11g controls the particle size setting unit 11d so as to set the particle size corresponding to the user's adjustment operation of the particle size. The particle size setting unit 11d is controlled by the graininess effect control unit 11g to change the particle size.

本実施の形態においては、所望の粒状感が得られるか否かを確認するための視認性アシスト表示を表示させるために、時計部１５、画像効果変更判定部１１ｅ及び視認性アシスト表示制御部１１ｆが設けられている。時計部１５は画像処理制御部１１に時間情報を出力する。画像効果変更判定部１１ｅは、撮像画像に施される画像効果処理が変更されたか否かを判定する。例えば、画像効果変更判定部１１ｅは、操作判定部１１ｂによってユーザによる粒度調整操作が検出されることにより、撮像画像に施される画像効果処理が変更されたものと判定してもよい。また、例えば、画像効果変更判定部１１ｅは、画像効果処理部１１ｃの設定変更等によって、画像効果処理の変更を検出してもよい。   In the present embodiment, the clock unit 15, the image effect change determination unit 11e, and the visibility assist display control unit 11f are displayed in order to display a visibility assist display for confirming whether or not a desired graininess can be obtained. Is provided. The clock unit 15 outputs time information to the image processing control unit 11. The image effect change determination unit 11e determines whether the image effect process applied to the captured image has been changed. For example, the image effect change determination unit 11e may determine that the image effect process applied to the captured image has been changed by detecting the granularity adjustment operation by the user by the operation determination unit 11b. Further, for example, the image effect change determination unit 11e may detect a change in the image effect processing by a setting change of the image effect processing unit 11c.

例えば、画像効果変更判定部１１ｅは、画像効果処理部１１ｃの粒度設定部１１ｄの設定変更や、粒状感効果制御部１１ｇの制御によって、粒度の設定変更を判定してもよく、また、撮像部１２からの撮像画像に対する画像解析処理によって、画像効果処理の変更を判定してもよい。   For example, the image effect change determination unit 11e may determine the setting change of the particle size by the setting change of the particle size setting unit 11d of the image effect processing unit 11c or the control of the graininess effect control unit 11g. The change in the image effect processing may be determined by image analysis processing on the captured image from 12.

画像効果変更判定部１１ｅは、画像効果処理の変更を検出すると、検出結果を視認性アシスト表示制御部１１ｆに与える。視認性アシスト表示制御部１１ｆは、画像効果処理の変更が検出されると、所定期間だけ、表示制御部１１ａを制御してフレームレートを変更する制御を行う。例えば、視認性アシスト表示制御部１１ｆは、粒度の変更又は変更操作から所定の第１の期間は、撮像画像に基づく静止画像を表示し、第１の期間経過後の所定の第２の期間には通常のフレームレートよりも低いフレームレートでスルー画を表示するように、表示制御部１１ａを制御する。   When detecting a change in the image effect process, the image effect change determination unit 11e gives a detection result to the visibility assist display control unit 11f. When the change in the image effect processing is detected, the visibility assist display control unit 11f controls the display control unit 11a to change the frame rate only for a predetermined period. For example, the visibility assist display control unit 11f displays a still image based on the captured image for a predetermined first period after the change or change operation of the granularity, and in a predetermined second period after the first period has elapsed. Controls the display control unit 11a to display a through image at a frame rate lower than the normal frame rate.

次に、このように構成された実施の形態の動作について図４乃至図９を参照して説明する。図４は実施の形態の動作を説明するためのフローチャートである。図４はカメラ制御を示している。また、図５は撮影の様子を説明するための説明図である。   Next, the operation of the embodiment configured as described above will be described with reference to FIGS. FIG. 4 is a flowchart for explaining the operation of the embodiment. FIG. 4 shows camera control. FIG. 5 is an explanatory diagram for explaining the state of shooting.

撮影機器１０の電源が投入されると、画像処理制御部１１は、図５のステップＳ１において粒状撮影モードが指示されたか否かを判定する。粒状撮影モードが指示されていない場合には、画像処理制御部１１は、ステップＳ２１において、他の撮影モードが指定されているか否かを判定し、指定されている場合には処理をステップＳ２２に移行して、指定されている撮影モードを実行する。また、再生モードが指定されている場合には、ステップＳ２３からステップＳ２４に移行して指定された画像の再生を行う。画像処理制御部１１は、ステップＳ２５において再生画像の変更が指示されたものと判定した場合には、ステップＳ２６において画像を変更して再生を行う。また、画像処理制御部１１は、ステップＳ２３において再生モードが指示されていない場合は、ステップＳ２７において画像ファイルの取得を行う。   When the photographing apparatus 10 is turned on, the image processing control unit 11 determines whether or not the granular photographing mode is instructed in step S1 of FIG. If the granular photographing mode is not instructed, the image processing control unit 11 determines whether or not another photographing mode is designated in step S21. If designated, the process proceeds to step S22. Move to execute the specified shooting mode. If the reproduction mode is designated, the process proceeds from step S23 to step S24 to reproduce the designated image. If the image processing control unit 11 determines in step S25 that an instruction to change the reproduction image is given, the image processing control unit 11 changes the image and reproduces it in step S26. If the playback mode is not instructed in step S23, the image processing control unit 11 acquires an image file in step S27.

図５に示すように、ユーザは例えば左手２５の指でリング操作部２１の部分を挟み、左右の手２５，２６で筐体１０ａを支持しながらレンズ部１２ａを被写体に向けて構える。粒状撮影モードが指示されると、画像処理制御部１１は、撮像部１２に被写体を撮像させると共に、ステップＳ２において、粒度が設定されて粒状感を付与する画像効果処理が実行中であるか否かを判定する。粒状撮影モードの開始直後は、撮像画像に粒状感を付与するフィルタ効果処理が施されていないので、画像処理制御部１１は、ステップＳ３において粒度設定部１１ｄにより初期粒度を設定させる。これにより、画像効果処理部１１ｃによって、撮像画像には初期粒度で粒状感を得る画像効果処理が施される。画像処理制御部１１は、ステップＳ４においてアイセンサ１８の検出結果に基づいてスルー画の表示を行う。即ち、画像処理制御部１１は、アイセンサ１８の検出結果によってユーザの眼がファインダ部１７ａを覗き込んでいることが示された場合には、スルー画をＦ表示部１７に表示させ、そうでない場合にはスルー画を背面表示部１６に表示させる。   As shown in FIG. 5, for example, the user holds the portion of the ring operation unit 21 with the finger of the left hand 25 and holds the lens unit 12 a toward the subject while supporting the housing 10 a with the left and right hands 25 and 26. When the granular shooting mode is instructed, the image processing control unit 11 causes the imaging unit 12 to capture an image of the subject, and in step S2, whether or not an image effect process for setting a granularity and giving a granular feeling is being executed. Determine whether. Immediately after the start of the granular photographing mode, since the filter effect processing for giving a granular feeling to the captured image is not performed, the image processing control unit 11 causes the granularity setting unit 11d to set the initial granularity in step S3. As a result, the image effect processing unit 11c performs image effect processing for obtaining a granular feeling with an initial granularity on the captured image. The image processing control unit 11 displays a through image based on the detection result of the eye sensor 18 in step S4. That is, when the detection result of the eye sensor 18 indicates that the user's eye is looking into the finder unit 17a, the image processing control unit 11 causes the F display unit 17 to display a through image. The through image is displayed on the rear display unit 16.

図６は粒状撮影モード時の画面表示を説明するための説明図である。図６の例は画像各部の粒状感の変化をハッチングの変化によって示している。図６は、撮影機器１０のファインダ部１７ａの近傍に配置されたアイセンサ１８の検出結果によって、スルー画である画像３１が筐体１０ａの背面の略全域に設けられた背面表示部１６の表示画面１６ｂ上に表示されている状態を示している。画像３１中には、比較的暗い背景の画像３２と雲等の比較的明るい背景の画像３３と人物の画像３４とが含まれており、各部の画像特徴に応じた粒状感が得られている。   FIG. 6 is an explanatory diagram for explaining screen display in the granular photographing mode. The example of FIG. 6 shows the change in graininess of each part of the image by the change in hatching. FIG. 6 shows a display screen of the rear display unit 16 in which an image 31 that is a through image is provided in substantially the entire rear surface of the housing 10a based on the detection result of the eye sensor 18 disposed in the vicinity of the finder unit 17a of the photographing apparatus 10. The state displayed on 16b is shown. The image 31 includes a relatively dark background image 32, a relatively bright background image 33 such as a cloud, and a person image 34, and a graininess corresponding to the image characteristics of each part is obtained. .

ここで、ユーザが、撮像画像の粒状感を変化させるために、粒度の設定変更操作を行うものとする。例えば、ユーザは、ダイヤル操作部２３ａの回転操作によって、粒度を設定しなおす。粒状感効果制御部１１ｇは、ステップＳ５において、操作判定部１１ｂの出力によってダイヤル操作部２３ａのリング回転を検出することで、ユーザによる粒度の調整操作が行われたか否かを判定する。例えば、ユーザが右手２６の親指２６ａによってダイヤル操作部２３ａを回転させる操作によって、粒状感効果制御部１１ｇは、ユーザが粒度の調整を行ったものと判定することができる。例えば、粒状感効果制御部１１ｇは、ユーザが左手親指２６ａを左側に動かしてダイヤル操作部２３ａを時計方向に回転させた場合には、現在の画像よりも粗い画像が得られるように粒度の調整操作を行ったものと判定し、ユーザが左手親指２６ａを右側に動かしてダイヤル操作部２３ａを反時計方向に回転させた場合には、現在の画像よりも細かい画像が得られるように粒度の調整操作を行ったものと判定してもよい。   Here, it is assumed that the user performs a granularity setting change operation in order to change the granularity of the captured image. For example, the user resets the granularity by rotating the dial operation unit 23a. In step S5, the graininess effect control unit 11g detects the ring rotation of the dial operation unit 23a based on the output of the operation determination unit 11b, thereby determining whether or not the user has performed an adjustment operation on the particle size. For example, when the user rotates the dial operation unit 23a with the thumb 26a of the right hand 26, the graininess effect control unit 11g can determine that the user has adjusted the granularity. For example, when the user moves the left thumb 26a to the left side and rotates the dial operation unit 23a in the clockwise direction, the graininess effect control unit 11g adjusts the granularity so that a coarser image than the current image can be obtained. When it is determined that an operation has been performed, and the user moves the left thumb 26a to the right side and rotates the dial operation unit 23a counterclockwise, the granularity is adjusted so that a finer image than the current image can be obtained. It may be determined that the operation has been performed.

このような粒度の調整操作が行われると、粒状感効果制御部１１ｇは、粒度設定部１１ｄを制御してユーザ操作に応じて粒度を変化させる（ステップＳ６）。こうして、画像効果処理部１１ｃは、ユーザ設定に応じた粒度で、撮像画像に画像効果処理を施す。   When such a particle size adjustment operation is performed, the graininess effect control unit 11g controls the particle size setting unit 11d to change the particle size according to the user operation (step S6). In this way, the image effect processing unit 11c performs image effect processing on the captured image with a granularity according to the user setting.

画像効果変更判定部１１ｅは、粒度変更操作を検出すると、視認性アシスト表示制御部１１ｆに視認性アシスト表示を表示させる。即ち、視認性アシスト表示制御部１１ｆは、ステップＳ７において、粒度変更操作からの経過時間の計測を開始し、ステップＳ８において視認性アシスト表示制御を行う。   When detecting the particle size change operation, the image effect change determination unit 11e displays the visibility assist display on the visibility assist display control unit 11f. That is, the visibility assist display control unit 11f starts measuring the elapsed time from the particle size change operation in step S7, and performs visibility assist display control in step S8.

図７は図６中の視認性アシスト表示制御の一例を示すフローチャートである。視認性アシスト表示制御部１１ｆは、ステップＳ１１において粒度変更操作以外の操作、例えばリング操作以外の操作が行われたか否かを判定する。リング操作以外の操作が行われていない場合には、視認性アシスト表示制御部１１ｆは、ステップＳ１２において、粒度変更操作からの経過時間が１秒を超えたか否かを判定する。超えていない場合、即ち、ユーザが粒度を変更するためのリング操作を行った後の１秒以内の期間（第１の期間）には、視認性アシスト表示制御部１１ｆは、ステップＳ１３において静止画表示を指示する。   FIG. 7 is a flowchart showing an example of the visibility assist display control in FIG. The visibility assist display control unit 11f determines whether an operation other than the particle size change operation, for example, an operation other than the ring operation has been performed in step S11. When an operation other than the ring operation is not performed, the visibility assist display control unit 11f determines whether or not the elapsed time from the granularity changing operation has exceeded 1 second in step S12. If it does not exceed, that is, during a period (first period) within 1 second after the user performs a ring operation for changing the granularity, the visibility assist display control unit 11f displays the still image in step S13. Instruct the display.

表示制御部１１ａは、視認性アシスト表示制御部１１ｆに制御されて、粒度変更操作直後の画像効果処理後の撮像画像を静止画処理して、表示部１６，１７に与える。例えば、表示制御部１１ａは、背面表示部１６に、画像効果処理が施された静止画状態の撮像画像を表示する。   The display control unit 11a is controlled by the visibility assist display control unit 11f, performs still image processing on the captured image immediately after the image effect processing immediately after the granularity changing operation, and supplies the captured images to the display units 16 and 17. For example, the display control unit 11 a displays a captured image in a still image state on which image effect processing has been performed on the rear display unit 16.

図８及び図９は第１の期間における表示画面１６ｂ上の視認性アシスト表示を説明するためのものであり、図８は粒度の調整操作に対応した粒状性ノイズの一例を示す説明図である。また、図９は粒状撮影モードにおいて粒度を変化させた場合の画像を説明するための説明図である。なお、図９はハッチングの種類によって画質の粗さ（粒状感）の変化を示しており、図９（ａ）の静止画像３１ａが最も粗い画像で、次に図９（ｂ）の静止画像３１ｂが粗く、図９（ｃ）の静止画像３１ｃは、最も滑らかな画像であることを示している。図８（ａ）乃至（ｃ）はそれぞれ図９（ｃ）乃至（ａ）に対応する。   8 and 9 are for explaining the visibility assist display on the display screen 16b in the first period, and FIG. 8 is an explanatory diagram showing an example of the graininess noise corresponding to the grain size adjustment operation. . FIG. 9 is an explanatory diagram for explaining an image when the granularity is changed in the granular photographing mode. Note that FIG. 9 shows changes in image quality roughness (graininess) depending on the type of hatching. The still image 31a in FIG. 9A is the coarsest image, and then the still image 31b in FIG. 9B. The still image 31c shown in FIG. 9C is the smoothest image. FIGS. 8A to 8C correspond to FIGS. 9C to 9A, respectively.

図８の例は、粒度調整操作に応じて粒状性ノイズの振幅を変化させたものであり、図８（ａ）の粒状性ノイズの振幅が最も小さく、図８（ｂ）の粒状性ノイズの振幅は図８（ａ）の粒状性のノイズの振幅よりも大きく、図８（ｃ）の粒状性ノイズの振幅は最も大きい。   In the example of FIG. 8, the amplitude of the granular noise is changed according to the granularity adjustment operation. The amplitude of the granular noise in FIG. 8A is the smallest, and the granular noise in FIG. The amplitude is larger than the amplitude of the granular noise shown in FIG. 8A, and the amplitude of the granular noise shown in FIG. 8C is the largest.

例えば、画像効果処理後の撮像画像が図８（ｂ）の粒状性ノイズか付加されて得られた図９（ｂ）の静止画像３１ｂであるものとすると、ユーザがダイヤル操作部２３ａを時計方向に回転させることで図８（ｃ）の粒状性ノイズが付加されてスルー画はより粗い図９（ａ）の静止画像３１ａに変化し、逆に、ダイヤル操作部２３ａを反時計方向に回転させることで図８（ａ）の粒状性ノイズが付加されてスルー画は滑らかな静止画像３１ｃ（図９（ｃ））に変化する。   For example, assuming that the captured image after the image effect processing is the still image 31b of FIG. 9B obtained by adding the granular noise of FIG. 8B, the user turns the dial operation unit 23a clockwise. 8c, the graininess noise of FIG. 8C is added, and the through image changes to the still image 31a of FIG. 9A, and conversely, the dial operation unit 23a is rotated counterclockwise. Thus, the granularity noise of FIG. 8A is added, and the through image changes to a smooth still image 31c (FIG. 9C).

このように、本実施の形態においては、ユーザによる粒度設定等の画像効果処理の設定操作から例えば１秒以内の第１の期間においては、画像効果処理後の撮像画像が静止画像として表示される。従って、ユーザは、表示画面１６ｂ上の静止画像によって、粒状感等の画像効果処理の効果を容易に確認することができる。   As described above, in the present embodiment, the captured image after the image effect processing is displayed as a still image in the first period within 1 second, for example, from the setting operation of the image effect processing such as the granularity setting by the user. . Therefore, the user can easily confirm the effect of the image effect processing such as graininess by the still image on the display screen 16b.

画像処理制御部１１は、ステップＳ１４において手ブレ補正の機能をオンにする。視認性アシスト表示制御部１１ｆは、粒度設定操作から１秒が経過すると、ステップＳ１５において、粒度設定操作から３秒が経過したか否かを判定する。３秒が経過するまでの期間（第２の期間）には、視認性アシスト表示制御部１１ｆは、ステップＳ１６において、スルー画のフレームレートを４ｆｐｓ（フレーム／秒）に設定する。これにより、表示部１６又は１７には、比較的低いフレームレートで画像効果処理後の撮像画像が表示される。即ち、粒度設定操作後の１秒〜３秒の期間（第２の期間）には、０．２５秒毎に撮像画像が更新されて更新された画像に対して画像効果処理が施されて表示される。また、この場合には、手ブレ補正機能がオンになっているので、手振れが生じている場合でも、比較的見やすい画像が得られる。手振れ補正処理を行うと、表示した画像と同様の構図の画像が得られる可能性が高まるので、比較が容易になる。ただし、これはエネルギーを要し、画像の追従性に影響し、ずっと行う必要もないので、例えばステップＳ１８のレリーズスイッチの半押し解除で解除されてもよい。これまで説明した静止画表示やフレームレート変更も、手振れが大きい場合やパンニング時、あるいは被写体が動いている場合は、画像の追従性が犠牲となる可能性があり、このような状況下ではステップＳ１２からＮｏに分岐しても、ステップＳ１３やステップＳ１４を省略するようにしてもよい。
ユーザは、第１及び第２の期間において、静止画又は低フレームレートの視認性アシスト表示によって、比較的容易に画像効果処理の効果を確認することができる。また、第１の期間において静止画表示されていたスルー画が第２の期間において低フレームレートのスルー画に変化することで、ユーザは、視認性アシスト表示の表示期間が終了するタイミングを比較的容易に予測することができる。 In step S14, the image processing control unit 11 turns on the camera shake correction function. When 1 second has elapsed from the particle size setting operation, the visibility assist display control unit 11f determines whether or not 3 seconds have elapsed from the particle size setting operation in step S15. In a period until the 3 seconds elapse (second period), the visibility assist display control unit 11f sets the frame rate of the through image to 4 fps (frames / second) in step S16. Thus, the captured image after the image effect processing is displayed on the display unit 16 or 17 at a relatively low frame rate. In other words, in the period of 1 to 3 seconds (second period) after the granularity setting operation, the captured image is updated every 0.25 seconds, and the updated image is subjected to image effect processing and displayed. Is done. In this case, since the camera shake correction function is turned on, an image that is relatively easy to see can be obtained even when camera shake occurs. When the camera shake correction process is performed, the possibility that an image having the same composition as the displayed image is obtained is increased, so that the comparison becomes easy. However, this requires energy, affects the followability of the image, and does not need to be performed all the time. For example, it may be canceled by releasing the release switch halfway in step S18. The still image display and frame rate change described so far can also sacrifice image follow-up if camera shake is large, panning, or the subject is moving. Even if branching from S12 to No, step S13 and step S14 may be omitted.
In the first and second periods, the user can confirm the effect of the image effect processing relatively easily by the still image or the visibility assist display at a low frame rate. In addition, the live view displayed in the first period is changed to a low frame rate live view in the second period, so that the user can set the timing at which the display period of the visibility assist display ends relatively. Can be easily predicted.

リング操作以外の操作が行われると、視認性アシスト表示制御部１１ｆは、ステップＳ２０において操作からの経過時間をリセットし、ステップＳ１７においてシャッタボタン２２の半押し操作の有無を判定する。視認性アシスト表示制御部１１ｆは、半押し操作が行われない場合には、ステップＳ１８において手ブレ補正機能をオフにした後、通常のフレームレートを設定する（ステップＳ１９）。これにより、表示制御部１１ａは、撮像画像を通常のフレームレート、例えば、３０ｆｐｓ，６０ｆｐｓ，１２０ｆｐｓ等の比較的高いフレームレートで表示する。また、半押し操作が行われた場合には、視認性アシスト表示制御部１１ｆは、手ブレ補正機能をオフにすることなく通常のフレームレートを設定する（ステップＳ１９）。   When an operation other than the ring operation is performed, the visibility assist display control unit 11f resets the elapsed time from the operation in step S20, and determines whether or not the shutter button 22 is half-pressed in step S17. If the half-press operation is not performed, the visibility assist display control unit 11f sets the normal frame rate after turning off the camera shake correction function in step S18 (step S19). As a result, the display control unit 11a displays the captured image at a normal frame rate, for example, a relatively high frame rate such as 30 fps, 60 fps, or 120 fps. When the half-press operation is performed, the visibility assist display control unit 11f sets a normal frame rate without turning off the camera shake correction function (step S19).

画像処理制御部１１は、図４のステップＳ９において撮影操作が行われたか否かを判定する。例えば、ユーザがシャッタボタン２２を押下操作するものとする。画像処理制御部１１は撮影操作が行われたものと判定して、処理をステップ撮影及び記録を行う（ステップＳ１０）。こうして、画像効果処理部１１ｃによって画像効果処理が施された撮像画像が記録部１４に記録される。   The image processing control unit 11 determines whether or not a shooting operation has been performed in step S9 of FIG. For example, it is assumed that the user presses the shutter button 22. The image processing control unit 11 determines that a shooting operation has been performed, and performs step shooting and recording (step S10). In this way, the captured image that has been subjected to the image effect processing by the image effect processing unit 11 c is recorded in the recording unit 14.

このように本実施の形態においては、粒度の設定等の画像効果処理の設定から第１の期間が経過するまでは、画像効果処理後の撮像画像を静止画によってスルー画表示し、第２の期間が経過するまではフレームレートを低減させてスルー画表示する。即ち、本実施の形態においては、静止画に対する画像効果処理の効果を静止画の状態又は低フレームレートの状態で確認するようになっており、ユーザは画像効果処理の効果を容易に確認することができる。   As described above, in the present embodiment, the captured image after the image effect processing is displayed as a through image as a still image until the first period elapses from the setting of the image effect processing such as the setting of the granularity, and the second image is displayed. Until the period elapses, the frame rate is reduced to display a through image. That is, in this embodiment, the effect of the image effect processing on the still image is confirmed in the still image state or the low frame rate state, and the user can easily confirm the effect of the image effect processing. Can do.

なお、上記実施の形態においては、第１の期間において静止画を表示し、第２の期間において低フレームレートでの表示を行う例を示したが、いずれか一方の期間の表示を省略してもよく、また、第１の期間に低フレームレートでの表示を行い、第２の期間に静止画での表示を行うようにしてもよい。   In the above embodiment, an example is shown in which a still image is displayed in the first period and display is performed at a low frame rate in the second period. However, display of either period is omitted. Alternatively, display may be performed at a low frame rate during the first period, and display as a still image may be performed during the second period.

また、図４の例では、ユーザによる粒度の変更操作があった場合に、視認性アシスト表示を行う例を示したが、初期設定による画像効果処理直後においても視認性アシスト表示を表示するようにしてもよい。   In the example of FIG. 4, the example in which the visibility assist display is performed when the user performs an operation of changing the granularity is shown. However, the visibility assist display is displayed even immediately after the image effect processing by the initial setting. May be.

（第２の実施の形態）
図１０は本発明の第２の実施の形態において採用される視認性アシスト表示制御を示すフローチャートである。図１０において図７と同一の手順には同一符号を付して説明を省略する。また、本実施の形態におけるハードウェア構成は第１の実施の形態と同様であり、説明を省略する。 (Second Embodiment)
FIG. 10 is a flowchart showing the visibility assist display control employed in the second embodiment of the present invention. In FIG. 10, the same steps as those in FIG. In addition, the hardware configuration in the present embodiment is the same as that in the first embodiment, and a description thereof will be omitted.

第１の実施の形態においては、第１の期間に画像効果処理後の静止画を表示し、第２の期間に低フレームレートで画像効果処理後の画像を表示する例を示したが、本実施の形態は画像効果処理の変更後に十分に低いフレームレートで表示を行うと共に、通常のフレームレートまで、時間の経過と共にフレームレートを高くする例を示している。   In the first embodiment, an example is shown in which a still image after image effect processing is displayed in the first period and an image after image effect processing is displayed at a low frame rate in the second period. The embodiment shows an example in which display is performed at a sufficiently low frame rate after the image effect processing is changed, and the frame rate is increased with the passage of time up to a normal frame rate.

視認性アシスト表示制御部１１ｆは、ステップＳ１１において、リング操作以外の操作が行われていないと判定した場合には、ステップＳ３１において、粒度変更操作直後であるか否かを判定し、ステップＳ３３において、０．５秒経過したか否かを判定する。変更操作直後の場合、即ち、ユーザが粒度を変更するためのリング操作を行った後の０．５秒以内の期間には、視認性アシスト表示制御部１１ｆは、ステップＳ３２においてフレームレートを通常の１／６４に設定する。例えば、通常のフレームレートが６４ｆｐｓの場合には、表示制御部１１ａは、１ｆｐｓで更新取得されて画像効果処理が施された撮像画像を表示することになる。   If it is determined in step S11 that an operation other than the ring operation has not been performed, the visibility assist display control unit 11f determines in step S31 whether or not it is immediately after the particle size change operation, and in step S33. It is determined whether 0.5 second has elapsed. In the case of immediately after the change operation, that is, within a period of 0.5 seconds after the user performs the ring operation for changing the granularity, the visibility assist display control unit 11f sets the frame rate to the normal value in step S32. Set to 1/64. For example, when the normal frame rate is 64 fps, the display control unit 11a displays a captured image that has been updated and acquired at 1 fps and subjected to image effect processing.

これにより、ユーザは、粒状感等の静止画に施された画像効果処理の効果を確認することが容易となる。   Thereby, the user can easily confirm the effect of the image effect processing applied to the still image such as the graininess.

視認性アシスト表示制御部１１ｆは、粒度の設定操作から０．５秒が経過すると、ステップＳ３３からステップＳ３４に処理をステップＳ３４に移行して、通常フレームレートに到達したか否かを判定し、到達していない場合にはステップＳ３５においてフレームレートを２倍に設定する。即ち、粒度の設定操作から０．５秒が経過すると、フレームレートは通常のフレームレートの１／３２倍、例えば、２ｆｐｓに設定される。   The visibility assist display control unit 11f determines whether or not the normal frame rate has been reached by shifting the process from step S33 to step S34 when 0.5 seconds have elapsed from the setting operation of the granularity, If not, the frame rate is set to double in step S35. That is, when 0.5 seconds elapse from the granularity setting operation, the frame rate is set to 1/32 times the normal frame rate, for example, 2 fps.

以後、リング操作以外の操作が検出されるまでは、０．５秒毎に、ステップＳ３４，Ｓ３５の処理が繰り返される。こうして、通常のフレームレートに到達するまで、０．５秒毎にフレームレートが２倍ずつ増加する。フレームレートは徐々に通常のフレームレートに戻されることから、ユーザは視認性アシスト表示の終了タイミングを予測することができる。   Thereafter, the processes of steps S34 and S35 are repeated every 0.5 seconds until an operation other than the ring operation is detected. Thus, the frame rate is increased by a factor of 2 every 0.5 seconds until the normal frame rate is reached. Since the frame rate is gradually returned to the normal frame rate, the user can predict the end timing of the visibility assist display.

他の構成及び作用は、第１の実施の形態と同様である。   Other configurations and operations are the same as those in the first embodiment.

なお、図１０の例では、フレームレートを操作直後に１／６４倍にし、０．５秒毎に２倍にする例を示したが、操作直後にフレームレートをいくらにするか、また、何秒毎にフレームレートをどれだけ増加させるかについては、適宜設定可能であり、また、画像効果処理の設定変更直後において、静止画を表示するようにしてもよい。   In the example of FIG. 10, the frame rate is 1/64 times immediately after the operation and doubled every 0.5 seconds. However, how much the frame rate is to be increased immediately after the operation, and what How much the frame rate is increased per second can be set as appropriate, and a still image may be displayed immediately after the setting of the image effect processing is changed.

このように本実施の形態においても、粒度の設定変更等の画像効果処理の変更が行われると、十分に低いフレームレートで表示が行われることになり、画像効果処理後の撮像画像に付加された画像効果の確認を容易にすることができる。   As described above, also in the present embodiment, when image effect processing is changed, such as changing the granularity setting, display is performed at a sufficiently low frame rate, which is added to the captured image after the image effect processing. Confirmation of the image effect can be facilitated.

さらに、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよい。また、視認性を上げる用途の画像処理のかけ具合を選択する内視鏡、顕微鏡のような産業用、医療用の光学機器では、観察や診断が重要で、記録用画像は、迅速に適切なものを得ることが好ましく、画像効果処理の設定の効果が設定直後に確認できる画像効果処理支援装置は極めて有用である。   Furthermore, in the embodiment of the present invention, the digital camera is used as the photographing device. However, the camera may be a digital single-lens reflex camera or a compact digital camera, and a moving image such as a video camera or a movie camera. Of course, a camera built in a portable information terminal (PDA: Personal Digital Assist) such as a mobile phone or a smartphone may be used. Also, industrial and medical optical instruments such as endoscopes and microscopes may be used. Observation and diagnosis are important for endoscopes and industrial optical instruments such as microscopes that select the degree of image processing to increase visibility. It is preferable to obtain an image effect processing support apparatus that can confirm the effect of setting the image effect processing immediately after the setting.

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。   The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components of all the components shown by embodiment.

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。   It should be noted that even if the operation flow in the claims, the description, and the drawings is described using “first,” “next,” etc. for convenience, it is essential to carry out in this order. It doesn't mean. In addition, it goes without saying that the steps constituting these operation flows can be omitted as appropriate for portions that do not affect the essence of the invention.

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の画像効果処理支援装置を実現することができる。   Of the technologies described here, many of the controls and functions mainly described in the flowcharts can be set by a program, and the above-described controls and functions can be realized by a computer reading and executing the program. it can. As a computer program product, the program may be recorded or stored in whole or in part on a portable medium such as a non-volatile memory such as a flexible disk or a CD-ROM, or a storage medium such as a hard disk or a volatile memory. It can be distributed or provided at the time of product shipment or via a portable medium or communication line. The user can easily realize the image effect processing support apparatus according to the present embodiment by downloading the program via a communication network and installing the program on the computer, or installing the program from a recording medium on the computer. .

１０…撮影機器、１１…画像処理制御部、１１ａ…表示制御部、１１ｂ…操作判定部、１１ｃ…画像効果処理部、１１ｄ…粒度設定部、１１ｅ…画像効果変更判定部、１１ｆ…視認性アシスト表示制御部、１１ｇ…粒状感効果制御部、１２…撮像部、１３…操作部、１４…記録部、１５…時計部、１６…背面表示部、１７…Ｆ表示部。     DESCRIPTION OF SYMBOLS 10 ... Imaging device, 11 ... Image processing control part, 11a ... Display control part, 11b ... Operation determination part, 11c ... Image effect processing part, 11d ... Grain size setting part, 11e ... Image effect change determination part, 11f ... Visibility assist Display control unit, 11g ... graininess effect control unit, 12 ... imaging unit, 13 ... operation unit, 14 ... recording unit, 15 ... clock unit, 16 ... back display unit, 17 ... F display unit.

Claims (7)

画像に対して画像効果処理を施す画像効果処理部と、
上記画像効果処理後の画像を所定のフレームレートで表示するための表示制御部と、
上記画像に対する上記画像効果処理の変更を検出する画像効果変更判定部と、
上記画像効果処理が変更されると、上記表示制御部を制御して上記画像効果処理後の画像のフレームレートを変更する視認性アシスト表示制御部と、
を具備したことを特徴とする画像効果処理支援装置。 An image effect processing unit that performs image effect processing on the image;
A display control unit for displaying the image after the image effect processing at a predetermined frame rate;
An image effect change determination unit for detecting a change in the image effect processing on the image;
When the image effect process is changed, a visibility assist display control unit that controls the display control unit to change the frame rate of the image after the image effect process;
An image effect processing support apparatus comprising: 上記画像効果変更判定部は、上記画像効果処理を変更する操作を検出することで上記画像効果処理の変更を検出する
ことを特徴とする請求項１に記載の画像効果処理支援装置。 The image effect processing support device according to claim 1, wherein the image effect change determination unit detects a change in the image effect processing by detecting an operation for changing the image effect processing. 上記視認性アシスト表示制御部は、上記画像効果処理が変更されると、変更後の第１の期間に上記画像効果処理後の画像を静止画表示させる
ことを特徴とする請求項１又は２に記載の画像効果処理支援装置。 3. The visibility assist display control unit, when the image effect processing is changed, displays the image after the image effect processing as a still image in the first period after the change. The image effect processing support apparatus described. 上記視認性アシスト表示制御部は、上記第１の期間後の第２の期間に、上記画像効果処理後の画像を通常のフレームレートよりも低いフレームレートで表示させる
ことを特徴とする請求項３に記載の画像効果処理支援装置。 The visibility assist display control unit displays the image after the image effect processing at a frame rate lower than a normal frame rate in a second period after the first period. The image effect processing support apparatus according to 1. 上記視認性アシスト表示制御部は、上記画像効果処理が変更されると、変更後に通常のフレームレートよりも低いフレームレートを設定するともに、時間の経過に従って通常のフレームレートまでフレームレートを次第に高くする
ことを特徴とする請求項１又は２に記載の画像効果処理支援装置。 When the image effect processing is changed, the visibility assist display control unit sets a frame rate lower than the normal frame rate after the change and gradually increases the frame rate to the normal frame rate as time passes. The image effect processing support apparatus according to claim 1 or 2, wherein 画像に対して画像効果処理を施す画像効果処理ステップと、
上記画像効果処理後の画像を所定のフレームレートで表示するための表示制御ステップと、
上記画像に対する上記画像効果処理の変更を検出する画像効果変更判定ステップと、
上記画像効果処理が変更されると、上記画像効果処理後の画像のフレームレートを変更する視認性アシスト表示制御ステップと、
を具備したことを特徴とする画像効果処理支援方法。 An image effect processing step for performing image effect processing on the image;
A display control step for displaying the image after the image effect processing at a predetermined frame rate;
An image effect change determination step for detecting a change in the image effect processing for the image;
When the image effect processing is changed, a visibility assist display control step of changing the frame rate of the image after the image effect processing;
An image effect processing support method comprising: コンピュータに、
画像に対して画像効果処理を施す画像効果処理ステップと、
上記画像効果処理後の画像を所定のフレームレートで表示するための表示制御ステップと、
上記画像に対する上記画像効果処理の変更を検出する画像効果変更判定ステップと、
上記画像効果処理が変更されると、上記画像効果処理後の画像のフレームレートを変更する視認性アシスト表示制御ステップと、
を実行させるための画像効果処理支援プログラム。 On the computer,
An image effect processing step for performing image effect processing on the image;
A display control step for displaying the image after the image effect processing at a predetermined frame rate;
An image effect change determination step for detecting a change in the image effect processing for the image;
When the image effect processing is changed, a visibility assist display control step of changing the frame rate of the image after the image effect processing;
An image effect processing support program for executing.