JP5911253B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP5911253B2 JP5911253B2 JP2011222359A JP2011222359A JP5911253B2 JP 5911253 B2 JP5911253 B2 JP 5911253B2 JP 2011222359 A JP2011222359 A JP 2011222359A JP 2011222359 A JP2011222359 A JP 2011222359A JP 5911253 B2 JP5911253 B2 JP 5911253B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- moving image
- effect
- special effect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 113
- 230000000694 effects Effects 0.000 claims description 239
- 238000012545 processing Methods 0.000 claims description 234
- 230000008859 change Effects 0.000 claims description 84
- 238000000034 method Methods 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 59
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 9
- 230000002123 temporal effect Effects 0.000 claims description 9
- 230000007423 decrease Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 18
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000006837 decompression Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 206010047571 Visual impairment Diseases 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000001454 recorded image Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
Description
本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置、撮像方法および撮像プログラムに関する。 The present invention relates to an imaging apparatus, an imaging method, and an imaging program for imaging a subject and generating image data of the subject.
近年、デジタルカメラ等の撮像装置では、自然な印象を有するきれいな画像を生成する機能にとどまらず、ノイズ、シェーディング、ぼかし等の効果を意図的に付加する機能を有するものが知られている。このような機能を有する撮像装置は、従来得られなかった独特の印象を与える撮影を可能としている。 2. Description of the Related Art In recent years, there have been known imaging apparatuses such as digital cameras that have a function of intentionally adding effects such as noise, shading, and blurring as well as a function of generating a clean image having a natural impression. An imaging apparatus having such a function enables photographing that gives a unique impression that has not been obtained in the past.
例えば、下記特許文献１では、フィルムのような粒状感（ノイズ感）を有するとともに、ハイコントラストの画像を生成する技術が開示されている。この技術によれば、荒々しく力強い印象の画像を撮影することができる。 For example, the following Patent Document 1 discloses a technique for generating a high-contrast image while having a grainy feeling (noise feeling) like a film. According to this technique, it is possible to take a rough and powerful image.
また、下記特許文献２では、周縁部が減光された画像を生成する技術が開示されている。この技術によれば、トイカメラで撮影したような印象の画像を撮影することができる。 Further, Patent Document 2 below discloses a technique for generating an image in which the peripheral portion is dimmed. According to this technique, it is possible to take an image having an impression as if taken with a toy camera.
これらの従来技術は、静止画撮影だけでなく動画撮影にも適用可能である。動画を撮影する場合には、時間的な画像の移り変わりを利用して、静止画にはない動画ならではの独特の映像表現を行うことができる。 These conventional techniques can be applied not only to still image shooting but also to moving image shooting. When shooting a moving image, a unique video expression unique to a moving image that does not exist in a still image can be performed by using temporal image transition.
ところで、静止画を撮影する場合には、ユーザが意図する瞬間を撮影することができるのに対し、動画を撮影する場合には、ユーザの意図を動画に反映させることが難しかった。これは、１つには動画は常に変化するため、その分だけ表現の自由度が大きいことに起因している。この点につき、従来の特殊効果は、動画撮影された各フレームに対して同様の効果が付与されるにすぎないため、特殊効果を付与したとしても単調なシーンになってしまいがちであった。 By the way, when shooting a still image, it is possible to capture the moment that the user intends, whereas when shooting a moving image, it is difficult to reflect the intention of the user in the moving image. This is due to the fact that the moving image always changes, so that the degree of freedom of expression is large accordingly. In this regard, the conventional special effect only gives the same effect to each frame of the moving image, so that even if the special effect is given, it tends to be a monotonous scene.
本発明は、上記に鑑みてなされたものであって、動画撮影中に適用する特殊効果を、ユーザが容易に変更することができ、ひいては多様な映像表現を実現することができる撮像装置、撮像方法および撮像プログラムを提供することを目的とする。 The present invention has been made in view of the above, and it is possible to easily change a special effect applied during moving image shooting, and thus to realize various video expressions, and an imaging device. It is an object to provide a method and an imaging program.
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を撮像して該被写体の画像データを生成し、動画および静止画を撮影可能な撮像装置であって、複数のフレームにわたって視覚的な効果を生じさせるために時間的に変化する特性を有する動画中特殊効果を付与する画像処理を行う動画中特殊効果画像処理部と、前記特性の変更を指示する変更指示信号の入力を受け付ける変更指示信号入力部と、前記変更指示信号入力部が受け付けた変更指示信号に応じて前記特性を変更する制御部と、を備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention is an imaging apparatus capable of imaging a subject, generating image data of the subject, and capturing a moving image and a still image, A moving image special effect image processing unit for performing image processing for providing a moving image special effect having a temporally changing characteristic to generate a visual effect over a plurality of frames, and a change instruction for instructing the change of the characteristic A change instruction signal input unit that receives an input of a signal, and a control unit that changes the characteristics according to the change instruction signal received by the change instruction signal input unit.
また、本発明に係る撮像装置は、上記発明において、前記変更指示信号は、前記動画中特殊効果の特性を不変とする効果ホールド信号と、前記動画中特殊効果の時間的な変化を与える特性曲線の変更指示を与える特性曲線変更指示信号と、を含むことを特徴とする。 In the image pickup apparatus according to the present invention, in the above invention, the change instruction signal includes an effect hold signal that does not change a characteristic of the special effect during moving image, and a characteristic curve that changes temporally the special effect during moving image. And a characteristic curve change instruction signal for giving a change instruction.
また、本発明に係る撮像装置は、上記発明において、前記特性曲線を表示可能な表示部をさらに備え、前記制御部は、前記特性曲線変更指示信号が入力された場合、変更された前記特性曲線を前記表示部に表示させることを特徴とする。 The imaging apparatus according to the present invention further includes a display unit capable of displaying the characteristic curve in the above invention, and the control unit is configured to change the characteristic curve when the characteristic curve change instruction signal is input. Is displayed on the display unit.
また、本発明に係る撮像装置は、上記発明において、撮影指示信号の入力を受け付けるとともに、前記変更指示信号の一部をなすレリーズボタンを有し、前記制御部は、前記動画中特殊効果を付与している最中に前記レリーズボタンによって信号が入力された場合、該信号を前記効果ホールド信号と認識することを特徴とする。 The image pickup apparatus according to the present invention has a release button that accepts an input of a shooting instruction signal and forms a part of the change instruction signal in the above invention, and the control unit gives the special effect during moving image. When a signal is input by the release button during the operation, the signal is recognized as the effect hold signal.
また、本発明に係る撮像装置は、上記発明において、前記変更指示信号入力部は、前記表示部の表示画面上に設けられ、外部からの接触位置に応じた信号の入力を受け付けるタッチパネルを有し、前記制御部は、前記タッチパネルに対して前記特性の表示位置に対応した接触位置であって略同じ接触位置での接触が継続する場合、該接触による信号を前記効果ホールド信号と認識することを特徴とする。 In the imaging device according to the present invention, in the above invention, the change instruction signal input unit includes a touch panel that is provided on a display screen of the display unit and receives a signal input according to a contact position from the outside. The control unit recognizes a signal due to the contact as the effect hold signal when the contact at the contact position corresponding to the display position of the characteristic with respect to the touch panel is continued at substantially the same contact position. Features.
また、本発明に係る撮像装置は、上記発明において、前記変更指示信号入力部は、前記表示部の表示画面上に設けられ、外部からの接触位置に応じた信号の入力を受け付けるタッチパネルを有し、前記制御部は、前記タッチパネルに対して前記特性曲線上に対応した接触位置を基点として接触位置がスライドしながら変化した場合、該スライドの方向に応じて前記特性を変更するとともに、前記表示部に変更した前記特性に対応する特性曲線を表示させることを特徴とする。 In the imaging device according to the present invention, in the above invention, the change instruction signal input unit includes a touch panel that is provided on a display screen of the display unit and receives a signal input according to a contact position from the outside. When the contact position changes while sliding with respect to the touch panel corresponding to the characteristic curve on the touch panel, the control unit changes the characteristic according to the direction of the slide, and the display unit A characteristic curve corresponding to the characteristic changed to is displayed.
また、本発明に係る撮像装置は、上記発明において、前記動画中特殊効果画像処理部が行う画像処理は、特定の画像データとこの画像データの後に撮影した画像データとを所定の比率で順次合成し、前記特定の画像データの合成比率が時間とともに小さくなるワンショットエコー処理を含み、前記動画中特殊効果処理の特性は、前記合成比率であることを特徴とする。 In the image pickup apparatus according to the present invention, the image processing performed by the moving image special effect image processing unit may sequentially synthesize specific image data and image data captured after the image data at a predetermined ratio. In addition, a one-shot echo process in which the composition ratio of the specific image data decreases with time, and the characteristic of the special effect process in the moving image is the composition ratio.
また、本発明に係る撮像装置は、上記発明において、一つの画像データに対して視覚的な効果を生じさせるアート効果を付与する画像処理を行うアート効果画像処理部を備え、前記動画中特殊効果画像処理部が行う画像処理は、前記アート効果画像処理部が行うアート効果画像処理の種類を時間の経過とともに徐々に変えていくトランジット処理を含み、前記動画中特殊効果の特性は、前記トランジット処理開始時点で選択されているアート効果の画像中における合成比率であることを特徴とする。 The image pickup apparatus according to the present invention may further include an art effect image processing unit that performs an image processing for providing an art effect that causes a visual effect on one piece of image data. The image processing performed by the image processing unit includes transit processing that gradually changes the type of art effect image processing performed by the art effect image processing unit as time elapses, and the characteristics of the special effects in the moving image include the transit processing It is a composition ratio in the image of the art effect selected at the start time.
また、本発明に係る撮像方法は、被写体を撮像して該被写体の画像データを生成し、動画および静止画を撮影可能な撮像装置が行う撮像方法であって、複数のフレームにわたって視覚的な効果を生じさせるために時間的に変化する特性を有する動画中特殊効果を付与する画像処理を行う動画中特殊効果画像処理ステップと、前記動画中特殊効果画像処理ステップの最中に前記特性の変更を指示する変更指示信号の入力を受け付ける変更指示信号入力ステップと、前記変更指示信号入力ステップで受け付けた変更指示信号に応じて前記特性を変更する特性変更ステップと、を有することを特徴とする。 The imaging method according to the present invention is an imaging method performed by an imaging device capable of capturing an image of a subject, generating image data of the subject, and capturing a moving image and a still image, and has a visual effect over a plurality of frames. In the moving image special effect image processing step for performing image processing for imparting a moving image special effect having a characteristic that changes with time in order to generate the image, and during the moving image special effect image processing step, the change of the characteristic is performed. A change instruction signal input step for receiving an input of a change instruction signal to be instructed; and a characteristic change step for changing the characteristic in accordance with the change instruction signal received in the change instruction signal input step.
また、本発明に係る撮像プログラムは、被写体を撮像して該被写体の画像データを生成し、動画および静止画を撮影可能な撮像装置に、複数のフレームにわたって視覚的な効果を生じさせるために時間的に変化する特性を有する動画中特殊効果を付与する画像処理を行う動画中特殊効果画像処理ステップと、前記動画中特殊効果画像処理ステップの最中に前記特性の変更を指示する変更指示信号の入力を受け付ける変更指示信号入力ステップと、前記変更指示信号入力ステップで受け付けた変更指示信号に応じて前記特性を変更する特性変更ステップと、を実行させることを特徴とする。 The imaging program according to the present invention captures a subject, generates image data of the subject, and generates a visual effect over a plurality of frames in an imaging apparatus capable of capturing a moving image and a still image. A moving image special effect image processing step for performing image processing for applying a moving image special effect having a characteristic that changes in a moving manner, and a change instruction signal for instructing the change of the characteristic during the moving image special effect image processing step A change instruction signal input step for receiving an input and a characteristic change step for changing the characteristic in accordance with the change instruction signal received in the change instruction signal input step are executed.
本発明によれば、複数のフレームにわたって視覚的な効果を生じさせるために時間的に変化する特性を有する動画中特殊効果を付与する画像処理を行い、変更指示信号の入力に応じて特性を変更するため、ユーザは動画撮影中に付与する特殊効果をユーザの意志で容易に変更することができる。したがって、動画撮影中に適用する特殊効果を用いることによって多様な映像表現を実現することができる。 According to the present invention, image processing is performed to provide a special effect during moving images having a temporally changing characteristic in order to generate a visual effect over a plurality of frames, and the characteristic is changed in accordance with an input of a change instruction signal. Therefore, the user can easily change the special effect to be given during moving image shooting at the user's will. Therefore, various video expressions can be realized by using special effects applied during moving image shooting.
以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。図面の記載において、同一の部分には同一の符号を付して説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as “embodiments”) will be described with reference to the accompanying drawings. In the description of the drawings, the same portions will be described with the same reference numerals.
本発明の一実施の形態は、静止画と動画を撮影可能な撮像装置を用いて動画記録を開始すると、静止画用に割り当てられた操作入力用のユーザインターフェースの機能が動画特殊効果用に切り替わることを特徴とする。 According to an embodiment of the present invention, when moving image recording is started using an imaging device capable of shooting still images and moving images, the function of the user interface for operation input assigned for still images is switched to moving image special effects. It is characterized by that.
本実施の形態に係る撮像装置は、動画撮影中に静止画を撮影する機能を有する。ここで、動画撮影中の静止画撮影とは、動画を撮影している途中で静止画を撮影する場合と、動画撮影を終了した直後に静止画を撮影する場合とを含む。また、動画を撮影している途中で静止画を撮影する場合には、静止画撮影時に動画撮影を一旦停止する場合と、静止画撮影を動画撮影と並行して行う場合とが含まれる。 The imaging device according to the present embodiment has a function of shooting a still image during moving image shooting. Here, still image shooting during moving image shooting includes shooting a still image while shooting a moving image and shooting a still image immediately after moving image shooting is finished. In addition, when taking a still image while shooting a moving image, there are a case where moving image shooting is temporarily stopped during still image shooting and a case where still image shooting is performed in parallel with moving image shooting.
図１は、本実施の形態に係る撮像装置の構成を示すブロック図である。図２は、本発明の一実施の形態に係る撮像装置のユーザに面する側（前面側）の構成を示す斜視図である。図１および図２に示す撮像装置１は、本体部２と、本体部２に着脱自在なレンズ部３と、を備える。 FIG. 1 is a block diagram illustrating a configuration of the imaging apparatus according to the present embodiment. FIG. 2 is a perspective view showing a configuration of a side facing the user (front side) of the imaging apparatus according to the embodiment of the present invention. An imaging apparatus 1 shown in FIGS. 1 and 2 includes a main body unit 2 and a lens unit 3 that is detachable from the main body unit 2.
本体部２は、シャッタ１０と、シャッタ駆動部１１と、撮像素子１２と、撮像素子駆動部１３と、信号処理部１４と、Ａ／Ｄ変換部１５と、画像処理部１６と、ＡＥ処理部１７と、ＡＦ処理部１８と、画像圧縮展開部１９と、入力部２０と、表示部２１と、表示駆動部２２と、記録媒体２３と、メモリＩ／Ｆ２４と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２５と、Ｆｌａｓｈメモリ２６と、本体通信部２７と、バス２８と、制御部２９と、を備える。 The main body 2 includes a shutter 10, a shutter driving unit 11, an image sensor 12, an image sensor driving unit 13, a signal processing unit 14, an A / D conversion unit 15, an image processing unit 16, and an AE processing unit. 17, AF processing unit 18, image compression / decompression unit 19, input unit 20, display unit 21, display drive unit 22, recording medium 23, memory I / F 24, SDRAM (Synchronous Dynamic Random Access Memory) ) 25, a flash memory 26, a main body communication unit 27, a bus 28, and a control unit 29.
シャッタ１０は、撮像素子１２の状態を露光状態または遮光状態に設定する。シャッタ駆動部１１は、ステッピングモータ等を用いて構成され、制御部２９から入力される指示信号に応じてシャッタ１０を駆動する。 The shutter 10 sets the state of the image sensor 12 to an exposure state or a light shielding state. The shutter drive unit 11 is configured using a stepping motor or the like, and drives the shutter 10 in accordance with an instruction signal input from the control unit 29.
撮像素子１２は、レンズ部３が集光した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。撮像素子駆動部１３は、所定のタイミングで撮像素子１２から画像データ（アナログ信号）を信号処理部１４に出力させる。この意味で、撮像素子駆動部１３は、電子シャッタとして機能する。 The imaging device 12 is configured using a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like that receives the light collected by the lens unit 3 and converts it into an electrical signal. The image sensor drive unit 13 causes the signal processing unit 14 to output image data (analog signal) from the image sensor 12 at a predetermined timing. In this sense, the image sensor driving unit 13 functions as an electronic shutter.
信号処理部１４は、撮像素子１２から入力されるアナログ信号に対して、アナログ処理を施してＡ／Ｄ変換部１５に出力する。具体的には、信号処理部１４は、アナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、信号処理部１４は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。 The signal processing unit 14 performs analog processing on the analog signal input from the image sensor 12 and outputs the analog signal to the A / D conversion unit 15. Specifically, the signal processing unit 14 performs noise reduction processing, gain increase processing, and the like on the analog signal. For example, the signal processing unit 14 performs waveform shaping on the analog signal after reducing reset noise and the like, and further increases the gain so that the target brightness is obtained.
Ａ／Ｄ変換部１５は、信号処理部１４から入力されるアナログ信号に対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成し、バス２８を介してＳＤＲＡＭ２５に出力する。 The A / D conversion unit 15 generates digital image data by performing A / D conversion on the analog signal input from the signal processing unit 14, and outputs the digital image data to the SDRAM 25 via the bus 28.
画像処理部１６は、バス２８を介してＳＤＲＡＭ２５から画像データを取得し、取得した画像データ（ＲＡＷデータ）に対して各種の画像処理を行って処理画像データを生成する。この処理画像データは、バス２８を介してＳＤＲＡＭ２５に出力される。画像処理部１６は、基本画像処理部１６１と、アート効果画像処理部１６２と、動画中特殊効果画像処理部１６３と、を有する。 The image processing unit 16 acquires image data from the SDRAM 25 via the bus 28, performs various image processing on the acquired image data (RAW data), and generates processed image data. This processed image data is output to the SDRAM 25 via the bus 28. The image processing unit 16 includes a basic image processing unit 161, an art effect image processing unit 162, and a moving image special effect image processing unit 163.
基本画像処理部１６１は、画像データに対して、少なくとも、オプティカルブラック減算処理、ホワイトバランス（ＷＢ）調整処理、撮像素子がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。また、基本画像処理部１６１は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する仕上がり効果処理を行って仕上がり効果画像データを生成する。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。 The basic image processing unit 161 performs at least optical black subtraction processing, white balance (WB) adjustment processing on image data, image data synchronization processing, color matrix calculation processing, gamma when the image sensor is a Bayer array. Basic image processing including correction processing, color reproduction processing, edge enhancement processing, and the like is performed. In addition, the basic image processing unit 161 performs finish effect processing for reproducing a natural image based on preset image processing parameters to generate finish effect image data. Here, the parameters of each image processing are values of contrast, sharpness, saturation, white balance, and gradation.
アート効果画像処理部１６２は、１つの画像データに対して複数の画像処理を組み合わせることにより、視覚的な効果を生じさせるアート効果処理を行って処理画像データ（以下、「アート効果画像データ」という）を生成する。 The art effect image processing unit 162 performs art effect processing for generating a visual effect by combining a plurality of image processings with respect to one image data to process image data (hereinafter referred to as “art effect image data”). ) Is generated.
図３は、アート効果画像処理部１６２が行うアート効果画像処理の概要を示す図である。図３ではアート効果画像処理として、ファンタジックフォーカス、ファンタジックフォーカス＋スターライト、ファンタジックフォーカス＋ホワイトエッジ、ポップアート、ポップアート＋スターライト、ポップアート＋ピンホール、ポップアート＋ホワイトエッジ、トイフォト、ラフモノクローム、ジオラマの１０種類が記載されている。以下、これらのアート効果画像処理について説明する。 FIG. 3 is a diagram showing an outline of art effect image processing performed by the art effect image processing unit 162. In FIG. 3, as art effect image processing, Fantastic Focus, Fantastic Focus + Starlight, Fantastic Focus + White Edge, Pop Art, Pop Art + Starlight, Pop Art + Pinhole, Pop Art + White Edge, Toy Photo, Rough Monochrome Ten types of diorama are described. Hereinafter, the art effect image processing will be described.
ファンタジックフォーカスは、画像全体にぼかし処理を施し、ぼかす前の画像と一定の割合で合成するソフトフォーカスの効果を与える処理である。ファンタジックフォーカスは、中間の輝度をより明るくするトーンカーブ処理を行うことにより、柔らかいトーンの中で、被写体のディテールを残しながら、幸福な光に包まれたように美しく幻想的な雰囲気の画像を結像または生成する。ファンタジックフォーカスは、例えばトーンカーブ処理、ぼかし処理、アルファブレンド処理および画像合成処理等の画像処理を組み合わせることによって実現される。
ファンタジックフォーカス＋スターライトは、ファンタジックフォーカスに加えて、画像中の高輝度部に対してクロスパターンを描写するクロスフィルター効果を施す処理である。
ファンタジックフォーカス＋ホワイトエッジは、ファンタジックフォーカスに加えて、画像の中心部から周縁部に行くにしたがって徐々に白味を帯びる効果が施す処理である。このような白味の効果は、画像の中心からの距離が大きいほど周辺部が白くなるように画素値を変更することによって得られる。
Fantastic focus is a process that gives a soft focus effect in which the entire image is subjected to a blurring process and synthesized at a certain ratio with the image before blurring. Fantastic focus is a tone curve process that brightens the intermediate brightness, leaving the details of the subject in a soft tone and creating an image with a beautiful and fantastic atmosphere as if wrapped in a happy light. Image or produce. The fantastic focus is realized by combining image processing such as tone curve processing, blur processing, alpha blend processing, and image composition processing.
Fantastic focus + starlight is a process of applying a cross filter effect that draws a cross pattern to a high-luminance portion in an image in addition to the fantastic focus.
Fantastic focus + white edge is a process in which, in addition to the phantom focus, an effect of gradually becoming whiter is given from the center of the image to the periphery. Such a whiteness effect can be obtained by changing the pixel value so that the peripheral portion becomes whiter as the distance from the center of the image increases.
ポップアートは、色をカラフルに強調し、明るく楽しい雰囲気を表現する処理である。ポップアートは、例えば彩度強調処理およびコントラスト強調処理を組み合わせることによって実現される。全体に高コントラストで高彩度の効果である。
ポップアート＋スターライトは、ポップアートとスターライトを重ねて施す処理である。この場合には、カラフルな画像にクロスフィルターを施した効果が得られる。
ポップアート＋ピンホールは、ポップアートに加えて、画像の周縁部をシェーディングによって暗くして穴から覗き込むような効果を与えるトイフォト（ピンホール）を施す処理である。トイフォトの詳細については、後述する。
ポップアート＋ホワイトエッジは、ポップアートとホワイトエッジを重ねて施す処理である。
Pop art is a process that emphasizes colors colorfully and expresses a bright and fun atmosphere. Pop art is realized by, for example, combining saturation enhancement processing and contrast enhancement processing. The overall effect is high contrast and high saturation.
Pop art + starlight is a process of applying pop art and starlight in layers. In this case, the effect of applying a cross filter to a colorful image can be obtained.
In addition to pop art, pop art + pinhole is a process of applying toy photo (pinhole) that darkens the periphery of an image by shading and gives an effect of looking through a hole. Details of the toy photo will be described later.
Pop art + white edge is a process in which pop art and white edge are overlapped.
トイフォトは、画像の中心からの距離が大きいほど輝度が小さく（暗く）なるようにして、あたかも穴から覗き込んで異空間に迷い込んだような効果を生じさせる処理である。トイフォトは、例えばローパスフィルタ処理、ホワイトバランス処理、コントラスト処理、色相・彩度処理に加え、輝度信号に対して周辺ほど小さい係数を乗じるシェーディング処理等の画像処理を組み合わせることによって実現される（トイフォト、シェーディングの詳細な内容については、例えば特開２０１０−７４２４４号公報を参照）。 Toy photo is a process in which the brightness is reduced (darker) as the distance from the center of the image increases, and the effect is as if looking into a different space from a hole. Toy photo is realized by combining image processing such as low-pass filter processing, white balance processing, contrast processing, hue / saturation processing, and shading processing that multiplies the luminance signal by a smaller coefficient toward the periphery (toy photo). For details of photo and shading, see, for example, Japanese Patent Application Laid-Open No. 2010-74244.
ラフモノクロームは、高コントラストとフィルムの粒状のノイズを付加してモノクロ画像の力強さや荒々しさを表現する処理である。ラフモノクロームは、例えばエッジ強調処理、レベル補正最適化処理、ノイズパターン重畳処理、合成処理およびコントラスト処理等を組み合わせることによって実現される（ラフモノクロームの詳細な内容については、例えば特開２０１０−６２８３６号公報を参照）。このうちノイズパターン重畳処理（ノイズ付加処理）は、予め作成したノイズパターン画像をもとの画像に加算する処理である。ノイズパターン画像は、例えば乱数などを発生させ、この乱数に基づいて生成してもよい。 Rough monochrome is a process of expressing the strength and roughness of a monochrome image by adding high contrast and grainy noise of the film. Rough monochrome is realized by combining, for example, edge enhancement processing, level correction optimization processing, noise pattern superimposition processing, synthesis processing, contrast processing, and the like (for details of rough monochrome, for example, Japanese Patent Application Laid-Open No. 2010-62836). See the publication). Among these, the noise pattern superimposing process (noise adding process) is a process of adding a noise pattern image created in advance to the original image. The noise pattern image may be generated based on, for example, a random number generated.
ジオラマは、高コントラストで高彩度の画像に、画像の周縁部をぼかすことにより、ミニチュア模型やおもちゃを見ているかのような雰囲気を画面上に作り出す処理である。ジオラマは、例えば色相・彩度処理、コントラスト処理、周辺ぼかし処理および合成処理等を組み合わせることによって実現される。このうち、周辺ぼかし処理は、画像の中心からの距離に応じ、周辺部ほどぼける度合いが大きくなるように、画像の位置に応じてローパス係数を変更しながらローパスフィルタ処理を行うものである。なお、周辺ぼかし処理として、画像の上下のみ、または画像の左右のみをぼかすようにしてもよい。 Diorama is a process that creates a high-contrast, high-saturation image on the screen by creating an atmosphere that looks like a miniature model or toy by blurring the periphery of the image. The diorama is realized by combining, for example, hue / saturation processing, contrast processing, peripheral blur processing, synthesis processing, and the like. Among these, the peripheral blur processing performs low-pass filter processing while changing the low-pass coefficient according to the position of the image so that the degree of blurring in the peripheral portion increases according to the distance from the center of the image. Note that as the peripheral blur processing, only the upper and lower sides of the image or only the left and right sides of the image may be blurred.
動画中特殊効果画像処理部１６３は、動画を記録する際、画像に特殊効果を加える画像処理を行う。動画中特殊効果画像処理部１６３が行う動画中特殊効果としては、例えばマルチエコー、ワンショットエコー、トランジット、揺らぎがある。以下、これらの動画中特殊効果について説明する。 The moving image special effect image processing unit 163 performs image processing for adding a special effect to an image when the moving image is recorded. Examples of the special effect during moving image performed by the special effect image processing unit 163 during moving image include multi-echo, one-shot echo, transit, and fluctuation. Hereinafter, these special effects during moving images will be described.
図４は、マルチエコーの概要を説明する図である。マルチエコーとは、直前の記録用画像と今撮影した画像の合成を所定の期間繰り返すことによって画像に残像が残る効果である。具体的には、図４に示すように、ボール１０１が動く軌跡を残像として表示することができる効果である。 FIG. 4 is a diagram for explaining the outline of multi-echo. Multi-echo is an effect in which an afterimage remains in an image by repeating the synthesis of the immediately previous recording image and the image just taken for a predetermined period. Specifically, as shown in FIG. 4, the trajectory of movement of the ball 101 can be displayed as an afterimage.
動画中特殊効果画像処理部１６３は、動画中特殊効果としてマルチエコーが設定されている場合、開始トリガが入力されると、その直後に生成された画像に対して、一つ前のフレームの画像を所定の割合で合成する処理（マルチエコー処理）を行う。 When the multi-echo is set as the moving image special effect, the moving image special effect image processing unit 163 receives an image of the previous frame with respect to the image generated immediately after the start trigger is input. Is processed at a predetermined ratio (multi-echo processing).
図４に示す場合、動画中特殊効果画像処理部１６３は、開始トリガ入力直後の撮影画像Ｐ１とその１つ前のフレームの撮影画像Ｐ０に対応する記録画像Ｒ０とを合成することによってマルチエコー画像Ｒ１を生成する。この合成の際、各画素において、撮影画像Ｐ１の信号に係数０．６を乗じる一方、記録画像Ｒ０の信号に係数０．４を乗じる。
続いて、動画中特殊効果画像処理部１６３は、次のフレームの撮影画像Ｐ２と合成画像Ｒ１とを合成することによってマルチエコー画像Ｒ２を生成する。マルチエコー画像Ｒ２を生成する際には、各画素において、撮影画像Ｐ２の信号に係数０．６を乗じる一方、合成画像Ｒ１の信号に係数０．４を乗じる。
In the case shown in FIG. 4, the moving image special effect image processing unit 163 combines the captured image P1 immediately after the start trigger is input with the recorded image R0 corresponding to the captured image P0 of the previous frame, thereby generating a multi-echo image. R1 is generated. At the time of this synthesis, in each pixel, the signal of the captured image P1 is multiplied by a coefficient of 0.6, while the signal of the recorded image R0 is multiplied by a coefficient of 0.4.
Subsequently, the moving image special effect image processing unit 163 generates a multi-echo image R2 by combining the captured image P2 of the next frame and the combined image R1. When generating the multi-echo image R2, in each pixel, the signal of the captured image P2 is multiplied by a coefficient of 0.6, while the signal of the composite image R1 is multiplied by a coefficient of 0.4.
動画中特殊効果画像処理部１６３は、終了トリガが入力されるまで、上述した合成処理を繰り返し行うことによってマルチエコー画像を順次生成する。終了トリガが入力されると、記録媒体２３には、撮影画像Ｐ５に対応する記録画像Ｒ５が記録される。 The moving image special effect image processing unit 163 sequentially generates the multi-echo images by repeatedly performing the above-described synthesis processing until an end trigger is input. When the end trigger is input, a recording image R5 corresponding to the captured image P5 is recorded on the recording medium 23.
図５は、ワンショットエコーの概要を説明する図である。ワンショットエコーとは、特定のフレームの画像（一瞬の画像）が徐々に薄くなりながら消えていく効果である。具体的には、図５に示すように、特定の時間に撮影されたボール１０１がしばらくの間撮影画像に残像として残るような効果である。 FIG. 5 is a diagram for explaining the outline of the one-shot echo. One-shot echo is an effect in which an image of a specific frame (instantaneous image) disappears while fading gradually. Specifically, as shown in FIG. 5, the effect is such that the ball 101 photographed at a specific time remains as an afterimage in the photographed image for a while.
動画中特殊効果画像処理部１６３は、動画中特殊効果としてワンショットエコーが設定されている場合、開始トリガが入力されると、その直後に撮影して記録された画像データを一旦ＳＤＲＡＭ２５に保存し、この画像データをその後に撮影された画像データに対して時間とともに徐々に重みが減衰するように合成していく処理（ワンショットエコー処理）を行う。 When a one-shot echo is set as a moving image special effect, the moving image special effect image processing unit 163 temporarily stores image data captured and recorded immediately after that in the SDRAM 25 when a start trigger is input. Then, a process (one-shot echo process) is performed in which the image data is synthesized so that the weight gradually decreases with time with respect to the image data captured thereafter.
図５に示す場合、開始トリガの入力直後に撮影された撮影画像Ｐ１はＳＤＲＡＭ２５に記憶される（以下、ＳＤＲＡＭ画像Ｓ１という）。動画中特殊効果画像処理部１６３は、ＳＤＲＡＭ２５が記憶するＳＤＲＡＭ画像Ｓ１と最新の撮影画像とを所定の比率で合成する。 In the case shown in FIG. 5, the captured image P1 captured immediately after the start trigger is input is stored in the SDRAM 25 (hereinafter referred to as SDRAM image S1). The moving image special effect image processing unit 163 combines the SDRAM image S1 stored in the SDRAM 25 and the latest photographed image at a predetermined ratio.
図５に示す場合、開始トリガ入力直後には撮影画像Ｐ１に対応するワンショットエコー画像Ｒ１１が表示される。
その後、時間ｔ＝ｔ２において、動画中特殊効果画像処理部１６３は、ＳＤＲＡＭ画像Ｓ１と撮影画像Ｐ２とを合成することによってワンショットエコー画像Ｒ１２を生成する。この合成を行う際、各画素において、ＳＤＲＡＭ画像Ｓ１の信号に係数ａ1＝０．８を乗じる一方、撮影画像Ｐ２の信号に係数１−ａ1＝０．２を乗じる。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ3において、ＳＤＲＡＭ画像Ｓ１の信号に乗じる係数をａ＝０．４、撮影画像Ｐ３の信号に乗じる係数を１−ａ＝０．６として合成したワンショットエコー画像Ｒ１３を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ4において、ＳＤＲＡＭ画像Ｓ１の信号に乗じる係数をａ＝０．２、撮影画像Ｐ４の信号に乗じる係数を１−ａ＝０．８として合成したワンショットエコー画像Ｒ１４を生成する。
その後、時間ｔ＝ｔ5において係数ａ＝０となるため、撮影画像Ｐ５が記録画像Ｒ５となる。
In the case shown in FIG. 5, a one-shot echo image R11 corresponding to the captured image P1 is displayed immediately after the start trigger is input.
Thereafter, at time t = t 2 , the moving image special effect image processing unit 163 generates the one-shot echo image R12 by synthesizing the SDRAM image S1 and the captured image P2. When this synthesis is performed, in each pixel, the signal of the SDRAM image S1 is multiplied by a coefficient a 1 = 0.8, while the signal of the captured image P2 is multiplied by a coefficient 1-a 1 = 0.2.
After that, the moving image special effect image processing unit 163, at time t = t 3 , a = 0.4 is a coefficient that is multiplied by the signal of the SDRAM image S1, and 1−a = 0.6 is a coefficient that is multiplied by the signal of the captured image P3. Is generated as a one-shot echo image R13.
After that, the moving image special effect image processing unit 163, at time t = t 4 , a = 0.2 is a coefficient to be multiplied by the signal of the SDRAM image S1, and 1−a = 0.8 is a coefficient to be multiplied by the signal of the captured image P4. Is generated as a one-shot echo image R14.
Thereafter, since the coefficient a = 0 at time t = t 5 , the captured image P5 becomes the recorded image R5.
図６は、最新の撮影画像に合成されるＳＤＲＡＭ画像の合成比率の時間変化を示す図である。図６において、横軸ｔは開始トリガ入力時点（ｔ＝０）からの経過時間であり、縦軸ａはＳＤＲＡＭ画像Ｓ１の各画素の信号に乗じる係数である。図６に示すように、係数ａは、ｔ＝０でａ1であり、時間とともに滑らかに減少していき、開始トリガ入力から所定時間ｔ5経過した時点で０となる。すなわち、ＳＤＲＡＭ画像Ｓ１の合成画像中に占める割合は、時間とともに徐々に減少していく設定がなされている。これにより、ＳＤＲＡＭ画像Ｓ１が時間とともに徐々に消えていくような画像を作り出すことができる。 FIG. 6 is a diagram showing a temporal change in the composition ratio of the SDRAM image synthesized with the latest photographed image. In FIG. 6, the horizontal axis t is the elapsed time from the start trigger input time (t = 0), and the vertical axis a is a coefficient to be multiplied by the signal of each pixel of the SDRAM image S1. As shown in FIG. 6, the coefficient a is a 1 at t = 0, and decreases smoothly with time, and becomes 0 when a predetermined time t 5 has elapsed from the start trigger input. That is, the proportion of the SDRAM image S1 in the composite image is set to gradually decrease with time. As a result, it is possible to create an image in which the SDRAM image S1 gradually disappears with time.
なお、図６に示す曲線は一例に過ぎず、時間とともに係数ａが減衰するなどして一定時間で係数ａが０となるように滑らかに変化する曲線であればどのようなものでもよく、例えば係数ａが一定値をとる期間を含む曲線でもよい。 Note that the curve shown in FIG. 6 is merely an example, and any curve may be used as long as the coefficient a attenuates with time so that the coefficient a smoothly changes so that the coefficient a becomes 0 in a certain time. A curve including a period in which the coefficient a takes a constant value may be used.
また、係数ａは、開始トリガからのフレーム数に応じて定めるようにしてもよい。この場合には、フレーム単位で徐々に係数ａの値を減少させながら、所定のフレーム数（例えば１２０フレーム）で係数が０となるようにすればよい。 The coefficient a may be determined according to the number of frames from the start trigger. In this case, the coefficient may be reduced to 0 for a predetermined number of frames (for example, 120 frames) while gradually decreasing the value of the coefficient a in units of frames.
図７は、トランジットの概要を説明する図である。トランジットは、１つの画像に対して付与されるアート効果が、別のアート効果へと徐々に比率を変えながら変わっていく効果である。図７では、アート効果Ａからアート効果Ｂへ変化するトランジットを模式的に示している。図７において、トランジットの開始トリガ入力直前は、撮影画像Ｐ０に対してアート効果Ａを施したアート効果画像Ａ０が生成される。トランジットでアート効果の切り替え開始から切り替え終了までに要する時間は、適宜設定可能である。 FIG. 7 is a diagram for explaining the outline of transit. Transit is an effect in which an art effect applied to one image is gradually changed to another art effect while changing the ratio. FIG. 7 schematically shows a transit from art effect A to art effect B. In FIG. 7, an art effect image A0 obtained by applying an art effect A to the photographed image P0 is generated immediately before the transit start trigger is input. The time required from the start of art effect switching to the end of switching in transit can be set as appropriate.
図７に示す場合、開始トリガ入力前は、アート効果Ａが設定されているものとする。すなわち、開始トリガ入力直前において、アート効果画像処理部１６２は、撮影画像Ｐ０にアート効果Ａを施したアート効果画像Ｒ２０を形成しているものとする。 In the case shown in FIG. 7, it is assumed that the art effect A is set before the start trigger is input. That is, immediately before the start trigger is input, the art effect image processing unit 162 forms an art effect image R20 obtained by applying the art effect A to the captured image P0.
開始トリガが入力されると、動画中特殊効果画像処理部１６３は、撮影画像Ｐ１にアート効果Ａを施したアート効果画像Ａ１に係数ｂ（＝ｂ0）＝０．８を乗じる一方、撮影画像Ｐ１にアート効果Ｂを施したアート効果画像Ｂ１に係数１−ｂ（＝１−ｂ0）＝０．２を乗じた二つの画像を合成することによってトランジット画像Ｒ２１を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ12において、撮影画像Ｐ２にアート効果Ａを施したアート効果画像Ａ２の信号に乗じる係数をｂ＝０．６とし、撮影画像Ｐ２にアート効果Ｂを施したアート効果画像Ｂ２の信号に乗じる係数を１−ｂ＝０．４として合成したトランジット画像Ｒ２２を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ13において、撮影画像Ｐ３にアート効果Ａを施したアート効果画像Ａ３の信号に乗じる係数をｂ＝０．４とし、撮影画像Ｐ３にアート効果Ｂを施したアート効果画像Ｂ３の信号に乗じる係数を１−ｂ＝０．６として合成したトランジット画像Ｒ２３を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ14において、撮影画像Ｐ４にアート効果Ａを施したアート効果画像Ａ４の信号に乗じる係数をｂ＝０．２とし、撮影画像Ｐ４にアート効果Ｂを施したアート効果画像Ｂ４の信号に乗じる係数を１−ｂ＝０．８として合成したトランジット画像Ｒ２４を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ15において、撮影画像Ｐ５にアート効果Ｂのみを施した（ｂ＝０）トランジット画像Ｒ２５を生成する。
When the start trigger is input, the moving image special effect image processing unit 163 multiplies the art effect image A1 obtained by applying the art effect A to the photographed image P1 by a coefficient b (= b 0 ) = 0.8, while the photographed image A transit image R21 is generated by combining two images obtained by multiplying the art effect image B1 obtained by applying the art effect B to P1 by a coefficient 1-b (= 1-b 0 ) = 0.2.
Thereafter, the special effect image processing section 163 in the video, at the time t = t 12, the coefficient to be multiplied to the signal of the artistic effect image A2 of the captured image P2 were subjected to artistic effect A and b = 0.6, a captured image P2 A transit image R22 is generated by combining the coefficients of the art effect image B2 subjected to the art effect B with a coefficient 1-b = 0.4.
Thereafter, the special effect image processing section 163 in the video, at the time t = t 13, the coefficient to be multiplied to the signal of the artistic effect image A3 of the captured image P3 subjected to artistic effect A and b = 0.4, the captured image P3 A transit image R23 is generated by combining the coefficients of the art effect image B3 subjected to the art effect B with a coefficient 1-b = 0.6.
Thereafter, the special effect image processing section 163 in the video, at the time t = t 14, the coefficient to be multiplied to the signal of the artistic effect image A4 to the captured image P4 subjected to the artistic effect A and b = 0.2, the captured image P4 A transit image R24 is generated by combining the coefficient of the art effect image B4 subjected to the art effect B with a coefficient 1-b = 0.8.
Then, during moving special effect image processor 163, at time t = t 15, it generates the subjected only artistic effect B in the captured image P5 (b = 0) transit images R25.
図８は、トランジット処理において開始トリガ入力前から付与されているアート効果の合成比率（係数）ｂの時間変化を示す図である。図８に示すように、係数ｂは、ｔ＝０でｂ0であり、時間とともに滑らかに減少していき、開始トリガ入力から所定時間ｔ15経過した時点で０となる。 FIG. 8 is a diagram showing a temporal change in the art effect synthesis ratio (coefficient) b given before the start trigger is input in the transit process. As shown in FIG. 8, the coefficient b is b 0 at t = 0, and decreases smoothly with time, and becomes 0 when a predetermined time t 15 has elapsed from the start trigger input.
なお、図８に示す曲線は一例に過ぎず、時間とともに係数ｂが減衰するなどして一定時間で係数ｂが０となるように滑らかに変化する曲線であればどのようなものでもよく、例えば係数ｂが一定値をとる期間を含む曲線でもよい。 Note that the curve shown in FIG. 8 is merely an example, and any curve may be used as long as the coefficient b is smoothly changed so that the coefficient b becomes 0 in a certain time, for example, the coefficient b attenuates with time. A curve including a period in which the coefficient b takes a constant value may be used.
また、係数ｂを、開始トリガからのフレーム数に応じて定めるようにしてもよい。この場合には、フレーム単位で滑らかに係数ｂの値を減少させながら、所定のフレーム数（例えば１２０フレーム）で係数が０となるようにすればよい。 The coefficient b may be determined according to the number of frames from the start trigger. In this case, the coefficient b may be reduced to 0 in a predetermined number of frames (for example, 120 frames) while smoothly decreasing the value of the coefficient b in units of frames.
図９は、揺らぎの概要を示す図である。揺らぎとは、動画中の各フレームに対して付与するアート効果のかかり具合を時間とともにランダムに変化させることによって得られる効果である。図９では、一例として、アート効果がクロスフィルターである場合を示している。この場合、動画中特殊効果画像処理部１６３は、クロス１０２を時間とともにランダムに回転させるとともに、クロス１０２の大きさを時間とともにランダムに変化させることによって揺らぎを与えている。 FIG. 9 is a diagram showing an outline of fluctuation. Fluctuation is an effect obtained by changing the degree of art effect applied to each frame in a moving image at random. FIG. 9 shows a case where the art effect is a cross filter as an example. In this case, the moving image special effect image processing unit 163 randomly fluctuates the cross 102 with time and gives fluctuation by randomly changing the size of the cross 102 with time.
引き続き、撮像装置１の構成を説明する。
ＡＥ処理部１７は、バス２８を介してＳＤＲＡＭ２５に記録された画像データを取得し、取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部１７は、画像データから輝度を算出し、算出した輝度に基づいて、例えば絞り値（Ｆ値）の設定値、シャッタ速度等を決定することで撮像装置１の自動露出を行う。
Next, the configuration of the imaging device 1 will be described.
The AE processing unit 17 acquires image data recorded in the SDRAM 25 via the bus 28, and sets an exposure condition for performing still image shooting or moving image shooting based on the acquired image data. Specifically, the AE processing unit 17 calculates the luminance from the image data, and based on the calculated luminance, for example, determines the setting value of the aperture value (F value), the shutter speed, etc. Perform exposure.
ＡＦ処理部１８は、バス２８を介してＳＤＲＡＭ２５に記録された画像データを取得し、取得した画像データに基づいて、撮像装置１の自動焦点の調整を行う。例えば、ＡＦ処理部１８は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ（Auto Focus）演算処理を行うことによって、撮像装置１の合焦評価を決定することで撮像装置１の自動焦点の調整を行う。 The AF processing unit 18 acquires image data recorded in the SDRAM 25 via the bus 28, and adjusts the automatic focus of the imaging device 1 based on the acquired image data. For example, the AF processing unit 18 extracts a high-frequency component signal from the image data, performs AF (Auto Focus) calculation processing on the high-frequency component signal, and determines the focus evaluation of the imaging device 1 to perform imaging. The automatic focus of the apparatus 1 is adjusted.
画像圧縮展開部１９は、バス２８を介してＳＤＲＡＭ２５から画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ２５に出力する。ここで、所定の形式としては、ＪＰＥＧ（Joint Photographic Experts Group）方式、ＭｏｔｉｏｎＪＰＥＧ方式およびＭＰ４（Ｈ．２６４）方式等である。また、画像圧縮展開部１９は、バス２８およびメモリＩ／Ｆ２４を介して記録媒体２３に記録された画像データ（圧縮画像データ）を取得し、取得した画像データを展開（伸長）してＳＤＲＡＭ２５に出力する。なお、記録媒体２３の代わりに撮像装置１の内部に記憶部を設けてもよい。 The image compression / decompression unit 19 acquires image data from the SDRAM 25 via the bus 28, compresses the acquired image data according to a predetermined format, and outputs the compressed image data to the SDRAM 25. Here, the predetermined format includes a JPEG (Joint Photographic Experts Group) system, a Motion JPEG system, and an MP4 (H.264) system. The image compression / decompression unit 19 acquires image data (compressed image data) recorded on the recording medium 23 via the bus 28 and the memory I / F 24, expands (decompresses) the acquired image data, and stores it in the SDRAM 25. Output. Note that a storage unit may be provided inside the imaging apparatus 1 instead of the recording medium 23.
入力部２０は、静止画撮影および動画撮影における撮影条件を設定する静止画撮影条件設定信号を含む各種設定信号の入力を受け付ける設定信号入力部２０１と、少なくとも動画撮影の開始を指示する動画撮影開始信号の入力を受け付ける動画撮影信号入力部２０２と、動画中特殊効果の特性を変更を指示する変更指示信号の入力を受け付ける変更指示信号入力部２０３と、を有する。 The input unit 20 includes a setting signal input unit 201 that receives input of various setting signals including a still image shooting condition setting signal that sets shooting conditions in still image shooting and moving image shooting, and starts moving image shooting that instructs at least the start of moving image shooting. A moving image shooting signal input unit 202 that receives a signal input and a change instruction signal input unit 203 that receives an input of a change instruction signal for instructing to change the characteristics of a moving image special effect.
変更指示信号入力部２０３が入力を受け付ける変更指示信号は、動画中特殊効果の特性を変えずに動画中特殊効果をホールドする効果ホールド信号、および動画中特殊効果の特性の時間的な変化を与える特性曲線の変更指示を与える特性曲線変更指示信号からなる。 The change instruction signal received by the change instruction signal input unit 203 gives an effect hold signal for holding the special effect during moving image without changing the characteristic of the special effect during moving image, and a temporal change in the characteristic of the special effect during moving image. It consists of a characteristic curve change instruction signal for giving an instruction to change the characteristic curve.
入力部２０は、本体部２の表面に設けられた操作信号入力用のユーザインターフェースを用いて実現される。以下、入力部２０の一部をなすユーザインタフェースの構成を説明する。 The input unit 20 is realized using an operation signal input user interface provided on the surface of the main body unit 2. Hereinafter, the configuration of the user interface that forms part of the input unit 20 will be described.
撮像装置１は、操作入力用のユーザインタフェースとして、撮像装置１の電源状態をオン状態またはオフ状態に切替える電源ボタン４１と、静止画撮影の指示を与える静止画レリーズ信号の入力を受け付けるレリーズボタン４２と、撮像装置１に設定された各種撮影モードを切り替えるモードダイヤル４３と、撮像装置１の各種設定を切替える操作ボタン４４と、撮像装置１の各種設定を表示部２１に表示させるメニューボタン４５と、記録媒体２３に記録された画像データに対応する画像を表示部２１に表示させる再生ボタン４６と、動画撮影の指示を与える動画レリーズ信号の入力を受け付ける動画ボタン４７と、撮像装置１の各種機能を設定するファンクションキー４８と、データを消去する消去ボタン４９と、表示部２１の表示画面に重ねて設けられ、外部からの接触位置に応じた入力信号を受け付けるタッチパネル５０とを有する。 The imaging apparatus 1 has, as a user interface for operation input, a power button 41 that switches the power state of the imaging apparatus 1 to an on state or an off state, and a release button 42 that receives an input of a still image release signal that gives a still image shooting instruction. A mode dial 43 for switching various shooting modes set in the imaging apparatus 1, an operation button 44 for switching various settings of the imaging apparatus 1, a menu button 45 for displaying various settings of the imaging apparatus 1 on the display unit 21, and The playback button 46 for displaying an image corresponding to the image data recorded on the recording medium 23 on the display unit 21, the moving image button 47 for receiving input of a moving image release signal for giving a moving image shooting instruction, and various functions of the imaging device 1. Function key 48 to be set, erase button 49 for erasing data, and display screen of display unit 21 Again it provided, and a touch panel 50 that receives an input signal corresponding to the contact position from the outside.
レリーズボタン４２は、外部からの押圧により進退可能である。レリーズボタン４２が半押しされた場合、撮影準備動作を指示する１ｓｔレリーズ信号が入力される。これに対し、レリーズボタン４２が全押しされた場合、静止画撮影を指示する２ｎｄレリーズ信号が入力される。本実施の形態では、動画中特殊効果画像処理部１６３が動画中特殊効果画像処理を実行している最中は、レリーズボタン４２の１ｓｔレリーズ信号を効果ホールド信号としてもよい。これにより、ユーザは効果ホールドを行いたいときに、直感的に把握しやすい入力ボタンを使用して効果ホールド処理を行うことができる。この場合のレリーズボタン４２は、変更指示信号入力部２０３の一部をなすこととなる。 The release button 42 can be advanced and retracted by pressing from the outside. When the release button 42 is pressed halfway, a 1st release signal that instructs a shooting preparation operation is input. On the other hand, when the release button 42 is fully pressed, a 2nd release signal instructing still image shooting is input. In the present embodiment, the first release signal of the release button 42 may be used as the effect hold signal while the moving image special effect image processing unit 163 is executing the moving image special effect image processing. Thus, when the user wants to hold the effect, the effect holding process can be performed using the input button that is easy to grasp intuitively. In this case, the release button 42 forms a part of the change instruction signal input unit 203.
操作ボタン４４は、メニュー画面等における選択設定入力を行うために上下左右方向に十字状をなす十字キー４４１と、十字キー４４１による選択を確定する決定ボタン４４２とを有する。十字キー４４１は、上矢印キー４４３、下矢印キー４４４、左矢印キー４４５、右矢印キー４４６からなる。 The operation button 44 includes a cross key 441 that has a cross shape in the up / down / left / right directions in order to perform selection setting input on a menu screen or the like, and a determination button 442 for confirming selection by the cross key 441. The cross key 441 includes an up arrow key 443, a down arrow key 444, a left arrow key 445, and a right arrow key 446.
タッチパネル５０は、変更指示信号入力部２０３の一部として機能する。すなわち、タッチパネル５０は、効果ホールド信号や、特性曲線変更指示信号の入力を受け付ける機能を有する。 The touch panel 50 functions as a part of the change instruction signal input unit 203. That is, the touch panel 50 has a function of receiving an input of an effect hold signal or a characteristic curve change instruction signal.
以上説明したユーザインタフェースのうち、動画ボタン４７以外のボタンは設定信号入力部２０１の一部をなす。また、動画ボタン４７は動画撮影信号入力部２０２の一部をなす。また、動画中特殊効果画像処置実行中のレリーズボタン４２、およびタッチパネル５０は、変更指示信号入力部２０３の一部をなす。 Of the user interfaces described above, buttons other than the moving image button 47 form part of the setting signal input unit 201. The moving image button 47 forms a part of the moving image shooting signal input unit 202. In addition, the release button 42 and the touch panel 50 during execution of the special effect image treatment during moving image form a part of the change instruction signal input unit 203.
図１０は、動画記録中でない場合（動画非記録時）と動画記録中である場合（動画記録時）における十字キー４４１の各矢印キーへの操作割り当て例を示す図である。動画が記録中でない場合、上矢印キー４４３には露出補正操作が割り当てられる。下矢印キー４４４には連写・単写操作が割り当てられる。左矢印キー４４５にはＡＦターゲット操作が割り当てられる。右矢印キー４４６にはフラッシュ設定操作が割り当てられる。 FIG. 10 is a diagram showing an example of assigning operations to the arrow keys of the cross key 441 when the moving image is not being recorded (when the moving image is not recorded) and when the moving image is being recorded (when the moving image is recorded). When a moving image is not being recorded, an exposure correction operation is assigned to the up arrow key 443. The down arrow key 444 is assigned continuous shooting / single shooting operation. An AF target operation is assigned to the left arrow key 445. A flash setting operation is assigned to the right arrow key 446.
次に、動画記録中である場合を説明する。この場合、上矢印キー４４３にはワンショットエコー開始操作が割り当てられる。下矢印キー４４４にはトランジット開始操作が割り当てられる。左矢印キー４４５は、マルチエコーの開始、停止操作を交互に割り当てトグルキーとして機能する。右矢印キー４４６には揺らぎ開始操作が割り当てられる。なお、揺らぎの終了を任意に選択できるように設定する場合には、右矢印キー４４６に対して、揺らぎの開始操作と終了操作とを交互に操作可能なトグルキーとして機能させればよい。 Next, a case where a moving image is being recorded will be described. In this case, a one-shot echo start operation is assigned to the up arrow key 443. The down arrow key 444 is assigned a transit start operation. The left arrow key 445 alternately assigns start and stop operations of multi-echo and functions as a toggle key. A fluctuation start operation is assigned to the right arrow key 446. Note that when setting the end of fluctuation to be arbitrarily selected, the right arrow key 446 may be made to function as a toggle key capable of alternately operating the start and end operations of fluctuation.
なお、動画記録時における入力ボタンの割り当ては、図１０に示すものに限られるわけではない。 Note that the input button assignment at the time of moving image recording is not limited to that shown in FIG.
表示部２１は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示駆動部２２は、バス２８を介してＳＤＲＡＭ２５が記憶する画像データまたは記録媒体２３が記憶する画像データを取得し、取得した画像データに対応する画像を表示部２１に表示させる。ここで、画像の表示には、撮影直後の画像データを所定時間（例えば３秒間）だけ表示するレックビュー表示、記録媒体２３に記録された画像データを再生する再生表示、および撮像素子１２が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。また、表示部２１は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。 The display part 21 is comprised using the display panel which consists of a liquid crystal or organic EL (Electro Luminescence). The display driving unit 22 acquires image data stored in the SDRAM 25 or image data stored in the recording medium 23 via the bus 28 and causes the display unit 21 to display an image corresponding to the acquired image data. Here, for image display, a rec view display that displays image data immediately after shooting for a predetermined time (for example, 3 seconds), a reproduction display that reproduces image data recorded on the recording medium 23, and an image sensor 12 are continuously displayed. Live view display that sequentially displays live view images corresponding to image data to be generated in time series. The display unit 21 appropriately displays operation information of the imaging device 1 and information related to shooting.
記録媒体２３は、撮像装置１の外部から装着されるメモリカード等を用いて構成される。記録媒体２３は、メモリＩ／Ｆ２４を介して撮像装置１に着脱自在に装着される。記録媒体２３には、その種類に応じた図示しない読み書き装置によって画像処理部１６や画像圧縮展開部１９が処理を施した画像データが書き込まれ、または読み書き装置によって記録媒体２３に記録された画像データが読み出される。また、記録媒体２３は、制御部２９の制御のもと、メモリＩ／Ｆ２４およびバス２８を介して撮像プログラムおよび各種情報それぞれをＦｌａｓｈメモリ２６に出力してもよい。 The recording medium 23 is configured using a memory card or the like mounted from the outside of the imaging device 1. The recording medium 23 is detachably attached to the imaging device 1 via the memory I / F 24. Image data processed by the image processing unit 16 and the image compression / decompression unit 19 by a read / write device (not shown) corresponding to the type is written on the recording medium 23, or image data recorded on the recording medium 23 by the read / write device Is read out. The recording medium 23 may output the imaging program and various types of information to the flash memory 26 via the memory I / F 24 and the bus 28 under the control of the control unit 29.
ＳＤＲＡＭ２５は、揮発性メモリを用いて構成される。ＳＤＲＡＭ２５は、バス２８を介してＡ／Ｄ変換部１５から入力される画像データ、画像処理部１６から入力される処理画像データおよび撮像装置１の処理中の情報を一時的に記憶する一次記憶部としての機能を有する。例えば、ＳＤＲＡＭ２５は、信号処理部１４、Ａ／Ｄ変換部１５およびバス２８を介して、撮像素子１２が１フレーム毎に順次出力する画像データを一時的に記憶する。 The SDRAM 25 is configured using a volatile memory. The SDRAM 25 temporarily stores image data input from the A / D converter 15 via the bus 28, processed image data input from the image processor 16, and information being processed by the imaging device 1. As a function. For example, the SDRAM 25 temporarily stores image data that the image sensor 12 sequentially outputs for each frame via the signal processing unit 14, the A / D conversion unit 15, and the bus 28.
Ｆｌａｓｈメモリ２６は、不揮発性メモリを用いて構成される。Ｆｌａｓｈメモリ２６は、プログラム記録部２６１と、特殊効果処理情報記録部２６２と、画像処理情報記録部２６３と、を有する。プログラム記録部２６１は、撮像装置１を動作させるための各種プログラム、撮像プログラムおよびプログラムの実行中に使用される各種データおよび画像処理部１６による画像処理の動作に必要な各種パラメータ等を記録する。特殊効果処理情報記録部２６２は、アート効果画像処理部１６２が行う各アート効果処理における画像処理の組み合わせ情報を記録する。画像処理情報記録部２６３は、画像処理部１６が実行可能な画像処理に処理時間を対応付けた画像処理情報を記録する。また、Ｆｌａｓｈメモリ２６は、撮像装置１を特定するための製造番号等を記録する。 The flash memory 26 is configured using a nonvolatile memory. The flash memory 26 includes a program recording unit 261, a special effect processing information recording unit 262, and an image processing information recording unit 263. The program recording unit 261 records various programs for operating the imaging apparatus 1, imaging programs, various data used during execution of the programs, various parameters necessary for image processing operations by the image processing unit 16, and the like. The special effect processing information recording unit 262 records image processing combination information in each art effect processing performed by the art effect image processing unit 162. The image processing information recording unit 263 records image processing information in which processing time is associated with image processing that can be executed by the image processing unit 16. Further, the flash memory 26 records a manufacturing number for specifying the imaging device 1.
本体通信部２７は、本体部２に装着されたレンズ部３との通信を行うための通信インターフェースである。本体通信部２７には、レンズ部３との電気的な接点も含まれる。 The main body communication unit 27 is a communication interface for performing communication with the lens unit 3 attached to the main body unit 2. The main body communication unit 27 also includes an electrical contact with the lens unit 3.
バス２８は、撮像装置１の各構成部位を接続する伝送路等を用いて構成される。バス２８は、撮像装置１の内部で発生した各種データを撮像装置１の各構成部位に転送する。 The bus 28 is configured using a transmission path or the like that connects each component of the imaging device 1. The bus 28 transfers various data generated inside the imaging apparatus 1 to each component of the imaging apparatus 1.
制御部２９は、ＣＰＵ（Central Processing Unit）等を用いて構成される。制御部２９は、画像処理制御部２９１と、特性制御部２９２と、表示制御部２９３と、を有する。 The control unit 29 is configured using a CPU (Central Processing Unit) or the like. The control unit 29 includes an image processing control unit 291, a characteristic control unit 292, and a display control unit 293.
画像処理制御部２９１は、バス２８を介して入力される入力部２０からの指示信号に応じて、画像処理部１６に実行させるべき画像処理の内容を設定し、設定した内容に応じた画像処理を、基本画像処理部１６１、アート効果画像処理部１６２、および動画中特殊効果画像処理部１６３のいずれかに実行させる。 The image processing control unit 291 sets the content of image processing to be executed by the image processing unit 16 in accordance with an instruction signal from the input unit 20 input via the bus 28, and performs image processing according to the set content. Is executed by any one of the basic image processing unit 161, the art effect image processing unit 162, and the moving image special effect image processing unit 163.
特性制御部２９２は、動画中特殊効果の特性を制御する。この特性は、ワンショットエコーの場合には、ＳＤＲＡＭ画像の合成比率ａである（図６を参照）。また、トランジットの場合には、トランジット前のアート効果の合成比率ｂである（図８を参照）。 The characteristic control unit 292 controls the characteristics of special effects during moving images. This characteristic is the composition ratio a of the SDRAM image in the case of the one-shot echo (see FIG. 6). Further, in the case of transit, it is the composite ratio b of the art effect before transit (see FIG. 8).
表示制御部２９３は、表示部２１の表示態様を制御する。具体的には、表示制御部２９３は、表示駆動部２２を駆動し、画像処理部１６が処理を行った各種画像データに対応する画像を表示部２１に表示させる。 The display control unit 293 controls the display mode of the display unit 21. Specifically, the display control unit 293 drives the display driving unit 22 and causes the display unit 21 to display images corresponding to various image data processed by the image processing unit 16.
制御部２９は、バス２８を介して入力部２０から送信される指示信号に応じて、撮像装置１を構成する各部に対して制御信号や各種データの送信を行うことにより、撮像装置１の動作を統括的に制御する。 In response to the instruction signal transmitted from the input unit 20 via the bus 28, the control unit 29 transmits the control signal and various data to each unit constituting the imaging device 1, thereby operating the imaging device 1. Overall control.
制御部２９は、レリーズボタン４２を介して２ｎｄレリーズ信号が入力された場合、撮像装置１における静止画撮影動作を開始する制御を行う。また、制御部２９は、動画ボタン４７を介して動画撮影開始信号が入力された場合、撮像装置１における動画撮影動作を開始する制御を行う。ここで、撮像装置１における撮影動作とは、シャッタ駆動部１１および撮像素子駆動部１３の駆動によって撮像素子１２が出力した画像データに対し、信号処理部１４、Ａ／Ｄ変換部１５および画像処理部１６が所定の処理を施す動作をいう。このように処理が施された画像データは、画像処理制御部２９１の制御のもと、画像圧縮展開部１９で所定の形式にしたがって圧縮され、バス２８およびメモリＩ／Ｆ２４を介して記録媒体２３に記録される。なお、本実施の形態では記録媒体２３が記憶部の一部をなしているが、記録媒体２３とは別に撮像装置１の内部に記憶部の機能を有する記憶領域を確保し、この記憶領域に圧縮した画像データを記憶するようにしてもよい。 When a 2nd release signal is input via the release button 42, the control unit 29 performs control to start a still image shooting operation in the imaging device 1. In addition, when a moving image shooting start signal is input via the moving image button 47, the control unit 29 performs control to start a moving image shooting operation in the imaging device 1. Here, the imaging operation in the imaging apparatus 1 refers to the signal processing unit 14, the A / D conversion unit 15, and the image processing for the image data output from the imaging device 12 by driving the shutter driving unit 11 and the imaging device driving unit 13. An operation in which the unit 16 performs a predetermined process. The image data thus processed is compressed in accordance with a predetermined format by the image compression / expansion unit 19 under the control of the image processing control unit 291, and is recorded via the bus 28 and the memory I / F 24. To be recorded. In the present embodiment, the recording medium 23 forms a part of the storage unit. However, a storage area having the function of the storage unit is secured inside the imaging apparatus 1 separately from the recording medium 23, and the storage area is stored in this storage area. You may make it memorize | store the compressed image data.
以上の構成を有する本体部２に対して、音声入出力部、被写体に対して補助光（フラッシュ）を発光する補助光発光部、インターネットを介して外部の装置と双方向に通信を行う機能を有する通信部などをさらに設けてもよい。 For the main body 2 having the above-described configuration, an audio input / output unit, an auxiliary light emitting unit that emits auxiliary light (flash) to the subject, and a function of bidirectionally communicating with an external device via the Internet You may provide further the communication part etc. which have.
次に、レンズ部３の構成を説明する。レンズ部３は、光学系３１と、レンズ駆動部３２と、絞り３３と、絞り駆動部３４と、レンズ操作部３５と、レンズＦｌａｓｈメモリ３６と、レンズ通信部３７と、レンズ制御部３８と、を備える。 Next, the configuration of the lens unit 3 will be described. The lens unit 3 includes an optical system 31, a lens driving unit 32, a diaphragm 33, a diaphragm driving unit 34, a lens operation unit 35, a lens flash memory 36, a lens communication unit 37, a lens control unit 38, Is provided.
光学系３１は、一または複数のレンズを用いて構成される。光学系３１は、所定の視野領域から光を集光する。光学系３１は、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。 The optical system 31 is configured using one or a plurality of lenses. The optical system 31 collects light from a predetermined visual field region. The optical system 31 has an optical zoom function for changing the angle of view and a focus function for changing the focus.
レンズ駆動部３２は、ＤＣモータまたはステッピングモータ等を用いて構成され、光学系３１のレンズを光軸Ｌ上で移動させることにより、光学系３１のピント位置や画角等の変更を行う。 The lens driving unit 32 is configured using a DC motor, a stepping motor, or the like, and changes the focus position, the angle of view, and the like of the optical system 31 by moving the lens of the optical system 31 on the optical axis L.
絞り３３は、光学系３１が集光した光の入射量を制限することにより露出の調整を行う。
絞り駆動部３４は、ステッピングモータ等を用いて構成され、絞り３３を駆動する。
The diaphragm 33 adjusts the exposure by limiting the amount of incident light collected by the optical system 31.
The aperture drive unit 34 is configured using a stepping motor or the like, and drives the aperture 33.
レンズ操作部３５は、図２に示すように、レンズ部３のレンズ鏡筒の周囲に設けられるリングであり、レンズ部３における光学ズームの操作を開始する操作信号の入力、またはレンズ部３におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部３５は、プッシュ式のスイッチ等であってもよい。 As shown in FIG. 2, the lens operation unit 35 is a ring provided around the lens barrel of the lens unit 3. The lens operation unit 35 receives an operation signal for starting an optical zoom operation in the lens unit 3 or in the lens unit 3. An instruction signal for instructing adjustment of the focus position is received. The lens operation unit 35 may be a push switch or the like.
レンズＦｌａｓｈメモリ３６は、光学系３１の位置および動きそれぞれを決定するための制御用プログラム、光学系３１のレンズ特性および各種パラメータを記録する。 The lens flash memory 36 records a control program for determining the position and movement of the optical system 31, the lens characteristics of the optical system 31, and various parameters.
レンズ通信部３７は、レンズ部３が本体部２に装着されたときに、本体部２の本体通信部２７と通信を行うための通信インターフェースである。レンズ通信部３７には、本体部２との電気的な接点も含まれる。 The lens communication unit 37 is a communication interface for communicating with the main body communication unit 27 of the main body unit 2 when the lens unit 3 is attached to the main body unit 2. The lens communication unit 37 includes an electrical contact with the main body unit 2.
レンズ制御部３８は、ＣＰＵ（Central Processing Unit）等を用いて構成される。レンズ制御部３８は、レンズ操作部３５の操作信号または本体部２からの指示信号に応じてレンズ部３の動作を制御する。具体的には、レンズ制御部３８は、レンズ操作部３５の操作信号に応じて、レンズ駆動部３２を駆動させてレンズ部３のピント合わせやズーム変更を行うとともに、絞り駆動部３４を駆動させて絞り値の変更を行う。なお、レンズ制御部３８は、レンズ部３が本体部２に装着された際に、レンズ部３のピント位置情報、焦点距離およびレンズ部３を識別する固有情報等を本体部２に送信するようにしてもよい。 The lens control unit 38 is configured using a CPU (Central Processing Unit) or the like. The lens control unit 38 controls the operation of the lens unit 3 in accordance with an operation signal from the lens operation unit 35 or an instruction signal from the main body unit 2. Specifically, the lens control unit 38 drives the lens driving unit 32 in accordance with an operation signal from the lens operation unit 35 to focus the lens unit 3 and change the zoom, and also drives the aperture driving unit 34. To change the aperture value. When the lens unit 3 is attached to the main body unit 2, the lens control unit 38 transmits the focus position information of the lens unit 3, the focal length, unique information for identifying the lens unit 3, and the like to the main body unit 2. It may be.
レンズ制御部３８は、本体部２の制御部２９との間で所定の周期でレンズ通信信号を送受信することによって、本体部２との動作の連携を図っている。図１１は、レンズ制御部３８と制御部２９との同期通信の一例を示すタイミングチャートである。図１１（ａ）は本体部２内の処理を示している。図１１（ｂ）は垂直同期信号を示している。図１１（ｃ）は撮像、読み出しのタイミングを示している。図１１（ｄ）はレンズ通信を示している。図１１（ｅ）はレンズ通信同期信号を示している。図１１（ｆ）はレンズ位置取得信号を示している。図１１（ｇ）はレンズ部３内の処理を示している。 The lens control unit 38 transmits and receives a lens communication signal to and from the control unit 29 of the main body unit 2 at a predetermined cycle so as to coordinate the operation with the main body unit 2. FIG. 11 is a timing chart illustrating an example of synchronous communication between the lens control unit 38 and the control unit 29. FIG. 11A shows processing in the main body 2. FIG. 11B shows a vertical synchronization signal. FIG. 11C shows the timing of imaging and reading. FIG. 11D shows lens communication. FIG. 11E shows a lens communication synchronization signal. FIG. 11F shows the lens position acquisition signal. FIG. 11G shows processing in the lens unit 3.
まず、制御部２９は、前フレームで取得した画像データによりライブビュー画像の画像処理およびＡＦ評価値の算出等を画像処理部１６に実行させるとともに、レンズ制御部３８にレンズ状態データを取得するためのレンズ状態データ要求コマンドを送信する（Ｂ１、ＢＬ）。この際、制御部２９は、同期通信モード中に、垂直同期信号と同じ周期でレンズ通信用の同期信号および光学系３１の位置情報を取得するタイミングを指示するレンズ位置取得信号を送信する。このレンズ位置取得信号は、図１１（ｃ）に示すように撮像素子１２の中央部の蓄積時間の１／２が経過した時点で状態が変化する信号である。 First, the control unit 29 causes the image processing unit 16 to perform image processing of the live view image, calculation of the AF evaluation value, and the like based on the image data acquired in the previous frame, and also causes the lens control unit 38 to acquire lens state data. The lens state data request command is transmitted (B1, BL). At this time, during the synchronous communication mode, the control unit 29 transmits a lens position acquisition signal instructing the timing for acquiring the lens communication synchronization signal and the position information of the optical system 31 at the same cycle as the vertical synchronization signal. This lens position acquisition signal is a signal whose state changes when half of the accumulation time at the center of the image sensor 12 has elapsed, as shown in FIG.
レンズ制御部３８は、レンズ位置取得信号の状態が変化したタイミングで光学系３１の位置情報を取得するとともに、レンズ通信同期信号の受信タイミングでレンズ操作部３５の操作状態を検出する（Ｌ１）。 The lens control unit 38 acquires the position information of the optical system 31 at the timing when the state of the lens position acquisition signal changes, and detects the operation state of the lens operation unit 35 at the reception timing of the lens communication synchronization signal (L1).
続いて、レンズ制御部３８は、制御部２９から受信したレンズ状態データ要求コマンドへの応答として、工程Ｌ１で取得した光学系３１の位置情報およびレンズ操作部３５の捜査状態を含むレンズ状態データを制御部２９へ送信する（Ｌ２）。 Subsequently, as a response to the lens state data request command received from the control unit 29, the lens control unit 38 obtains lens state data including the positional information of the optical system 31 and the search state of the lens operation unit 35 acquired in step L1. It transmits to the control part 29 (L2).
この後、制御部２９は、レンズ制御部３８から送られてきたレンズ状態データに基づいて、ＡＦ評価値の算出や、露出値の変更等の各種設定変更を行う（Ｂ２）。 Thereafter, the control unit 29 performs various setting changes such as calculation of the AF evaluation value and change of the exposure value based on the lens state data sent from the lens control unit 38 (B2).
制御部２９とレンズ制御部３８は、以上説明した処理を周期的に繰り返し行う。 The control unit 29 and the lens control unit 38 periodically repeat the processing described above.
図１２は、以上の構成を有する撮像装置１が行う処理の概要を示すフローチャートである。図１２において、まず、ユーザによって電源ボタン４１が操作されて、撮像装置１の電源がオン状態になる（ステップＳ１：Ｙｅｓ）と、制御部２９は、撮像装置１の初期化を行う（ステップＳ２）。この初期化処理において、制御部２９は、例えば動画の記録中を示す記録中フラグをオフ状態にリセットしたり、動画中の特殊効果に関する適用を示す特殊効果フラグをオフ状態にリセットしたり、レンズ制御部３８との間のレンズ通信（図１１を参照）を開始したりする処理を行う。なお、撮像装置１の電源がオン状態でない場合（ステップＳ１：Ｎｏ）、撮像装置１はステップＳ１を繰り返す。 FIG. 12 is a flowchart illustrating an outline of processing performed by the imaging apparatus 1 having the above configuration. In FIG. 12, first, when the power button 41 is operated by the user to turn on the power of the imaging device 1 (step S1: Yes), the control unit 29 initializes the imaging device 1 (step S2). ). In this initialization process, for example, the control unit 29 resets a recording flag indicating that a moving image is being recorded to an off state, resets a special effect flag indicating application relating to a special effect in the moving image to an off state, Processing for starting lens communication (see FIG. 11) with the control unit 38 is performed. If the power of the imaging device 1 is not on (step S1: No), the imaging device 1 repeats step S1.
続いて、再生ボタン４６が操作されることなく（ステップＳ３：Ｎｏ）、メニューボタン４５が操作された場合（ステップＳ４：Ｙｅｓ）、撮像装置１は、設定を変更するためのメニュー画面を表示し、ユーザの選択操作に応じて撮像装置１の各種条件を設定する設定処理を実行する（ステップＳ５）。ステップＳ５の後、撮像装置１は、後述するステップＳ７へ移行する。 Subsequently, when the playback button 46 is not operated (step S3: No) and the menu button 45 is operated (step S4: Yes), the imaging apparatus 1 displays a menu screen for changing the setting. Then, a setting process for setting various conditions of the imaging device 1 in accordance with the user's selection operation is executed (step S5). After step S5, the imaging apparatus 1 proceeds to step S7 described later.
ここで設定される内容は、仕上がり効果処理、アート効果処理、静止画記録モード、動画記録モード、動画中特殊効果処理などである。仕上がり効果処理には、例えば画像を自然な色合いに仕上げる処理であるナチュラル、画像を色鮮やかに仕上げる処理であるビビッド、被写体の素材性を重視して仕上げる処理であるフラット、画像をモノクロ調に仕上げる処理であるモノトーンなどが含まれる。静止画記録モードは、記録対象とする静止画の種類に応じて定められ、例えばＪＰＥＧ記録モード、ＪＰＥＧ＋ＲＡＷ記録モード、ＲＡＷ記録モードなどがある。動画撮影モードは、動画圧縮形式に応じて定められるモードであって、例えばＭｏｔｉｏｎ−ＪＰＥＧモード、ＭＰ４（Ｈ．２６４）モードなどがある。動画中特殊効果処理で設定されるのは、例えばトランジットによるアート効果の切り替え先や揺らぎなどである。 The contents set here are finish effect processing, art effect processing, still image recording mode, moving image recording mode, moving image special effect processing, and the like. Finishing effect processing includes, for example, natural processing that finishes an image in a natural color, vivid processing that finishes an image vividly, flat processing that focuses on the subject material, and finishes the image in monochrome. Monotone that is processing is included. The still image recording mode is determined according to the type of still image to be recorded, and includes, for example, a JPEG recording mode, a JPEG + RAW recording mode, and a RAW recording mode. The moving image shooting mode is a mode determined according to the moving image compression format, and includes, for example, a Motion-JPEG mode, an MP4 (H.264) mode, and the like. What is set in the special effect processing during moving image is, for example, the destination of the art effect switching due to transit or fluctuation.
ステップＳ３で再生ボタン４６が操作された場合（ステップＳ３：Ｙｅｓ）、撮像装置１は再生処理を行う（ステップＳ６）。このステップＳ６において、表示制御部２９３は、記録媒体２３に記録されているファイル一覧を表示部２１に表示させる。その後、入力部２０によって再生画像が選択入力された場合、記録媒体２３から画像データを取得し、取得した画像データを画像圧縮展開部１９で展開して表示部２１に表示させる。この後、撮像装置１は、ステップＳ１８へ移行する。 When the playback button 46 is operated in step S3 (step S3: Yes), the imaging apparatus 1 performs a playback process (step S6). In step S6, the display control unit 293 causes the display unit 21 to display a list of files recorded on the recording medium 23. Thereafter, when a reproduction image is selected and input by the input unit 20, image data is acquired from the recording medium 23, and the acquired image data is expanded by the image compression / decompression unit 19 and displayed on the display unit 21. Thereafter, the imaging apparatus 1 proceeds to step S18.
ステップＳ３で再生ボタン４６が操作されることなく（ステップＳ３：Ｎｏ）、メニューボタン４５が操作されていない場合（ステップＳ４：Ｎｏ）において、動画ボタン４７が操作されたとき（ステップＳ７：Ｙｅｓ）、制御部２９は、動画の記録中であることを示す記録中フラグを反転させる（ステップＳ８）。具体的には、例えば記録中フラグがオン状態にある場合、制御部２９は、その記録中フラグをオフ状態に反転させる。 When the playback button 46 is not operated in step S3 (step S3: No), and the movie button 47 is operated when the menu button 45 is not operated (step S4: No) (step S7: Yes). The control unit 29 inverts the recording flag indicating that the moving image is being recorded (step S8). Specifically, for example, when the recording flag is in an on state, the control unit 29 inverts the recording flag to an off state.
続いて、制御部２９は、ＳＤＲＡＭ２５に記録された記録中フラグがオン状態であるか否かを判断する（ステップＳ９）。記録中フラグがオン状態であると判断した場合（ステップＳ９：Ｙｅｓ）、制御部２９は、記録媒体２３に画像データを時系列に沿って記録するための動画ファイルを生成して記録媒体２３に格納する（ステップＳ１０）。 Subsequently, the control unit 29 determines whether or not the recording flag recorded in the SDRAM 25 is in an ON state (step S9). When it is determined that the recording flag is in the on state (step S9: Yes), the control unit 29 generates a moving image file for recording the image data in time series on the recording medium 23 and stores the moving image file on the recording medium 23. Store (step S10).
その後、制御部２９は、特殊動画用のユーザインターフェース（ＵＩ）を設定する（ステップＳ１１）。この設定により、例えば図１０に示すような動画記録時の割り当てが実行される。制御部２９は、ステップＳ１１で設定対象となったユーザインタフェースがこの後で受け付ける信号を、図１０に基づく特殊動画用の信号として認識する。 Thereafter, the control unit 29 sets a user interface (UI) for special moving images (step S11). With this setting, for example, assignment at the time of moving image recording as shown in FIG. 10 is executed. The control unit 29 recognizes a signal that is subsequently received by the user interface set in step S11 as a special moving image signal based on FIG.
続いて、表示制御部２９３は、表示部２１に表示させる画面上表示（ＯＳＤ）などの設定を切り替えることによって動画用の画面への切替えを行う（ステップＳ１２）。具体的には、表示制御部２９３は、例えば残り時間や、動画撮影時に特殊効果を適用できることを示すアイコンなどを表示する。この後、撮像装置１は、後述するステップＳ１５へ移行する。 Subsequently, the display control unit 293 switches to a screen for moving images by switching settings such as on-screen display (OSD) to be displayed on the display unit 21 (step S12). Specifically, the display control unit 293 displays, for example, a remaining time or an icon indicating that a special effect can be applied during moving image shooting. Thereafter, the imaging apparatus 1 proceeds to step S15 described later.
図１３は、表示部２１における動画用の画面表示例を示す図である。図１３に示すように、動画用画面Ｑでは、動画中特殊効果を適用可能であることを示す動画アイコン１１１、動画用画面キー割り当てを示す画面上表示１１２および動画撮影の残り時間を表示する残り時間１１３が表示される。このうち、画面上表示１１２は数秒間表示した後に自動的に消えるようにしてもよいし、常時表示するようにしてもよい。また、設定信号入力部２０１からの入力によって画面上表示１１２の表示と非表示を切り替えることができるようにしてもよい。 FIG. 13 is a diagram illustrating a moving image screen display example on the display unit 21. As shown in FIG. 13, on the moving image screen Q, a moving image icon 111 indicating that the moving image special effect can be applied, an on-screen display 112 indicating moving image key assignment, and the remaining time for displaying the remaining time of moving image shooting Time 113 is displayed. Among these, the on-screen display 112 may be automatically displayed after being displayed for a few seconds, or may be always displayed. Further, the display on the screen 112 may be switched between display and non-display by an input from the setting signal input unit 201.
ステップＳ９において、記録中フラグがオフ状態であると判断した場合（ステップＳ９：Ｎｏ）、制御部２９は、静止画用ユーザインターフェースを設定する（ステップＳ１３）。この後、撮像装置１は、後述するステップＳ１５へ移行する。 If it is determined in step S9 that the recording flag is off (step S9: No), the control unit 29 sets the still image user interface (step S13). Thereafter, the imaging apparatus 1 proceeds to step S15 described later.
続いて、表示制御部２９３は、表示部２１における画面上表示などの設定を静止画用に切り替える（ステップＳ１４）。この切り替えにより、表示部２１は、例えば残り記録枚数や、静止画撮影時に特殊効果を適用できることを示すアイコンなどを表示する。この後、撮像装置１は、後述するステップＳ１５へ移行する。 Subsequently, the display control unit 293 switches settings such as on-screen display on the display unit 21 to still images (step S14). By this switching, the display unit 21 displays, for example, the remaining number of recorded sheets, an icon indicating that a special effect can be applied during still image shooting, and the like. Thereafter, the imaging apparatus 1 proceeds to step S15 described later.
ステップＳ７において、動画ボタン４７が操作されていない場合（ステップＳ７：Ｎｏ）、画像処理制御部２９１は、動画中特殊効果画像処理部１６３に対して動画中特殊効果処理を行わせる（ステップＳ１５）。 In step S7, when the moving image button 47 is not operated (step S7: No), the image processing control unit 291 causes the moving image special effect image processing unit 163 to perform moving image special effect processing (step S15). .
図１４は、動画中特殊効果制御処理の概要を示すフローチャートである。図１４において、動画中特殊効果を開始するキーが操作された場合（ステップＳ３１：Ｙｅｓ）、画像処理制御部２９１は、動画中特殊効果フラグをオンにする（ステップＳ３２）。その後、画像処理制御部２９１は、効果設定を行う（ステップＳ３３）。 FIG. 14 is a flowchart showing an outline of the special effect control process during moving images. In FIG. 14, when the key for starting the special effect during moving image is operated (step S31: Yes), the image processing control unit 291 turns on the special effect flag during moving image (step S32). Thereafter, the image processing control unit 291 performs effect setting (step S33).
動画中特殊効果を開始するキーが操作されない場合（ステップＳ３１：Ｎｏ）において、終了指示が入力されたとき（ステップＳ３４：Ｙｅｓ）、画像処理制御部２９１は、動画中特殊効果フラグをオフにする制御を行う（ステップＳ３５）。この後、撮像装置１は、メインルーチンへ戻る。 When the key for starting the special effect during moving image is not operated (step S31: No), when the end instruction is input (step S34: Yes), the image processing control unit 291 turns off the special effect flag during moving image. Control is performed (step S35). Thereafter, the imaging apparatus 1 returns to the main routine.
これに対し、動画中特殊効果を開始するキーが操作されない場合（ステップＳ３１：Ｎｏ）において、終了指示が入力されないとき（ステップＳ３４：Ｎｏ）、撮像装置１はメインルーチンへ戻る。 On the other hand, when the key for starting the special effect during moving image is not operated (step S31: No), when the end instruction is not input (step S34: No), the imaging device 1 returns to the main routine.
ステップＳ１５の動画中特殊効果制御処理の後、レリーズボタン４２から１ｓｔレリーズ信号が入力された場合（ステップＳ１６：Ｙｅｓ）、制御部２９は、ＡＥ処理部１７に露出を調整するＡＥ処理を実行させるとともに、ＡＦ処理部１８にピントを調整するＡＦ処理を実行させる（ステップＳ１７）。 When the first release signal is input from the release button 42 after the special effect control process during moving image in step S15 (step S16: Yes), the control unit 29 causes the AE processing unit 17 to execute the AE process for adjusting the exposure. At the same time, the AF processing unit 18 is caused to execute AF processing for adjusting the focus (step S17).
続いて、制御部２９は、電源ボタン４１が操作されることによって撮像装置１の電源がオフされたか否かを判断する（ステップＳ１８）。撮像装置１の電源がオフされたと制御部２９が判断した場合（ステップＳ１８：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、撮像装置１の電源がオフされていないと制御部２９が判断した場合（ステップＳ１８：Ｎｏ）、撮像装置１は、ステップＳ３へ戻る。 Subsequently, the control unit 29 determines whether or not the power of the imaging device 1 is turned off by operating the power button 41 (step S18). When the control unit 29 determines that the power of the imaging device 1 has been turned off (step S18: Yes), the imaging device 1 ends this process. On the other hand, when the control unit 29 determines that the power of the imaging device 1 is not turned off (step S18: No), the imaging device 1 returns to step S3.
レリーズボタン４２から１ｓｔレリーズ信号が入力されない場合（ステップＳ１６：Ｎｏ）、レリーズボタン４２から２ｎｄレリーズ信号が入力されたとき（ステップＳ１９：Ｙｅｓ）、制御部２９は、シャッタ駆動部１１および撮像素子駆動部１３をそれぞれ駆動することにより、メカシャッタによる撮影を行う（ステップＳ２０）。 When the 1st release signal is not input from the release button 42 (step S16: No), when the 2nd release signal is input from the release button 42 (step S19: Yes), the control unit 29 drives the shutter drive unit 11 and the image sensor. Each unit 13 is driven to perform photographing with a mechanical shutter (step S20).
続いて、画像処理部１６は、撮影した静止画像に対して所定の画像処理を実行する（ステップＳ２１）。なお、画像処理の詳細については後述する。 Subsequently, the image processing unit 16 performs predetermined image processing on the captured still image (step S21). Details of the image processing will be described later.
この後、制御部２９は、画像データをＪＰＥＧ形式で画像圧縮展開部１９に圧縮させ、この圧縮した画像データを記録媒体２３に記録する（ステップＳ２２）。このステップＳ２２で、制御部２９は、画像圧縮展開部１９がＪＰＥＧ形式で圧縮した画像データに、画像処理部１６が画像処理を行っていないＲＡＷデータを対応付けて記録媒体２３に記録させるようにしてもよい。ステップＳ２２の後、撮像装置１は、ステップＳ１８へ移行する。 Thereafter, the control unit 29 causes the image compression / expansion unit 19 to compress the image data in the JPEG format, and records the compressed image data on the recording medium 23 (step S22). In step S22, the control unit 29 records the RAW data that has not been subjected to image processing by the image processing unit 16 in association with the image data compressed by the image compression / decompression unit 19 in the JPEG format, and records the image data on the recording medium 23. May be. After step S22, the imaging device 1 proceeds to step S18.
ステップＳ１９において、レリーズボタン４２から２ｎｄレリーズ信号が入力されない場合（ステップＳ１９：Ｎｏ）、制御部２９は、ＡＥ処理部１７に露出を調整するＡＥ処理を実行させるとともに、ＡＦ処理部１８にピントを調整するＡＦ処理を実行させる（ステップＳ２３）。 In step S19, when the 2nd release signal is not input from the release button 42 (step S19: No), the control unit 29 causes the AE processing unit 17 to execute the AE process for adjusting the exposure, and the AF processing unit 18 is focused. The AF process to be adjusted is executed (step S23).
続いて、制御部２９は、撮像素子駆動部１３を駆動することにより、電子シャッタによる撮影を実行する（ステップＳ２４）。 Subsequently, the control unit 29 drives the image sensor driving unit 13 to execute photographing with the electronic shutter (step S24).
この後、画像処理部１６は、撮像装置１の設定情報に基づいて画像処理を行う（ステップＳ２５）。画像処理の詳細については後述する。 Thereafter, the image processing unit 16 performs image processing based on the setting information of the imaging device 1 (step S25). Details of the image processing will be described later.
表示制御部２９３は、画像処理部１６が処理を施した画像データに対応するライブビュー画像を表示部２１に表示させる（ステップＳ２６）。 The display control unit 293 causes the display unit 21 to display a live view image corresponding to the image data processed by the image processing unit 16 (step S26).
続いて、撮像装置１が動画記録中であれば（ステップＳ２７：Ｙｅｓ）、制御部２９は、画像データを画像圧縮展開部１９に圧縮させ、この圧縮した画像データを記録媒体２３に作成された動画ファイルに動画として記録させる（ステップＳ２８）。この後、撮像装置１は、ステップＳ１８へ移行する。これに対して、ステップＳ２７で動画記録中でなければ（ステップＳ２７：Ｎｏ）、撮像装置１はステップＳ１８へ移行する。 Subsequently, if the imaging apparatus 1 is recording a moving image (step S27: Yes), the control unit 29 causes the image compression / expansion unit 19 to compress the image data, and the compressed image data is created on the recording medium 23. The moving image file is recorded as a moving image (step S28). Thereafter, the imaging apparatus 1 proceeds to step S18. On the other hand, if the moving image is not being recorded in step S27 (step S27: No), the imaging device 1 proceeds to step S18.
図１５は、画像処理の概要を示すフローチャートである。図１５において、基本画像処理部１６１は基本画像処理を行う（ステップＳ４１）。ここでの基本画像処理は、ＯＢ（Optical Black）値の減算、ＷＢ補正、同時化、カラーマトリクス演算、ガンマ変換色補正、エッジ強調、ＮＲ（Noise Reduction）などの処理を含む。 FIG. 15 is a flowchart showing an outline of image processing. In FIG. 15, the basic image processing unit 161 performs basic image processing (step S41). The basic image processing here includes processing such as subtraction of OB (Optical Black) values, WB correction, synchronization, color matrix calculation, gamma conversion color correction, edge enhancement, and NR (Noise Reduction).
ここで、ＷＢ補正は、ベイヤ配列の画像データに対して、予めユーザが設定したＷＢモードに応じたＲゲインとＢゲインを乗じて、ＷＢを撮像装置本体のフラッシュメモリから読み出し、その値を乗じることで補正する処理である。
同時化は、撮像素子１２がベイヤー配列であった場合に、その画素にないデータを周辺から補間することによって、各画素がＲＧＢデータで構成されるデータに変換する処理である。
カラーマトリクス演算は、設定されているＷＢモードに応じたカラーマトリクス係数を本体のフラッシュメモリから読み出して乗算する処理である。
ガンマ変換色補正処理では、仕上がりの設定に応じて予め設計したガンマテーブルを本体のフラッシュメモリから読み出し、画像データをガンマ変換する。このとき、ＲＧＢデータに適用するガンマ変換と、ＲＧＢの色空間を輝度信号Ｙと２つの色差信号Ｃｂ、Ｃｒによって表される色空間に変換した後で輝度信号Ｙのみにガンマ変換を行うようにしてもよい。また、適切な色再現性を得るために、仕上がりの設定に応じて予め設計したサイドパラメータを用いて色を補正してもよい。なお、アート効果の種類によってガンマ曲線を変えるようにしてもよい。
エッジ強調処理では、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じた係数を乗じて画像データに加算することで強調する。
ＮＲ処理では、画像を周波数分解し、周波数に応じてコアリング処理などを行うことでノイズを低減する処理を行う。
Here, in the WB correction, the Bayer array image data is multiplied by the R gain and the B gain corresponding to the WB mode set in advance by the user, and the WB is read from the flash memory of the imaging apparatus main body and multiplied by the value. This is a process of correcting by this.
Synchronization is a process of converting each pixel into RGB data by interpolating data that does not exist in that pixel when the image sensor 12 is a Bayer array.
The color matrix calculation is a process of reading and multiplying the color matrix coefficient corresponding to the set WB mode from the flash memory of the main body.
In the gamma conversion color correction process, a gamma table designed in advance according to the finish setting is read from the flash memory of the main body, and the image data is gamma converted. At this time, the gamma conversion applied to the RGB data, and the RGB color space are converted into the color space represented by the luminance signal Y and the two color difference signals Cb and Cr, and then the gamma conversion is performed only on the luminance signal Y. May be. Further, in order to obtain appropriate color reproducibility, the color may be corrected using side parameters designed in advance according to the setting of the finish. The gamma curve may be changed depending on the type of art effect.
In the edge enhancement process, an edge component is extracted by a band pass filter, and is multiplied by a coefficient corresponding to the degree of edge enhancement and added to image data for enhancement.
In NR processing, noise is reduced by frequency-decomposing an image and performing coring processing or the like according to the frequency.
続いて、アート効果画像処理部１６２は、アート効果処理を行う（ステップＳ４２）。ここでは、上述したクロスフィルター、ソフトフォーカス、ノイズ付加、シェーディング、周辺輝度持ち上げ、周辺ぼかし、等の処理を行う。 Subsequently, the art effect image processing unit 162 performs art effect processing (step S42). Here, processing such as the above-described cross filter, soft focus, noise addition, shading, peripheral brightness increase, peripheral blur, and the like are performed.
その後、撮像装置１が静止画撮影を行う場合（ステップＳ４３：Ｙｅｓ）、制御部２９が動画中特殊効果（第１の特殊効果）に対応した特殊効果（第２の特殊効果）を静止画の画像データに付与することを禁止する制御を行った後、メインルーチンへ戻る。 Thereafter, when the imaging apparatus 1 performs still image shooting (step S43: Yes), the control unit 29 applies a special effect (second special effect) corresponding to the special effect during the moving image (first special effect) to the still image. After performing control for prohibiting image data from being added, the process returns to the main routine.
ここで、撮像装置１が静止画撮影を行う場合に動画中特殊効果に対応した特殊効果を付与しない理由を説明する。動画撮影中の静止画撮影はレスポンスの速さが重要である。静止画の画素数は動画の画素数に比べて数倍程度大きいため、静止画に動画中特殊効果を付与すると、静止画撮影後の動画撮影の再開タイミングに影響を及ぼすおそれがある。そこで、本実施の形態では、静止画の場合に動画中特殊効果の適用を禁止している。なお、高速でレスポンスに影響がなければ静止画に適用することも可能である。 Here, the reason why the special effect corresponding to the special effect during moving image is not provided when the imaging apparatus 1 performs still image shooting will be described. Response speed is important for still image shooting during movie shooting. Since the number of pixels of a still image is about several times larger than the number of pixels of a moving image, if a special effect during moving image is applied to a still image, there is a possibility of affecting the resumption timing of moving image shooting after still image shooting. Therefore, in the present embodiment, application of special effects during moving images is prohibited in the case of still images. Note that it is possible to apply to still images as long as the response is not affected at high speed .
一方、撮像装置１が動画撮影を行う場合（ステップＳ４３：Ｎｏ）、制御部２９は、動画中特殊効果が設定されているか否かを判定する（ステップＳ４４）。動画中特殊効果が設定されている場合（ステップＳ４４：Ｙｅｓ）、ステップＳ４５へ移行する。これに対して、動画中特殊効果が設定されていない場合（ステップＳ４４：Ｎｏ）、撮像装置１はメインルーチンへ戻る。 On the other hand, when the imaging device 1 performs moving image shooting (step S43: No), the control unit 29 determines whether or not a moving image special effect is set (step S44). When the special effect during moving image is set (step S44: Yes), the process proceeds to step S45. On the other hand, when the special effect during moving images is not set (step S44: No), the imaging apparatus 1 returns to the main routine.
ステップＳ４４で動画中特殊効果が設定されている場合（ステップＳ４４：Ｙｅｓ）において、適用する効果がマルチエコーであるとき（ステップＳ４５：Ｙｅｓ）、動画中特殊効果画像処理部１６３は、直前の画像処理結果（前フレーム）に対して、上述したマルチエコー処理（図４を参照）として、現在のフレームを所定の比率で合成する（ステップＳ４６）。一方、適用する特殊効果がマルチエコーでないとき（ステップＳ４５：Ｎｏ）、撮像装置１はステップＳ４７へ移行する。 When the special effect during moving image is set in step S44 (step S44: Yes), and the effect to be applied is multi-echo (step S45: Yes), the special effect image processing unit 163 during moving image For the processing result (previous frame), the current frame is synthesized at a predetermined ratio as the above-described multi-echo processing (see FIG. 4) (step S46). On the other hand, when the special effect to be applied is not multi-echo (step S45: No), the imaging device 1 proceeds to step S47.
ステップＳ４７において、制御部２９は、適用する効果がワンショットエコーであるか否かを判定する。適用する効果がワンショットエコーである場合（ステップＳ４７：Ｙｅｓ）において、変更指示信号入力部２０３が特性変更指示信号の入力を受け付けたとき（ステップＳ４８：Ｙｅｓ）、特性制御部２９２は、ワンショットエコーの特性を変更する制御を行う（ステップＳ４９）。 In step S47, the control unit 29 determines whether or not the effect to be applied is a one-shot echo. When the effect to be applied is a one-shot echo (step S47: Yes), when the change instruction signal input unit 203 receives an input of the characteristic change instruction signal (step S48: Yes), the characteristic control unit 292 Control for changing the characteristics of the echo is performed (step S49).
図１６は、特性制御部２９２が行うマルチエコー処理の特性の変更処理の一例を示す図である。ステップＳ４８で入力された変更指示信号が、レリーズボタン４２の１ｓｔレリーズによる効果ホールド指示信号である場合（ステップＳ６１：Ｙｅｓ）、特性制御部２９２は、前フレームと同じ係数ａを設定し、この係数ａを含む制御信号を動画中特殊効果画像処理部１６３に送信する（ステップＳ６２）。 FIG. 16 is a diagram illustrating an example of a characteristic changing process of the multi-echo process performed by the characteristic control unit 292. When the change instruction signal input in step S48 is an effect hold instruction signal by the first release of the release button 42 (step S61: Yes), the characteristic control unit 292 sets the same coefficient a as the previous frame, and this coefficient A control signal including a is transmitted to the moving image special effect image processing unit 163 (step S62).
図１７は、ステップＳ６２における効果ホールド状態を模式的に示す図である。図１７に示すように、変更指示信号入力部２０３によって変更指示信号として効果ホールド指示信号が入力されると、係数ａの時間的な特性曲線は効果ホールド指示信号が入力されている間（ｔ'≦ｔ≦ｔ''）、係数ａは一定値ａ'をとる。 FIG. 17 is a diagram schematically showing the effect hold state in step S62. As shown in FIG. 17, when the effect hold instruction signal is input as the change instruction signal by the change instruction signal input unit 203, the temporal characteristic curve of the coefficient a is displayed while the effect hold instruction signal is input (t ′ ≦ t ≦ t ″), the coefficient a takes a constant value a ′.
ステップＳ４８で入力された変更指示信号が効果ホールド信号でない場合（ステップＳ６１：Ｎｏ）、入力された変更指示信号は、特性曲線変更指示信号である。この場合、特性制御部２９２は、入力に応じて特性曲線を変更する（ステップＳ６３）。 When the change instruction signal input in step S48 is not an effect hold signal (step S61: No), the input change instruction signal is a characteristic curve change instruction signal. In this case, the characteristic control unit 292 changes the characteristic curve according to the input (step S63).
図１８は、特性曲線の変更処理の概要を示す図である。ユーザは、まず所定のボタンを押して、表示部２１上に特性曲線を表示させる。この際、ライブビュー画像を表示した状態で上書きしてもよいし、一旦ライブビュー画像を消してから特性曲線を表示してもよい。図１８では、後者の場合を示している。なお、図１８では、表示時点が特性曲線のどの位置であるかを示す破線と表示が加えられている。 FIG. 18 is a diagram showing an outline of the characteristic curve changing process. The user first presses a predetermined button to display a characteristic curve on the display unit 21. At this time, overwriting may be performed with the live view image displayed, or the characteristic curve may be displayed after the live view image is erased. FIG. 18 shows the latter case. In FIG. 18, a broken line and a display indicating which position on the characteristic curve is the display time point are added.
表示部２１が特性曲線Ｃを表示すると、ユーザは、表示部２１上のタッチパネル５０に表示された特性曲線Ｃ上で変更を開始したい箇所を指でタッチしてスライドさせる（図１８（ａ））。その後、ユーザがタッチパネル５０から指を離すと、特性制御部２９２は、特性曲線Ｃを指のタッチに応じて変更した特性曲線Ｃ'を作成し、表示制御部２９３を介して表示部２１に表示させる。 When the display unit 21 displays the characteristic curve C, the user touches and slides a position on the characteristic curve C displayed on the touch panel 50 on the display unit 21 with a finger (FIG. 18A). . Thereafter, when the user removes his / her finger from the touch panel 50, the characteristic control unit 292 creates a characteristic curve C ′ obtained by changing the characteristic curve C according to the touch of the finger, and displays the characteristic curve C ′ on the display unit 21 via the display control unit 293. Let
この後、特性制御部２９２は、変更した特性曲線Ｃ'に基づいて、現時間に応じた係数ａを算出する（ステップＳ６４）。この後、撮像装置１はメインルーチンへ戻る。 Thereafter, the characteristic control unit 292 calculates a coefficient a corresponding to the current time based on the changed characteristic curve C ′ (step S64). Thereafter, the imaging apparatus 1 returns to the main routine.
再び図１５に戻ってステップＳ５０以降の処理を説明する。特性制御部２９２から制御信号を受信した動画中特殊効果画像処理部１６３は、ワンショットエコー効果を得るために、ＳＤＲＡＭ２５が記憶する特定の画像データであるレリーズフレームとの合成処理を行う（ステップＳ５０）。ここで、特殊効果フラグがオンになって最初のフレームの場合、動画中特殊効果画像処理部１６３は、現在のフレームの画像をＳＤＲＡＭ２５に記憶する処理を行う。これに対し、特殊効果フラグがオンになって２フレーム以後の場合、動画中特殊効果画像処理部１６３は、ＳＤＲＡＭ２５が記憶しているレリーズフレームと合成処理を行う。 Returning to FIG. 15 again, the processing after step S50 will be described. The moving image special effect image processing unit 163 that has received the control signal from the characteristic control unit 292 performs a synthesis process with a release frame that is specific image data stored in the SDRAM 25 in order to obtain a one-shot echo effect (step S50). ). Here, in the case of the first frame after the special effect flag is turned on, the moving image special effect image processing unit 163 performs a process of storing the image of the current frame in the SDRAM 25. On the other hand, when the special effect flag is turned on and after two frames, the moving image special effect image processing unit 163 performs a composition process with the release frame stored in the SDRAM 25.
ステップＳ４７において、適用する動画中特殊効果がワンショットエコーでない場合（ステップＳ４７：Ｎｏ）、撮像装置１はステップＳ５１へ移行する。 If the moving image special effect to be applied is not a one-shot echo in step S47 (step S47: No), the imaging device 1 proceeds to step S51.
ステップＳ５１において、制御部２９は、適用する効果が揺らぎであるか否かを判定する。適用する効果が揺らぎである場合（ステップＳ５１：Ｙｅｓ）、動画中特殊効果画像処理部１６３は揺らぎ効果を追加する処理を行う（ステップＳ５２）。 In step S51, the control unit 29 determines whether the effect to be applied is fluctuation. If the effect to be applied is fluctuation (step S51: Yes), the moving image special effect image processing unit 163 performs processing for adding the fluctuation effect (step S52).
ステップＳ５２における動画中特殊効果画像処理部１６３の具体的な処理を説明する。動画中特殊効果画像処理部１６３は、シェーディング処理、クロスフィルター処理などのアート効果処理における画像処理パラメータに揺らぎを持たせた効果を追加する。例えば、シェーディング処理であれば、画像の中心からの減衰特性を時間とともに変化させる。周辺ぼかしであれば、ぼかし量やぼかし形状を変化させる。クロスフィルターであれば、クロスパターンの長さや角度を時間とともに変化させる。また、彩度、コントラスト、ホワイトバランスを時間とともに変化させてもよい。なお、揺らぎとシェーディング等のアート効果が重複する場合、両方を付与してもよいし、揺らぎのみを付与するようにしてもよい。 Specific processing of the moving image special effect image processing unit 163 in step S52 will be described. The moving image special effect image processing unit 163 adds an effect in which fluctuation is given to the image processing parameter in the art effect processing such as shading processing and cross filter processing. For example, in the case of shading processing, the attenuation characteristic from the center of the image is changed with time. If it is a peripheral blur, the blur amount and blur shape are changed. If it is a cross filter, the length and angle of the cross pattern are changed with time. Further, saturation, contrast, and white balance may be changed with time. When art effects such as shading and shading overlap, both may be given, or only the fluctuation may be given.
ステップＳ５１において、適用する効果が揺らぎではない場合（ステップＳ５１：Ｎｏ）、撮像装置１はステップＳ５３へ移行する。 In step S51, when the effect to be applied is not fluctuation (step S51: No), the imaging device 1 proceeds to step S53.
ステップＳ５３において、制御部２９は、適用する効果がトランジットであるか否かを判定する。適用する効果がトランジットである場合（ステップＳ５３：Ｙｅｓ）、基本画像処理部１６１およびアート効果画像処理部１６２は、仕上がり／切り替え先の設定に応じた基本画像処理およびアート効果処理をそれぞれ実行する（ステップＳ５４、Ｓ５５）。 In step S53, the control unit 29 determines whether the effect to be applied is transit. If the effect to be applied is transit (step S53: Yes), the basic image processing unit 161 and the art effect image processing unit 162 respectively perform basic image processing and art effect processing according to the setting of the finish / switching destination ( Steps S54 and S55).
その後、変更指示信号入力部２０３が特性変更指示の入力を受け付けたとき（ステップＳ５６：Ｙｅｓ）、特性制御部２９２は、トランジット処理の特性を変更する制御を行う（ステップＳ５７）。トランジット処理の特性を変更する制御の詳細な内容は、上述したステップＳ４９と同様である。ただし、トランジット処理の場合、特性制御部２９２は、係数ｂに対する特性曲線（図８を参照）に基づいて、効果ホールド処理や特性曲線変更処理を行う。 Thereafter, when the change instruction signal input unit 203 receives an input of a characteristic change instruction (step S56: Yes), the characteristic control unit 292 performs control to change the characteristics of the transit process (step S57). The detailed contents of the control for changing the characteristics of the transit process are the same as in step S49 described above. However, in the transit process, the characteristic control unit 292 performs the effect hold process and the characteristic curve change process based on the characteristic curve for the coefficient b (see FIG. 8).
この後、動画中特殊効果画像処理部１６３は、トランジット用の二つの画像の合成処理を行うことによってトランジット画像を生成する（ステップＳ５８）。ステップＳ５８の後、撮像装置１はメインルーチンへ戻る。 Thereafter, the moving image special effect image processing unit 163 generates a transit image by performing a synthesis process of the two images for transit (step S58). After step S58, the imaging apparatus 1 returns to the main routine.
ステップＳ４８において、変更指示信号入力部２０３が特性変更指示信号の入力を受け付けないとき（ステップＳ４８：Ｎｏ）、撮像装置１はステップＳ５０へ移行する。 In step S48, when the change instruction signal input unit 203 does not accept the input of the characteristic change instruction signal (step S48: No), the imaging device 1 proceeds to step S50.
ステップＳ５３において、制御部２９が判定した結果、適用する効果がトランジットでない場合（ステップＳ５３：Ｎｏ）、撮像装置１はメインルーチンへ戻る。 In step S53, when the result of determination by the control unit 29 is that the effect to be applied is not transit (step S53: No), the imaging apparatus 1 returns to the main routine.
ステップＳ５６において、変更指示信号入力部２０３が特性変更指示信号の入力を受け付けないとき（ステップＳ５６：Ｎｏ）、撮像装置１はステップＳ５８へ移行する。 In step S56, when the change instruction signal input unit 203 does not accept the input of the characteristic change instruction signal (step S56: No), the imaging device 1 proceeds to step S58.
以上説明した本発明の一実施の形態によれば、複数のフレームにわたって視覚的な効果を生じさせるために時間的に変化する特性を有する動画中特殊効果を付与する画像処理を行っている最中に特性の変更を指示する変更指示信号の入力を受け付けた場合、その変更指示信号に応じて特性を変更するため、ユーザは動画撮影中に付与する特殊効果をユーザの意志で容易に変更することができる。したがって、動画撮影中に適用する特殊効果を用いることによって多様な映像表現を実現することができる。 According to the embodiment of the present invention described above, in the middle of performing image processing for providing a special effect during moving images having a temporally changing characteristic in order to produce a visual effect over a plurality of frames. When an input of a change instruction signal for instructing a change of characteristics is received, the characteristics are changed in accordance with the change instruction signal, so that the user can easily change the special effect to be given during movie shooting at the user's will. Can do. Therefore, various video expressions can be realized by using special effects applied during moving image shooting.
また、本実施の形態によれば、動画記録を開始すると、設定信号入力部が動画中特殊効果用に切り替わり、制御部は動画用特殊効果の設定信号が入力されたものと認識する。したがって、ユーザは撮影時に簡単な操作をすることで、容易に動画に特殊効果を適用することができる。 Further, according to the present embodiment, when moving image recording is started, the setting signal input unit is switched to the special effect during moving image, and the control unit recognizes that the setting signal of the special effect for moving image is input. Therefore, the user can easily apply the special effect to the moving image by performing a simple operation at the time of shooting.
また、本実施の形態によれば、設定信号入力部を構成するユーザインターフェースに動画用と静止画用の入力機能を兼備させることができるため、動画撮影の場合にも操作性に優れたユーザインターフェースを実現することができる。加えて、ユーザインターフェースの数も抑制することができるため、レイアウトの制限も少なくなり、小型化に好適な撮像装置を実現することができる。 In addition, according to the present embodiment, the user interface constituting the setting signal input unit can have both video and still image input functions, so that the user interface has excellent operability even when shooting video. Can be realized. In addition, since the number of user interfaces can also be suppressed, layout restrictions are reduced, and an imaging device suitable for downsizing can be realized.
また、本実施の形態によれば、編集機器やＰＣ上で実現できるものと同等な特殊効果を、撮像装置自体で実行することができる。したがって、ユーザの作画意図を反映した動画を、高度な専門知識を必要とすることなく、また後編集することなく作成することができる。 Further, according to the present embodiment, a special effect equivalent to that which can be realized on an editing device or a PC can be executed by the imaging apparatus itself. Therefore, a moving image reflecting the user's drawing intention can be created without requiring high-level specialized knowledge and without subsequent editing.
また、本実施の形態によれば、動画撮影中の静止画に対して、動画中特殊効果の適用を禁止する制御を行うことにより、静止画撮影後の動画撮影の再開タイミングへの影響を防止することができる。 In addition, according to the present embodiment, by controlling the prohibition of applying the special effect during moving image to the still image during moving image shooting, the influence on the restart timing of moving image shooting after still image shooting is prevented. can do.
一般に、撮像装置は、ＰＣ等と比較してメモリーが少なく処理能力が劣っているため、ＰＣ等と同等の動画データの編集処理を実現することは難しい。また、動画中の静止画撮影や、動画終了直後の静止画撮影の可能な撮像装置においては、メモリー不足やメモリー管理上の問題が決定的なものになり、メモリー増設によるコスト増や、静止画撮影時の応答性や静止画画質の劣化などの問題を発生してしまう恐れもある。本実施の形態では、この点に鑑み、撮影した動画を編集することなく、撮影時に複数のフレームにわたる時間的な移り変わりの特殊効果による撮影者の作画意図を付与した動画を撮影可能が技術を実現している。 In general, an imaging apparatus has a small memory and inferior processing capability as compared with a PC or the like, so that it is difficult to realize a moving image data editing process equivalent to that of a PC or the like. Also, in imaging devices that can shoot still images in a movie or that can be shot immediately after the movie ends, memory shortages and memory management issues are decisive. There is also a possibility that problems such as responsiveness at the time of shooting and deterioration of still image quality may occur. In this embodiment, in view of this point, it is possible to shoot a video with a photographer's intention to draw by a special effect of temporal transition over multiple frames at the time of shooting without editing the shot video doing.
なお、本実施の形態では、ワンショットエコーとトランジットに対して特性変更指示信号が入力可能である場合を説明したが、他の動画中特殊効果の特性を変更できるようにしてもよい。具体的には、例えばマルチエコーにおいて、現フレームと他のフレームとを合成する係数を変更できるようにしてもいいし、揺らぎの際に効果ホールドを行うことができるようにしてもよい。 In this embodiment, the case where the characteristic change instruction signal can be input to the one-shot echo and the transit has been described. However, the characteristics of other special effects in the moving image may be changed. Specifically, for example, in multi-echo, a coefficient for combining the current frame with another frame may be changed, or an effect hold may be performed at the time of fluctuation.
また、本実施の形態において、動画中特殊効果の時間的な推移を一通り見た後でユーザが最適な特性を設定することができるようにしてもよい。この場合には、タッチパネル５０に特性曲線を表示するとともに、表示部２１にユーザに対して特性の変更指示を入力するように促すメッセージを表示するようにしてもよい。 Further, in the present embodiment, the user may be able to set the optimum characteristics after looking through the temporal transition of the special effects during moving images. In this case, a characteristic curve may be displayed on the touch panel 50 and a message prompting the user to input a characteristic change instruction may be displayed on the display unit 21.
以上の説明では、動画撮影中に動画中特殊効果を変更することを記載してたが、本実施の形態は静止画撮影時のライブビュー表示に対しても適用可能であることはいうまでもない。 In the above description, it has been described that the special effect during moving image shooting is changed, but it goes without saying that this embodiment is also applicable to live view display during still image shooting. Absent.
（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した一実施の形態によってのみ限定されるべきものではない。
(Other embodiments)
Up to this point, the mode for carrying out the present invention has been described, but the present invention should not be limited only by the above-described embodiment.
例えば、本発明において、表示部とは別に電子ビューファインダを本体部に設け、この電子ビューファインダにおいて本発明を適用するようにしてもよい。この場合には、表示部と電子ビューファインダとで動画中特殊効果の見え方が異なるようにすればより好ましい。 For example, in the present invention, an electronic viewfinder may be provided in the main body unit separately from the display unit, and the present invention may be applied to this electronic viewfinder. In this case, it is more preferable that the special effect in the moving image is made different between the display unit and the electronic viewfinder.
また、本発明においては、本体部とレンズ部とが一体的に形成されていてもよい。 In the present invention, the main body portion and the lens portion may be integrally formed.
また、本発明に係る撮像装置は、デジタル一眼レフカメラ以外にも、例えばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。 In addition to a digital single-lens reflex camera, the imaging apparatus according to the present invention is also applicable to, for example, digital cameras that can be equipped with accessories and the like, digital video cameras, and electronic devices such as mobile phones and tablet mobile devices having a shooting function. can do.
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。 In the description of the flowchart in the present specification, the context of the processing between steps is clearly indicated using expressions such as “first”, “after”, “follow”, etc., in order to implement the present invention. The order of processing required is not uniquely determined by their representation. That is, the order of processing in the flowcharts described in this specification can be changed within a consistent range.
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。 As described above, the present invention can include various embodiments not described herein, and various design changes and the like can be made within the scope of the technical idea specified by the claims. Is possible.
１ 撮像装置
２ 本体部
３ レンズ部
１２ 撮像素子
１６ 画像処理部
１９ 画像圧縮展開部
２０ 入力部
２１ 表示部
２２ 表示駆動部
２３ 記録媒体
２６ Ｆｌａｓｈメモリ
２７ 本体通信部
２８ バス
２９ 制御部
３１ 光学系
３５ レンズ操作部
３６ レンズｆｌａｓｈメモリ
３７ レンズ通信部
３８ レンズ制御部
４１ 電源ボタン
４２ レリーズボタン
４３ モードダイヤル
４４ 操作ボタン
４５ メニューボタン
４６ 再生ボタン
４７ 動画ボタン
４８ ファンクションキー
４９ 消去ボタン
５０ タッチパネル
１６１ 基本画像処理部
１６２ アート効果画像処理部
１６３ 動画中特殊効果画像処理部
２０１ 設定信号入力部
２０２ 動画撮影信号入力部
２０３ 変更指示信号入力部
２６１ プログラム記録部
２６２ 特殊効果処理情報記録部
２６３ 画像処理情報記録部
２９１ 画像処理制御部
２９２ 特性制御部
２９３ 表示制御部
４４１ 十字キー
４４２ 決定ボタン
４４３ 上矢印キー
４４４ 下矢印キー
４４５ 左矢印キー
４４６ 右矢印キー
Ａ１、Ａ２、Ａ３、Ａ４、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｒ２０ アート効果画像
Ｃ、Ｃ' 特性曲線
Ｒ１、Ｒ２、Ｒ３、Ｒ４ マルチエコー画像
Ｒ１１、Ｒ１２、Ｒ１３、Ｒ１４ ワンショットエコー画像
Ｒ２１、Ｒ２２、Ｒ２３、Ｒ２４、Ｒ２５ トランジット画像
DESCRIPTION OF SYMBOLS 1 Imaging device 2 Main body part 3 Lens part 12 Image sensor 16 Image processing part 19 Image compression expansion part 20 Input part 21 Display part 22 Display drive part 23 Recording medium 26 Flash memory 27 Main body communication part 28 Bus 29 Control part 31 Optical system 35 Lens operation unit 36 Lens flash memory 37 Lens communication unit 38 Lens control unit 41 Power button 42 Release button 43 Mode dial 44 Operation button 45 Menu button 46 Playback button 47 Movie button 48 Function key 49 Delete button 50 Touch panel 161 Basic image processing unit 162 Art effect image processing unit 163 Moving image special effect image processing unit 201 Setting signal input unit 202 Moving image shooting signal input unit 203 Change instruction signal input unit 261 Program recording unit 262 Special effect processing information recording unit 263 Image processing information recording unit 291 Image processing control unit 292 Characteristic control unit 293 Display control unit 441 Cross key 442 Enter button 443 Up arrow key 444 Down arrow key 445 Left arrow key 446 Right arrow key A1, A2, A3, A4, B1, B2, B3, B4, B5, R20 Art effect image C, C ′ Characteristic curve R1, R2, R3, R4 Multi-echo image R11, R12, R13, R14 One-shot echo image R21, R22, R23, R24, R25 Transit image
Claims (7)
複数のフレームにわたって視覚的な効果を生じさせるために時間的に変化する特性を有する動画中特殊効果を付与する画像処理を行う動画中特殊効果画像処理部と、
前記動画中特殊効果の特性を不変とする効果ホールド信号を含む変更指示信号であって前記特性の変更を指示する変更指示信号の入力を受け付ける変更指示信号入力部と、
前記変更指示信号入力部が受け付けた変更指示信号に応じて前記特性を変更する制御部と、
撮影指示信号の入力を受け付けるとともに、前記変更指示信号の入力を受け付けるレリーズボタンと、
を備え、
前記制御部は、
前記動画中特殊効果を付与している最中に前記レリーズボタンによって信号が入力された場合、該信号を前記効果ホールド信号と認識することを特徴とする撮像装置。 An imaging device capable of capturing an image of a subject, generating image data of the subject, and capturing moving images and still images,
A moving image special effect image processing unit for performing image processing for providing a moving image special effect having a temporally changing characteristic to generate a visual effect over a plurality of frames;
A change instruction signal input unit that receives an input of a change instruction signal that includes an effect hold signal that makes the characteristics of the special effect in the moving image unchanged, and instructs the change of the characteristic;
A control unit that changes the characteristic according to a change instruction signal received by the change instruction signal input unit;
A release button that accepts an input of a shooting instruction signal and accepts an input of the change instruction signal;
With
The controller is
An image pickup apparatus that recognizes the signal as the effect hold signal when a signal is input by the release button while the special effect during the moving image is being applied.
前記動画中特殊効果の時間的な変化を与える特性曲線の変更指示を与える特性曲線変更指示信号を含むことを特徴とする請求項１に記載の撮像装置。 The change instruction signal is
The imaging apparatus according to claim 1, further comprising a characteristic curve change instruction signal that gives an instruction to change a characteristic curve that gives a temporal change in the special effect in the moving image.
前記制御部は、
前記特性曲線変更指示信号が入力された場合、変更された前記特性曲線を前記表示部に表示させることを特徴とする請求項２に記載の撮像装置。 A display unit capable of displaying the characteristic curve;
The controller is
The imaging apparatus according to claim 2, wherein when the characteristic curve change instruction signal is input, the changed characteristic curve is displayed on the display unit.
前記表示部の表示画面上に設けられ、外部からの接触位置に応じた信号の入力を受け付けるタッチパネルを有し、
前記制御部は、
前記タッチパネルに対して前記特性の表示位置に対応した接触位置であって略同じ接触位置での接触が継続する場合、該接触による信号を前記効果ホールド信号と認識することを特徴とする請求項３に記載の撮像装置。 The change instruction signal input unit is
A touch panel that is provided on the display screen of the display unit and receives a signal input according to a contact position from the outside;
The controller is
To continue substantially contact at the same contact position a contact position corresponding to the display position of the characteristic with respect to the touch panel, according to claim 3, characterized in that to recognize a signal by the contact the effect hold signal The imaging device described in 1.
前記表示部の表示画面上に設けられ、外部からの接触位置に応じた信号の入力を受け付けるタッチパネルを有し、
前記制御部は、
前記タッチパネルに対して前記特性曲線上に対応した接触位置を基点として接触位置がスライドしながら変化した場合、該スライドの方向に応じて前記特性を変更するとともに、前記表示部に変更した前記特性に対応する特性曲線を表示させることを特徴とする請求項３に記載の撮像装置。 The change instruction signal input unit is
A touch panel that is provided on the display screen of the display unit and receives a signal input according to a contact position from the outside;
The controller is
When the contact position changes while sliding with respect to the touch panel corresponding to the characteristic curve on the characteristic curve, the characteristic is changed according to the direction of the slide, and the characteristic changed to the display unit is changed. The image pickup apparatus according to claim 3 , wherein a corresponding characteristic curve is displayed.
特定の画像データとこの画像データの後に撮影した画像データとを所定の比率で順次合成し、前記特定の画像データの合成比率が時間とともに小さくなるワンショットエコー処理を含み、
前記動画中特殊効果処理の特性は、前記合成比率であることを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。 Image processing performed by the special effect image processing unit in the moving image
Specific image data and image data captured after the image data are sequentially combined at a predetermined ratio, including one-shot echo processing in which the combination ratio of the specific image data decreases with time,
The imaging apparatus according to claim 1, wherein the characteristic of the special effect process in the moving image is the synthesis ratio.
前記動画中特殊効果画像処理部が行う画像処理は、
前記アート効果画像処理部が行うアート効果画像処理の種類を時間の経過とともに徐々に変えていくトランジット処理を含み、
前記動画中特殊効果の特性は、前記トランジット処理開始時点で選択されているアート効果の画像中における合成比率であることを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。 An art effect image processing unit that performs image processing for imparting an art effect that causes a visual effect to one image data,
Image processing performed by the special effect image processing unit in the moving image
Including a transit process that gradually changes the type of art effect image processing performed by the art effect image processing unit over time,
The imaging apparatus according to claim 1, wherein the characteristic of the special effect in the moving image is a composition ratio in the image of the art effect selected at the start of the transit process.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011222359A JP5911253B2 (en) | 2011-10-06 | 2011-10-06 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011222359A JP5911253B2 (en) | 2011-10-06 | 2011-10-06 | Imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013085042A JP2013085042A (en) | 2013-05-09 |
| JP5911253B2 true JP5911253B2 (en) | 2016-04-27 |
Family
ID=48529818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011222359A Active JP5911253B2 (en) | 2011-10-06 | 2011-10-06 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5911253B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6341814B2 (en) * | 2014-09-08 | 2018-06-13 | キヤノン株式会社 | Imaging device, control method thereof, and program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01208972A (en) * | 1988-02-16 | 1989-08-22 | Sony Corp | Video camera |
| JPH08294047A (en) * | 1995-04-20 | 1996-11-05 | Canon Inc | Image processing unit and its control method |
| JP2003060966A (en) * | 2001-08-20 | 2003-02-28 | Mitsubishi Electric Corp | Image processing apparatus and image processing method |
| JP2005175982A (en) * | 2003-12-12 | 2005-06-30 | Canon Inc | Picture recording and reproducing apparatus |
| JP5371501B2 (en) * | 2009-03-17 | 2013-12-18 | オリンパスイメージング株式会社 | Image processing apparatus, image processing method, and image processing program |
-
2011
- 2011-10-06 JP JP2011222359A patent/JP5911253B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013085042A (en) | 2013-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5872834B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| JP5806512B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| US9277125B2 (en) | Imaging device and imaging method | |
| US20120307103A1 (en) | Imaging apparatus, imaging method and computer-readable storage medium | |
| US8896726B2 (en) | Imaging apparatus and imaging method for generating electronic image data and performing special effect operations | |
| JP2008193342A (en) | Imaging apparatus and program thereof | |
| JP2014239382A (en) | Image processing system, imaging apparatus, image processing method, and image processing program | |
| US9172874B2 (en) | Imaging apparatus and image generation method for generating one piece of image including a moving image and still image | |
| JP2009194770A (en) | Imaging device, moving image reproducing apparatus, and program thereof | |
| JP5885451B2 (en) | Imaging device | |
| JP5836138B2 (en) | Imaging apparatus, image processing method, and program | |
| JP5931393B2 (en) | Imaging device | |
| JP5911253B2 (en) | Imaging device | |
| JP5105298B2 (en) | Imaging apparatus and program thereof | |
| JP5872832B2 (en) | Imaging device | |
| JP5806513B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| JP5840000B2 (en) | Imaging apparatus, image processing method, and program | |
| JP5878063B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| JP6121008B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| JP2007096809A (en) | Imaging apparatus, moving picture storage method, and moving picture storage program | |
| JP5963601B2 (en) | Imaging apparatus, imaging method, and program | |
| JP6218865B2 (en) | Imaging apparatus and imaging method | |
| JP2023108866A (en) | Image processing apparatus, imaging apparatus, image processing apparatus control method, and program | |
| JP5695400B2 (en) | Imaging apparatus and imaging program | |
| JP2013219692A (en) | Imaging apparatus, imaging method, and imaging program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140730 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150420 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20150423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150623 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160329 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5911253 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |