JP6376813B2 - Image processing apparatus, image processing method and program, and imaging apparatus - Google Patents

Image processing apparatus, image processing method and program, and imaging apparatus Download PDF

Info

Publication number
JP6376813B2
JP6376813B2 JP2014078841A JP2014078841A JP6376813B2 JP 6376813 B2 JP6376813 B2 JP 6376813B2 JP 2014078841 A JP2014078841 A JP 2014078841A JP 2014078841 A JP2014078841 A JP 2014078841A JP 6376813 B2 JP6376813 B2 JP 6376813B2
Authority
JP
Japan
Prior art keywords
image
unit
display
development
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014078841A
Other languages
Japanese (ja)
Other versions
JP2015201730A (en
JP2015201730A5 (en
Inventor
奈奈 大山
奈奈 大山
賢道 伊藤
賢道 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014078841A priority Critical patent/JP6376813B2/en
Publication of JP2015201730A publication Critical patent/JP2015201730A/en
Publication of JP2015201730A5 publication Critical patent/JP2015201730A5/ja
Application granted granted Critical
Publication of JP6376813B2 publication Critical patent/JP6376813B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、動画又は静止画のＲＡＷ画像に係わる画像処理技術に関する。   The present invention relates to an image processing apparatus and an image processing method, and more particularly to an image processing technique related to a RAW image of a moving image or a still image.

従来の撮像装置では、撮像センサーによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）して輝度と色差から成る信号に変換し、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号を圧縮符号化して、記録媒体に記録するのが一般的である。   In a conventional imaging apparatus, raw image information (RAW image) captured by an imaging sensor is debayered (demosaiced) and converted into a signal composed of luminance and color difference, and noise removal and optical distortion correction are performed for each signal. So-called development processing such as image optimization is performed. In general, the developed luminance signal and color difference signal are compression encoded and recorded on a recording medium.

一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があるので、上級者によって好んで使われている。   On the other hand, there are imaging devices that can record RAW images. RAW images require a large amount of data for recording, but are preferred by advanced users because they have the advantage that correction and deterioration of the original image can be minimized and can be edited after shooting.

ＲＡＷ画像を記録する撮像装置の構成は特許文献１に開示されている。特許文献１には、ＲＡＷ画像と共に現像パラメータを記録しておき、再生時に当該現像パラメータを用いてＲＡＷ画像の現像及び再生を行う構成が記載されている。   The configuration of an imaging apparatus that records a RAW image is disclosed in Patent Document 1. Patent Document 1 describes a configuration in which development parameters are recorded together with a RAW image, and the RAW image is developed and reproduced using the development parameters during reproduction.

特開２０１１−２４４４２３号公報JP 2011-244423 A

ＲＡＷ画像の確認用画像として、２００万画素程度の比較的低い解像度にて簡易的に現像しておき、ＲＡＷ画像と対応付けて記録されている構成が考えられる。再生時に所望のコンテンツを再生装置で拡大表示させる場合、この簡易現像画像を用いた場合にはすぐさま表示することが可能である。しかし拡大率が大きくなるにつれ、表示する画像が粗くなってしまう。   As a confirmation image of the RAW image, a configuration in which development is performed simply at a relatively low resolution of about 2 million pixels and recorded in association with the RAW image is conceivable. When a desired content is enlarged and displayed on a reproducing apparatus during reproduction, the simple developed image can be displayed immediately. However, as the enlargement ratio increases, the displayed image becomes rough.

一方で、２００万画素程度の簡易現像画像から、ＲＡＷ画像から改めて高画質に現像した本現像画像に切り替えるとすると、現像処理に時間がかかり表示するまでユーザーにストレスを与えてしまうという課題が挙げられる。   On the other hand, when switching from a simple developed image of about 2 million pixels to a main developed image developed from a RAW image to a high quality image again, it takes a long time for the development process, and the user is stressed until it is displayed. It is done.

そこで、本発明の目的は、このような課題を解決し、所望のコンテンツの拡大表示時にＲＡＷ画像の高画質現像を必要とおけるユーザーにストレスを軽減した表示システムを提供することを目的とする。   Accordingly, an object of the present invention is to solve such problems and to provide a display system that reduces stress for users who need high-quality development of RAW images when enlarging and displaying desired content.

上記目的を達成するために、本発明の一実施形態によれば、画像処理装置は、ＲＡＷ画像情報に第１の処理を行うことにより生成された第１の画像を取得する第１の取得手段と、前記ＲＡＷ画像情報に第２の処理を行うことにより生成された第２の画像を取得する第２の取得手段と、前記第１の画像又は前記第２の画像を表示する表示手段と、前記表示手段に表示された前記第１の画像に対して拡大表示を指示する指示手段と、前記指示手段により指示された拡大表示の拡大率に応じて、前記拡大率が所定の拡大率より大きくなったときに前記第１の画像から前記第２の画像へと切り替えて拡大表示を行うよう前記表示手段を制御する表示制御手段と、を有し、前記第２の処理は、前記拡大表示が指示されて前記拡大率が前記所定の拡大率より大きくなるより前にあらかじめ開始される。 In order to achieve the above object, according to an embodiment of the present invention, an image processing apparatus acquires a first image generated by performing a first process on RAW image information. A second acquisition unit that acquires a second image generated by performing a second process on the RAW image information; a display unit that displays the first image or the second image; The enlargement ratio is larger than a predetermined enlargement ratio in accordance with an instruction means for instructing enlargement display for the first image displayed on the display means, and an enlargement ratio of the enlargement display instructed by the instruction means. a display control unit for controlling the display means so that when it is performing an enlarged display from the first image is switched to the second image, the second process, the enlarged display is the enlargement rate is instructed the predetermined magnification It is started in advance before the increase.

本発明によれば、画像処理装置が、画像再生時の拡大表示のためにＲＡＷ画像の高画質現像を必要とした場合でも、ユーザーのストレス低減の効果を得る画像処理構成を提供することができる。   According to the present invention, it is possible to provide an image processing configuration capable of reducing the stress of the user even when the image processing apparatus requires high-quality development of a RAW image for enlarged display during image reproduction. .

本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。1 is a block diagram illustrating a configuration example of an imaging apparatus according to a first embodiment of the present invention. 図１の撮像装置の状態遷移図である。It is a state transition diagram of the imaging device of FIG. 本発明の第１の実施形態に係わる撮像装置の静止画撮影モードの処理動作のフローチャートを示す図である。It is a figure which shows the flowchart of the processing operation of the still image shooting mode of the imaging device concerning the 1st Embodiment of this invention. 本発明の第１の実施形態に係わる撮像装置が生成する静止画ファイルとＲＡＷファイルの構成例を示す図である。It is a figure which shows the structural example of the still image file and RAW file which the imaging device concerning the 1st Embodiment of this invention produces | generates. 本発明の第１の実施形態に係わる撮像装置のアイドル状態の処理に係るフローチャートである。3 is a flowchart relating to processing in an idle state of the imaging apparatus according to the first embodiment of the present invention. 本発明の第１の実施形態に係わる撮像装置の静止画再生モードの処理動作に係るフローチャートである。5 is a flowchart relating to processing operation in a still image reproduction mode of the imaging apparatus according to the first embodiment of the present invention. 本発明の第１の実施形態に係わる撮像装置の静止画再生モードにおける表示処理の例を示す図である。It is a figure which shows the example of the display process in the still image reproduction mode of the imaging device concerning the 1st Embodiment of this invention. 本発明の第１の実施形態に係わる撮像装置の動画撮影モードの処理に係るフローチャートである。It is a flowchart which concerns on the process of the video recording mode of the imaging device concerning the 1st Embodiment of this invention. 本発明の第１の実施形態に係わる撮像装置が生成する動画ファイルとＲＡＷ動画ファイルの構成例を示す図である。It is a figure which shows the structural example of the moving image file and RAW moving image file which the imaging device concerning the 1st Embodiment of this invention produces | generates. 本発明の第１の実施形態に係わる撮像装置の動画再生モードの処理動作のフローチャートを示す図である。It is a figure which shows the flowchart of the processing operation of the moving image reproduction mode of the imaging device concerning the 1st Embodiment of this invention. 図１の撮像装置が有する撮像センサー部１０２の画素配列の説明図である。FIG. 2 is an explanatory diagram of a pixel array of an image sensor unit 102 included in the image pickup apparatus of FIG. 本発明の第１の実施形態に係わる撮像装置の拡大表示処理動作のフローチャートを示す図である。It is a figure which shows the flowchart of the enlarged display process operation | movement of the imaging device concerning the 1st Embodiment of this invention. 本発明の第１の実施形態に係わる表示拡大処理動作における視覚効果画像の表示例を示す図である。It is a figure which shows the example of a display of the visual effect image in the display expansion processing operation concerning the 1st Embodiment of this invention. 本発明の第１の実施形態に係わる表示拡大処理動作における視覚効果画像の表示例を示す図である。It is a figure which shows the example of a display of the visual effect image in the display expansion processing operation concerning the 1st Embodiment of this invention. 本発明の第１の実施形態に係わる表示拡大処理動作における視覚効果画像の表示例を示す図である。It is a figure which shows the example of a display of the visual effect image in the display expansion processing operation concerning the 1st Embodiment of this invention. 本発明の第１の実施形態に係わる表示拡大処理動作における視覚効果画像の表示例を示す図である。It is a figure which shows the example of a display of the visual effect image in the display expansion processing operation concerning the 1st Embodiment of this invention. 本発明の１の実施形態の変形例に係わる拡大表示処理動作のフローチャートを示す図である。It is a figure which shows the flowchart of the enlarged display process operation | movement concerning the modification of 1 Embodiment of this invention. 本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the imaging device which concerns on the 2nd Embodiment of this invention. 本発明の第２の実施形態の拡大表示処理のフローチャートを示す図である。It is a figure which shows the flowchart of the enlarged display process of the 2nd Embodiment of this invention. 本発明の第２の実施形態の変形例に係わる拡大表示処理動作のフローチャートを示す図である。It is a figure which shows the flowchart of the enlarged display process operation | movement concerning the modification of the 2nd Embodiment of this invention. 本発明の第３の実施形態に係る撮像装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the imaging device which concerns on the 3rd Embodiment of this invention. 本発明の第３の実施形態に係わる撮像装置の静止画再生モードの処理動作のフローチャートを示す図である。It is a figure which shows the flowchart of the processing operation of the still image reproduction mode of the imaging device concerning the 3rd Embodiment of this invention. 本発明の第３の実施形態に係わる撮像装置の拡大表示処理動作のフローチャートを示す図である。It is a figure which shows the flowchart of the expansion display process operation | movement of the imaging device concerning the 3rd Embodiment of this invention. 本発明の第３の実施形態の変形例に係わる拡大表示処理動作のフローチャートを示す図である。It is a figure which shows the flowchart of the enlarged display process operation | movement concerning the modification of the 3rd Embodiment of this invention. 本発明の第４の実施形態に係る撮像装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the imaging device which concerns on the 4th Embodiment of this invention. 本発明の第４の実施形態に係わる撮像装置の拡大表示処理動作のフローチャートを示す図である。It is a figure which shows the flowchart of the expansion display process operation | movement of the imaging device concerning the 4th Embodiment of this invention. 本発明の第４の実施形態の変形例に係わる拡大表示処理動作のフローチャートを示す図である。It is a figure which shows the flowchart of the enlarged display process operation | movement concerning the modification of the 4th Embodiment of this invention.

以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

（実施形態１）
図１は、本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。図１に示す撮像装置１００は、被写体を撮像して得られた画像情報を外部の装置やサーバ（クラウド）等と送受信する機能や、外部の装置やサーバから得た画像情報を再生し、現像処理をして表示する機能を有する。従って、これらの機能に着目した場合、本実施形態に係る撮像装置は、画像処理装置、或いは、通信装置等と表現することができる。 (Embodiment 1)
FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus according to the first embodiment of the present invention. The image capturing apparatus 100 shown in FIG. 1 reproduces and develops image information obtained from an image of a subject with an external device or server (cloud) or the like, or image information obtained from an external device or server. It has a function to process and display. Therefore, when focusing on these functions, the imaging apparatus according to the present embodiment can be expressed as an image processing apparatus or a communication apparatus.

図１において、制御部１６１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の各部の処理動作を制御する。操作部１６２は、ユーザーが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。制御部１６１は、操作部１６２からの操作信号を検出し、操作に応じた動作が実行されるよう撮像装置の各部を制御する。表示部１２３は、撮像装置１００において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ（ＬＣＤ）等を含む。   In FIG. 1, the control unit 161 includes a CPU and a memory that stores a control program executed by the CPU, and controls the processing operation of each unit of the imaging apparatus 100. The operation unit 162 includes input devices such as keys, buttons, and a touch panel used by the user to give an instruction to the imaging apparatus 100. The control unit 161 detects an operation signal from the operation unit 162 and controls each unit of the imaging apparatus so that an operation corresponding to the operation is executed. The display unit 123 includes a liquid crystal display (LCD) or the like for displaying an image taken or reproduced in the imaging apparatus 100, a menu screen, various information, and the like.

操作部１６２によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部１０１により撮像センサー部１０２上に結像される。撮影時の撮像光学部１０１及び撮像センサー部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や認識部１３１によって抽出される顔認識結果等の被写体情報に基づき、カメラ制御部１０４によって制御される。   When the operation unit 162 is instructed to start a shooting operation, an optical image of a subject to be imaged is formed on the imaging sensor unit 102 by the imaging optical unit 101. The operations of the imaging optical unit 101 and the imaging sensor unit 102 at the time of shooting are subjects such as an evaluation value calculation result obtained by the evaluation value calculation unit 105 such as an aperture, focus, and camera shake, and a face recognition result extracted by the recognition unit 131. Based on the information, the camera control unit 104 controls the information.

撮像センサー部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のモザイクカラーフィルターを透過した光を電気信号に変換する。図１１は、撮像センサー部１０２の撮像面に配置されるカラーフィルターの一例を示す図であり、撮像装置１００が扱う画像の画素配列を表している。図１１に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤー配列と呼ばれる。   The image sensor unit 102 converts light transmitted through a red, green, and blue (RGB) mosaic color filter arranged for each pixel into an electrical signal. FIG. 11 is a diagram illustrating an example of a color filter arranged on the imaging surface of the imaging sensor unit 102, and represents a pixel array of an image handled by the imaging device 100. As shown in FIG. 11, red (R), green (G), and blue (B) are arranged in a mosaic pattern for each pixel, and for 2 × 2 four pixels, one red pixel, one blue pixel, and two green pixels It has a structure in which pixels are regularly arranged in one set. Such an arrangement of pixels is generally called a Bayer array.

撮像センサー部１０２によって光学像を光電変換して得られた電気信号は、センサー信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサー部１０２の欠落画素や信頼性の低い画素に対し、周辺画素値を用いて修復対象の画素の値を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサー信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像情報（以降、ＲＡＷ画像）と称す。   The electrical signal obtained by photoelectrically converting the optical image by the imaging sensor unit 102 is subjected to pixel restoration processing by the sensor signal processing unit 103. The restoration process includes a process of interpolating the value of a pixel to be restored using a peripheral pixel value or subtracting a predetermined offset value for a missing pixel or a low-reliability pixel of the image sensor unit 102. It is. In the present embodiment, the image information output from the sensor signal processing unit 103 is referred to as RAW image information (hereinafter, RAW image) meaning a raw (undeveloped) image.

ＲＡＷ画像は、現像部１１０で現像処理される。現像部１１０は、複数の異なる現像処理部を有し、第１の現像部としての簡易現像部１１１と、第２の現像部としての高画質現像部１１２とから成り、それらの出力を選択するスイッチ部１２１を含んで構成される。簡易現像部１１１、高画質現像部１１２は共に、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）即ち色補間処理を施し、輝度と色差（や原色）の信号に変換し、各信号に含まれるノイズの除去、光学的な歪の補正をして、画像を適正化する現像処理を行う。   The RAW image is developed by the developing unit 110. The development unit 110 includes a plurality of different development processing units, and includes a simple development unit 111 as a first development unit and a high-quality development unit 112 as a second development unit, and selects an output thereof. A switch unit 121 is included. Both the simple development unit 111 and the high-quality development unit 112 perform debayer processing (demosaic processing), that is, color interpolation processing, on the RAW image, convert the signal into luminance and color difference (or primary color) signals, and noise included in each signal The image is removed, optical distortion is corrected, and development processing is performed to optimize the image.

特に、高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行うものである。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。そこで、本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後のアイドル期間に時間をかけて分散処理を行う（後述する追いかけ現像）ことが可能な構成になっている。このように高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。他方、簡易現像部１１１は、高画質現像部１１２よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。このように、簡易現像部１１１の処理負荷は小さいので、主に撮影動作と並行したリアルタイムの現像の際に用いるようにする。スイッチ部１２１は、操作部１６２によりユーザーから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。また、スイッチ部１２１の切換に連動して、簡易現像部１１１と高画質現像部１１２のうち、信号出力の対象となる一方だけが現像動作を行うように構成しても良い。   In particular, the high image quality development unit 112 performs each process with higher accuracy than the simple development unit 111. Since it is highly accurate, a developed image with higher image quality than that of the simple developing unit 111 can be obtained, but on the other hand, the processing load increases. Therefore, the high image quality development unit 112 of the present embodiment is not specialized for real-time development in parallel with shooting, but can perform distributed processing over time during an idle period after shooting (chasing development described later). It has a possible configuration. As described above, the high-quality image development is not performed at the time of shooting but is performed later over time, so that an increase (peak) in circuit scale and power consumption can be suppressed to a low level. On the other hand, the simple development unit 111 has a lower image quality than the high image quality development unit 112, but is configured to have a smaller processing amount than the high image quality development so that the development process can be performed at high speed during shooting. Yes. As described above, since the processing load of the simple developing unit 111 is small, it is mainly used for real-time development in parallel with the photographing operation. The switch unit 121 is switched by the control unit 161 in accordance with control according to the operation content instructed by the user from the operation unit 162 and the operation mode being executed. Further, in conjunction with the switching of the switch unit 121, only one of the simple developing unit 111 and the high image quality developing unit 112 that is the target of signal output may perform the developing operation.

なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を選択的に行っても良い。   In the present embodiment, the simple developing unit 111 and the high image quality developing unit 112 exist independently in the developing unit 110. However, one developing unit switches the operation mode so that the simple developing unit and the high developing unit 112 can Image quality development processing may be selectively performed.

現像部１１０によって現像処理された画像情報は、表示処理部１２２によって所定の表示処理がなされた後、表示部１２３にて表示される。また、現像処理された画像情報は、映像出力端子１２４により、外部に接続された外部表示機器に出力することもできる。映像出力端子１２４は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースを含む。   The image information developed by the developing unit 110 is displayed on the display unit 123 after a predetermined display process is performed by the display processing unit 122. Further, the developed image information can be output to an external display device connected to the outside through the video output terminal 124. The video output terminal 124 includes a general-purpose interface such as HDMI (registered trademark) or SDI.

現像部１１０によって現像処理された画像情報は、評価値算出部１０５にも供給される。評価値算出部１０５は、画像情報からフォーカス状態や露出状態などの評価値を算出する。   The image information developed by the developing unit 110 is also supplied to the evaluation value calculating unit 105. The evaluation value calculation unit 105 calculates evaluation values such as a focus state and an exposure state from the image information.

現像部１１０によって現像処理された画像情報は、認識部１３１にも供給される。認識部１３１は、画像情報中の顔や人物等の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画像内における顔を検出し、有る場合は顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。   The image information developed by the developing unit 110 is also supplied to the recognition unit 131. The recognition unit 131 has a function of detecting and recognizing subject information such as a face and a person in image information. For example, a face in the image represented by the image information is detected. If there is a face, information indicating the position of the face is output, and authentication of a specific person is performed based on feature information such as the face.

現像部１１０によって現像処理された画像情報は、静止画圧縮部１４１又は動画圧縮部１４２に供給される。画像情報を静止画として圧縮する場合は、静止画圧縮部１４１を用いる。画像情報を動画として圧縮する場合は、動画圧縮部１４２を用いる。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像情報を高能率符号化（圧縮符号化）し、情報量が圧縮された画像情報を生成して、画像ファイル（静止画ファイル、又は、動画ファイル）に変換する。静止画圧縮はＪＰＥＧなどを、動画圧縮にはＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５等を用いることができる。   Image information developed by the developing unit 110 is supplied to the still image compressing unit 141 or the moving image compressing unit 142. When compressing the image information as a still image, the still image compression unit 141 is used. When the image information is compressed as a moving image, the moving image compression unit 142 is used. The still image compressing unit 141 and the moving image compressing unit 142 respectively perform high-efficiency encoding (compression encoding) on the target image information, generate image information whose information amount is compressed, and generate an image file (still image file, Or a video file). Still image compression is JPEG, etc., and moving image compression is MPEG-2, H.264. H.264, H.C. 265 or the like can be used.

ＲＡＷ圧縮部１１３は、センサー信号処理部１０３が出力したＲＡＷ画像のデータを、ウエーブレット変換や、差分符号化等の技術を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換して、バッファ部（記憶媒体）１１５に格納する。ＲＡＷファイルは、バッファ部１１５内に残しておいて再び読み出すことができるが、バッファ部１１５に格納された後、別の記録媒体に移動して記録する（バッファ部１１５から削除する）ようにしても良い。   The RAW compression unit 113 performs high-efficiency encoding on the RAW image data output from the sensor signal processing unit 103 using a technique such as wavelet conversion or differential encoding, and converts the data into a compressed RAW file. And stored in the buffer unit (storage medium) 115. The RAW file can remain in the buffer unit 115 and can be read again. However, after being stored in the buffer unit 115, it is moved to another recording medium and recorded (deleted from the buffer unit 115). Also good.

ＲＡＷファイルと、上述の静止画ファイル及び動画ファイルは、記録再生部１５１から通信部１５２を介して、外部のストレージやサーバに記録される。記録再生部１５１は、通信部１５２を介して、外部のストレージやサーバから静止画ファイル、動画ファイル、ＲＡＷファイルを読み出すこともできる。   The RAW file and the above-described still image file and moving image file are recorded from the recording / playback unit 151 to the external storage or server via the communication unit 152. The recording / playback unit 151 can also read a still image file, a moving image file, and a RAW file from an external storage or server via the communication unit 152.

通信部１５２は通信端子１５４を用いて、無線通信や有線通信によりインターネットや外部機器にアクセス可能な構成を有する。
再生動作が開始されると、記録再生部１５１は、通信部１５２を介して、外部のストレージやサーバから所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルをバッファ部１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５１は、取得された動画ファイルを動画伸張部１４４に供給する。 The communication unit 152 has a configuration in which the communication terminal 154 can access the Internet and external devices by wireless communication or wired communication.
When the playback operation is started, the recording / playback unit 151 acquires and plays back a desired file from an external storage or server via the communication unit 152. If the file to be played is a RAW file, the recording / playback unit 151 stores the acquired RAW file in the buffer unit 115. If the file to be played back is a still image file, the recording / playback unit 151 supplies the acquired still image file to the still image expansion unit 143. If the file to be played is a moving image file, the recording / playback unit 151 supplies the acquired moving image file to the moving image decompression unit 144.

ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルを読みだして、圧縮された状態のＲＡＷファイルを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷファイルは、現像部１１０に供給されて、現像部１１０内の簡易現像部１１１や高画質現像部１１２に入力される。   The RAW decompression unit 114 reads the RAW file stored in the buffer unit 115, decodes and decompresses the compressed RAW file. The RAW file expanded by the RAW expansion unit 114 is supplied to the development unit 110 and input to the simple development unit 111 and the high image quality development unit 112 in the development unit 110.

静止画伸張部１４３は、入力された静止画ファイルを復号して伸張し、また伸張済みのファイルである場合は何もせずに、静止画の再生画像として表示処理部１２２に供給する。動画伸張部１４４は、入力された動画ファイルを復号して伸張し、また伸張済みのファイルである場合は何もせずに、動画の再生画像として表示処理部１２２に供給する。   The still image decompressing unit 143 decodes and decompresses the input still image file. If the file is an expanded file, the still image decompressing unit 143 supplies the image to the display processing unit 122 as a still image reproduction image without doing anything. The moving image decompression unit 144 decodes and decompresses the input moving image file, and if it is an expanded file, does nothing, and supplies it to the display processing unit 122 as a reproduced image of the moving image.

再生時、簡易現像部１１１によって現像された簡易現像画像に対し、タッチパネルなどの操作部１６２によって拡大指示がなされると、制御部１６１によって検出され、拡大率情報が現像開始指示部１５３に入力される。拡大率に応じて現像開始指示部１５３は対応するＲＡＷを高画質に現像するよう現像開始指示を高画質現像部１１２に対して行う。高画質現像部１１２にて現像している間、表示処理部１２２にて視覚効果の付加処理を行い、表示部１２３にて表示される。   At the time of reproduction, when an enlargement instruction is given to the simple developed image developed by the simple development unit 111 by the operation unit 162 such as a touch panel, the enlargement rate information is input to the development start instruction unit 153 as detected by the control unit 161. The Depending on the enlargement ratio, the development start instructing unit 153 issues a development start instruction to the high image quality developing unit 112 so as to develop the corresponding RAW with high image quality. While the image is developed by the high image quality developing unit 112, the display processing unit 122 performs visual effect addition processing and is displayed on the display unit 123.

次に、本実施形態の撮像装置１００の動作モードに関して、図を用いて詳細に説明する。図２は、撮像装置１００における、各動作モードの遷移を示す状態遷移図である。このようなモードの遷移は、操作部１６２からのユーザー操作指示や、制御部１６１の判断に応じて実行され、操作に応じて手動で遷移することもあれば、自動で遷移することもある。図２のように、撮像装置１００は、アイドル状態（２００）を経由して４つのモード、静止画撮影モード（２０１）、静止画再生モード（２０２）、動画撮影モード（２０３）、動画再生モード（２０４）に適宜切り替わって動作する。   Next, operation modes of the imaging apparatus 100 of the present embodiment will be described in detail with reference to the drawings. FIG. 2 is a state transition diagram illustrating transition of each operation mode in the imaging apparatus 100. Such a mode transition is executed according to a user operation instruction from the operation unit 162 or a determination of the control unit 161, and may be manually changed according to the operation, or may be automatically changed. As illustrated in FIG. 2, the imaging apparatus 100 includes four modes via an idle state (200), a still image shooting mode (201), a still image playback mode (202), a moving image shooting mode (203), and a moving image playback mode. The operation is switched to (204) as appropriate.

次に、撮像装置１００の静止画撮影モードにおける動作について説明する。
図３に、本実施形態に係わる撮像装置の静止画撮影モードの処理動作のフローチャートを示す。図３のフローチャートは、制御部１６１によって各処理ブロックを制御して実行される処理動作の手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されるプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。 Next, the operation in the still image shooting mode of the imaging apparatus 100 will be described.
FIG. 3 shows a flowchart of the processing operation in the still image shooting mode of the imaging apparatus according to the present embodiment. The flowchart in FIG. 3 illustrates a procedure of processing operations executed by controlling each processing block by the control unit 161. A program stored in a memory (ROM) included in the control unit 161 is stored in the memory (RAM). This is realized by being expanded and executed by the CPU.

図３において静止画撮影モードの処理が開始されると（Ｓ３００）、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ３０１）、負荷状況に応じた頻度でアイドル状態（Ｓ３２０）へ遷移し、そうでなければＳ３０２へ進む。例えば、高速連写中は処理負荷が高いため、Ｓ３２０へは遷移せず、常にＳ３０２へ進む。通常の単発の撮影を行う場合においては、第１の撮影と第２の撮影の合間に例えば半分の頻度でＳ３２０へ遷移する。   In FIG. 3, when the processing of the still image shooting mode is started (S300), the control unit 161 determines whether or not the processing load status of the image capturing apparatus 100 is low (S301), and the idle state with a frequency according to the load status. The process proceeds to (S320), and if not, the process proceeds to S302. For example, during high-speed continuous shooting, the processing load is high, so the process does not transition to S320 but always proceeds to S302. In the case of performing normal single shooting, the process proceeds to S320 with a half frequency between the first shooting and the second shooting, for example.

Ｓ３０２において、カメラ制御部１０４が、好適な条件で撮影を行うよう、撮像光学部１０１や撮像センサー部１０２の動作を制御する。例えば、ユーザーのズームやフォーカスの指示に従って、撮像光学部１０１に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサー部１０２の読み出し領域が設定されたりする。また、後述の評価値算出部１０５や認識部１３１から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。   In step S <b> 302, the camera control unit 104 controls the operations of the imaging optical unit 101 and the imaging sensor unit 102 so that shooting is performed under suitable conditions. For example, a lens included in the imaging optical unit 101 is moved in accordance with a user's zoom or focus instruction, or a reading area of the imaging sensor unit 102 is set in accordance with an instruction on the number of pixels to be captured. In addition, based on evaluation value information and subject information supplied from an evaluation value calculation unit 105 and a recognition unit 131, which will be described later, control such as focus adjustment and tracking for a specific subject is performed.

Ｓ３０３において、撮像センサー部１０２によって被写体光から光電変換された電気信号に対して、センサー信号処理部１０３が画素の修復のための信号処理を施す。すなわち、センサー信号処理部１０３が、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ３０３の処理を終えて、センサー信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像と呼ぶ。   In S303, the sensor signal processing unit 103 performs signal processing for pixel restoration on the electrical signal photoelectrically converted from the subject light by the imaging sensor unit 102. In other words, the sensor signal processing unit 103 interpolates using missing pixel values or subtracts a predetermined offset value for the values of missing pixels or pixels with low reliability. In the present embodiment, the image information output from the sensor signal processing unit 103 after finishing the processing of S303 is referred to as a RAW image meaning a raw (undeveloped) image.

Ｓ３０４において、簡易現像部１１１がＲＡＷ画像を現像処理する。このとき、制御部１６１が現像部１１０内のスイッチ部１２１を切り替えて、簡易現像部１１１で現像処理された画像情報の出力を選択する。   In S304, the simple developing unit 111 develops the RAW image. At this time, the control unit 161 switches the switch unit 121 in the developing unit 110 and selects the output of the image information developed by the simple developing unit 111.

簡易現像部１１１は、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。ここで、簡易現像部１１１が行う現像処理（簡易現像）について説明する。簡易現像部１１１は、現像後の画像サイズを例えば２００万画素以下の低画質に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。簡易現像部１１１が、画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、撮像装置１００は、例えば２００万画素の毎秒６０コマというパフォーマンスの撮影を、小さい回路規模で少ない消費電力で実現することができる。   The simple developing unit 111 performs debayer processing (demosaic processing), that is, color interpolation processing, on the RAW image, converts it into a signal composed of luminance and color difference (or primary color), removes noise contained in each signal, optical So-called development processing is performed such as correcting distortion and optimizing the image. Here, the development processing (simple development) performed by the simple development unit 111 will be described. The simple development unit 111 limits the image size after development to a low image quality of, for example, 2 million pixels or less, or restricts noise removal and optical distortion correction to a limited process, or omits development processing. Realizes high-speed processing and simple processing. The simple development unit 111 performs processing after reducing the image size, or restricts a part of the development processing function, so that the imaging apparatus 100 captures a performance of, for example, 60 frames per second of 2 million pixels. It can be realized with a small circuit scale and low power consumption.

簡易現像部１１１で現像処理された画像情報は、評価値算出部１０５に供給される。評価値算出部１０５は、画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する（Ｓ３０５）。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像を取得して、ＲＡＷ画像から同様に評価値を算出するようにしても良い。   The image information developed by the simple development unit 111 is supplied to the evaluation value calculation unit 105. The evaluation value calculation unit 105 calculates an evaluation value such as a focus state or an exposure state from a luminance value or a contrast value included in the image information (S305). Note that the evaluation value calculation unit 105 may acquire a raw image before development processing and similarly calculate an evaluation value from the raw image.

また、簡易現像部１１１で現像処理された画像情報は、認識部１３１に供給される。認識部１３１は、画像情報から被写体（顔など）の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する（Ｓ３０６）。   Further, the image information developed by the simple development unit 111 is supplied to the recognition unit 131. The recognition unit 131 detects a subject (such as a face) from the image information and recognizes the subject information. For example, the presence / absence of a face in the image information, its position, authentication of a specific person, etc. are performed, and the result is output as information (S306).

また、簡易現像部１１１で現像処理された画像情報は、表示処理部１２２に供給される。表示処理部１２２は、取得した画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する（Ｓ３０７）。表示部１２３による表示画像は、静止画撮影モードにおいて、ユーザーが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）のために用いられる。なお、表示画像は、表示処理部１２２から映像出力端子１２４を経由して、外部のテレビジョンなどの他の表示装置にて表示されてもよい。さらに、表示処理部１２２は、評価値算出部１０５や認識部１３１から供給される、評価値情報や被写体情報を活用して、例えば、表示画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示したりすることもできる。   Further, the image information developed by the simple developing unit 111 is supplied to the display processing unit 122. The display processing unit 122 forms a display image from the acquired image information, outputs it to the display unit 123 or an external display device, and displays it (S307). The display image by the display unit 123 is used for live view display (shooting through image display) for the user to appropriately frame the subject in the still image shooting mode. The display image may be displayed on another display device such as an external television from the display processing unit 122 via the video output terminal 124. Further, the display processing unit 122 utilizes the evaluation value information and the subject information supplied from the evaluation value calculation unit 105 and the recognition unit 131, for example, to display a marking in a focused area on the display image, A frame can also be displayed at the position of the recognized face.

Ｓ３０８において、制御部１６１は、ユーザーからの撮影指示の入力を判定し、撮影の指示があった場合は、Ｓ３１０へ進む。Ｓ３０８で撮影指示が無い場合は、Ｓ３０１へ戻って、撮影の準備動作とライブビュー表示を繰り返す。   In S308, the control unit 161 determines an input of a shooting instruction from the user. If there is a shooting instruction, the process proceeds to S310. If there is no shooting instruction in S308, the process returns to S301 to repeat the shooting preparation operation and the live view display.

Ｓ３０８における撮影指示に応答して、簡易現像部１１１で現像処理された画像情報が、静止画圧縮部１４１に供給される。静止画圧縮部１４１は、取得した画像情報に対して高能率符号化処理（静止画圧縮）を施し（Ｓ３１０）、静止画ファイルを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の静止画圧縮技術を用いて圧縮処理を行う。   In response to the shooting instruction in S <b> 308, the image information developed by the simple development unit 111 is supplied to the still image compression unit 141. The still image compression unit 141 performs high-efficiency encoding processing (still image compression) on the acquired image information (S310), and generates a still image file. Note that the still image compression unit 141 performs compression processing using a known still image compression technique such as JPEG.

Ｓ３１１において、記録再生部１５１が静止画ファイルを、通信部１５２を介して外部のストレージやサーバに記録する。   In S <b> 311, the recording / playback unit 151 records the still image file in an external storage or server via the communication unit 152.

さらに、Ｓ３０８における撮影指示に応答して、ＲＡＷ圧縮部１１３が、撮影された静止画に対応するセンサー信号処理部１０３から出力されたＲＡＷ画像を取得し、ＲＡＷ画像を高能率符号化（ＲＡＷ圧縮）してＲＡＷファイルに変換する（Ｓ３１２）。ＲＡＷファイルはバッファ部１１５に格納される。ＲＡＷ圧縮部１１３が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。或いは、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ画像が非圧縮の状態のままスルー出力されても良い。ＲＡＷ圧縮の有無に関わらず、本実施形態では、センサー信号処理部１０３から供給される画像情報を大きく損なわない、高画質ファイルとして復元可能なＲＡＷファイルを生成する。   Further, in response to the shooting instruction in S308, the RAW compression unit 113 acquires the RAW image output from the sensor signal processing unit 103 corresponding to the captured still image, and performs high-efficiency encoding (RAW compression) on the RAW image. And converted into a RAW file (S312). The RAW file is stored in the buffer unit 115. The high-efficiency encoding performed by the RAW compression unit 113 is processed by a known technique such as wavelet transform or differential encoding, but may be lossy encoding or lossless encoding. Alternatively, the RAW compression of the RAW compression unit 113 may be omitted, and the RAW image may be output through without being compressed. Regardless of the presence or absence of RAW compression, the present embodiment generates a RAW file that can be restored as a high-quality file without significantly losing the image information supplied from the sensor signal processing unit 103.

Ｓ３１３において、記録再生部１５１がＲＡＷファイルを、通信部１５２を介して外部のストレージやサーバに記録した後、フローはＳ３０１に遷移する。
以上が、本実施形態の静止画撮影モードの処理に係るフローの説明である。 In S313, after the recording / playback unit 151 records the RAW file in an external storage or server via the communication unit 152, the flow proceeds to S301.
This completes the description of the flow relating to the still image shooting mode processing of the present embodiment.

ここで、本実施形態に係る、静止画ファイルの構造と、ＲＡＷファイルの構造について説明する。図４（ａ）、（ｂ）は、静止画ファイル及びＲＡＷファイルの構成例を示す図である。   Here, the structure of the still image file and the structure of the RAW file according to the present embodiment will be described. FIGS. 4A and 4B are diagrams showing examples of the structure of a still image file and a RAW file.

図４（ａ）に示す静止画ファイル４００は、記録再生部１５１によって通信部１５２を介して、例えば外部のストレージやサーバである記録媒体の所定の記録エリアに記録されている。静止画ファイル４００は、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが静止画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された静止画の圧縮データが含まれている。   The still image file 400 shown in FIG. 4A is recorded in a predetermined recording area of a recording medium such as an external storage or server by the recording / playback unit 151 via the communication unit 152. The still image file 400 includes a header part 401, a metadata part 402, and a compressed data part 403. The header portion 401 includes an identification code indicating that this file is a still image file format. The compressed data section 403 includes still image compressed data that has been encoded with high efficiency.

メタデータ部４０２には、この静止画ファイルと同時に生成されたＲＡＷファイルのファイル名の情報４０４が含まれる。また、この静止画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報４０５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ４０６が含まれる。また、図示していないが、同時に生成されたＲＡＷファイルが記録されている、外部のストレージやサーバである記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。   The metadata unit 402 includes file name information 404 of a RAW file generated at the same time as the still image file. Further, development status information 405 indicating that the still image file has been simply developed by the simple development unit 111 is included. Also, evaluation values and subject information detected by the evaluation value calculation unit 105 and the recognition unit 131, and information at the time of shooting from the imaging optical unit 101 and the imaging sensor unit 102 (for example, lens type identification information, sensor type identification information) And the like. In addition, although not shown, it may further include an identification code of a recording medium that is an external storage or server in which a simultaneously generated RAW file is recorded, path information of a recorded folder, and the like.

図４（ｂ）に示すＲＡＷファイル４１０は、記録再生部１５１によって、例えば外部ストレージやサーバの記録媒体の所定の記録エリアに記録されている。ＲＡＷファイル４１０は、ヘッダ部４１１、メタデータ部４１２、圧縮データ部４１３から成る。ヘッダ部４１１には、このファイルがＲＡＷファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４１３には、高能率符号化された静止画のＲＡＷ圧縮データが含まれている（圧縮されていない静止画のＲＡＷ画像データであっても良い）。   A RAW file 410 shown in FIG. 4B is recorded by a recording / playback unit 151 in, for example, a predetermined recording area of an external storage or a recording medium of a server. The RAW file 410 includes a header part 411, a metadata part 412, and a compressed data part 413. The header portion 411 includes an identification code indicating that this file is in the RAW file format. The compressed data portion 413 includes RAW compressed data of still images that have been encoded with high efficiency (may be RAW image data of uncompressed still images).

メタデータ部４１２には、このＲＡＷファイルと同時に生成された静止画ファイルのファイル名の情報４１４が含まれる。また、その静止画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報４１５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ４１６が含まれる。撮影メタデータ４１６のうち、撮影メタデータ４０６と共通するものは同じデータを用いる。また、図示していないが、同時に生成された静止画ファイルが記録されている、外部のストレージやサーバである記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、同時に生成された静止画ファイルそのものをメタデータ化して、メタデータ部４１２に格納しても良い。   The metadata section 412 includes file name information 414 of the still image file generated simultaneously with the RAW file. Further, development status information 415 indicating that the still image file has been simply developed by the simple development unit 111 is included. Also, evaluation values and subject information detected by the evaluation value calculation unit 105 and the recognition unit 131, and information at the time of shooting from the imaging optical unit 101 and the imaging sensor unit 102 (for example, lens type identification information, sensor type identification information) And the like. Of the shooting metadata 416, the same data is used for the shooting metadata 416 in common with the shooting metadata 406. Although not shown, it may further include an identification code of a recording medium that is an external storage or server in which a still image file generated at the same time is recorded, path information of a recorded folder, and the like. Alternatively, the still image file itself generated at the same time may be converted into metadata and stored in the metadata unit 412.

上述した本実施形態に係る各種ファイルの構造は一例であり、ＤＣＦやＥＸＩＦなどの標準規格と同じ又は類似の構成であっても良い。なお、ＤＣＦとは、Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍの意味であり、ＥＸＩＦとは、Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ ｆｏｒｍａｔの意味である。   The structure of the various files according to this embodiment described above is an example, and may have the same or similar configuration as a standard such as DCF or EXIF. Note that DCF means Design rule for Camera File system, and EXIF means Exchangeable Image File format.

本実施形態に係る撮像装置１００は、上述のように、静止画撮影モードにおける、撮影指示が行われるまでのライブビュー表示や、撮影指示に応答して生成される静止画ファイルのための現像処理を、簡易現像部１１１によって行う。簡易現像部１１１は、現像後の画像サイズを例えば２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり、或いは省いたりする。そうすることで、例えば２００万画素の毎秒６０コマというパフォーマンスの現像処理を、小さい回路規模で少ない消費電力で実現することができる。一方で、本実施形態に係る撮像装置１００は、上述のように、静止画の撮影指示に応答して、ＲＡＷファイルを生成する。ＲＡＷファイルは、センサー信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、画像の画素数や連写のスピードを高めながらも、小規模な回路によって少ない消費電力でＲＡＷファイルを記録することが可能である。   As described above, the imaging apparatus 100 according to the present embodiment performs live view display until a shooting instruction is performed in the still image shooting mode, and development processing for a still image file generated in response to the shooting instruction. Is performed by the simple developing unit 111. The simple developing unit 111 limits the image size after development to, for example, 2 million pixels or less, or restricts or eliminates noise removal and optical distortion correction. By doing so, for example, development processing with a performance of 2 million pixels and 60 frames per second can be realized with a small circuit scale and low power consumption. On the other hand, as described above, the imaging apparatus 100 according to the present embodiment generates a RAW file in response to a still image shooting instruction. The RAW file is a high-quality file that does not significantly impair the image information supplied from the sensor signal processing unit 103, but development processing is not required to generate this file. Therefore, it is possible to record a RAW file with low power consumption by a small circuit while increasing the number of pixels of an image and the speed of continuous shooting.

続いて、図３のＳ３０１で遷移するステップであるＳ３２０について、図５のフローチャートを用いて説明する。図５に、本実施形態に係わる撮像装置のアイドル状態の処理動作のフローチャートを示す。図５のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。   Next, step S320, which is a transition step in step S301 in FIG. 3, will be described with reference to the flowchart in FIG. FIG. 5 shows a flowchart of the idle state processing operation of the imaging apparatus according to the present embodiment. The flowchart of FIG. 5 illustrates a processing procedure executed by controlling each processing block by the control unit 161. A program stored in a memory (ROM) of the control unit 161 is stored in the memory (RAM). This is realized by expanding and executing by the CPU.

図５においてアイドル状態の処理が開始されると（Ｓ５００）、制御部１６１が、ユーザーの設定により追いかけ現像を行うか否かを判定し（Ｓ５０１）、追いかけ現像を行わない場合はＳ５０２に、追いかけ現像を行う場合はＳ５２０に遷移する。   In FIG. 5, when the idle state processing is started (S500), the control unit 161 determines whether or not to follow up the development according to the user setting (S501). When developing, the process proceeds to S520.

Ｓ５０１で追いかけ現像を行わない場合、ユーザーからの命令やモード設定に従って、制御部１６１が図２に示した２０１，２０２，２０３，２０４の何れかのモードに遷移するか判定する（Ｓ５０２、Ｓ５０３、Ｓ５０４、Ｓ５０５）。そして、制御部１６１が、選ばれたモードの処理フローへ遷移するよう制御する（Ｓ５１０、Ｓ５１１、Ｓ５１２、Ｓ５１３）。Ｓ５０２〜Ｓ５０５において、静止画撮影モードならばＳ５１０に、静止画再生モードならばＳ５１１に、動画撮影モードならばＳ５１２に、動画再生モードならばＳ５１３に、それぞれフローが遷移する。   When the follow-up development is not performed in S501, it is determined whether the control unit 161 shifts to any of the modes 201, 202, 203, and 204 shown in FIG. 2 in accordance with a user command and mode setting (S502, S503, S504, S505). Then, the control unit 161 controls to transition to the processing flow of the selected mode (S510, S511, S512, S513). In S502 to S505, the flow transitions to S510 if it is a still image shooting mode, S511 if it is a still image playback mode, S512 if it is a movie shooting mode, and S513 if it is a movie playback mode.

ここで、「追いかけ現像」とは、撮影動作を終えた後、バッファ部１１５又は外部ストレージやサーバの記録媒体等に記録されたＲＡＷファイルをソースとして、高画質に現像処理を施し、高画質の表示画像や高画質の静止画ファイルを生成する処理を意味する。本実施形態に係る追いかけ現像の対象となるＲＡＷファイルは、静止画と動画の両方を対象とするが、以下では静止画を例に説明する。   Here, “chase development” means that after the shooting operation is finished, a RAW file recorded in the buffer unit 115 or the external storage or the recording medium of the server is used as a source to perform development processing with high image quality. It means a process for generating a display image or a high-quality still image file. The RAW file that is the target of the chase development according to the present embodiment targets both a still image and a moving image. In the following, a still image will be described as an example.

上述したように、撮影時に生成される静止画ファイルは、簡易現像部１１１で現像されているため、画素数が２００万画素以下であったり、現像処理を一部省いていたりするために、画質は限定的な品質である。撮影内容の大まかな確認としては有効であるが、画像の細部を確認したり、プリントアウトしたりする用途には十分ではない場合がある。一方、静止画と同時に生成するＲＡＷファイルは、センサー信号処理部１０３から供給される画像情報を大きく損なわない高品質を有するが、現像処理前のデータであるため、表示やプリントアウトには即時対応ができず、ＲＡＷ現像のための時間を要してしまう。また、ＲＡＷはＪＰＥＧなどのように広く普及したファイルではないため、ＲＡＷファイルを扱える再生環境も限定されてしまう。   As described above, since the still image file generated at the time of shooting is developed by the simple development unit 111, the number of pixels is 2 million pixels or less, or the development process is partially omitted. Is of limited quality. Although it is effective as a rough confirmation of the photographing content, it may not be sufficient for the purpose of confirming details of an image or printing out. On the other hand, the RAW file that is generated at the same time as the still image has high quality that does not significantly impair the image information supplied from the sensor signal processing unit 103, but since it is data before development processing, it can be immediately displayed and printed out. Cannot be performed, and it takes time for RAW development. In addition, since RAW is not a widely spread file such as JPEG, the playback environment that can handle RAW files is also limited.

そこで、本実施形態の追いかけ現像が有効な機能となる。本実施形態では、追いかけ現像が実行されると、既に記録されているＲＡＷファイルを読みだして、高画質現像部１１２によって高画質に現像処理を行い、生成した高画質の静止画ファイルを外部ストレージやサーバの記録媒体等へ記録する。そして、このような追いかけ現像を、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態において実行させる。追いかけ現像は手動に限らず、制御部１６１が自動に実行させるように設計すると良い。   Therefore, the chasing development of this embodiment is an effective function. In this embodiment, when follow-up development is executed, a RAW file that has already been recorded is read out, and development processing is performed with high image quality by the high-quality image development unit 112, and the generated high-quality still image file is stored in an external storage. Or to a server recording medium. Then, such chasing development is executed in a state where the processing load of the apparatus is relatively small, waiting for a user operation such as between shootings or in a reproduction mode or a sleep state. The follow-up development is not limited to manual, but may be designed so that the controller 161 automatically executes it.

このように構成することにより、その後に、細部の確認表示やプリントアウトなど、高画質な再生の要求においても、その都度現像処理（再生出力）の遅れが発生せず、また、従来の静止画ファイルと同様の一般的な操作環境における使用が可能となる。   With this configuration, there is no delay in development processing (reproduction output) each time a request for high-quality reproduction such as confirmation display of details or printout is made thereafter. It can be used in the same general operating environment as files.

外部ストレージやサーバの記録媒体等には、１回の静止画撮影指示に対して、静止画ファイルとＲＡＷファイルが１つずつの組として記録されている。手動または自動によって追いかけ現像を行う場合、制御部１６１が、各画像の組について、追いかけ現像が処理済みか未処理かを判定する（Ｓ５２０）。判定の方法は、例えば静止画ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５に含まれる、この静止画ファイルが簡易現像部１１１で処理されたものなのか否かを識別するためのフラグを参照し、このフラグから判定する方法がある。或いはＲＡＷファイル４１０の中の現像ステータス４１５を参照し、同様に判定しても良い。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定しても良い。   In a recording medium of an external storage or server, a still image file and a RAW file are recorded as one set for each still image shooting instruction. When the follow-up development is performed manually or automatically, the control unit 161 determines whether the follow-up development has been processed or not processed for each set of images (S520). The determination method is, for example, for identifying whether or not the still image file included in the development status 405 stored in the metadata unit 402 of the still image file 400 has been processed by the simple development unit 111. There is a method of referring to the flag and determining from this flag. Alternatively, the same determination may be made with reference to the development status 415 in the RAW file 410. Alternatively, it may be determined by separately preparing a table file indicating the state of development processing for a series of still images taken.

制御部１６１によって、追いかけ現像が処理済みと判断されれば、Ｓ５０２に遷移する。追いかけ現像が未処理の静止画があれば、Ｓ５２１に遷移する。追いかけ現像が未処理である静止画に対応するＲＡＷファイルが、バッファ部１１５にバッファリングされていれば（Ｓ５２１）、Ｓ５２３に進む。一方、バッファリングされていなければ、対応するＲＡＷファイルを外部ストレージやサーバの記録媒体等から読み出す（Ｓ５２２）。外部ストレージやサーバの記録媒体等から読み出されたＲＡＷファイルは、バッファ部１１５によって一時保持される。   If the control unit 161 determines that the follow-up development has been processed, the process proceeds to S502. If there is a still image that has not been subjected to the follow-up development, the process proceeds to S521. If the RAW file corresponding to the still image for which the follow-up development has not been processed is buffered in the buffer unit 115 (S521), the process proceeds to S523. On the other hand, if not buffered, the corresponding RAW file is read from the external storage, the recording medium of the server, or the like (S522). A RAW file read from an external storage or a recording medium of a server is temporarily held by the buffer unit 115.

バッファ部１１５は、静止画撮影モードで撮影された、新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファから取り除かれる。こうすることにより、直前に撮影された画像は常にバッファに保持されているので、Ｓ５２２をスキップし、高速に処理できる。さらに、直前に撮影された画像から時刻を遡って、追いかけ現像を実行するようにすれば、バッファに保持されている画像から優先的に処理が完了できるため、処理の効率化ができる。   The buffer unit 115 updates the data so that the new image captured in the still image capturing mode is preferentially retained. That is, images taken in the past are sequentially removed from the buffer. By doing so, since the image taken immediately before is always held in the buffer, S522 can be skipped and processed at high speed. Further, if the follow-up development is executed by tracing back the time taken from the immediately previous image, the processing can be completed preferentially from the image held in the buffer, so that the processing efficiency can be improved.

Ｓ５２３において、ＲＡＷ伸張部１１４が、バッファ部１１５又は外部ストレージやサーバの記録媒体等から読み出したＲＡＷファイルを伸張処理し、ＲＡＷ画像を復元する。   In S523, the RAW decompression unit 114 decompresses the RAW file read from the buffer unit 115 or the external storage or the server recording medium, and restores the RAW image.

復元されたＲＡＷ画像は、高画質現像部１１２で高画質に現像されて（Ｓ５２４）、スイッチ部１２１を経由して表示処理部１２２や静止画圧縮部１４１に出力される。   The restored RAW image is developed with high image quality by the high image quality development unit 112 (S524), and is output to the display processing unit 122 and the still image compression unit 141 via the switch unit 121.

高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。高画質現像部１１２によって生成される現像処理済みの画像のサイズ（画素数）は、撮像センサー部１０２から読出されたフルサイズのまま、或いはユーザーから設定されたサイズとなり、２００万画素以下に制限された簡易現像の画像よりも格段に高品質となる。   The high image quality developing unit 112 performs debayer processing (demosaic processing), that is, color interpolation processing on the RAW image, converts it into a signal composed of luminance and color difference (or primary color), removes noise contained in each signal, and optically A so-called development process is performed such as correcting the distortion and optimizing the image. The size (number of pixels) of the developed image generated by the high image quality developing unit 112 is the full size read from the image sensor unit 102 or the size set by the user, and is limited to 2 million pixels or less. The quality is much higher than that of the simple developed image.

高画質現像部１１２は簡易現像部１１１よりも各々の処理が高精度であるため、より高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像処理を避け、時間をかけて現像処理可能としたことで、回路規模や消費電力の増大を抑える構成となっている。   Since the high-quality developing unit 112 is more accurate in each process than the simple developing unit 111, a higher-quality developed image can be obtained, but the processing load is increased. The high image quality development unit 112 of the present embodiment is configured to suppress an increase in circuit scale and power consumption by avoiding real-time development processing in parallel with shooting and enabling development processing over time.

高画質現像部１１２で現像処理された画像情報は、静止画圧縮部１４１に供給され、静止画圧縮部１４１は、取得した画像情報に対して高能率符号化処理（静止画圧縮）を施し（Ｓ５２５）、高画質の静止画ファイルを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の技術により圧縮処理を行う。   The image information developed by the high image quality development unit 112 is supplied to the still image compression unit 141, and the still image compression unit 141 performs high-efficiency encoding processing (still image compression) on the acquired image information ( S525), a high-quality still image file is generated. Note that the still image compression unit 141 performs compression processing using a known technique such as JPEG.

Ｓ５２６において、記録再生部１５１が高画質の静止画ファイルを外部ストレージやサーバの記録媒体等に記録したら、フローはＳ５０２に遷移する。なお、追いかけ現像の処理は、追いかけ現像が未処理の静止画がある場合、その画像毎に同様の処理を繰り返して実行可能である。   If the recording / playback unit 151 records a high-quality still image file in the external storage or the recording medium of the server in S526, the flow proceeds to S502. The follow-up development process can be executed repeatedly for each image when there is a still image that has not undergone the follow-up development.

Ｓ５２６で記録される静止画ファイルは、図４（ａ）に示す静止画ファイル４００のようなファイル構成であり、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが静止画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された静止画の圧縮データが含まれている。   The still image file recorded in S526 has a file configuration like the still image file 400 shown in FIG. 4A, and includes a header portion 401, a metadata portion 402, and a compressed data portion 403. The header portion 401 includes an identification code indicating that this file is a still image file format. The compressed data section 403 includes still image compressed data that has been encoded with high efficiency.

メタデータ部４０２には、この静止画ファイルの元となったＲＡＷファイルのファイル名の情報４０４が含まれる。また、この静止画ファイルが高画質現像部１１２によって高画質現像されたことを示す現像ステータスの情報４０５が含まれる。また、元のＲＡＷファイルのメタデータから抽出された、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報を含む撮影メタデータ４０６が含まれる。   The metadata unit 402 includes file name information 404 of the RAW file that is the source of the still image file. Further, development status information 405 indicating that the still image file has been developed with high image quality by the high image quality developing unit 112 is included. Also, the evaluation value and subject information detected by the evaluation value calculation unit 105 and the recognition unit 131 extracted from the metadata of the original RAW file, and information at the time of shooting from the imaging optical unit 101 and the imaging sensor unit 102 The shooting metadata 406 including is included.

記録再生部１５１は、高画質現像を経て、Ｓ５２６で記録される新たな静止画ファイルには、元となったＲＡＷファイルと同時に記録された簡易現像による静止画ファイルと同じファイル名を与えて、上書き記録する。すなわち簡易現像による静止画ファイルは削除される。そして、記録再生部１５１は、追いかけ現像の元となったＲＡＷファイルは、メタデータ部４１２内の現像ステータス４１５を、高画質現像済（又は追いかけ現像済）を示す情報にて更新する。なお、上書き記録ではなく、例えば、ファイル名はほぼ同じでファイル名の一部（例えば拡張子や末尾の文字）のみを変更した別のファイルとして記録し、元のファイルを削除しても良い（勿論、記録容量に余裕があれば元のファイルを残しておいてもよい）。   The recording / playback unit 151 gives the same file name to the new still image file recorded in S526 after high-quality development as the still image file by simple development recorded at the same time as the original RAW file, Overwrite recording. That is, the still image file by simple development is deleted. Then, the recording / playback unit 151 updates the development status 415 in the metadata unit 412 with information indicating that the high-quality development has been performed (or the follow-up development has been completed) for the RAW file that is the source of the follow-up development. Instead of overwriting, for example, the original file may be deleted by recording as another file in which the file name is almost the same and only a part of the file name (for example, the extension or the character at the end) is changed (for example). Of course, if the recording capacity is sufficient, the original file may be left).

このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態（アイドル状態）のときに追いかけ現像を実行する。そして、撮影時の簡易現像による静止画ファイルを、ＲＡＷファイルを用いた高画質現像による静止画ファイルに置き換えて行く。撮影時の簡易現像による動画ファイルも、ＲＡＷファイルを用いた高画質現像による動画ファイルに置き換えて行く。こうすることにより、細部の確認表示やプリントアウトなど、高画質な再生の要求が与えられた場合であっても、その都度現像処理（再生出力）の遅れが発生せず、また、従来の静止画ファイルと同様の一般的な操作環境における使用が可能となる。   As described above, the image capturing apparatus 100 according to the present embodiment performs the follow-up development when the processing load of the apparatus is relatively low (idle state) waiting for a user operation such as between shootings or in a playback mode or a sleep state. Execute. Then, the still image file by the simple development at the time of shooting is replaced with the still image file by the high quality development using the RAW file. A moving image file by simple development at the time of shooting is also replaced with a moving image file by high quality development using a RAW file. In this way, even when a high-quality playback request is given, such as a detailed confirmation display or printout, there is no delay in development processing (reproduction output) each time, and the conventional static It can be used in a general operating environment similar to a picture file.

次に、撮像装置１００の静止画再生モードにおける動作について説明する。
図６に、本実施形態に係わる撮像装置の静止画再生モードにおける処理動作のフローチャートを示す。図６のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理動作の手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されるプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。 Next, the operation in the still image playback mode of the imaging apparatus 100 will be described.
FIG. 6 shows a flowchart of processing operations in the still image reproduction mode of the imaging apparatus according to the present embodiment. The flowchart of FIG. 6 illustrates a procedure of processing operations executed by controlling each processing block by the control unit 161. A program stored in a memory (ROM) included in the control unit 161 is stored in the memory (RAM). This is realized by being expanded and executed by the CPU.

図６において静止画再生モードの処理が開始されると（Ｓ６００）、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ６０１）、負荷状況に応じた頻度でアイドル状態（Ｓ６１０）へ遷移し、そうでなければＳ６０２へ進む。例えば、再生指示などのユーザー操作を待っている間は、処理負荷が低いため、Ｓ６１０へ遷移する。ユーザーからの操作に応じて静止画の再生が開始されている（再生中の状態を含む）場合はＳ６０２へ進む。   In FIG. 6, when the still image playback mode process is started (S600), the control unit 161 determines whether or not the processing load status of the imaging apparatus 100 is low (S601), and the idle state with a frequency according to the load status. The process proceeds to (S610), and if not, the process proceeds to S602. For example, while waiting for a user operation such as a reproduction instruction, the processing load is low, and thus the process proceeds to S610. If playback of a still image has been started in response to an operation from the user (including a state during playback), the process proceeds to S602.

Ｓ６０２において、制御部１６１が、再生される静止画について、ユーザーから拡大表示の指示を受けているかを判定する。拡大表示があればＳ６０３に進み、拡大表示がなければＳ６２０に進む。   In step S602, the control unit 161 determines whether an enlarged display instruction has been received from the user for the still image to be played back. If there is an enlarged display, the process proceeds to S603, and if there is no enlarged display, the process proceeds to S620.

図７に、拡大表示を含む表示形態の種類を説明する。図７（ａ）、（ｂ）、（ｃ）は、本実施形態の静止画再生モードの表示処理の例を示す図である。
図７（ａ）の表示例７００は、７０１に示す６つの画像を縮小して表示部１２３に縮小表示している例である。図７（ｂ）の表示例７１０は、ある１つの画像７１１の全体を表示部１２３に表示している例であり、この表示の状態を通常表示とする。図７（ｃ）の表示例７２０は、ある１つの画像の一部領域を拡大した画像７２１を表示部１２３に拡大表示している例である。例えば、撮影直後にフォーカスの適否の確認を行うような場合に、表示例７２０のように被写体像の細部を拡大表示する使われ方が一般的である。 FIG. 7 illustrates types of display forms including enlarged display. 7A, 7B, and 7C are diagrams illustrating an example of display processing in the still image reproduction mode of the present embodiment.
A display example 700 in FIG. 7A is an example in which the six images 701 are reduced and displayed on the display unit 123 in a reduced size. A display example 710 in FIG. 7B is an example in which an entire image 711 is displayed on the display unit 123, and this display state is a normal display. A display example 720 in FIG. 7C is an example in which an image 721 obtained by enlarging a partial area of a certain image is enlarged and displayed on the display unit 123. For example, when confirming whether or not the focus is appropriate immediately after shooting, it is generally used to enlarge and display the details of the subject image as in the display example 720.

表示例７２０のように拡大表示する場合、図６のフローはＳ６０２からＳ６０３へ遷移する。表示例７００のように縮小表示する場合は、Ｓ６０２からＳ６２０へ遷移する。表示例７１０のような場合は、表示部１２３の表示画素数が簡易現像による静止画ファイルの画素数（上述の例ならば２００万画素以下）、であれば等倍もしくは縮小での表示であるため、Ｓ６０２からＳ６２０へ遷移する。   When the enlarged display is performed as in the display example 720, the flow in FIG. 6 transitions from S602 to S603. When the reduced display is performed as in the display example 700, the process proceeds from S602 to S620. In the case of the display example 710, if the number of display pixels of the display unit 123 is the number of pixels of the still image file by simple development (2 million pixels or less in the above example), the display is the same size or reduced. Therefore, the process proceeds from S602 to S620.

Ｓ６２０において、記録再生部１５１が、外部ストレージやサーバの記録媒体等から再生対象の静止画ファイルを読み出す。そして、Ｓ６２１において、静止画伸張部１４３が、静止画ファイルを復号して伸張し、Ｓ６２２において、表示処理部１２２が図７の各図に示すような形態で表示画像を表示部１２３へ出力する。   In S620, the recording / playback unit 151 reads a still image file to be played back from an external storage, a server recording medium, or the like. In step S621, the still image expansion unit 143 decodes and expands the still image file. In step S622, the display processing unit 122 outputs the display image to the display unit 123 in the form illustrated in each drawing of FIG. .

表示される画像が、簡易現像による静止画ファイルの画素数（上述の例ならば２００万画素以下）で足りる場合は、静止画ファイルが簡易現像部１１１で現像処理されたものであっても、十分な画質で表示できる。なお、静止画ファイルが高画質現像部１１２で現像処理されたものであるならば、勿論、表示に十分な画質であるということは言うまでも無い。   If the displayed image is sufficient for the number of pixels of the still image file by simple development (in the above example, 2 million pixels or less), even if the still image file is developed by the simple development unit 111, It can be displayed with sufficient image quality. Needless to say, if the still image file is developed by the high image quality development unit 112, the image quality is of course sufficient for display.

一方、拡大表示の場合、表示される画像が、簡易現像による静止画ファイルの画素数（上述の例ならば２００万画素以下）では足りないことが起こり得る。すなわち、簡易現像による静止画ファイルを用いて表示したのでは、解像感の低下を招いてしまう。よって、拡大表示の場合は、Ｓ６０３の拡大表示処理を行う。   On the other hand, in the case of enlarged display, the displayed image may not be enough for the number of pixels of the still image file by simple development (in the above example, 2 million pixels or less). In other words, display using a still image file by simple development causes a reduction in resolution. Therefore, in the case of enlarged display, the enlarged display process of S603 is performed.

図１２に本実施形態に係わる拡大表示処理動作のフローチャートを示す。タッチパネルなどの操作部１６２によってユーザーから拡大指示がなされると、Ｓ１２０１において、制御部１６１が、再生対象となって表示されるべき画像の静止画ファイルが、高画質現像されたものであるかどうかを判定する。判定方法は、例えば静止画ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５に含まれる、この静止画ファイルが簡易現像部１１１で処理されたものなのか否かを識別するためのフラグを参照し、このフラグから判定する方法がある。或いはＲＡＷファイル４１０の中の現像ステータス４１５を参照し、同様に判定しても良い。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定しても良い。   FIG. 12 shows a flowchart of the enlarged display processing operation according to this embodiment. When an enlargement instruction is given from the user via the operation unit 162 such as a touch panel, in step S1201, the control unit 161 determines whether the still image file of the image to be displayed as a reproduction target has been developed with high image quality. Determine. The determination method includes, for example, a flag included in the development status 405 stored in the metadata unit 402 of the still image file 400 for identifying whether or not the still image file has been processed by the simple development unit 111. There is a method of judging from this flag with reference to FIG. Alternatively, the same determination may be made with reference to the development status 415 in the RAW file 410. Alternatively, it may be determined by separately preparing a table file indicating the state of development processing for a series of still images taken.

Ｓ１２０１で、高画質現像されたものである場合は、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、Ｓ１２０２に進む。Ｓ１２０２では、記録再生部１５１が該当する高画質の静止画ファイルを外部ストレージやサーバの記録媒体等から読み出し、拡大処理を行い再生表示する。拡大表示が終了するまで、Ｓ１２０２−Ｓ１２０３を繰り返す。   If the image has been developed with high image quality in S1201, it means that the image is a high-quality still image file that can be displayed with sufficient image quality even if it is enlarged, and thus the flow proceeds to S1202. In step S1202, the recording / playback unit 151 reads the corresponding high-quality still image file from the external storage, the recording medium of the server, etc., performs enlargement processing, and plays back and displays the file. S1202 to S1203 are repeated until the enlarged display is completed.

Ｓ１２０１で、高画質現像されたものでない場合は、簡易現像部１１１で現像処理された静止画ファイルであることを意味しＳ１２０４に進む。ユーザーから指示された拡大率Ｍが所定の拡大率以下の場合、簡易現像部１１１で現像処理された静止画ファイルでも十分な画質で表示することができる。所定の拡大率として、あらかじめ、高画質現像を開始する高画質現像開始拡大率α、簡易現像部１１１で現像処理された静止画ファイルの表示限界拡大率βを設定しておく。Ｓ１２０４で拡大率Ｍがあらかじめ設定した高画質現像開始拡大率αを超えていなければ、Ｓ１２０５に進み、記録再生部１５１が該当する静止画ファイルを外部ストレージやサーバの記録媒体等から読み出して、拡大処理を行い再生表示する。   If it is determined in S1201 that the image is not developed with high image quality, it means that the file is a still image file developed by the simple development unit 111, and the process advances to S1204. When the enlargement factor M instructed by the user is less than or equal to the predetermined enlargement factor, even a still image file developed by the simple development unit 111 can be displayed with sufficient image quality. As the predetermined enlargement ratio, a high-quality development start enlargement ratio α for starting high-quality development and a display limit enlargement ratio β for a still image file developed by the simple development unit 111 are set in advance. If the enlargement ratio M does not exceed the preset high image quality development start enlargement ratio α in S1204, the process advances to S1205, and the recording / playback unit 151 reads the corresponding still image file from the external storage, the recording medium of the server, and the like to enlarge. Process and display for playback.

Ｓ１２０４で拡大率Ｍが高画質現像開始拡大率αを超えていた場合、Ｓ１２０７に進み、外部ストレージやサーバの記録媒体等に対し、対応するＲＡＷファイルを取得するよう指示を行う。   If the enlargement ratio M exceeds the high image quality development start enlargement ratio α in S1204, the process advances to S1207 to instruct the external storage or the recording medium of the server to acquire the corresponding RAW file.

Ｓ１２０８で外部ストレージやサーバの記録媒体等からＲＡＷファイルの取得が完了していなかった場合はＳ１２０９へ進む。一方、拡大率Ｍがあらかじめ設定した表示限界拡大率βを超えていなければ、Ｓ１２１０に進み、記録再生部１５１が該当する静止画ファイルを外部ストレージやサーバ等の記録媒体から読み出して、拡大処理を行い再生表示する。   If the acquisition of the RAW file from the external storage or the recording medium of the server has not been completed in S1208, the process proceeds to S1209. On the other hand, if the enlargement ratio M does not exceed the preset display limit enlargement ratio β, the process proceeds to S1210, and the recording / playback unit 151 reads the corresponding still image file from the recording medium such as an external storage or a server to perform the enlargement process. And display it for playback.

Ｓ１２０９で拡大率Ｍが表示限界拡大率βを超えた場合、Ｓ１２１１にて視覚効果画像を表示する。   If the enlargement factor M exceeds the display limit enlargement factor β in S1209, a visual effect image is displayed in S1211.

Ｓ１２０８で外部ストレージやサーバの記録媒体等からＲＡＷファイルの取得が完了していた場合、Ｓ１２１３に進み、高画質現像部１１２にて高画質現像を実行する。この場合、対応するＲＡＷファイル全体を現像するのではなく、拡大表示するエリアのみを切り出して現像することにより、処理負荷の軽減となる。また、高画質現像を行う場合の現像パラメータは、簡易現像部１１１にて行った簡易現像処理時のものと同じものを使用する。   If the acquisition of the RAW file from the external storage or the recording medium of the server is completed in S1208, the process proceeds to S1213, and the high-quality image development unit 112 executes high-quality image development. In this case, instead of developing the entire corresponding RAW file, only the area to be enlarged is cut out and developed, thereby reducing the processing load. In addition, the same development parameters as those used in the simple development process performed in the simple development unit 111 are used as the development parameters when performing high-quality development.

その後Ｓ１２１４へ進み、拡大率Ｍがあらかじめ設定した表示限界拡大率βを超えていなければ、Ｓ１２１５に進み、記録再生部１５１が該当する静止画ファイルを外部ストレージやサーバ等の記録媒体から読み出して、拡大処理を行い再生表示する。   Thereafter, the process proceeds to S1214, and if the enlargement ratio M does not exceed the preset display limit enlargement ratio β, the process proceeds to S1215, and the recording / playback unit 151 reads the corresponding still image file from a recording medium such as an external storage or a server, Performs enlargement and playback display.

Ｓ１２１４で、拡大率Ｍが表示限界拡大率βを超えた場合Ｓ１２１７に進む。ここで、Ｓ１２１３にて開始した高画質現像処理が終了しているかどうかを判定する。終了していなかった場合は、Ｓ１２１８にて視覚効果画像を表示する。Ｓ１２１７で高画質現像処理が終了していた場合、Ｓ１２２０で高画質現像画像を用いて拡大表示を行い再生表示する。   If the enlargement factor M exceeds the display limit enlargement factor β in S1214, the process proceeds to S1217. Here, it is determined whether or not the high image quality development process started in S1213 has ended. If not completed, a visual effect image is displayed in S1218. If the high image quality development processing has been completed in S1217, an enlarged display is performed using the high image quality developed image in S1220, and reproduction display is performed.

Ｓ１２０３、Ｓ１２０６、Ｓ１２１２、Ｓ１２１６、Ｓ１２１９、Ｓ１２２１にて拡大表示が終了するまで、各々処理を繰り返す。
なお、Ｓ６０３、Ｓ６２２の表示が停止されると、フローはＳ６０１に戻る。Ｓ６０１において、アイドル状態Ｓ６１０に遷移した場合は、上述した図５のフローチャートに従って処理される。 Each of the processes is repeated until the enlarged display is finished in S1203, S1206, S1212, S1216, S1219, and S1221.
When the display of S603 and S622 is stopped, the flow returns to S601. In S601, when transitioning to the idle state S610, processing is performed according to the flowchart of FIG. 5 described above.

ここで、Ｓ１２１１とＳ１２１８の視覚効果画像について説明する。図１３Ａ、図１３Ｂ、図１３Ｃ、図１３Ｄは、本実施形態における視覚効果を説明する為の図である。   Here, the visual effect image of S1211 and S1218 will be described. 13A, 13B, 13C, and 13D are diagrams for explaining visual effects in the present embodiment.

図１３Ａはユーザーの拡大指示に応じて画像を拡大表示していく中で、ある間隔毎の表示を抜き出したものである。１３１１は拡大する前の画像全体を表示しているものであり、この大きさを基準とする（表示１００％）。本実施形態では、現像開始拡大率α＝２００％、表示限界拡大率β＝２１０％と設定する。ユーザーの拡大指示による拡大率Ｍに応じて、１３１２（表示１４６％）、１３１３（表示２１０％）と簡易現像画像を元に拡大表示をしていく。拡大率Ｍが２００％に達した時に高画質現像の開始指示を行う。簡易画像での表示限界拡大率は１３１３の２１０％であるので、１３１３以降の表示画像は高画質現像画像からの拡大表示に切り替える。高画質現像処理が終了していない場合は、１３１４にて視覚効果の画像を表示する。高画質現像処理が終了したら、高画質現像画像をもとに１３１５（表示２４２％）、１３１６（表示２９７％）、１３１７（表示３９６％）とユーザーの拡大指示に応じて拡大表示を行う。   FIG. 13A shows an image extracted at certain intervals while enlarging and displaying an image according to a user's enlargement instruction. Reference numeral 1311 displays the entire image before enlargement, and this size is used as a reference (display 100%). In this embodiment, the development start enlargement ratio α = 200% and the display limit enlargement ratio β = 210% are set. In accordance with the enlargement ratio M according to the user's enlargement instruction, enlargement display is performed based on the simple developed images 1312 (display 146%) and 1313 (display 210%). When the enlargement ratio M reaches 200%, an instruction to start high-quality development is issued. Since the display limit enlargement ratio in the simple image is 210% of 1313, the display image after 1313 is switched to the enlarged display from the high-quality developed image. If the high-quality development processing has not been completed, a visual effect image is displayed at 1314. When the high-quality development processing is completed, the enlarged display is performed according to the user's enlargement instruction 1315 (display 242%), 1316 (display 297%), 1317 (display 396%) based on the high-quality developed image.

図１３Ｂ、図１３Ｃ、図１３Ｄは１３１４視覚効果の例を示したものである。
図１３Ｂは、簡易画像を用いて徐々に切り出し拡大し（１３２１、１３２２，１３２３、１３２４）、動画エフェクトのように表示する視覚効果である。
図１３Ｃは、簡易画像の拡大はせずに枠をＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）などで重ね、枠を徐々に拡大し（１３３１、１３３２、１３３３、１３３４）表示する視覚効果である。
図１３Ｄは、その他の視覚効果の例を示したものである。１３４１は簡易画像の上に、現在高画質現像を行っている状態を示すアイコンを表示する視覚効果である。１３４２、１３４３は、例えばＧＩＦアニメーションなどのファイルを予め用意しておき、視覚効果表示期間中再生する。 13B, 13C, and 13D show examples of 1314 visual effects.
FIG. 13B is a visual effect that is gradually cut out and enlarged using a simple image (1321, 1322, 1323, 1324) and displayed like a moving image effect.
FIG. 13C is a visual effect in which a simple image is not enlarged and a frame is overlaid with OSD (On Screen Display) or the like, and the frame is gradually enlarged (1331, 1332, 1333, 1334).
FIG. 13D shows examples of other visual effects. A visual effect 1341 displays an icon indicating a state where high-quality development is currently being performed on a simple image. For 1342, 1343, for example, a file such as a GIF animation is prepared in advance, and is reproduced during the visual effect display period.

次に、撮像装置１００の動画撮影モードにおける動作について説明する。
図８に、本実施形態に係わる撮像装置の動画撮影モードにおける処理動作のフローチャートを示す。図８のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理動作の手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されるプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。 Next, an operation in the moving image shooting mode of the imaging apparatus 100 will be described.
FIG. 8 shows a flowchart of processing operations in the moving image shooting mode of the imaging apparatus according to the present embodiment. The flowchart in FIG. 8 illustrates a procedure of processing operations executed by controlling each processing block by the control unit 161. A program stored in a memory (ROM) included in the control unit 161 is stored in the memory (RAM). This is realized by being expanded and executed by the CPU.

図８において動画撮影モードの処理が開始されると（Ｓ８００）、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ８０１）、負荷状況に応じた頻度でアイドル状態（Ｓ８２０）へ遷移し、そうでなければＳ８０２へ進む。例えば、水平解像度が４０００画素相当（４Ｋ）のように画素数の多い動画や、毎秒１２０コマ（１２０Ｐ）のようにフレームレートの高い動画が設定されているときは処理負荷が高いため、Ｓ８２０へは遷移せず、常にＳ８０２へ進む。画素数が所定値より少なかったり、フレームレートが所定の速度より低かったりする動画の撮影を行う設定のときは、動画の第１のフレームと第２のフレームの処理の合間に、例えば半分の頻度でＳ８２０へ遷移する。   In FIG. 8, when the processing in the moving image shooting mode is started (S800), the control unit 161 determines whether or not the processing load status of the imaging apparatus 100 is low (S801), and the idle state ( The process proceeds to S820), and if not, the process proceeds to S802. For example, when a moving image with a large number of pixels such as a horizontal resolution equivalent to 4000 pixels (4K) or a moving image with a high frame rate such as 120 frames per second (120P) is set, the processing load is high, and thus the process proceeds to S820. Does not transition and always proceeds to S802. When the setting is made to shoot a moving image in which the number of pixels is less than a predetermined value or the frame rate is lower than a predetermined speed, for example, half the frequency between the processing of the first frame and the second frame of the moving image. Then, the process proceeds to S820.

Ｓ８０２において、カメラ制御部１０４が、好適な条件で動画撮影を行うよう、撮像光学部１０１や撮像センサー部１０２の動作を制御する。例えば、ユーザーのズームやフォーカスの指示に従って、撮像光学部１０１に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサー部１０２の読み出し領域が設定されたりする。また、後述の評価値算出部１０５や認識部１３１から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。   In step S <b> 802, the camera control unit 104 controls operations of the imaging optical unit 101 and the imaging sensor unit 102 so that moving image shooting is performed under suitable conditions. For example, a lens included in the imaging optical unit 101 is moved in accordance with a user's zoom or focus instruction, or a reading area of the imaging sensor unit 102 is set in accordance with an instruction on the number of pixels to be captured. In addition, based on evaluation value information and subject information supplied from an evaluation value calculation unit 105 and a recognition unit 131, which will be described later, control such as focus adjustment and tracking for a specific subject is performed.

Ｓ８０３において、撮像センサー部１０２によって変換された電気信号に対して、センサー信号処理部１０３が画素の修復のための信号処理を施す。すなわち、センサー信号処理部１０３が、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ８０３の処理を終えて、センサー信号処理部１０３から出力される画像情報を、生（未現像）の動画を意味するＲＡＷ画像（特に、ＲＡＷ動画像）と呼ぶ。   In step S <b> 803, the sensor signal processing unit 103 performs signal processing for pixel restoration on the electrical signal converted by the imaging sensor unit 102. In other words, the sensor signal processing unit 103 interpolates using missing pixel values or subtracts a predetermined offset value for the values of missing pixels or pixels with low reliability. In the present embodiment, the image information output from the sensor signal processing unit 103 after finishing the processing of S803 is referred to as a RAW image (in particular, a RAW moving image) meaning a raw (undeveloped) moving image.

Ｓ８０４において、簡易現像部１１１がＲＡＷ画像を現像処理する。このとき、制御部１６１が現像部１１０内のスイッチ部１２１を切り替えて、簡易現像部１１１で現像処理された画像情報の出力を選択する。   In step S804, the simple development unit 111 develops the RAW image. At this time, the control unit 161 switches the switch unit 121 in the developing unit 110 and selects the output of the image information developed by the simple developing unit 111.

簡易現像部１１１は、動画の各フレームを構成するＲＡＷ動画像に対してデベイヤー処理（デモザイク処理）を施し、輝度と色差（や原色）から成る信号へ変換し、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化する等の現像処理を行う。ここで、簡易現像部１１１が行う動画の現像処理（簡易現像）について説明する。簡易現像部１１１は、現像後の画像サイズを例えばＨＤ映像の２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。簡易現像部１１１が、画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、撮像装置１００は、例えばＨＤサイズの動画の高速撮影を、小さい回路規模で少ない消費電力で実現することができる。   The simple development unit 111 performs debayer processing (demosaic processing) on the RAW moving image constituting each frame of the moving image, converts it into a signal composed of luminance and color difference (or primary color), and removes noise included in each signal. Then, development processing such as correcting optical distortion and optimizing the image is performed. Here, a moving image developing process (simple development) performed by the simple developing unit 111 will be described. The simple development unit 111 limits the image size after development to, for example, 2 million pixels or less of HD video, or restricts noise removal and optical distortion correction to a limited process, or omits development processing. Realizes high-speed processing and simple processing. The simple developing unit 111 performs processing after reducing the image size, or restricts a part of the development processing function, so that the imaging apparatus 100 can perform high-speed shooting of, for example, HD size moving images with a small circuit scale. Can be realized with low power consumption.

簡易現像部１１１で現像処理された画像情報は、評価値算出部１０５に供給される。評価値算出部１０５は、画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する（Ｓ８０５）。なお、評価値算出部１０５は、現像処理前のＲＡＷ動画像を取得して、ＲＡＷ動画像から同様に評価値を算出するようにしても良い。   The image information developed by the simple development unit 111 is supplied to the evaluation value calculation unit 105. The evaluation value calculation unit 105 calculates evaluation values such as a focus state and an exposure state from the luminance value and contrast value included in the image information (S805). Note that the evaluation value calculation unit 105 may acquire a RAW moving image before development processing and similarly calculate an evaluation value from the RAW moving image.

また、簡易現像部１１１で現像処理された画像情報は、認識部１３１に供給される。認識部１３１は、画像情報から被写体（顔など）の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する（Ｓ８０６）。   Further, the image information developed by the simple development unit 111 is supplied to the recognition unit 131. The recognition unit 131 detects a subject (such as a face) from the image information and recognizes the subject information. For example, the presence / absence of the face in the image information, the position thereof, authentication of a specific person, and the like are performed, and the result is output as information (S806).

また、簡易現像部１１１で現像処理された画像情報は、表示処理部１２２に供給される。表示処理部１２２は、取得した画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する（Ｓ８０７）。表示部１２３による表示画像は、動画撮影モードにおいて、ユーザーが被写体を適切にフレーミングするための確認表示のために用いられる。具体的に、動画撮影特有の使用形態として、撮影された動画の記録開始前（スタンバイ中）だけでなく、動画の記録中（ＲＥＣ中）においても、被写体を適切にフレーミングするためのライブビュー表示のために用いられる。なお、表示画像は、表示処理部１２２から映像出力端子１２４を経由して、外部のテレビジョンなどの他の表示装置にて表示することもできる。さらに、表示処理部１２２は、評価値算出部１０５や認識部１３１から供給される、評価値情報や被写体情報を活用して、例えば、表示画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示したりすることもできる。   Further, the image information developed by the simple developing unit 111 is supplied to the display processing unit 122. The display processing unit 122 forms a display image from the acquired image information, outputs it to the display unit 123 or an external display device, and displays it (S807). The display image by the display unit 123 is used for confirmation display for the user to appropriately frame the subject in the moving image shooting mode. Specifically, as a usage mode specific to moving image shooting, a live view display for appropriately framing a subject not only during recording of a recorded moving image (during standby) but also during recording of a moving image (during REC) Used for. The display image can also be displayed on the other display device such as an external television from the display processing unit 122 via the video output terminal 124. Further, the display processing unit 122 utilizes the evaluation value information and the subject information supplied from the evaluation value calculation unit 105 and the recognition unit 131, for example, to display a marking in a focused area on the display image, A frame can also be displayed at the position of the recognized face.

Ｓ８０８において、制御部１６１は、ユーザーからの記録の開始指示を受けて撮影された動画を記録中（ＲＥＣ中）であるか否かを判定し、ＲＥＣ中の場合は、Ｓ８１０へ進む。Ｓ８０８でＲＥＣ中では無い場合（すなわちスタンバイ中）は、Ｓ８０１へ戻って、動画の記録開始前の撮影動作とライブビュー表示を繰り返す。   In step S808, the control unit 161 determines whether a moving image shot in response to a recording start instruction from the user is being recorded (during REC). If it is being recorded, the process proceeds to step S810. If REC is not in S808 (that is, during standby), the process returns to S801 to repeat the shooting operation and live view display before starting the recording of the moving image.

Ｓ８０８によって、撮影された動画のうち、記録開始から記録終了までの記録対象となる動画が、フレーム単位で動画圧縮部１４２によって圧縮される（Ｓ８１０）。なお、図面を用いての説明は省略するが、動画の撮影と同時に、不図示のマイクロフォンによって入力された音声情報が取得されている。動画圧縮部１４２は、取得した簡易現像済の動画の画像情報及び音声情報に対して高能率符号化処理（動画圧縮）を施し、動画ファイルを生成する。なお、動画圧縮部１４２は、ＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５などの公知の動画圧縮技術を用いて圧縮処理を行う。   In S808, the moving image to be recorded from the start of recording to the end of recording among the captured moving images is compressed by the moving image compression unit 142 in units of frames (S810). Although not described with reference to the drawings, audio information input by a microphone (not shown) is acquired at the same time as shooting of a moving image. The moving image compression unit 142 performs high-efficiency encoding processing (moving image compression) on the acquired image information and audio information of the simply developed moving image to generate a moving image file. Note that the moving image compression unit 142 is MPEG-2, H.264, or the like. H.264, H.C. The compression processing is performed using a known moving image compression technique such as H.265.

Ｓ８１１において、記録再生部１５１が生成された動画ファイルを外部ストレージやサーバの記録媒体に記録する。   In S811, the recording / playback unit 151 records the generated moving image file in an external storage or a recording medium of a server.

さらに、Ｓ８０８によって記録対象となった動画に対応する期間のＲＡＷ動画像が、センサー信号処理部１０３からＲＡＷ圧縮部１１３に供給される。ＲＡＷ圧縮部１１３は、記録対象となった動画と同じシーンを示すＲＡＷ動画像を高能率符号化（ＲＡＷ圧縮）してＲＡＷファイル（ＲＡＷ動画ファイル）に変換する（Ｓ８１２）。ＲＡＷ動画ファイルはバッファ部１１５に格納される。ＲＡＷ圧縮部１１３が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。或いは、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ動画像が非圧縮の状態のままスルー出力されても良い。ＲＡＷ圧縮の有無に関わらず、本実施形態では、センサー信号処理部１０３から供給される画像情報を大きく損なわない、高画質ファイルとして復元可能なＲＡＷ動画ファイルを生成する。   Further, a RAW moving image in a period corresponding to the moving image to be recorded in S808 is supplied from the sensor signal processing unit 103 to the RAW compression unit 113. The RAW compression unit 113 performs high-efficiency encoding (RAW compression) on a RAW moving image that shows the same scene as the moving image to be recorded, and converts it into a RAW file (RAW moving image file) (S812). The RAW moving image file is stored in the buffer unit 115. The high-efficiency encoding performed by the RAW compression unit 113 is processed by a known technique such as wavelet transform or differential encoding, but may be lossy encoding or lossless encoding. Alternatively, the RAW compression of the RAW compression unit 113 may be omitted, and the RAW moving image may be output through without being compressed. Regardless of the presence or absence of RAW compression, this embodiment generates a RAW moving image file that can be restored as a high-quality file that does not significantly impair image information supplied from the sensor signal processing unit 103.

Ｓ８１３において、記録再生部１５１がＲＡＷ動画ファイルを外部ストレージやサーバの記録媒体に記録した後、フローはＳ８０１に遷移する。
以上が、本実施形態の動画撮影モードの処理に係るフローの説明である。 In step S813, after the recording / playback unit 151 records the RAW moving image file in the external storage or the recording medium of the server, the flow proceeds to step S801.
The above is the description of the flow relating to the processing in the moving image shooting mode of the present embodiment.

ここで、本実施形態に係る、動画ファイルの構造と、ＲＡＷ動画ファイルの構造について説明する。図９（ａ）、（ｂ）は、動画ファイル及びＲＡＷ動画ファイルの構成例を示す図である。   Here, the structure of the moving image file and the structure of the RAW moving image file according to the present embodiment will be described. FIGS. 9A and 9B are diagrams illustrating configuration examples of a moving image file and a RAW moving image file.

図９（ａ）に示す動画ファイル９００は、記録再生部１５１によって、例えば外部ストレージやサーバの記録媒体の所定の記録エリアに記録されている。動画ファイル９００は、ヘッダ部９０１、メタデータ部９０２、圧縮データ部９０３から成る。ヘッダ部９０１には、このファイルが動画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部９０３には、高能率符号化された動画と音声の圧縮データが含まれている。   The moving image file 900 shown in FIG. 9A is recorded by a recording / playback unit 151 in, for example, a predetermined recording area of a recording medium of an external storage or a server. The moving image file 900 includes a header portion 901, a metadata portion 902, and a compressed data portion 903. The header portion 901 includes an identification code indicating that this file is in the format of a moving image file. The compressed data portion 903 includes high-efficiency encoded moving image and audio compressed data.

メタデータ部９０２には、この動画ファイルと同時に生成されたＲＡＷ動画ファイルのファイル名の情報９０４が含まれる。また、この動画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報９０５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ９０６が含まれる。また、図示していないが、同時に生成されたＲＡＷ動画ファイルが記録されている、外部ストレージやサーバの記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。   The metadata part 902 includes file name information 904 of the RAW moving image file generated at the same time as the moving image file. Further, development status information 905 indicating that the moving image file has been simply developed by the simple developing unit 111 is included. Also, evaluation values and subject information detected by the evaluation value calculation unit 105 and the recognition unit 131, and information at the time of shooting from the imaging optical unit 101 and the imaging sensor unit 102 (for example, lens type identification information, sensor type identification information) Etc.). In addition, although not shown, it may further include an identification code of a recording medium of an external storage or a server in which a RAW moving image file generated at the same time is recorded, path information of a recorded folder, and the like.

図９（ｂ）に示すＲＡＷ動画ファイル９１０は、記録再生部１５１によって、例えば外部ストレージやサーバの記録媒体の所定の記録エリアに記録されている。ＲＡＷ動画ファイル９１０は、ヘッダ部９１１、メタデータ部９１２、圧縮データ部９１３から成る。ヘッダ部９１１には、このファイルがＲＡＷ動画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部９１３には、高能率符号化された動画のＲＡＷ圧縮データが含まれている（圧縮されていない動画のＲＡＷ画像データであっても良い）。   A RAW moving image file 910 shown in FIG. 9B is recorded by a recording / playback unit 151 in, for example, a predetermined recording area of a recording medium of an external storage or a server. The RAW moving image file 910 includes a header portion 911, a metadata portion 912, and a compressed data portion 913. The header portion 911 includes an identification code indicating that this file is in the RAW moving image file format. The compressed data section 913 includes moving image RAW compressed data that has been encoded with high efficiency (may be uncompressed moving image RAW image data).

メタデータ部９１２には、このＲＡＷ動画ファイルと同時に生成された動画ファイルのファイル名の情報９１４が含まれる。また、その動画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報９１５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ９１６が含まれる。撮影メタデータ９１６のうち、撮影メタデータ９０６と共通するものは同じデータを用いる。また、図示していないが、同時に生成された動画ファイルが記録されている、外部ストレージやサーバの記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、同時に生成された動画ファイルそのもの全部又は一部（先頭フレームなど）を抽出してメタデータ化して、メタデータ部９１２に格納しても良い。   The metadata portion 912 includes file name information 914 of the moving image file generated simultaneously with the RAW moving image file. Further, development status information 915 indicating that the moving image file has been simply developed by the simple developing unit 111 is included. Also, evaluation values and subject information detected by the evaluation value calculation unit 105 and the recognition unit 131, and information at the time of shooting from the imaging optical unit 101 and the imaging sensor unit 102 (for example, lens type identification information, sensor type identification information) And the like. Among the shooting metadata 916, the same data is used as the shooting metadata 906 in common. Although not shown in the figure, it may further include an identification code of a recording medium of an external storage or server in which a simultaneously generated moving image file is recorded, path information of a recorded folder, and the like. Alternatively, all or part of the moving image file generated at the same time (such as the first frame) may be extracted and converted into metadata, and stored in the metadata unit 912.

上述した本実施形態に係る各種ファイルの構造は一例であり、ＤＣＦ、ＡＶＣＨＤ、ＭＸＦなどの標準規格と同じ又は類似の構成であっても良い。なお、ＡＶＣＨＤとは、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎの意味であり、ＭＸＦとは、Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔの意味である。   The structure of the various files according to this embodiment described above is an example, and may have the same or similar configuration as a standard such as DCF, AVCHD, and MXF. AVCHD means Advanced Video Codec High Definition, and MXF means Material eXchange Format.

本実施形態に係る撮像装置１００は、上述のように、動画撮影モードにおける撮影画像表示（ライブビュー表示）や、撮影時に生成される動画ファイルのための現像処理を、簡易現像部１１１によって行う。簡易現像部１１１は、現像後の画像サイズを例えば２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりして、例えばＨＤサイズの動画の現像処理を、小さい回路規模で少ない消費電力で実現することができる。一方で、本実施形態に係る撮像装置１００は、上述のように、動画ファイルと共に、その動画の記録期間に対応するＲＡＷ動画ファイルを生成する。ＲＡＷ動画ファイルは、センサー信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、４Ｋや８Ｋ（水平解像度が８０００画素相当）のように画像の画素数を高めたり、毎秒１２０コマ（１２０Ｐ）のようにフレームレートを高めたりしても、小規模な回路によって少ない消費電力でＲＡＷ動画ファイルを記録することが可能である。   As described above, the imaging apparatus 100 according to the present embodiment uses the simple developing unit 111 to perform a captured image display (live view display) in the moving image shooting mode and a developing process for a moving image file generated at the time of shooting. The simple developing unit 111 limits the image size after development to, for example, 2 million pixels or less, or restricts or eliminates noise removal and optical distortion correction to a limited process, for example, for an HD size moving image. Development processing can be realized with a small circuit scale and low power consumption. On the other hand, as described above, the imaging apparatus 100 according to the present embodiment generates a RAW moving image file corresponding to a recording period of the moving image together with the moving image file. The RAW moving image file is a high-quality file that does not significantly impair the image information supplied from the sensor signal processing unit 103, but development processing is not required to generate this file. Therefore, even if the number of image pixels is increased, such as 4K or 8K (horizontal resolution is equivalent to 8000 pixels), or the frame rate is increased, such as 120 frames per second (120P), less power is consumed by a small circuit. It is possible to record a RAW moving image file.

次に、撮像装置１００の動画再生モードにおける動作について説明する。
図１０に、本実施形態に係わる撮像装置の動画再生モードにおける処理動作のフローチャートを示す。図１０のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。 Next, an operation in the moving image reproduction mode of the imaging apparatus 100 will be described.
FIG. 10 shows a flowchart of processing operations in the moving image reproduction mode of the imaging apparatus according to the present embodiment. The flowchart of FIG. 10 illustrates a processing procedure executed by controlling each processing block by the control unit 161. A program stored in a memory (ROM) of the control unit 161 is stored in the memory (RAM). This is realized by expanding and executing by the CPU.

図１０において動画再生モードの処理が開始されると（Ｓ１０００）、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ１００１）、負荷状況に応じた頻度でアイドル状態（Ｓ１０１０）へ遷移し、そうでなければＳ１００２へ進む。例えば、再生指示などのユーザー操作を待っている間は、処理負荷が低いため、Ｓ１０１０へ遷移する。ユーザーからの操作に応じて動画の再生が開始されている（再生中の状態を含む）場合はＳ１００２へ進む。   In FIG. 10, when the processing of the video playback mode is started (S1000), the control unit 161 determines whether or not the processing load status of the imaging apparatus 100 is low (S1001), and the idle state ( The process proceeds to S1010), and if not, the process proceeds to S1002. For example, while waiting for a user operation such as a reproduction instruction, the processing load is low, and the process proceeds to S1010. If the playback of a moving image has been started in response to an operation from the user (including a state during playback), the process proceeds to S1002.

Ｓ１００２において、制御部１６１が、再生される動画について、ユーザーから再生の一時停止（ポーズ）の指示を受けているかを判定する。Ｓ１００２で一時停止指示がなければ動画再生を継続するためにフローはＳ１００３に進む。   In step S <b> 1002, the control unit 161 determines whether a playback pause (pause) instruction has been received from the user for the video to be played. If there is no pause instruction in S1002, the flow proceeds to S1003 in order to continue the video playback.

Ｓ１００３において、記録再生部１５１が、通信端子１５４を介して、外部のストレージやサーバ等から再生対象の動画ファイルを読み出す。そして、Ｓ１００４において、動画伸張部１４４が、動画ファイルを１フレームずつ復号して伸張し、Ｓ１００５において、表示処理部１２２が再生された動画の表示画像を表示部１２３へ出力する。   In step S <b> 1003, the recording / playback unit 151 reads a playback target moving image file from an external storage, server, or the like via the communication terminal 154. In step S1004, the moving image extension unit 144 decodes and expands the moving image file frame by frame. In step S1005, the display processing unit 122 outputs the display image of the reproduced moving image to the display unit 123.

Ｓ１００２で一時停止指示を受けた場合、制御部１６１が、再生及び表示中の動画を一時停止状態にするともに、一時停止されたときの停止位置のフレームを静止画として表示させるために、Ｓ１０２０へフローを遷移させる。一時停止状態では、画像が静止して表示されるので、動いているときよりも細部の画質を視認しやすい状態になる。さらに、一時停止中には拡大表示の指示を受けやすいと考えられる。Ｓ１０２０において、制御部１６１が、再生される動画について、ユーザーから拡大表示の指示を受けているかを判定する。拡大表示があればＳ１０２１に進み、拡大表示がなければＳ１００３へ進む。拡大表示Ｓ１０２１の処理については、静止画再生モードでの拡大表示と同じフローであるものとし、ここでの説明は省略する。   When receiving a pause instruction in S1002, the control unit 161 puts the moving image being played back and displayed in a paused state, and displays the frame at the stop position when paused as a still image, to S1020. Transition the flow. In the paused state, the image is displayed in a static state, so that it becomes easier to see the detailed image quality than when moving. Further, it is considered that an enlarged display instruction is easily received during the pause. In step S <b> 1020, the control unit 161 determines whether an enlargement display instruction has been received from the user for the reproduced video. If there is an enlarged display, the process proceeds to S1021, and if there is no enlarged display, the process proceeds to S1003. The processing of the enlarged display S1021 is assumed to be the same flow as that of the enlarged display in the still image reproduction mode, and description thereof is omitted here.

なお、Ｓ１００５の表示は１フレーム毎に行われ、動画再生中は、次のフレームの表示を行うため、フローはＳ１００１に戻る。Ｓ１００１において、アイドル状態Ｓ１０１０に遷移した場合は、上述した図５のフローチャートに従って処理される。   Note that the display in S1005 is performed for each frame, and the flow returns to S1001 to display the next frame during playback of the moving image. In S1001, when transitioning to the idle state S1010, processing is performed according to the flowchart of FIG.

上述した本実施形態によれば、画像処理装置が、画像再生時の拡大表示において、ＲＡＷ画像の高画質現像を必要とした場合でも、ユーザーのストレス低減の効果を得ることができる画像処理を提供することが可能となる。   According to the above-described embodiment, even when the image processing apparatus requires high-quality development of a RAW image in enlarged display at the time of image reproduction, it is possible to provide image processing that can obtain the effect of reducing the stress on the user. It becomes possible to do.

（実施形態１の変形例）
第１の実施形態では、画像拡大時のＲＡＷ現像開始指示タイミング（ＲＡＷ画像取得指示）は、ユーザーが指示した拡大率Ｍがあらかじめ設定された拡大率（α）に到達した場合とした。ここでは、拡大操作の開始タイミングを、現像開始指示タイミングとする例を、第１の実施形態の変形例として説明する。本変形例は、拡大表示処理動作のフローチャートが第１の実施形態と異なるだけで、それ以外の撮像装置、動作モード、視覚効果画像等の他の構成は同様であるのでそれらの説明は省略する。 (Modification of Embodiment 1)
In the first embodiment, the RAW development start instruction timing (RAW image acquisition instruction) at the time of image enlargement is a case where the enlargement ratio M instructed by the user reaches a preset enlargement ratio (α). Here, an example in which the start timing of the enlargement operation is set as the development start instruction timing will be described as a modification of the first embodiment. This modified example is different from the first embodiment only in the flowchart of the enlarged display processing operation, and other configurations such as the imaging device, the operation mode, the visual effect image, and the like are the same. .

図１４に本変形例における拡大表示処理動作のフローチャートを示す。同図において、第１の実施形態（図１２）と同様の部分は同じ符号を付して示す。第１の実施形態の拡大表示処理動作（図１２）と異なるのは、Ｓ１２０４〜Ｓ１２０６がないことである。従って、拡大表示処理動作が開始され、高画質現像済みの静止画ファイルがないと判断された時点で（Ｓ１２０１でＮＯ）、ＲＡＷファイルの取得の指示を出して高解像現像処理を開始させる（Ｓ１２０７）。   FIG. 14 shows a flowchart of the enlarged display processing operation in this modification. In the figure, the same parts as those in the first embodiment (FIG. 12) are denoted by the same reference numerals. The difference from the enlarged display processing operation (FIG. 12) of the first embodiment is that S1204 to S1206 are not provided. Accordingly, when the enlargement display processing operation is started and it is determined that there is no still image file with high image quality developed (NO in S1201), an instruction to acquire a RAW file is issued to start the high resolution development processing ( S1207).

タッチパネルなどの操作部１６２によってユーザーから拡大指示がなされると、Ｓ１２０１において、制御部１６１が、再生対象となって表示されるべき画像の静止画ファイルが、高画質現像部１１２で現像されたものであるかどうかを判定する。判定方法は、第１の実施形態と同様であり、また、操作部１６２による拡大操作方法についても同様である。   When an enlargement instruction is given by the user through the operation unit 162 such as a touch panel, the control unit 161 develops a still image file of an image to be displayed as a reproduction target in the high-quality image development unit 112 in S1201. It is determined whether or not. The determination method is the same as that of the first embodiment, and the same applies to the enlargement operation method by the operation unit 162.

Ｓ１２０１で、高画質現像されたものである場合は、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、Ｓ１２０２に進む。ここで、記録再生部１５１が該当する高画質の静止画ファイルを外部ストレージやサーバの記録媒体等から読み出し、拡大処理を行い再生表示する。拡大表示が終了するまで、Ｓ１２０２−Ｓ１２０３を繰り返す。   If the image has been developed with high image quality in S1201, it means that the image is a high-quality still image file that can be displayed with sufficient image quality even if it is enlarged, and thus the flow proceeds to S1202. Here, the recording / playback unit 151 reads the corresponding high-quality still image file from the external storage, the recording medium of the server, etc., performs enlargement processing, and plays back and displays it. S1202 to S1203 are repeated until the enlarged display is completed.

Ｓ１２０１で、高画質現像されたものがない場合は、簡易現像部１１１で現像処理された静止画ファイルであることを意味するのでＳ１２０７に進み、外部ストレージやサーバの記録媒体等に対し、対応するＲＡＷファイルを取得するよう指示を行う。その後Ｓ１２０８へ進み、以下、第１の実施形態と同様の処理動作を行う。   If there is no image with high image quality developed in S1201, it means that the file is a still image file developed by the simple development unit 111, so that the process proceeds to S1207, and it corresponds to the external storage or the recording medium of the server. An instruction is given to obtain a RAW file. Thereafter, the process proceeds to S1208, and the same processing operation as that of the first embodiment is performed.

（実施形態２）
図１５は、本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図である。同図において、第１の実施形態（図１）と同様の構成要素には同じ符号を付して示す。 (Embodiment 2)
FIG. 15 is a block diagram illustrating a configuration example of an imaging apparatus according to the second embodiment of the present invention. In the figure, components similar to those in the first embodiment (FIG. 1) are denoted by the same reference numerals.

本実施形態では、撮像装置の構成を、第１の実施形態に係わる撮像装置から高画質現像部１１２とスイッチ部１２１を取り除いた構成とし、高画質現像処理を撮像装置の外部に委託する構成とする。これにより、撮像装置の処理動作における高画質現像処理の負荷の問題に縛られることなく、高画質現像処理の実行指示をすることが可能となる。   In the present embodiment, the configuration of the imaging device is a configuration in which the image quality developing unit 112 and the switch unit 121 are removed from the imaging device according to the first embodiment, and the configuration in which the image quality development processing is outsourced to the outside of the imaging device. To do. As a result, it is possible to instruct execution of high-quality development processing without being bound by the problem of high-quality development processing load in the processing operation of the imaging apparatus.

図１５に示した撮像装置１５００は、被写体を撮像して得られた画像情報を外部の装置やサーバ（クラウド）等と送受信する機能や、外部の装置やサーバから得た画像情報を再生し、表示する機能を有する。従って、これらに着目した場合、第１の実施形態と同様に、本実施形態に係る撮像装置も、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することが出来る。   The image capturing apparatus 1500 shown in FIG. 15 reproduces image information obtained from an external apparatus or server, a function of transmitting and receiving image information obtained by capturing an image with an external apparatus or server (cloud), and the like. It has a function to display. Therefore, when attention is focused on these, as in the first embodiment, the imaging apparatus according to the present embodiment can also be expressed as an image processing apparatus, a recording apparatus, a reproducing apparatus, a recording / reproducing apparatus, a communication apparatus, and the like.

まず、図１５において第１の実施形態と異なる部分にいて説明する。他の部分は、第１の実施形態と同様であるのでここでの説明を省略する。   First, a description will be given of the parts different from the first embodiment in FIG. Since other parts are the same as those in the first embodiment, description thereof is omitted here.

センサー信号処理部１０３から出力されたＲＡＷ画像は、簡易現像部１５１０で現像処理される。簡易現像部１５１０は、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）の信号に変換し、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化する所謂現像処理を行う。本実施形態における簡易現像部１５１０も、第１の実施形態と同様、撮影中に高速に現像処理を行えるよう画質を低くし、現像に係る処理量が少なくなるように構成されている。従って、簡易現像部１５１０の処理負荷は小さく、撮影動作と並行したリアルタイムの現像の際に用いることが可能である。   The RAW image output from the sensor signal processing unit 103 is developed by the simple development unit 1510. The simple developing unit 1510 performs debayer processing (demosaic processing), that is, color interpolation processing on the RAW image, converts the signal into luminance and color difference (or primary color) signals, removes noise included in each signal, and performs optical processing. A so-called development process for correcting the distortion and optimizing the image is performed. Similar to the first embodiment, the simple developing unit 1510 in the present embodiment is also configured to reduce the image quality and reduce the amount of processing related to development so that development processing can be performed at high speed during shooting. Accordingly, the processing load of the simple developing unit 1510 is small and can be used for real-time development in parallel with the photographing operation.

簡易現像部１５１０によって現像処理された画像情報は、表示処理部１２２、評価値算出部１０５、認識部１３１、静止画圧縮部１４１又は動画圧縮部１４２に供給される。これらに係わる処理動作は第１の実施形態と同様である。   The image information developed by the simple development unit 1510 is supplied to the display processing unit 122, the evaluation value calculation unit 105, the recognition unit 131, the still image compression unit 141, or the moving image compression unit 142. Processing operations related to these are the same as those in the first embodiment.

再生動作が開始されると、記録再生部１５５１は、通信部１５２を介して、外部のストレージやサーバから所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、ネットワーク上の高画質現像機能に対して現像指示を行う。ネットワーク上にて、圧縮された状態のＲＡＷファイルを復号して伸張する。伸張されたＲＡＷファイルは、デベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）の信号に変換し、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化する所謂現像処理を行う。現像された画像情報は、通信部１５２を介して撮像装置１５００に入力される。この時、現像された画像情報はあらかじめネットワーク上にて圧縮処理をされていても良い。   When the reproduction operation is started, the recording / reproducing unit 1551 acquires and reproduces a desired file from an external storage or server via the communication unit 152. If the file to be reproduced is a RAW file, a development instruction is given to the high-quality image development function on the network. Decompress and decompress the compressed RAW file on the network. The expanded RAW file is subjected to Debayer processing (demosaic processing), that is, color interpolation processing, converted into luminance and color difference (and primary color) signals, noise contained in each signal is removed, and optical distortion is corrected. A so-called development process for optimizing the image is performed. The developed image information is input to the imaging apparatus 1500 via the communication unit 152. At this time, the developed image information may be previously compressed on the network.

再生対象のファイルが静止画ファイルであれば、記録再生部１５５１は、取得された静止画ファイルを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５５１は、取得された動画ファイルを動画伸張部１４４に供給する。   If the file to be played is a still image file, the recording / playback unit 1551 supplies the acquired still image file to the still image decompression unit 143. If the file to be played is a moving image file, the recording / playback unit 1551 supplies the acquired moving image file to the moving image decompression unit 144.

静止画伸張部１４３は、入力された静止画ファイルを復号して伸張し、伸張済みのファイルである場合はそのまま、静止画の再生画像として表示処理部１２２に供給する。動画伸張部１４４は、入力された動画ファイルを復号して伸張し、伸張済みのファイルである場合はそのまま、動画の再生画像として表示処理部１２２に供給する。   The still image decompressing unit 143 decodes and decompresses the input still image file, and if it is an expanded file, supplies it to the display processing unit 122 as a still image reproduction image. The moving image decompression unit 144 decodes and decompresses the input moving image file, and if it is an expanded file, supplies it to the display processing unit 122 as it is as a reproduced image of the moving image.

再生時、簡易現像部１５１０によって現像された簡易現像画像に対し、タッチパネルなどの操作部１６２によって拡大指示がなされると、制御部１６１によって検出され、拡大率情報が現像開始指示部１５５３に入力される。拡大率に応じて現像開始指示部１５５３は対応するＲＡＷを高画質に現像するよう現像開始指示を、通信部１５２を介してネットワーク上の高画質現像機能に対して行う。高画質現像し、現像された画像をネットワーク上より転送し、表示部１２３にて表示可能なるまでの間、表示処理部１２２にて視覚効果の付加処理を行い、表示部１２３にて表示される。   At the time of reproduction, when an enlargement instruction is given to the simple developed image developed by the simple development unit 1510 by the operation unit 162 such as a touch panel, the enlargement rate information is input to the development start instruction unit 1553 when detected by the control unit 161. The Depending on the enlargement ratio, the development start instructing unit 1553 issues a development start instruction to develop the corresponding RAW with high image quality to the high image quality development function on the network via the communication unit 152. The high-quality image is developed, and the developed image is transferred from the network and displayed on the display unit 123 until it is displayed on the display unit 123. .

図１６に本実施形態に係わる撮像装置の拡大表示処理動作のフローチャートを示す。同図において、第１の実施形態（図１２）と同様の部分には同じ符号を付して示し、特に必要がある場合を除き、ここでの説明を省略する。   FIG. 16 is a flowchart of the enlarged display processing operation of the imaging apparatus according to the present embodiment. In the figure, the same parts as those in the first embodiment (FIG. 12) are denoted by the same reference numerals, and the description thereof is omitted unless particularly required.

タッチパネルなどの操作部１６２によってユーザーから拡大指示がなされると、Ｓ１２０１において、制御部１６１が、再生対象となって表示されるべき画像の静止画ファイルが、高画質現像されたものであるかどうかを判定する。判定方法は、第１の実施形態と同様であり、また、操作部１６２による拡大操作方法についても同様である。Ｓ１２０４で拡大率Ｍが高画質現像開始拡大率αを超えていた場合、Ｓ１６０７に進み、現像開始指示部１５５３がネットワーク上の高画質現像機能に高画質現像を指示する。この場合、対応するＲＡＷファイル全体を現像するのではなく、拡大表示するエリアのみを切り出して現像することにより、処理負荷の軽減となる。また、高画質現像を行う場合の現像パラメータは、簡易現像部１５１０にて行った簡易現像処理時のものと同じものを使用する。   When an enlargement instruction is given from the user via the operation unit 162 such as a touch panel, in step S1201, the control unit 161 determines whether the still image file of the image to be displayed as a reproduction target has been developed with high image quality. Determine. The determination method is the same as that of the first embodiment, and the same applies to the enlargement operation method by the operation unit 162. If the enlargement ratio M exceeds the high image quality development start enlargement ratio α in S1204, the process advances to S1607, and the development start instruction unit 1553 instructs the high image quality development function on the network to perform high image quality development. In this case, instead of developing the entire corresponding RAW file, only the area to be enlarged is cut out and developed, thereby reducing the processing load. In addition, the same development parameters as those used in the simple development process performed in the simple development unit 1510 are used as the development parameters when performing high-quality development.

ユーザーから指示された拡大率Ｍが所定の拡大率以下の場合、簡易現像部１５１０で現像処理された静止画ファイルでも十分な画質で表示することができる。所定の拡大率として、予め、簡易現像部１５１０で現像処理された静止画ファイルの表示限界拡大率βを設定しておく。Ｓ１２１４へ進み、拡大率Ｍがあらかじめ設定した表示限界拡大率βを超えていなければ、Ｓ１２１５に進み、記録再生部１５５１が該当する静止画ファイルを外部ストレージやサーバ等の記録媒体から読み出して、拡大処理を行い再生表示する。   When the enlargement factor M instructed by the user is equal to or less than the predetermined enlargement factor, even a still image file developed by the simple development unit 1510 can be displayed with sufficient image quality. As the predetermined enlargement ratio, the display limit enlargement ratio β of the still image file developed by the simple developing unit 1510 is set in advance. The process proceeds to S1214, and if the enlargement ratio M does not exceed the preset display limit enlargement ratio β, the process proceeds to S1215, and the recording / playback unit 1551 reads out the corresponding still image file from the recording medium such as an external storage or a server and enlarges it. Process and display for playback.

Ｓ１２１４で、拡大率Ｍが表示限界拡大率βを超えた場合Ｓ１２１７に進む。ここで、Ｓ１６０７にて開始した高画質現像処理が終了していなかった場合、Ｓ１２１８にて視覚効果画像を表示する。Ｓ１２１７で高画質現像処理が終了していた場合、Ｓ１２２０で外部ストレージやサーバの記録媒体から高画質現像画像を読み出し、拡大表示を行い再生表示する。図１６のフローチャートにおける他の処理動作は、第１の実施形態での動作(図１２）と同様である。   If the enlargement factor M exceeds the display limit enlargement factor β in S1214, the process proceeds to S1217. If the high image quality development process started in S1607 has not ended, a visual effect image is displayed in S1218. If the high-quality development processing has been completed in S1217, the high-quality development image is read from the external storage or the recording medium of the server in S1220, enlarged and displayed. Other processing operations in the flowchart of FIG. 16 are the same as the operations in the first embodiment (FIG. 12).

上述した本実施形態によっても、画像処理装置が、画像再生時の拡大表示において、ＲＡＷ画像の高画質現像を必要とした場合でも、ユーザーのストレス低減の効果を得ることができる画像処理を提供することが可能となる。   Also according to the present embodiment described above, the image processing apparatus can provide the image processing that can obtain the effect of reducing the stress of the user even when the RAW image requires high image quality development in the enlarged display at the time of image reproduction. It becomes possible.

（第２の実施形態の変形例）
実施形態２では、画像拡大時のＲＡＷ現像開始指示タイミングは（ＲＡＷ画像取得指示）、ユーザー指示の拡大率Ｍが予め設定された拡大率（α）に到達した場合とした。ここでは、拡大操作が開始されたタイミングを、現像開始指示タイミングとする例を、第２の実施形態の変形例として説明する。本変形例は、拡大表示処理動作のフローチャートが第２の実施形態と異なるだけで、それ以外の撮像装置、動作モード、視覚効果画像等の他の構成は同様であるのでここでの説明は省略する。 (Modification of the second embodiment)
In the second embodiment, the RAW development start instruction timing at the time of image enlargement (RAW image acquisition instruction) is a case where the enlargement ratio M of the user instruction reaches a preset enlargement ratio (α). Here, an example in which the timing at which the enlargement operation is started is used as the development start instruction timing will be described as a modification of the second embodiment. This modified example is different from the second embodiment only in the flowchart of the enlarged display processing operation, and other configurations such as the imaging device, the operation mode, and the visual effect image are the same, so the description here is omitted. To do.

図１７に本実施形態に係わる拡大表示処理動作のフローチャートを示す。同図において、第２の実施形態（図１６）と同様の部分は同じ符号を付して示す。第２の実施形態の拡大表示処理動作（図１６）と異なるのは、Ｓ１２０４〜Ｓ１２０６がないことである。従って、拡大表示処理動作が開始され、高画質現像済みの静止画ファイルがないと判断されて時点で（Ｓ１２０１でＮＯ）、現像開始指示部１５５３がＲＡＷファイルの取得の指示を出して高解像現像処理を開始させる（Ｓ１６０７）。   FIG. 17 shows a flowchart of the enlarged display processing operation according to this embodiment. In the figure, the same parts as those of the second embodiment (FIG. 16) are denoted by the same reference numerals. The difference from the enlarged display processing operation (FIG. 16) of the second embodiment is that S1204 to S1206 are not provided. Accordingly, when the enlarged display processing operation is started and it is determined that there is no high-quality developed still image file (NO in S1201), the development start instructing unit 1553 issues an instruction to acquire a RAW file and performs high resolution. Development processing is started (S1607).

タッチパネルなどの操作部１６２によってユーザーから拡大指示がなされると、Ｓ１２０１において、制御部１６１が、再生対象となって表示されるべき画像の静止画ファイルが、ネットワーク上の高画質現像機能で現像されたものであるかどうかを判定する。判定方法は、第１の実施形態と同様であり、また、操作部１６２による拡大操作方法についても同様である。   When an enlargement instruction is given from the user via the operation unit 162 such as a touch panel, in S1201, the control unit 161 develops a still image file of an image to be displayed as a reproduction target with a high image quality development function on the network. To determine whether or not The determination method is the same as that of the first embodiment, and the same applies to the enlargement operation method by the operation unit 162.

Ｓ１２０１で、高画質現像されたものである場合は、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、Ｓ１７０２に進む。そこでは、記録再生部１５５１が該当する高画質の静止画ファイルを外部ストレージやサーバの記録媒体等から読み出し、拡大処理を行い再生表示する。拡大表示が終了するまで、Ｓ１７０２−Ｓ１７０３を繰り返す。   If the image has been developed with high image quality in S1201, it means that the image is a high-quality still image file that can be displayed with sufficient image quality even if it is enlarged, and thus the flow proceeds to S1702. In this case, the recording / playback unit 1551 reads the corresponding high-quality still image file from the external storage, the recording medium of the server, etc., and performs playback processing to display it. S1702 to S1703 are repeated until the enlarged display is completed.

Ｓ１２０１で、高画質現像されたものでない場合は、簡易現像部１５１０で現像処理された静止画ファイルであることを意味するのでＳ１６０７に進み、ネットワーク上の高画質現像機能にて高画質現像を実行するための指示を行う。この場合、対応するＲＡＷファイル全体を現像するのではなく、拡大表示するエリアのみを切り出して現像することにより、処理負荷の軽減となる。また、高画質現像を行う場合の現像パラメータは、簡易現像部１５１０にて行った簡易現像処理時のものと同じものを使用する。   If the image is not developed with high image quality in S1201, it means that the file is a still image file developed by the simple development unit 1510, so that the process proceeds to S1607 and high image quality development is executed by the high image quality development function on the network. To give instructions. In this case, instead of developing the entire corresponding RAW file, only the area to be enlarged is cut out and developed, thereby reducing the processing load. In addition, the same development parameters as those used in the simple development process performed in the simple development unit 1510 are used as the development parameters when performing high-quality development.

ユーザーから指示された拡大率Ｍが所定の拡大率以下の場合、簡易現像部１５１０で現像処理された静止画ファイルでも十分な画質で表示することができる。所定の拡大率として、あらかじめ、簡易現像部１５１０で現像処理された静止画ファイルの表示限界拡大率βを設定しておく。Ｓ１２１４へ進み、拡大率Ｍがあらかじめ設定した表示限界拡大率βを超えていなければ、Ｓ１２１５に進み、記録再生部１５５１が該当する静止画ファイルを記録媒体から読み出して、拡大処理を行い再生表示する。   When the enlargement factor M instructed by the user is equal to or less than the predetermined enlargement factor, even a still image file developed by the simple development unit 1510 can be displayed with sufficient image quality. As the predetermined enlargement ratio, the display limit enlargement ratio β of the still image file developed by the simple developing unit 1510 is set in advance. The process proceeds to S1214, and if the enlargement ratio M does not exceed the preset display limit enlargement ratio β, the process proceeds to S1215, and the recording / playback unit 1551 reads the corresponding still image file from the recording medium, performs the enlargement process, and plays back and displays it. .

Ｓ１２１４で、拡大率Ｍが表示限界拡大率βを超えた場合Ｓ１２１７に進む。ここで、Ｓ１６０７にて開始した高画質現像処理が終了していなかった場合、Ｓ１２１８にて視覚効果画像を表示する。Ｓ１２１７で高画質現像処理が終了していた場合、Ｓ１２２０で外部ストレージやサーバの記録媒体から高画質現像画像を読み出し、拡大表示を行い再生表示する。   If the enlargement factor M exceeds the display limit enlargement factor β in S1214, the process proceeds to S1217. If the high image quality development process started in S1607 has not ended, a visual effect image is displayed in S1218. If the high-quality development processing has been completed in S1217, the high-quality development image is read from the external storage or the recording medium of the server in S1220, enlarged and displayed.

Ｓ１２０３、Ｓ１２１６、Ｓ１２１９、Ｓ１２２１にて拡大表示が終了するまで、各々処理を繰り返す。   Each process is repeated until the enlarged display is completed in S1203, S1216, S1219, and S1221.

視覚効果画像の表示例については、第２の実施形態と同じものとし、ここでの説明は省略する。また、ファイル構成など、ここで言及していない部分は第２の実施形態と同様とし、ここでの説明は省略する。   The display example of the visual effect image is the same as in the second embodiment, and a description thereof is omitted here. Also, the parts not mentioned here such as the file structure are the same as those in the second embodiment, and the explanation here is omitted.

（実施形態３）
図１８は、本実施形態に係る撮像装置の構成例を示すブロック図である。同図において、第１の実施形態または第２の実施形態と同様の部分は、同じ符号を付して示す。図１８に示した撮像装置１８００は、被写体を撮像して得られた画像情報を外部の装置やサーバ（クラウド）等と送受信する機能や、外部の装置やサーバから得た画像情報を再生し、表示する機能を有する。これらに着目した場合、本実施形態に係る撮像装置も、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することが出来る。 (Embodiment 3)
FIG. 18 is a block diagram illustrating a configuration example of the imaging apparatus according to the present embodiment. In the figure, the same parts as those in the first embodiment or the second embodiment are denoted by the same reference numerals. The imaging apparatus 1800 illustrated in FIG. 18 reproduces image information obtained from an external apparatus or server, a function of transmitting and receiving image information obtained by imaging a subject with an external apparatus or server (cloud), and the like. It has a function to display. When attention is paid to these, the imaging apparatus according to the present embodiment can also be expressed as an image processing apparatus, a recording apparatus, a reproducing apparatus, a recording / reproducing apparatus, a communication apparatus, and the like.

本実施形態に係わる撮像装置１８００は、第２の実施形態と同様に高画質現像処理を外部に付託する構成をとると共に、拡大表示のための処理および視覚効果画像処理も外部に付託する構成とする。このため、高画質現像処理及び拡大表示のための画像処理が外部で終了するまでに待ち時間が生じた場合は、視覚効果画像の表示を行う。また、静止画再生モードにおいては、拡大表示だけでなく、縮小表示も可能とする。   The imaging apparatus 1800 according to the present embodiment has a configuration in which high-quality image development processing is contracted to the outside as in the second embodiment, and a configuration in which processing for enlarged display and visual effect image processing are also contracted to the outside. To do. For this reason, when there is a waiting time until the image processing for high-quality development processing and enlarged display ends outside, a visual effect image is displayed. In the still image playback mode, not only enlarged display but also reduced display is possible.

再生動作が開始されると、記録再生部１８５１は、通信部１５２を介して、外部のストレージやサーバから所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、ネットワーク上の高画質現像機能に対して再生対象のファイルの現像指示を行う。ネットワーク上にて、圧縮された状態のＲＡＷファイルを復号して伸張し、画像ファイル（静止画ファイル、又は、動画ファイル）に変換したものを、通信部１５２を介して取得する。   When the reproduction operation is started, the recording / reproducing unit 1851 acquires and reproduces a desired file from an external storage or server via the communication unit 152. If the file to be reproduced is a RAW file, an instruction to develop the file to be reproduced is issued to the high-quality image development function on the network. On the network, a compressed RAW file is decoded and expanded, and converted into an image file (still image file or moving image file), and acquired via the communication unit 152.

再生時、簡易現像部１５１０によって現像された簡易現像画像に対し、タッチパネルなどの操作部１６２によって拡大指示がなされると、制御部１８６１によって検出され、拡大率情報が現像開始指示部１５５３と画像処理指示部１８５２に入力される。画像処理指示部１８５２は拡大率に応じた画像処理指示を、通信部１５２を介してネットワーク上の画像処理機能に対して行う。また拡大率に応じて現像開始指示部１５５３は対応するＲＡＷを高画質に現像するよう現像開始指示を、通信部１５２を介してネットワーク上の高画質現像機能に対して行う。高画質現像し、現像された画像をネットワーク上より転送し、表示部１２３にて表示可能となるまでの間、ネットワーク上の画像処理機能に対して視覚効果画像処理の指示を行い、視覚効果を処理された画像が表示部１２３にて表示される。   At the time of reproduction, when an enlargement instruction is given to the simple developed image developed by the simple development unit 1510 by the operation unit 162 such as a touch panel, the enlargement rate information is detected by the control start unit 1553 and the image processing. Input to the instruction unit 1852. The image processing instruction unit 1852 gives an image processing instruction corresponding to the enlargement ratio to the image processing function on the network via the communication unit 152. Further, the development start instruction unit 1553 issues a development start instruction to the high-quality image development function on the network via the communication unit 152 so as to develop the corresponding RAW with high image quality according to the enlargement ratio. The visual effect image processing is instructed to the image processing function on the network until the image is developed with high image quality and the developed image is transferred from the network and can be displayed on the display unit 123. The processed image is displayed on the display unit 123.

次に、撮像装置１８００の静止画再生モードにおける動作について説明する。
図１９に、本実施形態に係わる撮像装置の静止画再生モードの処理動作のフローチャートを示す。同図において、第１の実施形態（図６）と同様の部分は同じ符号を付して示す。図１９のフローチャートは、制御部１８６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１８６１が有するメモリ（ＲＯＭ）に格納されるプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。 Next, the operation in the still image playback mode of the imaging apparatus 1800 will be described.
FIG. 19 is a flowchart of the processing operation in the still image reproduction mode of the imaging apparatus according to the present embodiment. In the figure, the same parts as those in the first embodiment (FIG. 6) are denoted by the same reference numerals. The flowchart in FIG. 19 illustrates a processing procedure executed by controlling each processing block by the control unit 1861. The program stored in the memory (ROM) of the control unit 1861 is expanded in the memory (RAM). However, this is realized by the execution of the CPU.

図１９において静止画再生モードの処理が開始されると（Ｓ１９００）、制御部１８６１が撮像装置１８００の処理負荷状況が低いか否かを判定し（Ｓ６０１）、負荷状況に応じた頻度でアイドル状態（Ｓ６１０）へ遷移し、そうでなければＳ６０２へ進む。例えば、再生指示などのユーザー操作を待っている間は、処理負荷が低いため、Ｓ６１０へ遷移する。ユーザーからの操作に応じて静止画の再生が開始されている（再生中の状態を含む）場合はＳ６０２へ進む。   In FIG. 19, when the still image playback mode processing is started (S1900), the control unit 1861 determines whether or not the processing load status of the imaging apparatus 1800 is low (S601), and the idle state is frequencyd according to the load status. The process proceeds to (S610), and if not, the process proceeds to S602. For example, while waiting for a user operation such as a reproduction instruction, the processing load is low, and thus the process proceeds to S610. If playback of a still image has been started in response to an operation from the user (including a state during playback), the process proceeds to S602.

Ｓ６０２において、制御部１８６１が、再生される静止画について、ユーザーから拡大表示の指示を受けているかを判定する。拡大表示があればＳ６０３に進み、拡大表示がなければＳ１９２０に進む。Ｓ１９２０において、制御部１８６１が、再生される静止画について、ユーザーから縮小表示の指示を受けているかを判定する。縮小表示があればＳ１９２４に進み、縮小表示がなければＳ６２０に進む。   In step S602, the control unit 1861 determines whether an enlarged display instruction has been received from the user for the still image to be played back. If there is an enlarged display, the process proceeds to S603, and if there is no enlarged display, the process proceeds to S1920. In step S1920, the control unit 1861 determines whether a reduction display instruction has been received from the user for the still image to be played back. If there is a reduced display, the process proceeds to S1924, and if there is no reduced display, the process proceeds to S620.

表示例７２０のように拡大表示する場合、図１９のフローはＳ６０２からＳ６０３へ遷移する。表示例７００のように縮小表示する場合は、Ｓ６０２からＳ１９２０、Ｓ１９２４と遷移する。表示例７１０のような場合は、表示部１２３の表示画素数が簡易現像による静止画ファイルの画素数（上述の例ならば２００万画素以下）、であれば等倍もしくは縮小での表示であるため、Ｓ６０２からＳ１９２０へ遷移する。   When the enlarged display is performed as in the display example 720, the flow in FIG. 19 transitions from S602 to S603. When the reduced display is performed as in the display example 700, the process proceeds from S602 to S1920 and S1924. In the case of the display example 710, if the number of display pixels of the display unit 123 is the number of pixels of the still image file by simple development (2 million pixels or less in the above example), the display is the same size or reduced. Therefore, the process proceeds from S602 to S1920.

Ｓ１９２０において、再生対象の静止画ファイルを縮小表示しない場合、Ｓ６２０へ進み、記録再生部１８５１が、外部ストレージやサーバの記録媒体等から再生対象の静止画ファイルを読み出す。そして、Ｓ６２１において、静止画伸張部１４３が、静止画ファイルを復号して伸張し、Ｓ６２２において、表示処理部１２２が図７の各図に示すような形態で表示画像を表示部１２３へ出力する（Ｓ６２２）。   If the still image file to be played back is not reduced in S1920, the process advances to S620, and the recording / playback unit 1851 reads the still image file to be played back from the external storage or the recording medium of the server. In step S621, the still image expansion unit 143 decodes and expands the still image file. In step S622, the display processing unit 122 outputs the display image to the display unit 123 in the form illustrated in each drawing of FIG. (S622).

図２０に、本実施形態に係わる撮像装置おける拡大表示処理動作のフローチャートを示す。同図において、第１の実施形態（図１２）又は第２の実施形態（図１６）と同様の部分は同じ符号を付して示す。Ｓ２００１で、高画質現像されたものである場合は、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、Ｓ２００２に進む。Ｓ２００２では、該当する高画質の静止画ファイルを外部ストレージやサーバの記録媒体等から読み出し、ネットワーク上の画像処理機能に対し拡大処理指示を行う。記録再生部１８５１が拡大処理後の画像ファイルを読み出し、Ｓ２００３にて再生表示する。拡大表示が終了するまで、Ｓ２００２−Ｓ２００４を繰り返す。   FIG. 20 shows a flowchart of the enlarged display processing operation in the imaging apparatus according to the present embodiment. In the figure, the same reference numerals are given to the same parts as those in the first embodiment (FIG. 12) or the second embodiment (FIG. 16). If the image is developed with high image quality in S2001, it means that it is a high-quality still image file that can be displayed with sufficient image quality even if it is enlarged, and therefore the flow proceeds to S2002. In S2002, the corresponding high-quality still image file is read from the external storage or the recording medium of the server, and an enlargement processing instruction is issued to the image processing function on the network. The recording / playback unit 1851 reads the enlarged image file, and plays back and displays it in S2003. S2002 to S2004 are repeated until the enlarged display is completed.

Ｓ１２０１で、高画質現像されたものでない場合は、簡易現像部１５１０で現像処理された静止画ファイルであることを意味するのでＳ１２０４に進む。ユーザーから指示された拡大率Ｍが所定の拡大率以下の場合、簡易現像部１５１０で現像処理された静止画ファイルでも十分な画質で表示することができる。所定の拡大率として、あらかじめ、高画質現像を開始する高画質現像開始拡大率α、簡易現像部１８１０で現像処理された静止画ファイルの表示限界拡大率βを設定しておく。Ｓ１２０４で拡大率Ｍがあらかじめ設定した高画質現像開始拡大率αを超えていなければ、Ｓ２００６に進み、該当する高画質の静止画ファイルを外部ストレージやサーバの記録媒体等から読み出し、ネットワーク上の画像処理機能に対し拡大処理指示を行う。記録再生部１８５１が拡大処理後の画像ファイルを読み出し、Ｓ２００７にて再生表示する。   If the image is not developed with high image quality in S1201, it means that the file is a still image file developed by the simple development unit 1510, and the process advances to S1204. When the enlargement factor M instructed by the user is equal to or less than the predetermined enlargement factor, even a still image file developed by the simple development unit 1510 can be displayed with sufficient image quality. As the predetermined enlargement ratio, a high-quality development start enlargement ratio α for starting high-quality development and a display limit enlargement ratio β for a still image file developed by the simple development unit 1810 are set in advance. If the enlargement ratio M does not exceed the preset high-quality development start enlargement ratio α in S1204, the process proceeds to S2006, and the corresponding high-quality still image file is read from the external storage, the recording medium of the server, etc. An enlargement processing instruction is issued to the processing function. The recording / playback unit 1851 reads the enlarged image file, and plays back and displays it in S2007.

Ｓ１２０４で拡大率Ｍが高画質現像開始拡大率αを超えていた場合、Ｓ１６０７に進み、ネットワーク上の高画質現像機能に高画質現像を指示する。この場合、対応するＲＡＷファイル全体を現像するのではなく、拡大表示するエリアのみを切り出して現像することにより、処理負荷の軽減となる。また、高画質現像を行う場合の現像パラメータは、簡易現像部１５１０にて行った簡易現像処理時のものと同じものを使用する。   If the enlargement ratio M exceeds the high image quality development start enlargement ratio α in S1204, the process advances to S1607 to instruct the high image quality development function on the network to perform high image quality development. In this case, instead of developing the entire corresponding RAW file, only the area to be enlarged is cut out and developed, thereby reducing the processing load. In addition, the same development parameters as those used in the simple development process performed in the simple development unit 1510 are used as the development parameters when performing high-quality development.

その後Ｓ１２１４へ進み、拡大率Ｍがあらかじめ設定した表示限界拡大率βを越えているかどうかを判定する。Ｓ１２１４で拡大率Ｍが表示限界拡大率βを超えていなければ、Ｓ２０１１に進み、記録再生部１８５１が該当する静止画ファイルを外部ストレージやサーバ等の記録媒体から読み出して、ネットワーク上の画像処理機能に対し拡大処理指示を行う。記録再生部１８５１が拡大処理後の画像ファイルを読み出し、Ｓ２０１２にて再生表示する。   Thereafter, the process proceeds to S1214, and it is determined whether or not the enlargement ratio M exceeds a preset display limit enlargement ratio β. If the enlargement ratio M does not exceed the display limit enlargement ratio β in S1214, the process proceeds to S2011, and the recording / playback unit 1851 reads the corresponding still image file from a recording medium such as an external storage or a server, and performs an image processing function on the network. Is instructed to enlarge processing. The recording / playback unit 1851 reads the enlarged image file, and plays back and displays it in S2012.

Ｓ１２１４で、拡大率Ｍが表示限界拡大率βを超えた場合Ｓ１２１７に進む。ここで、Ｓ１６０７にて開始した高画質現像処理が終了していなかった場合、Ｓ２０１５にて、現像開始指示部１５５３がネットワーク上の画像処理機能に対して視覚効果画像処理を指示する。記録再生部１８５１が処理された視覚効果画像ファイルを読み出し、Ｓ２０１６にて表示する。   If the enlargement factor M exceeds the display limit enlargement factor β in S1214, the process proceeds to S1217. If the high image quality development process started in S1607 has not ended, the development start instruction unit 1553 instructs the image processing function on the network to perform visual effect image processing in S2015. The visual effect image file processed by the recording / playback unit 1851 is read and displayed in S2016.

Ｓ１２１７にて開始した高画質現像処理が終了した場合、Ｓ２０１８にてＲＡＷ現像画像を用いた拡大処理を、ネットワーク上の画像処理機能に対し指示を行う。Ｓ２０１９にて、Ｓ２０１８で指示を行った拡大画像をネットワーク上から取得し表示可能な状態でなかった場合、Ｓ２０２０にてネットワーク上の画像処理機能に対して視覚効果画像処理を指示する。記録再生部１８５１が処理された視覚効果画像ファイルを読み出し、Ｓ２０２１にて表示する。Ｓ２０１９にて拡大画像をネットワーク上から取得し表示可能な状態になった場合、Ｓ１２２０で高画質現像画像の拡大画像を再生表示する。   When the high image quality development process started in S1217 is completed, an enlargement process using the RAW developed image is instructed to the image processing function on the network in S2018. If the enlarged image instructed in S2018 is acquired from the network in S2019 and is not in a displayable state, the visual effect image processing is instructed to the image processing function on the network in S2020. The visual effect image file processed by the recording / playback unit 1851 is read and displayed in S2021. When the enlarged image is acquired from the network in S2019 and can be displayed, the enlarged image of the high-quality developed image is reproduced and displayed in S1220.

Ｓ１２０３、Ｓ１２０６、Ｓ１２１６、Ｓ１２１９、Ｓ２０２２、Ｓ１２２１にて拡大表示が終了するまで、各々処理を繰り返す。   Each of the processes is repeated until the enlarged display ends in S1203, S1206, S1216, S1219, S2022, and S1221.

上述した本実施形態によっても、画像処理装置が、画像再生時の拡大表示において、ＲＡＷ画像の高画質現像を必要とした場合でも、ユーザーのストレス低減の効果を得ることができる画像処理を提供することが可能となる。（第３の実施形態の変形例）   Also according to the present embodiment described above, the image processing apparatus can provide the image processing that can obtain the effect of reducing the stress of the user even when the RAW image requires high image quality development in the enlarged display at the time of image reproduction. It becomes possible. (Modification of the third embodiment)

実施形態３では、画像拡大時のＲＡＷ現像開始指示タイミング（ＲＡＷ現像開始指示）、ユーザー指示の拡大率Ｍが予め設定された拡大率（α）に到達した場合とした。ここでは、拡大操作が開始されたタイミングを、現像開始指示タイミングとする例を、第３の実施形態の変形例として説明する。本変形例は、拡大表示処理動作のフローチャートが第３の実施形態と異なるだけで、それ以外の撮像装置、動作モード、視覚効果画像等の他の構成は同様であるのでここでの説明は省略する。   In the third embodiment, the RAW development start instruction timing (RAW development start instruction) at the time of image enlargement and the user-specified enlargement ratio M have reached a preset enlargement ratio (α). Here, an example in which the timing at which the enlargement operation is started is used as the development start instruction timing will be described as a modification of the third embodiment. This modification is different from the third embodiment only in the flowchart of the enlarged display processing operation, and other configurations such as the imaging device, the operation mode, and the visual effect image are the same. To do.

図２１に、本実施形態に係わる拡大表示処理動作のフローチャートを示す。同図において、第３の実施形態（図２０）と同様の部分は同じ符号を付して示す。第３の実施形態の拡大表示処理動作（図２０）と異なるのは、Ｓ２００６、Ｓ２００７、Ｓ１２０６がないことである。従って、拡大表示処理動作が開始され、高画質現像済みの静止画ファイルがないと判断されて時点で（Ｓ１２０１でＮＯ）、ＲＡＷファイルの取得の指示を出して高解像現像処理を開始させる（Ｓ１６０７）。   FIG. 21 shows a flowchart of the enlarged display processing operation according to this embodiment. In the figure, the same parts as those in the third embodiment (FIG. 20) are denoted by the same reference numerals. The difference from the enlarged display processing operation (FIG. 20) of the third embodiment is that there is no S2006, S2007, or S1206. Accordingly, when the enlarged display processing operation is started and it is determined that there is no high-quality developed still image file (NO in S1201), a RAW file acquisition instruction is issued to start the high-resolution development processing ( S1607).

タッチパネルなどの操作部１６２によってユーザーから拡大指示がなされると、Ｓ１２０１において、制御部１８６１が、再生対象となって表示されるべき画像の静止画ファイルが、ネットワーク上の高画質現像機能で現像されたものであるかどうかを判定する。判定方法は、第３の実施形態と同様であり、また、操作部１６２による拡大操作方法についても同様である。Ｓ１２０１で、高画質現像されたものである場合は、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、Ｓ２００２に進む。そこでは、記録再生部１８５１が該当する高画質の静止画ファイルを外部ストレージやサーバの記録媒体等から読み出し、ネットワーク上の画像処理機能に対し拡大処理指示を行う。記録再生部１８５１が拡大処理後の画像ファイルを読み出し、Ｓ２００３にて再生表示する。拡大表示が終了するまで、Ｓ２００２−Ｓ１２０３を繰り返す。   When an enlargement instruction is given by the user through the operation unit 162 such as a touch panel, in step S1201, the control unit 1861 develops a still image file of an image to be displayed as a reproduction target with a high-quality image development function on the network. To determine whether or not The determination method is the same as that in the third embodiment, and the same applies to the enlargement operation method by the operation unit 162. If the image is developed with high image quality in S1201, it means that the image is a high-quality still image file that can be displayed with sufficient image quality even if it is enlarged, and therefore the flow proceeds to S2002. In this case, the recording / playback unit 1851 reads the corresponding high-quality still image file from the external storage, the recording medium of the server, or the like, and issues an enlargement processing instruction to the image processing function on the network. The recording / playback unit 1851 reads the enlarged image file, and plays back and displays it in S2003. S2002 to S1203 are repeated until the enlarged display is completed.

Ｓ１２０１で、高画質現像されたものでない場合は、簡易現像部１５１０で現像処理された静止画ファイルであることを意味しＳ１６０７に進み、ネットワーク上の高画質現像機能にて高画質現像を実行する。この場合、対応するＲＡＷファイル全体を現像するのではなく、拡大表示するエリアのみを切り出して現像することにより、処理負荷の軽減となる。また、高画質現像を行う場合の現像パラメータは、簡易現像部１５１０にて行った簡易現像処理時のものと同じものを使用する。   If the image is not developed with high image quality in S1201, it means that the file is a still image file developed by the simple development unit 1510, and the process proceeds to S1607, where high image quality development is executed by the high image quality development function on the network. . In this case, instead of developing the entire corresponding RAW file, only the area to be enlarged is cut out and developed, thereby reducing the processing load. In addition, the same development parameters as those used in the simple development process performed in the simple development unit 1510 are used as the development parameters when performing high-quality development.

ユーザーから指示された拡大率Ｍが所定の拡大率以下の場合、簡易現像部１５１０で現像処理された静止画ファイルでも十分な画質で表示することができる。所定の拡大率として、あらかじめ、簡易現像部１５１０で現像処理された静止画ファイルの表示限界拡大率βを設定しておく。Ｓ１２１４へ進み、拡大率Ｍがあらかじめ設定した表示限界拡大率βを超えているかどうかを判定し、超えていなければ、Ｓ２０１１に進む。Ｓ２０１１では、記録再生部１８５１が該当する静止画ファイルを外部ストレージやサーバ等の記録媒体から読み出して、ネットワーク上の画像処理機能に対し拡大処理指示を行う。記録再生部１８５１が拡大処理後の画像ファイルを読み出し、Ｓ２０１２にて再生表示する。   When the enlargement factor M instructed by the user is equal to or less than the predetermined enlargement factor, even a still image file developed by the simple development unit 1510 can be displayed with sufficient image quality. As the predetermined enlargement ratio, the display limit enlargement ratio β of the still image file developed by the simple developing unit 1510 is set in advance. Proceeding to S1214, it is determined whether or not the enlargement ratio M exceeds a preset display limit enlargement ratio β. If not, the process proceeds to S2011. In step S2011, the recording / playback unit 1851 reads the corresponding still image file from a recording medium such as an external storage or a server, and issues an enlargement processing instruction to the image processing function on the network. The recording / playback unit 1851 reads the enlarged image file, and plays back and displays it in S2012.

Ｓ１２１４で、拡大率Ｍが表示限界拡大率βを超えた場合Ｓ１２１７に進む。ここで、Ｓ１６０７にて開始した高画質現像処理が終了していなかった場合、Ｓ２０１５にてネットワーク上の画像処理機能に対して視覚効果画像処理を指示する。記録再生部１８５１が処理された視覚効果画像ファイルを読み出し、Ｓ２０１６にて表示する。   If the enlargement factor M exceeds the display limit enlargement factor β in S1214, the process proceeds to S1217. If the high image quality development process started in S1607 has not ended, visual effect image processing is instructed to the image processing function on the network in S2015. The visual effect image file processed by the recording / playback unit 1851 is read and displayed in S2016.

Ｓ１６０７にて開始した高画質現像処理が終了した場合、Ｓ２０１８にて、画像処理指示部１８５２が、ＲＡＷ現像画像を用いた拡大処理をネットワーク上の画像処理機能に対し指示する。Ｓ２０１９にて、Ｓ２０１８で指示を行った拡大画像をネットワーク上から取得し表示可能な状態でなかった場合、Ｓ２０２０にて、現像開始指示部１５５３が、ネットワーク上の画像処理機能に対して視覚効果画像処理を指示する。記録再生部１８５１が処理された視覚効果画像ファイルを読み出し、Ｓ２０２１にて表示する。Ｓ２０１９にて拡大画像をネットワーク上から取得し表示可能な状態になった場合、Ｓ１２２０で高画質現像画像の拡大画像を再生表示する。   When the high image quality development processing started in S1607 is completed, in S2018, the image processing instruction unit 1852 instructs the image processing function on the network to perform enlargement processing using the RAW developed image. In S2019, when the enlarged image instructed in S2018 is not acquired and displayed from the network, in S2020, the development start instructing unit 1553 applies the visual effect image to the image processing function on the network. Instruct processing. The visual effect image file processed by the recording / playback unit 1851 is read and displayed in S2021. When the enlarged image is acquired from the network in S2019 and can be displayed, the enlarged image of the high-quality developed image is reproduced and displayed in S1220.

Ｓ１２０３、Ｓ１２１６、Ｓ１２１９、Ｓ２０２２、Ｓ１２２１にて拡大表示が終了するまで、各々処理を繰り返す。   Each of the processes is repeated until the enlarged display ends in S1203, S1216, S1219, S2022, and S1221.

視覚効果画像の表示例については、第３の実施形態と同じものとし、ここでの説明は省略する。   The display example of the visual effect image is the same as that in the third embodiment, and the description thereof is omitted here.

（実施形態４）
図２２は、本実施形態に係る撮像装置の構成例を示すブロック図である。なお、同図において、第１の実施形態（図１）と同様の部分は、同じ符号を付して示す。図２２に示した撮像装置２２００は、被写体を撮像して得られた画像情報を記録媒体に記録したり、画像情報を記録媒体から再生したり、現像処理して表示する機能を有する。これらに着目すると、本実施形態に係る撮像装置も、画像処理装置、記録装置、再生装置、記録再生装置等と表現することができる。 (Embodiment 4)
FIG. 22 is a block diagram illustrating a configuration example of the imaging apparatus according to the present embodiment. In the figure, the same parts as those in the first embodiment (FIG. 1) are denoted by the same reference numerals. An imaging device 2200 shown in FIG. 22 has a function of recording image information obtained by imaging a subject on a recording medium, reproducing the image information from the recording medium, and performing development processing to display the image information. Focusing on these, the imaging apparatus according to the present embodiment can also be expressed as an image processing apparatus, a recording apparatus, a reproducing apparatus, a recording / reproducing apparatus, and the like.

図２２に示した撮像装置２２００は、通信部１５２や通信端子１５４に替えて、記録媒体１５５を備えている。すなわち、本実施形態の撮像装置２２００は、外部の装置やサーバに画像情報を転送記録するのではなく、撮像装置内のストレージ（記録媒体１５５）で画像情報を記録する構成を有する。なお、その他の構成は上述した第１の実施形態と同様のため、説明は省略する。   An imaging device 2200 illustrated in FIG. 22 includes a recording medium 155 instead of the communication unit 152 and the communication terminal 154. That is, the imaging apparatus 2200 of this embodiment has a configuration in which image information is recorded in a storage (recording medium 155) in the imaging apparatus, instead of transferring and recording image information to an external apparatus or server. Since other configurations are the same as those of the first embodiment described above, description thereof is omitted.

撮影によって得られたＲＡＷファイルと、静止画ファイルや動画ファイルは、記録再生部１５１によって、記録媒体１５５に記録される。記録媒体１５５は、例えば内蔵式の大容量半導体メモリやハードディスク、又は、着脱式のメモリカード等である。記録再生部１５１は、記録媒体１５５から静止画ファイル、動画ファイル、ＲＡＷファイルを読み出すこともできる。   The RAW file obtained by shooting, the still image file, and the moving image file are recorded on the recording medium 155 by the recording / playback unit 151. The recording medium 155 is, for example, a built-in large-capacity semiconductor memory, a hard disk, or a removable memory card. The recording / playback unit 151 can also read a still image file, a moving image file, and a RAW file from the recording medium 155.

再生動作が開始されると、記録再生部１５１は、記録媒体１５５から所望のファイルを取得して再生する。記録媒体１５５からの画像の再生時、簡易現像部１１１によって現像された簡易現像画像に対し、タッチパネルなどの操作部１６２によって拡大指示がなされると、制御部１６１によって検出され、拡大率情報が現像開始指示部１５３に入力される。拡大率に応じて現像開始指示部１５３は対応するＲＡＷを高画質に現像するよう現像開始指示を高画質現像部１１２に対して行う。高画質現像部１１２にて現像している間、表示処理部１２２にて視覚効果の付加処理を行い、表示部１２３にて表示される。   When the reproduction operation is started, the recording / reproducing unit 151 acquires a desired file from the recording medium 155 and reproduces it. When an image is reproduced from the recording medium 155 and an enlargement instruction is given by the operation unit 162 such as a touch panel to the simple development image developed by the simple development unit 111, the control unit 161 detects the enlargement rate information and develops the enlargement ratio information. Input to the start instruction unit 153. Depending on the enlargement ratio, the development start instructing unit 153 issues a development start instruction to the high image quality developing unit 112 so as to develop the corresponding RAW with high image quality. While the image is developed by the high image quality developing unit 112, the display processing unit 122 performs visual effect addition processing and is displayed on the display unit 123.

図２３に本実施形態に係わる撮像装置における拡大表示処理動作のフローチャートを示す。同図において、第１の実施形態と同様の部分は同じ符号を付して示す。   FIG. 23 shows a flowchart of the enlarged display processing operation in the imaging apparatus according to the present embodiment. In the figure, the same parts as those in the first embodiment are denoted by the same reference numerals.

タッチパネルなどの操作部１６２によってユーザーから拡大指示がなされると、Ｓ１２０１において、制御部１６１が、再生対象となって表示されるべき画像の静止画ファイルが、高画質現像部１１２で現像されたものであるかどうかを判定する。判定方法は、第１の実施形態と同様であり、また、操作部１６２による拡大操作方法についても同様である。   When an enlargement instruction is given by the user through the operation unit 162 such as a touch panel, the control unit 161 develops a still image file of an image to be displayed as a reproduction target in the high-quality image development unit 112 in S1201. It is determined whether or not. The determination method is the same as that of the first embodiment, and the same applies to the enlargement operation method by the operation unit 162.

Ｓ１２０１で、高画質現像されたものである場合は、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、Ｓ１２０２に進む。そこでは、記録再生部１５１が該当する高画質の静止画ファイルを記録媒体１５５等から読み出し、拡大処理を行い再生表示する。拡大表示が終了するまで、Ｓ１２０２−Ｓ１２０３を繰り返す。   If the image has been developed with high image quality in S1201, it means that the image is a high-quality still image file that can be displayed with sufficient image quality even if it is enlarged, and thus the flow proceeds to S1202. In this case, the recording / playback unit 151 reads out the corresponding high-quality still image file from the recording medium 155 and the like, performs enlargement processing, and plays back and displays it. S1202 to S1203 are repeated until the enlarged display is completed.

Ｓ１２０１で、高画質現像されたものでない場合は、簡易現像部１１１で現像処理された静止画ファイルであることを意味するのでＳ１２０４に進む。ユーザーから指示された拡大率Ｍが所定の拡大率以下の場合、簡易現像部１１１で現像処理された静止画ファイルでも十分な画質で表示することができる。所定の拡大率として、予め、高画質現像を開始する高画質現像開始拡大率α、簡易現像部１１１で現像処理された静止画ファイルの表示限界拡大率βを設定しておく。Ｓ１２０４で拡大率Ｍがあらかじめ設定した高画質現像開始拡大率αを超えていなければ、Ｓ１２０５に進み、記録再生部１５１が該当する静止画ファイルを記録媒体から読み出して、拡大処理を行い再生表示する。   If it is determined in S1201 that the image has not been developed with high image quality, it means that the file is a still image file developed by the simple development unit 111, and the process advances to S1204. When the enlargement factor M instructed by the user is less than or equal to the predetermined enlargement factor, even a still image file developed by the simple development unit 111 can be displayed with sufficient image quality. As the predetermined enlargement ratio, a high-quality development start enlargement ratio α for starting high-quality development and a display limit enlargement ratio β for a still image file developed by the simple development unit 111 are set in advance. If the enlargement ratio M does not exceed the preset high image quality development start enlargement ratio α in S1204, the process proceeds to S1205, and the recording / playback unit 151 reads the corresponding still image file from the recording medium, performs the enlargement process, and reproduces and displays it. .

Ｓ１２０４で拡大率Ｍが高画質現像開始拡大率αを超えていた場合、Ｓ１２０７に進み、高画質現像部１１２にて高画質現像の実行を開始する。この場合、対応するＲＡＷファイル全体を現像するのではなく、拡大表示するエリアのみを切り出して現像することにより、処理負荷の軽減となる。また、高画質現像を行う場合、対応する簡易現像画像が簡易現像部１１１にて簡易現像処理された時と同じ現像パラメータを用いて現像処理を行う。   If the enlargement ratio M exceeds the high image quality development start enlargement ratio α in S1204, the process proceeds to S1207, and the high image quality development unit 112 starts executing high image quality development. In this case, instead of developing the entire corresponding RAW file, only the area to be enlarged is cut out and developed, thereby reducing the processing load. Further, when performing high-quality development, development processing is performed using the same development parameters as when the corresponding simple development image was subjected to simple development processing by the simple development unit 111.

その後Ｓ１２１４へ進み、拡大率Ｍが表示限界拡大率βを超えているかどうかを判定し、超えていなければＳ１２１５に進み、記録再生部１５１が該当する静止画ファイルを記録媒体から読み出して、拡大処理を行い再生表示する。   Thereafter, the process proceeds to S1214, where it is determined whether or not the enlargement ratio M exceeds the display limit enlargement ratio β. If not, the process proceeds to S1215, and the recording / playback unit 151 reads the corresponding still image file from the recording medium and performs an enlargement process. To play back and display.

Ｓ１２１４で、拡大率Ｍが表示限界拡大率βを越えている場合は、Ｓ１２１７に進む。ここで、Ｓ１２１７にて開始した高画質現像処理が終了しているかどうかを判定し、終了していなかった場合、Ｓ１２１８にて視覚効果画像を表示する。Ｓ１２１７で高画質現像処理が終了していた場合、Ｓ１２２０で高画質現像画像を用いて拡大表示を行い再生表示する。   If the enlargement ratio M exceeds the display limit enlargement ratio β in S1214, the process proceeds to S1217. Here, it is determined whether or not the high image quality development process started in S1217 has ended. If not, the visual effect image is displayed in S1218. If the high image quality development processing has been completed in S1217, an enlarged display is performed using the high image quality developed image in S1220, and reproduction display is performed.

Ｓ１２０３、Ｓ１２０６、Ｓ１２１６、Ｓ１２２１にて拡大表示が終了するまで、各々処理を繰り返す。   Each process is repeated until the enlarged display ends in S1203, S1206, S1216, and S1221.

視覚効果画像の表示例については、上述の各実施形態と同じものとし、ここでの説明は省略する。   The display example of the visual effect image is the same as that in each of the above-described embodiments, and description thereof is omitted here.

なお、本実施形態は、記録再生部１５１の構成を、第１の実施形態における通信部１５２と本実施形態の記録媒体１５５に対して選択的に接続する構成とし、記録先及び再生元を選択する構成としてもよい。この場合、第２および第３の実施形態で示した外部への高画質現像処理を付託し、現像処理部を簡易現像部１１１だけにすることも可能である。   In the present embodiment, the configuration of the recording / playback unit 151 is configured to selectively connect the communication unit 152 in the first embodiment and the recording medium 155 of the present embodiment, and a recording destination and a playback source are selected. It is good also as composition to do. In this case, it is possible to entrust the high-quality development processing to the outside shown in the second and third embodiments, and to make the development processing unit only the simple development unit 111.

上述した本実施形態によっても、画像処理装置が、画像再生時の拡大表示において、ＲＡＷ画像の高画質現像を必要とした場合でも、ユーザーのストレス低減の効果を得ることができる画像処理を提供することが可能となる。   Also according to the present embodiment described above, the image processing apparatus can provide the image processing that can obtain the effect of reducing the stress of the user even when the RAW image requires high image quality development in the enlarged display at the time of image reproduction. It becomes possible.

（第４の実施形態の変形例）
上述の第４の実施形態では、画像拡大時のＲＡＷ現像開始指示タイミングは（ＲＡＷ現像開始指示）、予め設定された拡大率（α）に到達した場合とした。本実施形態では、拡大操作が開始されたタイミングを、現像開始指示タイミングとする例を、第４の実施形態の変形例として説明する。本変形例は、拡大表示処理動作のフローチャートが第４の実施形態と異なるだけで、それ以外の撮像装置、動作モード、視覚効果画像等の他の構成は同様であるのでここでの説明は省略する。 (Modification of the fourth embodiment)
In the fourth embodiment described above, the RAW development start instruction timing at the time of image enlargement (RAW development start instruction) is set to a case where a preset enlargement ratio (α) is reached. In the present embodiment, an example in which the timing at which the enlargement operation is started is used as the development start instruction timing will be described as a modification of the fourth embodiment. This modified example is different from the fourth embodiment only in the flowchart of the enlarged display processing operation, and other configurations such as the imaging device, the operation mode, and the visual effect image are the same, and thus the description thereof is omitted here. To do.

図２４に、本変形例に係わる拡大表示処理動作のフローチャートを示す。同図において、第１の実施形態（図１２）と同様の部分は同じ符号を付して示す。本変形例の拡大表示処理動作において、第１の実施形態の拡大表示処理動作（図１２）と異なるのは、Ｓ１２０４〜Ｓ１２０６がないことである。従って、拡大表示処理動作が開始され、高画質現像済みの静止画ファイルがないと判断されて時点で（Ｓ１２０１でＮＯ）、ＲＡＷファイルの取得の指示を出して高解像現像処理を開始させる（Ｓ１２０７）。   FIG. 24 shows a flowchart of the enlarged display processing operation according to this modification. In the figure, the same parts as those in the first embodiment (FIG. 12) are denoted by the same reference numerals. The enlarged display processing operation of this modification differs from the enlarged display processing operation (FIG. 12) of the first embodiment in that there are no S1204 to S1206. Accordingly, when the enlarged display processing operation is started and it is determined that there is no high-quality developed still image file (NO in S1201), a RAW file acquisition instruction is issued to start the high-resolution development processing ( S1207).

タッチパネルなどの操作部１６２によってユーザーから拡大指示がなされると、Ｓ１２０１において、制御部１６１が、再生対象となって表示されるべき画像の静止画ファイルが、高画質現像部１１２で現像されたものであるかどうかを判定する。判定方法は、第１の実施形態と同様であり、また、操作部１６２による拡大操作方法についても同様である。   When an enlargement instruction is given by the user through the operation unit 162 such as a touch panel, the control unit 161 develops a still image file of an image to be displayed as a reproduction target in the high-quality image development unit 112 in S1201. It is determined whether or not. The determination method is the same as that of the first embodiment, and the same applies to the enlargement operation method by the operation unit 162.

Ｓ１２０１で、高画質現像されたものである場合は、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、Ｓ１２０２に進む。そこでは、記録再生部１５１が該当する高画質の静止画ファイルを記録媒体１５５等から読み出し、拡大処理を行い再生表示する。拡大表示が終了するまで、Ｓ１２０２−Ｓ１２０３を繰り返す。   If the image has been developed with high image quality in S1201, it means that the image is a high-quality still image file that can be displayed with sufficient image quality even if it is enlarged, and thus the flow proceeds to S1202. In this case, the recording / playback unit 151 reads out the corresponding high-quality still image file from the recording medium 155 and the like, performs enlargement processing, and plays back and displays it. S1202 to S1203 are repeated until the enlarged display is completed.

Ｓ１２０１で、高画質現像されたものでない場合は、簡易現像部１１１で現像処理された静止画ファイルであることを意味するのでＳ１２０７に進み、高画質現像部１１２にて高画質現像を実行させる。この場合、対応するＲＡＷファイル全体を現像するのではなく、拡大表示するエリアのみを切り出して現像することにより、処理負荷の軽減となる。また、高画質現像を行う場合、対応する簡易現像画像が簡易現像部１１１にて簡易現像処理された時と同じ現像パラメータを用いて現像処理を行う。   If it is determined in S1201 that the image has not been developed with high image quality, this means that the file is a still image file developed by the simple developing unit 111, so that the process proceeds to S1207 and the high image quality developing unit 112 executes high image quality development. In this case, instead of developing the entire corresponding RAW file, only the area to be enlarged is cut out and developed, thereby reducing the processing load. Further, when performing high-quality development, development processing is performed using the same development parameters as when the corresponding simple development image was subjected to simple development processing by the simple development unit 111.

ユーザーから指示された拡大率Ｍが所定の表示限界拡大率（β）以下の場合、簡易現像部１１１で現像処理された静止画ファイルでも十分な画質で表示することができる。あらかじめ、簡易現像部１１１で現像処理された静止画ファイルの表示限界拡大率βを設定しておく。Ｓ１２１４で、拡大率Ｍがあらかじめ設定した表示限界拡大率βを超えているかどうかを判定し、越えていなければ、Ｓ１２１５に進み、記録再生部１５１が該当する静止画ファイルを記録媒体から読み出して、拡大処理を行い再生表示する。   When the enlargement factor M instructed by the user is equal to or less than a predetermined display limit enlargement factor (β), even a still image file developed by the simple development unit 111 can be displayed with sufficient image quality. The display limit enlargement ratio β of the still image file developed by the simple development unit 111 is set in advance. In S1214, it is determined whether or not the enlargement ratio M exceeds the preset display limit enlargement ratio β. If not, the process proceeds to S1215, and the recording / playback unit 151 reads the corresponding still image file from the recording medium, Performs enlargement and playback display.

Ｓ１２１４で、拡大率Ｍが表示限界拡大率βを超えていた場合は、Ｓ１２１７に進む。ここで、Ｓ１２０７にて開始した高画質現像処理が終了していなかった場合、Ｓ１２１８にて視覚効果画像を表示する。Ｓ１２１８で高画質現像処理が終了していた場合、Ｓ１２２０で高画質現像画像を用いて拡大表示を行い再生表示する。   If the enlargement factor M exceeds the display limit enlargement factor β in S1214, the process proceeds to S1217. If the high image quality development process started in S1207 has not been completed, a visual effect image is displayed in S1218. If the high image quality development processing has been completed in S1218, an enlarged display is performed using the high image quality developed image in S1220, and reproduction display is performed.

Ｓ１２０３、Ｓ１２１６、Ｓ１２２１にて拡大表示が終了するまで、各々処理を繰り返す。   Each of the processes is repeated until the enlarged display ends in S1203, S1216, and S1221.

視覚効果画像の表示例については、上述の第４の実施形態と同じものとし、ここでの説明は省略する。   The display example of the visual effect image is the same as that of the above-described fourth embodiment, and description thereof is omitted here.

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 (Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Claims (20)

ＲＡＷ画像情報に第１の処理を行うことにより生成された第１の画像を取得する第１の取得手段と、
前記ＲＡＷ画像情報に第２の処理を行うことにより生成された第２の画像を取得する第２の取得手段と、
前記第１の画像又は前記第２の画像を表示する表示手段と、
前記表示手段に表示された前記第１の画像に対して拡大表示を指示する指示手段と、
前記指示手段により指示された拡大表示の拡大率に応じて、前記拡大率が所定の拡大率より大きくなったときに前記第１の画像から前記第２の画像へと切り替えて拡大表示を行うよう前記表示手段を制御する表示制御手段と、を有し、
前記第２の処理は、前記拡大表示が指示されて前記拡大率が前記所定の拡大率より大きくなるより前にあらかじめ開始されることを特徴とする画像処理装置。 First acquisition means for acquiring a first image generated by performing first processing on RAW image information;
Second acquisition means for acquiring a second image generated by performing a second process on the RAW image information;
Display means for displaying the first image or the second image;
Instruction means for instructing enlarged display with respect to the first image displayed on the display means;
According to the enlargement ratio of the enlarged display instructed by the instruction means, the enlarged display is performed by switching from the first image to the second image when the enlargement ratio becomes larger than a predetermined enlargement ratio. Display control means for controlling the display means,
2. The image processing apparatus according to claim 1, wherein the second process is started in advance before the enlargement display is instructed and the enlargement ratio becomes larger than the predetermined enlargement ratio. 前記第２の処理は、前記表示制御手段が前記第１の画像から前記第２の画像へと表示を切り替える制御を行うか否かを判定する条件とは異なる条件に基づいて開始されることを特徴とする請求項１に記載の画像処理装置。   The second process is started based on a condition different from a condition for determining whether or not the display control means performs control to switch display from the first image to the second image. The image processing apparatus according to claim 1, wherein: 前記表示制御手段は、前記拡大率が第１の所定値より大きい場合には前記第１の画像から前記第２の画像へと切り替えて拡大表示を行い、前記第１の所定値以下の場合には前記第１の画像を拡大表示するよう前記表示手段を制御することを特徴とする請求項１又は２に記載の画像処理装置。   The display control means performs an enlarged display by switching from the first image to the second image when the enlargement ratio is greater than a first predetermined value, and when the enlargement ratio is less than the first predetermined value. The image processing apparatus according to claim 1, wherein the display unit is controlled so as to display the first image in an enlarged manner. 前記表示制御手段は、前記拡大率が第１の所定値より大きい場合に前記第２の処理の実行状態を識別可能に表示するよう前記表示手段を制御することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。   The display control means controls the display means to display the execution state of the second process in an identifiable manner when the enlargement ratio is larger than a first predetermined value. The image processing apparatus according to any one of the above. 前記第２の処理は、前記指示手段により指示された拡大表示の前記拡大率に応じて取得された前記ＲＡＷ画像情報に対して行われることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。   The said 2nd process is performed with respect to the said RAW image information acquired according to the said enlarging rate of the enlarged display instruct | indicated by the said instruction | indication means. An image processing apparatus according to 1. 前記ＲＡＷ画像情報は、前記拡大率が、第１の所定値よりも小さい第２の所定値より大きい場合に、取得されることを特徴とする請求項５に記載の画像処理装置。   The image processing apparatus according to claim 5, wherein the RAW image information is acquired when the enlargement ratio is greater than a second predetermined value that is smaller than a first predetermined value. 前記第２の処理は、前記拡大率が、第１の所定値よりも小さい第２の所定値より大きい場合に開始されることを特徴とする請求項５又は６に記載の画像処理装置。   The image processing apparatus according to claim 5, wherein the second process is started when the enlargement ratio is larger than a second predetermined value that is smaller than a first predetermined value. 前記第２の処理は、前記指示手段が拡大表示を指示した時に開始されることを特徴とする請求項５に記載の画像処理装置。   6. The image processing apparatus according to claim 5, wherein the second process is started when the instruction unit instructs enlargement display. 前記表示制御手段は、前記第１の画像から前記第２の画像へと切り替える拡大表示において、前記第２の処理が終了していない場合には、前記第２の処理の実行状態を識別可能に表示し、前記第２の処理が終了している場合には、前記第２の画像を表示するよう前記表示手段を制御することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。   In the enlarged display for switching from the first image to the second image, the display control means can identify the execution state of the second process when the second process is not completed. 9. The display unit according to claim 1, wherein the display unit is controlled to display the second image when the second process is completed. Image processing device. 前記第２の処理の実行状態を識別可能に表示する処理は、所定の視覚効果を表示する処理を含むことを特徴とする請求項４又は９に記載の画像処理装置。   The image processing apparatus according to claim 4, wherein the process of displaying the execution state of the second process in an identifiable manner includes a process of displaying a predetermined visual effect. 前記視覚効果は、あらかじめ用意されている画像であることを特徴とする請求項１０に記載の画像処理装置。   The image processing apparatus according to claim 10, wherein the visual effect is an image prepared in advance. 前記第１の処理及び前記第２の処理は、前記ＲＡＷ画像情報の現像処理であり、前記第２の画像の画素数は、前記第１の画像の画素数よりも多いことを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理装置。   The first processing and the second processing are development processing of the RAW image information, and the number of pixels of the second image is larger than the number of pixels of the first image. Item 12. The image processing device according to any one of Items 1 to 11. 前記第２の処理は、画像処理装置の外部の処理手段において行われ、
前記第２の取得手段は、前記処理手段によって前記第２の処理が行われたＲＡＷ画像情報を取得することを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。 The second processing is performed in processing means outside the image processing apparatus,
The image processing apparatus according to claim 1, wherein the second acquisition unit acquires RAW image information on which the second process has been performed by the processing unit. 前記処理手段と通信を行う通信手段をさらに備え、
前記表示手段は、前記拡大表示において、前記処理手段に対し、前記第２の処理の実行を、前記通信手段を介して指示することを特徴とする請求項１３に記載の画像処理装置。 A communication means for communicating with the processing means;
The image processing apparatus according to claim 13, wherein the display unit instructs the processing unit to execute the second process in the enlarged display via the communication unit. 前記処理手段は、前記第１の処理のパラメータを前記第２の処理のパラメータとして用いることを特徴とする請求項１３又は１４に記載の画像処理装置。   The image processing apparatus according to claim 13, wherein the processing unit uses a parameter of the first process as a parameter of the second process. 前記指示手段はタッチパネルを含み、前記表示手段は、前記タッチパネルの操作を検出して前記拡大率の情報を取得することを特徴とする請求項１乃至１５のいずれか一項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the instruction unit includes a touch panel, and the display unit detects the operation of the touch panel and acquires the information on the enlargement ratio. . 前記第２の処理は、前記ＲＡＷ画像情報のうちの一部である拡大表示される領域に対して行われることを特徴とする請求項１乃至１６のいずれか一項に記載の画像処理装置。   The image processing apparatus according to any one of claims 1 to 16, wherein the second process is performed on an enlarged display area that is a part of the RAW image information. ＲＡＷ画像情報に第１の処理を行うことにより生成された第１の画像を取得する第１の取得ステップと、
前記ＲＡＷ画像情報に第２の処理を行うことにより生成された第２の画像を取得する第２の取得ステップと、
前記第１の画像又は前記第２の画像を表示手段に表示する表示ステップと、
前記表示手段に表示された前記第１の画像に対して拡大表示を指示する指示ステップと、
前記指示ステップにより指示された拡大表示の拡大率に応じて、前記拡大率が所定の拡大率より大きくなったときに前記第１の画像から前記第２の画像へと切り替えて拡大表示を行うよう前記表示手段を制御する表示制御ステップと、を有し、
前記第２の処理は、前記拡大表示が指示されて前記拡大率が所定の拡大率より大きくなるより前にあらかじめ開始されることを特徴とする画像処理方法。 A first acquisition step of acquiring a first image generated by performing a first process on RAW image information;
A second acquisition step of acquiring a second image generated by performing a second process on the RAW image information;
A display step of displaying the first image or the second image on a display means;
An instruction step for instructing enlarged display on the first image displayed on the display means;
According to the enlargement ratio of the enlarged display instructed in the instruction step, the enlarged display is performed by switching from the first image to the second image when the enlargement ratio becomes larger than a predetermined enlargement ratio. A display control step for controlling the display means,
2. The image processing method according to claim 1, wherein the second process is started in advance before the enlargement display is instructed and the enlargement ratio becomes larger than a predetermined enlargement ratio. コンピュータに、請求項１８に記載の画像処理方法の各ステップを実行させるためのプログラム。   A program for causing a computer to execute each step of the image processing method according to claim 18. 請求項１９に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。   A computer-readable recording medium on which the program of claim 19 is recorded.
JP2014078841A 2014-04-07 2014-04-07 Image processing apparatus, image processing method and program, and imaging apparatus Active JP6376813B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014078841A JP6376813B2 (en) 2014-04-07 2014-04-07 Image processing apparatus, image processing method and program, and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014078841A JP6376813B2 (en) 2014-04-07 2014-04-07 Image processing apparatus, image processing method and program, and imaging apparatus

Publications (3)

Publication Number Publication Date
JP2015201730A JP2015201730A (en) 2015-11-12
JP2015201730A5 JP2015201730A5 (en) 2017-06-01
JP6376813B2 true JP6376813B2 (en) 2018-08-22

Family

ID=54552669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014078841A Active JP6376813B2 (en) 2014-04-07 2014-04-07 Image processing apparatus, image processing method and program, and imaging apparatus

Country Status (1)

Country Link
JP (1) JP6376813B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4440120B2 (en) * 2004-02-06 2010-03-24 キヤノン株式会社 Image processing apparatus, control method therefor, computer program, and computer-readable storage medium
JP4845382B2 (en) * 2004-02-06 2011-12-28 キヤノン株式会社 Image processing apparatus, control method therefor, computer program, and computer-readable storage medium
JP4407454B2 (en) * 2004-09-30 2010-02-03 セイコーエプソン株式会社 Digital camera and image processing method
JP2007142551A (en) * 2005-11-15 2007-06-07 Nikon Corp Program and information processing apparatus

Also Published As

Publication number Publication date
JP2015201730A (en) 2015-11-12

Similar Documents

Publication Publication Date Title
JP6335563B2 (en) Imaging apparatus and control method thereof
JP6472253B2 (en) Image processing apparatus and control method thereof
JP6373056B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND IMAGE PROCESSING METHOD
EP3490250B1 (en) Image processing apparatus and image processing method
EP2974265B1 (en) Imaging apparatus and imaging apparatus control method
JP6406949B2 (en) Image processing apparatus and image processing method
JP5883052B2 (en) Image processing apparatus and control method thereof
JP6278712B2 (en) Imaging apparatus and control method thereof
JP6245819B2 (en) Image processing apparatus and image processing method
JP2016005103A (en) Imaging apparatus and control method therefor
WO2016038808A1 (en) Image processing apparatus and image processing method
JP6376813B2 (en) Image processing apparatus, image processing method and program, and imaging apparatus
JP6366268B2 (en) Imaging apparatus and control method thereof
JP6192319B2 (en) Image processing apparatus and image processing method
JP6245818B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP6452362B2 (en) Imaging apparatus and imaging method
JP6294725B2 (en) Image processing apparatus, imaging apparatus, image processing apparatus control method, and program
JP6327939B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2015119403A (en) Image recording apparatus, image recording method, program, and imaging apparatus
JP6282136B2 (en) Imaging apparatus and control method thereof
JP2014179851A (en) Imaging apparatus and control method of the same
JP6333008B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2016063252A (en) Image processing device and image processing method
JP2016063254A (en) Imaging apparatus an imaging method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170407

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170407

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180724

R151 Written notification of patent or utility model registration

Ref document number: 6376813

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151