JP5271161B2

JP5271161B2 - Image processing apparatus, image processing method, program, and storage medium

Info

Publication number: JP5271161B2
Application number: JP2009137718A
Authority: JP
Inventors: 拓矢小谷
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-06-08
Filing date: 2009-06-08
Publication date: 2013-08-21
Anticipated expiration: 2029-06-08
Also published as: JP2010283788A

Description

本発明は、画像処理技術に関し、特にデジタルカメラにより撮影して得られたデジタル画像データを表示する画像表示技術に関するものである。 The present invention relates to an image processing technique, and more particularly to an image display technique for displaying digital image data obtained by photographing with a digital camera.

近年、「非破壊処理」と呼ばれる処理系を持つ画像編集アプリケーションが増えてきている。このようなアプリケーションでは、画像データを直接加工しその結果を新しい画像データとして保存するのではなく、元画像と、元画像に対して指定する加工・補正処理及びそのパラメータとを関連付けて保存する。また、このようなアプリケーションでは、元画像の縮小画像を予め生成しておき、縮小画像を一覧表示することが行われている。 In recent years, an image editing application having a processing system called “non-destructive processing” is increasing. In such an application, the image data is not directly processed and the result is stored as new image data, but the original image, the processing / correction processing designated for the original image and its parameters are stored in association with each other. In such an application, a reduced image of the original image is generated in advance and a list of reduced images is displayed.

縮小画像を表示する際には、指定された処理を縮小画像に対して適用することにより生成した画像を表示すれば、保存されている画像を正しく表示できる。しかしながら、歪曲補正処理のような複雑な処理を指定している場合、表示速度が低下してしまう。特にサムネイル画像を一覧表示する場合には速度の低下が顕著となる。ＲＡＷ現像アプリケーション"Digital Photo Professional ver. 3.2"では、縮小画像に対して歪曲収差を含むレンズ収差補正処理を適用する代わりに、補正処理が指定されたことを示すマークを表示する。こうして、縮小画像の一覧表示速度の低下を回避している。また、特許文献１では、レンズの種類に応じて、レンズ補正処理の適用・非適用を切り替える技術について述べられている。 When displaying the reduced image, the stored image can be correctly displayed by displaying the image generated by applying the designated processing to the reduced image. However, when a complicated process such as a distortion correction process is designated, the display speed decreases. In particular, when thumbnail images are displayed as a list, the decrease in speed becomes significant. In the RAW development application “Digital Photo Professional ver. 3.2”, instead of applying the lens aberration correction process including distortion to the reduced image, a mark indicating that the correction process is designated is displayed. Thus, a reduction in the list display speed of reduced images is avoided. Japanese Patent Application Laid-Open No. 2004-228561 describes a technique for switching application / non-application of lens correction processing according to the type of lens.

特許第３４３４７１６号公報Japanese Patent No. 3434716

非破壊処理系の画像加工アプリケーションにおいてトリミング処理のような領域指定を行う場合、元画像の縮小画像上で、どの部分がトリミングされたのかを示すことが望ましい。しかしながら、元画像データに対して画像が大きく変形する処理、例えば歪曲補正、を行ってからトリミング領域を指定する場合、縮小画像に対しても歪曲補正処理を適用しないと、縮小画像上にトリミングされた領域を正しく示すことができない。例えば、"Digital Photo Professional ver. 3.2"の方法では、画像が大きく変形する処理を行った場合、縮小画像上にトリミング領域を正しく示すことができない。また、特許文献１の方法でも、トリミング領域の表示の正しさと表示速度とを両立することはできない。 When specifying an area such as a trimming process in a non-destructive image processing application, it is desirable to indicate which part of the original image has been trimmed. However, if the trimming area is specified after performing processing that greatly deforms the image with respect to the original image data, for example, distortion correction, if the distortion correction processing is not applied to the reduced image, the image is trimmed on the reduced image. Cannot show the correct area. For example, in the method of “Digital Photo Professional ver. 3.2”, when a process that greatly deforms an image is performed, the trimming area cannot be correctly shown on the reduced image. Further, even with the method of Patent Document 1, it is not possible to achieve both the correct display of the trimming area and the display speed.

本発明は、縮小画像の表示時に、高速な表示速度を維持しながら、必要な縮小画像に対しては画像処理を行うことで、画像情報を正しく表示する技術を提供する。 The present invention provides a technique for correctly displaying image information by performing image processing on a necessary reduced image while maintaining a high display speed when displaying a reduced image.

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
画像と、当該画像に対する編集内容を示す編集情報と、当該画像の縮小画像であるサムネイル画像と、を含む画像ファイルを記憶保持する記憶保持手段と、
前記編集情報が示す編集内容に画像変形指示が含まれているか否か、前記編集情報が示す編集内容に前記画像に対する範囲指定指示が含まれているか否か、を前記編集情報を参照することで判断する判断手段と、
前記編集情報が示す編集内容に画像変形指示及び前記画像に対する範囲指定指示が含まれていると前記判断手段が判断した場合には、前記サムネイル画像の複製に対して前記画像変形指示に基づく画像変形を行い、当該画像変形により得られた変形済み複製を表示対象として出力する第１の出力手段と、
前記編集情報が示す編集内容に画像変形指示が含まれており、前記画像に対する範囲指定指示は含まれていないと前記判断手段が判断した場合には、前記サムネイル画像を表示対象として出力する第２の出力手段とを備えることを特徴とする。 In order to achieve the object of the present invention, for example, an image processing apparatus of the present invention comprises the following arrangement. That is,
Storage holding means for storing and holding an image file including an image, editing information indicating editing contents for the image, and a thumbnail image which is a reduced image of the image;
By referring to the editing information, whether or not the editing content indicated by the editing information includes an image transformation instruction, and whether or not the editing content indicated by the editing information includes a range designation instruction for the image. A judging means for judging;
When the determination unit determines that the editing content indicated by the editing information includes an image deformation instruction and a range designation instruction for the image, the image deformation based on the image deformation instruction with respect to duplication of the thumbnail image A first output means for outputting the deformed copy obtained by the image deformation as a display target;
When the determination unit determines that the editing content indicated by the editing information includes an image deformation instruction and does not include a range specification instruction for the image, the thumbnail image is output as a display target. Output means.

縮小画像の表示時に、高速な表示速度を維持しながら、必要な縮小画像に対しては画像処理を行うことで、画像情報を正しく表示することができる。 When displaying a reduced image, image information can be displayed correctly by performing image processing on a necessary reduced image while maintaining a high display speed.

第１の実施形態に係る画像処理装置の構成を示すブロック図。1 is a block diagram showing a configuration of an image processing apparatus according to a first embodiment. 第１の実施形態に係る縮小画像の表示例。6 is a display example of a reduced image according to the first embodiment. 第４の実施形態に係るコンピュータの電気的構成を示すブロック図。The block diagram which shows the electric constitution of the computer which concerns on 4th Embodiment. 第１の実施形態に係る縮小画像の一覧表示例。6 is a list display example of reduced images according to the first embodiment. 第１の実施形態に係る画像編集用ＧＵＩ。The GUI for image editing which concerns on 1st Embodiment. 第１の実施形態に係る歪曲補正を説明する図。The figure explaining distortion correction concerning a 1st embodiment. 第１の実施形態に係る歪曲補正処理を示すフローチャート。5 is a flowchart showing distortion correction processing according to the first embodiment. 歪曲補正における順変換と逆変換を説明する図。The figure explaining the forward conversion and reverse conversion in distortion correction. 第２の実施形態に係る有効領域サイズ計算を示す図。The figure which shows effective area size calculation which concerns on 2nd Embodiment. 第１の実施形態に係る歪曲補正画素値算出処理を示す。6 shows distortion correction pixel value calculation processing according to the first embodiment. 第１の実施形態に係る縮小画像生成処理を示すフローチャート。6 is a flowchart showing reduced image generation processing according to the first embodiment. 第１の実施形態に係る縮小画像表示処理を示すフローチャート。6 is a flowchart showing reduced image display processing according to the first embodiment. 第２の実施形態に係る有効領域算出処理を示すフローチャート。9 is a flowchart showing effective area calculation processing according to the second embodiment. 第２の実施形態に係る縮小画像生成処理を示すフローチャート。9 is a flowchart showing reduced image generation processing according to the second embodiment. 第１の実施形態に係る一覧表示処理を示すフローチャート。The flowchart which shows the list display process which concerns on 1st Embodiment.

以下、本発明の実施例を図面に基づいて説明する。ただし、発明の範囲は以下の実施例に限定されるものではない。
［第１の実施形態］
本実施形態では、縮小画像上に選択範囲を表示する場合にだけ、縮小画像に対して画像変形処理を実行する。とりわけ本実施形態では、縮小画像を一覧表示する時に、縮小画像上に選択領域を表示する場合にだけ、縮小画像に対して歪曲補正を行うものとする。図１は、本実施形態に係る画像処理装置の構成を示すブロック図である。格納部302は撮影画像データ等の画像情報301（画像ファイル）を取得して格納する（記憶保持手段）。撮影画像データは、デジタルカメラ等の撮像装置によって得られ、格納部302が有するハードディスク、メモリーカード等のメモリに記憶保持されている。また、格納部302に格納された撮影画像データは、本実施形態に係る、又は他の画像処理装置によって編集操作された後に、再び格納部に格納されていてもよい。 Embodiments of the present invention will be described below with reference to the drawings. However, the scope of the invention is not limited to the following examples.
[First Embodiment]
In the present embodiment, the image transformation process is executed on the reduced image only when the selection range is displayed on the reduced image. In particular, in the present embodiment, when a list of reduced images is displayed, distortion correction is performed on the reduced image only when a selected area is displayed on the reduced image. FIG. 1 is a block diagram showing the configuration of the image processing apparatus according to this embodiment. The storage unit 302 acquires and stores image information 301 (image file) such as photographed image data (memory holding unit). The captured image data is obtained by an imaging device such as a digital camera and is stored and held in a memory such as a hard disk or a memory card included in the storage unit 302. The captured image data stored in the storage unit 302 may be stored in the storage unit again after being edited by the image processing apparatus according to the present embodiment or by another image processing apparatus.

本実施形態において、撮影画像データにはデジタルカメラ等により撮影された元画像の他に、元画像の縮小画像であるサムネイル画像が含まれている。さらに撮影画像データには、元画像に対する画像操作を示す編集情報（操作情報）等が含まれていてもよい。編集情報が示す編集内容には、画像操作後の元画像に対するトリミング範囲等の領域指定を行う、範囲情報（範囲指定指示）等が含まれていてもよい。編集情報には、歪曲補正指示を含む、元画像に対する画像変形指示が含まれていてもよい。 In the present embodiment, the captured image data includes a thumbnail image that is a reduced image of the original image in addition to the original image captured by a digital camera or the like. Furthermore, the captured image data may include editing information (operation information) indicating image operations on the original image. The editing content indicated by the editing information may include range information (range specification instruction) for specifying a region such as a trimming range for the original image after image manipulation. The editing information may include an image deformation instruction for the original image including a distortion correction instruction.

表示部304は画像情報301を、表示出力305として出力する。画像情報301を補正してから出力する場合には、表示部304は補正部303に画像補正処理を実行させる。補正部303は、計算部306と適宜協力しながら、撮影画像データに含まれる画像処理指定に応じて歪曲補正等の画像処理を行う（判断手段、第１の出力手段及び第２の出力手段）。ただし、本実施形態においては計算部306の存在は必須ではない。また、歪曲補正にあたってレンズ特性データ供給部307からレンズ特性データを取得する。レンズ特性データ供給部307はメモリを有し、ここに各種レンズに応じたレンズ特性の情報、具体的には撮影レンズに対応した画像補正のための情報を格納している。 The display unit 304 outputs the image information 301 as the display output 305. When the image information 301 is output after being corrected, the display unit 304 causes the correction unit 303 to execute image correction processing. The correction unit 303 performs image processing such as distortion correction in accordance with the image processing designation included in the captured image data in cooperation with the calculation unit 306 as appropriate (determination unit, first output unit, and second output unit). . However, the presence of the calculation unit 306 is not essential in the present embodiment. In addition, lens characteristic data is acquired from the lens characteristic data supply unit 307 for distortion correction. The lens characteristic data supply unit 307 has a memory, and stores therein lens characteristic information corresponding to various lenses, specifically, information for image correction corresponding to the photographing lens.

まず、歪曲収差補正について説明する。図６は、歪曲収差補正を説明する図である。(a)は樽形に歪んだ画像を補正する場合，(b)は糸巻形に歪んだ画像を補正する場合を表している。歪曲収差は画素位置の移動を伴う補正で、像高毎に複雑に移動量が変化するために、非常に計算コストの高い処理となる。レンズ収差は一般的に光軸を中心とした回転対称になることが多く、画素毎に像高を算出しレンズ特徴量から像高に応じた補正量を算出するのは処理が冗長になってしまう。 First, distortion correction will be described. FIG. 6 is a diagram for explaining distortion correction. (a) shows a case where an image distorted in a barrel shape is corrected, and (b) shows a case where an image distorted in a pincushion shape is corrected. Distortion is a correction involving movement of the pixel position, and the amount of movement changes in a complex manner for each image height. In general, lens aberration is often rotationally symmetric about the optical axis, and calculating the image height for each pixel and calculating the correction amount according to the image height from the lens feature amount is redundant. End up.

そこで、米国特許第６７４７７０２号のように、画像中心を原点として画像を第１象限から第４象限までに分割してとらえ、１つの象限について画素毎の補正量を求めた後、他の象限に対して補正量の計算結果を流用する方法が考えられる。また、予めレンズ特徴量から補正量を算出し、像高に対する画素の移動量をルックアップテーブル化することも考えられる。しかしながら、像高の計算には平方根を用いるため、このような高速化処理を用いたとしても、処理は軽いとは言えない。 Therefore, as in U.S. Pat. No. 6,747,702, the image is divided from the first quadrant to the fourth quadrant with the center of the image as the origin, and after obtaining the correction amount for each pixel in one quadrant, the image is transferred to another quadrant. On the other hand, a method of using the calculation result of the correction amount can be considered. It is also conceivable that a correction amount is calculated in advance from a lens feature amount and a pixel movement amount with respect to the image height is converted into a lookup table. However, since the square root is used for calculating the image height, even if such a high-speed processing is used, the processing is not light.

図７(a)は、歪曲収差補正処理の流れを示すフローチャートである。ここでは、特にサムネイル画像の複製に対して歪曲補正処理を行う場合について述べるが、元画像に対する歪曲補正処理も同様に行うことができる。歪曲収差補正処理は、歪曲補正前の像高と歪曲補正後の像高との対応表を使って実行する。図８に示すように、本実施形態では、歪曲補正前の像高から歪曲補正後の像高への変換を順変換、歪曲補正後の像高から歪曲補正前の像高への変換を逆変換とする。本実施形態では、一般的な座標の変換を伴う画像処理と同様に、変換後の画像の各画素の座標値を逆変換の考え方で取得する。以下の図７(b)に示される歪曲補正処理は、他に示されない限り補正部303が行う。 FIG. 7A is a flowchart showing the flow of distortion correction processing. Here, a case will be described in which the distortion correction processing is performed particularly on the reproduction of the thumbnail image, but the distortion correction processing on the original image can be similarly performed. The distortion aberration correction process is executed using a correspondence table between the image height before distortion correction and the image height after distortion correction. As shown in FIG. 8, in this embodiment, the conversion from the image height before distortion correction to the image height after distortion correction is forward converted, and the conversion from the image height after distortion correction to the image height before distortion correction is reversed. Let's say conversion. In the present embodiment, the coordinate value of each pixel of the image after conversion is acquired by the concept of inverse conversion, as in image processing involving general coordinate conversion. The following distortion correction processing shown in FIG. 7B is performed by the correction unit 303 unless otherwise indicated.

まずステップS701で、処理対象画像に含まれている撮影時情報（レンズの種類、焦点距離、ｆ値等）に対応するレンズ特性データを、レンズ特性データ供給部307から取得する。本実施形態における歪曲補正用レンズ特性データは、逆変換データ、つまり歪曲補正後の像高に対する歪曲補正前の像高のデータであるとする。また、レンズ特性データの像高は、撮像素子上でのミリメートル単位の距離で表されているものとする。 First, in step S701, lens characteristic data corresponding to shooting information (lens type, focal length, f value, etc.) included in the processing target image is acquired from the lens characteristic data supply unit 307. It is assumed that the lens characteristic data for distortion correction in the present embodiment is inverse transformation data, that is, data of image height before distortion correction with respect to the image height after distortion correction. Further, it is assumed that the image height of the lens characteristic data is represented by a distance in millimeters on the image sensor.

次に、ステップS702で、処理対象画像の撮影時情報と、サムネイル画像と主画像との画像サイズ比から、サムネイル画像の画素ピッチを取得する。画素ピッチとは画素間の距離のことであり、本実施形態では、撮像素子上でのミリメートル単位の距離で表す。ステップS703で、サムネイル画像の画像サイズ（幅fwピクセル、高さfhピクセル）を用いて、次式で歪曲補正ルックアップテーブルサイズfsを算出する。fsは、フィット表示用画像の中心から頂点までのピクセル単位での距離である。次式で、[]はガウス記号である。 Next, in step S702, the pixel pitch of the thumbnail image is acquired from the shooting time information of the processing target image and the image size ratio between the thumbnail image and the main image. The pixel pitch is a distance between pixels, and in this embodiment, the pixel pitch is represented by a distance in millimeters on the image sensor. In step S703, using the image size of the thumbnail image (width fw pixels, height fh pixels), the distortion correction lookup table size fs is calculated by the following equation. fs is the distance in pixels from the center of the fit display image to the vertex. In the following equation, [] is a Gaussian symbol.

fs = [ √(( (fw/2) * (fw/2) ) + ( (fh/2) * (fh/2) )) + 1 ]
ステップS704で、既知の歪曲補正方法に従い、ステップS701で得たレンズ特性データを用い、スプライン補間して、ステップS703で求めたサイズfsの歪曲補正ルックアップテーブルを作成する。すなわち、この歪曲補正ルックアップテーブルには、歪曲補正後の像高1,2,...,fsそれぞれに対する、歪曲補正前の像高が示されている。歪曲補正後の像高とはすなわち歪曲補正後のサムネイル画像の、中心からのピクセル単位の距離である。同様に歪曲補正前の像高とは、歪曲補正前のサムネイル画像の中心からのピクセル単位の距離である。 fs = [√ (((fw / 2) * (fw / 2)) + ((fh / 2) * (fh / 2))) + 1]
In step S704, according to a known distortion correction method, the lens characteristic data obtained in step S701 is used and spline interpolation is performed to create a distortion correction lookup table of size fs obtained in step S703. That is, the distortion correction look-up table shows the image height before distortion correction for each of the image heights 1, 2,..., Fs after distortion correction. The image height after distortion correction is the distance in pixels from the center of the thumbnail image after distortion correction. Similarly, the image height before distortion correction is the distance in pixels from the center of the thumbnail image before distortion correction.

この際、ステップS702で求めた画素ピッチを用いることで、レンズ特性データの像高（撮像素子上でのミリメートル単位）を、サムネイル画像におけるピクセル単位に変換することができる。また、撮影画像データで指定されている歪曲補正処理の適用量を考慮することで、従来技術に従って歪曲補正の適用量に応じたルックアップテーブルを生成することができる。ステップS705では、サムネイル画像の各画素に対して、図７(b)に示す歪曲補正画素値算出処理を実行する。全ての画素について画素値を算出した後、処理を終了する。歪曲補正を行ったサムネイル画像は、必要に応じてトリミング、拡大縮小等の処理を行ってから、表示部304が一覧表示領域に表示する。 At this time, by using the pixel pitch obtained in step S702, the image height of the lens characteristic data (in millimeters on the image sensor) can be converted into a pixel unit in the thumbnail image. Also, by taking into account the amount of distortion correction processing specified in the captured image data, a lookup table corresponding to the amount of distortion correction application can be generated in accordance with the prior art. In step S705, the distortion correction pixel value calculation process shown in FIG. 7B is executed for each pixel of the thumbnail image. After the pixel values are calculated for all the pixels, the process ends. The thumbnail image that has been subjected to distortion correction is subjected to processing such as trimming and enlargement / reduction as necessary, and then displayed on the list display area by the display unit 304.

図７(b)は、歪曲補正画素値算出処理の流れを示すフローチャートである。歪曲補正画素値算出処理は、幅fwピクセル、高さfhピクセルの歪曲補正後画像のうち、指定された画素(i,j)の画素値を、歪曲補正ルックアップテーブルを用いて算出する処理である（図１０）。図７(b)の処理も、特に示されない限り補正部303が行う。 FIG. 7B is a flowchart showing the flow of distortion correction pixel value calculation processing. The distortion correction pixel value calculation process is a process of calculating a pixel value of a designated pixel (i, j) using a distortion correction lookup table among images after distortion correction having a width of fw pixels and a height of fh pixels. Yes (Figure 10). The correction unit 303 also performs the process of FIG. 7B unless otherwise indicated.

まず、ステップS901で、画像中心から画素(i,j)までのピクセル単位の距離（像高）を求める。次に、ステップS902で、歪曲補正ルックアップテーブルを用いて像高に応じた補正量（歪曲補正前の像高）を求める（図１０(1)）。像高は整数値にならない場合があるが、その場合は歪曲補正ルックアップテーブルに対して線形補間等の補間処理を行って補正量を算出する。ステップS903で、ステップS902で求めた補正量を用いて、画素(i,j)に対応する歪曲補正前のサムネイル画像上の座標P'(i,j)を次式により算出する。 First, in step S901, the distance (image height) in pixel units from the center of the image to the pixel (i, j) is obtained. Next, in step S902, a correction amount (image height before distortion correction) corresponding to the image height is obtained using a distortion correction lookup table (FIG. 10 (1)). In some cases, the image height does not become an integer value. In this case, the correction amount is calculated by performing interpolation processing such as linear interpolation on the distortion correction lookup table. In step S903, using the correction amount obtained in step S902, the coordinates P ′ (i, j) on the thumbnail image before distortion correction corresponding to the pixel (i, j) are calculated by the following equation.

P’(i,j) = (d' / d) * P(i,j)
ここで、P(i,j)は、歪曲補正後の画像における画像中心から画素(i,j)への方向ベクトルである。またP’(i,j)は、歪曲補正前の画像上での、歪曲補正後の画像における画素(i,j)に対応する画素への、画像中心からの方向ベクトルである。P'(i,j)は、歪曲補正前の画像における座標(i,j)の画素とは直接の関係を有しないことに注意する。さらに、dは歪曲補正後の画素(i,j)のピクセル単位での像高、d’は歪曲補正ルックアップテーブルを用いて算出した歪曲補正前の画素(i,j)のピクセル単位での像高とする。最後にステップS804で、歪曲補正前の画像において画像中心からのベクトルP’(i,j)が示す座標の画素値を、この座標近傍の画素値をバイリニア補間することで求める（図１０(2)）。この画素値が、歪曲補正後の画像における画素(i,j)の画素値となる。 P '(i, j) = (d' / d) * P (i, j)
Here, P (i, j) is a direction vector from the image center to the pixel (i, j) in the image after distortion correction. P ′ (i, j) is a direction vector from the image center to the pixel corresponding to the pixel (i, j) in the image after distortion correction on the image before distortion correction. Note that P ′ (i, j) does not have a direct relationship with the pixel at coordinates (i, j) in the image before distortion correction. Furthermore, d is the image height in pixels of the pixel (i, j) after distortion correction, and d ′ is the pixel height of the pixel (i, j) before distortion correction calculated using the distortion correction lookup table. The image height. Finally, in step S804, the pixel value of the coordinate indicated by the vector P ′ (i, j) from the image center in the image before distortion correction is obtained by bilinear interpolation of the pixel value in the vicinity of this coordinate (FIG. 10 (2 )). This pixel value is the pixel value of the pixel (i, j) in the image after distortion correction.

ここまでに、画像の歪曲補正処理について説明した。以下では、本実施形態に係る撮影画像データの表示方法を説明する。図４は、本実施形態におけるＧＵＩの例である。ユーザはこのＧＵＩにおいて、フォルダ指定エディットボックス402で、格納されている画像を一覧表示することを所望するフォルダを指定する。このフォルダには、例えばデジタルカメラ等の撮像装置により得られた撮影画像データが複数格納されている。ユーザが表示ボタン401を押下すると、フォルダ指定エディットボックス402でユーザが指定したフォルダに格納された撮影画像データを、一覧表示領域403に一覧表示する。具体的には撮影画像データに含まれるサムネイル画像を縮小画像404として利用し、一覧表示領域に表示する。 Up to this point, the image distortion correction processing has been described. Below, the display method of the picked-up image data which concerns on this embodiment is demonstrated. FIG. 4 is an example of a GUI in this embodiment. In the GUI, the user designates a folder in which a list of stored images is desired in the folder designation edit box 402. In this folder, for example, a plurality of photographed image data obtained by an imaging device such as a digital camera is stored. When the user presses the display button 401, the photographed image data stored in the folder designated by the user in the folder designation edit box 402 is displayed in a list in the list display area 403. Specifically, a thumbnail image included in the photographed image data is used as the reduced image 404 and displayed in the list display area.

また、図２は縮小画像404のそれぞれの表示部分を拡大した図である。図２に示すように、縮小画像203とともに、歪曲補正指定がなされていることを示す歪曲補正マーク201と補正量202、トリミング領域204とを、縮小画像表示領域205内に表示する。本実施形態における画像の編集操作は、図５に示す編集用ＧＵＩで行う。本実施形態における画像の編集内容は、歪曲補正処理の適用・非適用の切り替えと、その適用量の変更、及びトリミング領域指定とする。歪曲補正チェックボックス501で歪曲補正の適用・非適用を指定し、歪曲補正適用量スライダ502で補正量を変更する。また、画像表示部503に表示された編集対象画像504上でドラッグすることで、トリミング領域505を矩形で指定することができる。本実施形態では説明のためにこれらの画像操作を実行可能なものとするが、もちろん他の編集操作を行うことが可能であってもよい。 FIG. 2 is an enlarged view of each display portion of the reduced image 404. As shown in FIG. 2, along with the reduced image 203, a distortion correction mark 201 indicating that the distortion correction is designated, a correction amount 202, and a trimming area 204 are displayed in the reduced image display area 205. The image editing operation in this embodiment is performed using the editing GUI shown in FIG. The editing contents of the image in this embodiment are switching between application / non-application of the distortion correction process, change of the application amount, and designation of a trimming area. The distortion correction check box 501 designates whether or not to apply distortion correction, and the distortion correction application amount slider 502 changes the correction amount. Further, by dragging on the editing target image 504 displayed on the image display unit 503, the trimming area 505 can be designated by a rectangle. In this embodiment, it is assumed that these image operations can be executed for the sake of explanation, but of course, other editing operations may be possible.

図１５は、図２で示した縮小画像表示を行うための処理の流れを示すフローチャートである。まず、表示部304は表示する撮影画像データを取得する(S1501)。例えば、フォルダ指定エディットボックス402等でユーザが指定したフォルダに格納されている撮影画像データを、格納部302から、全て、又は一部取得すればよい。次に表示部304は、縮小画像表示領域外の画像を表示する(S1502)。例えば、図４における表示ボタン401、フォルダ指定エディットボックス402、一覧表示領域403等を表示すればよい。 FIG. 15 is a flowchart showing a flow of processing for displaying the reduced image shown in FIG. First, the display unit 304 acquires captured image data to be displayed (S1501). For example, all or part of the captured image data stored in the folder designated by the user in the folder designation edit box 402 or the like may be acquired from the storage unit 302. Next, the display unit 304 displays an image outside the reduced image display area (S1502). For example, the display button 401, the folder designation edit box 402, the list display area 403, etc. in FIG. 4 may be displayed.

次に、表示部304は撮影画像データの１つを選択する(S1503)。続いて表示部304は、ステップS1503で選択した撮影画像データから、縮小画像を取得して表示する(S1504)。ステップS1504の詳細については後述する。続けて表示部304は、撮影画像データを所定数表示し終わったかを判断する(S1505)。例えばフォルダ内の全ての撮影画像データを表示したかを判断してもよいし、フォルダ内の撮影画像データのうち一覧表示領域403内に表示できる数（例えば２０枚）を表示し終わったを判断してもよい。所定数表示し終わっていなければステップS1503に戻ってまだ表示されていない撮影画像データを選択し、所定数表示し終わっていれば表示処理を終了する。 Next, the display unit 304 selects one of the captured image data (S1503). Subsequently, the display unit 304 acquires and displays a reduced image from the captured image data selected in step S1503 (S1504). Details of step S1504 will be described later. Subsequently, the display unit 304 determines whether a predetermined number of captured image data has been displayed (S1505). For example, it may be determined whether all the captured image data in the folder has been displayed, or it is determined that the number (for example, 20 images) that can be displayed in the list display area 403 among the captured image data in the folder has been displayed. May be. If the predetermined number has not been displayed, the process returns to step S1503 to select photographed image data that has not been displayed yet, and if the predetermined number has been displayed, the display process ends.

次に、ステップS1504の縮小画像表示処理について、図１２を用いて説明する。ステップS1504の処理は、特に示されない限り表示部304が行う。まずステップS1201で、縮小画像生成処理を実行する。ステップS1201の詳細については後述する。次にステップS1202で、ステップS1201で生成した縮小画像を、図２の縮小画像表示領域に内接するようにリサイズしてフィット表示する。 Next, the reduced image display process in step S1504 will be described with reference to FIG. The process of step S1504 is performed by the display unit 304 unless otherwise indicated. First, in step S1201, reduced image generation processing is executed. Details of step S1201 will be described later. In step S1202, the reduced image generated in step S1201 is resized so as to be inscribed in the reduced image display area in FIG.

ステップS1203では、対象画像にトリミング領域が指定されているかを判定する。トリミング領域が指定されている場合にはステップS1204で、トリミング領域に相当する縮小画像上の領域を計算し、計算した領域を縮小画像上（サムネイル画像上又はサムネイル画像の変形済み複製上）に表示する。本実施形態では、画像操作後の元画像とサムネイル画像とは、歪曲補正の有無にかかわらずアスペクト比が同じである。よって、元画像とサムネイル画像との大きさの比を用いて、トリミング領域に対応する縮小画像上の領域を計算してやればよい。最後にステップS1205で歪曲補正処理が指定されているかどうかを判定し、歪曲補正処理が指定されている場合はステップS1206で歪曲補正マークと補正適用量を表示して処理を終了する。 In step S1203, it is determined whether a trimming area is designated for the target image. If the trimming area is specified, in step S1204, the area on the reduced image corresponding to the trimming area is calculated, and the calculated area is displayed on the reduced image (on the thumbnail image or the modified copy of the thumbnail image). To do. In the present embodiment, the original image after the image operation and the thumbnail image have the same aspect ratio regardless of the presence or absence of distortion correction. Therefore, the area on the reduced image corresponding to the trimming area may be calculated using the ratio of the sizes of the original image and the thumbnail image. Finally, it is determined in step S1205 whether or not the distortion correction process is designated. If the distortion correction process is designated, the distortion correction mark and the correction application amount are displayed in step S1206, and the process ends.

続いて、一覧表示領域403に表示する縮小画像の生成処理(S1201)について説明する。図１１は、本実施形態における縮小画像の生成処理の流れを示すフローチャートである。ステップS1201の処理は、特に示されない限り補正部303が行う。まずステップS1101で、表示部304はステップS1503で選択した撮影画像データを補正部303に送り、補正部303は撮影画像データに含まれるサムネイル画像データをデコードする。サムネイル画像データが無い場合、主画像を縮小デコードしてもよい。 Next, a process for generating a reduced image to be displayed in the list display area 403 (S1201) will be described. FIG. 11 is a flowchart showing a flow of reduced image generation processing in the present embodiment. The process of step S1201 is performed by the correction unit 303 unless otherwise indicated. First, in step S1101, the display unit 304 sends the captured image data selected in step S1503 to the correction unit 303, and the correction unit 303 decodes the thumbnail image data included in the captured image data. When there is no thumbnail image data, the main image may be reduced and decoded.

次にステップS1102で、サムネイル画像に対して歪曲補正を行うか否かを判定する（判断手段）。具体的には、編集情報が示す編集内容に画像変形指示が含まれているか否か、編集情報が示す編集内容に画像に対する範囲指定指示が含まれているか否か、を編集情報を参照することで判断する。本実施形態においては、編集情報においてトリミング領域が指定されており、かつ歪曲補正指示が含まれている場合に、ステップS1103に進む。 Next, in step S1102, it is determined whether or not to perform distortion correction on the thumbnail image (determination means). Specifically, referring to the editing information whether the editing content indicated by the editing information includes an image transformation instruction or whether the editing content indicated by the editing information includes a range designation instruction for the image. Judge with. In the present embodiment, when the trimming area is specified in the editing information and the distortion correction instruction is included, the process proceeds to step S1103.

トリミング領域の指定と歪曲補正指示の少なくともどちらかがない場合は処理を終了し、ステップS1101で得たサムネイル画像データを縮小画像として表示部304に返す（第２の出力手段）。ステップS1103では、サムネイル画像の複製に対して図７に示す歪曲補正処理を適用し、歪曲補正処理を適用した結果（変形済み複製）を縮小画像として表示部304に返す（第１の出力手段）。 If at least one of the designation of the trimming area and the distortion correction instruction is not present, the process ends, and the thumbnail image data obtained in step S1101 is returned to the display unit 304 as a reduced image (second output means). In step S1103, the distortion correction processing shown in FIG. 7 is applied to the reproduction of the thumbnail image, and the result of applying the distortion correction processing (deformed copy) is returned to the display unit 304 as a reduced image (first output means). .

本実施形態では、画像上に表示すべき領域の一例としてトリミング領域を示したが、表示対象となる領域であればトリミング領域以外であってもよいことは言うまでも無い。トリミング領域以外の表示対象領域とは例えば、顔領域等が考えられる。この場合、ステップS1102では顔領域が指定されているか否かを判定し、顔領域が指定されている場合に歪曲補正処理を行う。以上の処理を適用することにより、トリミング領域が設定された画像のみ歪曲補正処理を適用することが可能になる。そのため、歪曲補正処理を実行する画像数を低減し、ユーザに対してトリミング領域を正しく提示しつつ、一覧表示速度を保つことが可能になる。 In the present embodiment, the trimming area is shown as an example of the area to be displayed on the image, but it goes without saying that it may be other than the trimming area as long as it is an area to be displayed. Examples of the display target area other than the trimming area include a face area. In this case, in step S1102, it is determined whether or not a face area is designated. If the face area is designated, distortion correction processing is performed. By applying the above processing, it becomes possible to apply the distortion correction processing only to the image in which the trimming area is set. For this reason, it is possible to reduce the number of images to be subjected to the distortion correction processing, and to keep the list display speed while correctly presenting the trimming area to the user.

［第２の実施形態］
第１の実施形態では、撮影画像データにおいてトリミング領域が指定されている場合は常にサムネイル画像に対して歪曲補正を適用してから表示を行った。しかし、前述したように、レンズ種類やレンズ補正処理の適用量によっては画像があまり変化しない場合がある。そこで本実施形態では、トリミング領域が指定されている画像については、指定された適用量で歪曲補正処理を適用した場合の画像サイズを算出する。そして、歪曲補正前後のアスペクト比の変化が閾値以上である、すなわち画像が大きく変化する場合に、歪曲補正を適用する。これにより、歪曲補正行う画像の数を低減し、一覧表示速度を向上させることができる。 [Second Embodiment]
In the first embodiment, when a trimming area is designated in the captured image data, display is always performed after distortion correction is applied to the thumbnail image. However, as described above, the image may not change much depending on the lens type and the amount of lens correction processing applied. Therefore, in this embodiment, for an image for which a trimming region is designated, the image size when the distortion correction processing is applied with the designated application amount is calculated. Then, the distortion correction is applied when the change in the aspect ratio before and after the distortion correction is equal to or greater than the threshold value, that is, when the image changes greatly. Thereby, the number of images to be subjected to distortion correction can be reduced and the list display speed can be improved.

まず、歪曲補正処理後の画像サイズの取得処理について説明する。図６に示すように、歪曲補正後の画像データは複雑に変形した形状になる。しかし、一般的にデジタル画像であるビットマップは矩形であり、歪曲補正後の領域から歪曲補正前の画素だけを含む矩形領域（有効領域）を出力とすることが多い。そこで、図１３で示す処理を用いて、歪曲補正後の矩形領域サイズ（つまり、画像サイズ）を得る。 First, an image size acquisition process after the distortion correction process will be described. As shown in FIG. 6, the image data after the distortion correction has a complicated deformed shape. However, a bitmap that is a digital image is generally rectangular, and a rectangular area (effective area) including only pixels before distortion correction from an area after distortion correction is often output. Therefore, a rectangular area size (that is, an image size) after distortion correction is obtained using the processing shown in FIG.

本実施形態では、レンズ特性データから順変換のルックアップテーブルを生成し、このテーブルを用いて有効領域を算出する。順変換ルックアップテーブルはレンズ特性データを用いて作成してもよいが、本実施形態では、第１の実施形態で説明した逆変換ルックアップテーブルを用いて、順変換歪曲補正ルックアップテーブルを作成する。 In the present embodiment, a forward conversion lookup table is generated from the lens characteristic data, and an effective area is calculated using this table. Although the forward conversion lookup table may be created using lens characteristic data, in this embodiment, the forward transformation distortion correction lookup table is created using the inverse transformation lookup table described in the first embodiment. To do.

図１３は、有効領域の算出処理の流れを示すフローチャートである。ステップS1301で、歪曲補正前のサムネイル画像の幅、高さを得る。次に、ステップS1302で、撮影画像データにおいて指定されている歪曲補正の適用量に応じた（逆変換）歪曲補正ルックアップテーブルを作成する。逆変換ルックアップテーブルの作成方法は第１の実施形態と同様であるが、逆変換ルックアップテーブルサイズはサムネイル画像の幅wと高さhとを用いて次式で求める。 FIG. 13 is a flowchart showing the flow of effective area calculation processing. In step S1301, the width and height of the thumbnail image before distortion correction are obtained. Next, in step S1302, a distortion correction look-up table corresponding to (inverse transformation) the distortion correction application amount specified in the captured image data is created. The method of creating the inverse conversion lookup table is the same as in the first embodiment, but the inverse conversion lookup table size is obtained by the following equation using the width w and height h of the thumbnail image.

ds = [ √(( (w/2) * (w/2) ) + ( (h/2) * (h/2) )) + 1 ]
ここで、[]はガウス記号である。ステップS1303で、逆変換ルックアップテーブルから、歪曲補正前のサムネイル画像の最大像高maxLを求める。歪曲補正後の画像における最大の像高（ds）に対応する、歪曲補正前の画像における像高が、通常はmaxLとなる。通常の矩形画像であれば、画像の四隅に位置する画素の像高となる。歪曲補正ルックアップテーブルがピクセル単位で表現されるため、最大像高maxLもピクセル単位となる。この最大像高を用いて、ステップS1304で逆変換ルックアップテーブルから順変換ルックアップテーブルを生成する。順変換ルックアップテーブルを、１以上の整数値をとる補正前の像高に対して補正後の像高を与えるように生成する場合、順変換ルックアップテーブルのサイズrtsを、最大像高maxLを用いて次式で算出すればよい。 ds = [√ (((w / 2) * (w / 2)) + ((h / 2) * (h / 2))) + 1]
Here, [] is a Gaussian symbol. In step S1303, the maximum image height maxL of the thumbnail image before distortion correction is obtained from the inverse conversion lookup table. The image height in the image before distortion correction corresponding to the maximum image height (ds) in the image after distortion correction is normally maxL. If it is a normal rectangular image, it becomes the image height of the pixel located in the four corners of the image. Since the distortion correction lookup table is expressed in units of pixels, the maximum image height maxL is also in units of pixels. Using this maximum image height, a forward conversion lookup table is generated from the inverse conversion lookup table in step S1304. When generating the forward conversion lookup table so as to give an image height after correction to an image height before correction that takes an integer value of 1 or more, the size rts of the forward conversion lookup table is set to the maximum image height maxL. Using the following equation.

rts = [ maxL + 1 ]:
ここで、[]はガウス記号である。すなわち、順変換ルックアップテーブルは、最大像高maxLの値を整数に切り上げた数だけ、補正前の像高と補正後の像高との対応付けデータを有する。逆変換ルックアップテーブルは、補正後の像高に対する補正前の像高を与えるものであるから、単純にこれらのデータを入れ替えれば補正前の像高に対する補正後の像高を与える順変換ルックアップテーブルを得ることができる。ただし、逆変換ルックアップテーブルにおいては補正後の像高は整数なのに対して補正前の像高は整数ではない可能性が高い。順変換ルックアップテーブルを、整数である補正前の像高に対する、補正後の像高を与える形式とするためには、線形補間を行えばよい。もっとも、順変換ルックアップテーブルを引く際に、対応する像高がない場合には線形補間を行うようにするのなら、ここで線形補間を行う必要はない。 rts = [maxL + 1]:
Here, [] is a Gaussian symbol. In other words, the forward conversion lookup table has correspondence data between the image height before correction and the image height after correction by the number obtained by rounding up the value of the maximum image height maxL to an integer. Since the inverse conversion lookup table gives the image height before correction with respect to the image height after correction, if these data are simply replaced, the forward conversion lookup table gives the image height after correction with respect to the image height before correction. You can get a table. However, in the inverse conversion lookup table, the image height after correction is an integer, but the image height before correction is not likely to be an integer. In order to make the forward conversion look-up table a format that gives an image height after correction with respect to an image height before correction that is an integer, linear interpolation may be performed. However, when the forward conversion lookup table is drawn, if linear interpolation is performed when there is no corresponding image height, it is not necessary to perform linear interpolation here.

ステップS1305とステップS1306では、有効領域のサイズを計算する（図９）。以下の説明で、wは歪曲補正前のサムネイル画像の幅、hは歪曲補正前のサムネイル画像の高さを示す。ステップS1305では、サムネイル画像における、図９のyをh/2に固定し、xを0からw/2まで変化させた場合の各画素について、原点からの距離を計算して順変換ルックアップテーブルを引き、歪曲補正後の座標を計算する。すなわち、画像の右上１／４領域内の、上端の画素群について歪曲補正後の座標を計算することで、歪曲補正後の画像の輪郭を得る。右下、左上、左下について計算したとしても同様の結果となるため、右上領域についてのみ計算すればよい。得られた歪曲補正後の座標のy成分のうち最も小さい値をhHとすると、歪曲補正後の有効領域の幅はhHの2倍の値になる。 In step S1305 and step S1306, the size of the effective area is calculated (FIG. 9). In the following description, w indicates the width of the thumbnail image before distortion correction, and h indicates the height of the thumbnail image before distortion correction. In step S1305, the forward conversion lookup table is calculated by calculating the distance from the origin for each pixel in the thumbnail image when y in FIG. 9 is fixed to h / 2 and x is changed from 0 to w / 2. To calculate the coordinates after distortion correction. That is, by calculating the coordinates after distortion correction for the uppermost pixel group in the upper right quarter region of the image, the contour of the image after distortion correction is obtained. Even if the calculation is performed for the lower right, the upper left, and the lower left, the same result is obtained. Therefore, only the upper right region needs to be calculated. If the smallest value among the y components of the obtained coordinates after distortion correction is hH, the width of the effective area after distortion correction is twice as large as hH.

同様にステップS1306で、図９のxをw/2に固定し、yを0からh/2まで変化させた場合について、原点からの距離を算出して順変換ルックアップテーブルを引き、歪曲補正後の座標を計算する。これは、画像の右上１／４領域内の、右端の画素群について歪曲補正後の座標を計算することとなる。得られた座標のx成分のうち最も小さい値をhWとすると、有効領域の幅はhWの2倍の値になる。 Similarly, in step S1306, when x in FIG. 9 is fixed to w / 2 and y is changed from 0 to h / 2, the distance from the origin is calculated and a forward conversion lookup table is drawn to correct the distortion. Calculate later coordinates. This is to calculate the coordinates after distortion correction for the rightmost pixel group in the upper right quarter region of the image. If the smallest value among the x components of the obtained coordinates is hW, the width of the effective area is twice as large as hW.

ここまでに、有効領域の算出処理について説明した。以下では、本実施形態に係る撮影画像データの表示方法を説明する。本実施形態に係る撮影画像データの表示方法は第１の実施形態に係る図１５の処理と同様であるが、縮小画像を生成するステップS1201の処理が第１の実施形態とは異なる。図１４は、本実施形態における縮小画像の生成処理の流れを示すフローチャートである。図１４の処理は図１１の処理と類似しているから、同様の処理については説明を省略する。 So far, the calculation process of the effective area has been described. Below, the display method of the picked-up image data which concerns on this embodiment is demonstrated. The captured image data display method according to the present embodiment is the same as the process of FIG. 15 according to the first embodiment, but the process of step S1201 for generating a reduced image is different from that of the first embodiment. FIG. 14 is a flowchart showing a flow of reduced image generation processing in the present embodiment. Since the process in FIG. 14 is similar to the process in FIG. 11, the description of the same process is omitted.

ステップS1401,S1402の処理は第１の実施形態におけるステップS1101,S1102の処理と同様であるから説明を省略する。ステップS1403では、計算部306は補正部303から撮影画像データを受け取り、図１３を用いて説明した有効領域の算出処理を利用して歪曲補正後のサムネイル画像の画像サイズを生成し、補正部303に返す。ステップS1404で補正部303は、ステップS1503で受け取った画像サイズから計算した歪曲補正後のアスペクト比が、歪曲補正前のアスペクト比に対して予め定められた割合（閾値）よりも大きく変化したかどうかを判定する。本実施形態では例えば、閾値を±5%とし、これ以上アスペクト比が変化する場合に歪曲補正処理を適用するが、他の基準を用いてもよい。 Since the processing of steps S1401 and S1402 is the same as the processing of steps S1101 and S1102 in the first embodiment, the description thereof is omitted. In step S1403, the calculation unit 306 receives the captured image data from the correction unit 303, generates an image size of the thumbnail image after distortion correction using the effective area calculation processing described with reference to FIG. Return to. In step S1404, the correction unit 303 determines whether the aspect ratio after distortion correction calculated from the image size received in step S1503 has changed more than a predetermined ratio (threshold) with respect to the aspect ratio before distortion correction. Determine. In this embodiment, for example, the threshold value is set to ± 5%, and the distortion correction processing is applied when the aspect ratio changes more than this, but other criteria may be used.

アスペクト比の変化が閾値以上の場合は、ステップS1405へ進んでサムネイル画像に対して歪曲補正処理を適用する。アスペクト比の変化が閾値未満の場合は、サムネイル画像を縮小画像として表示部304に返し、縮小画像生成処理を終了する。ステップS1405の処理は、第１の実施形態のステップS1103と同様であるから省略する。 If the change in aspect ratio is greater than or equal to the threshold value, the process advances to step S1405 to apply distortion correction processing to the thumbnail image. If the change in the aspect ratio is less than the threshold value, the thumbnail image is returned to the display unit 304 as a reduced image, and the reduced image generation process ends. Since the process of step S1405 is the same as that of step S1103 of the first embodiment, a description thereof is omitted.

以上の処理を実行して歪曲補正後のサムネイル画像サイズを算出し、歪曲補正前のアスペクト比と比較することで、歪曲補正処理によって大きく画像が変化する画像に対してのみ歪曲補正を適用し、画像一覧表示速度を向上させることができる。歪曲補正が指定されているが、歪曲補正によるアスペクト比の変化が小さい画像については、サムネイル画像に歪曲補正を行わない。この場合、歪曲補正が指定されていないサムネイル画像と同様に、元画像とサムネイル画像との大きさの比を用いてトリミング範囲に相当するサムネイル上の領域を求めて表示しても、サムネイル画像上にトリミング範囲を示すという目的を十分に達成できる。 Perform the above processing to calculate the thumbnail image size after distortion correction, and compare it with the aspect ratio before distortion correction, so that distortion correction is applied only to images that change greatly due to distortion correction processing, The image list display speed can be improved. Although distortion correction is specified, distortion correction is not performed on thumbnail images for images with a small change in aspect ratio due to distortion correction. In this case, even if the area on the thumbnail corresponding to the trimming range is obtained and displayed using the ratio of the size of the original image and the thumbnail image, similarly to the thumbnail image for which distortion correction is not specified, The purpose of showing the trimming range can be sufficiently achieved.

［第３の実施形態］
第２の実施形態で、一部の画像に対してのみ歪曲補正を適用することで、一覧表示速度を高速化する方法について述べた。さらに、表示されている縮小画像が歪曲補正された状態なのか否かを示すことで、より正しい表示情報をユーザに届けることが可能になる。そこで本実施形態では、第２の実施形態の処理に加え、歪曲補正処理が指定されているにも関わらず、歪曲補正を適用していない縮小画像については、編集済みマークを表示する。 [Third Embodiment]
In the second embodiment, the method of increasing the list display speed by applying distortion correction to only a part of the images has been described. Furthermore, it is possible to deliver more correct display information to the user by indicating whether or not the displayed reduced image has been corrected for distortion. Therefore, in the present embodiment, in addition to the processing of the second embodiment, an edited mark is displayed for a reduced image to which distortion correction is not applied even though distortion correction processing is designated.

本実施形態における処理は、第２の実施形態と同様に行えばよい。ただし、ステップS1205で歪曲補正指定があると判断した場合には、さらに歪曲補正処理が適用されていないかどうかを判断する。歪曲補正指定があり、かつ歪曲補正処理が適用されていない場合に、ステップS1206で歪曲補正マークを表示する。この処理を行うことで、歪曲補正が指定されているにもかかわらず縮小画像を歪曲補正しないで表示している場合に、トリミング領域が近似的な表示となっていることをユーザに知らせることが可能となる。 The processing in this embodiment may be performed in the same manner as in the second embodiment. However, if it is determined in step S1205 that there is a distortion correction designation, it is further determined whether or not distortion correction processing is applied. If distortion correction is specified and distortion correction processing is not applied, a distortion correction mark is displayed in step S1206. By performing this processing, the user can be informed that the trimming area is an approximate display when the reduced image is displayed without distortion correction even though distortion correction is specified. It becomes possible.

［第４の実施形態］
本実施形態では、上述の実施形態と同等の処理を、コンピュータとコンピュータプログラムとで実現する。この場合、図１をはじめとする構成要素の各々をプログラムにより表現して関数若しくはＣＰＵが実行するサブルーチンで機能させればよい。データ格納手段は、ＲＯＭのようなメモリとして実現すればよい。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それを、コンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピー若しくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。 [Fourth Embodiment]
In the present embodiment, processing equivalent to that in the above-described embodiment is realized by a computer and a computer program. In this case, each component including FIG. 1 may be expressed by a program and functioned by a function or a subroutine executed by the CPU. The data storage means may be realized as a memory such as a ROM. Further, the computer program is usually stored in a computer-readable storage medium such as a CD-ROM, and is set in a reading device (such as a CD-ROM drive) included in the computer and copied or installed in the system. Become executable. Therefore, it is obvious that such a computer readable storage medium is also within the scope of the present invention.

図３は本実施形態に係るコンピュータの基本構成を示す図である。ＣＰＵ101は、システム全体の動作をコントロールし、一次記憶102に格納されたプログラムの実行等を行う。一次記憶102は、主にＲＡＭ等のメモリであり、二次記憶103に記憶されたプログラム等を読み込んで格納する。二次記憶103は、例えばハードディスク、ＣＤ−ＲＯＭ等がこれに該当する。一般に一次記憶の容量は二次記憶の容量より小さく、一次記憶に格納しきれないプログラムやデータ等は二次記憶に格納される。また、長時間記憶しなくてはならないデータ等も二次記憶に格納される。本実施形態では、実施形態の処理手順を実現するようなプログラムは二次記憶103に格納し、プログラム実行時に一次記憶102に読み込んで、ＣＰＵ101が実行処理を行う。レンズ特性データは、例えば二次記憶103に格納されていればよいし、不図示のＲＯＭ等の不揮発メモリに格納されていてもよい。 FIG. 3 is a diagram showing a basic configuration of a computer according to the present embodiment. The CPU 101 controls the operation of the entire system and executes a program stored in the primary storage 102. The primary storage 102 is mainly a memory such as a RAM, and reads and stores a program stored in the secondary storage 103. The secondary storage 103 corresponds to, for example, a hard disk or a CD-ROM. Generally, the capacity of the primary storage is smaller than the capacity of the secondary storage, and programs and data that cannot be stored in the primary storage are stored in the secondary storage. Data that must be stored for a long time is also stored in the secondary storage. In the present embodiment, a program that realizes the processing procedure of the embodiment is stored in the secondary storage 103, read into the primary storage 102 when the program is executed, and the CPU 101 executes the execution process. The lens characteristic data may be stored in the secondary storage 103, for example, or may be stored in a non-volatile memory such as a ROM (not shown).

入力デバイス104とは例えば、マウスやキーボード等がこれに該当する。プログラム等に割り込み信号を送ったりするために用いる。出力デバイス105とは例えば、モニタやプリンタ等が考えられる。読込デバイス106は、公知のＣＣＤ素子等で構成されている撮像装置で撮像された画像を直接又は間接的に読み込み、一次記憶102や二次記憶103へ格納する。 Examples of the input device 104 include a mouse and a keyboard. Used to send an interrupt signal to a program or the like. Examples of the output device 105 include a monitor and a printer. The reading device 106 directly or indirectly reads an image captured by an imaging device configured with a known CCD element or the like, and stores it in the primary memory 102 or the secondary memory 103.

Claims

画像と、当該画像に対する編集内容を示す編集情報と、当該画像の縮小画像であるサムネイル画像と、を含む画像ファイルを記憶保持する記憶保持手段と、
前記編集情報が示す編集内容に画像変形指示が含まれているか否か、前記編集情報が示す編集内容に前記画像に対する範囲指定指示が含まれているか否か、を前記編集情報を参照することで判断する判断手段と、
前記編集情報が示す編集内容に画像変形指示及び前記画像に対する範囲指定指示が含まれていると前記判断手段が判断した場合には、前記サムネイル画像の複製に対して前記画像変形指示に基づく画像変形を行い、当該画像変形により得られた変形済み複製を表示対象として出力する第１の出力手段と、
前記編集情報が示す編集内容に画像変形指示が含まれており、前記画像に対する範囲指定指示は含まれていないと前記判断手段が判断した場合には、前記サムネイル画像を表示対象として出力する第２の出力手段と
を備えることを特徴とする画像処理装置。 Storage holding means for storing and holding an image file including an image, editing information indicating editing contents for the image, and a thumbnail image which is a reduced image of the image;
By referring to the editing information, whether or not the editing content indicated by the editing information includes an image transformation instruction, and whether or not the editing content indicated by the editing information includes a range designation instruction for the image. A judging means for judging;
When the determination unit determines that the editing content indicated by the editing information includes an image deformation instruction and a range designation instruction for the image, the image deformation based on the image deformation instruction with respect to duplication of the thumbnail image A first output means for outputting the deformed copy obtained by the image deformation as a display target;
When the determination unit determines that the editing content indicated by the editing information includes an image deformation instruction and does not include a range specification instruction for the image, the thumbnail image is output as a display target. And an output unit.

前記第１の出力手段は更に、前記画像に対する範囲指定指示によって範囲指定される前記画像上の領域に対応する前記サムネイル画像上の領域を示す範囲情報を、前記変形済み複製上に重ねる為の情報として出力することを特徴とする、請求項１に記載の画像処理装置。 The first output means further includes information for superimposing range information indicating an area on the thumbnail image corresponding to an area on the image whose range is designated by a range designation instruction for the image on the deformed copy. The image processing apparatus according to claim 1, wherein:

前記記憶保持手段は複数の画像ファイルを記憶保持しており、
前記判断手段、前記第１の出力手段、及び前記第２の出力手段は、前記複数の画像ファイルのそれぞれに対して処理を行うことを特徴とする、請求項１又は２に記載の画像処理装置。 The storage holding means stores and holds a plurality of image files,
The image processing apparatus according to claim 1, wherein the determination unit, the first output unit, and the second output unit perform processing on each of the plurality of image files. .

前記画像変形指示は、画像の歪曲補正指示であることを特徴とする、請求項１乃至３の何れか１項に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the image deformation instruction is an image distortion correction instruction.

前記サムネイル画像の複製に対して歪曲補正を行う場合の、当該歪曲補正前後でのアスペクト比の変化を計算する計算手段をさらに備え、
前記第１の出力手段は、
前記編集情報が示す編集内容に歪曲補正指示及び前記画像に対する範囲指定指示が含まれていると前記判断手段が判断し、かつ前記アスペクト比の変化が閾値以上である場合には、前記サムネイル画像の複製に対して歪曲補正を行い、当該歪曲補正により得られた変形済み複製を表示対象として出力し、
前記編集情報が示す編集内容に歪曲補正指示及び前記画像に対する範囲指定指示が含まれていると前記判断手段が判断し、かつ前記アスペクト比の変化が閾値未満である場合には、前記サムネイル画像を表示対象として出力することを特徴とする請求項４に記載の画像処理装置。 In the case of performing distortion correction on the reproduction of the thumbnail image, further comprising a calculation means for calculating a change in the aspect ratio before and after the distortion correction,
The first output means includes
When the determination unit determines that the editing content indicated by the editing information includes a distortion correction instruction and a range specification instruction for the image, and the change in the aspect ratio is equal to or greater than a threshold, the thumbnail image Perform distortion correction on the copy, and output the deformed copy obtained by the distortion correction as a display target.
When the determination unit determines that the editing content indicated by the editing information includes a distortion correction instruction and a range specification instruction for the image, and the change in the aspect ratio is less than a threshold, the thumbnail image is The image processing apparatus according to claim 4, wherein the image processing apparatus outputs the display target.

前記第１の出力手段は、前記アスペクト比の変化が閾値未満である場合に、前記表示対象として出力した前記サムネイル画像が歪曲補正されていないことを示す情報をさらに出力することを特徴とする、請求項５に記載の画像処理装置。 Said first output means, when the change of the aspect ratio is less than a threshold, the thumbnail picture image outputted as the display target, characterized in that it further outputs information indicating that it is not distortion correction The image processing apparatus according to claim 5.

画像処理装置が行う画像処理方法であって、
画像と、当該画像に対する編集内容を示す編集情報と、当該画像の縮小画像であるサムネイル画像と、を含む画像ファイルを記憶保持する記憶保持工程と、
前記編集情報が示す編集内容に画像変形指示が含まれているか否か、前記編集情報が示す編集内容に前記画像に対する範囲指定指示が含まれているか否か、を前記編集情報を参照することで判断する判断工程と、
前記編集情報が示す編集内容に画像変形指示及び前記画像に対する範囲指定指示が含まれていると前記判断工程で判断した場合には、前記サムネイル画像の複製に対して前記画像変形指示に基づく画像変形を行い、当該画像変形により得られた変形済み複製を表示対象として出力する第１の出力工程と、
前記編集情報が示す編集内容に画像変形指示が含まれており、前記画像に対する範囲指定指示は含まれていないと前記判断工程で判断した場合には、前記サムネイル画像を表示対象として出力する第２の出力工程と
を備えることを特徴とする画像処理方法。 An image processing method performed by an image processing apparatus,
A storage and holding step for storing and holding an image file including an image, editing information indicating editing contents for the image, and a thumbnail image that is a reduced image of the image;
By referring to the editing information, whether or not the editing content indicated by the editing information includes an image transformation instruction, and whether or not the editing content indicated by the editing information includes a range designation instruction for the image. A judging process for judging;
When it is determined in the determination step that the editing content indicated by the editing information includes an image deformation instruction and a range designation instruction for the image, the image deformation based on the image deformation instruction with respect to duplication of the thumbnail image Performing a first output step of outputting as a display object a deformed copy obtained by the image deformation,
When it is determined in the determination step that an image deformation instruction is included in the editing content indicated by the editing information and a range specifying instruction for the image is not included, the thumbnail image is output as a display target. An image processing method comprising: an output process.

コンピュータを、請求項１乃至６の何れか１項に記載の画像処理装置の各手段として機能させるための、コンピュータプログラム。 The computer, to function as each unit of the image processing apparatus according to any one of claims 1 to 6, the computer program.

請求項８に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。 A computer-readable storage medium storing the computer program according to claim 8.