JP4926877B2

JP4926877B2 - Image processing apparatus and method, and program

Info

Publication number: JP4926877B2
Application number: JP2007201954A
Authority: JP
Inventors: 直紀松木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-08-02
Filing date: 2007-08-02
Publication date: 2012-05-09
Anticipated expiration: 2027-08-02
Also published as: JP2009038646A

Description

本発明は、画像処理装置及び方法、並びにプログラムに関し、特にデジタルカメラにより撮影して得られた画像を処理する画像処理装置及び方法、並びにプログラムに関する。 The present invention relates to an image processing apparatus, method, and program, and more particularly, to an image processing apparatus, method, and program for processing an image obtained by photographing with a digital camera.

近年、デジタルカメラの性能向上により、撮影される画像の解像度は非常に高くなり、銀塩写真に勝るとも劣らない高品質の写真画像を得ることが可能となった。ユーザは、デジタルカメラで撮影した画像をパーソナルコンピュータ等に搭載された画像処理アプリケーションを使用して閲覧したり、トリミング等の編集処理を施したりすることができる。 In recent years, due to the improvement in performance of digital cameras, the resolution of captured images has become very high, and it has become possible to obtain high-quality photographic images that are not inferior to silver halide photographs. A user can view an image captured by a digital camera using an image processing application installed in a personal computer or the like, or can perform editing processing such as trimming.

一般に、カメラで撮影して得られる画像には、撮影レンズの歪曲収差に起因する幾何学的歪みが生ずる。この歪みを補正するために、撮影レンズのレンズ特性を利用して収差補正を行う画像処理アプリケーションが登場している。このように、歪曲収差補正を行うことでより均質で高画質な画像を得ることができる。 In general, an image obtained by photographing with a camera has a geometric distortion caused by distortion of the photographing lens. In order to correct this distortion, image processing applications that perform aberration correction using the lens characteristics of the taking lens have appeared. In this way, a more uniform and high-quality image can be obtained by performing distortion correction.

画像に対して歪曲収差補正した場合の一例を図１３（ａ）及び図１３（ｂ）に示す。図１３（ａ）は樽形に歪んだ画像を補正した場合、図１３（ｂ）は糸巻形に歪んだ画像を補正した場合を表している。歪曲収差補正は画素位置の移動を伴う補正であるため、画像の外縁の形状が変化してしまう。画像の外縁の形状は一般的に矩形状であり、トリミング領域もこれに合わせて矩形状となっている。そのため、図１４に示すように、補正前の画像に対してトリミング領域が設定されていた場合、画像の外縁形状の変化により、トリミング領域が歪曲収差補正後の画像からはみ出してしまう場合がある。この結果、トリミング後の画像の一部に空白又は画素値が不確定の部分が生ずるという問題がある。この問題を防止するためには、例えば、歪曲収差補正を行った後の画像に対してのみトリミング領域の設定を可能にする必要がある。 An example when distortion correction is performed on an image is shown in FIGS. 13 (a) and 13 (b). FIG. 13A shows a case where an image distorted in a barrel shape is corrected, and FIG. 13B shows a case where an image distorted in a pincushion shape is corrected. Since distortion aberration correction is correction accompanied by movement of the pixel position, the shape of the outer edge of the image changes. The shape of the outer edge of the image is generally rectangular, and the trimming area is also rectangular. Therefore, as shown in FIG. 14, when a trimming region is set for an image before correction, the trimming region may protrude from the image after distortion correction due to a change in the outer edge shape of the image. As a result, there is a problem that a blank or a pixel value is indeterminate in a part of the image after trimming. In order to prevent this problem, for example, it is necessary to make it possible to set a trimming region only for an image after distortion correction.

また、上記問題を解決するために、トリミング領域を設定する際に、歪曲収差補正に伴う画欠け領域を明示し、ユーザに画欠け領域をトリミング領域として指定させないようにする技術が提案されている（例えば、特許文献１参照）。
特開２０００−１０６６２３号公報 Further, in order to solve the above problem, a technique has been proposed in which when a trimming area is set, an image missing area associated with distortion correction is clearly indicated so that the user does not designate the image missing area as a trimming area. (For example, refer to Patent Document 1).
JP 2000-106623 A

しかしながら、上述した歪曲収差補正後の画像に対してのみトリミング領域を設定する方法では、トリミング領域の設定を必ず歪曲収差補正後に行わなければならない。また、上記特許文献１に記載された方法では、歪曲収差補正を実行するか否かを必ずトリミング領域の設定を行う前に決定しなくてはならない。このように、上記従来の方法では、歪曲収差補正を行う画像処理アプリケーション自体がユーザの画像編集に対する操作を制限することとなり、望ましくない。 However, in the method of setting the trimming region only for the image after the distortion aberration correction described above, the trimming region must be set after the distortion aberration correction. In the method described in Patent Document 1, it is necessary to always determine whether or not to perform distortion correction before setting the trimming area. As described above, the conventional method is not desirable because the image processing application itself that performs distortion correction restricts the user's operations for image editing.

また、近年では、撮影時に自動的にトリミング領域を設定するようなカメラも存在する。そのようなカメラで撮影された画像を画像処理アプリケーションで扱う場合、歪曲収差補正を実行する前に、必ずトリミング領域が設定されていることになり、上記従来の方法では対応できない。 In recent years, there is a camera that automatically sets a trimming area at the time of shooting. When an image captured by such a camera is handled by an image processing application, the trimming area is always set before the distortion correction is executed, which cannot be handled by the conventional method.

本発明は、上記問題に鑑みて成されたものであり、画像編集に対するユーザの操作を制限することなく、画像処理により画像の外縁形状が変形しても、設定されたトリミング領域が画像処理後の画像からはみ出さずに、トリミング画像を適正化することを目的とする。 The present invention has been made in view of the above-described problem. Even if the outer edge shape of an image is deformed by image processing without restricting the user's operation for image editing, the set trimming region is not processed after image processing. The purpose is to optimize the trimmed image without protruding from the image.

また、本発明は、予めトリミング領域が設定された画像が画像処理により外縁形状を変形されても、ユーザが意図したトリミング領域をトリミングすることを他の目的とする。 Another object of the present invention is to trim a trimming region intended by a user even when an image in which a trimming region is set in advance is deformed in outer edge shape by image processing.

上記目的を達成するために、請求項１記載の画像処理装置は、ユーザーの指示に応じて画像のトリミング対象であるトリミング領域を設定する設定手段と、前記トリミング領域が設定された後に、前記画像に対して、前記画像を撮影する際に用いたレンズの歪曲収差に起因する歪みを補正するために形状を変化させる補正を行い、かつ、形状を変化させた画像に内接する矩形領域に相当する有効画像領域における画像を出力する歪曲補正処理を行う画像処理手段と、前記画像に対して前記歪曲補正処理を行うことにより形状を変化させた後の前記トリミング領域が、前記有効画像領域からはみ出すか否かを判定する判定手段と、前記判定手段によってはみ出すと判定された場合は、前記歪曲補正処理が行われることにより形状を変化させた後の前記トリミング領域の画像が、前記有効画像領域に含まれるように、当該トリミング領域を移動する、および、変倍することの少なくともいずれかを行う変更手段とを備えることを特徴とする。 In order to achieve the above object, an image processing apparatus comprising: a setting unit to set the trimming area which is an image of the trimming according to the user's instructions, after the trimming area is set, on the image, performs a correction to change the shape in order to correct the distortion due to the distortion of the lens used when taking the images, and, in the rectangular area inscribed in the image by changing the shape Image processing means for performing distortion correction processing for outputting an image in a corresponding effective image region, and the trimming region after the shape is changed by performing the distortion correction processing on the image, from the effective image region a determination unit configured to determine whether to run-off, the case where it is determined that protrudes by the determining means, after changing the shape by the distortion correction processing is performed Image of the trimming area, so as to be included in the effective image area, to move the crop region, and characterized in that it comprises at least changing means for performing any of the scaling.

上記目的を達成するために、請求項３記載の画像処理装置は、ユーザーの指示に応じて画像のトリミング対象である第１のトリミング領域を設定する設定手段と、前記第１のトリミング領域が設定された後に、前記画像に対して、前記画像を撮影する際に用いたレンズの歪曲収差に起因する歪みを補正するために形状を変化させる補正を行い、かつ、形状を変化させた画像に内接する矩形領域に相当する有効画像領域における画像を出力する歪曲補正処理を行う画像処理手段と、前記画像に対して前記歪曲補正処理を行うことにより形状を変化させた後の前記第１のトリミング領域に内接または外接する第２のトリミング領域を算出する算出手段と、前記第２のトリミング領域が、前記有効画像領域からはみ出すか否かを判定する判定手段と、前記判定手段によってはみ出すと判定された場合は、前記第２のトリミング領域の画像が、前記有効画像領域に含まれるように、前記第２のトリミング領域を移動する、および、変倍することの少なくともいずれかを行う変更手段とを備えることを特徴とする。 In order to achieve the above object, the image processing apparatus according to claim 3 , wherein the first trimming area is set by setting means for setting a first trimming area which is a target of image trimming according to a user instruction. After that, the image is subjected to correction for changing the shape in order to correct distortion caused by the distortion of the lens used when taking the image, and the image is changed. Image processing means for performing distortion correction processing for outputting an image in an effective image region corresponding to a rectangular region in contact with the first trimming region after the shape is changed by performing the distortion correction processing on the image Calculating means for calculating a second trimming area that is inscribed or circumscribed at the same time, and determination means for determining whether or not the second trimming area protrudes from the effective image area; If it is determined by the determination means that the second trimming area is included in the effective image area, the second trimming area is moved and scaled so that the image of the second trimming area is included in the effective image area. And changing means for performing any one of them.

上記目的を達成するために、請求項５記載の画像処理方法は、ユーザーの指示に応じて画像のトリミング対象であるトリミング領域を設定する設定工程と、前記トリミング領域が設定された後に、前記画像に対して、前記画像を撮影する際に用いたレンズの歪曲収差に起因する歪みを補正するために形状を変化させる補正を行い、かつ、形状を変化させた画像に内接する矩形領域に相当する有効画像領域における画像を出力する歪曲補正処理を行う画像処理工程と、前記画像に対して前記歪曲補正処理を行うことにより形状を変化させた後の前記トリミング領域が、前記有効画像領域からはみ出すか否かを判定する判定工程と、前記判定工程においてはみ出すと判定された場合は、前記歪曲補正処理が行われることにより形状を変化させた後の前記トリミング領域の画像が、前記有効画像領域に含まれるように、当該トリミング領域を移動する、および、変倍することの少なくともいずれかを行う変更工程とを備えることを特徴とする。 In order to achieve the above object, an image processing method of claim 5, the setting process to set the trimming area which is trimmed target image according to the user's instructions, after the trimming area is set, on the image, performs a correction to change the shape in order to correct the distortion due to the distortion of the lens used when taking the images, and, in the rectangular area inscribed in the image by changing the shape An image processing step for performing distortion correction processing for outputting an image in a corresponding effective image region, and the trimming region after the shape is changed by performing the distortion correction processing on the image, from the effective image region and protruding to whether the determining step, wherein when it is determined that protrudes in the determination step, after changing the shape by the distortion correction processing is performed Image of the trimming area, so as to be included in the effective image area, to move the crop region, and characterized by comprising a changing step of performing at least one of the scaling.

上記目的を達成するために、請求項６記載の画像処理方法は、ユーザーの指示に応じて画像のトリミング対象である第１のトリミング領域を設定する設定工程と、前記第１のトリミング領域が設定された後に、前記画像に対して、前記画像を撮影する際に用いたレンズの歪曲収差に起因する歪みを補正するために形状を変化させる補正を行い、かつ、形状を変化させた画像に内接する矩形領域に相当する有効画像領域における画像を出力する歪曲補正処理を行う画像処理工程と、前記画像に対して前記歪曲補正処理を行うことにより形状を変化させた後の前記第１のトリミング領域に内接または外接する第２のトリミング領域を算出する算出工程と、前記第２のトリミング領域が、前記有効画像領域からはみ出すか否かを判定する判定工程と、前記判定工程においてはみ出すと判定された場合は、前記第２のトリミング領域の画像が、前記有効画像領域に含まれるように、前記第２のトリミング領域を移動する、および、変倍することの少なくともいずれかを行う変更工程とを備えることを特徴とする。 In order to achieve the above object , according to an image processing method according to claim 6 , a setting step of setting a first trimming area which is a trimming target of an image according to a user instruction, and the first trimming area are set. After that, the image is subjected to correction for changing the shape in order to correct distortion caused by the distortion of the lens used when taking the image, and the image is changed. An image processing step of performing distortion correction processing for outputting an image in an effective image region corresponding to a rectangular region in contact with the first trimming region after the shape is changed by performing the distortion correction processing on the image A calculation step of calculating a second trimming region that is inscribed or circumscribed at the same time, and a determination step of determining whether or not the second trimming region protrudes from the effective image region; If it is determined in the determination step that at least the second trimming area is moved and scaled so that the image of the second trimming area is included in the effective image area And a changing step for performing any one of them.

本発明によれば、トリミング領域が設定された画像に外縁の形状変化を伴う画像処理が実行されても、設定されたトリミング領域が画像処理された画像からはみ出ないように、トリミング領域の形状を変形させる。これにより、画像編集に対するユーザの操作を制限することなく、画像処理により画像の外縁形状が変形しても、設定されたトリミング領域が画像処理後の画像からはみ出さずに、トリミング画像を適正化することができる。 According to the present invention, the shape of the trimming area is set so that the set trimming area does not protrude from the image-processed image even when image processing with a change in the shape of the outer edge is performed on the image in which the trimming area is set. Deform. This makes it possible to optimize the trimming image without restricting the trimming area that has been set out of the image after image processing, even if the outer edge shape of the image is deformed by image processing, without restricting user operations for image editing. can do.

本発明によれば、予めトリミング領域が設定された画像に外縁の形状変化を伴う画像処理を行い、画像処理により変形したトリミング領域に基づいて新しいトリミング領域を算出する。そして、新しいトリミング領域が画像処理された画像からはみ出ないように、トリミング領域の形状を変形させる。これにより、予めトリミング領域が設定された画像が画像処理により外縁形状を変形されても、ユーザが意図したトリミング領域をトリミングすることができる。 According to the present invention, image processing with a change in the shape of the outer edge is performed on an image in which a trimming region is set in advance, and a new trimming region is calculated based on the trimming region deformed by the image processing. Then, the shape of the trimming area is deformed so that the new trimming area does not protrude from the image-processed image. As a result, even if an image in which a trimming area is set in advance has its outer edge shape deformed by image processing, the trimming area intended by the user can be trimmed.

以下、本発明の実施の形態を図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。 [First Embodiment]
FIG. 1 is a block diagram illustrating a configuration example of an image processing apparatus according to the first embodiment of the present invention.

ＣＰＵ１０１は、画像処理装置１のシステム全体の動作をコントロールすると共に、一次記憶装置１０２に格納されたプログラムを実行する。一次記憶装置１０２はＲＡＭ（Random Access Memory）であり、ハードディスク等の二次記憶装置１０３に記憶されたプログラムやデータなどが一時的に格納される。一般的に、一次記憶装置１０２の記憶容量は二次記憶装置１０３の記憶容量よりも小さく、一次記憶装置１０２に格納しきれないプログラムやデータなどが二次記憶装置１０３に格納される。また、長時間記憶しなくてはならないデータなども二次記憶装置１０３に格納される。本実施の形態では、後述する画像処理アプリケーションのプログラムは二次記憶装置１０３に格納されるが、プログラム実行時には一次記憶装置１０２に読み込まれ、ＣＰＵ１０１により実行される。 The CPU 101 controls the operation of the entire system of the image processing apparatus 1 and executes a program stored in the primary storage device 102. The primary storage device 102 is a RAM (Random Access Memory), and temporarily stores programs and data stored in the secondary storage device 103 such as a hard disk. Generally, the storage capacity of the primary storage device 102 is smaller than the storage capacity of the secondary storage device 103, and programs and data that cannot be stored in the primary storage device 102 are stored in the secondary storage device 103. Data that must be stored for a long time is also stored in the secondary storage device 103. In the present embodiment, a program for an image processing application, which will be described later, is stored in the secondary storage device 103, but is read into the primary storage device 102 and executed by the CPU 101 when the program is executed.

入力デバイス１０４は、例えば、マウスやキーボードなどが該当する。出力デバイス１０５は、例えば、モニタやプリンタなどが該当する。ユーザは、入力デバイス１０４を操作することにより、出力デバイス１０５のＧＵＩ上の画像に対してトリミング領域を設定したり、所望の動作を選択したりすることができる。その際、入力デバイス１０４は実行中のプログラムなどに割り込み信号を送る。読込デバイス１０６は、撮影レンズやＣＣＤ（Charge Coupled Device）素子などで構成される撮像装置であり、撮像した画像を直接又は間接的に一次記憶装置１０２や二次記憶装置１０３へ格納する。 The input device 104 corresponds to, for example, a mouse or a keyboard. The output device 105 corresponds to, for example, a monitor or a printer. By operating the input device 104, the user can set a trimming region for an image on the GUI of the output device 105 or select a desired operation. At that time, the input device 104 sends an interrupt signal to the program being executed. The reading device 106 is an imaging device including a photographing lens, a CCD (Charge Coupled Device) element, and the like, and stores the captured image directly or indirectly in the primary storage device 102 or the secondary storage device 103.

特性データ供給部１０７は、撮像装置の各種レンズに応じた特性データすなわち撮影レンズに対応した補正係数を、内蔵するメモリ（不図示）に格納し、必要に応じてＣＰＵ１０１に供給する。なお、レンズ特性の情報は、特性データ供給部１０７が有するメモリに限定されず、二次記憶装置１０３や図示しない外部記憶装置に格納されていてもよい。 The characteristic data supply unit 107 stores characteristic data corresponding to various lenses of the image pickup apparatus, that is, correction coefficients corresponding to the photographing lens in a built-in memory (not shown), and supplies it to the CPU 101 as necessary. The lens characteristic information is not limited to the memory included in the characteristic data supply unit 107, and may be stored in the secondary storage device 103 or an external storage device (not shown).

画像処理装置１には、画像を閲覧したり、画像に対してトリミングや歪曲収差補正等の編集処理を施したりすることが可能な画像処理アプリケーションが搭載されている。本実施の形態における歪曲収差補正処理では、補正関数が予め定められ、補正関数に特性データ供給部１０７から供給された補正係数を適用することで補正量が算出され、算出された補正量に応じて画像が変形される。 The image processing apparatus 1 is equipped with an image processing application capable of browsing an image and performing editing processing such as trimming and distortion correction on the image. In the distortion aberration correction processing according to the present embodiment, a correction function is determined in advance, and a correction amount is calculated by applying the correction coefficient supplied from the characteristic data supply unit 107 to the correction function, and the correction amount is determined according to the calculated correction amount. The image is deformed.

図２は、図１の画像処理装置１におけるＧＵＩの一例を示す図である。 FIG. 2 is a diagram illustrating an example of a GUI in the image processing apparatus 1 of FIG.

図２に示すＧＵＩは、画像処理アプリケーションを実行するＣＰＵ１０１により出力デバイス１０５に表示された画面である。画像処理アプリケーション上では、画像表示部４０１に処理対象となる画像がフィット表示される。ユーザは、オペレーティングシステム（ＯＳ）のファイル管理システム上から画像表示部４０１に画像ファイルをドラッグアンドドロップすることで処理対象画像を指定することができる。また、画像処理アプリケーション上では、処理対象画像に画像処理が施された結果の画像が画像表示部４０１に表示される。 The GUI shown in FIG. 2 is a screen displayed on the output device 105 by the CPU 101 that executes the image processing application. On the image processing application, the image to be processed is fit-displayed on the image display unit 401. A user can designate a processing target image by dragging and dropping an image file from the file management system of the operating system (OS) to the image display unit 401. In addition, on the image processing application, an image obtained as a result of performing image processing on the processing target image is displayed on the image display unit 401.

トリミング実行ボタン４０２が押下されると、ユーザにより設定されたトリミング領域に従って処理対象画像がトリミングされ、結果の画像が画像表示部４０１に表示される。 When the trimming execution button 402 is pressed, the processing target image is trimmed according to the trimming area set by the user, and the resulting image is displayed on the image display unit 401.

歪曲収差補正実行ボタン４０３が押下されると、処理対象画像に対して、後述する図３の歪曲収差補正を含む画像処理が施され、その結果の画像が画像表示部４０１に表示される。後述する図３の画像処理には、歪曲収差補正が含まれるため、結果画像の外縁の形状が矩形でない場合がある。その際は、図１３（ａ）及び図１３（ｂ）に示すように、歪曲収差補正を施した画像の外縁に内接する矩形領域で結果画像を切り出し、切り出した画像を結果画像としてもよい。 When a distortion aberration correction execution button 403 is pressed, image processing including distortion aberration correction shown in FIG. 3 described later is performed on the processing target image, and the resulting image is displayed on the image display unit 401. Since the image processing of FIG. 3 to be described later includes distortion aberration correction, the shape of the outer edge of the result image may not be rectangular. In that case, as shown in FIGS. 13A and 13B, a result image may be cut out in a rectangular area inscribed in the outer edge of the image subjected to distortion aberration correction, and the cut out image may be used as the result image.

リセットボタン４０４が押下されると、トリミングや歪曲収差補正処理を施す前の画像が画像表示部４０１に表示される。終了ボタン４０５が押下されると、画像処理アプリケーションが終了する。 When the reset button 404 is pressed, an image before trimming or distortion correction processing is displayed on the image display unit 401. When the end button 405 is pressed, the image processing application ends.

トリミング領域４０６は、ユーザが入力デバイス１０４であるマウスを操作して、画像表示部４０１に表示された画像の所望範囲をドラッグ指定することにより設定される。画像上でマウスをクリックした点とアンクリックした点とを結ぶ線を対角線とする矩形をトリミング領域４０６とする。 The trimming area 406 is set when the user operates the mouse as the input device 104 and drags and designates a desired range of the image displayed on the image display unit 401. A rectangle having a diagonal line connecting a point where the mouse is clicked and an unclicked point on the image is defined as a trimming region 406.

画像処理アプリケーション上では、設定されたトリミング領域４０６の情報が画像ファイルに埋め込まれて保存される。なお、トリミング領域４０６の情報は、画像ファイルに関連付けられた上で、画像ファイルとは別に保存されてもよい。 On the image processing application, information on the set trimming area 406 is embedded and stored in the image file. Note that the information of the trimming area 406 may be stored separately from the image file after being associated with the image file.

トリミング領域４０６の情報は、図４に示すように、トリミング領域設定有無４０、左端Ｘ座標ｘ_ｔ１４１及び上端Ｙ座標ｙ_ｔ１４２、右端Ｘ座標ｘ_ｔ２４３及び下端Ｙ座標ｙ_ｔ２４４の値で構成される。 As shown in FIG. 4, the information of the trimming area 406 is the values of the trimming area setting presence / absence 40, the left end X coordinate x _t1 41, the upper end Y coordinate y _t1 42, the right end X coordinate x _t2 43, and the lower end Y coordinate y _t2 44. Composed.

トリミング領域設定有無４０は、トリミング領域が設定されているか否かを示し、その設定値が「ＹＥＳ」の場合はトリミング領域が設定済みであり、「ＮＯ」の場合はトリミング領域が未設定である。以降の説明では、トリミング領域の情報を取得する場合は、処理対象画像のトリミング領域の情報を取得するものとする。 The trimming area setting presence / absence 40 indicates whether or not the trimming area is set. When the setting value is “YES”, the trimming area has been set, and when the setting value is “NO”, the trimming area has not been set. . In the following description, when information on the trimming area is acquired, information on the trimming area of the processing target image is acquired.

左端Ｘ座標ｘ_ｔ１４１及び上端Ｙ座標ｙ_ｔ１４２は、トリミング領域の左上座標（ｘ_ｔ１，ｙ_ｔ１）を示す。右端Ｘ座標ｘ_ｔ２４３及び下端Ｙ座標ｙ_ｔ２４４は、トリミング領域の右下座標（ｘ_ｔ２，ｙ_ｔ２）を示す。 The left end X coordinate x _t1 41 and the upper end Y coordinate y _t1 42 indicate the upper left coordinates (x _t1 , y _t1 ) of the trimming region. The right end X coordinate x _t2 43 and the lower end Y coordinate y _t2 44 indicate the lower right coordinates (x _t2 , y _t2 ) of the trimming region.

図３は、歪曲収差補正実行ボタン押下時に実行される歪曲収差補正を含む処理の流れを示すフローチャートである。 FIG. 3 is a flowchart showing a flow of processing including distortion correction performed when the distortion correction execution button is pressed.

ステップＳ６０１では、画像処理アプリケーションを実行するＣＰＵ１０１は、処理対象画像に対して歪曲収差補正処理を施す。本実施の形態では、ＣＰＵ１０１は、撮影時光学情報を用いて特性データ供給部１０７から特性データを取得し、予め定められた補正関数に適用することで像高（画像中心からの距離）に対する補正量を算出し、歪曲収差補正処理を実行する。補正関数は像高をパラメータとする３次関数とする。 In step S601, the CPU 101 that executes the image processing application performs distortion correction processing on the processing target image. In the present embodiment, the CPU 101 acquires characteristic data from the characteristic data supply unit 107 using the optical information at the time of shooting, and applies it to a predetermined correction function to correct the image height (distance from the image center). The amount is calculated and distortion correction processing is executed. The correction function is a cubic function with the image height as a parameter.

撮影時光学情報は、撮影レンズを識別するための識別情報、ズーム位置を特定するための撮影時焦点距離情報、Ｆ値などで構成される。本実施の形態では、これらの情報がＥｘｉｆ規格で定められたＭａｋｅｒＮｏｔｅタグに格納される。なお、補正精度を上げるために、上記情報に加えて被写体距離情報などの情報を用いても構わない。 The optical information at the time of photographing includes identification information for identifying the photographing lens, focal length information at the time of photographing for specifying the zoom position, F value, and the like. In the present embodiment, these pieces of information are stored in a MakerNote tag defined by the Exif standard. In order to improve the correction accuracy, information such as subject distance information may be used in addition to the above information.

ステップＳ６０２では、ＣＰＵ１０１は、歪曲収差補正後の画像の外縁の形状に内接する矩形領域（以下、「有効画像領域」という。）の情報を取得する。有効画像領域の情報は、図５に示すように、有効画像領域５０１の左上座標（ｘ_ｄ１，ｙ_ｄ１）、右下座標（ｘ_ｄ２，ｙ_ｄ２）の値である。 In step S602, the CPU 101 acquires information on a rectangular area (hereinafter referred to as “effective image area”) that is inscribed in the shape of the outer edge of the image after distortion correction. As shown in FIG. 5, the information on the effective image area is the values of the upper left coordinates (x _d1 , y _d1 ) and the lower right coordinates (x _d2 , y _d2 ) of the effective image area 501.

ステップＳ６０３では、ＣＰＵ１０１は、処理対象画像のトリミング領域の情報を取得する。トリミング領域の情報は、図５に示すように、トリミング領域４０６の左上座標（ｘ_ｔ１，ｙ_ｔ１）、右下座標（ｘ_ｔ２，ｙ_ｔ２）の値である。 In step S603, the CPU 101 acquires information on the trimming area of the processing target image. As shown in FIG. 5, the trimming area information includes the values of the upper left coordinates (x _t1 , y _t1 ) and lower right coordinates (x _t2 , y _t2 ) of the trimming area 406.

ステップＳ６０４では、ＣＰＵ１０１は、処理対象画像にトリミング領域が設定されているか否かを判定する。ステップＳ６０３でトリミング領域の情報を取得できなかった場合は、トリミング領域が設定されていないものとする。トリミング領域が設定されている場合は、ステップＳ６０５へ進む。一方、トリミング領域が設定されていなければ、ステップＳ６０９へ進む。 In step S604, the CPU 101 determines whether or not a trimming area is set for the processing target image. When the trimming area information cannot be acquired in step S603, it is assumed that the trimming area is not set. If the trimming area is set, the process proceeds to step S605. On the other hand, if the trimming area is not set, the process proceeds to step S609.

ステップＳ６０５では、ＣＰＵ１０１は、ステップＳ６０３で取得したトリミング領域が、ステップＳ６０２で取得した有効画像領域からはみ出しているか否かを判定する。この結果、（ｘ_ｔ１，ｙ_ｔ１）＜（ｘ_ｄ１，ｙ_ｄ１）又は（ｘ_ｔ２，ｙ_ｔ２）＞（ｘ_ｄ２，ｙ_ｄ２）となり、ＣＰＵ１０１はトリミング領域が有効画像領域からはみ出していると判定した場合、ステップＳ６０６に進む。一方、ＣＰＵ１０１は、トリミング領域が有効画像領域に完全に含まれていると判定した場合、ステップＳ６０８に進む。 In step S605, the CPU 101 determines whether the trimming area acquired in step S603 protrudes from the effective image area acquired in step S602. As a result, (x _t1 , y _t1 ) <(x _d1 , y _d1 ) or (x _t2 , y _t2 )> (x _d2 , y _d2 ), and the CPU 101 determines that the trimming area extends beyond the effective image area. If so, the process proceeds to step S606. On the other hand, if the CPU 101 determines that the trimming area is completely included in the effective image area, the process proceeds to step S608.

ステップＳ６０６では、ＣＰＵ１０１は、トリミング領域が有効画像領域に完全に含まれるように、当該トリミング領域を変形する（トリミング領域変形処理）。トリミング領域変形処理の詳細については図６を用いて後述する。続いて、ステップＳ６０７では、変形したトリミング領域の情報を保存する。 In step S606, the CPU 101 deforms the trimming area so that the trimming area is completely included in the effective image area (trimming area deformation process). Details of the trimming region deformation processing will be described later with reference to FIG. Subsequently, in step S607, information on the modified trimming area is stored.

ステップＳ６０８では、ＣＰＵ１０１は、歪曲補正処理後の画像からステップＳ６０６で変形したトリミング領域を切り出し、切り出した画像を結果画像として、一次記憶装置１０２又は二次記憶装置１０３に保存して、本処理を終了する。 In step S608, the CPU 101 cuts out the trimming area deformed in step S606 from the image after distortion correction processing, saves the cut out image as a result image in the primary storage device 102 or the secondary storage device 103, and performs this processing. finish.

ステップＳ６０９では、ＣＰＵ１０１は、歪曲補正処理された画像から有効画像領域を切り出し、切り出した画像を結果画像として、一次記憶装置１０２又は二次記憶装置１０３に保存して、本処理を終了する。なお、ステップＳ６０９において、歪曲補正処理された画像から有効画像領域を切り出すようにしたが、有効画像領域を切り出さずに歪曲補正処理された画像をそのまま結果画像としてもよい。 In step S609, the CPU 101 cuts out an effective image area from the distortion-corrected image, saves the cut-out image as a result image in the primary storage device 102 or the secondary storage device 103, and ends this processing. In step S609, the effective image region is cut out from the image subjected to the distortion correction processing. However, the image subjected to the distortion correction processing without cutting out the effective image region may be used as a result image as it is.

図６は、図３におけるステップＳ６０６のトリミング領域変形処理の詳細を示すフローチャートである。以下に説明する座標値は、図５に示すように、歪曲補正処理後の画像の左上座標を原点（０，０）とし、図の左右方向がＸ軸、上下方向がＹ軸となる座標系によるものとする。 FIG. 6 is a flowchart showing details of the trimming region deformation processing in step S606 in FIG. As shown in FIG. 5, the coordinate values described below are coordinate systems in which the upper left coordinate of the image after distortion correction processing is the origin (0, 0), the horizontal direction in the figure is the X axis, and the vertical direction is the Y axis. According to.

図６において、ステップＳ８０１では、ＣＰＵ１０１はトリミング領域の大きさ（幅Ｗｔ，高さＨｔ）を算出する。トリミング領域の幅Ｗｔ及び高さＨｔは下式により算出される。 In FIG. 6, in step S801, the CPU 101 calculates the size (width Wt, height Ht) of the trimming area. The width Wt and height Ht of the trimming area are calculated by the following equations.

Ｗｔ＝ｘ_ｔ２−ｘ_ｔ１
Ｈｔ＝ｙ_ｔ２−ｙ_ｔ１
ステップＳ８０２では、ＣＰＵ１０１は、有効画像領域の大きさ（幅Ｗｄ，高さＨｄ）を算出する。有効画像領域の幅Ｗｄ及び高さＨｄは下式により算出される。 Wt = x _t2 −x _t1
Ht = y _t2 −y _t1
In step S802, the CPU 101 calculates the size (width Wd, height Hd) of the effective image area. The width Wd and the height Hd of the effective image area are calculated by the following expressions.

Ｗｄ＝ｘ_ｄ２−ｘ_ｄ１
Ｈｄ＝ｙ_ｄ２−ｙ_ｄ１
ステップＳ８０３では、ＣＰＵ１０１は、算出したトリミング領域の大きさと有効画像領域の大きさを比較する。この結果、Ｗｔ＞Ｗｄ又はＨｔ＞Ｈｄとなり、トリミング領域が有効画像領域よりも大きい場合は、ステップＳ８０４へ進む。一方、トリミング領域が有効画像領域と同じか又は小さい場合、ステップＳ８０６へ進む。 Wd = x _d2 -x _d1
Hd = y _d2 −y _d1
In step S803, the CPU 101 compares the calculated size of the trimming area with the size of the effective image area. As a result, when Wt> Wd or Ht> Hd and the trimming area is larger than the effective image area, the process proceeds to step S804. On the other hand, if the trimming area is the same as or smaller than the effective image area, the process advances to step S806.

ステップＳ８０４，Ｓ８０５では、ＣＰＵ１０１は、下式により、トリミング領域をアスペクト比を保ちながら有効画像領域に内接するように変倍する。なお、このとき、アスペクト比を保たずに変倍するようにしてもよい。 In steps S804 and S805, the CPU 101 performs scaling so that the trimming area is inscribed in the effective image area while maintaining the aspect ratio by the following equation. At this time, scaling may be performed without maintaining the aspect ratio.

ｉｆ（Ｗｔ／Ｈｔ＞Ｗｄ／Ｈｄ）：Ｗｔ＝Ｗｄ，Ｈｔ＝Ｗｄ×Ｈｔ／Ｗｔ
ｉｆ（Ｗｔ／Ｈｔ≦Ｗｄ／Ｈｄ）：Ｗｔ＝Ｈｄ×Ｗｔ／Ｈｔ，Ｈｔ＝Ｈｄ
ｘ_ｔ２＝ｘ_ｔ１＋Ｗｔ
ｙ_ｔ２＝ｙ_ｔ１＋Ｈｔ
ステップＳ８０６では、ＣＰＵ１０１は、トリミング領域の左端Ｘ座標ｘ_ｔ１と有効画像領域の左端Ｘ座標ｘ_ｄ１を比較する。この結果、ｘ_ｔ１＜ｘ_ｄ１であれば、ステップＳ８０７へ進む。一方、ｘ_ｔ１≧ｘ_ｄ１であれば、ステップＳ８０８へ進む。ステップＳ８０７では、ＣＰＵ１０１は、トリミング領域の左端Ｘ座標の値が有効画像領域の左端Ｘ座標の値になるように、下式により、トリミング領域を＋ｘ方向に移動する。 if (Wt / Ht> Wd / Hd): Wt = Wd, Ht = Wd × Ht / Wt
if (Wt / Ht ≦ Wd / Hd): Wt = Hd × Wt / Ht, Ht = Hd
x _t2 = x _t1 + Wt
y _t2 = y _t1 + Ht
In step S806, CPU 101 compares the left edge X coordinate _{x d1} of the effective image area and the left edge X coordinate _{x t1} of the trimming area. As a result, if x _t1 <x _d1 , the process proceeds to step S807. On the other hand, if x _t1 ≧ x _d1 , the process proceeds to step S808. In step S807, the CPU 101 moves the trimming area in the + x direction according to the following expression so that the value of the left end X coordinate of the trimming area becomes the value of the left end X coordinate of the effective image area.

ｘ_ｔ１＝ｘ_ｔ１＋（ｘ_ｄ１−ｘ_ｔ１）
ｘ_ｔ２＝ｘ_ｔ２＋（ｘ_ｄ１−ｘ_ｔ１）
ステップＳ８０８では、ＣＰＵ１０１は、トリミング領域の上端Ｙ座標ｙ_ｔ１と有効画像領域の上端Ｙ座標ｙ_ｄ１を比較する。この結果、ｙ_ｔ１＜ｙ_ｄ１であれば、ステップＳ８０９へ進む。一方、ｙ_ｔ１≧ｙ_ｄ１であれば、ステップＳ８１０へ進む。ステップＳ８０９では、ＣＰＵ１０１は、トリミング領域の上端Ｙ座標の値が有効画像領域の上端Ｙ座標の値になるように、下式により、トリミング領域を＋ｙ方向に移動する。 x _t1 = x _t1 + (x _d1 −x _t1 )
x _t2 = x _t2 + (x _d1 −x _t1 )
In step S808, the CPU 101 compares the upper end Y coordinate y _t1 of the trimming area with the upper end Y coordinate y _d1 of the effective image area. As a result, if y _t1 <y _d1 , the process proceeds to step S809. On the other hand, if y _t1 ≧ y _d1 , the process proceeds to step S810. In step S809, the CPU 101 moves the trimming area in the + y direction by the following expression so that the value of the upper end Y coordinate of the trimming area becomes the value of the upper end Y coordinate of the effective image area.

ｙ_ｔ１＝ｙ_ｔ１＋（ｙ_ｄ１−ｙ_ｔ１）
ｙ_ｔ２＝ｙ_ｔ２＋（ｙ_ｄ１−ｙ_ｔ１）
ステップＳ８１０では、ＣＰＵ１０１は、トリミング領域の右端Ｘ座標ｘ_ｔ２と有効画像領域の右端Ｘ座標ｘ_ｄ２を比較する。この結果、ｘ_ｔ２＞ｘ_ｄ２であれば、ステップＳ８１１へ進む。一方、ｘ_ｔ２≦ｘ_ｄ２であれば、ステップＳ８１２へ進む。ステップＳ８１１では、ＣＰＵ１０１は、トリミング領域の右端Ｘ座標の値が有効画像領域の右端Ｘ座標の値になるように、下式により、トリミング領域を−ｘ方向に移動する。 y _t1 = y _t1 + (y _d1 −y _t1 )
y _t2 = y _t2 + (y _d1 −y _t1 )
In step S810, CPU 101 compares the rightmost X-coordinate _{x d2} of the effective image area and the right edge X coordinate _{x t2} of the trimming area. As a result, if x _t2 > x _d2 , the process proceeds to step S811. On the other _hand, if _{x t2} ≦ _{x d2,} the flow proceeds to step S812. In step S811, the CPU 101 moves the trimming area in the −x direction by the following expression so that the value of the right end X coordinate of the trimming area becomes the value of the right end X coordinate of the effective image area.

ｘ_ｔ１＝ｘ_ｔ１−（ｘ_ｔ２−ｘ_ｄ２）
ｘ_ｔ２＝ｘ_ｔ２−（ｘ_ｔ２−ｘ_ｄ２）
ステップＳ８１２では、ＣＰＵ１０１は、トリミング領域の下端Ｙ座標ｙ_ｔ２と、有効画像領域の下端Ｙ座標ｙ_ｄ２を比較する。この結果、ｙ_ｔ２＞ｙ_ｄ２であれば、ステップＳ８１３へ進む。一方、ｙ_ｔ２≦ｙ_ｄ２であれば、リターンする。ステップＳ８１３では、ＣＰＵ１０１は、トリミング領域の下端Ｙ座標の値が有効画像領域の下端Ｙ座標の値になるように、下式により、トリミング領域を−ｙ方向に移動する。 _{_{_{x t1 = x t1 - (x}}} t2 -x d2)
_{_{_{x t2 = x t2 - (x}}} t2 -x d2)
In step S812, the CPU 101 compares the lower end Y coordinate y _t2 of the trimming area with the lower end Y coordinate y _d2 of the effective image area. As a result, if y _t2 > y _d2 , the process proceeds to step S813. On the other hand, if y _t2 ≦ y _d2 , the process returns. In step S813, the CPU 101 moves the trimming area in the −y direction by the following expression so that the value of the lower end Y coordinate of the trimming area becomes the value of the lower end Y coordinate of the effective image area.

ｙ_ｔ１＝ｙ_ｔ１−（ｙ_ｔ２−ｙ_ｄ２）
ｙ_ｔ２＝ｙ_ｔ２−（ｙ_ｔ２−ｙ_ｄ２）
上記実施の形態によれば、ユーザにより設定されたトリミング領域が、歪曲収差補正処理された画像からはみ出しているか否かを判定する。そして、はみ出していると判定されたときは、トリミング領域が歪曲収差補正処理された画像に含まれるように、トリミング領域の形状を変形させる。これにより、画像編集に対するユーザの操作を制限することなく、画像処理により画像の外縁形状が変形しても、設定されたトリミング領域が画像処理後の画像からはみ出さずに、トリミング画像を適正化することができる。 y _t1 = y _t1 − (y _t2 −y _d2 )
y _t2 = y _t2 − (y _t2 −y _d2 )
According to the above-described embodiment, it is determined whether or not the trimming area set by the user protrudes from the distortion-corrected image. When it is determined that the image is protruding, the shape of the trimming area is deformed so that the trimming area is included in the distortion-corrected image. This makes it possible to optimize the trimming image without restricting the trimming area that has been set out of the image after image processing, even if the outer edge shape of the image is deformed by image processing, without restricting user operations for image editing. can do.

［第２の実施形態］
本発明の第２の実施の形態に係る画像処理装置は、その構成（図１）が上記第１の実施の形態に係る画像処理装置と同じであり、第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。 [Second Embodiment]
The image processing apparatus according to the second embodiment of the present invention has the same configuration (FIG. 1) as that of the image processing apparatus according to the first embodiment, and is the same as the first embodiment. The description is omitted using the same reference numerals. Only differences from the first embodiment will be described below.

上記第１の実施形態では、画像に歪曲収差補正処理を施した後、トリミング領域が補正処理された画像領域からはみ出している場合、トリミング領域が補正処理後の画像領域に含まれるようにトリミング領域を並行移動又は変倍して、その形状を変形させた。これにより、ユーザがトリミング領域を設定した際に意図した大きさ（画素数）を変えずに、トリミング領域の形状を変形することができる。 In the first embodiment, after the distortion correction process is performed on the image, when the trimming area protrudes from the corrected image area, the trimming area is included in the image area after the correction process. The shape was deformed by parallel movement or scaling. Thereby, the shape of the trimming region can be changed without changing the size (number of pixels) intended when the user sets the trimming region.

しかしながら、ユーザが意図した画像の意味をなるべく変えずに、トリミング領域の形状を変更するようにしてもよい。すなわち、補正処理前の画像のトリミング領域に含まれる画素が移動した先の座標を含むようにトリミング領域の形状を変形する。 However, the shape of the trimming area may be changed without changing the meaning of the image intended by the user as much as possible. In other words, the shape of the trimming area is deformed so that the pixel included in the trimming area of the image before the correction process includes the previous coordinates moved.

図７は、本発明の第２の実施形態における歪曲収差補正を含む処理の流れを示すフローチャートである。本処理は、上記第１の実施形態と同様に、歪曲収差補正実行ボタン４０３が押下されたときに実行される処理である。 FIG. 7 is a flowchart showing a flow of processing including distortion correction in the second embodiment of the present invention. This process is a process that is executed when the distortion correction execution button 403 is pressed, as in the first embodiment.

ステップＳ９０１では、画像処理アプリケーションを実行するＣＰＵ１０１は、処理対象画像に対して歪曲収差補正処理を施す。歪曲収差補正処理は、図３のステップＳ６０１と同様の方法により行われる。 In step S901, the CPU 101 that executes the image processing application performs distortion correction processing on the processing target image. The distortion correction process is performed by the same method as in step S601 in FIG.

ステップＳ９０２では、ＣＰＵ１０１は、歪曲収差補正後の画像の外縁の形状に内接する矩形領域（以下、「有効画像領域」という。）の情報を取得する。有効画像領域の情報は、図３のステップＳ６０２と同様に、有効画像領域５０１の左上座標（ｘ_ｄ１，ｙ_ｄ１），右下座標（ｘ_ｄ２，ｙ_ｄ２）の値である。 In step S <b> 902, the CPU 101 acquires information on a rectangular area (hereinafter referred to as “effective image area”) that is inscribed in the shape of the outer edge of the image after distortion correction. The information on the effective image area is the values of the upper left coordinates (x _d1 , y _d1 ) and the lower right coordinates (x _d2 , y _d2 ) of the effective image area 501 as in step S602 of FIG.

ステップＳ９０３では、ＣＰＵ１０１は、処理対象画像のトリミング領域の情報を取得する。トリミング領域の情報は、図３のステップＳ６０３と同様に、トリミング領域４０６の左上座標（ｘ_ｔ１，ｙ_ｔ１）、右下座標（ｘ_ｔ２，ｙ_ｔ２）の値である。 In step S903, the CPU 101 acquires information on the trimming area of the processing target image. The information of the trimming area is the values of the upper left coordinates (x _t1 , y _t1 ) and the lower right coordinates (x _t2 , y _t2 ) of the trimming area 406, as in step S603 of FIG.

ステップＳ９０４では、ＣＰＵ１０１は、処理対象画像にトリミング領域が設定されているか否かを判定する。ステップＳ９０３でトリミング領域の情報を取得できなかった場合は、トリミング領域が設定されていないものとする。トリミング領域が設定されている場合は、ステップＳ９０５へ進む。一方、トリミング領域が設定されていなければ、ステップＳ９１２へ進む。 In step S904, the CPU 101 determines whether a trimming area is set for the processing target image. When the trimming area information cannot be acquired in step S903, it is assumed that the trimming area is not set. If the trimming area is set, the process proceeds to step S905. On the other hand, if the trimming area is not set, the process proceeds to step S912.

ステップＳ９０５では、ＣＰＵ１０１は、ステップＳ９０３で取得したトリミング領域が、ステップＳ９０２で取得した有効画像領域からはみ出しているか否かを判定する。この結果、（ｘ_ｔ１，ｙ_ｔ１）＜（ｘ_ｄ１，ｙ_ｄ１）又は（ｘ_ｔ２，ｙ_ｔ２）＞（ｘ_ｄ２，ｙ_ｄ２）となり、ＣＰＵ１０１はトリミング領域が有効画像領域からはみ出していると判定した場合、ステップＳ９０６に進む。一方、ＣＰＵ１０１は、トリミング領域が有効画像領域に完全に含まれていると判定した場合、ステップＳ９１１に進む。 In step S905, the CPU 101 determines whether the trimming area acquired in step S903 protrudes from the effective image area acquired in step S902. As a result, (x _t1 , y _t1 ) <(x _d1 , y _d1 ) or (x _t2 , y _t2 )> (x _d2 , y _d2 ), and the CPU 101 determines that the trimming area extends beyond the effective image area. If so, the process proceeds to step S906. On the other hand, when the CPU 101 determines that the trimming area is completely included in the effective image area, the CPU 101 proceeds to step S911.

ステップＳ９０６では、ＣＰＵ１０１は、図８に示すように、画像に対して施した歪曲収差補正の補正関数に従ってトリミング領域を変形し、変形したトリミング領域に内接又は外接する矩形領域を新しいトリミング領域とする。新しいトリミング領域は、左上座標値（ｘ”_ｔ１，ｙ”_ｔ１）、右下座標値（ｘ”_ｔ２，ｙ”_ｔ２）となる。この処理の詳細については、図９〜図１１を用いて後述する。 In step S906, as shown in FIG. 8, the CPU 101 deforms the trimming area in accordance with the correction function for correcting distortion aberration applied to the image, and sets a rectangular area inscribed or circumscribed to the deformed trimming area as a new trimming area. To do. The new trimming area has an upper left coordinate value (x ″ _t1 , y ″ _t1 ) and a lower right coordinate value (x ″ _t2 , y ″ _t2 ). Details of this processing will be described later with reference to FIGS.

ステップＳ９０７では、ＣＰＵ１０１は、現在のトリミング領域の情報を、ステップＳ９０５で取得した新しいトリミング領域の情報に置き換える（ｘ_ｔ１＝ｘ”_ｔ１，ｙ_ｔ１＝ｙ”_ｔ１，ｘ_ｔ２＝ｘ”_ｔ２，ｙ_ｔ２＝ｙ”_ｔ２）。 In step S907, the CPU 101 replaces the current trimming area information with the new trimming area information acquired in step S905 (x _t1 = x ″ _t1 , y _t1 = y ″ _t1 , x _t2 = x ″ _t2 , y _t2 = y " _t2 ).

ステップＳ９０８では、ＣＰＵ１０１は、ステップＳ９０７で置き換えた新しいトリミング領域が有効画像領域からはみ出しているか否かを判定する。この結果、（ｘ_ｔ１，ｙ_ｔ１）＜（ｘ_ｄ１，ｙ_ｄ１）又は（ｘ_ｔ２，ｙ_ｔ２）＞（ｘ_ｄ２，ｙ_ｄ２）となり、ＣＰＵ１０１はトリミング領域が有効画像領域からはみ出していると判定した場合、ステップＳ９０９に進む。一方、ＣＰＵ１０１は、トリミング領域が有効画像領域に完全に含まれていると判定した場合、ステップＳ９１１に進む。 In step S908, the CPU 101 determines whether the new trimming area replaced in step S907 protrudes from the effective image area. As a result, (x _t1 , y _t1 ) <(x _d1 , y _d1 ) or (x _t2 , y _t2 )> (x _d2 , y _d2 ), and the CPU 101 determines that the trimming area extends beyond the effective image area. If so, the process proceeds to step S909. On the other hand, when the CPU 101 determines that the trimming area is completely included in the effective image area, the CPU 101 proceeds to step S911.

ステップＳ９０９では、ＣＰＵ１０１は、トリミング領域が有効画像領域に完全に含まれるように、当該トリミング領域を変形する（トリミング領域変形処理）。このトリミング領域変形処理は図６に示したものである。続いて、ステップＳ９１０では、変形したトリミング領域の情報を保存する。 In step S909, the CPU 101 deforms the trimming area so that the trimming area is completely included in the effective image area (trimming area deformation processing). This trimming region deformation process is shown in FIG. Subsequently, in step S910, information on the modified trimming area is stored.

ステップＳ９１１では、ＣＰＵ１０１は、歪曲補正処理後の画像からステップＳ９０９で変形したトリミング領域を切り出し、切り出した画像を結果画像として、一次記憶装置１０２又は二次記憶装置１０３に保存して、本処理を終了する。 In step S911, the CPU 101 cuts out the trimming area deformed in step S909 from the image after the distortion correction processing, saves the cut-out image as a result image in the primary storage device 102 or the secondary storage device 103, and performs this processing. finish.

ステップＳ９１２では、ＣＰＵ１０１は、歪曲補正処理後の画像から有効画像領域を切り出し、切り出した画像を結果画像として、一次記憶装置１０２又は二次記憶装置１０３に保存して、本処理を終了する。 In step S912, the CPU 101 cuts out an effective image area from the image after distortion correction processing, saves the cut out image as a result image in the primary storage device 102 or the secondary storage device 103, and ends this processing.

本実施の形態では、ステップＳ９０６で歪曲収差補正の補正関数に基づいてトリミング領域の形状を変形した後、ステップＳ９０７，Ｓ９０８で再度トリミング領域のチェックを行う。これにより、ステップＳ９０６の処理の結果、トリミング領域が有効画像領域の外を含んでいても、その後の処理により、トリミング領域が有効画像領域の内部に含まれるように、再度変形することができる。 In the present embodiment, after the shape of the trimming area is deformed based on the correction function for distortion aberration correction in step S906, the trimming area is checked again in steps S907 and S908. As a result, even if the trimming area includes the outside of the effective image area as a result of the processing in step S906, it can be deformed again so that the trimming area is included inside the effective image area by the subsequent processing.

また、本実施の形態では、ステップＳ９０５でトリミング領域が有効画像領域からはみ出している場合に限り、ステップＳ９０６のトリミング領域の変形を実行するようにしている。しかし、ステップＳ９０６をステップＳ６０５の前に実行し、歪曲収差補正の補正関数に基づくトリミング領域の変形を必ず行うようにしてもよい。 In the present embodiment, only when the trimming area protrudes from the effective image area in step S905, the modification of the trimming area in step S906 is executed. However, step S906 may be performed before step S605, and the trimming region may be necessarily deformed based on the distortion aberration correction function.

図９及び図１０は、図７におけるステップＳ９０６の新しいトリミング領域の算出処理の詳細を示すフローチャートである。 FIGS. 9 and 10 are flowcharts showing details of the new trimming area calculation process in step S906 in FIG.

以下に説明する座標値は、図１１に示すように、歪曲補正処理後の画像の左上座標を原点（０，０）とし、図の左右方向がＸ軸、上下方向がＹ軸となる座標系によるものとする。また、以下に説明する処理で得られる新しいトリミング領域の左上座標値を（ｘ”_ｔ１，ｙ”_ｔ１）、右下座標値を（ｘ”_ｔ２，ｙ”_ｔ２）とする。また、以下の説明では、座標値（ｘ，ｙ）＝（ｉ，ｊ）の位置の画素を、歪曲収差補正処理の補正関数により移動した先の座標値（ｘ，ｙ）＝（ｉ’，ｊ’）として表す。 As shown in FIG. 11, the coordinate values described below are coordinate systems in which the upper left coordinate of the image after distortion correction processing is the origin (0, 0), the horizontal direction in the figure is the X axis, and the vertical direction is the Y axis. According to. Further, the upper left coordinate value of the new trimming area obtained by the processing described below is (x ″ _t1 , y ″ _t1 ), and the lower right coordinate value is (x ″ _t2 , y ″ _t2 ). In the following description, the pixel value at the position of the coordinate value (x, y) = (i, j) is moved to the previous coordinate value (x, y) = (i ′, j ′).

図９において、ステップＳ１２０１〜Ｓ１２０８では、ＣＰＵ１０１は、新しいトリミング領域の上端のＹ座標ｙ”_ｔ１を決定する。 In FIG. 9, in steps S1201 to S1208, the CPU 101 determines the Y coordinate y ″ _t1 of the upper end of the new trimming area.

ステップＳ１２０１では、ｙ”_ｔ１にｙ_ｔ１を代入する。次に、ステップＳ１２０２では、変数ｊにｙ_ｔ１を代入する。次に、ステップＳ１２０３では、変数ｉにｘ_ｔ１を代入する。 In step S1201, y _t1 is substituted for y ″ _t1 . Next, in step S1202, y _t1 is substituted for variable j. Next, in step S1203, x _t1 is substituted for variable i.

ステップＳ１２０４では、ＣＰＵ１０１は、歪曲収差補正の補正関数により、座標値（ｘ，ｙ）＝（ｉ，ｊ）の画素の移動先の座標値（ｘ，ｙ）＝（ｉ’，ｊ’）を算出する。次に、ステップＳ１２０５では、ＣＰＵ１０１は、ｙ”_ｔ１とｊ’の値を比較する。この結果、ｙ”_ｔ１＜ｊ’であれば、ステップＳ１２０６に進む。一方、ｙ”_ｔ１≧ｊ’であれば、ステップＳ１２０７に進む。ステップＳ１２０６では、ｙ”_ｔ１にｊ’を代入する。 In step S1204, the CPU 101 obtains the coordinate value (x, y) = (i ′, j ′) of the movement destination of the pixel having the coordinate value (x, y) = (i, j) by using a correction function for distortion aberration correction. calculate. Next, in step S1205, the CPU 101 compares the value of y ″ _t1 and j ′. As a result, if y ″ _t1 <j ′, the process proceeds to step S1206. On the other hand, if y ″ _t1 ≧ j ′, the process proceeds to step S1207. In step S1206, j ′ is substituted into y ″ _t1 .

ステップＳ１２０７では、ＣＰＵ１０１は、変数ｉの値に１を追加する。次に、ステップＳ１２０８では、変数ｉとｘ_ｔ２の値を比較する。この結果、ｉ＞ｘ_ｔ２であれば、ステップＳ１２０９に進む。一方、ｉ≦ｘ_ｔ２であれば、ステップＳ１２０４に戻る。 In step S1207, the CPU 101 adds 1 to the value of the variable i. Next, in step S1208, it compares the value of the variable i and _{x t2.} As a result, if i> x _t2 , the process proceeds to step S1209. On the other hand, if i ≦ _{x t2,} the flow returns to step S1204.

ステップＳ１２０９〜Ｓ１２１６では、ＣＰＵ１０１は、新しいトリミング領域の下端のＹ座標ｙ”_ｔ２を決定する。 In steps S1209 to S1216, the CPU 101 determines the Y coordinate y ″ _t2 of the lower end of the new trimming area.

ステップＳ１２０９では、ｙ”_ｔ２にｙ_ｔ２を代入する。次に、ステップＳ１２１０では、変数ｊにｙ_ｔ２を代入する。次に、ステップＳ１２１１では、変数ｉにｘ_ｔ１を代入する。 In step S1209, y _t2 is substituted for y ″ _t2 . Next, in step S1210, y _t2 is substituted for variable j. Next, in step S1211, x _t1 is substituted for variable i.

ステップＳ１２１２では、ＣＰＵ１０１は、歪曲収差補正の補正関数により、座標値（ｘ，ｙ）＝（ｉ，ｊ）の画素の移動先の座標値（ｘ，ｙ）＝（ｉ’，ｊ’）を算出する。次に、ステップＳ１２１３では、ＣＰＵ１０１は、ｙ”_ｔ２とｊ’の値を比較する。この結果、ｙ”_ｔ２＞ｊ’であれば、ステップＳ１２１４に進む。一方、ｙ”_ｔ２≦ｊ’であれば、ステップＳ１２１５に進む。ステップＳ１２１４では、ｙ”_ｔ２にｊ’を代入する。 In step S <b> 1212, the CPU 101 obtains the coordinate value (x, y) = (i ′, j ′) of the movement destination of the pixel with the coordinate value (x, y) = (i, j) by using a correction function for distortion aberration correction. calculate. Next, in step S1213, the CPU 101 compares the value of y ″ _t2 with j ′. As a result, if y ″ _t2 > j ′, the process proceeds to step S1214. On the other hand, if y ″ _t2 ≦ j ′, the process proceeds to step S1215. In step S1214, j ′ is substituted into y ″ _t2 .

ステップＳ１２１５では、ＣＰＵ１０１は、変数ｉの値に１を追加する。次に、ステップＳ１２１６では、変数ｉとｘ_ｔ２の値を比較する。この結果、ｉ＞ｘ_ｔ２であれば、図１０のステップＳ１２１７に進む。一方、ｉ≦ｘ_ｔ２であれば、ステップＳ１２１２に戻る。 In step S1215, the CPU 101 adds 1 to the value of the variable i. Next, in step S1216, it compares the value of the variable i and _{x t2.} As a result, if i> x _t2 , the process proceeds to step S1217 in FIG. On the other hand, if i ≦ _{x t2,} the flow returns to step S1212.

図１０において、ステップＳ１２１７〜Ｓ１２２４では、ＣＰＵ１０１は、新しいトリミング領域の左端のＸ座標ｘ”_ｔ１を決定する。 In FIG. 10, in steps S1217 to S1224, the CPU 101 determines the X coordinate x ″ _t1 of the left end of the new trimming area.

ステップＳ１２１７では、ｘ”_ｔ１にｘ_ｔ１を代入する。次に、ステップＳ１２１８では、変数ｉにｘ_ｔ１を代入する。次に、ステップＳ１２１９では、変数ｊにｙ_ｔ１を代入する。 In step S1217, x _t1 is substituted for x ″ _t1 . Next, in step S1218, x _t1 is substituted for variable i. Next, in step S1219, y _t1 is substituted for variable j.

ステップＳ１２２０では、ＣＰＵ１０１は、歪曲収差補正の補正関数により、座標値（ｘ，ｙ）＝（ｉ，ｊ）の画素の移動先の座標値（ｘ，ｙ）＝（ｉ’，ｊ’）を算出する。次に、ステップＳ１２２１では、ＣＰＵ１０１は、ｘ”_ｔ１とｉ’の値を比較する。この結果、ｘ”_ｔ１＜ｉ’であれば、ステップＳ１２２２に進む。一方、ｘ”_ｔ１≧ｉ’であれば、ステップＳ１２２３に進む。ステップＳ１２２２では、ｘ”_ｔ１にｉ’を代入する。 In step S1220, the CPU 101 obtains the coordinate value (x, y) = (i ′, j ′) of the movement destination of the pixel with the coordinate value (x, y) = (i, j) by using a correction function for distortion aberration correction. calculate. In step S1221, the CPU 101 compares x ″ _t1 with the value of i ′. If x ″ _t1 <i ′ as a result, the process proceeds to step S1222. On the other hand, if x ″ _t1 ≧ i ′, the process proceeds to step S1223. In step S1222, i ′ is substituted into x ″ _t1 .

ステップＳ１２２３では、ＣＰＵ１０１は、変数ｊの値に１を追加する。次に、ステップＳ１２２４では、変数ｊとｙ_ｔ２の値を比較する。この結果、ｊ＞ｙ_ｔ２であれば、ステップＳ１２２５に進む。一方、ｊ≦ｙ_ｔ２であれば、ステップＳ１２２０に戻る。 In step S1223, the CPU 101 adds 1 to the value of the variable j. Next, in step S1224, it compares the value of the variable j and _{y t2.} As a result, if j> y _t2 , the process proceeds to step S1225. On the other hand, if j ≦ y _t2 , the process returns to step S1220.

ステップＳ１２２５〜Ｓ１２３２では、ＣＰＵ１０１は、新しいトリミング領域の右端のＸ座標ｘ”_ｔ２を決定する。 In steps S1225 to S1232, the CPU 101 determines the X coordinate x ″ _t2 of the right end of the new trimming area.

ステップＳ１２２５では、ｘ”_ｔ２にｘ_ｔ２を代入する。次に、ステップＳ１２２６では、変数ｉにｘ_ｔ２を代入する。次に、ステップＳ１２２７では、変数ｊにｙ_ｔ１を代入する。 In step S1225, x _t2 is substituted for x ″ _t2 . Next, in step S1226, x _t2 is substituted for variable i. In step S1227, y _t1 is substituted for variable j.

ステップＳ１２２８では、ＣＰＵ１０１は、歪曲収差補正の補正関数により、座標値（ｘ，ｙ）＝（ｉ，ｊ）の画素の移動先の座標値（ｘ，ｙ）＝（ｉ’，ｊ’）を算出する。ステップＳ１２２９では、ＣＰＵ１０１は、ｘ”_ｔ２とｉ’の値を比較する。この結果、ｘ”_ｔ２＞ｉ’であれば、ステップＳ１２３０に進む。一方、ｘ”_ｔ２≦ｉ’であれば、ステップＳ１２３１に進む。ステップＳ１２３０では、ｘ”_ｔ２にｉ’を代入する。 In step S <b> 1228, the CPU 101 obtains the coordinate value (x, y) = (i ′, j ′) of the movement destination of the pixel with the coordinate value (x, y) = (i, j) by using a correction function for correcting distortion. calculate. In step S1229, the CPU 101 compares x ″ _t2 and the value of i ′. If x ″ _t2 > i ′ as a result, the process proceeds to step S1230. On the other hand, if x ″ _t2 ≦ i ′, the process proceeds to step S1231. In step S1230, i ′ is substituted into x ″ _t2 .

ステップＳ１２３１では、ＣＰＵ１０１は、変数ｊの値に１を追加する。次に、ステップＳ１２３２では、変数ｊとｙ_ｔ２の値を比較する。この結果、ｊ＞ｙ_ｔ２であれば、本処理を終了する。一方、ｊ≦ｙ_ｔ２であれば、ステップＳ１２２８に戻る。 In step S1231, the CPU 101 adds 1 to the value of the variable j. Next, in step S1232, it compares the value of the variable j and _{y t2.} As a result, if j> y _t2 , this process ends. On the other hand, if j ≦ y _t2 , the process returns to step S1228.

上記実施の形態によれば、予めトリミング領域が設定された画像に外縁の形状変化を伴う画像処理を行い、画像処理により変形したトリミング領域に基づいて新しいトリミング領域を算出する。そして、新しいトリミング領域が画像処理された画像からはみ出ないように、トリミング領域の形状を変形させる。これにより、予めトリミング領域が設定された画像が画像処理により外縁形状を変形されても、ユーザが意図した領域をトリミングすることができる。 According to the above-described embodiment, image processing with a change in the shape of the outer edge is performed on an image in which a trimming region is set in advance, and a new trimming region is calculated based on the trimming region deformed by the image processing. Then, the shape of the trimming area is deformed so that the new trimming area does not protrude from the image-processed image. Thus, even if an image in which a trimming area is set in advance has its outer edge shape deformed by image processing, the area intended by the user can be trimmed.

上記実施の形態では、歪曲収差補正で変形したトリミング領域の内接する矩形領域を新しいトリミング領域として用いることで、ユーザの意図した画像を残しながら、トリミング領域が有効画像領域の外に出ないようにした。しかしながら、変形したトリミング領域の外接矩形を新しいトリミング領域として用いて、ユーザの意図した画像の範囲を完全に残すようにしてもよい。 In the above-described embodiment, by using a rectangular area inscribed in the trimming area deformed by the distortion correction as a new trimming area, the trimming area does not go out of the effective image area while leaving the image intended by the user. did. However, the circumscribed rectangle of the deformed trimming area may be used as a new trimming area to completely leave the image range intended by the user.

また、単純に変形したトリミング領域の内接又は外接をとるのではなく、元のトリミング領域のアスペクト比を保ちつつ内接又は外接をとってもよい。 In addition, instead of taking the inscribed or circumscribed area of the trimmed area simply deformed, the inscribed or circumscribed area may be taken while maintaining the aspect ratio of the original trimmed area.

また、変形したトリミング領域の内部に、元のトリミング領域を平行移動し、平行移動したトリミング領域を新しいトリミング領域としてもよい。 Further, the original trimming area may be translated into the deformed trimming area, and the translated trimming area may be set as a new trimming area.

上記実施の形態では、トリミング領域を変形する際、歪曲収差補正後の画像の外縁の形状に内接する矩形領域を有効画像領域とし、トリミング領域が有効画像領域に完全に含まれるようにした。しかしながら、図１２に示すように、トリミング領域の形状によっては、有効画像領域からはみ出していても、歪曲収差補正後の画像の内部に含まれる場合がある。そのような場合は、有効画像領域からはみ出すように、トリミング領域を変形してもよい。 In the above embodiment, when the trimming area is deformed, the rectangular area inscribed in the shape of the outer edge of the image after distortion correction is set as the effective image area, and the trimming area is completely included in the effective image area. However, as shown in FIG. 12, depending on the shape of the trimming area, it may be included in the image after distortion correction even if it protrudes from the effective image area. In such a case, the trimming area may be deformed so as to protrude from the effective image area.

また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。 The object of the present invention is achieved by executing the following processing. That is, a storage medium that records a program code of software that realizes the functions of the above-described embodiments is supplied to a system or apparatus, and a computer (or CPU, MPU, etc.) of the system or apparatus is stored in the storage medium. This is the process of reading the code. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code and the storage medium storing the program code constitute the present invention.

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。 Moreover, the following can be used as a storage medium for supplying the program code. For example, floppy (registered trademark) disk, hard disk, magneto-optical disk, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, DVD + RW, magnetic tape, nonvolatile memory card, ROM or the like. Alternatively, the program code may be downloaded via a network.

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。 Further, the present invention includes a case where the function of the above-described embodiment is realized by executing the program code read by the computer. In addition, an OS (operating system) running on the computer performs part or all of the actual processing based on an instruction of the program code, and the functions of the above-described embodiments are realized by the processing. Is also included.

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。 Furthermore, a case where the functions of the above-described embodiment are realized by the following processing is also included in the present invention. That is, the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on the instruction of the program code, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing.

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現する場合も含まれる。この場合、上記プログラムは、該プログラムを記憶した記憶媒体から直接、又はインターネット、商用ネットワーク、若しくはローカルエリアネットワーク等に接続された不図示の他のコンピュータやデータベース等からダウンロードすることにより供給される。 Further, the present invention includes a case where the functions of the above-described embodiments are realized by executing the program code read by the computer. In addition, there is a case where the OS running on the computer performs part or all of the actual processing based on the instruction of the program code, and the functions of the above-described embodiments are realized by the processing. In this case, the program is supplied by downloading directly from a storage medium storing the program or from another computer or database (not shown) connected to the Internet, a commercial network, a local area network, or the like.

本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。1 is a block diagram illustrating a configuration example of an image processing apparatus according to a first embodiment of the present invention. 図１の画像処理装置１におけるＧＵＩの一例を示す図である。FIG. 2 is a diagram illustrating an example of a GUI in the image processing apparatus 1 in FIG. 1. 歪曲収差補正実行ボタン押下時に実行される歪曲収差補正を含む処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process including the distortion aberration correction performed when the distortion aberration correction execution button is pressed. トリミング領域の情報の一例を示す図である。It is a figure which shows an example of the information of a trimming area | region. 歪曲収差補正前後の画像とトリミング領域の変化を示す図である。It is a figure which shows the image before and behind distortion correction, and the change of a trimming area | region. 図３におけるステップＳ６０６のトリミング領域変形処理の詳細を示すフローチャートである。FIG. 4 is a flowchart illustrating details of a trimming region deformation process in step S606 in FIG. 3. FIG. 本発明の第２の実施形態における歪曲収差補正を含む処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process including the distortion aberration correction in the 2nd Embodiment of this invention. 第２の実施形態における新しいトリミング領域の取得方法を表す図である。It is a figure showing the acquisition method of the new trimming area | region in 2nd Embodiment. 図７におけるステップＳ９０６の新しいトリミング領域の算出処理の詳細を示すフローチャートである（その１）。FIG. 8 is a flowchart showing details of a new trimming area calculation process in step S906 in FIG. 7 (No. 1). 図７におけるステップＳ９０６の新しいトリミング領域の算出処理の詳細を示すフローチャートである（その２）。FIG. 8 is a flowchart showing details of a new trimming area calculation process in step S906 in FIG. 7 (part 2). 歪曲収差補正後のトリミング領域と新しいトリミング領域の変化を示す図である。It is a figure which shows the change of the trimming area | region after distortion aberration correction, and a new trimming area | region. 歪曲収差補正後にトリミング領域が変形して有効画像領域からはみ出ても良い場合の一例を示す図である。It is a figure which shows an example in case a trimming area | region may deform | transform and may protrude from an effective image area | region after distortion aberration correction. 歪曲収差補正した画像の一例を示す図であり、（ａ）は樽形に歪んだ画像を補正した場合、（ｂ）は糸巻形に歪んだ画像を補正した場合である。It is a figure which shows an example of the image which carried out distortion aberration correction, (a) is a case where the image distorted in the barrel shape is corrected, (b) is the case where the image distorted in the pincushion shape is corrected. 歪曲収差補正時の問題点を説明するための図である。It is a figure for demonstrating the problem at the time of distortion aberration correction.

符号の説明Explanation of symbols

１画像処理装置
１０１ＣＰＵ
１０２一次記憶装置
１０３二次記憶装置
１０４入力デバイス
１０５出力デバイス
１０６読込デバイス
１０７レンズ特性データ供給部
４０１画像表示部
４０２トリミング実行ボタン
４０３歪曲収差補正実行ボタン
４０４リセットボタン
４０５終了ボタン 1 Image processing apparatus 101 CPU
102 Primary storage device 103 Secondary storage device 104 Input device 105 Output device 106 Reading device 107 Lens characteristic data supply unit 401 Image display unit 402 Trimming execution button 403 Distortion correction execution button 404 Reset button 405 End button

Claims

ユーザーの指示に応じて画像のトリミング対象であるトリミング領域を設定する設定手段と、
前記トリミング領域が設定された後に、前記画像に対して、前記画像を撮影する際に用いたレンズの歪曲収差に起因する歪みを補正するために形状を変化させる補正を行い、かつ、形状を変化させた画像に内接する矩形領域に相当する有効画像領域における画像を出力する歪曲補正処理を行う画像処理手段と、
前記画像に対して前記歪曲補正処理を行うことにより形状を変化させた後の前記トリミング領域が、前記有効画像領域からはみ出すか否かを判定する判定手段と、
前記判定手段によってはみ出すと判定された場合は、前記歪曲補正処理が行われることにより形状を変化させた後の前記トリミング領域の画像が、前記有効画像領域に含まれるように、当該トリミング領域を移動する、および、変倍することの少なくともいずれかを行う変更手段とを備えることを特徴とする画像処理装置。 And setting means to set the trimming area which is trimmed target image in response to user instructions,
After said trimming area is set, with respect to the image, it performs a correction to change the shape in order to correct the distortion due to the distortion of the lens used when taking the image, and change shape Image processing means for performing distortion correction processing for outputting an image in an effective image area corresponding to a rectangular area inscribed in the image ,
The trimming area after changing the shape by performing the distortion correction process on the image, a determination unit configured to determine whether to run-off from the effective image area,
If it is determined by the determination means that the trimming area is moved so that the image of the trimming area after the shape is changed by performing the distortion correction processing is included in the effective image area An image processing apparatus comprising: changing means that performs at least one of scaling and scaling .

前記画像を表示する画像表示手段を更に備え、Further comprising image display means for displaying the image,
前記設定手段は、前記画像表示手段に表示された画像に対して前記トリミング領域を設定することを特徴とする請求項１に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the setting unit sets the trimming region for an image displayed on the image display unit.

ユーザーの指示に応じて画像のトリミング対象である第１のトリミング領域を設定する設定手段と、
前記第１のトリミング領域が設定された後に、前記画像に対して、前記画像を撮影する際に用いたレンズの歪曲収差に起因する歪みを補正するために形状を変化させる補正を行い、かつ、形状を変化させた画像に内接する矩形領域に相当する有効画像領域における画像を出力する歪曲補正処理を行う画像処理手段と、
前記画像に対して前記歪曲補正処理を行うことにより形状を変化させた後の前記第１のトリミング領域に内接または外接する第２のトリミング領域を算出する算出手段と、
前記第２のトリミング領域が、前記有効画像領域からはみ出すか否かを判定する判定手段と、
前記判定手段によってはみ出すと判定された場合は、前記第２のトリミング領域の画像が、前記有効画像領域に含まれるように、前記第２のトリミング領域を移動する、および、変倍することの少なくともいずれかを行う変更手段とを備えることを特徴とする画像処理装置。 Setting means for setting a first trimming area that is a target of image trimming according to a user instruction;
After the first trimming area is set, the image is corrected to change its shape in order to correct distortion caused by distortion of a lens used when the image is captured, and Image processing means for performing distortion correction processing for outputting an image in an effective image area corresponding to a rectangular area inscribed in the image whose shape has been changed;
Calculating means for calculating a second trimming area that is inscribed or circumscribed to the first trimming area after the shape is changed by performing the distortion correction processing on the image;
Determination means for determining whether or not the second trimming area protrudes from the effective image area;
If it is determined by the determination means that the second trimming area is included in the effective image area, the second trimming area is moved and scaled so that the image of the second trimming area is included in the effective image area. An image processing apparatus comprising: changing means for performing any of the above .

前記画像を表示する画像表示手段を更に備え、
前記設定手段は、前記画像表示手段に表示された画像に対して前記第１のトリミング領域を設定することを特徴とする請求項３に記載の画像処理装置。 Further comprising image display means for displaying the image,
The image processing apparatus according to claim 3 , wherein the setting unit sets the first trimming region for an image displayed on the image display unit .

ユーザーの指示に応じて画像のトリミング対象であるトリミング領域を設定する設定工程と、
前記トリミング領域が設定された後に、前記画像に対して、前記画像を撮影する際に用いたレンズの歪曲収差に起因する歪みを補正するために形状を変化させる補正を行い、かつ、形状を変化させた画像に内接する矩形領域に相当する有効画像領域における画像を出力する歪曲補正処理を行う画像処理工程と、
前記画像に対して前記歪曲補正処理を行うことにより形状を変化させた後の前記トリミング領域が、前記有効画像領域からはみ出すか否かを判定する判定工程と、
前記判定工程においてはみ出すと判定された場合は、前記歪曲補正処理が行われることにより形状を変化させた後の前記トリミング領域の画像が、前記有効画像領域に含まれるように、当該トリミング領域を移動する、および、変倍することの少なくともいずれかを行う変更工程とを備えることを特徴とする画像処理方法。 And configuration process to set the trimming area which is trimmed target image in response to user instructions,
After said trimming area is set, with respect to the image, it performs a correction to change the shape in order to correct the distortion due to the distortion of the lens used when taking the image, and change shape An image processing step for performing distortion correction processing for outputting an image in an effective image area corresponding to a rectangular area inscribed in the image ,
The trimming area after changing the shape by performing the distortion correction process on the image, a determination step of determining whether to protrude from the effective image area,
If it is determined in the determination step that the trimming area is moved , the image of the trimming area after the shape is changed by performing the distortion correction processing is included in the effective image area. And a changing step for performing at least one of scaling and scaling .

ユーザーの指示に応じて画像のトリミング対象である第１のトリミング領域を設定する設定工程と、
前記第１のトリミング領域が設定された後に、前記画像に対して、前記画像を撮影する際に用いたレンズの歪曲収差に起因する歪みを補正するために形状を変化させる補正を行い、かつ、形状を変化させた画像に内接する矩形領域に相当する有効画像領域における画像を出力する歪曲補正処理を行う画像処理工程と、
前記画像に対して前記歪曲補正処理を行うことにより形状を変化させた後の前記第１のトリミング領域に内接または外接する第２のトリミング領域を算出する算出工程と、
前記第２のトリミング領域が、前記有効画像領域からはみ出すか否かを判定する判定工程と、
前記判定工程においてはみ出すと判定された場合は、前記第２のトリミング領域の画像が、前記有効画像領域に含まれるように、前記第２のトリミング領域を移動する、および、変倍することの少なくともいずれかを行う変更工程とを備えることを特徴とする画像処理方法。 A setting step of setting a first trimming area that is a target of image trimming according to a user instruction;
After the first trimming area is set, the image is corrected to change its shape in order to correct distortion caused by distortion of a lens used when the image is captured, and An image processing step for performing distortion correction processing for outputting an image in an effective image area corresponding to a rectangular area inscribed in the image whose shape has been changed;
A calculation step of calculating a second trimming area that is inscribed or circumscribed to the first trimming area after the shape is changed by performing the distortion correction processing on the image;
A determination step of determining whether or not the second trimming region protrudes from the effective image region;
If it is determined in the determination step that at least the second trimming area is moved and scaled so that the image of the second trimming area is included in the effective image area An image processing method comprising: a changing step for performing any one of the steps.

請求項５又は６に記載の画像処理方法をコンピュータに実行させるためのコンピュータに読み取り可能なプログラム。 A computer-readable program for causing a computer to execute the image processing method according to claim 5 .