JP6746390B2

JP6746390B2 - Image processing method and image processing apparatus

Info

Publication number: JP6746390B2
Application number: JP2016118063A
Authority: JP
Inventors: 小林　悟; 悟小林
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-06-14
Filing date: 2016-06-14
Publication date: 2020-08-26
Anticipated expiration: 2036-06-14
Also published as: JP2017224940A

Description

本発明は、画像処理装置に関し、特に、画像のズーム倍率を補正するための技術に関する。 The present invention relates to an image processing device, and more particularly to a technique for correcting a zoom magnification of an image.

ビデオカメラやスチルカメラ等の撮像装置には、光学系のズーム倍率を変化させるズーム操作を行うためのズーム操作部が備えられている。ビデオカメラでは、一般的にズームレバーが採用され、ズームレバーを押下すると電動でズームレンズが動作し、ズームインやズームアウトをしながら動画を撮像することができる。一方、一眼レフカメラでは、一般的にズームリングが採用され、ズームリングを手動で回転させるとズームインやズームアウトをしながら動画を撮像することができる。更に、スマートフォンなどのカメラ機能付き携帯電話では、タッチパネル上で２本の指を押し広げるように動かすピンチアウト操作をすることで、ユーザの指に合わせて画像を拡大または縮小する電子ズームをしながら動画を撮像することができる。 An image pickup apparatus such as a video camera or a still camera is provided with a zoom operation unit for performing a zoom operation for changing a zoom magnification of an optical system. A video camera generally employs a zoom lever, and when the zoom lever is pressed, the zoom lens operates electrically, and a moving image can be captured while zooming in or out. On the other hand, a single-lens reflex camera generally employs a zoom ring, and by manually rotating the zoom ring, a moving image can be captured while zooming in or out. Further, in a mobile phone with a camera function such as a smart phone, a pinch-out operation of pushing two fingers apart on a touch panel is performed to perform electronic zoom for enlarging or reducing an image according to the user's finger. A moving image can be captured.

しかしながら、これらの操作を行う際に、ズーム速度が不均一となってしまうことがある。例えば、ズームレバーを押下している途中で指が離れてしまうと、途中の期間だけズーム動作がなされない動画となってしまうことがある。また、ズームリングを手動で回転させる際は、回転速度が安定せず、ズーム速度が不均一な動画となってしまう場合がある。さらに、ピンチアウトを均一の速度でゆっくりと行うことは容易ではなく、やはりズーム速度が不均一な動画となってしまう場合がある。 However, when performing these operations, the zoom speed may become uneven. For example, if the finger is released while the zoom lever is being pressed, the moving image may not be zoomed during the halfway period. Further, when the zoom ring is manually rotated, the rotation speed may not be stable and the zoom speed may become non-uniform. Furthermore, it is not easy to perform pinch out slowly at a uniform speed, and a zoom speed may be non-uniform even in a moving image.

そこで、ズーム速度が不均一な動画に対して、ズーム速度を安定化し、滑らかな動画を生成する技術が開示されている。特許文献１では、ズーム速度が不均一な動画に対して、各フレーム画像を拡大又は縮小することにより、ズーム速度が安定した滑らかな動画を生成する技術が開示されている。 Therefore, a technique for stabilizing the zoom speed and generating a smooth moving image for a moving image with a non-uniform zoom speed is disclosed. Patent Document 1 discloses a technique for generating a smooth moving image with a stable zoom speed by enlarging or reducing each frame image for a moving image with a non-uniform zoom speed.

特開２０１１−４０９４５号公報JP, 2011-40945, A

ズーム速度が不均一な動画に対し、各フレーム画像を拡大又は縮小することにより、ズーム速度が安定した滑らかな動画を生成する際に、各フレーム画像を拡大する拡大率が高過ぎると画像がぼけてしまうといった課題がある。また、各フレーム画像を縮小する縮小率が高過ぎると、生成したい出力画像サイズよりも小さくなってしまい、画像情報が欠落する領域が発生してしまうといった課題がある。 When a smooth video with a stable zoom speed is generated by enlarging or reducing each frame image for a video with a non-uniform zoom speed, the image will be blurred if the enlargement ratio for enlarging each frame image is too high. There is a problem that it will end. Further, if the reduction rate for reducing each frame image is too high, the size of the output image becomes smaller than the output image size to be generated, and there is a problem that an area where image information is lost occurs.

前述の特許文献１では、各フレーム画像を拡大又は縮小し滑らかな動画を生成する例について記載されているが、拡大する際の画像のぼけや縮小する際の画像情報の欠落領域を考慮した滑らか動画の生成については言及がない。 The above-mentioned Patent Document 1 describes an example of enlarging or reducing each frame image to generate a smooth moving image, but smoothing in consideration of a blur of an image when enlarging and a missing region of image information when reducing. There is no mention of video generation.

本発明は、上記の問題点を鑑みてなされたものであり、画質の低下を抑制しつつ、ズーム速度の安定性を改善した動画を生成することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to generate a moving image in which stability of zoom speed is improved while suppressing deterioration of image quality.

本発明は、第１のズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像のズーム倍率の変化を表示する表示ステップと、前記複数の画像を再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小の処理を行わせる指示ステップと、を有し、前記複数の画像の各々において、前記拡大または縮小の処理の前のズーム倍率と前記拡大または縮小の処理の後のズーム倍率との違いが、予め設定した倍率の違いの範囲内であることを特徴とする画像処理方法を提供する。 The present invention provides a display step of displaying a change in zoom magnification of at least a part of a plurality of images captured while performing a first zoom operation, and a smooth change in zoom magnification when reproducing the plurality of images. so as to have an indication step to I line enlarged or reduced processing and, in each of the plurality of images, after processing the previous zoom magnification and the enlargement or reduction processing of the enlargement or reduction The image processing method is characterized in that the difference from the zoom magnification is within the range of the difference in magnification set in advance.

本発明によれば、画質の低下を抑制しつつ、ズーム速度の安定性を改善した動画を生成することができる。 According to the present invention, it is possible to generate a moving image with improved zoom speed stability while suppressing deterioration of image quality.

第１の実施形態におけるデジタルカメラの構造を示す図である。It is a figure which shows the structure of the digital camera in 1st Embodiment. 第１の実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。6 is a flowchart showing a process for improving the zoom stability of a moving image in the first embodiment. 第１の実施形態における補正ズーム倍率の算出方法を説明するための図である。FIG. 6 is a diagram for explaining a method of calculating a corrected zoom magnification according to the first embodiment. 第１の実施形態における仮補正ズーム倍率を調整して補正ズーム倍率を求める方法を説明するための図である。FIG. 6 is a diagram for explaining a method for obtaining a corrected zoom magnification by adjusting the temporary corrected zoom magnification in the first embodiment. 第１の実施形態における補正ズーム倍率の算出方法を示すフローチャートである。6 is a flowchart illustrating a method for calculating a corrected zoom magnification according to the first embodiment. 第１の実施形態における時刻別の最終補正画像を説明するための図である。It is a figure for demonstrating the final correction image for every time in a 1st embodiment. 第２の実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。9 is a flowchart showing a process for improving the zoom stability of a moving image in the second embodiment. 第２の実施形態におけるユーザが補正ズーム倍率を指定する方法について説明するための図である。FIG. 9 is a diagram for explaining a method in which a user specifies a corrected zoom magnification according to the second embodiment. 本発明における補正ズーム倍率を平滑化にする調整を説明するための図である。It is a figure for demonstrating the adjustment which smooths a correction zoom magnification in this invention.

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、以下の説明では、デジタルカメラを例にあげて説明を行うが、デジタルカメラに限定されるわけでなく、ズーム動作を行って撮像された動画を取得可能で、画像に対して拡大および縮小処理を行うことができる画像処理装置であれば、本発明を適用できる。また、以下では、ズームイン（望遠側へのズーム動作）の場合について説明するが、ズームアウト（広角側へのズーム動作）の場合にも適用することができる。また、ここでは、動画撮像時にユーザがズームリングを操作することによってズームレンズが駆動された場合の例について説明を行うが、これに限定されるわけではない。上述のように、ズームレバーの操作によってズームレンズの駆動を行う場合や、ピンチアウトの操作によって画像を拡大または縮小処理する電子ズームを行う場合にも、本発明を適用することができる。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, a digital camera will be described as an example, but the present invention is not limited to a digital camera, and a moving image captured by performing a zoom operation can be acquired, and the image can be enlarged or reduced. The present invention can be applied to any image processing apparatus capable of performing processing. Further, in the following, the case of zooming in (zoom operation to the telephoto side) will be described, but it can be applied to the case of zooming out (zoom operation to the wide angle side). Further, here, an example in which the zoom lens is driven by the user operating the zoom ring at the time of capturing a moving image will be described, but the present invention is not limited to this. As described above, the present invention can be applied to the case where the zoom lens is driven by operating the zoom lever and the case where electronic zoom is performed to enlarge or reduce the image by operating the pinch out.

（第１の実施形態）
デジタルカメラ１００は、静止画および動画を撮像することができ、かつ、撮像中、ズーム動作が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。 (First embodiment)
The digital camera 100 is capable of capturing still images and moving images, and is capable of zooming during capturing. Further, the digital camera 100 can perform enlargement processing or reduction processing on an image captured and stored or an image input from the outside.

図１は本実施形態に係るデジタルカメラの構造を示すブロック図である。 FIG. 1 is a block diagram showing the structure of a digital camera according to this embodiment.

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。ユーザによる指令も、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、予めの設定に基づいて、画像処理の指令を出す。 The control unit 101 is, for example, a signal processor such as a CPU or MPU, and controls each part of the digital camera 100 while reading a program stored in a ROM 105 described later in advance. A command from the user is also input to the digital camera 100 by the operation unit 110 described later, and reaches each part of the digital camera 100 through the control unit 101. For example, as will be described later, the control unit 101 issues a command to the later-described image capturing unit 104 regarding the start and end of image capturing. Alternatively, an image processing command is issued to the image processing unit 107, which will be described later, based on preset settings.

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の合焦位置を調整する。 The drive unit 102 is configured by a motor or the like, and mechanically operates an optical system 103 described below under the command of the control unit 101. For example, based on a command from the control unit 101, the drive unit 102 moves the position of the focus lens included in the optical system 103 to adjust the focus position of the optical system 103.

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。本実施形態では、光学系１０３によるズーム動作は、前述したように、操作部１１０に含まれるズームリングをユーザが操作することによって行われる。光学系１０３には、ズームレンズの位置を検知するセンサが設けられており、このセンサの出力が制御部１０１に送信される。そのため、ユーザがズームリングを操作することでズーム動作を行った場合であっても、このセンサの出力に基づいて、制御部１０１は光学系１０３のズーム倍率を把握することができる。 The optical system 103 includes a zoom lens, a focus lens, a diaphragm, and the like. The diaphragm is a mechanism for adjusting the amount of transmitted light. In the present embodiment, the zoom operation by the optical system 103 is performed by the user operating the zoom ring included in the operation unit 110, as described above. The optical system 103 is provided with a sensor that detects the position of the zoom lens, and the output of this sensor is transmitted to the control unit 101. Therefore, even when the user performs a zoom operation by operating the zoom ring, the control unit 101 can grasp the zoom magnification of the optical system 103 based on the output of this sensor.

撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、動画を撮像することができる。 The imaging unit 104 is a photoelectric conversion element and performs photoelectric conversion for converting an incident optical signal into an electric signal. For example, a CCD sensor, a CMOS sensor, or the like can be applied to the image pickup unit 104. The image capturing unit 104 is provided with a moving image capturing mode, and can capture a moving image using a plurality of temporally consecutive images as each frame of the moving image.

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。 The ROM 105 is a read-only non-volatile memory as a recording medium, and stores, in addition to the operation program of each block included in the digital camera 100, parameters necessary for the operation of each block. The RAM 106 is a rewritable volatile memory and is used as a temporary storage area of data output in the operation of each block included in the digital camera 100.

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。特に、画像処理部１０７が、撮像部１０４または後述する内蔵メモリ１０９に保存されている画像に対して、電子ズームで拡大処理または縮小処理をすることができる。 The image processing unit 107 performs various image processing such as white balance adjustment, color interpolation, and filtering on an image output from the image capturing unit 104 or image signal data recorded in a built-in memory 109 described later. .. In addition, the image signal data captured by the image capturing unit 104 is compressed according to a standard such as JPEG. In particular, the image processing unit 107 can perform enlargement processing or reduction processing by electronic zoom on an image stored in the imaging unit 104 or a later-described internal memory 109.

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。 The image processing unit 107 is composed of an integrated circuit (ASIC) that is a collection of circuits that perform specific processing. Alternatively, the control unit 101 may perform some or all of the functions of the image processing unit 107 by processing according to the program read from the ROM 105. When the control unit 101 has all the functions of the image processing unit 107, it is not necessary to have the image processing unit 107 as hardware.

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。 The display unit 108 is an image temporarily stored in the RAM 106, an image stored in a built-in memory 109 described later, a liquid crystal display or an organic EL display for displaying a setting screen of the digital camera 100, and the like.

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。 The built-in memory 109 is a place for recording an image captured by the image capturing unit 104, an image processed by the image processing unit 107, and the like. A memory card or the like may be used instead of the built-in memory.

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。また、操作部１１０は、光学系１０３に付属しているズームリングなども含む。ユーザによってズームリングの操作が行われると、このズームリングに連結された機構によって、制御部１０１を介さずに、光学系１０３に含まれるズームレンズの位置が変更される。 The operation unit 110 is, for example, a button or switch attached to the digital camera 100, a key, a mode dial, or the like, or a touch panel also used as the display unit 108. The command from the user reaches the control unit 101 via the operation unit 110. The operation unit 110 also includes a zoom ring attached to the optical system 103. When the user operates the zoom ring, the position of the zoom lens included in the optical system 103 is changed without the intervention of the control unit 101 by the mechanism connected to the zoom ring.

図２は本実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。図３は、補正ズーム倍率の算出方法を説明するための図である。この図２および図３を用いて、本実施形態におけるデジタルカメラの動作について説明する。 FIG. 2 is a flowchart showing a process for improving the zoom stability of a moving image in this embodiment. FIG. 3 is a diagram for explaining a method of calculating the corrected zoom magnification. The operation of the digital camera according to the present embodiment will be described with reference to FIGS. 2 and 3.

ユーザがズームリングを動かしてズーム動作を行った動画を撮像、あるいは、このように撮像された動画を内蔵メモリ１０９から読み出すと、制御部１０１は、図２のフローチャートに示す処理を始める。動画の撮像時には、動画のフレームごとに制御部１０１が検知したズーム倍率の情報が、動画ともに内蔵メモリ１０９に格納されるものとする。なお、図２に示す処理は、撮像の直後に行ってもよいし、撮像した動画の再生時に行ってもよい。 When the user moves the zoom ring to capture a moving image that has been zoomed or reads the captured moving image from the internal memory 109, the control unit 101 starts the process illustrated in the flowchart of FIG. 2. At the time of capturing a moving image, it is assumed that the zoom magnification information detected by the control unit 101 for each frame of the moving image is stored in the internal memory 109 together with the moving image. Note that the processing shown in FIG. 2 may be performed immediately after the image capturing, or may be performed at the time of playing the captured moving image.

ステップＳ２０１において、内蔵メモリ１０９に保存されている撮像時の撮像ズーム倍率を取得する。なお、撮像時に光学系１０３による光学ズームのみならず、画像処理部１０７において電子ズームが行われた場合は、光学ズームによるズーム倍率と電子ズームによるズーム倍率を掛け合わせたズーム倍率を撮像ズーム倍率としてフレームごとに取得する。 In step S201, the imaging zoom magnification at the time of imaging stored in the built-in memory 109 is acquired. Note that, when electronic zoom is performed in the image processing unit 107 in addition to the optical zoom by the optical system 103 at the time of image capturing, the zoom magnification obtained by multiplying the zoom magnification by the optical zoom and the zoom magnification by the electronic zoom is set as the imaging zoom magnification. Get for each frame.

ステップＳ２０２において、制御部１０１が、ズーム動作期間を取得する。以下では、図３（ａ）を参照しながら説明する。図３（ａ）は、撮像ズーム倍率と時間との関係を示す一例である。折線３０１で示した動作では、ユーザは時刻ｔ０から時刻ｔ１までの期間、および、時刻ｔ３から時刻ｔ４までの期間では、ズームリングを操作してズーム動作を行っている。ユーザは、時刻ｔ１から時刻ｔ３までの期間では、ズームリングを回しておらず、撮像ズーム倍率が変化していない。ここで、時刻ｔ１から時刻ｔ３までの時間が、予め定められた時間の閾値以下の場合、時刻ｔ０から時刻ｔ４の期間を、１つのズーム動作期間として取得する。なお、時刻ｔ１から時刻ｔ３までの時間が、予め定められた時間の閾値より大きい場合には、ユーザが意図的にズームリングを回していないものと判断し、この時間はズーム動作期間から除外する。ここで、誤動作など微小なズームの変動による影響をなくすため、撮像ズーム倍率の変動が予め定められた閾値以上の時のみズーム動作期間を取得するようにしてもよい。 In step S202, the control unit 101 acquires the zoom operation period. Hereinafter, description will be given with reference to FIG. FIG. 3A is an example showing the relationship between the imaging zoom magnification and time. In the operation indicated by the broken line 301, the user operates the zoom ring to perform the zoom operation during the period from time t0 to time t1 and the period from time t3 to time t4. The user has not rotated the zoom ring during the period from time t1 to time t3, and the imaging zoom magnification has not changed. Here, when the time from time t1 to time t3 is less than or equal to a predetermined time threshold, the period from time t0 to time t4 is acquired as one zoom operation period. When the time from time t1 to time t3 is larger than the threshold value of the predetermined time, it is determined that the user has not intentionally turned the zoom ring, and this time is excluded from the zoom operation period. .. Here, in order to eliminate the influence of a small zoom variation such as a malfunction, the zoom operation period may be acquired only when the variation of the imaging zoom magnification is equal to or more than a predetermined threshold.

ユーザの操作によるズーム動作が行われている際に、図３（ａ）の時刻ｔ１から時刻ｔ３までの期間のように、ズーム動作が一時的に停止してしまうことがしばしば起きる。そのため、制御部１０１は、停止期間が短い場合にはその前後のズーム動作を１つのズーム動作として統合し、一連のズーム動作が行われた期間の全体（時刻ｔ０から時刻ｔ４まで）を、ズーム動作期間として取得する。 While the zoom operation is being performed by the user's operation, the zoom operation often stops temporarily as in the period from time t1 to time t3 in FIG. Therefore, when the stop period is short, the control unit 101 integrates the zoom operations before and after the stop period into one zoom operation, and zooms the entire period (from time t0 to time t4) during which the series of zoom operations is performed. Acquire as the operation period.

ステップＳ２０３において、制御部１０１は、ズーム動作期間に基づき、仮補正ズーム倍率を算出する。仮補正ズーム倍率の算出方法について、図３（ｂ）を参照して説明する。仮補正ズーム倍率の算出の一例としては、制御部１０１は、ズーム動作期間において、ズーム倍率の変化が一定になるように仮補正ズーム倍率を算出する。図３（ｂ）における直線３０２は、仮補正ズーム倍率の一例を示している。この仮補正ズーム倍率は、つぎのステップＳ２０５とＳ２０６とでの補正ズーム倍率の算出と拡大率および縮小率の算出に使われる。 In step S203, the control unit 101 calculates the temporary correction zoom magnification based on the zoom operation period. A method of calculating the temporary correction zoom magnification will be described with reference to FIG. As an example of the calculation of the temporary correction zoom magnification, the control unit 101 calculates the temporary correction zoom magnification so that the change of the zoom magnification becomes constant during the zoom operation period. A straight line 302 in FIG. 3B indicates an example of the temporary correction zoom magnification. This temporary correction zoom magnification is used for calculation of the correction zoom magnification and calculation of the enlargement ratio and reduction ratio in the next steps S205 and S206.

なお、図３に示す仮補正ズーム倍率は、時間に比例しているが、これは一例にすぎず、必ずしもズーム倍率の変化が一定になるように仮補正ズーム倍率を算出する必要はない。仮補正ズーム倍率は、撮像ズーム倍率の変化にある程度沿うような曲線としても良く、撮像時のズーム倍率よりもズーム倍率の変動がなだらかになり、ズーム倍率の安定性が改善されればよい。 The temporary correction zoom magnification shown in FIG. 3 is proportional to time, but this is merely an example, and it is not always necessary to calculate the temporary correction zoom magnification so that the change in the zoom magnification becomes constant. The temporary correction zoom magnification may be a curve that follows the change of the imaging zoom magnification to some extent, and the fluctuation of the zoom magnification becomes gentler than the zoom magnification at the time of imaging, and the stability of the zoom magnification may be improved.

ズーム動作で画像の画質が悪くならないようにするためには、拡大処理および縮小処理の倍率の範囲を制限し、拡大処理および縮小処理の倍率を範囲内に納める必要がある。ステップＳ２０４において、制御部１０１は、ズーム倍率の範囲の上限および下限として、フレームごとに最小倍率および最大倍率を算出する。以下では、最小倍率と最大倍率との算出方法について、図４を用いて説明する。図４は仮補正ズーム倍率を調整して補正ズーム倍率を求める方法を説明するための図である。 In order to prevent the image quality of the image from being deteriorated by the zoom operation, it is necessary to limit the range of the magnification of the enlargement process and the reduction process and keep the magnification of the enlargement process and the reduction process within the range. In step S204, the control unit 101 calculates the minimum magnification and the maximum magnification for each frame as the upper limit and the lower limit of the zoom magnification range. Hereinafter, a method of calculating the minimum magnification and the maximum magnification will be described with reference to FIG. FIG. 4 is a diagram for explaining a method of obtaining the corrected zoom magnification by adjusting the temporary corrected zoom magnification.

まず、最大倍率の算出について説明する。図４に示した画像の全体は、撮像部１０４が撮像し、画像処理部１０７に入力された画像である。これに対し、実際に表示部１０８がユーザに表示する範囲は、画像全体よりも小さいサイズの図４の領域４００の部分のみである。この表示部１０８にて表示される部分は、制御部１０１により、予め定められた設定に基づいて指定されており、この指定されたサイズの領域４００に相当する画像をズーム倍率補正画像という。ズーム倍率補正画像は、前述する電子ズーム動作にも影響され、電子ズームで画像を拡大して撮像されたときには、それに応じて、画像処理部１０７に入力された画像全体に対するズーム倍率補正画像の領域４００が小さくなる。制御部１０１が、領域４００の画像データを用いて、画像を拡大する際に生じる画像のぼけが許容できる最大倍率を算出する。具体的には、領域４００において、微分フィルタやソーベルフィルタに代表されるエッジ検出フィルタ処理により算出したエッジ強度に基づき、（式１）を用いてぼけが許容できる最大倍率を算出する。なお、ａおよびｂは定数である。
最大倍率＝（ａ÷エッジ強度＋ｂ）・・・（式１） First, the calculation of the maximum magnification will be described. The entire image shown in FIG. 4 is an image captured by the image capturing unit 104 and input to the image processing unit 107. On the other hand, the range that the display unit 108 actually displays to the user is only the area 400 of FIG. 4 that is smaller than the entire image. The portion displayed on the display unit 108 is designated by the control unit 101 based on a preset setting, and an image corresponding to the region 400 of the designated size is called a zoom magnification correction image. The zoom magnification correction image is also affected by the electronic zoom operation described above, and when the image is magnified and captured by the electronic zoom, the area of the zoom magnification correction image corresponding to the entire image input to the image processing unit 107 accordingly. 400 becomes smaller. The control unit 101 uses the image data in the area 400 to calculate the maximum magnification that allows blurring of the image that occurs when the image is enlarged. Specifically, in the area 400, the maximum magnification that allows blurring is calculated using (Equation 1) based on the edge strength calculated by the edge detection filter processing represented by the differential filter or the Sobel filter. In addition, a and b are constants.
Maximum magnification=(a÷edge strength+b) (Equation 1)

エッジ強度が小さい場合は、平坦部から構成されている画像であるため、拡大してもぼけが目立ち難い。そのため、最大倍率を高く設定する。逆に、逆にエッジ強度が大きい場合は、テクスチャ部から構成されている画像であるため、拡大するとぼけが目立ち易いため、最大倍率を低く設定する。 When the edge strength is low, the image is composed of flat portions, so blurring is not noticeable even when enlarged. Therefore, the maximum magnification is set high. On the contrary, when the edge strength is large, the image is composed of the texture portion, and blurring is apt to be noticeable when the image is enlarged. Therefore, the maximum magnification is set low.

次に、最小倍率の算出方法について、図４を用いて説明する。画像全体がズーム倍率補正画像データの画像サイズより小さくなってしまうと、表示部１０８がユーザに表示する範囲に、画像のない空白領域が生じてしまう。そのため、制御部１０１は、入力画像のサイズがズーム倍率補正画像データのサイズになる縮小率を最小倍率として算出する。式で書くと、次の（式２）になる。
最小倍率＝（ズーム倍率補正画像のサイズ）÷（入力画像のサイズ）・・・（式２） Next, a method of calculating the minimum magnification will be described with reference to FIG. If the entire image becomes smaller than the image size of the zoom magnification correction image data, a blank area with no image will occur in the range displayed by the display unit 108 to the user. Therefore, the control unit 101 calculates the reduction rate at which the size of the input image becomes the size of the zoom magnification correction image data as the minimum magnification. When written in a formula, it becomes the following (Formula 2).
Minimum magnification = (size of zoom magnification corrected image) / (size of input image) ... (Equation 2)

（式２）を用いて計算を行うとき、上記画像の水平のサイズと垂直のサイズの両方において、異なる計算結果が出る場合、どちらか計算結果が大きいほうを最小倍率とする。 When the calculation is performed using (Equation 2), when different calculation results are obtained in both the horizontal size and the vertical size of the image, the larger one of the calculation results is set as the minimum magnification.

制御部１０１は、以上のように、フレームごとに最大倍率および最小倍率を算出する。以下の説明では、仮補正ズーム倍率から、さらに拡大処理と縮小処理と両方を行うときについて説明するが、必ずしも拡大処理および縮小処理の両方を行う必要があるわけではない。拡大処理のみ、または、縮小処理のみを行うとき、ズーム倍率の変化を滑らかにすることができ、かつ、ぼけや空白領域などの問題が生じない限り、どちらかだけを実行してもよい。 As described above, the control unit 101 calculates the maximum magnification and the minimum magnification for each frame. In the following description, the case where both the enlargement processing and the reduction processing are further performed based on the temporary correction zoom magnification will be described, but it is not always necessary to perform both the enlargement processing and the reduction processing. When only the enlargement process or only the reduction process is performed, only one of them may be executed as long as the change in zoom magnification can be smoothed and there is no problem such as blurring or a blank area.

次に、ステップＳ２０５で、制御部１０１は、補正ズーム倍率の算出を行う。以下では、図３と図５とを用いて説明する。図５は、補正ズーム倍率の算出方法を示すフローチャートである。 Next, in step S205, the control unit 101 calculates a corrected zoom magnification. Below, it demonstrates using FIG. 3 and FIG. FIG. 5 is a flowchart showing a method of calculating the corrected zoom magnification.

図５のステップＳ５０１で、制御部１０１が、処理対象フレームが縮小するフレームか拡大するフレームかについて判断する。判断方法としては、制御部１０１が、撮像部１０４から撮像ズーム倍率の情報を取得し、仮補正ズーム倍率と比較する。撮像ズーム倍率よりも仮補正ズーム倍率の方が小さい場合は、処理対象フレームは縮小するフレームとなる。逆に、撮像ズーム倍率よりも仮補正ズーム倍率の方が大きい場合は、処理対象フレームは拡大するフレームとなる。図３（ｂ）を例にすると、時刻ｔ０から時刻ｔ２までに撮像したフレームは縮小するフレームであり、時刻ｔ２から時刻ｔ４までに撮像したフレームは拡大するフレームである。 In step S501 of FIG. 5, the control unit 101 determines whether the processing target frame is a reduced frame or an enlarged frame. As a determination method, the control unit 101 acquires information on the imaging zoom magnification from the imaging unit 104 and compares it with the temporary correction zoom magnification. When the temporary correction zoom magnification is smaller than the imaging zoom magnification, the processing target frame is the frame to be reduced. On the contrary, when the provisional correction zoom magnification is larger than the imaging zoom magnification, the processing target frame is the frame to be enlarged. In the example of FIG. 3B, the frame captured from time t0 to time t2 is a frame to be reduced, and the frame captured from time t2 to time t4 is a frame to be enlarged.

ステップＳ５０１で、制御部１０１が、処理対象フレームが縮小するフレームであると判断した場合、ステップＳ５０２に移行し、処理対象フレームの仮縮小率を算出する。制御部１０１が、仮縮小率を、（式３）に示すように算出する。
仮縮小率＝（仮補正ズーム倍率）÷（撮像ズーム倍率）・・・（式３） When the control unit 101 determines in step S501 that the processing target frame is a frame to be reduced, the control unit 101 proceeds to step S502 and calculates a temporary reduction ratio of the processing target frame. The control unit 101 calculates the temporary reduction rate as shown in (Equation 3).
Temporary reduction rate=(temporary correction zoom magnification)/(imaging zoom magnification) (Equation 3)

ステップＳ５０３において、制御部１０１が、ステップＳ５０２で算出した仮縮小率が最小倍率以上か否かを判定する。ステップＳ５０３において、仮縮小率が最小倍率よりも小さい場合は、ステップＳ５０４に移行する。ステップＳ５０４で、制御部１０１が、仮補正ズーム倍率のズーム開始タイミングを、図３（ｃ）の直線３０３のように、仮縮小率が最小倍率以上になるように、時間的に前に移動させる。 In step S503, the control unit 101 determines whether the temporary reduction ratio calculated in step S502 is equal to or larger than the minimum magnification. If the provisional reduction ratio is smaller than the minimum scale in step S503, the process proceeds to step S504. In step S504, the control unit 101 moves the zoom start timing of the temporary correction zoom magnification forward in time so that the temporary reduction ratio becomes equal to or larger than the minimum magnification, as indicated by a straight line 303 in FIG. ..

ステップＳ５０１で、制御部１０１が、処理対象フレームが縮小するフレームでなく、拡大するフレームであると判断した場合、ステップＳ５１２に移行し、処理対象フレームの仮拡大率を算出する。制御部１０１が、仮拡大率を、（式４）に示すように算出する。
仮拡大率＝（仮補正ズーム倍率）÷（撮像ズーム倍率）・・・（式４） When the control unit 101 determines in step S501 that the frame to be processed is not the frame to be reduced but the frame to be enlarged, the process proceeds to step S512, and the temporary enlargement ratio of the frame to be processed is calculated. The control unit 101 calculates the temporary enlargement ratio as shown in (Equation 4).
Temporary enlargement ratio=(temporary correction zoom magnification)/(imaging zoom magnification) (Equation 4)

なお、仮補正ズーム倍率と撮像ズーム倍率とが等しい場合は、仮拡大率は１となり、画像処理部１０７が、拡大縮小処理を行わない。 When the temporary correction zoom magnification and the imaging zoom magnification are equal, the temporary enlargement ratio is 1, and the image processing unit 107 does not perform the enlargement/reduction processing.

ステップＳ５１３において、制御部１０１が、ステップＳ５１２で算出した仮拡大率が最大倍率以下か否かを判定する。ステップＳ５１３において、仮拡大率が最大倍率よりも大きい場合は、ステップＳ５１４に移行する。ステップＳ５１４で、制御部１０１が、仮補正ズーム倍率のズーム終了タイミングを、図３（ｃ）の直線３０３のように、仮拡大率が最大倍率以下になるように時間的に後に移動させる。 In step S513, the control unit 101 determines whether the temporary enlargement ratio calculated in step S512 is less than or equal to the maximum magnification. In step S513, when the temporary enlargement ratio is larger than the maximum magnification, the process proceeds to step S514. In step S514, the control unit 101 temporally moves the zoom end timing of the temporary correction zoom magnification later so that the temporary enlargement ratio becomes equal to or less than the maximum magnification, as indicated by a straight line 303 in FIG.

前述したような、ズーム開始および終了タイミングを移動させることで、フロー中の処理対象となるフレームのみならず、他のフレームの仮補正ズーム倍率も、適宜調整する。全てのフレームの画像に対して、こうしたフローで処理することによって、各々のフレームの仮補正ズーム倍率が、少しずつ変わっていく。 By moving the zoom start and end timings as described above, not only the frame to be processed in the flow but also the temporary correction zoom magnifications of other frames are adjusted as appropriate. The temporary correction zoom magnification of each frame is gradually changed by processing the images of all the frames by such a flow.

ステップＳ５０５において、制御部１０１が、ズーム動作期間中の全てのフレームに対して、上述したステップＳ５０１乃至５０４または５１４のような処理をしたかどうかを判定する。ステップＳ５０５での判定が成り立たない場合、ステップＳ５０１に戻り、全てのフレームに対して処理が終了するまで繰り返す。全てのフレームに対して前述した処理が終了したとき、それぞれのフレームの画像の仮補正ズーム倍率を、（式３）または（式４）を用いて逆算し、計算の結果を補正ズーム倍率とする。 In step S505, the control unit 101 determines whether or not the processing in steps S501 to 504 or 514 described above has been performed on all the frames during the zoom operation period. If the determination in step S505 does not hold, the process returns to step S501 and is repeated until the processing is completed for all the frames. When the above-described processing is completed for all the frames, the provisional correction zoom magnification of the image of each frame is calculated back using (Equation 3) or (Equation 4), and the calculation result is set as the correction zoom magnification. ..

以上は、ステップＳ２０５での補正ズーム倍率について説明した。 The correction zoom magnification in step S205 has been described above.

ステップＳ２０５で、制御部１０１が、補正ズーム倍率を算出すると、ステップＳ２０６に進み、縮小率および拡大率の算出を行う。縮小率および拡大率の算出は、下記の（式５）と（式６）とに従う。
縮小率＝（補正ズーム倍率）÷（撮像ズーム倍率）・・・（式５）
拡大率＝（補正ズーム倍率）÷（撮像ズーム倍率）・・・（式６） When the control unit 101 calculates the corrected zoom magnification in step S205, the process advances to step S206 to calculate the reduction rate and the enlargement rate. The calculation of the reduction rate and the enlargement rate follows the following (formula 5) and (formula 6).
Reduction ratio = (correction zoom magnification) / (imaging zoom magnification) ... (Equation 5)
Magnification rate = (correction zoom magnification) / (imaging zoom magnification) ... (Equation 6)

ステップＳ２０７で、画像処理部１０７が、制御部１０１の指令の下で、ステップＳ２０６で算出した縮小率または拡大率に基づいて、縮小または拡大の処理を行う。その結果、ステップＳ２０５で算出した補正ズーム倍率まで、画像が拡大または縮小される。 In step S207, the image processing unit 107, under the command of the control unit 101, performs the reduction or enlargement process based on the reduction ratio or the enlargement ratio calculated in step S206. As a result, the image is enlarged or reduced to the corrected zoom magnification calculated in step S205.

ステップＳ２０８で、画像処理部１０７が、ステップＳ２０７で縮小または拡大の処理を行った画像に対して、切り出しの処理を行い、最終補正画像を生成する。以下では、図６を参照しながら、同じ撮像ズーム倍率の画像に対して、異なる画角の画像を切り出すことについて説明する。 In step S208, the image processing unit 107 performs clipping processing on the image that has been reduced or enlarged in step S207 to generate a final corrected image. Hereinafter, with reference to FIG. 6, clipping of images having different view angles with respect to images having the same imaging zoom magnification will be described.

図６は、時刻別の最終補正画像を説明するための図である。図６の画像６００は、時刻ｔ１、時刻ｔ２および時刻ｔ３の入力画像を示す。図６（ａ）の６０１、６０２および６０３は、それぞれ、時刻ｔ１、時刻ｔ２および時刻ｔ３の切り出し領域を示す。図３（ｄ）の折線３０１で示したように、時刻ｔ１、時刻ｔ２および時刻ｔ３では撮像ズーム倍率が等しいため、時刻ｔ１、時刻ｔ２および時刻ｔ３における入力画像の画角は、いずれも図６（ａ）の画像６００となる。また、時刻ｔ２の切り出し領域６０２のサイズは、ズーム倍率補正画像のサイズにあたる。 FIG. 6 is a diagram for explaining the final corrected image for each time. An image 600 in FIG. 6 shows input images at time t1, time t2, and time t3. Reference numerals 601, 602, and 603 in FIG. 6A indicate cutout areas at time t1, time t2, and time t3, respectively. As indicated by the broken line 301 in FIG. 3D, since the imaging zoom magnifications are the same at time t1, time t2, and time t3, the angle of view of the input image at time t1, time t2, and time t3 is the same as in FIG. The image 600 of (a) is obtained. The size of the cutout area 602 at time t2 corresponds to the size of the zoom magnification corrected image.

まず、図３（ｄ）の時刻ｔ１の画像の切り出しの処理について説明する。時刻ｔ１では、撮像ズーム倍率よりも補正ズーム倍率のほうが小さい。よって、時刻ｔ１で撮像部１０４が撮像したフレームの画像では、ズーム倍率補正画像よりも大きな領域６０１のサイズがズーム倍率補正画像のサイズに等しくなるように、入力画像に対して縮小処理を行う。画像処理部１０７は、縮小処理を行った画像から、領域６０１に相当する画角を切り出し、図６（ｂ）に示したような最終補正画像を生成する。 First, a process of cutting out an image at time t1 in FIG. 3D will be described. At time t1, the correction zoom magnification is smaller than the imaging zoom magnification. Therefore, in the image of the frame captured by the image capturing unit 104 at time t1, the reduction process is performed on the input image so that the size of the region 601 larger than the zoom magnification correction image becomes equal to the size of the zoom magnification correction image. The image processing unit 107 cuts out an angle of view corresponding to the area 601 from the image subjected to the reduction processing, and generates a final corrected image as shown in FIG. 6B.

次、図３（ｄ）の時刻ｔ２の画像の切り出しの処理について説明する。時刻ｔ２では、撮像ズーム倍率と補正ズーム倍率とが等しいので、時刻ｔ２で撮像部１０４が撮像したフレーム画像では、入力画像に対して拡大縮小処理を行わない。画像処理部１０７は、撮像した画像から、ズーム倍率補正画像と同じサイズである領域６０２に相当する画角を切り出し、図６（ｃ）に示したような最終補正画像を生成する。 Next, a process of cutting out an image at time t2 in FIG. 3D will be described. At time t2, the imaging zoom magnification is equal to the correction zoom magnification, so that the frame image captured by the imaging unit 104 at time t2 is not subjected to the enlargement/reduction processing for the input image. The image processing unit 107 cuts out an angle of view corresponding to a region 602 having the same size as the zoom magnification correction image from the captured image, and generates a final correction image as shown in FIG. 6C.

最後に、図３（ｄ）の時刻ｔ３の画像の切り出しの処理について説明する。時刻ｔ３では、撮像ズーム倍率よりも補正ズーム倍率のほうが大きい。よって、時刻ｔ３で撮像部１０４が撮像したフレームの画像では、ズーム倍率補正画像よりも小さな領域６０３のサイズがズーム倍率補正画像のサイズに等しくなるように、入力画像に対して拡大処理を行う。画像処理部１０７は、拡大処理を行った画像から、領域６０３に相当する画角を切り出し、図６（ｄ）に示したような最終補正画像を生成する。 Finally, the process of cutting out the image at time t3 in FIG. 3D will be described. At time t3, the correction zoom magnification is larger than the imaging zoom magnification. Therefore, in the image of the frame captured by the image capturing unit 104 at time t3, the enlargement process is performed on the input image such that the size of the area 603 smaller than the zoom magnification correction image is equal to the size of the zoom magnification correction image. The image processing unit 107 cuts out an angle of view corresponding to the area 603 from the image subjected to the enlargement processing, and generates a final corrected image as shown in FIG. 6D.

以上のように、複数の最終補正画像を生成することにより、撮像ズーム倍率が一定であった図３（ｄ）の時刻ｔ１から時刻ｔ３までの期間で、図６（ｂ）、（ｃ）および（ｄ）のように、滑らかなズーム倍率の変化を有する動画を生成することができる。 As described above, by generating the plurality of final correction images, the imaging zoom magnification is constant, and in the period from time t1 to time t3 in FIG. 3D, FIG. 6B, FIG. As in (d), it is possible to generate a moving image having a smooth change in zoom magnification.

なお、上述した切り出しの処理は、画像の中央部分に対して最終補正画像を設定して切り出すが、これに限定するものでない。たとえば、主被写体が最終補正画像に残るように、切り出し位置を変更しても良い。具体的には、入力画像の画面端に主被写体が存在している場合、画像処理部１０７が画面中央部分を切り出してしまうと、主被写体が最終補正画像に残らなくなってしまう可能性がある。そこで、画像処理部１０７は、主被写体の位置に応じて、切り出し位置を変更することにより、主被写体が最終補正画像に残るように切り出しても良い。 Note that, in the above-described cutout processing, the final corrected image is set and cut out in the central portion of the image; For example, the clipping position may be changed so that the main subject remains in the final corrected image. Specifically, when the main subject exists at the screen edge of the input image, if the image processing unit 107 cuts out the central portion of the screen, the main subject may not remain in the final corrected image. Therefore, the image processing unit 107 may perform clipping so that the main subject remains in the final corrected image by changing the clipping position according to the position of the main subject.

第１の実施形態によれば、滑らかなズーム動画を実現するとともに、処理後の動画にぼけや空白領域などの画質の悪化を生じることを防ぐことができる。 According to the first embodiment, it is possible to realize a smooth zoom moving image and prevent deterioration of image quality such as blurring and blank areas in the processed moving image.

（第２の実施形態）
第２の実施形態は、第１の実施形態と異なり、ユーザが予め補正ズーム倍率を指定することができる。画像処理部１０７が画像に対して予め指定した補正ズーム倍率で拡大処理または縮小処理を行う場合、画像の画質が悪くなるおそれがあると、表示部１０８に警告を表示させ、ユーザに推奨補正ズーム倍率を提示する。以下では、図７を用いて、第２の実施形態について説明する。なお、第１の実施形態と同様なところについては、説明は省く。図７は、第２の実施形態における動画のズームの安定性を改善するための処理を示すフローチャートであり、図８は、ユーザが補正ズーム倍率を指定する方法について説明するための図である。 (Second embodiment)
Unlike the first embodiment, the second embodiment allows the user to previously specify the corrected zoom magnification. When the image processing unit 107 performs enlargement processing or reduction processing on an image with a correction zoom magnification specified in advance, if there is a possibility that the image quality of the image may deteriorate, a warning is displayed on the display unit 108 and the recommended correction zoom for the user is displayed. Present the magnification. The second embodiment will be described below with reference to FIG. 7. The description of the same parts as those of the first embodiment will be omitted. FIG. 7 is a flowchart showing a process for improving the zoom stability of a moving image in the second embodiment, and FIG. 8 is a diagram for explaining a method for a user to specify a corrected zoom magnification.

ステップＳ７０１とＳ７０２とで、第１の実施形態のステップＳ２０１とＳ２０４と同様な処理で、撮像ズーム倍率の取得と最小倍率および最大倍率の取得とを行う。 In steps S701 and S702, acquisition of the imaging zoom magnification and acquisition of the minimum magnification and the maximum magnification are performed by the same processing as steps S201 and S204 of the first embodiment.

ステップＳ７０３で、ユーザが、操作部１１０での入力などを通して、補正ズーム倍率を指定する。たとえば、図８に示した表示部１０８と操作部１１０との機能を兼用したタッチパネルに対して、ユーザが指またはタッチペンなどのオブジェクト８０９を用いて、指示を与える。領域８０１は、撮像部１０４が撮像した画像または動画を表示する。バー８０２は、動画を表示する場合の再生進度を示す。領域８０３乃至８０７は、動画の再生を制御するための区域で、ユーザがタッチすることで、動画を再生させたり、一時停止させたりすることができる。また、１つのフレームずつ送ることもできる。なお、領域８０３乃至８０７の機能は、デジタルカメラ１００に付くボタンによって実現されてもよい。領域８０８は、ズーム倍率と時間との関係を示し、ユーザが領域をタッチすることで、補正ズーム倍率を指定することができる。たとえば、図８に示したように、オブジェクト８０９を使って、補正ズーム倍率を意味する直線８１０を描画し、各々のフレームの画像の補正ズーム倍率を指定する。また、領域８０３乃至８０７をタッチし、１つ１つのフレームの画像で撮像したい被写体が処理後の画像に入るように、補正ズーム倍率を微調整することもできる。 In step S703, the user specifies the corrected zoom magnification through the input on the operation unit 110 or the like. For example, the user uses the object 809 such as a finger or a touch pen to give an instruction to the touch panel having the functions of the display unit 108 and the operation unit 110 shown in FIG. The area 801 displays an image or a moving image captured by the image capturing unit 104. A bar 802 indicates the reproduction progress when displaying a moving image. Areas 803 to 807 are areas for controlling the reproduction of the moving image, and can be reproduced or temporarily stopped by the user by touching. It is also possible to send one frame at a time. The functions of the areas 803 to 807 may be realized by the buttons attached to the digital camera 100. The area 808 shows the relationship between the zoom magnification and the time, and the user can specify the corrected zoom magnification by touching the area. For example, as shown in FIG. 8, the object 809 is used to draw a straight line 810 representing the corrected zoom magnification, and the corrected zoom magnification of the image of each frame is designated. Alternatively, the correction zoom magnification can be finely adjusted by touching the regions 803 to 807 so that the subject to be imaged in each frame image is included in the processed image.

ステップＳ７０４で、制御部１０１が、第１の実施形態でのステップＳ５０２とＳ５１２と同様な方法で、仮縮小率または仮拡大率を算出する。 In step S704, the control unit 101 calculates the temporary reduction rate or the temporary enlargement rate by the same method as steps S502 and S512 in the first embodiment.

ステップＳ７０５で、制御部１０１が、仮縮小率または仮拡大率が最小倍率以上または最大倍率以下かどうか判断する。仮縮小率または仮拡大率が最小倍率以上または最大倍率以下である場合、ステップＳ７１４に進む。ステップＳ７１４で、制御部１０１が、第１の実施形態のステップＳ２０６と同様に、縮小率または拡大率を算出する。ステップＳ７１５で、画像処理部１０７が、第１の実施形態のステップＳ２０７と同様に、入力画像に対して拡大または縮小の処理を行う。ステップＳ７１６で、画像処理部１０７が、第１の実施形態のステップＳ２０８と同様に、拡大処理または縮小処理を行った画像に対して切り出しの処理を行う。 In step S705, the control unit 101 determines whether the temporary reduction ratio or the temporary enlargement ratio is equal to or higher than the minimum magnification or equal to or lower than the maximum magnification. If the temporary reduction ratio or the temporary enlargement ratio is equal to or higher than the minimum magnification or equal to or lower than the maximum magnification, the process proceeds to step S714. In step S714, the control unit 101 calculates the reduction rate or the enlargement rate as in step S206 of the first embodiment. In step S715, the image processing unit 107 performs enlargement or reduction processing on the input image, as in step S207 of the first embodiment. In step S716, the image processing unit 107 performs the clipping process on the image subjected to the enlargement process or the reduction process, similarly to step S208 of the first embodiment.

ステップＳ７０５で、制御部１０１が、仮縮小率または仮拡大率が最小倍率以上または最大倍率以下でないと判断した場合、ステップＳ７０６に進む。ステップＳ７０６で、制御部１０１は、表示部１０８に警告を表示させる。たとえば、仮拡大率が最大倍率よりも大きい場合は、「画像がぼける可能性があります」と、また、仮縮小率が最小倍率よりも小さい場合は、「画像情報の欠落のため、画像の一部が黒くなる可能性があります」と、表示部１０８が警告表示を行う。 When the control unit 101 determines in step S705 that the temporary reduction ratio or the temporary enlargement ratio is not equal to or more than the minimum magnification or less than the maximum magnification, the process proceeds to step S706. In step S706, the control unit 101 causes the display unit 108 to display a warning. For example, if the tentative enlargement ratio is larger than the maximum magnification, "the image may be blurred", and if the tentative reduction ratio is smaller than the minimum magnification, "the image is missing due to missing image information. There is a possibility that the part will turn black.” The display unit 108 displays a warning.

ステップＳ７０７で、ユーザが補正ズーム倍率を修正する場合、ステップＳ７０３に戻る。ユーザが修正しない場合、ステップＳ７０８に進む。ステップＳ７０８で、制御部１０１は、第１の実施形態のステップＳ２０２と同様に、ズーム動作期間の取得を行う。ステップＳ７０９で、制御部１０１は、第１の実施形態のステップＳ２０３と同様に、仮補正ズーム倍率の算出を行う。ステップＳ７１０で、制御部１０１は、第１の実施形態のステップＳ２０５と同様な算出を行い、算出の結果を推奨補正ズーム倍率とする。 If the user corrects the corrected zoom magnification in step S707, the process returns to step S703. If the user does not make the correction, the process proceeds to step S708. In step S708, the control unit 101 acquires the zoom operation period, as in step S202 of the first embodiment. In step S709, the control unit 101 calculates the temporary correction zoom magnification, as in step S203 of the first embodiment. In step S710, the control unit 101 performs the same calculation as in step S205 of the first embodiment, and sets the calculation result as the recommended correction zoom magnification.

ステップＳ７１１で、制御部１０１が、ステップＳ７１０で算出した推奨補正ズーム倍率を、表示部１０８に表示させ、ユーザに提示する。ステップＳ７１２で、ユーザが推奨補正ズーム倍率を使用するかどうかを決める。推奨補正ズーム倍率を使用する場合、ユーザがステップＳ７０３で指定した補正ズーム倍率を使わずに、ステップＳ７１４乃至７１６の処理を行う。推奨補正ズーム倍率を使用しない場合、ステップＳ７１３に進み、ユーザが指定した補正ズーム倍率を使い、ステップＳ７１４乃至７１６の処理を行う。 In step S711, the control unit 101 displays the recommended correction zoom magnification calculated in step S710 on the display unit 108 and presents it to the user. In step S712, the user determines whether to use the recommended correction zoom magnification. When the recommended correction zoom magnification is used, the processing in steps S714 to 716 is performed without using the correction zoom magnification specified by the user in step S703. If the recommended correction zoom magnification is not used, the process proceeds to step S713, and the correction zoom magnification specified by the user is used to perform the processing of steps S714 to 716.

第２の実施形態によれば、ユーザが指定した補正ズーム倍率で画像を拡大したり縮小したりすることができ、かつ、ユーザが指定した補正ズーム倍率で不自然な画像を生じるかどうかを判断し、ユーザに提示することができる。 According to the second embodiment, it is possible to enlarge or reduce the image with the correction zoom magnification specified by the user, and determine whether the correction zoom magnification specified by the user causes an unnatural image. Can be presented to the user.

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。 (Other embodiments)
The above embodiment has been described based on the implementation in the digital camera, but is not limited to the digital camera. For example, it may be implemented by a mobile device or the like having a built-in image sensor, or may be a network camera or the like capable of capturing an image.

また、以上の説明では、ズーム動作が光学ズーム動作であるということをもとに説明するが、これに限定するわけでない。たとえば、ユーザが手動で、動画の撮像中、タッチパネルを操作することで、電子ズームを行うことができる。こうした電子ズームでの動作のムラを調整しようとするとき、本発明を用いることもできる。 Further, although the above description is based on the fact that the zoom operation is an optical zoom operation, the present invention is not limited to this. For example, the user can manually perform the electronic zoom by operating the touch panel while capturing a moving image. The present invention can also be used when trying to adjust the unevenness of the operation in such an electronic zoom.

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 It should be noted that the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus execute the program. Can also be realized by a process of reading out and operating. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

なお、以上の処理では、ズーム動作期間を撮像時のズーム動作期間よりも長くするが、これに限定されるものでなく、必ずしもズーム動作期間を撮像時のズーム動作期間よりも長く修正する必要はない。たとえば、図９の曲線９０２ように、補正ズーム倍率の変化を一定（直線）にせずに、撮像ズーム倍率の変化にある程度沿うような平滑化曲線、または折線にする場合、ズーム動作期間を撮像時のズーム動作期間よりも短くすることも可能である。特に、ズーム動作期間を長くすると、前後のズーム動作にくっつけてしまう可能性があるとき、前述するような方法は有用である。 In the above process, the zoom operation period is made longer than the zoom operation period at the time of image capturing, but the present invention is not limited to this. Absent. For example, as shown by a curve 902 in FIG. 9, when the correction zoom magnification is not made constant (straight line) but is set to a smoothing curve or a polygonal line that follows the change of the imaging zoom magnification to some extent, the zoom operation period is set at the time of imaging It is also possible to make it shorter than the zoom operation period. In particular, when the zoom operation period is lengthened, there is a possibility that the zoom operation will stick to the front and rear zoom operations.

１００デジタルカメラ
１０１制御部
１０２駆動部
１０３光学系
１０４撮像部
１０５ＲＯＭ
１０６ＲＡＭ
１０７画像処理部
１０８表示部
１０９内蔵メモリ
１１０操作部 100 Digital Camera 101 Control Unit 102 Drive Unit 103 Optical System 104 Imaging Unit 105 ROM
106 RAM
107 image processing unit 108 display unit 109 built-in memory 110 operation unit

Claims

第１のズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像のズーム倍率の変化を表示する表示ステップと、
前記複数の画像を再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小の処理を行わせる指示ステップと、を有し、
前記複数の画像の各々において、
前記拡大または縮小の処理の前のズーム倍率と前記拡大または縮小の処理の後のズーム倍率との違いが、予め設定した倍率の違いの範囲内であることを特徴とする画像処理方法。 A display step of displaying a change in zoom magnification of at least a part of the plurality of images captured while performing the first zoom operation;
An instruction step of performing an enlargement or reduction process so that a change in zoom magnification when reproducing the plurality of images is smooth,
In each of the plurality of images,
An image processing method, wherein the difference between the zoom magnification before the enlargement or reduction processing and the zoom magnification after the enlargement or reduction processing is within a preset difference range.

前記予め設定した倍率の違いの範囲の上限は、前記複数の画像の各々において、
少なくとも画像の一部のテクスチャに基づいて、設定することを特徴とする請求項１に記載の画像処理方法。 The upper limit of the range of difference in the preset magnification is, in each of the plurality of images,
The image processing method according to claim 1, wherein the setting is performed based on at least part of the texture of the image.

撮像した画像に対して切り出し処理を行って切り出した画像を出力し、
前記予め設定した倍率の違いの範囲の下限は、前記撮像した画像のサイズと前記出力した画像のサイズとの違いに基づいて、設定することを特徴とする請求項１または２に記載の画像処理方法。 Output the clipped image by performing the clipping process on the captured image,
The image processing according to claim 1 or 2, wherein the lower limit of the preset range of the difference in magnification is set based on the difference between the size of the captured image and the size of the output image. Method.

前記第１のズーム動作は、ユーザが手動によるズーム動作であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。 The image processing method according to claim 1, wherein the first zoom operation is a zoom operation manually performed by a user.

前記拡大または縮小の処理は、電子ズームによるものであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。 The image processing method according to claim 1, wherein the enlargement or reduction processing is performed by electronic zoom.

前記拡大または縮小の処理の後のズーム倍率は、時間に比例して変化することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。 The image processing method according to any one of claims 1 to 5, wherein the zoom magnification after the enlargement or reduction processing changes in proportion to time.

前記拡大または縮小の処理の後のズーム倍率を指定する指定手段を有し、
前記拡大または縮小の処理の前のズーム倍率と前記指定したズーム倍率との違いが、前記予め設定した倍率の違いの範囲を超えると、
警告を表示することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法。 A specifying unit for specifying a zoom magnification after the enlargement or reduction processing,
When the difference between the zoom magnification before the enlargement or reduction processing and the specified zoom magnification exceeds the range of the difference in preset magnification,
The image processing method according to claim 1, further comprising displaying a warning.

前記表示ステップにおいては、前記複数の画像の少なくとも一部の画像のズーム倍率の変化をグラフとして表示することを特徴とする請求項１ないし７のいずれか１項に記載の画像処理方法。 8. The image processing method according to claim 1, wherein in the displaying step, a change in zoom magnification of at least a part of the plurality of images is displayed as a graph.

第１のズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像のズーム倍率の変化を表示する表示手段と、
前記複数の画像を再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小の処理を行わせる指示手段と、を有し、
前記複数の画像の各々において、
前記拡大または縮小の処理の前のズーム倍率と前記拡大または縮小の処理の後のズーム倍率との違いが、予め設定した倍率の違いの範囲内であることを特徴とする画像処理装置。 Display means for displaying a change in zoom magnification of at least a part of the plurality of images captured while performing the first zoom operation;
An instruction means for performing enlargement or reduction processing so that a change in zoom magnification when reproducing the plurality of images is smooth,
In each of the plurality of images,
An image processing apparatus, wherein the difference between the zoom magnification before the enlargement or reduction processing and the zoom magnification after the enlargement or reduction processing is within a preset difference range.

第１のズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像に対して、前記複数の画像を再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小の処理を行い、
前記複数の画像の各々において、
前記拡大または縮小の処理の前のズーム倍率と前記拡大または縮小の処理の後のズーム倍率との違いが、予め設定した倍率の違いの範囲内であり、
前記予め設定した倍率の違いの範囲の上限は、前記複数の画像の各々において、少なくとも画像の一部のテクスチャに基づいて、設定することを特徴とする画像処理方法。 Enlargement or reduction processing is performed on at least a part of the plurality of images captured while performing the first zoom operation so that the zoom magnification changes smoothly when the plurality of images are reproduced. ,
In each of the plurality of images,
The difference between the zoom magnification before the enlargement or reduction processing and the zoom magnification after the enlargement or reduction processing is within the range of the preset magnification difference,
The image processing method, wherein the upper limit of the preset range of the difference in magnification is set based on at least part of the texture of each of the plurality of images.

拡大または縮小の処理を行う処理手段を有し、
前記処理手段は、
第１のズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像に対して、前記複数の画像を再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小の処理を行い、
前記複数の画像の各々において、
前記拡大または縮小の処理の前のズーム倍率と前記拡大または縮小の処理の後のズーム倍率との違いが、予め設定した倍率の違いの範囲内であり、
前記予め設定した倍率の違いの範囲の上限は、前記複数の画像の各々において、少なくとも画像の一部のテクスチャに基づいて、設定することを特徴とする画像処理装置。 It has a processing means for performing enlargement or reduction processing,
The processing means is
Enlargement or reduction processing is performed on at least a part of the plurality of images captured while performing the first zoom operation so that the zoom magnification changes smoothly when the plurality of images are reproduced. ,
In each of the plurality of images,
The difference between the zoom magnification before the enlargement or reduction processing and the zoom magnification after the enlargement or reduction processing is within the range of the preset magnification difference,
The image processing apparatus, wherein the upper limit of the preset range of difference in magnification is set based on at least a part of the texture of each of the plurality of images.