JP6746390B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関し、特に、画像のズーム倍率を補正するための技術に関する。

ビデオカメラやスチルカメラ等の撮像装置には、光学系のズーム倍率を変化させるズーム操作を行うためのズーム操作部が備えられている。ビデオカメラでは、一般的にズームレバーが採用され、ズームレバーを押下すると電動でズームレンズが動作し、ズームインやズームアウトをしながら動画を撮像することができる。一方、一眼レフカメラでは、一般的にズームリングが採用され、ズームリングを手動で回転させるとズームインやズームアウトをしながら動画を撮像することができる。更に、スマートフォンなどのカメラ機能付き携帯電話では、タッチパネル上で２本の指を押し広げるように動かすピンチアウト操作をすることで、ユーザの指に合わせて画像を拡大または縮小する電子ズームをしながら動画を撮像することができる。

しかしながら、これらの操作を行う際に、ズーム速度が不均一となってしまうことがある。例えば、ズームレバーを押下している途中で指が離れてしまうと、途中の期間だけズーム動作がなされない動画となってしまうことがある。また、ズームリングを手動で回転させる際は、回転速度が安定せず、ズーム速度が不均一な動画となってしまう場合がある。さらに、ピンチアウトを均一の速度でゆっくりと行うことは容易ではなく、やはりズーム速度が不均一な動画となってしまう場合がある。

そこで、ズーム速度が不均一な動画に対して、ズーム速度を安定化し、滑らかな動画を生成する技術が開示されている。特許文献１では、ズーム速度が不均一な動画に対して、各フレーム画像を拡大又は縮小することにより、ズーム速度が安定した滑らかな動画を生成する技術が開示されている。

特開２０１１−４０９４５号公報

ズーム速度が不均一な動画に対し、各フレーム画像を拡大又は縮小することにより、ズーム速度が安定した滑らかな動画を生成する際に、各フレーム画像を拡大する拡大率が高過ぎると画像がぼけてしまうといった課題がある。また、各フレーム画像を縮小する縮小率が高過ぎると、生成したい出力画像サイズよりも小さくなってしまい、画像情報が欠落する領域が発生してしまうといった課題がある。

前述の特許文献１では、各フレーム画像を拡大又は縮小し滑らかな動画を生成する例について記載されているが、拡大する際の画像のぼけや縮小する際の画像情報の欠落領域を考慮した滑らか動画の生成については言及がない。

本発明は、上記の問題点を鑑みてなされたものであり、画質の低下を抑制しつつ、ズーム速度の安定性を改善した動画を生成することを目的とする。

本発明は、第１のズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像のズーム倍率の変化を表示する表示ステップと、前記複数の画像を再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小の処理を行わせる指示ステップと、を有し、前記複数の画像の各々において、前記拡大または縮小の処理の前のズーム倍率と前記拡大または縮小の処理の後のズーム倍率との違いが、予め設定した倍率の違いの範囲内であることを特徴とする画像処理方法を提供する。

本発明によれば、画質の低下を抑制しつつ、ズーム速度の安定性を改善した動画を生成することができる。

第１の実施形態におけるデジタルカメラの構造を示す図である。 第１の実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。 第１の実施形態における補正ズーム倍率の算出方法を説明するための図である。 第１の実施形態における仮補正ズーム倍率を調整して補正ズーム倍率を求める方法を説明するための図である。 第１の実施形態における補正ズーム倍率の算出方法を示すフローチャートである。 第１の実施形態における時刻別の最終補正画像を説明するための図である。 第２の実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。 第２の実施形態におけるユーザが補正ズーム倍率を指定する方法について説明するための図である。 本発明における補正ズーム倍率を平滑化にする調整を説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、以下の説明では、デジタルカメラを例にあげて説明を行うが、デジタルカメラに限定されるわけでなく、ズーム動作を行って撮像された動画を取得可能で、画像に対して拡大および縮小処理を行うことができる画像処理装置であれば、本発明を適用できる。また、以下では、ズームイン（望遠側へのズーム動作）の場合について説明するが、ズームアウト（広角側へのズーム動作）の場合にも適用することができる。また、ここでは、動画撮像時にユーザがズームリングを操作することによってズームレンズが駆動された場合の例について説明を行うが、これに限定されるわけではない。上述のように、ズームレバーの操作によってズームレンズの駆動を行う場合や、ピンチアウトの操作によって画像を拡大または縮小処理する電子ズームを行う場合にも、本発明を適用することができる。

（第１の実施形態）
デジタルカメラ１００は、静止画および動画を撮像することができ、かつ、撮像中、ズーム動作が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。

図１は本実施形態に係るデジタルカメラの構造を示すブロック図である。

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。ユーザによる指令も、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、予めの設定に基づいて、画像処理の指令を出す。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の合焦位置を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。本実施形態では、光学系１０３によるズーム動作は、前述したように、操作部１１０に含まれるズームリングをユーザが操作することによって行われる。光学系１０３には、ズームレンズの位置を検知するセンサが設けられており、このセンサの出力が制御部１０１に送信される。そのため、ユーザがズームリングを操作することでズーム動作を行った場合であっても、このセンサの出力に基づいて、制御部１０１は光学系１０３のズーム倍率を把握することができる。

撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、動画を撮像することができる。

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。特に、画像処理部１０７が、撮像部１０４または後述する内蔵メモリ１０９に保存されている画像に対して、電子ズームで拡大処理または縮小処理をすることができる。

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。また、操作部１１０は、光学系１０３に付属しているズームリングなども含む。ユーザによってズームリングの操作が行われると、このズームリングに連結された機構によって、制御部１０１を介さずに、光学系１０３に含まれるズームレンズの位置が変更される。

図２は本実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。図３は、補正ズーム倍率の算出方法を説明するための図である。この図２および図３を用いて、本実施形態におけるデジタルカメラの動作について説明する。

ユーザがズームリングを動かしてズーム動作を行った動画を撮像、あるいは、このように撮像された動画を内蔵メモリ１０９から読み出すと、制御部１０１は、図２のフローチャートに示す処理を始める。動画の撮像時には、動画のフレームごとに制御部１０１が検知したズーム倍率の情報が、動画ともに内蔵メモリ１０９に格納されるものとする。なお、図２に示す処理は、撮像の直後に行ってもよいし、撮像した動画の再生時に行ってもよい。

ステップＳ２０１において、内蔵メモリ１０９に保存されている撮像時の撮像ズーム倍率を取得する。なお、撮像時に光学系１０３による光学ズームのみならず、画像処理部１０７において電子ズームが行われた場合は、光学ズームによるズーム倍率と電子ズームによるズーム倍率を掛け合わせたズーム倍率を撮像ズーム倍率としてフレームごとに取得する。

ステップＳ２０２において、制御部１０１が、ズーム動作期間を取得する。以下では、図３（ａ）を参照しながら説明する。図３（ａ）は、撮像ズーム倍率と時間との関係を示す一例である。折線３０１で示した動作では、ユーザは時刻ｔ０から時刻ｔ１までの期間、および、時刻ｔ３から時刻ｔ４までの期間では、ズームリングを操作してズーム動作を行っている。ユーザは、時刻ｔ１から時刻ｔ３までの期間では、ズームリングを回しておらず、撮像ズーム倍率が変化していない。ここで、時刻ｔ１から時刻ｔ３までの時間が、予め定められた時間の閾値以下の場合、時刻ｔ０から時刻ｔ４の期間を、１つのズーム動作期間として取得する。なお、時刻ｔ１から時刻ｔ３までの時間が、予め定められた時間の閾値より大きい場合には、ユーザが意図的にズームリングを回していないものと判断し、この時間はズーム動作期間から除外する。ここで、誤動作など微小なズームの変動による影響をなくすため、撮像ズーム倍率の変動が予め定められた閾値以上の時のみズーム動作期間を取得するようにしてもよい。

ユーザの操作によるズーム動作が行われている際に、図３（ａ）の時刻ｔ１から時刻ｔ３までの期間のように、ズーム動作が一時的に停止してしまうことがしばしば起きる。そのため、制御部１０１は、停止期間が短い場合にはその前後のズーム動作を１つのズーム動作として統合し、一連のズーム動作が行われた期間の全体（時刻ｔ０から時刻ｔ４まで）を、ズーム動作期間として取得する。

ステップＳ２０３において、制御部１０１は、ズーム動作期間に基づき、仮補正ズーム倍率を算出する。仮補正ズーム倍率の算出方法について、図３（ｂ）を参照して説明する。仮補正ズーム倍率の算出の一例としては、制御部１０１は、ズーム動作期間において、ズーム倍率の変化が一定になるように仮補正ズーム倍率を算出する。図３（ｂ）における直線３０２は、仮補正ズーム倍率の一例を示している。この仮補正ズーム倍率は、つぎのステップＳ２０５とＳ２０６とでの補正ズーム倍率の算出と拡大率および縮小率の算出に使われる。

なお、図３に示す仮補正ズーム倍率は、時間に比例しているが、これは一例にすぎず、必ずしもズーム倍率の変化が一定になるように仮補正ズーム倍率を算出する必要はない。仮補正ズーム倍率は、撮像ズーム倍率の変化にある程度沿うような曲線としても良く、撮像時のズーム倍率よりもズーム倍率の変動がなだらかになり、ズーム倍率の安定性が改善されればよい。

ズーム動作で画像の画質が悪くならないようにするためには、拡大処理および縮小処理の倍率の範囲を制限し、拡大処理および縮小処理の倍率を範囲内に納める必要がある。ステップＳ２０４において、制御部１０１は、ズーム倍率の範囲の上限および下限として、フレームごとに最小倍率および最大倍率を算出する。以下では、最小倍率と最大倍率との算出方法について、図４を用いて説明する。図４は仮補正ズーム倍率を調整して補正ズーム倍率を求める方法を説明するための図である。

まず、最大倍率の算出について説明する。図４に示した画像の全体は、撮像部１０４が撮像し、画像処理部１０７に入力された画像である。これに対し、実際に表示部１０８がユーザに表示する範囲は、画像全体よりも小さいサイズの図４の領域４００の部分のみである。この表示部１０８にて表示される部分は、制御部１０１により、予め定められた設定に基づいて指定されており、この指定されたサイズの領域４００に相当する画像をズーム倍率補正画像という。ズーム倍率補正画像は、前述する電子ズーム動作にも影響され、電子ズームで画像を拡大して撮像されたときには、それに応じて、画像処理部１０７に入力された画像全体に対するズーム倍率補正画像の領域４００が小さくなる。制御部１０１が、領域４００の画像データを用いて、画像を拡大する際に生じる画像のぼけが許容できる最大倍率を算出する。具体的には、領域４００において、微分フィルタやソーベルフィルタに代表されるエッジ検出フィルタ処理により算出したエッジ強度に基づき、（式１）を用いてぼけが許容できる最大倍率を算出する。なお、ａおよびｂは定数である。
最大倍率＝（ａ÷エッジ強度＋ｂ） ・・・（式１）

エッジ強度が小さい場合は、平坦部から構成されている画像であるため、拡大してもぼけが目立ち難い。そのため、最大倍率を高く設定する。逆に、逆にエッジ強度が大きい場合は、テクスチャ部から構成されている画像であるため、拡大するとぼけが目立ち易いため、最大倍率を低く設定する。

次に、最小倍率の算出方法について、図４を用いて説明する。画像全体がズーム倍率補正画像データの画像サイズより小さくなってしまうと、表示部１０８がユーザに表示する範囲に、画像のない空白領域が生じてしまう。そのため、制御部１０１は、入力画像のサイズがズーム倍率補正画像データのサイズになる縮小率を最小倍率として算出する。式で書くと、次の（式２）になる。
最小倍率＝（ズーム倍率補正画像のサイズ）÷（入力画像のサイズ） ・・・（式２）

（式２）を用いて計算を行うとき、上記画像の水平のサイズと垂直のサイズの両方において、異なる計算結果が出る場合、どちらか計算結果が大きいほうを最小倍率とする。

制御部１０１は、以上のように、フレームごとに最大倍率および最小倍率を算出する。以下の説明では、仮補正ズーム倍率から、さらに拡大処理と縮小処理と両方を行うときについて説明するが、必ずしも拡大処理および縮小処理の両方を行う必要があるわけではない。拡大処理のみ、または、縮小処理のみを行うとき、ズーム倍率の変化を滑らかにすることができ、かつ、ぼけや空白領域などの問題が生じない限り、どちらかだけを実行してもよい。

次に、ステップＳ２０５で、制御部１０１は、補正ズーム倍率の算出を行う。以下では、図３と図５とを用いて説明する。図５は、補正ズーム倍率の算出方法を示すフローチャートである。

図５のステップＳ５０１で、制御部１０１が、処理対象フレームが縮小するフレームか拡大するフレームかについて判断する。判断方法としては、制御部１０１が、撮像部１０４から撮像ズーム倍率の情報を取得し、仮補正ズーム倍率と比較する。撮像ズーム倍率よりも仮補正ズーム倍率の方が小さい場合は、処理対象フレームは縮小するフレームとなる。逆に、撮像ズーム倍率よりも仮補正ズーム倍率の方が大きい場合は、処理対象フレームは拡大するフレームとなる。図３（ｂ）を例にすると、時刻ｔ０から時刻ｔ２までに撮像したフレームは縮小するフレームであり、時刻ｔ２から時刻ｔ４までに撮像したフレームは拡大するフレームである。

ステップＳ５０１で、制御部１０１が、処理対象フレームが縮小するフレームであると判断した場合、ステップＳ５０２に移行し、処理対象フレームの仮縮小率を算出する。制御部１０１が、仮縮小率を、（式３）に示すように算出する。
仮縮小率＝（仮補正ズーム倍率）÷（撮像ズーム倍率） ・・・（式３）

ステップＳ５０３において、制御部１０１が、ステップＳ５０２で算出した仮縮小率が最小倍率以上か否かを判定する。ステップＳ５０３において、仮縮小率が最小倍率よりも小さい場合は、ステップＳ５０４に移行する。ステップＳ５０４で、制御部１０１が、仮補正ズーム倍率のズーム開始タイミングを、図３（ｃ）の直線３０３のように、仮縮小率が最小倍率以上になるように、時間的に前に移動させる。

ステップＳ５０１で、制御部１０１が、処理対象フレームが縮小するフレームでなく、拡大するフレームであると判断した場合、ステップＳ５１２に移行し、処理対象フレームの仮拡大率を算出する。制御部１０１が、仮拡大率を、（式４）に示すように算出する。
仮拡大率＝（仮補正ズーム倍率）÷（撮像ズーム倍率） ・・・（式４）

なお、仮補正ズーム倍率と撮像ズーム倍率とが等しい場合は、仮拡大率は１となり、画像処理部１０７が、拡大縮小処理を行わない。

ステップＳ５１３において、制御部１０１が、ステップＳ５１２で算出した仮拡大率が最大倍率以下か否かを判定する。ステップＳ５１３において、仮拡大率が最大倍率よりも大きい場合は、ステップＳ５１４に移行する。ステップＳ５１４で、制御部１０１が、仮補正ズーム倍率のズーム終了タイミングを、図３（ｃ）の直線３０３のように、仮拡大率が最大倍率以下になるように時間的に後に移動させる。

前述したような、ズーム開始および終了タイミングを移動させることで、フロー中の処理対象となるフレームのみならず、他のフレームの仮補正ズーム倍率も、適宜調整する。全てのフレームの画像に対して、こうしたフローで処理することによって、各々のフレームの仮補正ズーム倍率が、少しずつ変わっていく。

ステップＳ５０５において、制御部１０１が、ズーム動作期間中の全てのフレームに対して、上述したステップＳ５０１乃至５０４または５１４のような処理をしたかどうかを判定する。ステップＳ５０５での判定が成り立たない場合、ステップＳ５０１に戻り、全てのフレームに対して処理が終了するまで繰り返す。全てのフレームに対して前述した処理が終了したとき、それぞれのフレームの画像の仮補正ズーム倍率を、（式３）または（式４）を用いて逆算し、計算の結果を補正ズーム倍率とする。

以上は、ステップＳ２０５での補正ズーム倍率について説明した。

ステップＳ２０５で、制御部１０１が、補正ズーム倍率を算出すると、ステップＳ２０６に進み、縮小率および拡大率の算出を行う。縮小率および拡大率の算出は、下記の（式５）と（式６）とに従う。
縮小率＝（補正ズーム倍率）÷（撮像ズーム倍率） ・・・（式５）
拡大率＝（補正ズーム倍率）÷（撮像ズーム倍率） ・・・（式６）

ステップＳ２０７で、画像処理部１０７が、制御部１０１の指令の下で、ステップＳ２０６で算出した縮小率または拡大率に基づいて、縮小または拡大の処理を行う。その結果、ステップＳ２０５で算出した補正ズーム倍率まで、画像が拡大または縮小される。

ステップＳ２０８で、画像処理部１０７が、ステップＳ２０７で縮小または拡大の処理を行った画像に対して、切り出しの処理を行い、最終補正画像を生成する。以下では、図６を参照しながら、同じ撮像ズーム倍率の画像に対して、異なる画角の画像を切り出すことについて説明する。

図６は、時刻別の最終補正画像を説明するための図である。図６の画像６００は、時刻ｔ１、時刻ｔ２および時刻ｔ３の入力画像を示す。図６（ａ）の６０１、６０２および６０３は、それぞれ、時刻ｔ１、時刻ｔ２および時刻ｔ３の切り出し領域を示す。図３（ｄ）の折線３０１で示したように、時刻ｔ１、時刻ｔ２および時刻ｔ３では撮像ズーム倍率が等しいため、時刻ｔ１、時刻ｔ２および時刻ｔ３における入力画像の画角は、いずれも図６（ａ）の画像６００となる。また、時刻ｔ２の切り出し領域６０２のサイズは、ズーム倍率補正画像のサイズにあたる。

まず、図３（ｄ）の時刻ｔ１の画像の切り出しの処理について説明する。時刻ｔ１では、撮像ズーム倍率よりも補正ズーム倍率のほうが小さい。よって、時刻ｔ１で撮像部１０４が撮像したフレームの画像では、ズーム倍率補正画像よりも大きな領域６０１のサイズがズーム倍率補正画像のサイズに等しくなるように、入力画像に対して縮小処理を行う。画像処理部１０７は、縮小処理を行った画像から、領域６０１に相当する画角を切り出し、図６（ｂ）に示したような最終補正画像を生成する。

次、図３（ｄ）の時刻ｔ２の画像の切り出しの処理について説明する。時刻ｔ２では、撮像ズーム倍率と補正ズーム倍率とが等しいので、時刻ｔ２で撮像部１０４が撮像したフレーム画像では、入力画像に対して拡大縮小処理を行わない。画像処理部１０７は、撮像した画像から、ズーム倍率補正画像と同じサイズである領域６０２に相当する画角を切り出し、図６（ｃ）に示したような最終補正画像を生成する。

最後に、図３（ｄ）の時刻ｔ３の画像の切り出しの処理について説明する。時刻ｔ３では、撮像ズーム倍率よりも補正ズーム倍率のほうが大きい。よって、時刻ｔ３で撮像部１０４が撮像したフレームの画像では、ズーム倍率補正画像よりも小さな領域６０３のサイズがズーム倍率補正画像のサイズに等しくなるように、入力画像に対して拡大処理を行う。画像処理部１０７は、拡大処理を行った画像から、領域６０３に相当する画角を切り出し、図６（ｄ）に示したような最終補正画像を生成する。

以上のように、複数の最終補正画像を生成することにより、撮像ズーム倍率が一定であった図３（ｄ）の時刻ｔ１から時刻ｔ３までの期間で、図６（ｂ）、（ｃ）および（ｄ）のように、滑らかなズーム倍率の変化を有する動画を生成することができる。

なお、上述した切り出しの処理は、画像の中央部分に対して最終補正画像を設定して切り出すが、これに限定するものでない。たとえば、主被写体が最終補正画像に残るように、切り出し位置を変更しても良い。具体的には、入力画像の画面端に主被写体が存在している場合、画像処理部１０７が画面中央部分を切り出してしまうと、主被写体が最終補正画像に残らなくなってしまう可能性がある。そこで、画像処理部１０７は、主被写体の位置に応じて、切り出し位置を変更することにより、主被写体が最終補正画像に残るように切り出しても良い。

第１の実施形態によれば、滑らかなズーム動画を実現するとともに、処理後の動画にぼけや空白領域などの画質の悪化を生じることを防ぐことができる。

（第２の実施形態）
第２の実施形態は、第１の実施形態と異なり、ユーザが予め補正ズーム倍率を指定することができる。画像処理部１０７が画像に対して予め指定した補正ズーム倍率で拡大処理または縮小処理を行う場合、画像の画質が悪くなるおそれがあると、表示部１０８に警告を表示させ、ユーザに推奨補正ズーム倍率を提示する。以下では、図７を用いて、第２の実施形態について説明する。なお、第１の実施形態と同様なところについては、説明は省く。図７は、第２の実施形態における動画のズームの安定性を改善するための処理を示すフローチャートであり、図８は、ユーザが補正ズーム倍率を指定する方法について説明するための図である。

ステップＳ７０１とＳ７０２とで、第１の実施形態のステップＳ２０１とＳ２０４と同様な処理で、撮像ズーム倍率の取得と最小倍率および最大倍率の取得とを行う。

ステップＳ７０３で、ユーザが、操作部１１０での入力などを通して、補正ズーム倍率を指定する。たとえば、図８に示した表示部１０８と操作部１１０との機能を兼用したタッチパネルに対して、ユーザが指またはタッチペンなどのオブジェクト８０９を用いて、指示を与える。領域８０１は、撮像部１０４が撮像した画像または動画を表示する。バー８０２は、動画を表示する場合の再生進度を示す。領域８０３乃至８０７は、動画の再生を制御するための区域で、ユーザがタッチすることで、動画を再生させたり、一時停止させたりすることができる。また、１つのフレームずつ送ることもできる。なお、領域８０３乃至８０７の機能は、デジタルカメラ１００に付くボタンによって実現されてもよい。領域８０８は、ズーム倍率と時間との関係を示し、ユーザが領域をタッチすることで、補正ズーム倍率を指定することができる。たとえば、図８に示したように、オブジェクト８０９を使って、補正ズーム倍率を意味する直線８１０を描画し、各々のフレームの画像の補正ズーム倍率を指定する。また、領域８０３乃至８０７をタッチし、１つ１つのフレームの画像で撮像したい被写体が処理後の画像に入るように、補正ズーム倍率を微調整することもできる。

ステップＳ７０４で、制御部１０１が、第１の実施形態でのステップＳ５０２とＳ５１２と同様な方法で、仮縮小率または仮拡大率を算出する。

ステップＳ７０５で、制御部１０１が、仮縮小率または仮拡大率が最小倍率以上または最大倍率以下かどうか判断する。仮縮小率または仮拡大率が最小倍率以上または最大倍率以下である場合、ステップＳ７１４に進む。ステップＳ７１４で、制御部１０１が、第１の実施形態のステップＳ２０６と同様に、縮小率または拡大率を算出する。ステップＳ７１５で、画像処理部１０７が、第１の実施形態のステップＳ２０７と同様に、入力画像に対して拡大または縮小の処理を行う。ステップＳ７１６で、画像処理部１０７が、第１の実施形態のステップＳ２０８と同様に、拡大処理または縮小処理を行った画像に対して切り出しの処理を行う。

ステップＳ７０５で、制御部１０１が、仮縮小率または仮拡大率が最小倍率以上または最大倍率以下でないと判断した場合、ステップＳ７０６に進む。ステップＳ７０６で、制御部１０１は、表示部１０８に警告を表示させる。たとえば、仮拡大率が最大倍率よりも大きい場合は、「画像がぼける可能性があります」と、また、仮縮小率が最小倍率よりも小さい場合は、「画像情報の欠落のため、画像の一部が黒くなる可能性があります」と、表示部１０８が警告表示を行う。

ステップＳ７０７で、ユーザが補正ズーム倍率を修正する場合、ステップＳ７０３に戻る。ユーザが修正しない場合、ステップＳ７０８に進む。ステップＳ７０８で、制御部１０１は、第１の実施形態のステップＳ２０２と同様に、ズーム動作期間の取得を行う。ステップＳ７０９で、制御部１０１は、第１の実施形態のステップＳ２０３と同様に、仮補正ズーム倍率の算出を行う。ステップＳ７１０で、制御部１０１は、第１の実施形態のステップＳ２０５と同様な算出を行い、算出の結果を推奨補正ズーム倍率とする。

ステップＳ７１１で、制御部１０１が、ステップＳ７１０で算出した推奨補正ズーム倍率を、表示部１０８に表示させ、ユーザに提示する。ステップＳ７１２で、ユーザが推奨補正ズーム倍率を使用するかどうかを決める。推奨補正ズーム倍率を使用する場合、ユーザがステップＳ７０３で指定した補正ズーム倍率を使わずに、ステップＳ７１４乃至７１６の処理を行う。推奨補正ズーム倍率を使用しない場合、ステップＳ７１３に進み、ユーザが指定した補正ズーム倍率を使い、ステップＳ７１４乃至７１６の処理を行う。

第２の実施形態によれば、ユーザが指定した補正ズーム倍率で画像を拡大したり縮小したりすることができ、かつ、ユーザが指定した補正ズーム倍率で不自然な画像を生じるかどうかを判断し、ユーザに提示することができる。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

また、以上の説明では、ズーム動作が光学ズーム動作であるということをもとに説明するが、これに限定するわけでない。たとえば、ユーザが手動で、動画の撮像中、タッチパネルを操作することで、電子ズームを行うことができる。こうした電子ズームでの動作のムラを調整しようとするとき、本発明を用いることもできる。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、以上の処理では、ズーム動作期間を撮像時のズーム動作期間よりも長くするが、これに限定されるものでなく、必ずしもズーム動作期間を撮像時のズーム動作期間よりも長く修正する必要はない。たとえば、図９の曲線９０２ように、補正ズーム倍率の変化を一定（直線）にせずに、撮像ズーム倍率の変化にある程度沿うような平滑化曲線、または折線にする場合、ズーム動作期間を撮像時のズーム動作期間よりも短くすることも可能である。特に、ズーム動作期間を長くすると、前後のズーム動作にくっつけてしまう可能性があるとき、前述するような方法は有用である。

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 撮像部
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 表示部
１０９ 内蔵メモリ
１１０ 操作部

Claims (11)

1. 第１のズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像のズーム倍率の変化を表示する表示ステップと、
   前記複数の画像を再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小の処理を行わせる指示ステップと、を有し、
   前記複数の画像の各々において、
   前記拡大または縮小の処理の前のズーム倍率と前記拡大または縮小の処理の後のズーム倍率との違いが、予め設定した倍率の違いの範囲内であることを特徴とする画像処理方法。
2. 前記予め設定した倍率の違いの範囲の上限は、前記複数の画像の各々において、
   少なくとも画像の一部のテクスチャに基づいて、設定することを特徴とする請求項１に記載の画像処理方法。
3. 撮像した画像に対して切り出し処理を行って切り出した画像を出力し、
   前記予め設定した倍率の違いの範囲の下限は、前記撮像した画像のサイズと前記出力した画像のサイズとの違いに基づいて、設定することを特徴とする請求項１または２に記載の画像処理方法。
4. 前記第１のズーム動作は、ユーザが手動によるズーム動作であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
5. 前記拡大または縮小の処理は、電子ズームによるものであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
6. 前記拡大または縮小の処理の後のズーム倍率は、時間に比例して変化することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
7. 前記拡大または縮小の処理の後のズーム倍率を指定する指定手段を有し、
   前記拡大または縮小の処理の前のズーム倍率と前記指定したズーム倍率との違いが、前記予め設定した倍率の違いの範囲を超えると、
   警告を表示することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法。
8. 前記表示ステップにおいては、前記複数の画像の少なくとも一部の画像のズーム倍率の変化をグラフとして表示することを特徴とする請求項１ないし７のいずれか１項に記載の画像処理方法。
9. 第１のズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像のズーム倍率の変化を表示する表示手段と、
   前記複数の画像を再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小の処理を行わせる指示手段と、を有し、
   前記複数の画像の各々において、
   前記拡大または縮小の処理の前のズーム倍率と前記拡大または縮小の処理の後のズーム倍率との違いが、予め設定した倍率の違いの範囲内であることを特徴とする画像処理装置。
10. 第１のズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像に対して、前記複数の画像を再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小の処理を行い、
    前記複数の画像の各々において、
    前記拡大または縮小の処理の前のズーム倍率と前記拡大または縮小の処理の後のズーム倍率との違いが、予め設定した倍率の違いの範囲内であり、
    前記予め設定した倍率の違いの範囲の上限は、前記複数の画像の各々において、少なくとも画像の一部のテクスチャに基づいて、設定することを特徴とする画像処理方法。
11. 拡大または縮小の処理を行う処理手段を有し、
    前記処理手段は、
    第１のズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像に対して、前記複数の画像を再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小の処理を行い、
    前記複数の画像の各々において、
    前記拡大または縮小の処理の前のズーム倍率と前記拡大または縮小の処理の後のズーム倍率との違いが、予め設定した倍率の違いの範囲内であり、
    前記予め設定した倍率の違いの範囲の上限は、前記複数の画像の各々において、少なくとも画像の一部のテクスチャに基づいて、設定することを特徴とする画像処理装置。

Images