JP6746390B2 - Image processing method and image processing apparatus - Google Patents
Image processing method and image processing apparatus Download PDFInfo
- Publication number
- JP6746390B2 JP6746390B2 JP2016118063A JP2016118063A JP6746390B2 JP 6746390 B2 JP6746390 B2 JP 6746390B2 JP 2016118063 A JP2016118063 A JP 2016118063A JP 2016118063 A JP2016118063 A JP 2016118063A JP 6746390 B2 JP6746390 B2 JP 6746390B2
- Authority
- JP
- Japan
- Prior art keywords
- zoom
- image
- magnification
- zoom magnification
- enlargement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Lens Barrels (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置に関し、特に、画像のズーム倍率を補正するための技術に関する。 The present invention relates to an image processing device, and more particularly to a technique for correcting a zoom magnification of an image.
ビデオカメラやスチルカメラ等の撮像装置には、光学系のズーム倍率を変化させるズーム操作を行うためのズーム操作部が備えられている。ビデオカメラでは、一般的にズームレバーが採用され、ズームレバーを押下すると電動でズームレンズが動作し、ズームインやズームアウトをしながら動画を撮像することができる。一方、一眼レフカメラでは、一般的にズームリングが採用され、ズームリングを手動で回転させるとズームインやズームアウトをしながら動画を撮像することができる。更に、スマートフォンなどのカメラ機能付き携帯電話では、タッチパネル上で2本の指を押し広げるように動かすピンチアウト操作をすることで、ユーザの指に合わせて画像を拡大または縮小する電子ズームをしながら動画を撮像することができる。 An image pickup apparatus such as a video camera or a still camera is provided with a zoom operation unit for performing a zoom operation for changing a zoom magnification of an optical system. A video camera generally employs a zoom lever, and when the zoom lever is pressed, the zoom lens operates electrically, and a moving image can be captured while zooming in or out. On the other hand, a single-lens reflex camera generally employs a zoom ring, and by manually rotating the zoom ring, a moving image can be captured while zooming in or out. Further, in a mobile phone with a camera function such as a smart phone, a pinch-out operation of pushing two fingers apart on a touch panel is performed to perform electronic zoom for enlarging or reducing an image according to the user's finger. A moving image can be captured.
しかしながら、これらの操作を行う際に、ズーム速度が不均一となってしまうことがある。例えば、ズームレバーを押下している途中で指が離れてしまうと、途中の期間だけズーム動作がなされない動画となってしまうことがある。また、ズームリングを手動で回転させる際は、回転速度が安定せず、ズーム速度が不均一な動画となってしまう場合がある。さらに、ピンチアウトを均一の速度でゆっくりと行うことは容易ではなく、やはりズーム速度が不均一な動画となってしまう場合がある。 However, when performing these operations, the zoom speed may become uneven. For example, if the finger is released while the zoom lever is being pressed, the moving image may not be zoomed during the halfway period. Further, when the zoom ring is manually rotated, the rotation speed may not be stable and the zoom speed may become non-uniform. Furthermore, it is not easy to perform pinch out slowly at a uniform speed, and a zoom speed may be non-uniform even in a moving image.
そこで、ズーム速度が不均一な動画に対して、ズーム速度を安定化し、滑らかな動画を生成する技術が開示されている。特許文献1では、ズーム速度が不均一な動画に対して、各フレーム画像を拡大又は縮小することにより、ズーム速度が安定した滑らかな動画を生成する技術が開示されている。 Therefore, a technique for stabilizing the zoom speed and generating a smooth moving image for a moving image with a non-uniform zoom speed is disclosed. Patent Document 1 discloses a technique for generating a smooth moving image with a stable zoom speed by enlarging or reducing each frame image for a moving image with a non-uniform zoom speed.
ズーム速度が不均一な動画に対し、各フレーム画像を拡大又は縮小することにより、ズーム速度が安定した滑らかな動画を生成する際に、各フレーム画像を拡大する拡大率が高過ぎると画像がぼけてしまうといった課題がある。また、各フレーム画像を縮小する縮小率が高過ぎると、生成したい出力画像サイズよりも小さくなってしまい、画像情報が欠落する領域が発生してしまうといった課題がある。 When a smooth video with a stable zoom speed is generated by enlarging or reducing each frame image for a video with a non-uniform zoom speed, the image will be blurred if the enlargement ratio for enlarging each frame image is too high. There is a problem that it will end. Further, if the reduction rate for reducing each frame image is too high, the size of the output image becomes smaller than the output image size to be generated, and there is a problem that an area where image information is lost occurs.
前述の特許文献1では、各フレーム画像を拡大又は縮小し滑らかな動画を生成する例について記載されているが、拡大する際の画像のぼけや縮小する際の画像情報の欠落領域を考慮した滑らか動画の生成については言及がない。 The above-mentioned Patent Document 1 describes an example of enlarging or reducing each frame image to generate a smooth moving image, but smoothing in consideration of a blur of an image when enlarging and a missing region of image information when reducing. There is no mention of video generation.
本発明は、上記の問題点を鑑みてなされたものであり、画質の低下を抑制しつつ、ズーム速度の安定性を改善した動画を生成することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to generate a moving image in which stability of zoom speed is improved while suppressing deterioration of image quality.
本発明は、第1のズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像のズーム倍率の変化を表示する表示ステップと、前記複数の画像を再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小の処理を行わせる指示ステップと、を有し、前記複数の画像の各々において、前記拡大または縮小の処理の前のズーム倍率と前記拡大または縮小の処理の後のズーム倍率との違いが、予め設定した倍率の違いの範囲内であることを特徴とする画像処理方法を提供する。 The present invention provides a display step of displaying a change in zoom magnification of at least a part of a plurality of images captured while performing a first zoom operation, and a smooth change in zoom magnification when reproducing the plurality of images. so as to have an indication step to I line enlarged or reduced processing and, in each of the plurality of images, after processing the previous zoom magnification and the enlargement or reduction processing of the enlargement or reduction The image processing method is characterized in that the difference from the zoom magnification is within the range of the difference in magnification set in advance.
本発明によれば、画質の低下を抑制しつつ、ズーム速度の安定性を改善した動画を生成することができる。 According to the present invention, it is possible to generate a moving image with improved zoom speed stability while suppressing deterioration of image quality.
以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、以下の説明では、デジタルカメラを例にあげて説明を行うが、デジタルカメラに限定されるわけでなく、ズーム動作を行って撮像された動画を取得可能で、画像に対して拡大および縮小処理を行うことができる画像処理装置であれば、本発明を適用できる。また、以下では、ズームイン(望遠側へのズーム動作)の場合について説明するが、ズームアウト(広角側へのズーム動作)の場合にも適用することができる。また、ここでは、動画撮像時にユーザがズームリングを操作することによってズームレンズが駆動された場合の例について説明を行うが、これに限定されるわけではない。上述のように、ズームレバーの操作によってズームレンズの駆動を行う場合や、ピンチアウトの操作によって画像を拡大または縮小処理する電子ズームを行う場合にも、本発明を適用することができる。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, a digital camera will be described as an example, but the present invention is not limited to a digital camera, and a moving image captured by performing a zoom operation can be acquired, and the image can be enlarged or reduced. The present invention can be applied to any image processing apparatus capable of performing processing. Further, in the following, the case of zooming in (zoom operation to the telephoto side) will be described, but it can be applied to the case of zooming out (zoom operation to the wide angle side). Further, here, an example in which the zoom lens is driven by the user operating the zoom ring at the time of capturing a moving image will be described, but the present invention is not limited to this. As described above, the present invention can be applied to the case where the zoom lens is driven by operating the zoom lever and the case where electronic zoom is performed to enlarge or reduce the image by operating the pinch out.
(第1の実施形態)
デジタルカメラ100は、静止画および動画を撮像することができ、かつ、撮像中、ズーム動作が可能なものである。さらに、デジタルカメラ100は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。
(First embodiment)
The
図1は本実施形態に係るデジタルカメラの構造を示すブロック図である。 FIG. 1 is a block diagram showing the structure of a digital camera according to this embodiment.
制御部101は、例えばCPUやMPUなどのシグナルプロセッサであり、予め後述するROM105に内蔵されたプログラムを読み出しながら、デジタルカメラ100の各部分を制御する。ユーザによる指令も、後述する操作部110によってデジタルカメラ100に入力され、制御部101を通して、デジタルカメラ100の各部分に達する。たとえば、後述するように、制御部101が、後述する撮像部104に対して撮像の開始と終了について指令を出す。または、後述する画像処理部107に対して、予めの設定に基づいて、画像処理の指令を出す。
The
駆動部102は、モーターなどによって構成され、制御部101の指令の下で、後述する光学系103を機械的に動作させる。たとえば、制御部101の指令に基づいて、駆動部102が光学系103に含まれるフォーカスレンズの位置を移動させ、光学系103の合焦位置を調整する。
The
光学系103は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。本実施形態では、光学系103によるズーム動作は、前述したように、操作部110に含まれるズームリングをユーザが操作することによって行われる。光学系103には、ズームレンズの位置を検知するセンサが設けられており、このセンサの出力が制御部101に送信される。そのため、ユーザがズームリングを操作することでズーム動作を行った場合であっても、このセンサの出力に基づいて、制御部101は光学系103のズーム倍率を把握することができる。
The
撮像部104は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部104に、CCDセンサやCMOSセンサなどを適用することができる。撮像部104は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、動画を撮像することができる。
The
ROM105は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ100が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。RAM106は、書き換え可能な揮発性メモリであり、デジタルカメラ100が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
The
画像処理部107は、撮像部104から出力された画像、あるいは後述する内蔵メモリ109に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部104が撮像した画像信号のデータに対して、JPEGなどの規格で、圧縮処理を行う。特に、画像処理部107が、撮像部104または後述する内蔵メモリ109に保存されている画像に対して、電子ズームで拡大処理または縮小処理をすることができる。
The image processing unit 107 performs various image processing such as white balance adjustment, color interpolation, and filtering on an image output from the
画像処理部107は、特定の処理を行う回路を集めた集積回路(ASIC)で構成される。あるいは、制御部101がROM105から読み出したプログラムに従って処理することで、制御部101が画像処理部107の機能の一部または全部を兼用するようにしてもよい。制御部101が画像処理部107の全ての機能を兼用する場合には、画像処理部107をハードウェアとして有する必要はなくなる。
The image processing unit 107 is composed of an integrated circuit (ASIC) that is a collection of circuits that perform specific processing. Alternatively, the
表示部108は、RAM106に一時保存されている画像、または、後述する内蔵メモリ109に保存されている画像、デジタルカメラ100の設定画面などを表示するための液晶ディスプレイや有機ELディスプレイなどである。
The
内蔵メモリ109は、撮像部104が撮像した画像や画像処理部107の処理を得た画像などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。
The built-in
操作部110は、たとえば、デジタルカメラ100につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部108に兼用されるタッチパネルなどである。ユーザによる指令は、操作部110を経由して、制御部101に達する。また、操作部110は、光学系103に付属しているズームリングなども含む。ユーザによってズームリングの操作が行われると、このズームリングに連結された機構によって、制御部101を介さずに、光学系103に含まれるズームレンズの位置が変更される。
The
図2は本実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。図3は、補正ズーム倍率の算出方法を説明するための図である。この図2および図3を用いて、本実施形態におけるデジタルカメラの動作について説明する。 FIG. 2 is a flowchart showing a process for improving the zoom stability of a moving image in this embodiment. FIG. 3 is a diagram for explaining a method of calculating the corrected zoom magnification. The operation of the digital camera according to the present embodiment will be described with reference to FIGS. 2 and 3.
ユーザがズームリングを動かしてズーム動作を行った動画を撮像、あるいは、このように撮像された動画を内蔵メモリ109から読み出すと、制御部101は、図2のフローチャートに示す処理を始める。動画の撮像時には、動画のフレームごとに制御部101が検知したズーム倍率の情報が、動画ともに内蔵メモリ109に格納されるものとする。なお、図2に示す処理は、撮像の直後に行ってもよいし、撮像した動画の再生時に行ってもよい。
When the user moves the zoom ring to capture a moving image that has been zoomed or reads the captured moving image from the
ステップS201において、内蔵メモリ109に保存されている撮像時の撮像ズーム倍率を取得する。なお、撮像時に光学系103による光学ズームのみならず、画像処理部107において電子ズームが行われた場合は、光学ズームによるズーム倍率と電子ズームによるズーム倍率を掛け合わせたズーム倍率を撮像ズーム倍率としてフレームごとに取得する。
In step S201, the imaging zoom magnification at the time of imaging stored in the built-in
ステップS202において、制御部101が、ズーム動作期間を取得する。以下では、図3(a)を参照しながら説明する。図3(a)は、撮像ズーム倍率と時間との関係を示す一例である。折線301で示した動作では、ユーザは時刻t0から時刻t1までの期間、および、時刻t3から時刻t4までの期間では、ズームリングを操作してズーム動作を行っている。ユーザは、時刻t1から時刻t3までの期間では、ズームリングを回しておらず、撮像ズーム倍率が変化していない。ここで、時刻t1から時刻t3までの時間が、予め定められた時間の閾値以下の場合、時刻t0から時刻t4の期間を、1つのズーム動作期間として取得する。なお、時刻t1から時刻t3までの時間が、予め定められた時間の閾値より大きい場合には、ユーザが意図的にズームリングを回していないものと判断し、この時間はズーム動作期間から除外する。ここで、誤動作など微小なズームの変動による影響をなくすため、撮像ズーム倍率の変動が予め定められた閾値以上の時のみズーム動作期間を取得するようにしてもよい。
In step S202, the
ユーザの操作によるズーム動作が行われている際に、図3(a)の時刻t1から時刻t3までの期間のように、ズーム動作が一時的に停止してしまうことがしばしば起きる。そのため、制御部101は、停止期間が短い場合にはその前後のズーム動作を1つのズーム動作として統合し、一連のズーム動作が行われた期間の全体(時刻t0から時刻t4まで)を、ズーム動作期間として取得する。
While the zoom operation is being performed by the user's operation, the zoom operation often stops temporarily as in the period from time t1 to time t3 in FIG. Therefore, when the stop period is short, the
ステップS203において、制御部101は、ズーム動作期間に基づき、仮補正ズーム倍率を算出する。仮補正ズーム倍率の算出方法について、図3(b)を参照して説明する。仮補正ズーム倍率の算出の一例としては、制御部101は、ズーム動作期間において、ズーム倍率の変化が一定になるように仮補正ズーム倍率を算出する。図3(b)における直線302は、仮補正ズーム倍率の一例を示している。この仮補正ズーム倍率は、つぎのステップS205とS206とでの補正ズーム倍率の算出と拡大率および縮小率の算出に使われる。
In step S203, the
なお、図3に示す仮補正ズーム倍率は、時間に比例しているが、これは一例にすぎず、必ずしもズーム倍率の変化が一定になるように仮補正ズーム倍率を算出する必要はない。仮補正ズーム倍率は、撮像ズーム倍率の変化にある程度沿うような曲線としても良く、撮像時のズーム倍率よりもズーム倍率の変動がなだらかになり、ズーム倍率の安定性が改善されればよい。 The temporary correction zoom magnification shown in FIG. 3 is proportional to time, but this is merely an example, and it is not always necessary to calculate the temporary correction zoom magnification so that the change in the zoom magnification becomes constant. The temporary correction zoom magnification may be a curve that follows the change of the imaging zoom magnification to some extent, and the fluctuation of the zoom magnification becomes gentler than the zoom magnification at the time of imaging, and the stability of the zoom magnification may be improved.
ズーム動作で画像の画質が悪くならないようにするためには、拡大処理および縮小処理の倍率の範囲を制限し、拡大処理および縮小処理の倍率を範囲内に納める必要がある。ステップS204において、制御部101は、ズーム倍率の範囲の上限および下限として、フレームごとに最小倍率および最大倍率を算出する。以下では、最小倍率と最大倍率との算出方法について、図4を用いて説明する。図4は仮補正ズーム倍率を調整して補正ズーム倍率を求める方法を説明するための図である。
In order to prevent the image quality of the image from being deteriorated by the zoom operation, it is necessary to limit the range of the magnification of the enlargement process and the reduction process and keep the magnification of the enlargement process and the reduction process within the range. In step S204, the
まず、最大倍率の算出について説明する。図4に示した画像の全体は、撮像部104が撮像し、画像処理部107に入力された画像である。これに対し、実際に表示部108がユーザに表示する範囲は、画像全体よりも小さいサイズの図4の領域400の部分のみである。この表示部108にて表示される部分は、制御部101により、予め定められた設定に基づいて指定されており、この指定されたサイズの領域400に相当する画像をズーム倍率補正画像という。ズーム倍率補正画像は、前述する電子ズーム動作にも影響され、電子ズームで画像を拡大して撮像されたときには、それに応じて、画像処理部107に入力された画像全体に対するズーム倍率補正画像の領域400が小さくなる。制御部101が、領域400の画像データを用いて、画像を拡大する際に生じる画像のぼけが許容できる最大倍率を算出する。具体的には、領域400において、微分フィルタやソーベルフィルタに代表されるエッジ検出フィルタ処理により算出したエッジ強度に基づき、(式1)を用いてぼけが許容できる最大倍率を算出する。なお、aおよびbは定数である。
最大倍率=(a÷エッジ強度+b) ・・・(式1)
First, the calculation of the maximum magnification will be described. The entire image shown in FIG. 4 is an image captured by the
Maximum magnification=(a÷edge strength+b) (Equation 1)
エッジ強度が小さい場合は、平坦部から構成されている画像であるため、拡大してもぼけが目立ち難い。そのため、最大倍率を高く設定する。逆に、逆にエッジ強度が大きい場合は、テクスチャ部から構成されている画像であるため、拡大するとぼけが目立ち易いため、最大倍率を低く設定する。 When the edge strength is low, the image is composed of flat portions, so blurring is not noticeable even when enlarged. Therefore, the maximum magnification is set high. On the contrary, when the edge strength is large, the image is composed of the texture portion, and blurring is apt to be noticeable when the image is enlarged. Therefore, the maximum magnification is set low.
次に、最小倍率の算出方法について、図4を用いて説明する。画像全体がズーム倍率補正画像データの画像サイズより小さくなってしまうと、表示部108がユーザに表示する範囲に、画像のない空白領域が生じてしまう。そのため、制御部101は、入力画像のサイズがズーム倍率補正画像データのサイズになる縮小率を最小倍率として算出する。式で書くと、次の(式2)になる。
最小倍率=(ズーム倍率補正画像のサイズ)÷(入力画像のサイズ) ・・・(式2)
Next, a method of calculating the minimum magnification will be described with reference to FIG. If the entire image becomes smaller than the image size of the zoom magnification correction image data, a blank area with no image will occur in the range displayed by the
Minimum magnification = (size of zoom magnification corrected image) / (size of input image) ... (Equation 2)
(式2)を用いて計算を行うとき、上記画像の水平のサイズと垂直のサイズの両方において、異なる計算結果が出る場合、どちらか計算結果が大きいほうを最小倍率とする。 When the calculation is performed using (Equation 2), when different calculation results are obtained in both the horizontal size and the vertical size of the image, the larger one of the calculation results is set as the minimum magnification.
制御部101は、以上のように、フレームごとに最大倍率および最小倍率を算出する。以下の説明では、仮補正ズーム倍率から、さらに拡大処理と縮小処理と両方を行うときについて説明するが、必ずしも拡大処理および縮小処理の両方を行う必要があるわけではない。拡大処理のみ、または、縮小処理のみを行うとき、ズーム倍率の変化を滑らかにすることができ、かつ、ぼけや空白領域などの問題が生じない限り、どちらかだけを実行してもよい。
As described above, the
次に、ステップS205で、制御部101は、補正ズーム倍率の算出を行う。以下では、図3と図5とを用いて説明する。図5は、補正ズーム倍率の算出方法を示すフローチャートである。
Next, in step S205, the
図5のステップS501で、制御部101が、処理対象フレームが縮小するフレームか拡大するフレームかについて判断する。判断方法としては、制御部101が、撮像部104から撮像ズーム倍率の情報を取得し、仮補正ズーム倍率と比較する。撮像ズーム倍率よりも仮補正ズーム倍率の方が小さい場合は、処理対象フレームは縮小するフレームとなる。逆に、撮像ズーム倍率よりも仮補正ズーム倍率の方が大きい場合は、処理対象フレームは拡大するフレームとなる。図3(b)を例にすると、時刻t0から時刻t2までに撮像したフレームは縮小するフレームであり、時刻t2から時刻t4までに撮像したフレームは拡大するフレームである。
In step S501 of FIG. 5, the
ステップS501で、制御部101が、処理対象フレームが縮小するフレームであると判断した場合、ステップS502に移行し、処理対象フレームの仮縮小率を算出する。制御部101が、仮縮小率を、(式3)に示すように算出する。
仮縮小率=(仮補正ズーム倍率)÷(撮像ズーム倍率) ・・・(式3)
When the
Temporary reduction rate=(temporary correction zoom magnification)/(imaging zoom magnification) (Equation 3)
ステップS503において、制御部101が、ステップS502で算出した仮縮小率が最小倍率以上か否かを判定する。ステップS503において、仮縮小率が最小倍率よりも小さい場合は、ステップS504に移行する。ステップS504で、制御部101が、仮補正ズーム倍率のズーム開始タイミングを、図3(c)の直線303のように、仮縮小率が最小倍率以上になるように、時間的に前に移動させる。
In step S503, the
ステップS501で、制御部101が、処理対象フレームが縮小するフレームでなく、拡大するフレームであると判断した場合、ステップS512に移行し、処理対象フレームの仮拡大率を算出する。制御部101が、仮拡大率を、(式4)に示すように算出する。
仮拡大率=(仮補正ズーム倍率)÷(撮像ズーム倍率) ・・・(式4)
When the
Temporary enlargement ratio=(temporary correction zoom magnification)/(imaging zoom magnification) (Equation 4)
なお、仮補正ズーム倍率と撮像ズーム倍率とが等しい場合は、仮拡大率は1となり、画像処理部107が、拡大縮小処理を行わない。 When the temporary correction zoom magnification and the imaging zoom magnification are equal, the temporary enlargement ratio is 1, and the image processing unit 107 does not perform the enlargement/reduction processing.
ステップS513において、制御部101が、ステップS512で算出した仮拡大率が最大倍率以下か否かを判定する。ステップS513において、仮拡大率が最大倍率よりも大きい場合は、ステップS514に移行する。ステップS514で、制御部101が、仮補正ズーム倍率のズーム終了タイミングを、図3(c)の直線303のように、仮拡大率が最大倍率以下になるように時間的に後に移動させる。
In step S513, the
前述したような、ズーム開始および終了タイミングを移動させることで、フロー中の処理対象となるフレームのみならず、他のフレームの仮補正ズーム倍率も、適宜調整する。全てのフレームの画像に対して、こうしたフローで処理することによって、各々のフレームの仮補正ズーム倍率が、少しずつ変わっていく。 By moving the zoom start and end timings as described above, not only the frame to be processed in the flow but also the temporary correction zoom magnifications of other frames are adjusted as appropriate. The temporary correction zoom magnification of each frame is gradually changed by processing the images of all the frames by such a flow.
ステップS505において、制御部101が、ズーム動作期間中の全てのフレームに対して、上述したステップS501乃至504または514のような処理をしたかどうかを判定する。ステップS505での判定が成り立たない場合、ステップS501に戻り、全てのフレームに対して処理が終了するまで繰り返す。全てのフレームに対して前述した処理が終了したとき、それぞれのフレームの画像の仮補正ズーム倍率を、(式3)または(式4)を用いて逆算し、計算の結果を補正ズーム倍率とする。
In step S505, the
以上は、ステップS205での補正ズーム倍率について説明した。 The correction zoom magnification in step S205 has been described above.
ステップS205で、制御部101が、補正ズーム倍率を算出すると、ステップS206に進み、縮小率および拡大率の算出を行う。縮小率および拡大率の算出は、下記の(式5)と(式6)とに従う。
縮小率=(補正ズーム倍率)÷(撮像ズーム倍率) ・・・(式5)
拡大率=(補正ズーム倍率)÷(撮像ズーム倍率) ・・・(式6)
When the
Reduction ratio = (correction zoom magnification) / (imaging zoom magnification) ... (Equation 5)
Magnification rate = (correction zoom magnification) / (imaging zoom magnification) ... (Equation 6)
ステップS207で、画像処理部107が、制御部101の指令の下で、ステップS206で算出した縮小率または拡大率に基づいて、縮小または拡大の処理を行う。その結果、ステップS205で算出した補正ズーム倍率まで、画像が拡大または縮小される。
In step S207, the image processing unit 107, under the command of the
ステップS208で、画像処理部107が、ステップS207で縮小または拡大の処理を行った画像に対して、切り出しの処理を行い、最終補正画像を生成する。以下では、図6を参照しながら、同じ撮像ズーム倍率の画像に対して、異なる画角の画像を切り出すことについて説明する。 In step S208, the image processing unit 107 performs clipping processing on the image that has been reduced or enlarged in step S207 to generate a final corrected image. Hereinafter, with reference to FIG. 6, clipping of images having different view angles with respect to images having the same imaging zoom magnification will be described.
図6は、時刻別の最終補正画像を説明するための図である。図6の画像600は、時刻t1、時刻t2および時刻t3の入力画像を示す。図6(a)の601、602および603は、それぞれ、時刻t1、時刻t2および時刻t3の切り出し領域を示す。図3(d)の折線301で示したように、時刻t1、時刻t2および時刻t3では撮像ズーム倍率が等しいため、時刻t1、時刻t2および時刻t3における入力画像の画角は、いずれも図6(a)の画像600となる。また、時刻t2の切り出し領域602のサイズは、ズーム倍率補正画像のサイズにあたる。
FIG. 6 is a diagram for explaining the final corrected image for each time. An
まず、図3(d)の時刻t1の画像の切り出しの処理について説明する。時刻t1では、撮像ズーム倍率よりも補正ズーム倍率のほうが小さい。よって、時刻t1で撮像部104が撮像したフレームの画像では、ズーム倍率補正画像よりも大きな領域601のサイズがズーム倍率補正画像のサイズに等しくなるように、入力画像に対して縮小処理を行う。画像処理部107は、縮小処理を行った画像から、領域601に相当する画角を切り出し、図6(b)に示したような最終補正画像を生成する。
First, a process of cutting out an image at time t1 in FIG. 3D will be described. At time t1, the correction zoom magnification is smaller than the imaging zoom magnification. Therefore, in the image of the frame captured by the
次、図3(d)の時刻t2の画像の切り出しの処理について説明する。時刻t2では、撮像ズーム倍率と補正ズーム倍率とが等しいので、時刻t2で撮像部104が撮像したフレーム画像では、入力画像に対して拡大縮小処理を行わない。画像処理部107は、撮像した画像から、ズーム倍率補正画像と同じサイズである領域602に相当する画角を切り出し、図6(c)に示したような最終補正画像を生成する。
Next, a process of cutting out an image at time t2 in FIG. 3D will be described. At time t2, the imaging zoom magnification is equal to the correction zoom magnification, so that the frame image captured by the
最後に、図3(d)の時刻t3の画像の切り出しの処理について説明する。時刻t3では、撮像ズーム倍率よりも補正ズーム倍率のほうが大きい。よって、時刻t3で撮像部104が撮像したフレームの画像では、ズーム倍率補正画像よりも小さな領域603のサイズがズーム倍率補正画像のサイズに等しくなるように、入力画像に対して拡大処理を行う。画像処理部107は、拡大処理を行った画像から、領域603に相当する画角を切り出し、図6(d)に示したような最終補正画像を生成する。
Finally, the process of cutting out the image at time t3 in FIG. 3D will be described. At time t3, the correction zoom magnification is larger than the imaging zoom magnification. Therefore, in the image of the frame captured by the
以上のように、複数の最終補正画像を生成することにより、撮像ズーム倍率が一定であった図3(d)の時刻t1から時刻t3までの期間で、図6(b)、(c)および(d)のように、滑らかなズーム倍率の変化を有する動画を生成することができる。 As described above, by generating the plurality of final correction images, the imaging zoom magnification is constant, and in the period from time t1 to time t3 in FIG. 3D, FIG. 6B, FIG. As in (d), it is possible to generate a moving image having a smooth change in zoom magnification.
なお、上述した切り出しの処理は、画像の中央部分に対して最終補正画像を設定して切り出すが、これに限定するものでない。たとえば、主被写体が最終補正画像に残るように、切り出し位置を変更しても良い。具体的には、入力画像の画面端に主被写体が存在している場合、画像処理部107が画面中央部分を切り出してしまうと、主被写体が最終補正画像に残らなくなってしまう可能性がある。そこで、画像処理部107は、主被写体の位置に応じて、切り出し位置を変更することにより、主被写体が最終補正画像に残るように切り出しても良い。 Note that, in the above-described cutout processing, the final corrected image is set and cut out in the central portion of the image; For example, the clipping position may be changed so that the main subject remains in the final corrected image. Specifically, when the main subject exists at the screen edge of the input image, if the image processing unit 107 cuts out the central portion of the screen, the main subject may not remain in the final corrected image. Therefore, the image processing unit 107 may perform clipping so that the main subject remains in the final corrected image by changing the clipping position according to the position of the main subject.
第1の実施形態によれば、滑らかなズーム動画を実現するとともに、処理後の動画にぼけや空白領域などの画質の悪化を生じることを防ぐことができる。 According to the first embodiment, it is possible to realize a smooth zoom moving image and prevent deterioration of image quality such as blurring and blank areas in the processed moving image.
(第2の実施形態)
第2の実施形態は、第1の実施形態と異なり、ユーザが予め補正ズーム倍率を指定することができる。画像処理部107が画像に対して予め指定した補正ズーム倍率で拡大処理または縮小処理を行う場合、画像の画質が悪くなるおそれがあると、表示部108に警告を表示させ、ユーザに推奨補正ズーム倍率を提示する。以下では、図7を用いて、第2の実施形態について説明する。なお、第1の実施形態と同様なところについては、説明は省く。図7は、第2の実施形態における動画のズームの安定性を改善するための処理を示すフローチャートであり、図8は、ユーザが補正ズーム倍率を指定する方法について説明するための図である。
(Second embodiment)
Unlike the first embodiment, the second embodiment allows the user to previously specify the corrected zoom magnification. When the image processing unit 107 performs enlargement processing or reduction processing on an image with a correction zoom magnification specified in advance, if there is a possibility that the image quality of the image may deteriorate, a warning is displayed on the
ステップS701とS702とで、第1の実施形態のステップS201とS204と同様な処理で、撮像ズーム倍率の取得と最小倍率および最大倍率の取得とを行う。 In steps S701 and S702, acquisition of the imaging zoom magnification and acquisition of the minimum magnification and the maximum magnification are performed by the same processing as steps S201 and S204 of the first embodiment.
ステップS703で、ユーザが、操作部110での入力などを通して、補正ズーム倍率を指定する。たとえば、図8に示した表示部108と操作部110との機能を兼用したタッチパネルに対して、ユーザが指またはタッチペンなどのオブジェクト809を用いて、指示を与える。領域801は、撮像部104が撮像した画像または動画を表示する。バー802は、動画を表示する場合の再生進度を示す。領域803乃至807は、動画の再生を制御するための区域で、ユーザがタッチすることで、動画を再生させたり、一時停止させたりすることができる。また、1つのフレームずつ送ることもできる。なお、領域803乃至807の機能は、デジタルカメラ100に付くボタンによって実現されてもよい。領域808は、ズーム倍率と時間との関係を示し、ユーザが領域をタッチすることで、補正ズーム倍率を指定することができる。たとえば、図8に示したように、オブジェクト809を使って、補正ズーム倍率を意味する直線810を描画し、各々のフレームの画像の補正ズーム倍率を指定する。また、領域803乃至807をタッチし、1つ1つのフレームの画像で撮像したい被写体が処理後の画像に入るように、補正ズーム倍率を微調整することもできる。
In step S703, the user specifies the corrected zoom magnification through the input on the
ステップS704で、制御部101が、第1の実施形態でのステップS502とS512と同様な方法で、仮縮小率または仮拡大率を算出する。
In step S704, the
ステップS705で、制御部101が、仮縮小率または仮拡大率が最小倍率以上または最大倍率以下かどうか判断する。仮縮小率または仮拡大率が最小倍率以上または最大倍率以下である場合、ステップS714に進む。ステップS714で、制御部101が、第1の実施形態のステップS206と同様に、縮小率または拡大率を算出する。ステップS715で、画像処理部107が、第1の実施形態のステップS207と同様に、入力画像に対して拡大または縮小の処理を行う。ステップS716で、画像処理部107が、第1の実施形態のステップS208と同様に、拡大処理または縮小処理を行った画像に対して切り出しの処理を行う。
In step S705, the
ステップS705で、制御部101が、仮縮小率または仮拡大率が最小倍率以上または最大倍率以下でないと判断した場合、ステップS706に進む。ステップS706で、制御部101は、表示部108に警告を表示させる。たとえば、仮拡大率が最大倍率よりも大きい場合は、「画像がぼける可能性があります」と、また、仮縮小率が最小倍率よりも小さい場合は、「画像情報の欠落のため、画像の一部が黒くなる可能性があります」と、表示部108が警告表示を行う。
When the
ステップS707で、ユーザが補正ズーム倍率を修正する場合、ステップS703に戻る。ユーザが修正しない場合、ステップS708に進む。ステップS708で、制御部101は、第1の実施形態のステップS202と同様に、ズーム動作期間の取得を行う。ステップS709で、制御部101は、第1の実施形態のステップS203と同様に、仮補正ズーム倍率の算出を行う。ステップS710で、制御部101は、第1の実施形態のステップS205と同様な算出を行い、算出の結果を推奨補正ズーム倍率とする。
If the user corrects the corrected zoom magnification in step S707, the process returns to step S703. If the user does not make the correction, the process proceeds to step S708. In step S708, the
ステップS711で、制御部101が、ステップS710で算出した推奨補正ズーム倍率を、表示部108に表示させ、ユーザに提示する。ステップS712で、ユーザが推奨補正ズーム倍率を使用するかどうかを決める。推奨補正ズーム倍率を使用する場合、ユーザがステップS703で指定した補正ズーム倍率を使わずに、ステップS714乃至716の処理を行う。推奨補正ズーム倍率を使用しない場合、ステップS713に進み、ユーザが指定した補正ズーム倍率を使い、ステップS714乃至716の処理を行う。
In step S711, the
第2の実施形態によれば、ユーザが指定した補正ズーム倍率で画像を拡大したり縮小したりすることができ、かつ、ユーザが指定した補正ズーム倍率で不自然な画像を生じるかどうかを判断し、ユーザに提示することができる。 According to the second embodiment, it is possible to enlarge or reduce the image with the correction zoom magnification specified by the user, and determine whether the correction zoom magnification specified by the user causes an unnatural image. Can be presented to the user.
(その他の実施形態)
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。
(Other embodiments)
The above embodiment has been described based on the implementation in the digital camera, but is not limited to the digital camera. For example, it may be implemented by a mobile device or the like having a built-in image sensor, or may be a network camera or the like capable of capturing an image.
また、以上の説明では、ズーム動作が光学ズーム動作であるということをもとに説明するが、これに限定するわけでない。たとえば、ユーザが手動で、動画の撮像中、タッチパネルを操作することで、電子ズームを行うことができる。こうした電子ズームでの動作のムラを調整しようとするとき、本発明を用いることもできる。 Further, although the above description is based on the fact that the zoom operation is an optical zoom operation, the present invention is not limited to this. For example, the user can manually perform the electronic zoom by operating the touch panel while capturing a moving image. The present invention can also be used when trying to adjust the unevenness of the operation in such an electronic zoom.
なお、本発明は、上述の実施形態の1つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 It should be noted that the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus execute the program. Can also be realized by a process of reading out and operating. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
なお、以上の処理では、ズーム動作期間を撮像時のズーム動作期間よりも長くするが、これに限定されるものでなく、必ずしもズーム動作期間を撮像時のズーム動作期間よりも長く修正する必要はない。たとえば、図9の曲線902ように、補正ズーム倍率の変化を一定(直線)にせずに、撮像ズーム倍率の変化にある程度沿うような平滑化曲線、または折線にする場合、ズーム動作期間を撮像時のズーム動作期間よりも短くすることも可能である。特に、ズーム動作期間を長くすると、前後のズーム動作にくっつけてしまう可能性があるとき、前述するような方法は有用である。
In the above process, the zoom operation period is made longer than the zoom operation period at the time of image capturing, but the present invention is not limited to this. Absent. For example, as shown by a
100 デジタルカメラ
101 制御部
102 駆動部
103 光学系
104 撮像部
105 ROM
106 RAM
107 画像処理部
108 表示部
109 内蔵メモリ
110 操作部
100
106 RAM
107
Claims (11)
前記複数の画像を再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小の処理を行わせる指示ステップと、を有し、
前記複数の画像の各々において、
前記拡大または縮小の処理の前のズーム倍率と前記拡大または縮小の処理の後のズーム倍率との違いが、予め設定した倍率の違いの範囲内であることを特徴とする画像処理方法。 A display step of displaying a change in zoom magnification of at least a part of the plurality of images captured while performing the first zoom operation;
An instruction step of performing an enlargement or reduction process so that a change in zoom magnification when reproducing the plurality of images is smooth,
In each of the plurality of images,
An image processing method, wherein the difference between the zoom magnification before the enlargement or reduction processing and the zoom magnification after the enlargement or reduction processing is within a preset difference range.
少なくとも画像の一部のテクスチャに基づいて、設定することを特徴とする請求項1に記載の画像処理方法。 The upper limit of the range of difference in the preset magnification is, in each of the plurality of images,
The image processing method according to claim 1, wherein the setting is performed based on at least part of the texture of the image.
前記予め設定した倍率の違いの範囲の下限は、前記撮像した画像のサイズと前記出力した画像のサイズとの違いに基づいて、設定することを特徴とする請求項1または2に記載の画像処理方法。 Output the clipped image by performing the clipping process on the captured image,
The image processing according to claim 1 or 2, wherein the lower limit of the preset range of the difference in magnification is set based on the difference between the size of the captured image and the size of the output image. Method.
前記拡大または縮小の処理の前のズーム倍率と前記指定したズーム倍率との違いが、前記予め設定した倍率の違いの範囲を超えると、
警告を表示することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理方法。 A specifying unit for specifying a zoom magnification after the enlargement or reduction processing,
When the difference between the zoom magnification before the enlargement or reduction processing and the specified zoom magnification exceeds the range of the difference in preset magnification,
The image processing method according to claim 1, further comprising displaying a warning.
前記複数の画像を再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小の処理を行わせる指示手段と、を有し、
前記複数の画像の各々において、
前記拡大または縮小の処理の前のズーム倍率と前記拡大または縮小の処理の後のズーム倍率との違いが、予め設定した倍率の違いの範囲内であることを特徴とする画像処理装置。 Display means for displaying a change in zoom magnification of at least a part of the plurality of images captured while performing the first zoom operation;
An instruction means for performing enlargement or reduction processing so that a change in zoom magnification when reproducing the plurality of images is smooth,
In each of the plurality of images,
An image processing apparatus, wherein the difference between the zoom magnification before the enlargement or reduction processing and the zoom magnification after the enlargement or reduction processing is within a preset difference range.
前記複数の画像の各々において、
前記拡大または縮小の処理の前のズーム倍率と前記拡大または縮小の処理の後のズーム倍率との違いが、予め設定した倍率の違いの範囲内であり、
前記予め設定した倍率の違いの範囲の上限は、前記複数の画像の各々において、少なくとも画像の一部のテクスチャに基づいて、設定することを特徴とする画像処理方法。 Enlargement or reduction processing is performed on at least a part of the plurality of images captured while performing the first zoom operation so that the zoom magnification changes smoothly when the plurality of images are reproduced. ,
In each of the plurality of images,
The difference between the zoom magnification before the enlargement or reduction processing and the zoom magnification after the enlargement or reduction processing is within the range of the preset magnification difference,
The image processing method, wherein the upper limit of the preset range of the difference in magnification is set based on at least part of the texture of each of the plurality of images.
前記処理手段は、
第1のズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像に対して、前記複数の画像を再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小の処理を行い、
前記複数の画像の各々において、
前記拡大または縮小の処理の前のズーム倍率と前記拡大または縮小の処理の後のズーム倍率との違いが、予め設定した倍率の違いの範囲内であり、
前記予め設定した倍率の違いの範囲の上限は、前記複数の画像の各々において、少なくとも画像の一部のテクスチャに基づいて、設定することを特徴とする画像処理装置。 It has a processing means for performing enlargement or reduction processing,
The processing means is
Enlargement or reduction processing is performed on at least a part of the plurality of images captured while performing the first zoom operation so that the zoom magnification changes smoothly when the plurality of images are reproduced. ,
In each of the plurality of images,
The difference between the zoom magnification before the enlargement or reduction processing and the zoom magnification after the enlargement or reduction processing is within the range of the preset magnification difference,
The image processing apparatus, wherein the upper limit of the preset range of difference in magnification is set based on at least a part of the texture of each of the plurality of images.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016118063A JP6746390B2 (en) | 2016-06-14 | 2016-06-14 | Image processing method and image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016118063A JP6746390B2 (en) | 2016-06-14 | 2016-06-14 | Image processing method and image processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017224940A JP2017224940A (en) | 2017-12-21 |
JP6746390B2 true JP6746390B2 (en) | 2020-08-26 |
Family
ID=60688476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016118063A Active JP6746390B2 (en) | 2016-06-14 | 2016-06-14 | Image processing method and image processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6746390B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115002338B (en) * | 2021-12-10 | 2023-06-02 | 荣耀终端有限公司 | Shooting parameter control method and device |
CN117714876A (en) * | 2023-07-11 | 2024-03-15 | 荣耀终端有限公司 | Image display method, storage medium, electronic device and chip |
-
2016
- 2016-06-14 JP JP2016118063A patent/JP6746390B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017224940A (en) | 2017-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5036599B2 (en) | Imaging device | |
JP4254825B2 (en) | Imaging apparatus, zoom information display method, and zoom information display program | |
JP2010141849A (en) | Main face selecting device, control method therefor, imaging device, and program | |
US20140362258A1 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
JP2011114407A (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP2011188481A (en) | Imaging device | |
US11140331B2 (en) | Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus | |
JP2016080918A (en) | Image shake correction device and control method therefor | |
US9137448B2 (en) | Multi-recording image capturing apparatus and control method for multi-recording image capturing apparatus for enabling the capture of two image areas having two different angles of view | |
JP6746390B2 (en) | Image processing method and image processing apparatus | |
JP6541501B2 (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, AND IMAGE PROCESSING METHOD | |
US11064135B2 (en) | Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus | |
JP2010176061A (en) | Photographing apparatus and program | |
JP2017143354A (en) | Image processing apparatus and image processing method | |
US11368629B2 (en) | Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus for controlling exposure of region having different brightness | |
JP5117889B2 (en) | Image processing apparatus and image processing method | |
JP2010183460A (en) | Image capturing apparatus and method of controlling the same | |
CN112995498B (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP2016187093A (en) | Image processing apparatus, image processing method and program | |
US11012629B2 (en) | Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus | |
JP6800644B2 (en) | Image processing device and image processing method | |
JP5615031B2 (en) | Imaging device | |
JP2017183983A (en) | Imaging apparatus, control method and control program of the same | |
JP6708490B2 (en) | Image processing method and image processing apparatus | |
JP5455485B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190418 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200805 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6746390 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |