JP5352377B2 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP5352377B2
JP5352377B2 JP2009185809A JP2009185809A JP5352377B2 JP 5352377 B2 JP5352377 B2 JP 5352377B2 JP 2009185809 A JP2009185809 A JP 2009185809A JP 2009185809 A JP2009185809 A JP 2009185809A JP 5352377 B2 JP5352377 B2 JP 5352377B2
Authority
JP
Japan
Prior art keywords
image
focal length
smoothing
recorded
zoom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009185809A
Other languages
Japanese (ja)
Other versions
JP2011040945A (en
Inventor
正祐 樋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to JP2009185809A priority Critical patent/JP5352377B2/en
Priority to KR1020090134912A priority patent/KR101635105B1/en
Priority to US12/852,867 priority patent/US8363128B2/en
Publication of JP2011040945A publication Critical patent/JP2011040945A/en
Application granted granted Critical
Publication of JP5352377B2 publication Critical patent/JP5352377B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Description

本発明は、画像処理装置及び画像処理方法に関する。   The present invention relates to an image processing apparatus and an image processing method.

動画像を主に撮影するビデオカメラでは、ズーム動作中でも映像が記録され、被写体がズームイン又はズームアウトされながら撮影されそのデータが記録される。ズームイン又はズームアウトを含む動画像を再生するとき視聴者にとって違和感がないように、記録中のビデオカメラのズームは、滑らか（スムーズ）に動作すること（ズーム速度の変化が少ないこと）が求められる。   In a video camera that mainly captures moving images, video is recorded even during a zoom operation, and the subject is captured while zooming in or out, and the data is recorded. The zoom of the video camera being recorded is required to operate smoothly (the change in zoom speed is small) so that the viewer does not feel uncomfortable when playing back a moving image including zoom-in or zoom-out. .

一方、レンズ交換可能なデジタル一眼レフカメラなどのカメラでは、ズーム動作中は画像を記録しない。なお、露光間ズーム等の例外的な撮影時の操作はあるが、通常の撮影時にはズーム動作は行われない。そして、静止画撮影で、撮影者が望むズーム倍率に素早く到達できるように、ズームレンズは、ズームリングを手動で回転させる機構が採用されている。   On the other hand, a camera such as a digital single-lens reflex camera with interchangeable lenses does not record an image during a zoom operation. Although there are exceptional shooting operations such as zoom between exposures, zoom operation is not performed during normal shooting. The zoom lens employs a mechanism for manually rotating the zoom ring so that the zoom magnification desired by the photographer can be quickly reached in still image shooting.

ズームに関する技術として、例えば特許文献１及び特許文献２が開示されている。特許文献１では、光学ズームをモータやギア等を用いて動作させるときに、ユーザーの操作とズーム機構の動作との間にタイムラグがある点を改善する。そのため、上記タイムラグを電気的な画角変更（いわゆるデジタルズーム）で補う。また、特許文献２は、手動ズームを電動ズームに切り替えられるようにする技術である。   For example, Patent Literature 1 and Patent Literature 2 are disclosed as techniques relating to zooming. In Patent Document 1, when the optical zoom is operated using a motor, a gear, or the like, a point that there is a time lag between the user's operation and the operation of the zoom mechanism is improved. For this reason, the time lag is compensated for by changing the angle of view (so-called digital zoom). Japanese Patent Application Laid-Open No. 2004-228561 is a technique that enables manual zoom to be switched to electric zoom.

特開２００８−５３７６９号公報JP 2008-53769 A 特開２００７−１０８３７３号公報JP 2007-108373 A

ところで、レンズ交換可能なデジタル一眼レフカメラなど、従来静止画撮影に使用されてきたカメラでも、近年ではビデオカメラと同様に動画像を撮影できるようになってきている。しかし、動画像を撮影できるデジタル一眼レフカメラでは、ズーム動作をユーザーが手動で行う必要がある。そのため、電動でズーム動作を行うビデオカメラに比べて、ズームの速度が不均一になるという問題が発生する。   By the way, in recent years, even a camera that has been conventionally used for still image shooting, such as a digital single-lens reflex camera with interchangeable lenses, has been able to capture a moving image in the same manner as a video camera. However, in a digital single-lens reflex camera that can capture a moving image, the user needs to manually perform a zoom operation. Therefore, there is a problem that the zoom speed becomes non-uniform compared to a video camera that performs zoom operation electrically.

そこで、特許文献２のように、交換レンズのズーム機構が電動でも可能になるようにレンズを構成することも可能であるが、レンズの製造コストが増加したり、レンズ全体が大きくなったり重くなったりする問題がある。また、デジタル一眼レフカメラの長所として、過去のレンズ資産を利用できることがあるが、従来の大抵のレンズは電動ズーム機構がないため、これらのレンズを装着したときは電動でズームを行うことは当然不可能である。特許文献１では、ユーザーが手動でズーム動作を行うことについては開示されていない。   Therefore, as in Patent Document 2, it is possible to configure the lens so that the zoom mechanism of the interchangeable lens can be electrically operated. However, the manufacturing cost of the lens increases, and the entire lens becomes larger or heavier. There is a problem. In addition, as an advantage of digital single-lens reflex cameras, there are cases where past lens assets can be used, but since most conventional lenses do not have an electric zoom mechanism, it is natural that zooming is performed electrically when these lenses are attached. Impossible. Patent Document 1 does not disclose that the user manually performs the zoom operation.

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザーが手動でズーム動作を行って撮影する際に、滑らかなズーム変化を有する動画像を生成することが可能な、新規かつ改良された画像処理装置及び画像処理方法を提供することにある。   Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to generate a moving image having a smooth zoom change when a user manually performs a zoom operation to shoot. It is an object of the present invention to provide a new and improved image processing apparatus and image processing method that can be performed.

上記課題を解決するために、本発明のある観点によれば、被写体像を拡大したり縮小したりするズームレンズがユーザーの手動操作によって使用されて撮影された複数枚の画像と、複数枚の画像に対応した撮影時の焦点距離とを記録する記録部と、記録された焦点距離に基づいて、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出する焦点距離算出部と、スムーズ化用焦点距離と、記録された焦点距離と、記録された画像とに基づいて、スムーズ化用焦点距離に対応する画角を有するスムーズ化用画像を生成する画像生成部とを備えることを特徴とする画像処理装置が提供される。   In order to solve the above-described problem, according to one aspect of the present invention, a plurality of images captured by using a zoom lens for enlarging or reducing a subject image by a user's manual operation, and a plurality of images A recording unit that records a focal length at the time of shooting corresponding to an image, and a focal length calculation unit that calculates a focal length for smoothing based on the recorded focal length so that a temporal change in the focal length becomes smooth A smoothing focal length, a recorded focal length, and an image generation unit that generates a smoothing image having an angle of view corresponding to the smoothing focal length based on the recorded image. Is provided.

この構成によって、スムーズ化用焦点距離が、記録部に記録された焦点距離に基づいて、焦点距離の時間変化が滑らかになるように算出され、スムーズ化用画像が、スムーズ化用焦点距離に対応する画角を有するように、スムーズ化用焦点距離、記録部に記録された焦点距離と画像に基づいて生成される。その結果、ユーザーがズームレンズを用いて手動でズーム動作を行って撮影した場合でも、滑らかなズーム変化を有する動画像を生成できる。   With this configuration, the focal length for smoothing is calculated based on the focal length recorded in the recording unit so that the temporal change of the focal length is smooth, and the smoothing image corresponds to the focal length for smoothing. It is generated based on the focal length for smoothing, the focal length recorded in the recording unit and the image so as to have an angle of view. As a result, it is possible to generate a moving image having a smooth zoom change even when the user manually performs a zoom operation using a zoom lens.

上記画像生成部がスムーズ化用画像を生成する際、スムーズ化用画像が記録された画像に対して拡大されるように、焦点距離算出部がスムーズ化用焦点距離を算出する。この構成によって、スムーズ化用画像を生成する際、同時刻の記録された画像を必ず使用できるため、滑らかなズーム変化を有する動画像を確実に生成できる。   When the image generation unit generates the smoothing image, the focal length calculation unit calculates the smoothing focal length so that the smoothing image is enlarged with respect to the recorded image. With this configuration, when a smoothing image is generated, an image recorded at the same time can be used without fail, so that a moving image having a smooth zoom change can be reliably generated.

上記焦点距離算出部は、記録された焦点距離が増加方向の一方向又は減少方向の一方向に変化している間について、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出する。この構成によって、記録された焦点距離の変化の方向が同一である期間のみが、スムーズ化用焦点距離の算出において考慮される。   The focal length calculation unit calculates the focal length for smoothing so that the temporal change of the focal length is smooth while the recorded focal length is changing in one direction of increasing direction or one direction of decreasing direction. To do. With this configuration, only the period in which the recorded focal length changes are the same is taken into account in the calculation of the smoothing focal length.

また、上記課題を解決するために、本発明の別の観点によれば、被写体像を拡大したり縮小したりするズームレンズがユーザーの手動操作によって使用されて撮影された複数枚の画像と、複数枚の画像に対応した撮影時の焦点距離とを記録部に記録するステップと、記録された焦点距離に基づいて、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出するステップと、スムーズ化用焦点距離と、記録された焦点距離と、記録された画像とに基づいて、スムーズ化用焦点距離に対応する画角を有するスムーズ化用画像を生成するステップとを備えることを特徴とする画像処理方法が提供される。   In order to solve the above-described problem, according to another aspect of the present invention, a plurality of images photographed by using a zoom lens for enlarging or reducing a subject image by a user's manual operation, Based on the recorded focal length, the focal length for smoothing is calculated so that the temporal change of the focal length is smooth based on the step of recording the focal length at the time of shooting corresponding to a plurality of images in the recording unit. Generating a smoothing image having an angle of view corresponding to the smoothing focal length based on the step, the smoothing focal length, the recorded focal length, and the recorded image. An image processing method is provided.

以上説明したように本発明によれば、ユーザーが手動でズーム動作を行って撮影する際に、滑らかなズーム変化を有する動画像を生成することができる。   As described above, according to the present invention, it is possible to generate a moving image having a smooth zoom change when a user manually performs a zoom operation to shoot.

本発明の第１の実施形態に係る撮像装置１００を示すブロック図である。1 is a block diagram illustrating an imaging apparatus 100 according to a first embodiment of the present invention. 同実施形態に係る撮像装置１００の動画撮影動作を示すフローチャートである。4 is a flowchart showing a moving image shooting operation of the imaging apparatus 100 according to the embodiment. 同実施形態に係る撮像装置１００の動画撮影動作を示すフローチャートである。4 is a flowchart showing a moving image shooting operation of the imaging apparatus 100 according to the embodiment. 同実施形態に係る撮像装置１００のメモリ一時記録映像のスムーズ化動作を示すフローチャートである。4 is a flowchart showing a smoothing operation of a memory temporarily recorded video of the imaging apparatus 100 according to the embodiment. 焦点距離の変化特性を示すグラフである。It is a graph which shows the change characteristic of a focal distance. 焦点距離の変化特性を示すグラフである。It is a graph which shows the change characteristic of a focal distance. 焦点距離の変化特性を示すグラフである。It is a graph which shows the change characteristic of a focal distance. 本発明の第２の実施形態に係る画像処理装置２００を示すブロック図である。It is a block diagram which shows the image processing apparatus 200 which concerns on the 2nd Embodiment of this invention. 同実施形態に係る画像処理装置２００に適用可能な動画ファイルのデータ構造を示す説明図である。It is explanatory drawing which shows the data structure of the moving image file applicable to the image processing apparatus 200 which concerns on the embodiment. 同実施形態に係る画像処理装置２００のズームスムーズ化動作を示すフローチャートである。4 is a flowchart showing a zoom smoothing operation of the image processing apparatus 200 according to the embodiment. 焦点距離の変化特性を示すグラフである。It is a graph which shows the change characteristic of a focal distance. 従来の撮像装置の動画撮影動作を示すフローチャートである。It is a flowchart which shows the moving image shooting operation | movement of the conventional imaging device.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。   Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.

＜１．第１の実施形態＞
［撮像装置の構成］
まず、図１を参照して、本発明の第１の実施形態に係る撮像装置１００の構成について説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。 <1. First Embodiment>
[Configuration of imaging device]
First, the configuration of the imaging apparatus 100 according to the first embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram illustrating an imaging apparatus 100 according to the present embodiment.

撮像装置１００は、例えば静止画像及び動画像を撮影することができる、レンズ交換が可能なデジタル一眼レフカメラである。撮像装置１００は、例えば、交換レンズ１０２、撮像素子１１０、前処理部１１２、ＭＰＵ１２０、画像メモリ１２２、メモリカード１２６、静止画像処理部１３２、動画像処理部１３４、ＪＰＥＧ処理部１３６、表示部１４０、操作部１５０などからなる。なお、撮像装置１００は、一眼レフカメラに限定されず、交換レンズが装着可能なコンパクト型カメラでもよい。   The imaging apparatus 100 is a digital single-lens reflex camera capable of taking a still image and a moving image and capable of exchanging lenses. The imaging apparatus 100 includes, for example, an interchangeable lens 102, an imaging element 110, a preprocessing unit 112, an MPU 120, an image memory 122, a memory card 126, a still image processing unit 132, a moving image processing unit 134, a JPEG processing unit 136, and a display unit 140. The operation unit 150 and the like. The imaging apparatus 100 is not limited to a single-lens reflex camera, and may be a compact camera to which an interchangeable lens can be attached.

交換レンズ１０２は、レンズ１０３及びＡＦ駆動部１０４等を有する。レンズ１０３は、図示しないが、例えばズームレンズ、絞り、フォーカスレンズなどからなる。そして、交換レンズ１０２には、ユーザーが手動でズームを変化させることができるように例えばズームリングなどが設けられている。ズームリングを回転させることで、撮像面に結像する被写体像を拡大したり縮小したりできる。   The interchangeable lens 102 includes a lens 103, an AF driving unit 104, and the like. Although not shown, the lens 103 includes, for example, a zoom lens, a diaphragm, and a focus lens. The interchangeable lens 102 is provided with, for example, a zoom ring so that the user can manually change the zoom. By rotating the zoom ring, the subject image formed on the imaging surface can be enlarged or reduced.

交換レンズ１０２は、外部の光情報を撮像素子１１０に結像させる光学系システムであり、被写体からの光を撮像素子１１０まで透過させる。ズームレンズは、焦点距離を変化させて画角を変えるレンズである。絞りは、透過する光量を調節する機構である。フォーカスレンズは、光軸方向に移動することで撮像素子１１０の撮像面に被写体像を合焦させる。フォーカスレンズは、ＡＦ駆動部１０４によって駆動される。   The interchangeable lens 102 is an optical system that forms an image of external light information on the image sensor 110, and transmits light from the subject to the image sensor 110. The zoom lens is a lens that changes the angle of view by changing the focal length. The diaphragm is a mechanism that adjusts the amount of light transmitted. The focus lens moves in the optical axis direction to focus the subject image on the imaging surface of the image sensor 110. The focus lens is driven by the AF driving unit 104.

撮像素子１１０は、光電変換素子の一例であり、交換レンズ１０２を透過して入射した光情報を電気信号に変換する光電変換が可能な複数の素子から構成される。各素子は受光した光量に応じた電気信号を生成する。撮像素子１１０は、ＣＣＤ（charge coupled device）センサー、ＣＭＯＳ（complementary metal oxide semiconductor）センサー等を適用することができる。   The image sensor 110 is an example of a photoelectric conversion element, and includes a plurality of elements capable of performing photoelectric conversion that converts optical information that has passed through the interchangeable lens 102 and entered into an electrical signal. Each element generates an electrical signal corresponding to the amount of light received. As the image sensor 110, a charge coupled device (CCD) sensor, a complementary metal oxide semiconductor (CMOS) sensor, or the like can be applied.

なお、撮像素子１１０の露光時間を制御するため、非撮影時に光を遮って撮影時のみ光が当たるように、メカニカルシャッター（図示せず。）を適用することができる。また、これに限定されず、電子シャッターを適用してもよい。なお、メカニカルシャッター又は電子シャッターの動作は、シャッターボタン（操作部１５０）のスイッチによって行われる。   In addition, in order to control the exposure time of the image sensor 110, a mechanical shutter (not shown) can be applied so that the light is blocked during non-shooting and the light is applied only during shooting. Further, the present invention is not limited to this, and an electronic shutter may be applied. The mechanical shutter or electronic shutter is operated by a switch of the shutter button (operation unit 150).

撮像素子１１０は、更にＣＤＳ／ＡＭＰ部、Ａ／Ｄ変換部を有する。ＣＤＳ／ＡＭＰ部（相関二重サンプリング回路（correlated double sampling）／増幅器（amplifier））は、撮像素子１１０から出力された電気信号に含まれるリセットノイズとアンプノイズを除去すると共に、電気信号を任意のレベルまで増幅する。Ａ／Ｄ変換部は、ＣＤＳ／ＡＭＰ部から出力された電気信号をデジタル変換してデジタル信号を生成する。Ａ／Ｄ変換部は、生成したデジタル信号を前処理部１１２に出力する。   The image sensor 110 further includes a CDS / AMP unit and an A / D conversion unit. The CDS / AMP unit (correlated double sampling circuit / amplifier) removes reset noise and amplifier noise included in the electrical signal output from the image sensor 110, and converts the electrical signal into an arbitrary signal. Amplify to level. The A / D conversion unit digitally converts the electrical signal output from the CDS / AMP unit to generate a digital signal. The A / D conversion unit outputs the generated digital signal to the preprocessing unit 112.

前処理部１１２は、Ａ／Ｄ変換部から出力されたデジタル信号に対して処理を施し、画像処理が可能となる画像信号を生成する。前処理部１１２は、例えば、撮像素子１１０の画素欠陥補正、黒レベル補正、シェーディング補正などの処理を行う。前処理部１１２は、生成した画像信号を例えば静止画像処理部１３２に出力する。また、前処理部１１２は、画像メモリ１２２への画像データの読み書きを制御する。   The preprocessing unit 112 performs processing on the digital signal output from the A / D conversion unit, and generates an image signal that can be processed. The preprocessing unit 112 performs processes such as pixel defect correction, black level correction, and shading correction of the image sensor 110, for example. The preprocessing unit 112 outputs the generated image signal to the still image processing unit 132, for example. Further, the preprocessing unit 112 controls reading / writing of image data from / to the image memory 122.

ＭＰＵ（Micro Processor Unit）１２０は、プログラムによって演算処理装置及び制御装置として機能し、撮像装置１００内に設けられた各構成要素の処理を制御する。ＭＰＵ１２０は、例えば、ＡＦ駆動部１０４に信号を出力して交換レンズ１０２のフォーカスレンズを駆動させる。また、ＭＰＵ１２０は、操作部１５０からの信号に基づいて撮像装置１００の各構成要素を制御する。なお、本実施形態においては、ＭＰＵ１２０が１つだけからなる構成であるが、信号系の命令と操作系の命令とを別々のＣＰＵで行うなど複数のＣＰＵから構成されてもよい。   An MPU (Micro Processor Unit) 120 functions as an arithmetic processing device and a control device according to a program, and controls processing of each component provided in the imaging device 100. For example, the MPU 120 outputs a signal to the AF driving unit 104 to drive the focus lens of the interchangeable lens 102. Further, the MPU 120 controls each component of the imaging device 100 based on a signal from the operation unit 150. In the present embodiment, the MPU 120 is composed of only one, but the MPU 120 may be composed of a plurality of CPUs, for example, a signal system command and an operation system command are executed by separate CPUs.

画像メモリ１２２は、例えばＳＤＲＡＭ（synchronous DRAM）であり、撮影した画像の画像データを一時的に保存する。画像メモリ１２２は、複数の画像の画像データを記憶できる記憶容量を有している。画像メモリ１２２への画像の読み書きは、前処理部１１２によって制御される。本実施形態では、画像メモリ１２２は、記録部の一例であり、ズームレンズがユーザーの手動操作によって使用されて撮影された複数枚の画像と、複数枚の画像に対応した撮影時の焦点距離を記録できる。   The image memory 122 is, for example, an SDRAM (synchronous DRAM), and temporarily stores image data of captured images. The image memory 122 has a storage capacity capable of storing image data of a plurality of images. Reading and writing of images to and from the image memory 122 is controlled by the preprocessing unit 112. In the present embodiment, the image memory 122 is an example of a recording unit, and a plurality of images captured by using a zoom lens by a user's manual operation and a focal length at the time of shooting corresponding to the plurality of images. Can record.

メモリカード１２６は、画像データの書き込み、又は記録された画像データや設定情報などの読み出しがされる。メモリカード１２６は、例えば、磁気ディスク、半導体記憶媒体などの記録媒体であり、撮影された画像データを記録する。記録媒体であれば、メモリカード１２６に限定されず、光ディスク（ＣＤ、ＤＶＤ、ブルーレイディスク等）、光磁気ディスクなどでもよい。メモリカード１２６は、撮像装置１００から着脱可能に構成されてもよい。   The memory card 126 writes image data or reads recorded image data and setting information. The memory card 126 is a recording medium such as a magnetic disk or a semiconductor storage medium, and records captured image data. As long as it is a recording medium, it is not limited to the memory card 126, and may be an optical disk (CD, DVD, Blu-ray disk, etc.), a magneto-optical disk, or the like. The memory card 126 may be configured to be detachable from the imaging device 100.

静止画像処理部１３２は、前処理部１１２から映像信号を受け、輝度信号と色信号に変換処理する。静止画像処理部１３２は、ＷＢ制御値、γ値、エッジ（輪郭）強調制御値などに基づいて、画像処理された画像信号を生成する。静止画像処理部１３２は、生成した画像信号を動画像処理部１３４やＪＰＥＧ処理部１３６に送る。   The still image processing unit 132 receives the video signal from the preprocessing unit 112 and converts it into a luminance signal and a color signal. The still image processing unit 132 generates an image signal subjected to image processing based on the WB control value, the γ value, the edge (contour) enhancement control value, and the like. The still image processing unit 132 sends the generated image signal to the moving image processing unit 134 and the JPEG processing unit 136.

動画像処理部１３４は、静止画像処理部１３２から静止画像の画像データを受けて、コーディング（符号化）処理によって動画像データを生成する。動画像処理部１３４は、例えばＭＰＥＧ形式などで符号化処理をして、複数の画像フレームが一つのファイルとして纏められたストリームデータを生成する。生成された動画像データは、メモリカード１２６等に記録される。   The moving image processing unit 134 receives image data of a still image from the still image processing unit 132, and generates moving image data by coding (encoding) processing. The moving image processing unit 134 performs encoding processing in, for example, the MPEG format, and generates stream data in which a plurality of image frames are collected as one file. The generated moving image data is recorded on the memory card 126 or the like.

動画像処理部１３４は、更に焦点距離算出部を有し、画像メモリ１２２に記録された焦点距離に基づいて、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出する。また、動画像処理部１３４は、画像生成部の一例であり、スムーズ化用焦点距離と、画像メモリ１２２に記録された焦点距離と、画像メモリ１２２に記録された画像とに基づいて、スムーズ化用焦点距離に対応する画角を有するスムーズ化用画像を生成する。   The moving image processing unit 134 further includes a focal length calculation unit, and calculates the smoothing focal length based on the focal length recorded in the image memory 122 so that the temporal change of the focal length becomes smooth. The moving image processing unit 134 is an example of an image generation unit, and smoothing is performed based on the focal length for smoothing, the focal length recorded in the image memory 122, and the image recorded in the image memory 122. A smoothing image having a field angle corresponding to the focal length is generated.

上記スムーズ化用画像を生成する際、スムーズ化用画像が記録された画像に対して拡大されるように、焦点距離算出部がスムーズ化用焦点距離を算出する。また、上記焦点距離算出部は、記録された焦点距離が増加方向の一方向又は減少方向の一方向に変化している間について、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出する。   When generating the smoothing image, the focal length calculation unit calculates the smoothing focal length so that the smoothing image is enlarged with respect to the recorded image. Further, the focal length calculation unit is configured to smooth the focal length for smoothing so that the temporal change of the focal length is smooth while the recorded focal length is changing in one direction of increasing direction or one direction of decreasing direction. Is calculated.

ＪＰＥＧ処理部１３６は、静止画像処理部１３２からの画像データに対して、例えばＪＰＥＧ（Joint Photographic Experts Group）規格などの静止画像の符号化方式で圧縮符号化処理を行う。生成された圧縮符号化されたデータはメモリカード１２６等に記録される。また、メモリカード１２６から供給された静止画像の符号化データに対して伸張復号化処理を行う。   The JPEG processing unit 136 performs compression coding processing on the image data from the still image processing unit 132 by a still image coding method such as JPEG (Joint Photographic Experts Group) standard. The generated compression-encoded data is recorded on the memory card 126 or the like. Further, decompression decoding processing is performed on the encoded data of the still image supplied from the memory card 126.

表示部１４０は、例えばＶＲＡＭから画像データを受けて、画面に画像を表示する。表示部１４０は、例えば撮像装置１００の本体に設けられる。表示部１４０が表示する画像は、例えば、ＶＲＡＭから読み出された撮影前の画像（ライブビュー表示）、撮像装置１００の各種設定画面や、撮像して記録された画像などである。表示部１４０は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどである。   The display unit 140 receives image data from, for example, a VRAM and displays an image on the screen. The display unit 140 is provided in the main body of the imaging device 100, for example. The image displayed on the display unit 140 is, for example, an image before shooting (live view display) read from the VRAM, various setting screens of the imaging apparatus 100, an image recorded and recorded, and the like. The display unit 140 is, for example, a liquid crystal display or an organic EL display.

なお、ＶＲＡＭ（video RAM）は、画像表示用のメモリであり、複数のチャネルを有する。ＶＲＡＭは、画像メモリ１２２からの画像表示用の画像データの入力と、表示部１４０への画像データの出力を同時に実行できる。表示部１４０の解像度や最大発色数はＶＲＡＭの容量に依存する。   A VRAM (video RAM) is a memory for image display and has a plurality of channels. The VRAM can simultaneously input image data for image display from the image memory 122 and output image data to the display unit 140. The resolution and the maximum number of colors of the display unit 140 depend on the VRAM capacity.

操作部１５０は、例えば、撮像装置１００に設けられた上下左右キー、電源スイッチ、モードダイアル、シャッターボタンなどである。操作部１５０は、ユーザーによる操作に基づいて操作信号をＭＰＵ１２０等に送る。例えば、シャッターボタンは、ユーザーによる半押し（Ｓ１操作）、全押し（Ｓ２操作）、解除が可能である。シャッターボタンは、半押しされたときフォーカス制御開始の操作信号を出力し、半押し解除でフォーカス制御が終了する。また、シャッターボタンは、全押しされたとき、撮影開始の操作信号を出力する。   The operation unit 150 is, for example, an up / down / left / right key, a power switch, a mode dial, or a shutter button provided in the imaging apparatus 100. The operation unit 150 sends an operation signal to the MPU 120 or the like based on an operation by the user. For example, the shutter button can be pressed halfway (S1 operation), fully pressed (S2 operation), and released by the user. When the shutter button is half-pressed, it outputs an operation signal for starting focus control, and when the half-press is released, the focus control ends. Further, when the shutter button is fully pressed, an operation signal for starting shooting is output.

なお、撮像装置１００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。   Note that a series of processing in the imaging apparatus 100 may be processed by hardware or may be realized by software processing by a program on a computer.

［撮像装置の動作］
図２Ａ及び図２Ｂは、本実施形態に係る撮像装置１００の動画撮影動作を示すフローチャートである。図１１は、従来の撮像装置の動画撮影動作を示すフローチャートである。 [Operation of imaging device]
2A and 2B are flowcharts illustrating the moving image shooting operation of the imaging apparatus 100 according to the present embodiment. FIG. 11 is a flowchart showing the moving image shooting operation of the conventional imaging apparatus.

本実施形態の撮像装置１００は、従来の撮像装置と比較して、ステップＳ１１１がまず行われ、ステップＳ１１５のＹＣＣ化処理の後にズーム動作中であるか否かによって種々の処理が行われる点で異なる。従来の撮像装置では、ズーム動作中であるか否かに関わらず、ステップＳ１４のＹＣＣ化処理の後に動画コーディング（ステップＳ１５）、動画ストリームのカード記録（ステップＳ１６）などが行われ、撮影が終了する。   Compared with the conventional imaging apparatus, the imaging apparatus 100 according to the present embodiment performs step S111 first, and performs various processes depending on whether or not the zoom operation is being performed after the YCC processing in step S115. Different. In the conventional image pickup apparatus, regardless of whether or not the zoom operation is being performed, the video coding (step S15), the video stream card recording (step S16), and the like are performed after the YCC conversion process in step S14, and the shooting is completed. To do.

以下、本実施形態に係る撮像装置１００の動画撮影動作について説明する。
撮像装置１００の動画撮影動作が開始されると、まず、ズーム動作中の画像データが画像メモリ１２２に記録されているか否かを示す一時記録フラッグ（Flag）をＯＦＦに設定する（ステップＳ１１１）。そして、自動露出（ＡＥ）や自動焦点（ＡＦ）が設定される（ステップＳ１１２、Ｓ１１３）。撮影データは、撮像素子１１０からＲＡＷ画像データとして読み出され、静止画像処理部１３２でＹＣＣ化処理が行われる（ステップＳ１１５）。 Hereinafter, the moving image shooting operation of the imaging apparatus 100 according to the present embodiment will be described.
When the moving image shooting operation of the imaging apparatus 100 is started, first, a temporary recording flag (Flag) indicating whether or not image data during the zoom operation is recorded in the image memory 122 is set to OFF (step S111). Then, automatic exposure (AE) and automatic focus (AF) are set (steps S112 and S113). The shooting data is read out as RAW image data from the image sensor 110, and YCC processing is performed by the still image processing unit 132 (step S115).

また、撮像装置１００による撮影がズーム動作中であるか又はズーム動作が停止したかが判断される（ステップＳ１１６）。ズーム動作中であるか否かは、撮影時の焦点距離が増加方向の一方向又は減少方向の一方向に変化しているかどうかを判断する。焦点距離の変化の方向が反対方向又は一定になったとき、ズーム動作が停止したと判断する。   In addition, it is determined whether shooting by the imaging apparatus 100 is in the zoom operation or the zoom operation is stopped (step S116). Whether or not the zoom operation is being performed determines whether or not the focal length at the time of shooting changes in one direction of increase or one direction of decrease. When the direction of change in the focal length is opposite or constant, it is determined that the zoom operation has stopped.

ズーム動作中であるか否かの判断は、フレーム毎に行ってもよいし、例えば１秒毎など所定時間毎に行ってもよい。但し、このズーム動作中であるか否かの判断をフレーム毎など短時間の単位で行うと、ズーム操作の仕方によっては、ズームが継続中であると判断される期間が短くなる場合がある。その結果、短時間のファイルが多数生成されてしまうため、１秒に１回くらいの頻度で行うとよい。   The determination as to whether or not the zoom operation is being performed may be performed for each frame or may be performed at predetermined time intervals such as every second. However, if the determination as to whether or not the zoom operation is being performed is performed in units of a short time such as every frame, the period during which the zoom is determined to be continued may be shortened depending on how the zoom operation is performed. As a result, a large number of short-time files are generated, so it is preferable to perform the file at a frequency of about once per second.

ズーム動作中ではないと判断された場合、次に、一時記録フラッグがＯＮになっているか、又はＯＦＦになっているかが判断される（ステップＳ１１７）。ズーム動作が以前にされていない場合は、一時記録フラッグはＯＦＦである。そして、一時記録フラッグがＯＦＦであると判断されると、撮影中の画像データについて、動画コーディングがされる（ステップＳ１１８）。例えば、画像データはＭＰＥＧ形式などに符号化される。その後、コーディングされた画像データ（動画ストリーム）が、メモリカード１２６等の記録メディアに記録される（ステップＳ１１９）。   If it is determined that the zoom operation is not being performed, it is then determined whether the temporary recording flag is ON or OFF (step S117). If the zoom operation has not been performed before, the temporary recording flag is OFF. If it is determined that the temporary recording flag is OFF, moving image coding is performed on the image data being shot (step S118). For example, the image data is encoded in MPEG format or the like. Thereafter, the coded image data (moving image stream) is recorded on a recording medium such as the memory card 126 (step S119).

即ち、以前にズーム動作がされていない場合であって、ズーム動作中ではないときは、従来と同様に、撮影中のデータがそのまま記録メディアに記録されていく。   That is, when the zoom operation has not been performed before and when the zoom operation is not being performed, the data being shot is recorded on the recording medium as it is, as in the past.

ズーム動作中ではないと判断され、動画ストリームのカード記録（ステップＳ１１９）が完了したとき、撮影が終了したか否かが判断される（ステップＳ１２６）。撮影が終了していない場合は、ステップＳ１１２に戻る。撮影が終了した場合は、ステップＳ１２７に進む。   When it is determined that the zoom operation is not being performed and the card recording of the moving image stream (step S119) is completed, it is determined whether or not shooting has been completed (step S126). If shooting has not ended, the process returns to step S112. When shooting is completed, the process proceeds to step S127.

一方、ステップＳ１１６で撮像装置１００による撮影がズーム動作中であると判断された場合は、まず、映像が一時的に記録されているか否かを示す一時記録フラッグをＯＮに切り替える（ステップＳ１２０）。そして、ステップＳ１１５でＹＣＣ化処理された、ズーム動作中の画像データ（動画ストリーム）が、順次画像メモリ１２２に記録される（ステップＳ１２１）。また、ズーム動作中の画像データに対応した撮影時の焦点距離が同時に画像メモリ１２２に記録される。   On the other hand, if it is determined in step S116 that shooting by the imaging apparatus 100 is in the zoom operation, first, the temporary recording flag indicating whether or not the video is temporarily recorded is switched ON (step S120). Then, the image data (moving image stream) during the zoom operation that has been converted to YCC in step S115 is sequentially recorded in the image memory 122 (step S121). Further, the focal length at the time of shooting corresponding to the image data being zoomed is simultaneously recorded in the image memory 122.

画像データはフレーム単位で記録されるが、ステップＳ１１６のズーム動作中であるか否かの判断は、上述した通り、例えば１秒毎などでもよい。この場合、ステップＳ１１６の判断が行われないフレームでは、前のステータスが継続される。例えば、前のステータスがズーム動作中であれば、ズーム動作中であるか否かの判断がされないフレームもズーム動作中であるとして、ステップＳ１２０、Ｓ１２１に移行し、ズーム動作中の画像データが記録される。   The image data is recorded in units of frames, but the determination of whether or not the zoom operation is being performed in step S116 may be, for example, every second as described above. In this case, the previous status is continued in a frame in which the determination in step S116 is not performed. For example, if the previous status is zoom operation, it is determined that the zoom operation is also performed for a frame for which it is not determined whether the zoom operation is being performed. The process proceeds to steps S120 and S121, and image data during the zoom operation is recorded. Is done.

ズーム動作中に動画ストリームの一時記録（ステップＳ１２１）が完了したとき、撮影が終了したか否かが判断される（ステップＳ１２６）。撮影が終了していない場合は、ステップＳ１１２に戻る。ズーム動作中に撮影が終了した場合は、ステップＳ１２７に進む。   When the temporary recording of the moving image stream (step S121) is completed during the zoom operation, it is determined whether or not the shooting is finished (step S126). If shooting has not ended, the process returns to step S112. If shooting has been completed during the zoom operation, the process proceeds to step S127.

撮影が終了していない場合、ズーム動作が停止されると、ステップＳ１１６でズーム動作が停止していると判断され、ステップＳ１１７で一時記録フラッグがＯＮになっていると判断される。そして、ステップＳ１２２に移行して、一時記録フラッグをＯＦＦに切り替える。その後、ステップＳ１２１で画像メモリ１２２に一時記録されたズーム動作中の画像データに対してスムーズ化処理を行う（ステップＳ１２３）。スムーズ化処理は、記録された焦点距離が増加方向の一方向又は減少方向の一方向に変化している間について行われる。これにより、ユーザーによって手動でズーム操作されて撮影された映像がスムーズな映像に変換される。   If the photographing has not been completed, when the zoom operation is stopped, it is determined in step S116 that the zoom operation is stopped, and in step S117, it is determined that the temporary recording flag is ON. And it transfers to step S122 and switches a temporary recording flag to OFF. Thereafter, the smoothing process is performed on the image data during the zoom operation temporarily recorded in the image memory 122 in step S121 (step S123). The smoothing process is performed while the recorded focal length is changing in one direction of increase or one direction of decrease. As a result, an image that has been manually zoomed by the user and is captured is converted into a smooth image.

そして、スムーズ化処理された画像データは、動画コーディングがされる（ステップＳ１２４）。例えば、画像データはＭＰＥＧ形式などに符号化される。その後、コーディングされて順次出力されるデータ（動画ストリーム）が、メモリカード１２６等の記録メディアに記録される（ステップＳ１２５）。ステップＳ１２２〜ステップＳ１２３の動作は、ズーム動作が停止されズーム動作のない撮影における動画コーディング（ステップＳ１１８）と動画ストリームのカード記録（ステップＳ１１９）と並行して行われる。   The smoothed image data is then subjected to video coding (step S124). For example, the image data is encoded in MPEG format or the like. Thereafter, the coded data (moving image stream) sequentially output is recorded on a recording medium such as the memory card 126 (step S125). The operations in steps S122 to S123 are performed in parallel with the moving image coding (step S118) and the moving image stream card recording (step S119) in shooting without the zoom operation and the zoom operation.

ズーム動作中ではないと判断され、スムーズ化された動画ストリームのカード記録（ステップＳ１２５）が完了したとき、撮影が終了したか否かが判断される（ステップＳ１２６）。撮影が終了していない場合は、ステップＳ１１２に戻る。撮影が終了している場合は、ステップＳ１２７に進む。   When it is determined that the zoom operation is not being performed and the smoothed video stream card recording (step S125) is completed, it is determined whether or not shooting has been completed (step S126). If shooting has not ended, the process returns to step S112. If shooting has been completed, the process proceeds to step S127.

ステップＳ１２７では、一時記録フラッグがＯＮになっているか、又はＯＦＦになっているかが判断される（ステップＳ１２７）。ズーム動作中に撮影が終了した場合は、一時記録フラッグがＯＮになっているため、ステップＳ１２８に進む。一方、それ以外の場合は、一時記録フラッグはＯＦＦであるため、ステップＳ１３２に進む。   In step S127, it is determined whether the temporary recording flag is ON or OFF (step S127). When shooting is completed during the zoom operation, the temporary recording flag is ON, and the process proceeds to step S128. On the other hand, in other cases, the temporary recording flag is OFF, and the process proceeds to step S132.

ズーム動作中に撮影が終了した場合は、上述したステップＳ１２３などの一時記録されたズーム動作中の画像データのスムーズ化処理などが行われていない。そこで、まず、一時記録フラッグをＯＦＦに切り替える（ステップＳ１２８）。その後、ステップＳ１２１で画像メモリ１２２に一時記録されたズーム動作中の画像データに対してスムーズ化処理を行う（ステップＳ１２９）。これにより、ユーザーによって手動でズーム操作されて撮影された映像がスムーズな映像に変換される。   When shooting is completed during the zoom operation, the smoothing processing of the temporarily recorded image data during the zoom operation such as step S123 described above is not performed. Therefore, first, the temporary recording flag is switched to OFF (step S128). Thereafter, the smoothing process is performed on the image data during the zoom operation temporarily recorded in the image memory 122 in step S121 (step S129). As a result, an image that has been manually zoomed by the user and is captured is converted into a smooth image.

そして、スムーズ化処理された画像データは、動画コーディングがされる（ステップＳ１３０）。その後、コーディングされて順次出力されるデータ（動画ストリーム）が、メモリカード１２６等の記録メディアに記録される（ステップＳ１３１）。ステップＳ１２８〜ステップＳ１３１の動作は、撮影が完了した後に行われる。   The smoothed image data is then subjected to video coding (step S130). Thereafter, the coded data (moving image stream) sequentially output is recorded on a recording medium such as the memory card 126 (step S131). The operations in steps S128 to S131 are performed after shooting is completed.

その後、撮影開始から撮影終了まで、スムーズ化処理されたデータと、スムーズ化処理が不要であったデータとが別々にメモリカード１２６に記録されているため、ファイルを一連の動画ファイルとして合成しファイナライズ処理する（ステップＳ１３２）。これにより、一つの撮影について、途中でユーザーによる手動のズーム操作が行われた場合であっても、ズーム撮影された画像を手動でそのまま記録した撮影データではなく、スムーズ化された撮影データを記録することができる。   Thereafter, from the start of shooting to the end of shooting, the data that has been smoothed and the data that did not require smoothing are recorded separately on the memory card 126, so the files are combined into a series of video files and finalized. Process (step S132). As a result, even if a manual zoom operation is performed by a user during a single shooting, smoothed shooting data is recorded instead of shooting data in which the zoomed image is manually recorded as it is. can do.

図６は、焦点距離の変化特性を示すグラフであり、撮影開始から撮影終了までの焦点距離の変化を示している。図６に示す例では、ユーザーがズーム操作をして撮影した期間が、ズーム移動領域Ａとズーム移動領域Ｂの２回あり、ズーム操作を停止してズーム操作をせずに撮影した期間がズーム移動領域Ａとズーム移動領域Ｂの間に１回ある。このような場合、スムーズ化処理されたデータとスムーズ化処理されていないデータが合計３ファイル存在するため、これらのファイルを合成してファイナライズ処理する。   FIG. 6 is a graph showing the change characteristic of the focal length, and shows the change of the focal length from the start of shooting to the end of shooting. In the example shown in FIG. 6, there are two periods in which the user has performed the zoom operation and the zoom movement area A and the zoom movement area B, and the period in which the user has performed the zoom operation without performing the zoom operation is zoomed. There is one time between the movement area A and the zoom movement area B. In such a case, there are a total of three files that have been smoothed and unsmoothed, so these files are combined and finalized.

［スムーズ化処理について］
次に、画像メモリ１２２に一時記録されたズーム動作中の画像データに対してスムーズ化処理を行う動作について説明する。図３は、本実施形態に係る撮像装置１００のメモリ一時記録映像のスムーズ化動作を示すフローチャートである。 [About smoothing processing]
Next, an operation for performing the smoothing process on the image data during the zoom operation temporarily recorded in the image memory 122 will be described. FIG. 3 is a flowchart showing the smoothing operation of the memory temporarily recorded video of the imaging apparatus 100 according to the present embodiment.

画像メモリ１２２には、ズームレンズがユーザーによる手動操作で使用されて撮影されたズーム動作中の画像データが記録されている。また、当該画像データに対応した撮影時の焦点距離ｆ０が同時に画像メモリ１２２に記録されている。そこで、ズーム動作中の各フレームの画像データと、撮影時の焦点距離ｆ０を取得して、例えば、図４及び図５の実線で示したような撮影時の焦点距離ｆ０の時間変化特性を作成する（ステップＳ１４１）。図４及び図５は、焦点距離の変化特性を示すグラフであり、図４はズームイン動作を示しており、図５はズームアウト動作を示している。 In the image memory 122, image data during a zoom operation is recorded in which the zoom lens is used by a manual operation by a user. Further, the focal length f 0 at the time of shooting corresponding to the image data is simultaneously recorded in the image memory 122. Therefore, the image data of each frame during the zoom operation and the focal length f 0 at the time of shooting are acquired, and for example, the temporal change characteristic of the focal length f 0 at the time of shooting as shown by the solid line in FIGS. Is created (step S141). 4 and 5 are graphs showing the focal length change characteristics. FIG. 4 shows the zoom-in operation, and FIG. 5 shows the zoom-out operation.

次に、スムーズ化用焦点距離ｆｓの時間変化特性を作成する（ステップＳ１４２）。ステップＳ１４２では、まず、撮影時の焦点距離ｆ０の時間変化特性に基づいて、Δｆ０／Δｔを算出しΔｆ０／Δｔの時間変化を取得する。そして、Δｆ０／Δｔの変化が減少に転ずるポイントを取得し記憶しておく。図４及び図５に示す例では、白点で示したポイントになる。そして、記憶しておいたポイントと、ズーム動作開始点と、ズーム動作終了点を使用して、例えば２次スプライン補間を行い、例えば図４及び図５の破線で示したような、各時間のスムーズ化用焦点距離ｆｓを算出する。 Next, a time change characteristic of the smoothing focal length fs is created (step S142). In step S142, first, Δf 0 / Δt is calculated based on the temporal change characteristic of the focal length f 0 at the time of photographing, and the temporal change of Δf 0 / Δt is acquired. Then, a point at which the change in Δf 0 / Δt starts to decrease is acquired and stored. In the examples shown in FIGS. 4 and 5, the points are indicated by white dots. Then, using the stored point, the zoom operation start point, and the zoom operation end point, for example, quadratic spline interpolation is performed, for example, at each time as shown by the broken lines in FIGS. The smoothing focal length fs is calculated.

なお、スムーズ化用焦点距離ｆｓの算出は、上述した補間方法以外による処理で算出してもよい。スムーズ化用焦点距離ｆｓを算出する場合は、撮影時の画像データに比べてスムーズ化用焦点距離に対応する画像が拡大する方向に算出するとよい。即ち、図４及び図５に示す例では、破線が実線より上側の位置になるように、撮影時の焦点距離ｆ０よりも望遠側にスムーズ化用焦点距離ｆｓを算出するとよい。 The smoothing focal length fs may be calculated by processing other than the interpolation method described above. When the smoothing focal length fs is calculated, it may be calculated in a direction in which the image corresponding to the smoothing focal length is enlarged as compared with the image data at the time of shooting. That is, in the example shown in FIGS. 4 and 5, the smoothing focal length fs may be calculated closer to the telephoto side than the focal length f 0 at the time of shooting so that the broken line is positioned above the solid line.

そして、撮影時の画像データからスムーズ化用画像データを作成するため、デジタルズームの対象とする元の画像フレームとトリミングサイズを決定する（ステップＳ１４３）。デジタルズームの対象とする画像フレームは、図４及び図５に示す例では、実線と破線が重なっていないフレーム、即ち、撮影時の焦点距離ｆ０とスムーズ化用焦点距離ｆｓが異なるフレームを抽出して決定する。トリミングサイズは、撮影時の焦点距離ｆ０とスムーズ化用焦点距離ｆｓに基づいて元のフレームに対する拡大率を算出して決定する。 Then, in order to create smoothing image data from the image data at the time of shooting, the original image frame and the trimming size to be subjected to digital zoom are determined (step S143). In the example shown in FIGS. 4 and 5, the image frame to be subjected to the digital zoom is extracted as a frame in which the solid line and the broken line do not overlap, that is, a frame having a different focal length f 0 and a smoothing focal length fs. To decide. Trimming size is determined by calculating the enlargement ratio for the original frames based on the focal length fs for the focal length f 0 and smoothing at the time of photographing.

なお、スムーズ化用焦点距離ｆｓの算出において、補間方法や焦点距離の変化特性によっては、撮影時の焦点距離ｆ０のほうが算出されたスムーズ化用焦点距離ｆｓより大きくなる場合がある。このとき、撮影時の焦点距離ｆ０とスムーズ化用焦点距離ｆｓに基づいて元のフレームに対する拡大率を算出すると、スムーズ化用画像フレームの大きさは元のフレームに対して縮小する方向になる。この場合は、トリミングできないため元のフレームをスムーズ化用画像フレームとして使用する。又は、撮像素子１１０の撮像面上で元のフレームの大きさより大きめに撮像している場合には、余分に撮影している部分を使用して元のフレームに対して縮小処理をしてもよい。 Incidentally, in the calculation of smoothing for focal length fs, depending on the variation characteristics of the interpolation method and the focal length, there is a case where more of the focal length f 0 of the time of shooting is greater than the focal length fs for smoothing calculated. In this case, when calculating the enlargement ratio for the original frame, the size of the image frames for smoothing becomes a direction to reduce the original frames based on the focal length f 0 and smoothing for focal length fs at the time of shooting . In this case, since the trimming cannot be performed, the original frame is used as the smoothing image frame. Alternatively, when the image is picked up larger than the size of the original frame on the image pickup surface of the image sensor 110, a reduction process may be performed on the original frame using an extra imaged portion. .

次に、算出された拡大率と、撮影時の画像フレームを使用してトリミング処理及び拡大処理をして、スムーズ化用画像フレームを生成する（ステップＳ１４４）。そして、生成されたスムーズ化用画像フレームを撮影時の元の画像フレームと置換する（ステップＳ１４５）。以上によって、画像メモリ１２２に一時記録されたズーム動作中の画像データをスムーズ化処理する動作が完了する。   Next, a trimming process and an enlargement process are performed using the calculated enlargement ratio and the image frame at the time of shooting, thereby generating a smoothing image frame (step S144). Then, the generated smoothing image frame is replaced with the original image frame at the time of shooting (step S145). Thus, the operation for smoothing the image data during the zoom operation temporarily recorded in the image memory 122 is completed.

上記のスムーズ化処理は、一連の撮影が完了した後、又はユーザーによるズーム操作が完了した後のタイミングで行う。   The smoothing process is performed after a series of photographing is completed or after a zoom operation by the user is completed.

なお、図１０に示すように、ズーム動作中の撮影時の焦点距離ｆ０の変化が滑らかで、Δｆ０／Δｔの変化が減少に転ずるポイントがなかった場合は、ズーム動作開始点と、ズーム動作終了点を使用して補間処理をすると例えば図１０の破線のようになる。しかし、手動のズーム操作がそもそも滑らかであり、スムーズ化処理をするとトリミング処理及び拡大処理が生じて解像度の変化が生じるため、撮影時の画像データを採用することとし、スムーズ化処理は行わない。即ち、Δｆ０／Δｔの変化が減少に転ずるポイントをカウントし、カウント数が０であった場合は、ステップＳ１４３〜Ｓ１４５はスキップして、スムーズ化処理を省略する。 As shown in FIG. 10, when the change in the focal length f 0 during shooting during the zoom operation is smooth and there is no point at which the change in Δf 0 / Δt starts to decrease, the zoom operation start point and the zoom When interpolation processing is performed using the operation end point, for example, a broken line in FIG. 10 is obtained. However, manual zoom operation is smooth in the first place, and if smoothing processing is performed, trimming processing and enlargement processing occur and resolution changes. Therefore, image data at the time of shooting is adopted, and smoothing processing is not performed. That is, the points at which the change in Δf 0 / Δt starts to decrease are counted, and if the count number is 0, steps S143 to S145 are skipped and the smoothing process is omitted.

＜２．第２の実施形態＞
次に、本発明の第２の実施形態に係る画像処理装置２００について説明する。
上述した実施形態では、撮影時にリアルタイムで、ズーム中の画像をコーディングせずに一時記憶し、ズーム処理後にスムーズ化処理をする場合について説明した。第２の実施形態では、撮影時にはスムーズ化処理せず、撮影時の画像データと撮影時の焦点距離に基づいて、パーソナルコンピュータ等の情報処理装置（画像処理装置）を使用してスムーズ化処理を撮影後に実施する。 <2. Second Embodiment>
Next, an image processing apparatus 200 according to the second embodiment of the present invention will be described.
In the above-described embodiment, the case has been described in which the zoomed image is temporarily stored without coding in real time at the time of shooting and the smoothing process is performed after the zoom process. In the second embodiment, smoothing processing is not performed at the time of shooting, but smoothing processing is performed using an information processing device (image processing device) such as a personal computer based on the image data at the time of shooting and the focal length at the time of shooting. Perform after shooting.

図７は、本発明の第２の実施形態に係る画像処理装置２００を示すブロック図である。画像処理装置２００は、例えばＭＰＵ２２０と、メモリ２２２と、ＨＤＤ２２６と、表示部２４０と、操作部２５０などからなる。ＭＰＵ２２０は、焦点距離算出部２３２、画像生成部２３４などを有する。   FIG. 7 is a block diagram showing an image processing apparatus 200 according to the second embodiment of the present invention. The image processing apparatus 200 includes, for example, an MPU 220, a memory 222, an HDD 226, a display unit 240, an operation unit 250, and the like. The MPU 220 includes a focal length calculation unit 232, an image generation unit 234, and the like.

ＭＰＵ（Micro Processor Unit）２２０は、プログラムによって演算処理装置及び制御装置として機能し、画像処理装置２００内に設けられた各構成要素の処理を制御する。メモリ２２２には、ＭＰＵ２２０で実行されるプログラムなどが記憶されている。ＨＤＤ（Hard Disk Drive）２２６は記憶媒体及びその制御装置の一例であり、撮像装置で撮影された画像などが記録されており、スムーズ化処理の際記録された画像が読みだされる。また、ＨＤＤ２２６には本実施形態で生成されるスムーズ化処理後の画像が新たに記録される。なお、記憶媒体であればハードディスクに限定されず光ディスクなど他の記憶媒体でもよい。   An MPU (Micro Processor Unit) 220 functions as an arithmetic processing device and a control device according to a program, and controls processing of each component provided in the image processing device 200. The memory 222 stores a program executed by the MPU 220 and the like. An HDD (Hard Disk Drive) 226 is an example of a storage medium and its control device. An image taken by an imaging device is recorded, and an image recorded during the smoothing process is read out. In addition, the smoothed image generated in the present embodiment is newly recorded in the HDD 226. The storage medium is not limited to a hard disk, and may be another storage medium such as an optical disk.

表示部２４０は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどであり、画面に画像などを表示する。操作部２５０は、例えばキーボード、マウスなどであり、ユーザーによる操作を受け付け、操作信号をＭＰＵ２２０に送る。なお、ＨＤＤ２２６、表示部２４０、操作部２５０は画像処理装置２００に一体的に設けられてもよいし、画像処理装置２００から着脱可能に構成されてもよい。   The display unit 240 is a liquid crystal display, an organic EL display, or the like, for example, and displays an image or the like on the screen. The operation unit 250 is, for example, a keyboard, a mouse, and the like, receives an operation by a user, and sends an operation signal to the MPU 220. The HDD 226, the display unit 240, and the operation unit 250 may be provided integrally with the image processing apparatus 200, or may be configured to be detachable from the image processing apparatus 200.

焦点距離算出部２３２は、画像と共に記録された焦点距離に基づいて、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出する。画像生成部２３４は、スムーズ化用焦点距離と、画像と共に記録された焦点距離と、ＨＤＤ２２６から読み出された画像とに基づいて、スムーズ化用焦点距離に対応する画角を有するスムーズ化用画像を生成する。また、ＭＰＵ２２０は、画像データのデコード処理、スムーズ化処理された画像の動画コーディング処理をする。更に、ＭＰＵ２２０は、スムーズ化処理された画像を元の画像と置き換え、スムーズ化処理された画像とスムーズ化処理されていない画像とのマージ処理をする。   The focal length calculation unit 232 calculates the smoothing focal length so that the temporal change of the focal length becomes smooth based on the focal length recorded together with the image. Based on the focal length for smoothing, the focal length recorded together with the image, and the image read from the HDD 226, the image generation unit 234 has the angle of view corresponding to the focal length for smoothing. Is generated. Also, the MPU 220 performs image data decoding processing and smoothing image moving image coding processing. Further, the MPU 220 replaces the smoothed image with the original image, and performs a merge process between the smoothed image and the non-smoothed image.

第２の実施形態を実現するためには、まず、撮影時において、記録された各フレームに関連付けて焦点距離情報を記録しておく。撮像装置は、例えば図８に示すような動画ファイル形式で動画データ及び焦点距離情報を記録する。図８は、本発明の第２の実施形態に係る画像処理装置２００に適用可能な動画ファイルのデータ構造を示す説明図である。   In order to realize the second embodiment, first, focal length information is recorded in association with each recorded frame at the time of photographing. The imaging apparatus records moving image data and focal length information in a moving image file format as shown in FIG. 8, for example. FIG. 8 is an explanatory diagram showing a data structure of a moving image file applicable to the image processing apparatus 200 according to the second embodiment of the present invention.

動画ファイルは、例えば動画データヘッダ１０と、動画データ２０と、動画情報データヘッダ３０と、動画情報データ４０などからなる。
動画データヘッダ１０には、動画データ２０の識別情報や全体の動画データサイズなどが記述されている。動画データ２０の識別情報によって、動画データ２０の識別が行われる。
動画データ２０は、例えばチャンク０１（Chunk01）、チャンク０２（Chunk02）……など複数のブロックに分かれて格納されている。本実施形態では、例えば１秒間のフレームデータの集まりで一つのチャンクを構成する。
動画情報データヘッダ３０には、動画の縦横ピクセルサイズ、フレームレート、フォーマットタイプ等が記録され、更に各チャンクのフレーム数やアクセスのためのアドレス情報などが記録される。
動画情報データ４０の領域に、各フレームの焦点距離情報が格納される。 The moving image file includes, for example, a moving image data header 10, moving image data 20, a moving image information data header 30, and moving image information data 40.
The moving image data header 10 describes identification information of the moving image data 20, the entire moving image data size, and the like. The moving image data 20 is identified by the identification information of the moving image data 20.
The moving image data 20 is stored in a plurality of blocks, for example, chunk 01 (Chunk01), chunk 02 (Chunk02), etc. In this embodiment, for example, one chunk is composed of a collection of frame data for one second.
The moving picture information data header 30 records the vertical and horizontal pixel sizes, the frame rate, the format type, and the like of the moving picture, and further records the number of frames of each chunk, address information for access, and the like.
The focal length information of each frame is stored in the area of the moving image information data 40.

次に、本実施形態に係る画像処理装置２００のズームスムーズ化動作について説明する。
図９は、本実施形態に係る画像処理装置２００のズームスムーズ化動作を示すフローチャートである。 Next, the zoom smoothing operation of the image processing apparatus 200 according to the present embodiment will be described.
FIG. 9 is a flowchart showing the zoom smoothing operation of the image processing apparatus 200 according to the present embodiment.

まず、動画情報データ４０内の各フレームの焦点距離情報４２を取得する（ステップＳ２４１）。そして、取得した焦点距離情報から、ズーム操作をして撮影したフレーム、即ち焦点距離が時間変化しているフレームを検索し、検索されたフレームを含むチャンクがどれであるかを特定する。その後、特定したチャンクを抽出する（ステップＳ２４２）。   First, the focal length information 42 of each frame in the moving image information data 40 is acquired (step S241). Then, from the acquired focal length information, a frame photographed by performing a zoom operation, that is, a frame in which the focal length changes with time is searched, and a chunk including the searched frame is specified. Thereafter, the identified chunk is extracted (step S242).

次に、抽出したチャンク（複数のフレームからなる動画ストリーム）をデコード処理する（ステップＳ２４３）。そして、ズーム動作中の画像データに対してスムーズ化処理を行う（ステップＳ２４４）。スムーズ化処理は、第１の実施形態で説明した処理と同様の動作である。スムーズ化処理によって、手動でズーム操作されて撮影された映像がスムーズな映像に変換される。   Next, the extracted chunk (moving picture stream composed of a plurality of frames) is decoded (step S243). Then, smoothing processing is performed on the image data during the zoom operation (step S244). The smoothing process is the same operation as the process described in the first embodiment. By the smoothing process, an image shot by manually zooming is converted into a smooth image.

そして、スムーズ化処理された画像データは、チャンク単位で動画コーディング（エンコード）がされる。例えば、画像データはＭＰＥＧ形式などに符号化される。その後、コーディングされて順次出力されるデータ（動画ストリーム）が、ハードディスクドライブ（ＨＤＤ２２６）等の記録メディアに記録される（ステップＳ２４５）。   Then, the smoothed image data is subjected to video coding (encoding) in units of chunks. For example, the image data is encoded in MPEG format or the like. Thereafter, the coded data (moving image stream) sequentially output is recorded on a recording medium such as a hard disk drive (HDD 226) (step S245).

その後、元の動画ファイルのスムーズ化処理前のチャンクをスムーズ化処理されたチャンクに置き換え、スムーズ化処理されたチャンクを元の動画ファイルにマージする（ステップＳ２４６）。このとき、動画ファイルにおいて、動画データヘッダ１０と動画情報データヘッダを新しいチャンクに適合するようにデータの書き換えも行う。これにより、一つの撮影について、途中でユーザーによる手動のズーム操作が行われた場合であっても、ズーム撮影された画像を手動でそのまま記録した撮影データから、スムーズ化された撮影データに変換できる。   Thereafter, the chunk before smoothing processing of the original moving image file is replaced with the smoothed chunk, and the smoothed chunk is merged with the original moving image file (step S246). At this time, in the moving image file, the data is also rewritten so that the moving image data header 10 and the moving image information data header are adapted to the new chunk. As a result, even if a user performs a manual zoom operation on the way of one shot, the zoomed image can be converted from the shooting data recorded as it is to the smoothed shooting data. .

以上、本発明の第１及び第２の実施形態によれば、ズーム操作中の画像フレームと、その画像フレームに対応する焦点距離と、スムーズ化用焦点距離を使用して、動画像がスムーズにズームするように画像フレームをトリミング処理する。この際、スムーズ化用焦点距離の算出では、撮影時の焦点距離よりも望遠側になるように算出するとよい。   As described above, according to the first and second embodiments of the present invention, a moving image is smoothed using an image frame during zoom operation, a focal length corresponding to the image frame, and a smoothing focal length. Trim the image frame to zoom. At this time, the focal length for smoothing may be calculated so as to be on the telephoto side with respect to the focal length at the time of shooting.

その結果、デジタル一眼レフカメラのような手動ズーム機構を備える撮像装置で動画を撮影する場合に、ズーム速度が不均一となるのを防止できる。また、電動ズーム機能のある交換レンズを別途用意することなく、滑らかなズーム変化を有する動画像を生成することができる。   As a result, it is possible to prevent the zoom speed from becoming non-uniform when shooting a moving image with an imaging apparatus having a manual zoom mechanism such as a digital single-lens reflex camera. Further, it is possible to generate a moving image having a smooth zoom change without separately preparing an interchangeable lens having an electric zoom function.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。   The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.

１００ 撮像装置
１０２ 交換レンズ
１０３ レンズ
１０４ ＡＦ駆動部
１１０ 撮像素子
１１２ 前処理部
１２０，２２０ ＭＰＵ
１２２ 画像メモリ
１２６ メモリカード
１３２ 静止画像処理部
１３４ 動画像処理部
１３６ ＪＰＥＧ処理部
１４０，２４０ 表示部
１５０，２５０ 操作部
２００ 画像処理装置
２２２ メモリ
２２６ ＨＤＤ
２３２ 焦点距離算出部
２３４ 画像生成部
DESCRIPTION OF SYMBOLS 100 Imaging device 102 Interchangeable lens 103 Lens 104 AF drive part 110 Imaging element 112 Pre-processing part 120,220 MPU
122 image memory 126 memory card 132 still image processing unit 134 moving image processing unit 136 JPEG processing unit 140, 240 display unit 150, 250 operation unit 200 image processing device 222 memory 226 HDD
232 Focal length calculation unit 234 Image generation unit

Claims (4)

被写体像を拡大したり縮小したりするズームレンズがユーザーの手動操作によって使用されて撮影された複数枚の画像と、前記複数枚の画像に対応した撮影時の焦点距離とを記録する記録部と、
前記記録された焦点距離に基づいて、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出する焦点距離算出部と、
前記スムーズ化用焦点距離と、前記記録された焦点距離と、前記記録された画像とに基づいて、前記スムーズ化用焦点距離に対応する画角を有するスムーズ化用画像を生成する画像生成部と
を備えることを特徴とする、画像処理装置。 A recording unit that records a plurality of images captured by using a zoom lens for enlarging or reducing a subject image by a user's manual operation, and a focal length at the time of shooting corresponding to the plurality of images; ,
A focal length calculation unit that calculates a focal length for smoothing based on the recorded focal length so that a temporal change in the focal length is smooth;
An image generation unit that generates a smoothing image having an angle of view corresponding to the smoothing focal length based on the smoothing focal length, the recorded focal length, and the recorded image; An image processing apparatus comprising: 前記画像生成部が前記スムーズ化用画像を生成する際、前記スムーズ化用画像が前記記録された画像に対して拡大されるように、前記焦点距離算出部が前記スムーズ化用焦点距離を算出することを特徴とする、請求項１に記載の画像処理装置。   When the image generation unit generates the smoothing image, the focal length calculation unit calculates the smoothing focal length so that the smoothing image is enlarged with respect to the recorded image. The image processing apparatus according to claim 1, wherein: 前記焦点距離算出部は、前記記録された焦点距離が増加方向の一方向又は減少方向の一方向に変化している間について、焦点距離の時間変化が滑らかになるように前記スムーズ化用焦点距離を算出することを特徴とする、請求項１又は２に記載の画像処理装置。   The focal length calculation unit is configured to make the focal length for smoothing smooth so that the temporal change of the focal length is smooth while the recorded focal length is changing in one direction of increasing direction or one direction of decreasing direction. The image processing apparatus according to claim 1, wherein the image processing apparatus calculates an image. 被写体像を拡大したり縮小したりするズームレンズがユーザーの手動操作によって使用されて撮影された複数枚の画像と、前記複数枚の画像に対応した撮影時の焦点距離とを記録部に記録するステップと、
前記記録された焦点距離に基づいて、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出するステップと、
前記スムーズ化用焦点距離と、前記記録された焦点距離と、前記記録された画像とに基づいて、前記スムーズ化用焦点距離に対応する画角を有するスムーズ化用画像を生成するステップと
を備えることを特徴とする、画像処理方法。
A plurality of images that are photographed by using a zoom lens for enlarging or reducing a subject image by a user's manual operation and a focal length at the time of photographing corresponding to the plurality of images are recorded in a recording unit. Steps,
Based on the recorded focal length, calculating a smoothing focal length so that a temporal change in focal length is smooth;
Generating a smoothing image having an angle of view corresponding to the smoothing focal length based on the smoothing focal length, the recorded focal length, and the recorded image. An image processing method.
JP2009185809A 2009-08-10 2009-08-10 Image processing apparatus and image processing method Expired - Fee Related JP5352377B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009185809A JP5352377B2 (en) 2009-08-10 2009-08-10 Image processing apparatus and image processing method
KR1020090134912A KR101635105B1 (en) 2009-08-10 2009-12-30 Image processing apparatus and image processing method
US12/852,867 US8363128B2 (en) 2009-08-10 2010-08-09 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009185809A JP5352377B2 (en) 2009-08-10 2009-08-10 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2011040945A JP2011040945A (en) 2011-02-24
JP5352377B2 true JP5352377B2 (en) 2013-11-27

Family

ID=43768271

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009185809A Expired - Fee Related JP5352377B2 (en) 2009-08-10 2009-08-10 Image processing apparatus and image processing method

Country Status (2)

Country Link
JP (1) JP5352377B2 (en)
KR (1) KR101635105B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186018A (en) * 2011-04-29 2011-09-14 信源通科技（深圳）有限公司 Camera focusing method and device
JP2014049883A (en) * 2012-08-30 2014-03-17 Toshiba Corp Information processing device, information processing method, digital television receiver, and storage medium
WO2016002124A1 (en) 2014-07-02 2016-01-07 ソニー株式会社 Zoom control device, zoom control method, and program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0124588B1 (en) * 1993-05-21 1997-12-01 구자홍 Method for zoom tracking of video camera
JP3417166B2 (en) * 1995-10-24 2003-06-16 松下電器産業株式会社 Lens focus device
KR100197609B1 (en) * 1996-07-27 1999-06-15 윤종용 Method and apparatus for zooming of video camera
JP2008053769A (en) * 2006-08-22 2008-03-06 Ricoh Co Ltd Imaging apparatus
JP2008083338A (en) * 2006-09-27 2008-04-10 Fujitsu Ltd Optical zoom correction imaging apparatus by af detection
JP2008294788A (en) * 2007-05-25 2008-12-04 Sharp Corp Imaging apparatus with multi-step zoom function, for imaging multiple areas
JP2009260413A (en) * 2008-04-11 2009-11-05 Canon Inc Image pickup apparatus and method for controlling image pickup apparatus

Also Published As

Publication number Publication date
KR101635105B1 (en) 2016-06-30
KR20110016376A (en) 2011-02-17
JP2011040945A (en) 2011-02-24

Similar Documents

Publication Publication Date Title
JP4979969B2 (en) Imaging apparatus and imaging method
JP4441882B2 (en) Imaging device, display control method, program
JP5126207B2 (en) Imaging device
JP2008283629A (en) Imaging device, imaging signal processing method, and program
JP4621152B2 (en) Imaging device, control method thereof, and program
JP2007215091A (en) Imaging apparatus and program therefor
JP4767838B2 (en) Imaging apparatus and imaging method
US8363128B2 (en) Image processing apparatus and image processing method
JP6083162B2 (en) Image processing apparatus, imaging apparatus, and image processing program
JP2008015097A (en) Imaging device and imaging method
JP5352377B2 (en) Image processing apparatus and image processing method
JP5310076B2 (en) Image processing apparatus and image processing program
JP6706167B2 (en) Imaging device, image synthesizing method, and program
JP2010021710A (en) Imaging device, image processor, and program
JP5094665B2 (en) Imaging apparatus, control method thereof, and program
JP2009152672A (en) Recording apparatus, reproducing apparatus, recording method, reproducing method, and program
JP4888829B2 (en) Movie processing device, movie shooting device, and movie shooting program
JP4533161B2 (en) Imaging apparatus and foreign object detection method thereof
JP5479883B2 (en) Imaging apparatus and imaging method
KR101480407B1 (en) Digital image processing apparatus, method for controlling the same and medium of recording the method
JP2007116305A (en) Imaging apparatus and zoom magnification control method
JP5600935B2 (en) Image recording apparatus, image recording method, and image recording program
JP2006039254A (en) Camera
JP4952739B2 (en) Image file generation apparatus and image reproduction apparatus
JP4517836B2 (en) Camera device and continuous shooting control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130826

R150 Certificate of patent or registration of utility model

Ref document number: 5352377

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees