JP2010081181A - 画像処理装置及び電子機器 - Google Patents

画像処理装置及び電子機器 Download PDF

Info

Publication number
JP2010081181A
JP2010081181A JP2008245665A JP2008245665A JP2010081181A JP 2010081181 A JP2010081181 A JP 2010081181A JP 2008245665 A JP2008245665 A JP 2008245665A JP 2008245665 A JP2008245665 A JP 2008245665A JP 2010081181 A JP2010081181 A JP 2010081181A
Authority
JP
Japan
Prior art keywords
image
unit
cutout
input
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008245665A
Other languages
English (en)
Other versions
JP5202211B2 (ja
Inventor
Yukio Mori
幸夫 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2008245665A priority Critical patent/JP5202211B2/ja
Priority to US12/566,805 priority patent/US20100073546A1/en
Priority to US12/567,190 priority patent/US20100074557A1/en
Publication of JP2010081181A publication Critical patent/JP2010081181A/ja
Application granted granted Critical
Publication of JP5202211B2 publication Critical patent/JP5202211B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872—Repositioning or masking
    • H04N1/3873—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
    • H04N1/3875—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming combined with enlarging or reducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)

Abstract

【課題】処理を行う画像のデータ量を低減するとともに、所望の領域を容易に確認することができる画像を出力する画像処理装置や、この画像処理装置を備えた電子機器を提供する。
【解決手段】合成処理部１２０は、入力画像を縮小した縮小画像を拡大して拡大画像を出力する拡大部１２１と、入力画像の一部を切り出して生成された切り出し画像と拡大画像とを合成して合成画像を生成する合成部１２２と、再生画角領域を設定する画角設定部１２３と、合成画像から再生画角領域を切り出して再画角設定画像を生成する再生時切り出し部１２４と、再生時切り出し部１２４から出力される再画角設定画像の大きさを調整する画像サイズ調整部１２５と、を備える。
【選択図】図６

Description

本発明は、入力画像の一部を切り出して所望の切り出し画像を得る画像処理装置や、この画像処理装置を備えた電子機器に関する。
近年、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどのイメージセンサを用いて撮像を行うデジタルスチルカメラやデジタルビデオカメラなどの撮像装置や、画像を表示する液晶ディスプレイなどの表示装置が広く普及している。また、このような撮像装置や表示装置として、処理対象となる画像（以下、入力画像とする）から所定の領域を切り出すとともに、この切り出した領域の画像（以下、切り出し画像とする）を記録したり表示したりするものがある。
このような切り出し処理を行うこととすると、撮像の簡易化を図ることができる。具体的に例えば、ユーザに広画角となる入力画像を撮像させるとともに、得られる入力画像に切り出し処理を行い、ユーザが特に撮像を行いたいと考える被写体（以下、主要被写体とする）が含まれる領域の切り出し処理を行う。この切り出し処理によって、主要被写体が含まれる構図の画像を得るために、ユーザが集中して主要被写体を追う必要がなくなる。特に、撮像装置を主要被写体の方に簡易的に向けるだけで足りるようになる。
しかしながら、切り出し画像のみを記録する構成とすると、不適当な切り出し処理が行われた場合に、所望の画像を得ることができなくなる問題が生じる。特に、ユーザが切り出した領域以外の領域を確認したいと考えたとしても、切り出した領域以外の領域については画像が記録されないため、再生時に当該領域を確認することができないことが問題となる。
この問題に対して、特許文献１では、入力画像及び切り出し画像の両方を記録し、並べて表示する撮像装置が提案されている。この撮像装置のように、両方の画像を記録及び表示することとすれば、再生時にユーザが切り取り領域以外の領域を確認することが可能となる。
特開２００８−２２３０６号公報
しかしながら、同時に複数の画像を記録する構成とすると、記録するデータ量が大きくなり、各種処理に時間がかかることが問題となる。また、複数の画像を並べて表示する構成とすると、ユーザが複数の画像を見比べた上で所望の領域を確認する必要が生じる。そのため、画像の確認が煩雑なものとなる。
以上の問題を鑑みて、本発明は、処理を行う画像のデータ量を低減するとともに、所望の領域を容易に確認することができる画像を出力する画像処理装置や、この画像処理装置を備えた電子機器を提供することを目的とする。
上記目的を達成するために、本発明の画像処理装置は、入力画像を縮小した縮小画像を拡大し、拡大画像を生成する拡大処理部と、前記入力画像の一部の領域である切り出し領域を切り出した画像である切り出し画像を、前記拡大画像の前記切り出し領域に相当する領域に合成し、合成画像を生成する合成部と、前記合成画像の一部の領域である再生画角領域を切り出して再画角設定画像を生成する再生時切り出し部と、を備えることを特徴とする。
また、上記構成の画像処理装置において、前記再画角設定画像の大きさを調整して出力する画像サイズ調整部をさらに備えることとしても構わない。このように構成すると、再生画角領域の大きさを任意のものとして任意の大きさの再生時切り出し部が出力されるようにしても、画像サイズ調整部によって出力する画像の大きさを一定とすることが可能となる。そのため、後段での処理を画一化することが可能となる。
また、上記構成の画像処理装置において、前記入力画像中の主要被写体の位置を検出する主要被写体検出部と、前記主要被写体検出部によって検出される前記主要被写体の位置を含む前記切り出し領域で前記入力画像の切り出しを行い前記切り出し画像を生成する切り出し部と、前記入力画像を縮小して前記縮小画像を生成する縮小部と、をさらに備えることとしても構わない。
このように構成すると、自動的に切り出し領域に主要被写体を含めることが可能となる。さらに、ユーザが特に撮像したいと考える主要被写体を含む切り出し画像を、入力画像と同じ画質にすることが可能となる。また、切り出し画像及び縮小画像のデータ量を、入力画像よりも小さいものにすることが可能となる。
また、上記構成の画像処理装置において、前記縮小画像と、前記切り出し画像と、前記再画角設定画像と、のいずれかを選択し、出力画像として出力する出力画像選択部をさらに備えることとしても構わない。
このように構成すると、入力画像と同じ全画角を示す画像（縮小画像）、切り出し画角を示す画像（切り出し画像）及び任意の画角を示す画像（再画角設定画像）のいずれかを出力することが可能となる。また、縮小画像または切り出し画像を表示する場合、再画角設定画像を生成するための処理を不要とすることが可能となる。なお、縮小画像と、切り出し画像と、再画角設定画像と、の大きさを略等しいものとしても構わない。この場合、どの画像が選択されたとしても、出力画像の大きさを略等しいものにすることが可能となる。そのため、後段での処理を画一化することが可能となる。
また、上記構成の画像処理装置において、前記拡大画像から主要被写体の位置を検出するとともに、当該検出された前記主要被写体の位置に基づいて前記再生画角領域を設定する画角設定部をさらに備えることとしても構わない。
このように構成すると、主要被写体の位置を基準として再生画角領域を設定することが可能となる。特に、自動的に再生画角領域を設定することが可能となる。
また、上記構成の画像処理装置において、前記合成部が、前記合成画像の前記切り出し領域に相当する領域の端辺から中央部に向かって前記切り出し画像の割合が大きくなるとともに前記拡大画像の割合が小さくなるように、合成を行うこととしても構わない。
このように構成すると、切り出し画像を合成した領域の境界が徐々に変化するものとなる。そのため、境界を目立たないものとすることが可能となる。
また、上記構成の画像処理装置において、前記拡大部が、前記縮小画像を拡大するとともに超解像処理を施して、前記拡大画像を生成することとしても構わない。このように構成すると、拡大画像の画質を向上させることが可能となる。そのため、生成される再画角設定画像の画質を向上させることが可能となる。
また、本発明の電子機器は、上記のいずれかに記載の画像処理装置を備え、当該画像処理装置から出力される画像を記録または再生することを特徴とする。
本発明によると、入力画像よりもデータ量が低減された縮小画像と切り出し画像とから、所望の画角となる再画角設定画像を得ることができる。そのため、処理を行う画像のデータ量を低減して各種処理を迅速に実行可能にするとともに、ユーザが確認したい領域を直接的に表示する画像を出力することが可能となる。
本発明の実施形態について、以下に図面を参照して説明する。最初に、本発明における電子機器の一例である撮像装置について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの音声、動画及び静止画の記録が可能なものである。
＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。
図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤまたはＣＭＯＳセンサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。
さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換する集音部５と、画像信号に各種画像処理を施す撮像画像処理部６と、集音部５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、撮像画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり撮像画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、画像信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。なお、撮像画像処理部６は、入力される画像信号から一部を切り出して新たな画像信号を得る切り出し処理部６０を備える。
また、撮像装置１は、伸長処理部１１で復号された画像信号や撮像画像処理部６から出力される画像信号に基づいて再生用の画像信号を生成する再生画像処理部１２と、再生画像処理部１２から出力される画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する画像出力回路部１３と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１４と、を備える。なお、再生画像処理部１２は、入力される画像信号を合成して新たな画像信号を得る合成処理部１２０を備える。
また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１６と、撮像を開始するボタンや各種設定の決定を行うボタンなどを備えてユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各部との間で信号のやりとりを行うためのバス１９と、メモリ１６と各部との間で信号のやりとりを行うためのバス２０と、を備える。
なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。
次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、撮像画像処理部６に入力される。
撮像画像処理部６では、階調補正や輪郭強調等の各種画像処理が施される。また、撮像画像処理部６に入力されるＲＡＷ画像（各画素が単色の信号値を備える画像）の画像信号に対して色同時化処理を行って色同時化画像（各画素が複数色の信号値を備える画像）の画像信号に変換する処理が行われる。また、メモリ１６はフレームメモリとして動作し、撮像画像処理部６が処理を行なう際に画像信号を一時的に保持する。なお、色同時化画像は、例えば、１つの画素にＲ（赤）、Ｇ（緑）、Ｂ（青）の信号値をそれぞれ備えたものであっても構わないし、Ｙ（輝度）、Ｕ及びＶ（色差）の信号値をそれぞれ備えたものであっても構わない。
また、このとき撮像画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。また、入力される画像信号に基づいて、ホワイトバランスの調整も行われる。このフォーカスや露出、ホワイトバランスの調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。
また、撮像画像処理部６に備えられる切り出し処理部６０は、入力される画像信号の一部を切り出し、切り出し画像の画像信号を生成して出力する。なお、切り出し処理部６０を含めた撮像画像処理部６の構成及び動作の詳細については、後述する。
動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。集音部５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、撮像画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。
一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、撮像画像処理部６において行われる処理を異なるものとしても構わない。
外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長する。伸長された画像信号は再生画像処理部１２に入力され、再生用の画像信号が生成される。このとき、必要に応じて合成処理部１２０が画像の合成を行う。なお、合成処理部１２０を含めた再生画像処理部１２の構成及び動作の詳細については、後述する。
再生用画像処理部１２から出力される画像信号は、画像出力回路部１３に入力される。また、伸長処理部１１で伸長された音声信号は、音声出力回路部１４に入力される。そして、画像出力回路部１３や音声出力回路部１４において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。
なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。
また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビュー時に、撮像画像処理部６から出力される画像信号を圧縮せずに再生画像処理部１２に出力することとしても構わない。また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、再生画像処理部１２及び画像出力回路部１３を介して表示装置などに画像信号を出力することとしても構わない。
また、撮像画像処理部６と再生画像処理部１２とを合わせたものが、１つの画像処理部（画像処理装置）として解釈され得るものとする。
＜撮像画像処理部＞
次に、図１に示した撮像画像処理部６の要部（特に、切り出し処理部６０に関係する部分）の構成について、図面を参照して説明する。図２は、本発明の実施形態における撮像画像処理部の要部の構成を示すブロック図である。なお、以下では説明の具体化のために、切り出し処理部６０に入力されて切り出し処理が行われる画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。また、切り出し処理部６０から出力される画像信号を「切り出し画像」と呼ぶこととする。また、入力画像の画角を全画角と表現することとする。さらに、入力画像を色同時化画像としても構わないものとする。
図２に示すように、切り出し処理部６０は、入力画像から主要被写体を検出して入力画像中の主要被写体の位置を示す主要被写***置情報を出力する主要被写体検出部６１と、主要被写体検出部６１から出力される主要被写***置情報に基づいて入力画像の一部を切り出して切り出し画像を生成する切り出し部６２と、を備える。また、撮像画像処理部６は、入力画像を縮小して縮小画像を生成する縮小部６３を備える。
主要被写体検出部６１は、入力画像から主要被写体を検出する。例えば、入力画像に対して顔検出処理を行うことにより、主要被写体の検出を行う。顔検出処理方法の一例について図面を参照して説明する。図３は、顔検出処理方法の一例について示す画像の模式図である。なお、図３に示す方法は一例に過ぎず、顔検出処理方法として既存のどのような方法を用いることとしても構わない。
本例では、入力画像と重みテーブルとを比較することで顔を検出する。重みテーブルとは、大量の教師サンプル（顔及び非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。このAdaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによって、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。
図３に示すように、まず入力画像３０から、例えば縮小率を０．８として顔検出用縮小画像３１〜３５が生成されて階層化される。また、各画像３０〜３５において判定を行う判定領域６０の大きさは、どの画像３０〜３５においても同じである。そして、図中の矢印で示すように、各画像上で判定領域３６を左から右に移動させて水平方向の走査を行う。また、この水平走査を上方から下方に向かって行うことで、画像全体が走査される。このとき、判定領域３６とマッチングする顔画像の検出が行われる。ここで、入力画像３０の他に複数の顔検出用縮小画像３１〜３５を生成することで、１種類の重みテーブルを用いて大きさが異なる顔を検出することを可能としている。また、走査順はこれに限られるものではなく、どのような順番で行っても構わない。
マッチングは、粗い判定から順次細かい判定に移行する複数の判定ステップから成る。そして、ある判定ステップにおいて顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域３６には顔は存在しないものと判定する。全ての判定ステップにおいて顔が検出された場合にのみ、当該判定領域３６に顔が存在すると判定し、判定領域を走査して次の判定領域３６での判定に移行する。なお、上述の例は正面顔を検出するものであるが、横顔のサンプルなどを用いることによって主要被写体の顔の向きなどを検出することとしても構わない。また、特定の人物の顔をサンプルとして記録し、特定の人物を主要被写体として検出する顔認識処理を行っても構わない。
上記の方法などによって顔検出処理を行うことにより、入力画像から主要被写体の顔が含まれる顔領域を検出することができる。そして、検出された顔領域の入力画像中における位置の情報を、主要被写***置情報として出力する。なお、複数の顔領域を検出可能とするとともに、主要被写***置情報が複数の位置を示すものとしても構わない。
切り出し部６２は、主要被写***置情報に基づいて、入力画像の一部を切り出す。この切り出される領域（以下、切り出し領域とする）の設定方法について、具体例を図面を参照して説明する。図４は、切り出し領域の設定方法の例を示す入力画像の模式図である。
まず、図４（ａ）に示す例では、例えば上記の方法によって検出される顔領域４１，４２の中で、入力画像４０の中心の最も近くに位置するものを基準とする。具体的に例えば、顔領域４１，４２の中心が、入力画像４０の中心に最も近いものを基準とする。そして、この基準となる顔の位置（例えば、顔領域４１の中心位置）が、切り出し領域４３の水平方向の中央、垂直方向の上から１／３に位置するように、切り出し領域４３を設定する。このように切り出し領域４３を設定すると、主要被写体を切り出し領域４３の中央に位置させることが可能となる。
一方、図４（ｂ）に示す例では、検出された複数の顔を基準とする。そして、この基準となる複数の顔の位置（例えば、顔領域４１，４２の中心位置）の垂直方向における平均位置が、切り出し領域４４の垂直方向の上から１／３の位置になるように、切り出し領域４４を設定する。さらに、検出されたそれぞれの顔の位置が、切り出し領域４４の水平方向の中央部の１／２の範囲（即ち、水平方向を４等分した範囲のうち、中央の２つ分の範囲）内に含まれるように、切り出し領域４４を設定する。このように切り出し領域４４を設定すると、複数の主要被写体を切り出し領域４４の中央に位置させることが可能となる。
上記のようにして設定される切り出し領域４３，４４は、後段の圧縮処理部８や画像出力回路部１３などで行われる処理を画一的なものとするため、所定の大きさ（即ち、所定の画素数）とすると好ましい。なお、切り出し領域を所定の大きさとすると、図４（ｂ）に示すように複数の顔を切り出し領域内に含める場合に、例えば水平方向の中央部の１／２の範囲内に全ての顔が入りきらないなどの問題が生じうる。この場合、複数の顔が中央に近づくように（例えば、複数の顔の水平方向における平均位置が、切り出し領域の水平方向の中央に位置するように）、切り出し領域を設定しても構わない。
また、主要被写体とする顔を、ユーザが選択することとしても構わない。例えば、操作部１７がタッチパネルを備えるとともに、ユーザが直接的に顔を選択する構成としても構わない。また、操作部１７が方向キーなどのボタンを備えるとともに、ユーザがボタンを操作することで顔を選択する構成としても構わない。さらに、複数選択することが可能な構成としても構わないし、複数選択される顔に優先度をつけ、優先度が高い顔が優先的に切り出し領域の中央近くになるように、切り出し領域が設定される構成としても構わない。
切り出し画像及び縮小画像の一例を、図面を参照して説明する。図５は、切り出し画像及び縮小画像の一例について示した模式図である。なお、図５（ａ），（ｂ）は、図４（ａ）に示した切り出し領域４３が設定された場合の、切り出し画像５０及び縮小画像５１をそれぞれ示したものである。
上述の例のように、切り出し処理部６０は、図４（ａ）に示す入力画像４０から切り出し領域４３の画像を切り出すことで切り出し画像５０を生成し、出力する。一方、縮小部６３は、入力画像４０を縮小処理して縮小画像５１を生成し、出力する。縮小処理は、例えば、画素の加算処理や間引き処理によって行われ、その結果画素数が低減される。
このとき、縮小画像５１の画素数と切り出し画像５０の画素数とが同じものになるようにすると、後段の圧縮処理部８や画像出力回路部１３などで行われる処理を画一的なものとすることができるため、好ましい。例えば、入力画像４０を、水平３８４０画素×垂直２１６０画素として、切り出し画像５０及び縮小画像５１を、水平１９２０画素×垂直１０８０画素としても構わない。この場合、切り出し画像５０及び縮小画像５１の大きさは、水平方向が入力画像４０の１／２、垂直方向も入力画像４０の１／２となり、全体として入力画像４０の１／４の大きさとなる。
縮小部６３から出力される縮小画像５１は、画角が入力画像４０と略等しいものとなる。また、縮小画像５１は、入力画像４０に縮小処理を施して得られる画像であるため、データ量が入力画像４０よりも低減される。ただし、縮小画像５１の画質（解像度）は、入力画像４０の画質よりも低いものとなる。
一方、切り出し処理部６０から出力される切り出し画像５０は、縮小などの処理が行われないため、画質は入力画像４０と略等しいものとなる。また、入力画像４０の一部を切り出して得られる画像であるため、データ量が入力画像４０よりも低減される。ただし、入力画像４０の一部の領域の画像であるため、画角は入力画像４０よりも狭いものとなる。
切り出し画像５０及び縮小画像５１は、それぞれ圧縮処理部８に入力されたり、バス２０やメモリ１６を介して再生画像処理部１２に入力されたりする。圧縮処理部８に入力される切り出し画像５０及び縮小画像５１は、圧縮処理が施されて外部メモリ１０に記録される。一方、再生画像処理部１２に入力される切り出し画像５０及び縮小画像５１は、例えば、記録前のプレビュー時や記録時などにユーザに表示するために利用される。
＜再生画像処理部＞
次に、図１に示した再生画像処理部１２の要部（特に、合成処理部１２０に関係する部分）の構成について、図面を参照して説明する。図６は、本発明の実施形態における再生画像処理部の要部の構成を示すブロック図である。
図６に示すように、合成処理部１２０は、伸長処理部１１から出力される縮小画像を拡大処理して拡大画像を生成する拡大部１２１と、伸長処理部１１から出力される切り出し画像と拡大部１２１から出力される拡大画像とを合成して合成画像を生成する合成部１２２と、拡大部１２１から出力される拡大画像に基づいて画角の設定を行い画角情報を生成する画角設定部１２３と、画角設定部１２３から出力される画角情報に基づいて合成画像の一部を切り出して再画角設定画像を生成する再生時切り出し部１２４と、再生時切り出し部１２４から出力される再画角設定画像の大きさを調整して再画角設定画像（調整後）を生成する画像サイズ調整部１２５と、を備える。
また、再生画像処理部１２は、撮像画像処理部６から出力される切り出し画像及び縮小画像と伸長処理部１１から出力される切り出し画像及び縮小画像と合成処理部１２０から出力される再画角設定画像（調整後）とのいずれかを選択して出力画像として出力する出力画像選択部１２６を備える。
上述のように、図１の外部メモリ１０に記録された圧縮符号化された画像（切り出し画像及び縮小画像）は、伸長処理部１１で伸長されて再生画像処理部１２に入力される。まず、伸長処理部１１から出力される縮小画像は、拡大部１２１に入力されて拡大処理が施され、拡大画像が生成される。拡大処理とは、例えば、画素の補間処理などを行って、画素数を増大させる処理である。また、拡大画像は、入力画像と略等しい大きさになるように縮小画像を拡大処理して得られる画像である。
この拡大画像の一例について、図面を参照して説明する。図７は、拡大画像の一例について示した模式図である。なお、図７に示す拡大画像７０は、図５（ｂ）に示した縮小画像５１に拡大処理を施して得られるものである。即ち、拡大画像７０は、図４に示した入力画像４０に対して、縮小処理及び拡大処理を施すことによって得られるものである。そのため、図７に示すように拡大画像７０は、図４に示した入力画像４０よりも画質が低いものとなる。
伸長処理部１１から出力される切り出し画像は、合成部１２２に入力されて拡大画像と合成される。このとき、拡大画像は入力画像と略等しい大きさに拡大されており、切り出し画像は入力画像の一部を切り出したものとなっている。そのため、それぞれの画像は入力画像と略等しい倍率（拡大率が１倍）となる。したがって、それぞれの画像の大きさを調整することなく、そのまま合成処理することができる。
合成部１２２が行う合成処理とは、拡大画像の一部の領域に切り出し画像を合成する処理である。この拡大画像の一部の領域とは、切り出し画像を切り出した領域（図２に示す切り出し部６２が設定した切り出し領域）と同じ位置の領域である。即ち、拡大画像における切り出し領域に相当する領域である。また、得られる合成画像は、入力画像と略等しい大きさとなる。
この合成画像の一例について、図面を参照して説明する。図８は、合成画像の一例について示した模式図である。なお、図８に示す合成画像８０は、図７に示した拡大画像７０に、図５（ａ）に示した切り出し画像５０を合成したものである。また、合成画像８０の、切り出し画像を合成した領域８１を破線で示す。図８に示すように、切り出し画像を合成した領域８１内の画質は、入力画像の画質と略等しい画質となるため高いものとなる。一方、それ以外の領域では、拡大画像の画質と略等しい画質となるため低いものとなる。
合成処理を行う際に、拡大画像に切り出し画像を合成する処理に加え、境界部分を目立たなくするために、合成した領域の端部をぼかす処理を行うことも可能である。この端部をぼかす処理の一例について、図面を参照して説明する。図９は、端部をぼかす処理の一例を示す合成画像の模式図である。なお、図９では合成割合を色で示している。具体的に、白色で示す領域を、切り出し画像の信号値の割合が大きい領域とする。また、黒色で示す領域を、拡大画像の信号値の割合が大きい領域とする。
図９に示す合成画像９０では、切り出し画像が合成される領域９１において、端辺から中央部に向かって、切り出し画像の信号値の割合が大きくなり、かつ、拡大画像の信号値の割合が小さくなるように構成されている。このように構成すると、切り出し画像の合成が行われる領域９１の端部の画質が、徐々に変化するものとなる。そのため、切り出し画像が合成される領域９１の境界を、目立たないものとすることが可能となる。
画角設定部１２３は、入力される拡大画像に基づいて、再生されるべき画像の画角（再生画角領域）の設定を行う。画角設定部１２３による再生画角領域の設定方法の一例について、図面を参照して説明する。図１０は、画角設定部による再生画角領域の設定方法の一例について示す拡大画像の模式図である。なお、図１０は、図７に示した拡大画像７０に基づいて再生画角領域を設定する場合について示すものである。
図１０に示すように、拡大画像７０に基づいて再生画角領域１００を設定する。例えば、図２の切り出し部６２と同様に、顔検出などの方法を用いて主要被写体の検出を行い、再生画角を設定する。図１０に示す例では、拡大画像１００内で検出された顔（顔領域１０１，１０２）が含まれるように、再生画角領域１００が設定される場合について示している。また、このとき設定される再生画角領域１００の大きさは任意とすることができる。例えば、ユーザなどから指示される条件を満たすように、任意の大きさで設定される。
再生時切り出し部１２４は、合成画像から画角設定部１２３より入力される画角情報が示す再生画角領域に相当する領域を切り出すことにより、再画角設定画像を生成する。また、画像サイズ調整部１２５は、再画角設定画像の大きさを調整して再画角設定画像（調整後）を出力する。このとき、画像サイズ調整部１２５は、例えば画素の補間処理を行って画像を大きくしたり、加算処理や間引き処理を行って小さくしたりして、再画角設定画像（調整後）を生成する。
再画角設定画像及び再画角設定画像（調整後）について、図面を参照して説明する。図１１は、再画角設定画像及び再画角設定画像（調整後）の一例について示す模式図である。なお、図１１（ａ）に示す再画角設定画像１１０は、図８に示す合成画像８０から、図１０に示す再生画角領域１００に相当する領域を切り出すことで得られる画像である。また、図１１（ｂ）に示す再画角設定画像（調整後）１１１は、図１１（ａ）に示す再画角設定画像１１０の大きさを調整して得られる画像である。
図１１（ａ）に示すように、再画角設定画像１１０は、合成画像８０の一部を切り出したものとなる。そのため、設定される再生画角領域１００の位置によっては、図１１（ａ）に示すように、画質が高い領域（合成画像８０の切り出し画像が合成された領域８１）と、低い領域（合成画像８０の切り出し画像が合成された領域８１以外の領域）と、が含まれる場合が生じる。
また、図１１（ｂ）に示す再画角設定画像（調整後）１１１は、再画角設定画像１１０を縮小して得られるものである。再画角設定画像（調整後）１１１の大きさは、例えば、切り出し画像や縮小画像と略等しい所定の大きさとなる（例えば、水平１９２０画素×垂直１０８０画素）。なお、再生画角領域の大きさがこの所定の大きさより大きい場合、図１１（ｂ）に示すように、再画角設定画像が縮小されて再画角設定画像（調整後）が生成される。一方、再生画角領域の大きさが、この所定の大きさより小さい場合は、再画角設定画像が拡大されて再画角設定画像（調整後）が生成される。また、再生画角領域の大きさが、この所定の大きさと同じである場合は、再画角設定画像がそのまま再画角設定画像（調整後）となる。
出力画像選択部１２６は、入力される種々の画像のいずれかを選択し、出力画像として出力する。例えば撮像時には、撮像画像処理部６から入力される切り出し画像及び縮小画像のいずれかを選択し、出力する。また、再生時には、伸長処理部１１から出力される切り出し画像及び縮小画像と合成処理部１２０から出力される再画角設定画像（調整後）とのいずれかを選択し、出力する。なお、複数の画像を出力可能な構成としても構わないし、所定の情報を付加した画像（例えば、切り出し領域の位置を表示した縮小画像）を出力画像として出力することができる構成としても構わない。また、出力画像選択部１２６の画像の選択方法、即ち、ユーザに表示する画像の選択方法の詳細については、後述する。
以上のように構成することにより、撮像時に記録される画像が縮小画像と切り出し画像となる。即ち、入力画像よりもデータ量の小さい画像が記録される。そのため、記録に要するデータ量を低減するとともに、画像に対する各処理を迅速に行うことが可能となる。また、主要被写体が含まれる切り出し画像は、入力画像と同じ画質で記録される。そのため、ユーザが特に必要とする可能性が高い領域の画像を、高画質で記録することが可能となる。
さらに、記録した切り出し画像に所望の領域が含まれていない場合であっても、再画角設定画像（調整後）を用いることによって、再生時にユーザが容易にその所望の領域を確認することが可能となる。例えば、図１０の再生画角領域１００を大きくして、主要被写体とその周囲の風景が含まれるように再生画角領域１００を設定しても構わない。この場合、撮像時に主要被写体からズームアウトした場合と同様の画角の変化を、再生時に得ることができる。反対に、再生画角領域１００を小さく設定し、主要被写体にズームインすることも可能である。さらに例えば、再生画角領域１００を上下左右に移動させても構わない。この場合、撮像時に撮像装置をパン、チルトさせる場合と同様の画角の変化を、再生時に得ることができる。
なお、図２に示す切り出し処理部６０の切り出し部６２や、図６に示す合成処理部１２０の再生時切り出し部１２４が、メモリ１６やＶＲＡＭ（Video Random Access Memory、不図示）などに一時的に保持した入力画像や合成画像から、切り出し領域や再生画角領域の信号のみを読み出すことによって、切り出し処理を行うこととしても構わない。
また、入力画像は動画であっても静止画であっても構わない。ただし、以下の表示画像制御動作の説明においては、入力画像が動画である場合を例に挙げて説明する。
＜＜表示画像制御＞＞
次に、表示画像の制御例について説明する。表示画像の制御は、主に図６に示す出力画像選択部１２６が、出力すべき画像を選択することによって行う。以下では、撮像時と再生時とのそれぞれの表示画像の制御例について、図面を参照して説明する。特に、図１、図２、図６及び図１２〜１４を参照する。
＜撮像時＞
図１２は、撮像時における表示画像の制御例を示すフローチャートである。図１２に示すように、撮像が開始されると、最初にプレビューが行われる。プレビューが開始されると（ＳＴＥＰ１）、まず、入力画像が撮像画像処理部６で取得される（ＳＴＥＰ２）。撮像画像処理部６は、取得した入力画像に基づいて、フォーカスや露出、ホワイトバランスなどの種々の撮像条件の調整を行う（ＳＴＥＰ３）。
また、入力画像に対して、切り出し処理部６０の主要被写体検出部６１が、主要被写体の検出を行う。さらに、切り出し部６２が、切り出し領域を決定して切り出し処理を行う（ＳＴＥＰ４）。そして、プレビュー中であれば（ＳＴＥＰ５、ＹＥＳ）、ＳＴＥＰ４で生成された切り出し画像の表示を行う（ＳＴＥＰ６）。このとき、ＳＴＥＰ４において生成される切り出し画像は、撮像画像処理部６から出力されるとともにバス２０やメモリ１６を介して出力画像選択部１２６に入力され、出力画像選択部１２６から出力画像として出力されたものである。そして、例えば撮像装置１に備えられる表示装置で表示される。
次に、ユーザから記録開始の指示が入力されたか否かが確認される（ＳＴＥＰ７）。記録開始の指示が入力されていない場合（ＳＴＥＰ７、ＮＯ）、ＳＴＥＰ２に戻って次の入力画像の取得を行う。そして、取得した入力画像に対してＳＴＥＰ３〜ＳＴＥＰ６までの動作を行う。
一方、記録開始の指示が入力されている場合（ＳＴＥＰ７、ＹＥＳ）、主要被写体の追尾を行い、画像の記録を開始する（ＳＴＥＰ８）。主要被写体を追尾するとは、例えば、ある入力画像に対する主要被写体の検出結果（例えば検出位置）を、次に取得する入力画像に対する主要被写体の検出に利用したり、検出された被写体と同じ被写体を次に取得する入力画像から検出したりするなど、継続して主要被写体の検出を行うことである。また、画像を記録するとは、上述のように、撮像画像処理部６から出力される切り出し画像及び縮小画像を圧縮処理部８で圧縮符号化し、外部メモリ１０に記録することである。
ＳＴＥＰ８が終了すると、ＳＴＥＰ２に戻って次の入力画像の取得を行う。そして、取得した入力画像に対してＳＴＥＰ３及びＳＴＥＰ４の動作を行う。このとき、記録が開始されておりプレビューが終了しているため（ＳＴＥＰ５、ＮＯ）、記録を停止する指示が入力されているか否かを確認する（ＳＴＥＰ９）。
記録を停止する指示が入力されている場合（ＳＴＥＰ９、ＹＥＳ）、記録を停止して（ＳＴＥＰ１６）、撮像を終了する指示が入力されるか否かを確認する（ＳＴＥＰ１７）。撮像を終了する指示が入力される場合（ＳＴＥＰ１７、ＹＥＳ）、終了する。一方、撮像を終了する指示が入力されない場合（ＳＴＥＰ１７、ＮＯ）、ＳＴＥＰ１に戻ってプレビューを開始する。
また、記録を停止する指示が入力されていない場合（ＳＴＥＰ９、ＮＯ）、ＳＴＥＰ８と同様に、主要被写体の追尾を継続するとともに画像の記録を行う（ＳＴＥＰ１０）。そして、記録する画像をユーザに対して表示する（ＳＴＥＰ１１〜ＳＴＥＰ１５）。このとき、例えば撮像装置１に備えられる表示装置で表示を行う。
全画角を表示するように設定されている場合（ＳＴＥＰ１１、ＹＥＳ）、全画角を示す画像である縮小画像が表示される（ＳＴＥＰ１２）。なお、表示される縮小画像は、撮像画像処理部６から出力されるとともにバス２０やメモリ１６を介して出力画像選択部１２６に入力され、出力画像選択部１２６から出力画像として出力されたものである。
一方、全画角を表示する設定になっておらず（ＳＴＥＰ１１、ＮＯ）、切り出し画角を表示する設定になっている場合（ＳＴＥＰ１３、ＹＥＳ）、切り出し画角を示す画像である切り出し画像が表示される（ＳＴＥＰ１４）。なお、表示される切り出し画像は、撮像画像処理部６から出力されるとともにバス２０やメモリ１６を介して出力画像選択部１２６に入力され、出力画像選択部１２６から出力画像として出力されたものである。
また、切り出し画角を表示する設定になっていない場合（ＳＴＥＰ１３、ＮＯ）、縮小画像に切り出し領域を表示した画像が表示される（ＳＴＥＰ１５）。この縮小画像は、撮像画像処理部６から出力されるとともにバス２０やメモリ１６を介して出力画像選択部１２６に入力されるものである。そして、同様に切り出し領域の位置を示す情報も出力画像選択部１２６に入力され、縮小画像に切り出し領域の位置が付加された出力画像が生成されて出力される。例えば、図１３に示すような、縮小画像に切り出し領域の位置１４１が付加表示された出力画像１４０を表示することとしても構わない。
上記のＳＴＥＰ１１〜ＳＴＥＰ１５の動作が行われて画像が表示されると、ＳＴＥＰ２に戻って次の入力画像の取得が行われる。そして、この入力画像に対して、上記と同様にＳＴＥＰ３以降の処理が行われる。
なお、ＳＴＥＰ６において、プレビュー時に表示される画像を切り出し画像としたが、縮小画像としても構わない。また、縮小画像に切り出し領域を付加した画像としても構わない。また、これらの画像から選択可能としても構わない。
＜再生時＞
図１４は、再生時における表示画像の制御例を示すフローチャートである。図１４に示すように、再生が開始されると、最初に再生する画像の選択画面を表示する（ＳＴＥＰ２０）。例えば、記録されている画像のサムネイル画像を表示し、ユーザに再生する画像を選択させる。ユーザが、再生する画像を選択しない場合（ＳＴＥＰ２１、ＮＯ）、ＳＴＥＰ２０の選択画面の表示を継続する。
ユーザによって再生する画像が選択された場合（ＳＴＥＰ２１、ＹＥＳ）、選択された画像の切り出し画像を取得するとともに表示する（ＳＴＥＰ２２）。この切り出し画像は、外部メモリ１０に記録されている画像であり、伸長処理部１１から出力されて出力画像選択部１２６に入力され、出力画像選択部１２６から出力画像として出力されるものである。
また、再生を停止する指示が入力されているか否かが確認される（ＳＴＥＰ２３）。再生を停止する指示が入力されている場合（ＳＴＥＰ２３、ＹＥＳ）、再生を停止して（ＳＴＥＰ３２）、再生を終了する指示が入力されるか否かを確認する（ＳＴＥＰ３３）。再生を終了する指示が入力される場合（ＳＴＥＰ３３、ＹＥＳ）、終了する。一方、再生を終了する指示が入力されない場合（ＳＴＥＰ３３、ＮＯ）、ＳＴＥＰ２０に戻って再生する画像の選択画面を表示する。
また、再生を停止する指示が入力されていない場合（ＳＴＥＰ２３、ＮＯ）、出力画像を変更するか否かが確認される（ＳＴＥＰ２４）。再生開始時は、初期設定として切り出し画像を表示するように設定されている。しかしながら、ユーザが再生中に画角を変更したいと考える場合がある。このような場合、出力画像の変更が指示され（ＳＴＥＰ２４、ＹＥＳ）、出力画像が変更される（ＳＴＥＰ２５）。一方、出力画像の変更が指示されなければ（ＳＴＥＰ２４、ＮＯ）、現在設定されている画角の画像を表示し続けることとなる。
ＳＴＥＰ２４で出力画像の画角が決定されると、次に、再生する画像の取得が行われる（ＳＴＥＰ２６）。具体的には、伸長処理部１１から、切り出し画像及び縮小画像が合成処理部１２０に読み出されたり、出力画像選択部１２６に読み出されたりする。そして、出力画像がユーザに対して表示される（ＳＴＥＰ２７〜ＳＴＥＰ３１）。
全画角を表示するように設定されている場合（ＳＴＥＰ２７、ＹＥＳ）、全画角を示す画像である縮小画像が表示される（ＳＴＥＰ２８）。なお、表示される縮小画像は、伸長処理部１１から出力されて出力画像選択部１２６に入力され、出力画像選択部１２６から出力画像として出力されたものである。
一方、全画角を表示する設定になっておらず（ＳＴＥＰ２７、ＮＯ）、切り出し画角を表示する設定になっている場合（ＳＴＥＰ２９、ＹＥＳ）、切り出し画角を示す画像である切り出し画像が表示される（ＳＴＥＰ３０）。なお、表示される切り出し画像は、伸長処理部１１から出力されて出力画像選択部１２６に入力され、出力画像選択部１２６から出力画像として出力されたものである。
また、切り出し画角を表示する設定になっていない場合（ＳＴＥＰ２９、ＮＯ）、再画角設定画像（調整後）が表示される（ＳＴＥＰ３１）。この再画角設定画像（調整後）は、上述のように、伸長処理部１１から出力された切り出し画像及び縮小画像が、合成処理部１２０で処理されて生成されるものである。そして、生成された再画角設定画像（調整後）は出力画像選択部１２６に入力され、出力画像選択部１２６から出力画像として出力されて表示される。
上記のＳＴＥＰ２７〜ＳＴＥＰ３１の動作が行われて画像が表示されると、ＳＴＥＰ２３に戻って再生を停止するか否かの確認が行われる。そして、上記と同様にＳＴＥＰ２４以降の動作が行われる。
＜＜変形例＞＞
＜拡大部＞
上記の例では、合成処理部１２０の拡大部１２１が、入力される縮小画像の画素数を増やすために例えば補間処理を行うこととしていたが、補間処理に加えて（または代えて）超解像処理を行うこととしても構わない。
超解像処理を行うこととすると、得られる拡大画像の画質を向上させることが可能となる。そのため、画角設定部１２３による主要被写体の検出の精度を向上させたり、合成処理部１２０から出力される再画角設定画像（調整後）の画質を向上させたりすることが可能となる。なお、以下では、超解像処理の一種であるＭＡＰ（Maximum A Posterior）法を用いる場合を例に挙げるとともに、図面を参照して説明する。図１５及び図１６は、超解像処理による拡大画像の生成例の概要を示す図である。
また、以下においては説明を簡単にするため、縮小画像のある１方向に整列した複数の画素について考えることとする。また、２つの縮小画像を合成して拡大画像を生成する場合であり、合成する画素値が輝度値である場合を例に挙げて説明する。
図１５（ａ）は、撮像しようとする被写体の輝度分布を示したものである。また、図１５（ｂ）及び（ｃ）のそれぞれは、図１５（ａ）に示す被写体を撮像した入力画像から得られる縮小画像の輝度分布である。また、図１５（ｄ）は、図１５（ｃ）に示す縮小画像を所定の位置だけずらしたものである。なお、図１５（ｂ）に示す縮小画像（以下、低解像度実画像Ｆａとする）と図１５（ｃ）に示す縮小画像（以下、低解像度実画像Ｆｂとする）とは、撮像された時間が異なる。
図１５（ｂ）に示すように、図１５（ａ）に示す輝度分布を有する被写体を時間Ｔ１に撮像して得られた低解像度実画像Ｆａのサンプル点の位置を、Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳとする。また、図１５（ｃ）に示すように、時間Ｔ２（Ｔ１≠Ｔ２）に撮像して得られた低解像度実画像Ｆｂのサンプル点の位置を、Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳとする。このとき、低解像度実画像Ｆａのサンプル点Ｓ１と低解像度実画像Ｆｂのサンプル点Ｓ２とは、手ブレなどが原因となりその位置にズレが生じているものとする。即ち、画素位置が（Ｓ１−Ｓ２）だけずれたものとなる。
図１５（ｂ）に示す低解像度実画像Ｆａについて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳから得られた輝度値を、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３とする。同様に、図１５（ｃ）に示す低解像度実画像Ｆｂについて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳから得られた輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３とする。
ここで、低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３を基準（注目画像）として低解像度実画像Ｆｂを表した場合（即ち、低解像度実画像Ｆｂを、低解像度実画像Ｆａに対する動き量（Ｓ１−Ｓ２）だけ位置ズレ補正した場合）、位置ずれ補正後の低解像度実画像Ｆｂ＋は、図１５（ｄ）に示すようになる。
次に、低解像度実画像Ｆａと低解像度実画像Ｆｂ＋とを組み合わせて高解像度画像を生成する方法を図１６に示す。まず、図１６（ａ）に示すように、低解像度実画像Ｆａと低解像度実画像Ｆｂ＋とを組み合わせて高解像度画像Ｆｘ１を推定する。なお、説明を簡単にするために、例えば、解像度をある１方向に対して２倍にするものとする。即ち、高解像度画像Ｆｘ１の画素が、低解像度実画像Ｆａ，Ｆｂ＋の画素Ｐ１，Ｐ２，Ｐ３と、画素Ｐ１，Ｐ２の中間位置に位置する画素Ｐ４と、画素Ｐ２，Ｐ３の中間位置に位置する画素Ｐ５と、を備えるものとする。
低解像度実画像Ｆａの画素Ｐ４の画素値は、低解像度実画像Ｆａの画素Ｐ１，Ｐ２の画素位置（画素の中心位置）と画素Ｐ４の画素位置との距離よりも、低解像度実画像Ｆｂ＋における画素Ｐ１の画素位置と画素Ｐ４の画素位置との距離の方が近いことにより、画素値ｐｂ１が選択される。同様に、画素Ｐ５の画素値については、低解像度実画像Ｆａにおける画素Ｐ２，Ｐ３の画素位置と画素Ｐ５の画素位置との距離よりも、低解像度実画像Ｆｂ＋における画素Ｐ２の画素位置と画素Ｐ５の画素位置との距離の方が近いことにより、画素値ｐｂ２が選択される。
その後、図１６（ｂ）に示すように、得られた高解像度画像Ｆｘ１に対してダウンサンプリング量やぼけ量や位置ズレ量（動き量に相当）などをパラメータとして備えた変換式による演算を行うことで、低解像度実画像Ｆａ，Ｆｂのそれぞれに相当する推定画像である低解像度推定画像Ｆａ１，Ｆｂ１を生成する。なお、図１６（ｂ）では、ｎ回目の処理によって推定された高解像度画像Ｆｘｎより生成される低解像度推定画像Ｆａｎ，Ｆｂｎを示している。
例えば、ｎ＝１のとき、図１６（ａ）に示す高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳにおける画素値を推定して、取得した画素値ｐａ１１〜ｐａ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆａ１を生成する。同様に、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳにおける画素値を推定して、取得した画素値ｐｂ１１〜ｐｂ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆｂ１を生成する。そして、図１６（ｃ）に示すように、低解像度推定画像Ｆａ１，Ｆｂ１のそれぞれと、低解像度実画像Ｆａ，Ｆｂのそれぞれとの間における差分を求め、この差分を合成することで高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。なお、図１６（ｃ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎを示している。
例えば、差分画像ΔＦａ１は、差分値（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）がＰ１〜Ｐ３の画素値となり、差分画像ΔＦｂ１は、差分値（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）がＰ１〜Ｐ３の画素値となる。そして、差分画像ΔＦａ１，ΔＦｂ１の画素値を合成することによって、画素Ｐ１〜Ｐ５のそれぞれにおける差分値を算出して、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。この差分画像ΔＦａ１，ΔＦｂ１の画素値を合成して差分画像ΔＦｘ１を取得する際、例えば、ＭＬ（Maximum Likelihood）法やＭＡＰ法を用いる場合では、二乗誤差を評価関数として用いる。即ち、差分画像ΔＦａ１，ΔＦｂ１の画素値を二乗してフレーム間で加算した値を評価関数とする。この評価関数の微分値である勾配は、差分画像ΔＦａ１，ΔＦｂ１の画素値を２倍した値となる。そのため、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１は、差分画像ΔＦａ１，ΔＦｂ１それぞれの画素値を２倍した値を用いて高解像度化することで算出される。
その後、図１６（ｄ）に示すように、得られた差分画像ΔＦｘ１における画素Ｐ１〜Ｐ５の画素値（差分値）が、高解像度画像Ｆｘ１における画素Ｐ１〜Ｐ５の画素値より減算されることで、図１５（ａ）に示した輝度分布の被写体に近い画素値となる高解像度画像Ｆｘ２が再構成される。なお、図１６（ｄ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘ（ｎ＋１）を示している。
上述した一連の処理を繰り返すことによって、得られる差分画像ΔＦｘｎの画素値が小さくなり、高解像度画像Ｆｘｎの画素値が図１５（ａ）に示す輝度分布の被写体に近い画素値に収束される。そして、差分画像ΔＦｘｎの画素値（差分値）が所定値より小さくなったときや、差分画像ΔＦｘｎの画素値（差分値）が収束したとき、前の処理（ｎ−１回目の処理）において得られた高解像度画像Ｆｘｎを、例えば拡大画像として拡大部１２１から出力する。
また、上記の処理において動き量（位置ズレ量）を求める際に、例えば以下に示すような、代表点マッチング法と１画素内動き量検出とを行うこととしても構わない。最初に、代表点マッチング法について図面を参照して説明し、その後に１画素内動き量検出について図面を参照して説明する。図１７及び図１８は、代表点マッチング法について示す図である。図１７は、画像の各領域の分割方法について示す画像の模式図であり、図１８は、基準画像及び非基準画像について示す模式図である。
代表点マッチング法は、例えば、基準となる画像（基準画像）と、基準画像と比較されて動きが検出される画像（非基準画像）のそれぞれに対して、図１７に示すような領域分割を行う。例えば、ａ×ｂの画素群（例えば、３６×３６の画素群）を１つの小領域ｅとして分割し、さらに、この小領域ｅのｐ×ｑ領域分（例えば、６×８領域分）を１つの検出領域Ｅとして分割する。また、図１８（ａ）に示すように、小領域ｅを構成するａ×ｂの画素から１つの画素が代表点Ｒとして設定される。一方、図１８（ｂ）に示すように、小領域ｅを構成するａ×ｂの画素のうちの複数の画素がサンプリング点Ｓとして設定される（例えば、ａ×ｂの画素全てをサンプリング点Ｓとしても構わない）。
以上のように小領域ｅ及び検出領域Ｅが設定されると、基準画像と非基準画像の同一位置となる小領域ｅについて、非基準画像の各サンプリング点Ｓの画素値と基準画像の代表点Ｒの画素値との差が、各サンプリング点Ｓでの相関値として求められる。そして、検出領域Ｅ毎に、各小領域ｅ間で代表点Ｒとの相対位置が同一となるサンプリング点Ｓの相関値を、検出領域Ｅを構成する全ての小領域ｅ分だけ累積加算することで、各サンプリング点Ｓにおける累積相関値を取得する。これにより、検出領域Ｅ毎に、代表点Ｒとの相対位置が同一となるｐ×ｑ個のサンプリング点Ｓの相関値が累積加算されることで、サンプリング点の個数分の累積相関値が得られる（例えば、ａ×ｂの画素全てをサンプリング点Ｓとする場合、ａ×ｂ個の累積相関値が得られることとなる）。
各検出領域Ｅに対して、各サンプリング点Ｓに対する累積相関値が求められると、各検出領域Ｅにおいて、代表点Ｒと相関性が最も高いと考えられるサンプリング点Ｓ（即ち、累積相関値が最小となるサンプリング点Ｓ）が検出される。そして、各検出領域Ｅでは、累積相関値が最小となるサンプリング点Ｓと代表点Ｒとの動き量が、それぞれの画素位置によって求められる。その後、各検出領域Ｅそれぞれに対して求められた動き量を平均することで、この平均値を、基準画像と非基準画像との間の画素単位による動き量として検出する。
次に、１画素内動き量検出について図面を参照して説明する。図１９は、１画素内動き量検出について示す基準画像及び非基準画像の模式図であり、図２０は、１画素内動き量検出を行う際の代表点及びサンプリング点の画素値の関係を示すグラフである。
上述のように、例えば代表点マッチング法を用いるなどして画素単位の動き量を検出した後、さらに、下記に示す方法を用いて１画素内の動き量を検出することができる。例えば、小領域ｅ毎に基準画像の代表点Ｒの画素の画素値と、代表点Ｒと相関性の高いサンプリング点Ｓｘの画素及びその周辺画素のそれぞれの画素値と、の関係によって１画素内の動き量を検出することができる。
図１９に示すように、各小領域ｅにおいて、基準画像で画素位置（ａｒ，ｂｒ）となる代表点Ｒの画素値Ｌａと、非基準画像において画素位置（ａｓ，ｂｓ）となるサンプル点Ｓｘの画素値Ｌｂと、サンプル点Ｓｘと水平方向に隣接する画素位置（ａｓ＋１，ｂｓ）の画素値Ｌｃと、サンプル点Ｓｘと垂直方向に隣接する画素位置（ａｓ，ｂｓ＋１）の画素値Ｌｄとの関係によって、１画素内における動き量が検出される。このとき、代表点マッチング法により、基準画像から非基準画像への画素単位の動き量が、（ａｓ−ａｒ，ｂｓ−ｂｒ）となるベクトル量で表される値となる。
また、図２０（ａ）に示すように、サンプル点Ｓｘとなる画素から水平方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｃに線形的に変化するものとする。同様に、図２０（ｂ）に示すように、サンプル点Ｓｘとなる画素から垂直方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｄに線形的に変化するものとする。そして、画素値Ｌｂ，Ｌｃの間で画素値Ｌａとなる水平方向の位置Δｘ（＝（Ｌａ−Ｌｂ）／（Ｌｃ−Ｌｂ））を求めるとともに、画素値Ｌｂ，Ｌｄの間で画素値Ｌａとなる垂直方向の位置Δｙ（＝（Ｌａ−Ｌｂ）／（Ｌｄ−Ｌｂ））を求める。即ち、（Δｘ，Δｙ）で表されるベクトル量が、基準画素と非基準画素との間における、１画素内での動き量として求められる。
このようにして、小領域ｅそれぞれにおける１画素内での動き量を求める。そして、求めた動き量を平均して得られる平均値を、基準画像（例えば、低解像度実画像Ｆｂ）と非基準画像（例えば、低解像度実画像Ｆａ）との間の１画素内での動き量として検出する。そして、代表点マッチング法によって得られた画素単位による動き量に、求めた１画素内での動き量を加えることによって、基準画像と非基準画像との間における動き量を算出することができる。
［電子機器］
本発明の電子機器の一例として撮像装置を挙げて説明したが、本発明の電子機器は撮像装置に限られるものではない。例えば、再生機能のみを有し、記録された縮小画像と切り出し画像とに基づいて出力画像（特に、再画角設定画像（調整後））を出力する構成としても構わない。また、本発明の電子機器が、記録された縮小画像と切り出し画像とに基づいて出力画像を生成して記録する、編集装置としても構わない。
また、本発明の実施形態における撮像装置１について、撮像画像処理部６や再生画像処理部１２などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
また、上述した場合に限らず、図１の撮像装置１、図１及び図２の撮像画像処理部６、図１及び図６の再生画像処理部１２は、ハードウェア、あるいは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や撮像画像処理部６、再生画像処理部１２を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。
以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
本発明は、入力画像を切り出して所望の切り出し画像を得る画像処理装置や、デジタルビデオカメラに代表される撮像装置などの電子機器に関する。
は、本発明の実施形態における撮像装置の構成を示すブロック図である。 は、本発明の実施形態における撮像画像処理部の要部の構成を示すブロック図である。 は、顔検出処理方法の一例について示す画像の模式図である。 は、切り出し領域の設定方法の例を示す入力画像の模式図である。 は、切り出し画像及び縮小画像の一例について示した模式図である。 は、本発明の実施形態における再生画像処理部の要部の構成を示すブロック図である。 は、拡大画像の一例について示した模式図である。 は、合成画像の一例について示した模式図である。 は、合成処理の一例を示す合成画像の模式図である。 は、画角設定部による再生画角領域の設定方法の一例について示す拡大画像の模式図である。 は、再画角設定画像の一例について示す模式図である。 は、撮像時における表示画像の制御例を示すフローチャートである。 は、出力画像の一例を示す模式図である。 は、再生時における表示画像の制御例を示すフローチャートである。 は、超解像処理による拡大画像の生成例の概要を示す図である。 は、超解像処理による拡大画像の生成例の概要を示す図である。 は、代表点マッチング法における画像の各領域の分割方法について示す画像の模式図である。 は、代表点マッチング法について示す基準画像及び非基準画像の模式図である。 は、１画素内動き量検出について示す基準画像及び非基準画像の模式図である。 は、１画素内動き量検出を行う際の代表点及びサンプリング点の画素値の関係を示すグラフである。
符号の説明
１ 撮像装置
２ イメージサンサ
３ レンズ部
４ ＡＦＥ
５ 集音部
６ 撮像画像処理部
６０ 切り出し処理部
６１ 主要被写体検出部
６２ 切り出し部
６３ 縮小部
７ 音声処理部
８ 圧縮処理部
９ ドライバ部
１０ 外部メモリ
１１ 伸長処理部
１２ 再生画像処理部
１２０ 合成処理部
１２１ 拡大部
１２２ 合成部
１２３ 画角設定部
１２４ 再生時切り出し部
１２５ 画像サイズ調整部
１２６ 出力画像選択部
１３ 画像出力回路部
１４ 音声出力回路部
１５ ＣＰＵ
１６ メモリ
１７ 操作部
１８ ＴＧ部
１９ バス
２０ バス

Claims (6)

  1. 入力画像を縮小した縮小画像を拡大し、拡大画像を生成する拡大処理部と、
    前記入力画像の一部の領域である切り出し領域を切り出した画像である切り出し画像を、前記拡大画像の前記切り出し領域に相当する領域に合成し、合成画像を生成する合成部と、
    前記合成画像の一部の領域である再生画角領域を切り出して再画角設定画像を生成する再生時切り出し部と、
    を備えることを特徴とする画像処理装置。
  2. 前記入力画像中の主要被写体の位置を検出する主要被写体検出部と、
    前記主要被写体検出部によって検出される前記主要被写体の位置を含む前記切り出し領域で前記入力画像の切り出しを行い前記切り出し画像を生成する切り出し部と、
    前記入力画像を縮小して前記縮小画像を生成する縮小部と、
    をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  3. 前記縮小画像と、前記切り出し画像と、前記再画角設定画像と、のいずれかを選択し、出力画像として出力する出力画像選択部をさらに備えることを特徴とする請求項１または請求項２に記載の画像処理装置。
  4. 前記拡大画像から主要被写体の位置を検出するとともに、当該検出された前記主要被写体の位置に基づいて前記再生画角領域を設定する画角設定部をさらに備えることを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
  5. 前記合成部が、前記合成画像の前記切り出し領域に相当する領域の端辺から中央部に向かって前記切り出し画像の割合が大きくなるとともに前記拡大画像の割合が小さくなるように、合成を行うことを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
  6. 請求項１〜請求項５のいずれかに記載の画像処理装置を備え、
    当該画像処理装置から出力される画像を記録または再生することを特徴とする電子機器。
JP2008245665A 2008-09-25 2008-09-25 画像処理装置及び電子機器 Expired - Fee Related JP5202211B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008245665A JP5202211B2 (ja) 2008-09-25 2008-09-25 画像処理装置及び電子機器
US12/566,805 US20100073546A1 (en) 2008-09-25 2009-09-25 Image Processing Device And Electric Apparatus
US12/567,190 US20100074557A1 (en) 2008-09-25 2009-09-25 Image Processing Device And Electronic Appliance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008245665A JP5202211B2 (ja) 2008-09-25 2008-09-25 画像処理装置及び電子機器

Publications (2)

Publication Number Publication Date
JP2010081181A true JP2010081181A (ja) 2010-04-08
JP5202211B2 JP5202211B2 (ja) 2013-06-05

Family

ID=42037258

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008245665A Expired - Fee Related JP5202211B2 (ja) 2008-09-25 2008-09-25 画像処理装置及び電子機器

Country Status (2)

Country Link
US (1) US20100073546A1 (ja)
JP (1) JP5202211B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015080048A (ja) * 2013-10-15 2015-04-23 住友電気工業株式会社 カメラ装置、監視システム、これに用いるプログラム、及び撮像方法
US9111363B2 (en) 2013-03-25 2015-08-18 Panasonic Intellectual Property Management Co., Ltd. Video playback apparatus and video playback method
US20170280066A1 (en) * 2016-03-23 2017-09-28 Casio Computer Co., Ltd. Image processing method by image processing apparatus
JP2021093627A (ja) * 2019-12-10 2021-06-17 株式会社日立国際電気 編集システム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4869270B2 (ja) * 2008-03-10 2012-02-08 三洋電機株式会社 撮像装置及び画像再生装置
JP5814557B2 (ja) * 2011-02-07 2015-11-17 キヤノン株式会社 画像表示制御装置、撮像装置、表示制御方法、及び制御プログラム
KR102084582B1 (ko) * 2012-02-24 2020-03-04 삼성전자 주식회사 화면에 표시된 개체의 크기 조정 방법 및 장치
JP2013219556A (ja) * 2012-04-09 2013-10-24 Olympus Imaging Corp 撮像装置
CN104396266B (zh) * 2012-06-29 2017-10-13 丰田自动车株式会社 图像信息提供装置、图像信息提供***、图像信息提供方法
JP6314321B2 (ja) 2013-03-26 2018-04-25 パナソニックＩｐマネジメント株式会社 画像生成装置、撮影装置、画像生成方法及びプログラム
US10229478B2 (en) * 2014-09-26 2019-03-12 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
US10222958B2 (en) 2016-07-22 2019-03-05 Zeality Inc. Customizing immersive media content with embedded discoverable elements
US10770113B2 (en) * 2016-07-22 2020-09-08 Zeality Inc. Methods and system for customizing immersive media content
CN112261281B (zh) * 2020-09-03 2022-08-02 科大讯飞股份有限公司 视野调整方法及电子设备、存储装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001067488A (ja) * 1999-08-27 2001-03-16 Canon Inc 画像処理装置、画像処理方法および記憶媒体
JP2004088251A (ja) * 2002-08-23 2004-03-18 Ricoh Co Ltd 画像処理装置、方法、該方法を実行するプログラム及び記録媒体
JP2006067044A (ja) * 2004-08-25 2006-03-09 Sony Corp 画像処理装置および画像処理方法
JP2007028163A (ja) * 2005-07-15 2007-02-01 Canon Inc 電子カメラの表示装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5557358A (en) * 1991-10-11 1996-09-17 Minolta Camera Kabushiki Kaisha Camera having an electronic viewfinder for displaying an object image under different photographic conditions
US5835641A (en) * 1992-10-14 1998-11-10 Mitsubishi Denki Kabushiki Kaisha Image pick-up apparatus for detecting and enlarging registered objects
US5625765A (en) * 1993-09-03 1997-04-29 Criticom Corp. Vision systems including devices and methods for combining images for extended magnification schemes
US6172706B1 (en) * 1995-04-19 2001-01-09 Canon Kabushiki Kaisha Video camera with automatic zoom adjustment based on distance between user's eyes
JPH09186927A (ja) * 1995-12-28 1997-07-15 Sony Corp 追尾装置および追尾方法
JPH10240436A (ja) * 1996-12-26 1998-09-11 Nikon Corp 情報処理装置および記録媒体
US7738015B2 (en) * 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US6148113A (en) * 1998-02-03 2000-11-14 Micrografx, Inc. System for stimulating the depth of field of an image in two dimensional space and method of operation
US6717578B1 (en) * 1998-02-17 2004-04-06 Sun Microsystems, Inc. Graphics system with a variable-resolution sample buffer
US6977676B1 (en) * 1998-07-08 2005-12-20 Canon Kabushiki Kaisha Camera control system
JP2001216513A (ja) * 2000-02-01 2001-08-10 Yasumi Ichimura ぼけと絞り形状画像変換装置および方法
US6590574B1 (en) * 2000-05-17 2003-07-08 Microsoft Corporation Method, system, and computer program product for simulating camera depth-of-field effects in a digital image
JP3480446B2 (ja) * 2001-01-11 2003-12-22 ミノルタ株式会社 デジタルカメラ
CA2356573A1 (en) * 2001-08-31 2003-02-28 John-Paul J. Gignac Method of cropping a digital image
US7158175B2 (en) * 2001-11-30 2007-01-02 Eastman Kodak Company System including a digital camera and a docking unit for coupling to the internet
US7508421B2 (en) * 2002-06-24 2009-03-24 Fujifilm Corporation Image pickup apparatus and image processing method
US7916202B2 (en) * 2003-02-27 2011-03-29 Seiko Epson Corporation Image reproduction using a specific color space
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7269292B2 (en) * 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
GB2412831A (en) * 2004-03-30 2005-10-05 Univ Newcastle Highlighting important information by blurring less important information
US7554538B2 (en) * 2004-04-02 2009-06-30 Nvidia Corporation Video processing, such as for hidden surface reduction or removal
US7636489B2 (en) * 2004-04-16 2009-12-22 Apple Inc. Blur computation algorithm
US20060017835A1 (en) * 2004-07-22 2006-01-26 Dana Jacobsen Image compression region of interest selection based on focus information
JP2006094053A (ja) * 2004-09-22 2006-04-06 Fuji Photo Film Co Ltd フォトムービー作成方法および装置、並びにフォトムービー作成プログラム
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP4760288B2 (ja) * 2005-10-13 2011-08-31 ソニー株式会社 画像表示システム、表示装置、画像再合成装置、画像再合成方法及びプログラム
JP4970468B2 (ja) * 2006-02-14 2012-07-04 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 画像ぼかし処理
US20090175411A1 (en) * 2006-07-20 2009-07-09 Dan Gudmundson Methods and systems for use in security screening, with parallel processing capability
EP2055095A4 (en) * 2006-08-25 2012-06-27 Eliezer Jacob IMPROVED DIGITAL CAMERA WITH INCORRECT IMAGE RESOLUTION
JP4655054B2 (ja) * 2007-02-26 2011-03-23 富士フイルム株式会社 撮像装置
US7683962B2 (en) * 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US7911513B2 (en) * 2007-04-20 2011-03-22 General Instrument Corporation Simulating short depth of field to maximize privacy in videotelephony
JP5188101B2 (ja) * 2007-06-01 2013-04-24 株式会社キーエンス 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体
US20090024476A1 (en) * 2007-07-18 2009-01-22 Idelix Software Inc. Method and system for enhanced geographically-based and time-based online advertising
JP5012333B2 (ja) * 2007-08-30 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 画像処理装置および画像処理方法ならびに撮像装置
GB2457646B (en) * 2007-10-30 2010-03-03 Imagination Tech Ltd Method and apparatus for compressing and decompressing data
US8385681B2 (en) * 2008-02-11 2013-02-26 Apple Inc. Blemish removal
US20090278958A1 (en) * 2008-05-08 2009-11-12 Samsung Electronics Co., Ltd. Method and an apparatus for detecting a composition adjusted
US7852977B2 (en) * 2008-09-11 2010-12-14 Samplify Systems, Inc. Adaptive compression of computed tomography projection data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001067488A (ja) * 1999-08-27 2001-03-16 Canon Inc 画像処理装置、画像処理方法および記憶媒体
JP2004088251A (ja) * 2002-08-23 2004-03-18 Ricoh Co Ltd 画像処理装置、方法、該方法を実行するプログラム及び記録媒体
JP2006067044A (ja) * 2004-08-25 2006-03-09 Sony Corp 画像処理装置および画像処理方法
JP2007028163A (ja) * 2005-07-15 2007-02-01 Canon Inc 電子カメラの表示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111363B2 (en) 2013-03-25 2015-08-18 Panasonic Intellectual Property Management Co., Ltd. Video playback apparatus and video playback method
JP2015080048A (ja) * 2013-10-15 2015-04-23 住友電気工業株式会社 カメラ装置、監視システム、これに用いるプログラム、及び撮像方法
US20170280066A1 (en) * 2016-03-23 2017-09-28 Casio Computer Co., Ltd. Image processing method by image processing apparatus
JP2017175319A (ja) * 2016-03-23 2017-09-28 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2021093627A (ja) * 2019-12-10 2021-06-17 株式会社日立国際電気 編集システム
JP7343378B2 (ja) 2019-12-10 2023-09-12 株式会社日立国際電気 編集システム

Also Published As

Publication number Publication date
US20100073546A1 (en) 2010-03-25
JP5202211B2 (ja) 2013-06-05

Similar Documents

Publication Publication Date Title
JP5202211B2 (ja) 画像処理装置及び電子機器
JP5202283B2 (ja) 撮像装置及び電子機器
JP5084696B2 (ja) 画像処理装置、画像処理方法及び電子機器
JP5183297B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5413002B2 (ja) 撮像装置および方法、並びにプログラム
US8421887B2 (en) Image sensing apparatus
JP2010063088A (ja) 撮像装置
JP2012191486A (ja) 画像合成装置と画像合成方法およびプログラム
JP2008252508A (ja) 撮像装置及び撮影方法
JP2010103972A (ja) 画像処理装置及び電子機器
JP2010161760A (ja) 画像処理装置及び電子機器
JP2011114823A (ja) 画像処理装置及び撮像装置
JP2009124644A (ja) 画像処理装置、撮像装置及び画像再生装置
JP5125294B2 (ja) プログラム、画像処理装置、撮像装置および画像処理方法
JP5267279B2 (ja) 画像合成装置及びプログラム
JP2010263270A (ja) 撮像装置
JP2009044329A (ja) プログラム、画像処理方法および画像処理装置
JP5402242B2 (ja) 画像再生装置、撮像装置、画像再生方法、画像再生プログラム
JP5733588B2 (ja) 画像処理装置および方法、並びにプログラム
JP4759488B2 (ja) 撮像装置
JP2011155582A (ja) 撮像装置
JP2010239464A (ja) 画像合成装置、画像再生装置及びプログラム
JP2010233001A (ja) 画像合成装置、画像再生装置及びプログラム
JP4936816B2 (ja) 撮像装置及び同時表示制御方法
JP2009021893A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130212

R151 Written notification of patent or utility model registration

Ref document number: 5202211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160222

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160222

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees