JP2017097529A - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

画像処理装置、画像処理方法及びコンピュータプログラム Download PDF

Info

Publication number
JP2017097529A
JP2017097529A JP2015227458A JP2015227458A JP2017097529A JP 2017097529 A JP2017097529 A JP 2017097529A JP 2015227458 A JP2015227458 A JP 2015227458A JP 2015227458 A JP2015227458 A JP 2015227458A JP 2017097529 A JP2017097529 A JP 2017097529A
Authority
JP
Japan
Prior art keywords
image
magnification
zoom
unit
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015227458A
Other languages
English (en)
Inventor
小曽根　卓義
Takayoshi Kosone
卓義 小曽根
洋司 山本
Yoji Yamamoto
洋司 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015227458A priority Critical patent/JP2017097529A/ja
Priority to PCT/JP2016/077870 priority patent/WO2017086021A1/ja
Publication of JP2017097529A publication Critical patent/JP2017097529A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】焦点距離が異なる複数のカメラで撮像した画像を用いたズーミングを行う際に、画質の劣化を抑えつつ高倍率のズーミングを簡易な構成で行うことが可能な画像処理装置を提供する。【解決手段】第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を、それぞれ行うズーム処理部を備える、画像処理装置が提供される。【選択図】図１

Description

本開示は、画像処理装置、画像処理方法及びコンピュータプログラムに関する。
近年、高倍率のズームレンズを搭載したデジタルスチルカメラが多く普及している。そのようなデジタルスチルカメラは、高倍率のズームレンズを搭載することで遠方の被写体を大きく写せる。
しかし、そのようなズームレンズは、メカニカルに動作させる必要があるなどの理由で小型化が難しく、スマートフォンやタブレット端末等のような小型の携帯端末に搭載することが出来ない。従って、かかる携帯端末では、信号処理による画像の拡大処理を行うことで被写体のズーミングを行っている（例えば特許文献１等参照）。
特開２００３−１５３０７８号公報
しかし、信号処理による画像の拡大処理によるズーミングのみでは画質の劣化は避けられない。また、かかる携帯端末の中には、焦点距離が異なる複数のカメラを搭載して、信号処理とカメラの切り替えとを組み合わせることでズーム倍率を上げるものもあるが、焦点距離が異なる複数のカメラを搭載してズーム倍率を上げようとする場合でも、画質を落とさずに高倍率のズームを実現するためにはカメラの数を増やす必要があり、小型化にならない。
そこで本開示では、焦点距離が異なる複数のカメラで撮像した画像を用いたズーミングを行う際に、画質の劣化を抑えつつ高倍率のズーミングを簡易な構成で行うことが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提案する。
本開示によれば、第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を、それぞれ行うズーム処理部を備える、画像処理装置が提供される。
また本開示によれば、第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、を含む、画像処理方法が提供される。
また本開示によれば、コンピュータに、第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、を実行させる、コンピュータプログラムが提供される。
以上説明したように本開示によれば、焦点距離が異なる複数のカメラで撮像した画像を用いたズーミングを行う際に、画質の劣化を抑えつつ高倍率のズーミングを簡易な構成で行うことが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することが出来る。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
信号処理による画像の拡大処理を説明する説明図である。 信号処理とカメラの切り替えとの組み合わせによる画像の拡大処理を説明する説明図である。 歪みのある画像に対する信号処理による画像の拡大処理を説明する説明図である。 本開示の実施の形態に係る画像処理装置１００の機能構成例を示す説明図である。 歪補正処理の例を示す説明図である。 上記実施の形態に係る画像処理装置１００の動作例を示す説明図である。 倍率に応じて２つの画像の合成比率を変化させる様子を模式的に示す説明図である。 画像の合成によるズーム処理を実行する際の効果について説明する説明図である。 ハードウェア構成例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．概要
１．２．構成例
１．３．動作例
２．ハードウェア構成例
３．まとめ
＜１．本開示の実施の形態＞
［１．１．概要］
まず、本開示の実施の形態の概要について説明する。
上述したように、近年、高倍率のズームレンズを搭載したデジタルスチルカメラが多く普及している。そのようなデジタルスチルカメラは、高倍率のズームレンズを搭載することで遠方の被写体を大きく写せる。
しかし、そのようなズームレンズは、メカニカルに動作させる必要があるなどの理由で小型化が難しく、スマートフォンやタブレット端末等のような小型の携帯端末に搭載することが出来ない。従って、かかる携帯端末では、信号処理による画像の拡大処理を行うことで被写体のズーミングを行っている。
図１は、信号処理による画像の拡大処理を説明する説明図である。例えば、イメージセンサが出力する元画像が横６１４４ピクセル、縦３４５６ピクセルである場合、その元画像の中央部分の横３８４０ピクセル、縦２１６０ピクセルを切り出すと、元画像をおよそ１．６倍に拡大した画像が得られる。
また、その横３８４０ピクセル、縦２１６０ピクセルの画像の中央部分の横１９２０ピクセル、縦１０８０ピクセルを切り出して、補完処理などの信号処理を施すと、さらに２倍に拡大した画像が得られる。すなわち、この図１に示した方法では、元画像をおよそ３．２倍に拡大した画像を得ることが可能になる。
しかし、被写体を撮像する場面によっては、３倍程度の倍率では不足する場合があり得る。そこで、焦点距離が異なる複数のカメラを搭載して、信号処理とカメラの切り替えとを組み合わせることでズーム倍率を上げるものもある。
図２は、信号処理とカメラの切り替えとの組み合わせによる画像の拡大処理を説明する説明図である。図２に示したのは、広角側を撮像するカメラと望遠側を撮像するカメラとの組み合わせによってズーム倍率を上げる場合の例である。例えば、広角側の元画像を３．２倍に拡大した画像を望遠側の元画像として、さらに望遠側の元画像を同じように３．２倍に拡大すると、広角側の元画像を最大で３．２×３．２＝１０．２４倍に拡大した画像を得ることが可能になる。
しかし、被写体を撮像する場面によっては、１０倍程度の倍率でも不足する場合があり得る。例えば、野球場やサッカー場などの客席から選手を携帯端末で撮像する場合、１０倍程度の倍率では選手を大きく写すことが出来ないため、さらなる高倍率化が求められる。しかし、高倍率化のためとはいえ、さらに焦点距離の異なるレンズを搭載すると小型化が困難になる。
そこで本件開示者は、上述した点に鑑みて、焦点距離が異なる複数のカメラで撮像した画像を用いたズーミングを行う際に、画質の劣化を抑えつつ高倍率のズーミングを簡易な構成で行うことが可能な技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、焦点距離が異なる複数のカメラで撮像した画像を用いたズーミングを行う際に、画質の劣化を抑えつつ高倍率のズーミングを簡易な構成で行うことが可能な技術を考案するに至った。
被写体のズーミングのさらに別の方法として、画像に極端な樽形歪みを発生させるカメラで撮像した画像に対する信号処理を用いる方法がある。この方法は、極端な樽形歪みのある画像における、中央部分の比較的歪みの少ない領域を切り出して歪みを補正することで望遠効果を作る方法である。
図３は、歪みのある画像に対する信号処理による画像の拡大処理を説明する説明図である。図３には、画像の中央部にレンズの歪みによる拡大効果が得られている画像が示されている。図３に示したように、極端な樽形歪みのある画像における、中央部分の比較的歪みの少ない領域を切り出して、歪みを補正することで、図１や図２で示したように単に画像を切り出して拡大する方法に比べて、１枚の画像から高いズーム効果を得ることが出来る。
そこで本実施形態では、歪みのある画像を撮像する、焦点距離が異なる複数のカメラを用いた、画質の劣化を抑えた高倍率のズーミングを実現する技術について説明する。
以上、本開示の実施の形態の概要について説明した。続いて、本開示の実施の形態にかかる画像処理装置の機能構成例について説明する。
［１．２．構成例］
図４は、本開示の実施の形態に係る画像処理装置１００の機能構成例を示す説明図である。図４に示した画像処理装置１００は、歪みのある画像を撮像する、焦点距離が異なる複数のカメラを用いた、画質の劣化を抑えた高倍率のズーミングを実現する装置である。以下、図４を用いて本開示の実施の形態に係る画像処理装置１００の機能構成例について説明する。
図４に示したように、本開示の実施の形態に係る画像処理装置１００は、撮像部１０２ａ、１０２ｂと、操作部１０４と、表示部１０６と、制御部１１０と、を含んで構成される。
撮像部１０２ａ、１０２ｂは、それぞれ、レンズ、撮像素子、Ａ／Ｄコンバータなどで構成され、撮像した画像を制御部１１０に出力する。撮像部１０２ａ、１０２ｂは、同一の方向の撮像を行うものであり、撮像範囲がほぼ一致するように隣接して設けられていることが望ましい。撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであってもよく、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサであってもよい。
撮像部１０２ａ、１０２ｂには、それぞれ焦点距離が異なるレンズが設けられている。本実施形態では、撮像部１０２ａは広角側の画像を撮像し、撮像部１０２ｂは望遠側の画像を撮像する。撮像部１０２ｂの焦点距離は、撮像部１０２ａで撮像された画像を用いたズーム処理における最大倍率の場合の画像（歪みを除去した後の画像）と同程度の画角となるような焦点距離に設定されうる。また撮像部１０２ａ、１０２ｂは、それぞれ中心射影方式ではないレンズを備えており、図３に示したような、極端な樽形歪みを有するような撮像画像を出力するように構成されている。
以下の説明では、撮像部１０２ａで撮像された広角側の画像を基準の倍率（１倍）の画像として説明する。
操作部１０４は、例えばタッチパネルや各種ボタンなどで構成され、本実施形態では、画像処理装置１００のユーザの操作を受け付けて、その操作に応じた信号を制御部１１０に出力する。上記タッチパネルは、例えば後述の表示部１０６に設けられうる。例えば操作部１０４は、撮像部１０２ａ、１０２ｂで撮像された画像の、ユーザによる拡大または縮小処理の操作を受け付ける。ユーザによる拡大または縮小処理の操作は、例えば、タッチパネルを備えた表示部１０６に対するピンチアウト操作やピンチイン操作によって行われても良く、ボタンを使用した操作によって行われても良い。
表示部１０６は、例えば液晶ディスプレイまたは有機ＥＬディスプレイなどで構成され、各種情報を、制御部１１０の制御に基づいて表示する。例えば表示部１０６は、撮像部１０２ａ、１０２ｂで撮像された画像や、操作部１０４によって撮像部１０２ａ、１０２ｂで撮像された画像の、ユーザによる拡大または縮小処理の操作を受け付けるためのグラフィカルユーザインターフェース（ＧＵＩ）等を表示する。表示部１０６は、表面にタッチパネルを備えていても良い。
制御部１１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサや、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体などで構成され、画像処理装置１００の動作を制御する。
制御部１１０は、ズーム処理部１１２と、画像合成部１１４と、を含んで構成される。
ズーム処理部１１２は、撮像部１０２ａ、１０２ｂで撮像された画像を用いたズーム処理を行う。本実施形態では、ズーム処理部１１２は、１倍から所定の第１倍率までは撮像部１０２ａで撮像された画像を用いたズーム処理（第１ズーム処理）を、第１倍率以上第２倍率までは、撮像部１０２ａで撮像された画像の周辺部を切り落とした画像と、撮像部１０２ｂで撮像された画像とを合成することで拡大画像を得るズーム処理（第２ズーム処理）を、撮像部１０２ｂで撮像された画像を用いたズーム処理（第３ズーム処理）を、それぞれ実行する。
撮像部１０２ａ、１０２ｂで撮像された画像は、極端な樽形歪みを有する画像である。従って、ズーム処理部１１２は、撮像部１０２ａ、１０２ｂで撮像された画像を用いたズーム処理を行う際に、樽形歪みを除去する処理を行う。そしてズーム処理部１１２は、図３に示したように、極端な樽形歪みのある画像における、中央部分の比較的歪みの少ない領域を切り出して、歪みを補正することで、１枚の画像から高いズーム効果を得ることが出来る。
図５は、ズーム処理部１１２による歪補正処理の例を示す説明図である。図５には、撮像部１０２ａ、１０２ｂで撮像された画像の左辺中央部の歪補正処理の例が示されている。
図５に示したように、撮像部１０２ａ、１０２ｂで撮像された画像は、中央部が拡大されている分、周縁部は潰れた状態となっている。この状態から歪みの無い状態にするには、ズーム処理部１１２は、まず周縁部を縦及び横にそれぞれ２倍に拡大した上で画素を補完する処理を行い、続いて画素を移動させることによる歪み補正処理を行って、最後に縮小する。
ズーム処理部１１２は、このように、倍率に応じて撮像部１０２ａ、１０２ｂで撮像された画像を用いたズーム処理の内容を切り替えることで、歪みのある画像を撮像する、焦点距離が異なる複数のカメラを用いた、画質の劣化を抑えた高倍率のズーミングを実現することができる。
なお、第１ズーム処理と第２ズーム処理とが切り替わる上記第１倍率と、第２ズーム処理と第３ズーム処理とが切り替わる上記第２倍率とは、同じ倍率であっても良い。
また、画像処理装置１００は、ズーム処理の際に上記第１倍率と第２倍率とが分かるようなＧＵＩを表示部１０６に表示しても良い。
画像合成部１１４は、複数の画像の合成処理を実行する。本実施形態では、画像合成部１１４は、ズーム処理部１１２が上述の第２ズーム処理を行っている際に、撮像部１０２ａで撮像された画像の周辺部を切り落とした画像と、撮像部１０２ｂで撮像された（切り落とされていない）画像とを合成する処理を行う。画像合成部１１４は、ズーム処理部１１２が上述の第２ズーム処理を行っている際に上記２つの画像を合成することで、より高品質の拡大画像を生成出来る。
画像合成部１１４は、上記２つの画像を合成する際に、２つの画像が一致するように合成する。例えば画像合成部１１４は、上記２つの画像の所定の領域を比較してその領域の画素が一致するように２つの画像の位置合わせを行って合成する。比較対象の領域の数が多ければ多いほど、合成時の精度は向上する。また例えば画像合成部１１４は、上記２つの画像から特徴点を抽出し、その特徴点が一致するように２つの画像の位置合わせを行って合成してもよい。
ズーム処理部１１２は、上述の第２ズーム処理を行っている際に、画像合成部１１４での画像の合成比率を、倍率に応じて変化させても良い。つまり、ズーム処理部１１２は、第１倍率付近では、撮像部１０２ａで撮像された画像の比率が高くなるよう画像合成部１１４に合成させ、その後倍率が高くなるにつれて撮像部１０２ｂで撮像された画像の比率が高くなるよう画像合成部１１４に合成させてもよい。これは、第１倍率付近では、撮像部１０２ａで撮像された画像の方が全体的な歪みが少ないためである。
なおズーム処理部１１２は、撮像部１０２ａで撮像された画像と、撮像部１０２ｂで撮像された画像との合成比率は、第１倍率付近では１００：０となり、第２倍率付近では０：１００となるように画像合成部１１４で合成させても良く、第１倍率付近では５０：５となり、第２倍率付近では０：１００となるように画像合成部１１４で合成させても良い。
ズーム処理部１１２は、上述の第２ズーム処理を行っている際に、画像合成部１１４での画像の合成領域を変更しても良い。例えば、第１倍率付近では、撮像部１０２ｂで撮像された画像の周縁部の歪みは、撮像部１０２ａで撮像された画像の周縁部の歪みより強い。従って、第１倍率付近では、ズーム処理部１１２は、撮像部１０２ａで撮像された画像の周縁部分と、撮像部１０２ｂで撮像された画像の中央部分と、を合成することで拡大画像を得るようにしても良い。
また、ズーム処理部１１２は、上述の第２ズーム処理を行っている際の、画像合成部１１４での画像の合成領域の比率を、倍率に応じて変化させても良い。つまり、ズーム処理部１１２は、第１倍率付近では、撮像部１０２ａで撮像された画像の面積が大きくなるよう画像合成部１１４に合成させ、その後倍率が高くなるにつれて撮像部１０２ｂで撮像された画像の面積が大きくなるよう画像合成部１１４に合成させてもよい。
以上、図４を用いて本開示の実施の形態に係る画像処理装置１００の機能構成例について説明した。以上説明したように、本開示の実施の形態に係る画像処理装置１００は、図４に示したような構成を有することで、焦点距離が異なる複数のカメラを用いた、画質の劣化を抑えた高倍率のズーミングを実現することができる。
なお、図４に示した画像処理装置１００は、例えばスマートフォンなどの携帯電話、タブレット型の携帯端末、ノートパソコン等として構成されていても良い。また図４に示した画像処理装置１００の撮像部１０２ａ、１０２ｂが画像処理装置１００とは別の装置として構成されていても良い。
［１．３．動作例］
続いて、本開示の実施の形態に係る画像処理装置１００の動作例について説明する。図６は、本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。図６に示したのは、１倍の画像からのズーム処理を実行する際の画像処理装置１００の動作例である。以下、図６を用いて本開示の実施の形態に係る画像処理装置１００の動作例について説明する。なお、図６の説明では、上記第１倍率をＭ倍とし、上記第２倍率をＮ倍とする。すなわち、Ｍ≦Ｎの関係が成り立つ。
画像処理装置１００は、ユーザからの操作部１０４を用いたズーム操作を検出すると、撮像部１０２ａで撮像された広角側の画像を用いた広角端（１倍）からのズーム処理（第１ズーム処理）を実行する（ステップＳ１０１）。ステップＳ１０１のズーム処理はズーム処理部１１２が実行する。
画像処理装置１００は、第１ズーム処理を実行している間に、広角側の最大倍率近傍に達したかどうか判断する（ステップＳ１０２）。ステップＳ１０２の判断処理はズーム処理部１１２が実行する。
ステップＳ１０２の判断処理の結果、広角側の最大倍率近傍に達していなければ（ステップＳ１０２、Ｎｏ）、画像処理装置１００は、第１ズーム処理を継続する。一方、ステップＳ１０２の判断処理の結果、広角側の最大倍率近傍に達していれば（ステップＳ１０２、Ｙｅｓ）、画像処理装置１００は、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とを合成するズーム処理（第２ズーム処理）を実行する（ステップＳ１０３）。ステップＳ１０３のズーム処理はズーム処理部１１２が実行する。また画像の合成処理は画像合成部１１４が実行する。
画像処理装置１００は、第２ズーム処理を実行している間に、広角側の最大倍率を超えたかどうか判断する（ステップＳ１０４）。ステップＳ１０４の判断処理はズーム処理部１１２が実行する。
ステップＳ１０４の判断処理の結果、広角側の最大倍率を超えていなければ（ステップＳ１０４、Ｎｏ）、画像処理装置１００は、第２ズーム処理を継続する。一方、ステップＳ１０４の判断処理の結果、広角側の最大倍率を超えていれば（ステップＳ１０４、Ｙｅｓ）、画像処理装置１００は、撮像部１０２ｂで撮像された望遠側の画像を用いたズーム処理（第３ズーム処理）を実行する（ステップＳ１０５）。ステップＳ１０５のズーム処理はズーム処理部１１２が実行する。また画像の合成処理は画像合成部１１４が実行する。
以上、図６を用いて本開示の実施の形態に係る画像処理装置１００の動作例について説明した。以上説明したように、本開示の実施の形態に係る画像処理装置１００は、図６に示したような動作を実行することで、焦点距離が異なる複数のカメラを用いた、画質の劣化を抑えた高倍率のズーミングを実現することができる。
図７は、画像処理装置１００が第２ズーム処理を実行する際に、倍率に応じて２つの画像の合成比率を変化させる様子を模式的に示す説明図である。画像処理装置１００は第１倍率付近では、撮像部１０２ａで撮像された画像の比率が高くなるよう合成して、その後倍率が高くなるにつれて撮像部１０２ｂで撮像された画像の比率が高くなるよう合成しても良い。
このように画像処理装置１００が第２ズーム処理を実行する際に、倍率に応じて２つの画像の合成比率を変化させることで、撮像部１０２ａで撮像された画像を用いたズーム処理と、撮像部１０２ｂａで撮像された画像を用いたズーム処理とが切り替わる際に、ユー−に対して違和感の無い画像を提示することが出来る。
画像処理装置１００は、第２ズーム処理を実行する際に、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とを合成するが、この合成による効果を説明する。
図８は、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像との合成による、第２ズーム処理を実行する際の効果について説明する説明図である。
第２ズーム処理が行われる倍率の範囲では、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とは、それぞれの撮像部でのレンズや、ズーム処理部１１２での信号処理での変形の形状が異なる。それぞれの撮像部でのレンズや、ズーム処理部１１２での信号処理での変形の形状が異なるために、図８に示したようにサンプリングポイントが異なる。つまり、歪みがあるために物体に対するサンプリングは必ずズレが生じる。
従って、画像処理装置１００は、第２ズーム処理を実行する際に、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とを合成することで、高画質化を図ることができる。特に、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とを合成することで、画像処理装置１００は画像のＤＣ成分（輝度）の正確性を向上させることが出来る。
なお、画像処理装置１００は、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とを合成する際に、ＲＡＷデータで合成すると、より高画質化を図ることが出来る。
もちろん、本開示の実施の形態に係る画像処理装置１００を適用できる装置は携帯端末に限定されるものでは無い。例えば、人間の身体に装着して使用することを目的とする身体装着型電子機器（ウェアラブルデバイス）にも、本開示の実施の形態に係る画像処理装置１００を適用できる。例えば、ウェアラブルデバイスに上述の２つの撮像部１０２ａ、１０２ｂ及び制御部１１０の構成を設けることで、ウェアラブルデバイスで撮像された画像を、簡易な構成で、高倍率に、かつ高品質で拡大することが可能となる。
また例えば、自律飛行する飛行体（ドローン）にカメラを搭載して、上空からの映像をそのカメラで撮像させる場合にも、本開示の実施の形態に係る画像処理装置１００を適用できる。例えば、上記自律飛行する飛行体に上述の２つの撮像部１０２ａ、１０２ｂ及び制御部１１０の構成を設けることで、飛行体で撮像された画像を、簡易な構成で、高倍率に、かつ高品質で拡大することが可能となる。
＜２．ハードウェア構成例＞
次に、図９を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図９は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
情報処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などの処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
出力装置９１７は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、例えばＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
接続ポート９２３は、機器を情報処理装置９００に接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
撮像装置９３３は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ９３５は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、または音センサ（マイクロフォン）などの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳ受信機を含んでもよい。
以上、情報処理装置９００のハードウェア構成の一例を示した。なお、情報処理装置９００のハードウェア構成は、実施する時々の技術レベルに応じて適宜変更されうる。
＜３．まとめ＞
以上説明したように本開示の実施の形態によれば、同一の方向を撮像する、焦点距離が異なる複数のカメラで撮像された画像を用いたズーム処理を行う画像処理装置１００が提供される。画像処理装置１００がズーム処理で使用する画像は、中心射影方式ではないレンズを通じて、極端な樽形歪みを有するような撮像画像である。
画像処理装置１００は、ズーム処理を行う際に、倍率に応じて画像を切り出して、歪みを除去する画像処理を行う。そして、使用する画像を切り替える倍率の近傍では、２つの画像を合成して出力する。
本開示の実施の形態に係る画像処理装置１００は、単に画像を切り出して拡大するズーム処理に比べて高倍率に拡大した画像を出力することが出来る。また、本開示の実施の形態に係る画像処理装置１００は、ズーム処理のためにレンズを移動させるメカニカルな機構を必要としない簡易な構成であるにも関わらず、単に画像を切り出して拡大するズーム処理に比べて高倍率の画像を出力することが出来る。
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。
また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの一部又は全部は、たとえばインターネット等のネットワークを介して接続されるサーバ装置で実現されてもよい。また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの構成は、単独の装置で実現されてもよく、複数の装置が連携するシステムで実現されても良い。複数の装置が連携するシステムには、例えば複数のサーバ装置の組み合わせ、サーバ装置と端末装置との組み合わせ等が含まれ得る。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を、それぞれ行うズーム処理部を備える、画像処理装置。
（２）
前記ズーム処理部は、前記第２ズーム処理の際の合成比率を倍率に応じて変化させる、前記（１）に記載の画像処理装置。
（３）
前記第１倍率と前記第２倍率は同じ倍率である、前記（１）または（２）に記載の画像処理装置。
（４）
前記第１画像及び前記第２画像は、中心射影方式ではないレンズを通じて撮像された画像である、前記（１）〜（３）のいずれかに記載の画像処理装置。
（５）
前記ズーム処理部は、前記第１ズーム処理及び前記第３ズーム処理として、前記第１画像または前記第２画像の周縁部を倍率に応じて切り落とした上で歪みを補正する処理を行う、前記（４）に記載の画像処理装置。
（６）
前記ズーム処理部は、前記第２ズーム処理の際の合成時の面積比を倍率に応じて変化させる、前記（１）に記載の画像処理装置。
（７）
第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、
前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、
前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、
を含む、画像処理方法。
（８）
コンピュータに、
第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、
前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、
前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、
を実行させる、コンピュータプログラム。
１００ 画像処理装置
１０２ａ、１０２ｂ 撮像部
１１０ 制御部

Claims (8)

  1. 第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を、それぞれ行うズーム処理部を備える、画像処理装置。
  2. 前記ズーム処理部は、前記第２ズーム処理の際の合成比率を倍率に応じて変化させる、請求項１に記載の画像処理装置。
  3. 前記第１倍率と前記第２倍率は同じ倍率である、請求項１に記載の画像処理装置。
  4. 前記第１画像及び前記第２画像は、中心射影方式ではないレンズを通じて撮像された画像である、請求項１に記載の画像処理装置。
  5. 前記ズーム処理部は、前記第１ズーム処理及び前記第３ズーム処理として、前記第１画像または前記第２画像の周縁部を倍率に応じて切り落とした上で歪みを補正する処理を行う、請求項４に記載の画像処理装置。
  6. 前記ズーム処理部は、前記第２ズーム処理の際の合成時の面積比を倍率に応じて変化させる、請求項１に記載の画像処理装置。
  7. 第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、
    前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、
    前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、
    を含む、画像処理方法。
  8. コンピュータに、
    第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、
    前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、
    前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、
    を実行させる、コンピュータプログラム。
JP2015227458A 2015-11-20 2015-11-20 画像処理装置、画像処理方法及びコンピュータプログラム Pending JP2017097529A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015227458A JP2017097529A (ja) 2015-11-20 2015-11-20 画像処理装置、画像処理方法及びコンピュータプログラム
PCT/JP2016/077870 WO2017086021A1 (ja) 2015-11-20 2016-09-21 画像処理装置、画像処理方法及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015227458A JP2017097529A (ja) 2015-11-20 2015-11-20 画像処理装置、画像処理方法及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2017097529A true JP2017097529A (ja) 2017-06-01

Family

ID=58718658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015227458A Pending JP2017097529A (ja) 2015-11-20 2015-11-20 画像処理装置、画像処理方法及びコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP2017097529A (ja)
WO (1) WO2017086021A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4068869B2 (ja) * 2002-03-29 2008-03-26 富士フイルム株式会社 デジタルカメラ
JP4299561B2 (ja) * 2003-03-26 2009-07-22 富士フイルム株式会社 撮像装置
JP4341019B2 (ja) * 2004-01-09 2009-10-07 カシオ計算機株式会社 撮像装置及びプログラム

Also Published As

Publication number Publication date
WO2017086021A1 (ja) 2017-05-26

Similar Documents

Publication Publication Date Title
KR102156597B1 (ko) 광학 촬영 방법 및 장치
JP6945744B2 (ja) 撮影方法、装置、およびデバイス
JP6328255B2 (ja) マルチ撮像装置、マルチ撮像方法、プログラム、及び記録媒体
US9325905B2 (en) Generating a zoomed image
JP5526921B2 (ja) 撮像装置、電子機器および表示制御方法
JP5593772B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP7115593B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5799178B2 (ja) 撮像装置及び合焦制御方法
WO2020078273A1 (zh) 一种拍摄方法及电子设备
JP2011044837A (ja) 撮像装置、その制御方法およびプログラム
CN113875220B (zh) 拍摄防抖方法、装置、终端及存储介质
JP2014007653A (ja) 撮像装置、撮像方法、撮像システム及びプログラム
EP2009907A1 (en) Camera apparatus, and image processing apparatus and image processing method
JP2008028606A (ja) パノラマ展開画像撮像装置およびパノラマ展開画像撮像システム
JP2014123917A (ja) 画像処理装置、画像処理方法及びプログラム
JP2019009822A (ja) 画像処理装置及び画像処理方法
JP2014082768A (ja) 撮像装置およびその制御方法
TWI807495B (zh) 虛擬運鏡方法、攝像裝置及電子系統
WO2017086021A1 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
CN113837937A (zh) 多媒体处理芯片、电子设备图像融合方法和图像裁剪方法
JP2012090212A (ja) 画像処理装置、携帯情報端末装置、画像処理方法、及びプログラム