JP2019176249A - 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置 - Google Patents

画像処理装置、画像処理方法、画像処理プログラム及び撮像装置 Download PDF

Info

Publication number
JP2019176249A
JP2019176249A JP2018060093A JP2018060093A JP2019176249A JP 2019176249 A JP2019176249 A JP 2019176249A JP 2018060093 A JP2018060093 A JP 2018060093A JP 2018060093 A JP2018060093 A JP 2018060093A JP 2019176249 A JP2019176249 A JP 2019176249A
Authority
JP
Japan
Prior art keywords
image
unit
distance range
image processing
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018060093A
Other languages
English (en)
Inventor
拓也 松永
Takuya Matsunaga
拓也 松永
達哉 木野
Tatsuya Kino
達哉 木野
佳之 福谷
Yoshiyuki Fukutani
佳之 福谷
伸之 志摩
Nobuyuki Shima
伸之 志摩
和彦 長
Kazuhiko Cho
和彦 長
野中　修
Osamu Nonaka
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2018060093A priority Critical patent/JP2019176249A/ja
Priority to US16/364,897 priority patent/US10984550B2/en
Publication of JP2019176249A publication Critical patent/JP2019176249A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】 主被写体と雑被写体との視認性を確実に変化させて主被写体の視認性を向上させる。【解決手段】 画像処理装置は、表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定部と、上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させる画像処理部とを具備する。【選択図】図１

Description

本発明は、主被写体の視認性を向上させるようにした画像処理装置、画像処理方法、画像処理プログラム及び撮像装置に関する。
近年、デジタルカメラやスマートフォンなどの撮影機能付き携帯機器（撮像装置）が普及している。この種の撮像装置においては表示部を備えて、撮像画像を表示する機能を有するものもある。
しかしながら、デジタルカメラやスマートフォン等の携帯機器においては、表示パネルのサイズが比較的小さく、表示パネルの画面上で撮影対象を確認しにくい。表示された画像が比較的小さいという点に加え、表示パネルに外光が当たって反射したりして、特に雑然としたシーンでは撮像対象物が見えにくくなる、という問題もあった。
そこで、特許文献１においては、ピントの合った被写体とピントの合っていない被写体との判別を容易にして、ピントを合わせ易くする技術が開示されている。
特開２０１０−５０５９２号公報
しかしながら、特許文献１の技術では、撮像対象となる主被写体の絵柄と背景となる被写体（雑被写体）の絵柄とによっては雑被写体の影響により主被写体が見難くなる問題は解決できない。
本発明は、主被写体と雑被写体との視認性に差異を持たせ主被写体の視認性を向上させることができる画像処理装置、画像処理方法、画像処理プログラム及び撮像装置を提供することを目的とする。
本発明の一態様による画像処理装置は、表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定部と、上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させる画像処理部とを具備する。
また、本発明の一態様による撮像装置は、上記画像処理装置と、上記表示部と、上記表示部に表示する画像を撮像する撮像部とを具備する。
また、本発明の一態様による画像処理方法は、表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定手順と、上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させる画像処理手順とを具備する。
また、本発明の一態様による画像処理プログラムは、コンピュータに、表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定手順と、上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させる画像処理手順とを実行させる。
また、本発明の他の態様による画像処理装置は、表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定部と、上記表示部に表示する画像中の被写体を検出する画像分析部と、上記画像分析部が検出した特定被写体の上記画像内の動きを追尾する追尾部と、上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させるものであって、上記追尾部が追尾中の特定被写体については上記対象距離範囲外であっても上記視認性を単調化させる画像処理の対象外とする画像処理部と、を具備する。
また、本発明の他の態様による画像処理方法は、表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定ステップと、上記表示部に表示する画像中の被写体を検出する画像分析ステップと、上記画像分析ステップが検出した特定被写体の上記画像内の動きを追尾する追尾ステップと、上記距離判定ステップにおける判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させるステップであって、追尾中の上記特定被写体については上記対象距離範囲外であっても上記視認性を単調化させる画像処理の対象外とする画像処理ステップと、を具備する。
また、本発明の他の態様による画像処理プログラムは、コンピュータに、表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定ステップと、上記表示部に表示する画像中の被写体を検出する画像分析ステップと、上記画像分析ステップが検出した特定被写体の上記画像内の動きを追尾する追尾ステップと、上記距離判定ステップにおける判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させるステップであって、追尾中の上記特定被写体については上記対象距離範囲外であっても上記視認性を単調化させる画像処理の対象外とする画像処理ステップと、を実行させる。
本発明によれば、主被写体と雑被写体との視認性に差異を持たせ主被写体の視認性を向上させることができるという効果を有する。
本発明の第１の実施の形態に係る画像処理装置が組み込まれた撮像装置の回路構成を示すブロック図。 一般的な撮像装置によって得られた撮像画像を示す説明図。 一般的な撮像装置によって得られた撮像画像を示す説明図。 一般的な撮像装置によって得られた撮像画像を示す説明図。 視認性強調画像を説明するための説明図。 視認性強調画像を説明するための説明図。 視認性強調画像を説明するための説明図。 図１中の距離分布情報取得部２３の一例を示す説明図 図１中の距離分布情報取得部２３の一例を示す説明図 図１中の距離分布情報取得部２３の一例を示す説明図 図１中の距離分布情報取得部２３の一例を示す説明図 デプスマップ作成部１２ｂにおけるデプスマップの作成方法の一例を示すフローチャート。 画像処理装置１０の処理を説明するためのフローチャート。 視認性強調画像を説明するための説明図。 本発明の第２の実施の形態を示すブロック図。 撮像装置１０の動作を示すフローチャート。 撮像装置１０の動作を示すフローチャート。 情報端末装置３０の動作を示すフローチャート。 第２の実施の形態の動作を説明するための説明図。 第２の実施の形態の動作を説明するための説明図。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る画像処理装置が組み込まれた撮像装置の回路構成を示すブロック図である。本実施の形態においては、被写体までの距離（以下、被写体距離という）の分布を示すデプスマップ（距離画像）を利用し、被写体距離が所定の距離範囲（以下、対象距離範囲という）に属する被写体（以下、対象距離内被写体という）と対象距離範囲に属さない被写体（以下、対象距離外被写体という）とで画像処理により視認性を確実に異ならせるものである。例えば、本実施の形態においては、主被写体までの被写体距離を含む所定の対象距離範囲に属する対象距離内被写体のみを可視化し、対象距離範囲に属さない他の対象距離外被写体は非可視化とすることにより、主被写体の視認性を著しく向上させることもできる。
例えば、鳥を主被写体として撮像しようとしても、背景である森等の影響によって、鳥の画像は画面上では見難く、撮影範囲に鳥を捉えておくことが困難な場合がある。或いは、徒競走中の走者を主被写体として撮像する場合等においても、観客等の背景の影響によって走者の画像は画面上で見難くなり、走者の撮影が困難な場合がある。
即ち、本実施の形態においては、少なくとも対象距離外被写体については例えば視認性を低減させる処理を行う。視認性を低減させる処理としては、コントラストを低下させる処理、ぼかし処理、彩度を低下させる処理等があり、最も顕著な処理として非可視化が考えられる。
また、非可視化として真っ黒にするような処理は、画面上にくっきりと見えるので画面全体としては視認性が低下したとは言えないが、まるで衝立のような単純化、単調化した表示になり、前後の衝立の間を通る特定対象物である主被写体と衝立との画像表現が異なるので主被写体がよく見えるようになる。それを反対に考えると特定対象物の他の部分が何であるかを識別困難として、その他の部分の視認性を落とした、という言い方ができる。本願で、単調な表現にした部分の処理の効果を視認性の低下とか悪化とかを使うのはそういう意味を込めたものである。特定対象物以外はその画像表現を単純化、単調化して異ならせるために、特定対象物以外が何であるかをいちいち意識しなくてもよい。そのような表示手法を採用することで、リアルに表示される対象物を際立たせ、画面内の画像表現の差別化（部分適応型画像処理）をして観察や追跡や撮影が容易にできるようにしている。
なお、本実施の形態は、距離分布に応じて視認性あるいは識別性を変化させ、対象距離内被写体と対象距離外被写体とで視認性、画像表現を異ならせればよい。さらに、主対象物が置かれた環境によって、雑被写体の配置や主被写体との関係、またそれらの動きによって、どうすれば見易くなるかは変わる場合があるため、そのシーンに応じて画像処理を異ならせるような工夫を行うことが考えられ、時には対象距離内被写体についてむしろ視認性を向上させるための強調表示等の特殊効果処理が行われることもある。このシーン判定には、画像の分析を行ってもよく、デプスマップを使ってもよい。
本実施の形態は、対象距離内被写体を目立たせて見やすくすることを目的としており、以下の説明ではこの目的のために、対象距離内被写体の視認性を良好にさせるための画像処理だけでなく、対象距離外被写体の視認性を低減又は単調化させる画像処理についても視認性強調処理と言い、視認性強調処理による画像を視認性強調画像と言うものとする。
図２Ａから図２Ｃ及び図３Ａから図３Ｃの説明図を参照して、本実施の形態による視認性強調画像の概要について説明する。図２Ａ〜図２Ｃは、一般的な撮像装置によって徒競走を撮影して得られた撮像画像を示している。図２Ａ〜図２Ｃでは、撮像装置の手前側の複数の観客と奥側の複数の観客との間に主被写体となる複数の走者が存在する。
図２Ａの撮像画像は、手前側の複数の観客の画像４３ａと奥側の複数の観客の画像４２ａとの間に複数の走者の画像４１ａが含まれている。図２Ｂは図２Ａの撮影時から所定の時間経過後の撮像画像を示し、図２Ｃは図２Ｂの撮影時から所定の時間経過後の撮像画像を示している。
図２Ｂの撮像画像は、手前側の複数の観客の画像４３ｂと奥側の複数の観客の画像４２ｂとの間に複数の走者の画像４１ｂが含まれている。図２Ｃの撮像画像は、手前側の複数の観客の画像４３ｃと奥側の複数の観客の画像４２ｃとの間に複数の走者の画像４１ｃが含まれている。
図２Ａ〜図２Ｃの例では、各走者の画像４１ａ〜４１ｃ（代表して画像４１という）は、距離的には手前側の観客の画像４３ａ〜４３ｃ（代表して画像４３という）と奥側の観客の画像４２ａ〜４２ｃ（代表して画像４２という）との間に位置しているが、２次元平面上では、重なる位置に位置することから、走者の画像４１は観客の画像４２，４３に重なって見難い。図２Ａ〜図２Ｃに示す画像が、撮像装置の比較的小さい表示パネルに表示された場合には、走者の画像４１が見難いことから、走者を撮影範囲に収めたり、走者にピントを合わせたりする撮影操作に支障を来すことがある。
そこで、本実施の形態においては、図３Ａ〜図３Ｃに示す視認性強調画像を採用する。図３Ａの撮像画像は、手前側の複数の観客の画像５３ａと奥側の複数の観客の画像５２ａとの間に複数の走者の画像５１ａが含まれている。図３Ｂの撮像画像は、手前側の複数の観客の画像５３ｂと奥側の複数の観客の画像５２ｂとの間に複数の走者の画像５１ｂが含まれている。図３Ｃの撮像画像は、手前側の複数の観客の画像５３ｃと奥側の複数の観客の画像５２ｃとの間に複数の走者の画像５１ｃが含まれている。
本実施の形態においては、図３Ａ〜図３Ｃの破線にて示すように、手前側の観客の画像５３ａ〜５３ｃ（代表して画像５３という）と奥側の観客の画像５２ａ〜５２ｃ（代表して画像５２という）については、視認性を単調化して低減させる画像処理が施されている。すなわち、本実施の形態においては、例えば、図２Ａの主被写体である走者が存在する被写体距離の範囲ＤＴａ、図２Ｂの主被写体である走者が存在する被写体距離の範囲ＤＴｂ及び図２Ｃの主被写体である走者が存在する被写体距離の範囲ＤＴｃを対象距離範囲に設定し、対象距離範囲に属さない対象距離外被写体である手前側の観客と奥側の観客の画像５３，５２については、視認性を単調化して識別性を低減させる画像処理を施す。
この画像処理は、特定の対象物（ここでは対象距離内被写体、あるいは走者）を際立たせる処理と言ってもよいが、あえて目立つように際立たせて表示したりして視認性を向上させると、実際の撮影時の画像とは肝心のものが違う表現に見えてしまうので、相対的に際立たせるべく、その他の部分の視認性を低減させている。単調化処理以外にも、視認性を劣化させる処理、低下、低減させる処理、悪化させる処理と表現してもよい。
その結果、対象距離範囲に属する対象距離内被写体である走者の画像５１ａ〜５１ｃ（代表して画像５１という）の視認性が良好となる。例えば、画像５３，５２を含む対象距離範囲に属さない全ての画像部分を非可視化、例えば、所定のレベル（例えば黒レベルとか、それを処理した網掛けパターン処理、あるいは白レベル、特定の単独の色等）で表示した場合には、画像５１のみがリアルに可視化されて表示されることになる。即ち、主被写体以外は単純化され、被写体がまぎれるような形で雑然とは表示されず、明らかに差別化されて表示されるので、主被写体である走者の視認性を著しく向上させることができる。これにより、このような視認性強調画像を撮像装置の表示パネルに表示させた場合には、走者を撮影範囲に収めたり、走者にピントを合わせたりする撮影操作が極めて容易となる。
なお、対象距離範囲は、予め所定の距離範囲に設定していてもよく、また、主被写体を指定する操作によって自動的に対象距離範囲を検出するようにしてもよく、また、主被写体を追尾することによって、主被写体の移動に伴って対象距離範囲を変化させるようになっていてもよい。
（構成）
図１において、撮像装置１は画像処理装置１０及び画像取得部２０によって構成されている。なお、撮像装置１は、画像処理装置１０と画像取得部２０とが別体に構成されていてもよい。画像処理装置１０には画像取得部２０からの撮像画像が与えられる。画像処理装置１０は画像取得部２０からの画像を取り込むようになっている。
画像取得部２０は、画像処理装置１０の信号処理部１２によって制御されるようになっている。画像取得部２０に撮像部２１が設けられている。撮像部２１は、ＣＣＤやＣＭＯＳセンサ等の図示しない撮像素子と、被写体の光学像を撮像素子の撮像面に導く図示しない光学系とを備える。光学系は、ズームやフォーカシングのためのレンズ及び絞り等を備えている。画像取得部２０には撮影条件変更部２２が設けられており、撮影条件変更部２２は、撮像部２１の撮像素子及び光学系を駆動制御する。例えば、撮影条件変更部２２は、ズームやフォーカシングのためのレンズ及び絞りを駆動して、ズーム及びピント位置や絞りを変更することができる。また、撮影条件変更部２２は、撮像部２１の撮像素子を駆動制御して、撮影条件を変更することもできる。
撮像部２１は、光学系を介して被写体光学像が受光面に与えられ、被写体光学像を光電変換して撮像画像を得る。撮像部２１は撮像画像を撮像装置１の画像処理装置１０に出力する。
本実施の形態においては、画像取得部２０には、距離分布情報取得部２３が設けられている。距離分布情報取得部２３は、デプスマップ（深度マップ、距離画像）を生成するための距離分布情報を取得するようになっている。なお、デプスマップは、距離に関連した情報を画像の領域ごとに対応させたものとも言える。
図４及び図５Ａから図５Ｃはそれぞれ距離分布情報取得部２３の一例を示す説明図である。被写体までの距離分布情報を取得する手法としては公知の種々の手法を採用することができる。図４、図５Ａ〜図５Ｃは距離分布情報をステレオ画像により取得する例を示しているが、本実施の形態はこれに限定されるものではない。
図４は２つの離間した撮像部を有する２眼式を採用した例を示している。撮像部２１として右画像及び左画像をそれぞれ取得するための２つの撮像部２１ａを採用する。２つの撮像部２１ａは、それぞれ光学系及び光電変換部を備えており、例えば、一方の撮像部２１ａの撮像によって右画像を取得し、他方の撮像部２１ａの撮像によって左画像を取得する。２つの撮像部２１ａは、所定の距離離間して設けられており、各撮像部２１ａによって取得された右画像と左画像とは相互に視差を有する画像となる。画像各部の視差の分布により距離の算出が可能となる。
一方、図５Ａ〜図５Ｃは、撮像面位相差法（瞳分割位相差法）を採用した例を示している。撮像面位相差法においては、撮像素子の受光部を構成する各画素として、通常撮像用の画素の他に焦点検出用の画素が設けられる。図５Ａは撮像素子２１ｂの焦点検出用の１画素の構成を示しており、分割された受光部２４ａ上に配線部２４ｂ及びカラーフィルタ２４ｃが積層され、カラーフィルタ２４ｃ上にマイクロレンズ２４ｄが設けられる。マイクロレンズ２４ｄに入射した被写体からの右光束及び左光束（矢印）は、受光部２４ａを構成する図５Ｂの異なる受光面２５ａ，２５ｂにそれぞれ入射する。図５Ｃは受光部２４ａを上下左右の４分割にした例を示しており、マイクロレンズ２４ｄに入射する被写体からの右上光束、左上光束、右下光束及び左下光束は、図５Ｃに示す異なる受光面２６ａ〜２６ｄにそれぞれ入射する。
各受光面２５ａ，２５ｂ，２６ａ〜２６ｄの各入射光に基づく画像信号同士は、既知の画素位置と被写体距離に応じて位相がずれる。即ち、画像信号同士の位相差は被写体距離に対応したものとなり、画像信号同士の位相差から画像各部の被写体距離を算出することができる。
距離分布情報取得部２３は取得した距離分布情報を画像処理装置１０のデプスマップ作成部１２ｂに出力する。
画像処理装置１０には、制御部１１が設けられている。制御部１１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。制御部１１は、画像処理装置１０の各部を制御するようになっている。
また、画像処理装置１０には、時計部１３及び各種センサ１４が設けられている。時計部１３は制御部１１が用いる時間情報を発生する。各種センサ１４としては、加速度センサ、ジャイロセンサ、地磁気センサ等がある。更に、各種センサ１４として測距のための光学センサを採用してもよい。
画像処理装置１０には、信号処理部１２が設けられている。信号処理部１２は、画像処理部１２ａ、デプスマップ作成部１２ｂ、画像分析部１２ｃ、距離判定部１２ｄ及び追尾部１２ｅによって構成されている。なお、信号処理部１２は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して信号処理部１２内の各部の機能を実現するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
画像処理部１２ａは、撮像部２１からの画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行うようになっている。更に、画像処理部１２ａは、入力された撮像画像に対して画像合成（画像補正）処理を行って表示部１５に出力することができる。画像処理部１２ａは、この画像合成において画像に視認性強調処理を施すことができるようになっている。なお、画像処理部１２ａは、入力された画像に対して画像補正を行うことなくそのまま表示部１５に与えることもできる。
表示部１５は、ＬＣＤ等の表示画面を有しており、与えられた画像を表示画面上に表示することができる。また、表示部１５は、各種メニュー表示等を表示部１５の表示画面に表示させることもできるようになっている。なお、表示部１５の表示画面は、例えば撮像装置１の筐体の背面に沿って設けられており、撮影者は、撮影時に表示部１５の表示画面上に表示された通常のスルー画、或いは画像処理部１２ａによって視認性強調処理されたスルー画を確認することができ、これらスルー画等を確認しながら撮影操作を行うこともできる。
また、画像処理部１２ａは画像処理後の画像を記録部１６に与えて記録させることもできる。記録部１６としては例えばＩＣメモリを採用することができる。なお、記録部１６は記録された画像の再生も可能であり、再生画像を画像処理装置１０に与えることもできるようになっている。
撮像装置１には操作判定部１７も設けられている。操作判定部１７は、撮像装置１に設けられた図示しないシャッタボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等に対するユーザ操作に基づく操作信号を発生して、制御部１１に出力するようになっている。
また、表示部１５の表示画面上には、図示しないタッチパネルが設けられている。タッチパネルは、ユーザが指で指し示した表示画面上の位置やスライド操作に応じた操作信号を発生することができる。この操作信号も制御部１１に供給される（図示省略）。制御部１１は、操作信号に基づいて、各部を制御する。こうして、制御部１１はユーザの指示に従って画像補正処理を含む各部の制御を行うことができる。
また、画像処理装置１０には、通信部１８が設けられている。通信部１８は、無線又は有線により外部機器との間で通信を行い、外部機器と信号処理部１２との間で情報を転送することができるようになっている。
本実施の形態においては、信号処理部１２の画像分析部１２ｃは、画像処理部１２ａからの画像の画像分析を行って、撮像画像中の各被写体を検出することができる。画像分析部１２ｃは、撮像画像中の各被写体を主被写体とその他の雑被写体とに分類して検出することもできる。例えば、画像分析部１２ｃはユーザの被写体に対するタッチパネル用いたタッチ操作によって主被写体を特定してもよく、また、画面中央に位置する被写体や、サイズが所定値よりも大きい被写体、動きのある被写体等を主被写体に設定してもよい。画像分析部１２ｃは画像の解析結果を距離判定部１２ｄ及び追尾部１２ｅに出力する。
信号処理部１２のデプスマップ作成部１２ｂは、距離分布情報取得部２３の出力に基づいてデプスマップを作成する。
図６はデプスマップ作成部１２ｂにおけるデプスマップの作成方法の一例を示すフローチャートである。デプスマップ作成部１２ｂは、ステップＳ１において、例えば右画像及び左画像等の２視点画像を取得する。デプスマップ作成部１２ｂは、取得した２視点画像について各画素位置の視差量を算出する（ステップＳ２）。
デプスマップ作成部１２ｂは、ステップＳ３において撮像画像中の全画素について視差量の算出が終了したか否かを判定し、終了していない場合にはステップＳ２に処理を戻して視差量の算出を繰り返す。デプスマップ作成部１２ｂは、視差量の算出が終了すると、ステップＳ２から処理をステップＳ４に移行して、視差量から距離を求め、各画素位置について求めた距離を所定の距離範囲毎に分類する。デプスマップ作成部１２ｂは分類した結果に応じて、各画素位置の距離を段階的に示すデプスマップを作成する（ステップＳ５）。
距離判定部１２ｄは、デプスマップ作成部１２ｂからデプスマップの情報が与えられて、画像分析部１２ｃが解析した各被写体の距離を判定し、各被写体が対象距離範囲に属する対象距離内被写体であるか、対象距離範囲に属さない対象距離外被写体であるかを判定し、判定結果を画像処理部１２ａに出力する。画像処理部１２ａは、距離判定部１２ｄの判定結果に従って、少なくとも対象距離外被写体については、視認性を悪化させるための画像処理を行って、視認性強調画像を生成する。
なお、距離判定部１２ｄは、被写体毎に対象距離範囲に属するか否かを判定する例を説明したが、距離判定部１２ｄは、撮像画像中の画素毎に対象距離範囲に属するか否かを判定してもよい。この場合には、画像処理部１２ａは、撮像画像中の対象距離範囲に属さない画像部分について、視認性を悪化させるための画像処理を行って、視認性強調画像を生成することができる。
更に、画像処理部１２ａは、被写体が対象距離範囲に属するか否かの判定結果が与えられた場合に、当該対象距離範囲内の対象距離内被写体以外の画像部分について、視認性を悪化させるための画像処理を行って、視認性強調画像を生成してもよい。
制御部１１は、距離判定部１２ｄを制御して、デプスマップにより与えられる距離のいずれの範囲を対象距離範囲とするかを、予め設定しておいてもよい。例えば、制御部１１は、撮影シーンに応じて対象距離範囲を自動的に設定するようになっていてもよく、また、ユーザの指定操作に基づいて対象距離範囲を設定してもよい。
また、制御部１１は、表示部１５の表示画面上に表示されたスルー画上の被写体に対するタッチ操作によって対象距離範囲を設定するための主被写体を特定し、当該被写体を含む所定の距離範囲を対象距離範囲に設定してもよい。また、タッチ操作でなく、画像の中央等の所定位置の被写体を対象距離範囲判定のための主被写体と判定したり、画像中で最もサイズが大きい被写体を対象距離範囲判定のための主被写体と判定したり、画像中で最も動きが大きい被写体を対象距離範囲判定のための主被写体と判定したりしてもよい。なお、この場合において、上述した当該主被写体を含む所定の距離範囲は、所定の値、画像分析に応じた値、撮影パラメータに応じた値或いはユーザの指定操作に基づく値等に設定してもよい。例えば、対象距離範囲判定のための主被写体が動く場合において、当該主被写体と同様に動く被写体が存在する場合には、この動く被写体と主被写体とを含む距離範囲を所定の距離範囲として対象距離範囲を設定してもよい。また、当該主被写体を含む所定の距離範囲は、主被写体と雑被写体とを求め、主被写体から雑被写体までの距離に応じて設定してもよい。この場合には、主被写体から雑被写体までの間が対象距離範囲に設定される。また、ズーム操作に応じて、対象距離範囲を変更するようになっていてもよい。
更に、距離判定部１２ｄは、主被写体の動きに応じて対象距離範囲を変更するようになっていてもよい。追尾部１２ｅは、画像分析部１２ｃの解析結果が与えられ、主被写体を追尾することができるようになっている。追尾部１２ｅは主被写体の追尾結果を距離判定部１２ｄに出力する。距離判定部１２ｄは、追尾結果により変化した主被写体の位置に対応した距離をデプスマップによって求め、この結果に応じて対象距離範囲を再設定する。例えば、追尾結果によって主被写体が近づいて来ることが示された場合には、対象距離範囲も近い距離の範囲に変更する。
なお、被写体のうち主被写体と雑被写体とを判定することにより、対象距離範囲内の主被写体のみについて十分な視認性を確保し、対象距離範囲内であっても主被写体以外の被写体については視認性を悪化させる処理を施すようになっていてもよい。
次に、このように構成された実施の形態の動作について図７及び図８を参照して説明する。図７は画像処理装置１０の処理を説明するためのフローチャートである。また、図８は視認性強調画像を説明するための説明図である。
図７のステップＳ１１において、制御部１１は撮影モードが指定されているか否かを判定する。制御部１１は、撮影モードが指定されていない場合には、指定されているその他のモードを実行する。制御部１１は、撮影モードが指定されている場合には、処理をステップＳ１２に移行して、撮像及びデプスマップ作成を行う。即ち、制御部１１の指示により、信号処理部１２は、撮影条件変更部２２及び撮像部２１を制御して、画像取得部２０に所定の撮影パラメータで被写体を撮像させる。撮像部２１は被写体の撮像画像を信号処理部１２の画像処理部１２ａに出力する。
また、画像取得部２０の距離分布情報取得部２３は、ステレオ画像等の距離分布情報を取得して、デプスマップ作成部１２ｂに出力する。デプスマップ作成部１２ｂは、撮像部２１において撮像中の撮像画像のデプスマップを作成する。即ち、撮像部２１による撮像画像の撮像と同時に、当該撮像画像に基づくデプスマップが順次生成される。
これらの画像またはマップの各座標を対応つければ、どの対象物がどの距離にあるかを判定することができる。雑然としたシーンかすっきりとしたシーンか、対象物が他のものに隠れて、あるいは重なって紛らわしいかどうかなどが分析可能である。こうしたシーンに応じて、本実施の形態の特徴たる画面内の各領域、各部分の画像表現の差別化（部分適応型画像処理）を行ってもよい。
制御部１１は、次のステップＳ１３において、距離ターゲート、即ち、対象距離範囲が設定されているか否かを判定する。制御部１１は、対象距離範囲が設定されていない場合に、視認性強調画像の表示が指定されていないものと判定して、処理をステップＳ２５に移行して全画可視化表示、即ち、通常のスルー画表示を行う。画像処理部１２ａは、撮像画像に対して所定の信号処理を施した後、表示部１５に与える。こうして、表示部１５の表示画面上には、通常のスルー画が表示される。
一方、制御部１１は、ステップＳ１３において距離ターゲットが設定されるているものと判定した場合には、処理を次のステップＳ１４に移行する。ステップＳ１４において、距離判定部１２ｄは、撮像画像中の画素が対象距離範囲内の画素であるか否かを画素毎に判定し、判定結果を画像処理部１２ａに出力する。画像処理部１２ａは、対象距離範囲内の画素については、次のステップＳ２６において、可視化処理を行う。なお、可視化処理は、当該画素の画素値をそのまま出力するものであってもよい。
一方、撮像画像中の画素が対象距離範囲内に属さない場合には、画像処理部１２ａは、ステップＳ１５において、当該対象距離範囲外の画素について視認性を悪化させる処理を行う。例えば、画像処理部１２ａは、対象距離範囲外の画素を非可視化処理する。画像処理部１２ａは、例えば非可視化処理として、対象距離範囲外の画素の画素値を所定の黒レベルに変換して出力する。
制御部１１は、次のステップＳ１６において、全画素の処理が終了したか否かを判定する。制御部１１は、処理が終了していない場合には処理をステップＳ１４に戻してステップＳ１４，Ｓ１５，Ｓ２６の処理を繰り返し、全画素の処理が終了した場合には処理をステップＳ１７に移行して、視認性強調画像を表示する。画像処理部１２ａからの視認性強調画像は表示部１５に供給されて、表示画面上に表示される。
なお、ステップＳ１４〜Ｓ１６，Ｓ２６では、画素毎に対象距離範囲に属するか否かを判定したが、上述したように、被写体毎にこの判定を行って視認性強調処理を行ってもよい。また、画像処理部１２ａは、対象距離内被写体以外の画像部分に対して、視認性を悪化させる視認性強調処理を行ってもよい。
図８は対象距離内被写体以外の画像部分に視認性を悪化させる視認性強調処理を行った場合の視認性強調画像の表示例を示している。図８は図３Ｂに対応したものであり、対象距離範囲として、図３Ｂの距離範囲ＤＴｂが設定されたものである。この距離範囲ＤＴｂに属する被写体である走者の画像は、画素値がそのまま用いられる。この距離範囲ＤＴｂに属さない被写体である観客の画像を含み他の画像部分は画素値が所定の黒レベルとなっている。このように、表示部１５の表示画面上に表示される視認性強調画像は、主被写体である走者の画像のみが視認できるように表示されており、他の画像部分は表示されていないことから、走者の画像の視認性は極めて高い。従って、ユーザは、表示部１５の表示画面上の視認性強調画像によるスルー画を見ながら撮影を行うことで、構図の設定やピント合わせ等を容易に行うことが可能である。
図７のステップＳ１８において、制御部１１は、撮影操作が行われたか否かを判定する。撮影操作が行われると、制御部１１は、処理をステップＳ１９に移行して、信号処理部１２に撮影を指示する。画像処理部１２ａは、撮像部２１から与えられた撮像画像に対して所定の信号処理を施した後、記録部１６に与えて記録させる。
この記録に際して、画像処理部１２ａは、デプスマップをメタデータ化し（ステップＳ２０）、撮像画像に基づく画像データとメタデータ化されたデプスマップの情報とにより構成される画像ファイルを生成して記録部１６に記録させる（ステップＳ２１）。
このように本実施の形態においては、所定の対象距離範囲を設定し、この対象距離範囲に属さない対象距離範囲外被写体については、視認性を悪化させる画像処理を施すようになっている。これにより、相対的に、対象距離範囲内の被写体の視認性を向上させることができる。例えば、対象距離範囲外被写体を非可視化処理することで、視認性強調画像としては、対象距離範囲内の主被写体のみが可視化されて表示されることになり主被写体の視認性を著しく向上させることができる。これにより、主被写体と雑被写体とが２次元の表示画面上において混在して存在する場合でも、主被写体を見やすく視認させることが可能となり、構図設定やピント合わせ等の撮影操作を効果的に支援することができる。また、視認性を悪化させる画像処理は、対象距離範囲に属するか否かによって決定しており、画像全域にピントが合っている画像であっても、確実に視認性を強調した画像表示が可能である。
（第２の実施の形態）
図９は本発明の第２の実施の形態を示すブロック図である。図９において図１と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は撮像装置と携帯端末とが連携して処理する場合に適用したものである。
図９は情報端末装置３０と撮像装置１とが連携して撮像を行う例を示している。なお、図９において撮像装置１の構成は図１と同様である。
情報端末装置３０は例えばスマートフォンによって構成することができる。情報端末装置３０は、画像取得部３５を備えている。画像取得部３５は、撮像部３１、撮影条件変更部３２及び距離分布情報取得部３３により構成されている。撮像部３１、撮影条件変更部３２及び距離分布情報取得部３３の構成は、画像取得部２０を構成する撮像部２１、撮影条件変更部２２及び距離分布情報取得部２３と同様である。画像取得部３５は、所定の撮影条件で撮像を行って撮像画像を取得すると共に、被写体までの距離分布情報を取得することができる。
また、情報端末装置３０は、制御部４１を有している。制御部４１は、ＣＰＵ等を用いたプロセッサによって構成されて、記憶部４２に記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。制御部４１は、情報端末装置３０の各部を制御することができるようになっている。
更に、制御部４１は、例えばプログラム処理によって、撮影及び撮像画像の表示に関して、撮像装置１の制御部１１及び信号処理部１２の各機能を実現することができるようになっている。即ち、制御部４１は、信号処理部１２が備える各処理機能である、画像信号処理、デプスマップ作成処理、画像分析処理、追尾処理、距離判定処理、表示処理及び記録処理の各処理機能を有している。
情報端末装置３０には表示部４４が設けられている。表示部４４は、ＬＣＤ等の表示画面を有しており、制御部４１から与えられた画像を表示画面上に表示することができる。また、表示部４４は、制御部４１に制御されて、各種メニュー表示等を表示画面上に表示させることもできる。
また、表示部４４の表示画面上には、操作部４３としての図示しないタッチパネルが配設されている。タッチパネルは、ユーザが指で指し示した表示画面上の位置やスライド操作に応じた操作信号を発生することができる。この操作信号は制御部４１に供給される。制御部４１は、操作信号に基づいて動作するようになっている。
また、記憶部４２には、制御部４１からの画像ファイルも記憶されるようになっている。記憶部４２としては例えばＩＣメモリを採用することができる。なお、記録部４２は記憶した画像の再生も可能であり、再生画像を制御部４１に与えることもできるようになっている。
情報端末装置３０は、通信部４５を有している。通信部４５は、無線又は有線により外部機器との間で通信を行い、外部機器と制御部４１との間で情報を転送することができるようになっている。連携モードでは、撮像装置１の通信部１８と情報端末装置３０の通信部４５とは互いに通信を行って、画像情報を含む各種情報を相互に転送することができるようになっている。
制御部４１は、撮像装置１の制御部１１及び信号処理部１２の処理機能と同様の機能を有しているので、上述した視認性強調処理が可能であり、表示部４４の表示画面上に視認性強調画像を表示させることができる。
本実施の形態においては、制御部４１は、撮像装置１から撮像画像が与えられると、撮像部３１によって取得された撮像画像との比較を行い、撮像部３１からの撮像画像中に、撮像装置１からの撮像画像の範囲を示す枠画像を含めて、表示部４４の表示画面上に表示させることができるようになっている。
なお、上述した説明では、撮像装置１と情報端末装置３０とは相互に同一の機能を有している。しかし、連携して処理する場合には、各種機能の全部又は一部は、いずれか一方の装置のみが有していればよい場合がある。例えば、距離分布情報取得機能、デプスマップ作成機能等をいずれか一方の装置のみが有していてもよい。
次に、このように構成された実施の形態の動作について図１０Ａ、図１０Ｂ及び図１１から図１３を参照して説明する。図１０Ａ及び図１０Ｂは撮像装置１０の動作を示すフローチャートであり、図中三角で囲った同一数字により処理が連結されることを示している。なお、図１０Ａにおいて図７と同一の手順には同一符号を付して説明を省略する。また、図１１は情報端末装置３０の動作を示すフローチャートである。図１２及び図１３は実施の形態の動作を説明するための説明図である。
本実施の形態においては、図１３に示す連携を想定している。即ち、情報端末装置３０は、撮像装置１の照準器としても利用するものである。図１３において撮像装置１の筐体１ａには、図９の撮像装置１の各回路が収納されている。撮像装置１の筐体１ａの上面にはシャッタボタン１７ａが配設され、筐体１ａの背面には、表示部１５の表示画面１５ａが設けられている。そして、撮像装置１の筐体１ａの上面には、図示しない取付け部材により情報端末装置３０が取り付けられている。
情報端末装置３０の筐体３０ａには、図９の情報端末装置３０の各回路が収納されている。情報端末装置３０の筐体３０ａの正面には、筐体３０ａの略全域に表示部４４の表示画面４４ａが設けられている。上述したように、表示画面４４ａには操作部４３としての図示しないタッチパネルが配設されており、ユーザは、表示画面４４ａの表示を見ながら表示画面４４ａのタッチ操作により、情報端末装置３０を操作することができる。
情報端末装置３０の制御部４１は、図１１のステップＳ７１において図１２に示すモードメニューを表示する。図１２の例では、表示画面４４ａ上には、照準器モードを設定するためのボタン５１、連携モードを設定するためのボタン５２、メールモードを選択するためのボタン５３、電話モードを選択するためのボタン５４及びその他のモードを選択するための各種のアイコン表示５５が表示されている。
制御部４１は、次のステップＳ７２において、照準器モードが指定されたか否かを判定する。照準器モードは、情報端末装置３０を撮像装置１の照準器として利用するモードである。この場合には、ユーザは、撮像装置１による撮影に際して、情報端末装置３０の表示画面４４ａに表示されたスルー画を見ながら撮影操作を行うことになる。本実施の形態においては、この場合に、表示画面４４ａ上に視認性強調画像を表示させるものである。
撮像装置１の制御部１１は、図１０ＡのステップＳ１１において、撮影モードが指示されていると判定した場合には、ステップＳ３１において、モード選択及び各種設定を行う。制御部１１は、ステップＳ３２において照準器モードが指定されているか否かを判定する。制御部１１は、ユーザにより照準器モードが指定されている場合には、処理をステップＳ３３に移行して、スルー画を情報端末装置３０に送信する。即ち、照準器モードでは、撮像装置１は視認性強調処理を行うことなく、通常のスルー画を送信する。
情報端末装置３０の制御部４１は、ステップＳ７３において、撮像装置１からのスルー画を受信する。制御部４１は、ステップＳ７４において、撮像部３１が撮像して得たスルー画を取得すると共に、距離分布情報取得部３３からの距離分布情報を取得する。制御部４１は、距離分布情報から撮像画像のデプスマップを生成する。制御部４１は、第１の実施の形態と同様の視認性強調処理を行って、撮像部３１が撮像して得たスルー画に基づく視認性強調画像を得る。更に、撮像部３１が取得したスルー画と、撮像装置１から受信したスルー画との比較によって、撮像装置１のスルー画の撮影範囲を示す枠画像を視認性強調画像上に重ねて、表示画面４４ａ上に表示させる（ステップＳ７５）。
図１３ではこの場合に表示画面４４ａ上に表示される画像６０を示している。画像６０中には、図３Ａに対応する視認性強調画像６１が含まれる。更に、画像６０中には、撮像装置１により撮像されているスルー画の撮影範囲を示す枠画像６２も表示されている。また、画像６０中には、照準器モードを終了させてモードメニューに戻るための戻るボタン６３も表示されている。
制御部４１は、ステップＳ７６において、戻るボタン６３が操作されたか否かを判定しており、戻る操作が行われていない場合には、処理をステップＳ７３に戻して画像６０の表示を続ける。また、制御部４１は、戻る操作が行われた場合には、処理をステップＳ７１に戻してモードメニューを表示する。
図１３の画像６０は、視認性強調画像であり、また、撮像装置１の撮影範囲を示す枠画像６２も表示されている。ユーザは表示画面４４ａに表示された画像６０を見ることで、主被写体を簡単に確認できると共に、撮像装置１の撮影範囲よりも広い視野範囲の被写体を確認することができ、また、その広い視野範囲内において撮像装置１がいずれの範囲を撮像しているかを簡単に知ることができる。これにより、ユーザは主被写体を撮影するための構図やピント合わせが極めて容易となる。
ところで、図９の撮像装置１は、視認性強調画像を取得するための全ての機能を有しているが、デプスマップ作成機能を有していない場合やそもそも距離分布情報を取得することができない撮像装置が採用される場合がある。このような場合でも、連携モードを採用することで、情報端末装置３０からの情報を利用して、視認性強調画像の表示が可能である。
撮像装置１の制御部１１は、ステップＳ３２において、視認性強調画像を情報端末装置３０の表示画面４４ａに表示させる照準器モードが指定されていないと判定した場合には、次のステップＳ１２において、撮像を行うと共にデプスマップの作成を行う。なお、デプスマック作成機能を有していない撮像装置においては、撮像のみが行われる。次に、制御部１１はステップＳ３４において連携モードが指定されているか否かを判定する。連携モードが指定されていない場合には、制御部１１は自機の機能のみを用いて視認性強調画像を生成する。
即ち、制御部１１は、次のステップＳ３７において、視認性強調処理モードが設定されているか否かを判定する。なお、視認性強調処理モードでは、タッチ指定された被写体又は画面中央の被写体を基準に対象距離範囲が決定される。このような設定がない場合には、制御部１１は、処理をステップＳ３８に移行して、通常のスルー画表示を行う。一方、制御部１１は、視認性強調処理モードが指定されている場合には、次のステップＳ３９において追尾部１２ｅを制御して、タッチ指定された被写体又は画面中央の被写体について追尾を開始させる。この追尾の結果、距離判定部１２ｄは、追尾対象の被写体を含む所定の距離範囲を対象距離範囲に設定して、各被写体、あるいは画面内各部、各領域が対象距離範囲に属するか否かを判定する（ステップＳ４０）。
なお、制御部１１は、対象距離範囲を決定するための所定の距離範囲として、予め決められた距離範囲を用いてもよく、また、追尾対象の被写体を主被写体とし雑被写体までの距離を用いてもよく、また、追尾対象の被写体と同様の動きをする被写体を含む距離を用いて距離判定部１２ｄに指示を与えてもよい。制御部１１は、対象距離範囲に属さない対象距離外被写体については、ステップＳ４１において視認性低減処理を施し、対象距離範囲に属する対象距離内被写体については、ステップＳ４２において視認性を相対的に良好にする処理を施すが、対象物の動きに応じて、時間の経過とともに処理は変化し得る。
例えば、最初は３ｍにいた対象物が横に移動しながら２ｍの距離にある雑対象物の間に来た場合、３ｍの部分は最初、視認性良好にして、その後では対象物はその視認性を保って、それ以外の部分には視認性単調化の処理を行うような工夫ができる。また、この時、新たに３ｍに入ってきたものは視認性単調化処理を行えばよく、こういう状況下では、ステップＳ４０の距離は刻刻と変化し、かつ、特に、ステップＳ４０のＹＥＳは、もう少し複雑な処理となる。つまり、対象と同一距離であっても、視認性はむしろ低下させるようなステップＳ４１相当の処理となる。このフローチャートは単純化しており、実際は、追尾できている場合、ステップＳ４２では、「追尾対象は視認性を相対的に向上させ、それ以外は単調化処理」という処理となる。つまり、シンプルにはデプスマップでマップの座標に対応する画像領域の視認性表現を変えてもよいが、そのようにして視認性良く検出された特定対象物に関しては、デプスマップとは無関係に視認性を保つ。
また、上述したように、特定対象物が追尾されている状況では、その追尾対象物の距離を刻刻と判定しておき、追尾対象物の距離とは異なる撮像対象物の視認性は単調化処理してもよい。
更に、制御部１１は、デプスマップに基づいて設定した対象距離範囲に属さない対象距離範囲外被写体に対して視認性単調化処理を施しつつ、追尾対象の被写体については、デプスマップを用いた視認性単調化処理の処理対象から除外するようにしてもよい。例えば、徒競走における複数の走者をデプスマップに基づいて対象距離範囲に属する主被写体に設定した場合において、特定の一人の走者を追尾対象として追尾した場合には、制御部１１は、当該追尾対象の走者が対象距離範囲に属さない状態になった場合でも、追尾対象については視認性単調化処理の処理対象から除外し、対象距離範囲内の走者と追尾対象の走者との視認性を良好に維持するように制御してもよい。
更に、この場合の対象距離範囲は、他の走者が対象距離範囲内に含まれるように、他の走者までの距離の変化に応じて変更するようにしてもよい。
つまり、表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定部と、上記表示部に表示する画像中の被写体を検出する画像分析部と、上記画像分析部が検出した特定被写体の上記画像内の動きを追尾する追尾部と、上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させるものであって、上記追尾部が追尾中の特定被写体については上記対象距離範囲外であっても上記視認性を単調化させる画像処理の対象外とする画像処理部と、を具備したことを特徴とする画像処理装置を構成できる。
制御部１１は、ステップＳ１７において、これらの処理後の画像を合成した視認性強調画像を表示部１５の表示画面１５ａ上に表示させる。
次に、連携モードが指定されているものとする。撮像装置１の制御部１１は、操作判定部１７からの操作信号によって連携モードが指定されていることを判定する。また、情報端末装置３０の制御部４１は、図１２のボタン５２のタッチ操作により連携モードが指定されていることを判定する。
制御部４１は、ステップＳ７７において、連携モードが指定されているか否かを判定する。連携モードが指定されている場合には、制御部４１は、撮像部３１からスルー画を取得すると共にスルー画に基づくデプスマップを作成して（ステップＳ７８）、外部送信する（ステップＳ７９）。制御部４１は、ステップＳ８０において、戻る操作の有無を判定しており、戻る操作があった場合にはステップＳ７１に処理を戻し、戻る操作が行われるまでステップＳ７８，Ｓ７９においてスルー画及びデプスマップの送信を続ける。
一方、撮像装置１の制御部１１は、ステップＳ３４において連携モードが指定されているものと判定すると、ステップＳ３５において、通信部１８，４５を介して、情報端末装置３０からスルー画及びデプスマップを受信して取得する。制御部１１は、ステップＳ３６において、撮像部２１において取得したスルー画と情報端末装置３０から受信したスルー画とを比較し、情報端末装置３０から受信したデプスマップに基づいて撮像部２１において取得したスルー画に対応するデプスマップを生成した後、処理をステップＳ３７に移行する。従って、この場合には、ステップＳ３７からステップＳ１７において、情報端末装置３０が取得したデプスマップを利用した視認性強調処理が行われて、表示部１５の表示画面１５ａ上に視認性強調画像が表示される。
更に、図１０Ａでは示していないが、撮像装置１においてデプスマップを作成している場合には、情報端末装置３０から受信したデプスマップと撮像装置１において作成したデプスマップの両方を用いた視認性強調処理も可能である。例えば、撮影シーンに応じてデプスマップを使い分けてもよい。例えば、情報端末装置３０において２眼式の撮像部を採用した場合には配置上の制限から水平方向の距離精度は比較的高く垂直方向の距離精度は比較的低いことが考えられる。そこで、制御部１１は、水平方向パターン変化がある被写体については、情報端末装置３０からのデプスマップを利用し、それ以外の被写体については撮像装置１で作成したデプスマップを利用してもよい。また、情報端末装置３０においては配置上の制限から所定の中間距離についての距離精度は比較的高く、遠端近傍又は近端近傍についての距離精度は比較的低いことが考えられる。そこで、制御部１１は、被写体距離が中間距離の場合には情報端末装置３０からのデプスマップを利用し、被写体距離が極めて近い場合又は遠い場合については撮像装置１で作成したデプスマップを利用してもよい。
また、雑然としたシーンとすっきりとしたシーンでは、本願の技術の重要性が異なるため、すっきりとしたシーンでは今回の単調化表現の画像処理を行わず、雑然としたシーンでは単調化処理を採用してもよい。また、主被写体（主対象物）が雑被写体（主対象物以外）の中に混ざりながら動くような場合は、識別が困難なので、単調化処理を行わないようにするとか、すっきりしたシーンから雑然としたシーンに変化するような状況では、最初すっきりしたシーンで、判別できていた主対象物を、そのまま追尾して表示させ、その他のものを単調化することによって、視認性を保つ工夫などを行ってもよい。
なお、情報端末装置３０の制御部４１は、ステップＳ７７において連携モードではないと判定した場合には、処理をステップＳ８１に移行して、通信設定モードが指定されているか否かを判定する。制御部４１は、通信設定モードが指定されている場合には、ステップＳ８２において撮像装置１からの画像を受信すると共に、通信設定を行って処理をステップＳ７１に戻す。また、通信設定モードが指定されていない場合には、制御部４１は他のモードを実行する。
また、撮像装置１の制御部１１は、ステップＳ１１において撮影モードが指定されていないと判定すると、図１０ＢのステップＳ５１に処理を移行して、通信設定モードが指定されているか否かを判定する。制御部１１は、通信設定モードが指定されている場合には、ステップＳ６１において画像受信及び通信設定を行った後処理をステップＳ１１に戻す。制御部１１は、通信設定モードが設定されていないと判定した場合には、再生モードが指定されているものと判定して、次のステップＳ５２において、既に記録されている画像を記録部１６から読出して、表示部１５に与えて一覧表示させる。制御部１１、次のステップＳ５３において選択操作が行われたか否かを判定し、選択が行われると、ステップＳ５４において、選択された画像を表示画面１５ａ上に表示する。
なお、制御部１１は、ステップＳ５３において所定期間選択操作が行われなかったと判定した場合には、処理をステップＳ１１に戻す。制御部１１は、選択画像の表示後に、終了操作が行われたか否かを判定し（ステップＳ５５）、終了操作が行われると処理をステップＳ５３に戻し、終了操作が行われない場合には処理をステップＳ５６に移行する。
制御部１１は、ステップＳ５６において、記録部１６に記録されているデプスマップの情報を表示に反映させるか否かの問い合わせの判定を行う。ユーザの指定によりデプスマップ反映が指定されている場合には、制御部１１は、次のステップＳ５７において、画像処理部１２ａを制御して、選択画像についてデプスマップを利用して画像を補正した後、この画像を表示部１５に与えて表示画面１５ａ上に表示させる。例えば、選択画像の濃淡を距離に応じて変化させる等の補正が考えられる。なお、この補正表示において視認性強調画像を表示するようにしてもよい。
制御部１１は、デプスマップ反映が指定されていない場合には、処理をステップＳ５６からステップＳ５５に戻す。制御部１１は、ステップＳ５８において記録等の指示が行われているか否かを判定する。制御部１１は、記録等の指示が行われている場合には、ステップＳ５７において補正した画像を記録部１６に与えて記録させ、記録等の指示が行われていない場合にはステップＳ６０において終了操作を判定する。制御部１１は、ステップＳ６０において、終了操作がないものと判定した場合には処理をステップＳ５７に戻し、終了操作があったものと判定した場合には処理をステップＳ１１に戻す。
このように本実施の形態においては、撮像装置と情報端末装置とで連携した撮影が可能である。例えば、情報端末装置を撮像装置の照準器として利用することもでき、この場合には、撮像装置の撮影範囲よりも広い視野範囲において、視認性強調画像を表示させ、しかも、視認性強調画像中に撮像装置の撮影範囲を示す画像を表示させることができ、ユーザは構図の設定やピント合わせ等をより簡単に行うことができる。また、撮像装置において、視認性強調処理の一部又は全部の機能を有していない場合でも、情報端末装置からの情報を利用することで、視認性強調画像の表示が可能である。
なお、本発明の各実施形態においては、撮影のための機器として、通常のカメラやスマートフォン等の携帯端末のカメラを用いて説明したが、撮影画像を取得することができるものであれば、どのような撮像デバイスを採用してもよく、設置場所にとらわれなければ、撮影するための機器として、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。
このように様々な機器で活用な可能な技術であるが、機器によっては、上記実施の形態ではユーザが移動せず、対象物が移動する例を主に説明したが、ユーザや撮像装置側が移動して、対象物との相対距離が変わる場合もある。このような状況でも特定の相対距離にある対象物とそれ以外の視認性の変更処理を行う場合、本願の範囲に含まれている。例えば、顕微鏡や内視鏡であれば被観察物が移動する以外に観察装置側が移動する場合があるし、ドローン搭載のカメラであれば、同様に対象物に対して近づいていく事が可能である。こうした場合の「追尾」は、対象物側が止まっていても、装置位置が変わることによって生じる相対距離変化に基づく見失いを対策するものである。見ている対象物を決め、その時のデプスマップと、距離変化があった時のデプスマップを比較して、対象物に相当するマップ座標のデプス情報（距離分布情報と言ってもよい）の部分は視認性を保つか向上させ、それ以外の距離に相当する部分の表示に関しては、それが何であるかを識別する事に気を取られないような画像処理（視認性低下、単調化、平たん化処理等）を行う。
さらに、実施形態において、部（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイクロプロセッサ及びＣＰＵ等のプロセッサ、あるいはシーケンサを組み合わせて構成されてもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。ここでは、単純化のため通信部を特記していない場合もあるが、本願の特徴的な処理や補足的な処理をサーバやパソコン等の外部機器が行う実施形態も想定される。つまり、複数の機器が連携して、本発明の特徴を成立させる場合も、本願はカバーしている。この時の通信には、ブルートゥース（登録商標）やＷｉ−Ｆｉ（登録商標）、電話回線等が用いられる。また、この時の通信は、ＵＳＢ等で行われてもよい。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。こうした装置、あるいはシステムは、ユーザに何らかの働きかけを行ったり、部品の角度を変えたりする等の機能を有しても良く、その機構は、様々なアクチュエータと、必要に応じて連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイクロプロセッサマイコンやＡＳＩＣ等が制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われてもよい。
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることで、容易に本実施の形態の画像処理装置を実現することができる。
１…撮像装置、１ａ…筐体、１０…画像処理装置、１１…制御部、１２…信号処理部、１２ａ…画像処理部、１２ｂ…デプスマップ作成部、１２ｃ…画像分析部、１２ｄ…距離判定部、１２ｅ…追尾部、１３…時計部、１４…各種センサ、１５…表示部、１６…記録部、１７…操作判定部、１８…通信部、２０…画像取得部、２１…撮像部、２２…撮影条件変更部、２３…距離分布情報取得部。

Claims (17)

  1. 表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定部と、
    上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させる画像処理部と
    を具備したことを特徴とする画像処理装置。
  2. 上記表示部に表示する画像中の被写体を検出する画像分析部を更に具備し、
    上記距離判定部は、上記画像分析部が検出した各被写体について、上記対象距離範囲内に存在するか上記対象距離範囲外に存在するかを判定し、
    上記画像処理部は、上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の被写体の画像部分について視認性を単調化させる画像処理を施す
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 上記距離判定部は、上記画像分析部が検出した被写体中の主被写体の被写体距離を含む上記対象距離範囲が設定される
    ことを特徴とする請求項２に記載の画像処理装置。
  4. 上記画像分析部が検出した各被写体について、上記画像内の動きを追尾する追尾部を更に具備し、
    上記距離判定部は、上記追尾部により追尾された上記主被写体の被写体距離に応じて上記対象距離範囲が設定される
    ことを特徴とする請求項３に記載の画像処理装置。
  5. 上記主被写体は、ユーザ操作によって指定される
    ことを特徴とする請求項３に記載の画像処理装置。
  6. 上記距離判定部は、上記主被写体から雑被写体までの距離に応じて上記対象距離範囲が設定される
    ことを特徴とする請求項３に記載の画像処理装置。
  7. 上記画像処理部は、上記対象距離範囲外の画像部分を非可視化し、上記対象距離範囲内の画像部分のみを可視化する画像処理を施す
    ことを特徴とする請求項１に記載の画像処理装置。
  8. 上記デプスマップを作成するデプスマップ作成部
    を更に具備することを特徴とする請求項１に記載の画像処理装置。
  9. 請求項１に記載の画像処理装置と、
    上記表示部と、
    上記表示部に表示する画像を撮像する撮像部と
    を具備することを特徴とする撮像装置。
  10. 上記撮像部は、上記デプスマップを作成するためのステレオ画像を取得する
    ことを特徴とする請求項９に記載の撮像装置。
  11. 上記距離判定部は、外部機器によって取得された上記デプスマップを受信して上記対象距離範囲内の画像部分と上記対象距離範囲外の画像部分と判定する
    ことを特徴とする請求項９に記載の撮像装置。
  12. 表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定手順と、
    上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させる画像処理手順と
    を具備したことを特徴とする画像処理方法。
  13. コンピュータに、
    表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定手順と、
    上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させる画像処理手順と
    を実行させるための画像処理プログラム。
  14. 表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定部と、
    上記表示部に表示する画像中の被写体を検出する画像分析部と、
    上記画像分析部が検出した特定被写体の上記画像内の動きを追尾する追尾部と、
    上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させるものであって、上記追尾部が追尾中の特定被写体については上記対象距離範囲外であっても上記視認性を単調化させる画像処理の対象外とする画像処理部と、
    を具備したことを特徴とする画像処理装置。
  15. 上記距離判定部は、上記画像分析部が検出した被写体中の主被写体の被写体距離が含まれるように上記主被写体の動きに合わせた上記対象距離範囲が設定される
    ことを特徴とする請求項１４に記載の画像処理装置。
  16. 表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定ステップと、
    上記表示部に表示する画像中の被写体を検出する画像分析ステップと、
    上記画像分析ステップが検出した特定被写体の上記画像内の動きを追尾する追尾ステップと、
    上記距離判定ステップにおける判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させるステップであって、追尾中の上記特定被写体については上記対象距離範囲外であっても上記視認性を単調化させる画像処理の対象外とする画像処理ステップと、
    を具備したことを特徴とする画像処理方法。
  17. コンピュータに、
    表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定ステップと、
    上記表示部に表示する画像中の被写体を検出する画像分析ステップと、
    上記画像分析ステップが検出した特定被写体の上記画像内の動きを追尾する追尾ステップと、
    上記距離判定ステップにおける判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させるステップであって、追尾中の上記特定被写体については上記対象距離範囲外であっても上記視認性を単調化させる画像処理の対象外とする画像処理ステップと、
    を実行させるための画像処理プログラム。
JP2018060093A 2018-03-27 2018-03-27 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置 Pending JP2019176249A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018060093A JP2019176249A (ja) 2018-03-27 2018-03-27 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
US16/364,897 US10984550B2 (en) 2018-03-27 2019-03-26 Image processing device, image processing method, recording medium storing image processing program and image pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018060093A JP2019176249A (ja) 2018-03-27 2018-03-27 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置

Publications (1)

Publication Number Publication Date
JP2019176249A true JP2019176249A (ja) 2019-10-10

Family

ID=68054967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018060093A Pending JP2019176249A (ja) 2018-03-27 2018-03-27 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置

Country Status (2)

Country Link
US (1) US10984550B2 (ja)
JP (1) JP2019176249A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021182066A1 (ja) * 2020-03-11 2021-09-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム
JP7431555B2 (ja) 2019-10-31 2024-02-15 キヤノン株式会社 撮像装置及びその制御方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7173841B2 (ja) 2018-11-14 2022-11-16 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
JP7198055B2 (ja) * 2018-11-16 2022-12-28 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
CN113572958B (zh) * 2021-07-15 2022-12-23 杭州海康威视数字技术股份有限公司 一种自动触发摄像机聚焦的方法及设备
CN117837153A (zh) * 2021-10-15 2024-04-05 深圳市大疆创新科技有限公司 一种拍摄控制方法、拍摄控制装置及可移动平台

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5818975A (en) * 1996-10-28 1998-10-06 Eastman Kodak Company Method and apparatus for area selective exposure adjustment
US9129381B2 (en) * 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP2010050592A (ja) 2008-08-20 2010-03-04 Canon Inc 画像表示装置、撮像装置、表示方法
US20130321675A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
US9743057B2 (en) * 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US10007412B2 (en) * 2015-06-24 2018-06-26 Samsung Electronics Co., Ltd. Tone mastering system with creative intent metadata
US9741125B2 (en) * 2015-10-28 2017-08-22 Intel Corporation Method and system of background-foreground segmentation for image processing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7431555B2 (ja) 2019-10-31 2024-02-15 キヤノン株式会社 撮像装置及びその制御方法
WO2021182066A1 (ja) * 2020-03-11 2021-09-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム

Also Published As

Publication number Publication date
US10984550B2 (en) 2021-04-20
US20190304122A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
KR102114581B1 (ko) 화상 촬상 장치 및 방법
JP2019176249A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
JP5178553B2 (ja) 撮像装置
CN102959943B (zh) 立体全景图像合成装置和方法、以及图像捕获装置
US8564710B2 (en) Photographing apparatus and photographing method for displaying information related to a subject
JP5230013B2 (ja) 撮像装置
WO2013033480A1 (en) Automatic image capture
JP6261205B2 (ja) 画像処理装置
JP2015059998A (ja) 撮影機器及び撮影方法
CN103888684A (zh) 图像处理装置以及图像处理方法
KR20120002834A (ko) 참조 영상을 제공하는 촬상장치 및 그의 참조 영상 제공방법
JP5646582B2 (ja) 撮像装置
JP5608803B1 (ja) 撮影機器、撮影方法及び撮影制御プログラム
JP2018006995A (ja) 撮像装置、表示装置、画像処理プログラム
JP2016167767A (ja) 撮像装置、合成撮影方法及び合成撮影プログラム
JP5914714B2 (ja) 撮影機器および撮影方法
JP5655804B2 (ja) 撮像装置、及びプログラム
JP6450879B2 (ja) 記録装置、記録方法及び記録プログラム
JP6504693B2 (ja) 撮像装置、操作支援方法及び操作支援プログラム
JP6218615B2 (ja) 表示機器、表示方法、撮影装置及び撮影システム
JP2019041188A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP6362735B2 (ja) 撮像装置、撮像装置の制御方法及び制御プログラム
JP2019047436A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
JP6833772B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6375114B2 (ja) 画像再生装置及び画像再生装置の制御方法