JP2009147912A - 電動カメラ - Google Patents
電動カメラ Download PDFInfo
- Publication number
- JP2009147912A JP2009147912A JP2008261820A JP2008261820A JP2009147912A JP 2009147912 A JP2009147912 A JP 2009147912A JP 2008261820 A JP2008261820 A JP 2008261820A JP 2008261820 A JP2008261820 A JP 2008261820A JP 2009147912 A JP2009147912 A JP 2009147912A
- Authority
- JP
- Japan
- Prior art keywords
- image
- focus
- data
- edge
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000003708 edge detection Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims 2
- 230000006870 function Effects 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/18—Signals indicating condition of a camera member or suitability of light
- G03B17/20—Signals indicating condition of a camera member or suitability of light visible in viewfinder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Focusing (AREA)
Abstract
【課題】表示可能な画像を表示デバイスへ提供する電動カメラおよび対応する動作方法。
【解決手段】電動カメラは、対象からの光を受け、それを基に画像を表す画像データを生成する画像センサ部と、表示デバイスへ出力するために、画像データを受けて処理する画像処理部30と、を備える。画像処理部は、画像の合焦状態を判別し、その状態を表す画像合焦データを生成し、画像合焦データは表示デバイスへの出力に対して画像の合焦状態の視覚的な表示を提供する。画像処理部はさらに、画像の合焦状態の視覚的な表示と画像データの画像表示とが表示デバイスへ一緒に出力されうるように、画像合焦データを対応する画像データへ重ね合わせる。
【選択図】図2
【解決手段】電動カメラは、対象からの光を受け、それを基に画像を表す画像データを生成する画像センサ部と、表示デバイスへ出力するために、画像データを受けて処理する画像処理部30と、を備える。画像処理部は、画像の合焦状態を判別し、その状態を表す画像合焦データを生成し、画像合焦データは表示デバイスへの出力に対して画像の合焦状態の視覚的な表示を提供する。画像処理部はさらに、画像の合焦状態の視覚的な表示と画像データの画像表示とが表示デバイスへ一緒に出力されうるように、画像合焦データを対応する画像データへ重ね合わせる。
【選択図】図2
Description
本発明は、電動カメラおよびその動作の方法に関する。
通常、デジタルスチルカメラもしくはデジタルビデオカメラは、保存されている画像を見たり録画対象のシーンをプレビューするためのディスプレイを備えている。そのディスプレイはカメラ本体とは別体であってカメラ本体と接続されているか、もしくはカメラ本体と一体化されている。本明細書においては、画像という言葉は、写真、静止画像、もしくはビデオ画像(単一のフレームもしくは一連のフレームの一部として)を示す言葉として使用されうる。
画像センサの解像度よりも低い解像度を有するディスプレイを有するカメラを使用する場合、カメラのレンズの焦点合わせが正しく行われているかを確かめることは困難でありうる。これは、より低い解像度を有するディスプレイでは、画像センサによって生成された画像の全ての詳細までは再生できないからである。また、カメラの焦点を合わせるためには、解像度が最も高くなる詳細画像の振幅を最大化する必要がある。つまり、カメラを手動で焦点合わせすることは主観的な動作であり、したがって人為的なエラーが起こりうる。
問題なのは、ユーザがカメラを焦点距離のある範囲にセットできてしまうということである。その焦点距離の範囲内では、画像センサによって実際に記録される画像の合焦の度合いは影響をうけるものの、低解像度のスクリーンに映し出される画像は認知できる程度には変化しない。したがって、ユーザがカメラの焦点を正しくセットしていないにもかかわらず、低解像度のスクリーンに映し出される画像ははっきりしており、もしくは焦点が合った状態となる可能性があり、実際そうなる可能性は高い。そのようなエラーは通常、ユーザが保存された画像を十分な解像度を有するディスプレイに表示するまでは発見されないが、たいていその段階では焦点合わせのエラーを補正するには遅すぎる(なお、画像を取得する段階で十分な解像度を有するディスプレイにカメラを接続することは多くの場合不可能であるか現実的ではない)。
多くのカメラに自動焦点合わせ機能が備わってはいるものの、そのようなカメラの殆どには、手動での焦点合わせモードも備わっており、したがってやはり上述の問題がそのモードにおいて起こる。多くの携帯用のコンパクトカメラでは、画像センサの解像度とディスプレイの解像度との間の大きな隔たりにより、その問題は深刻である。
自動焦点合わせ機能が広く普及してはいるものの、手動焦点合わせ機能のみを有するカメラもまだ多い。そのようなカメラとしては、高速ビデオカメラ(HSV:high-speed video)がある。HSVカメラは産業界ではよく知られており、人間の目や一般のビデオカメラでは十分な時間分解能で撮影できないような事象や処理を分析するために使用される。燃焼、爆発、ロボットの操作、高速機械操作のタイミング分析、弾道試験、ゴルフやテニスなどのスポーツにおけるスイング分析、液体および気体の流れの研究や車両衝突実験などの分野でHSVカメラは用いられている。
自動焦点合わせは目標セット−撮影型のアプリケーションに特に適している。しかしながら、自動焦点合わせを用いると間違った対象にカメラの焦点を合わせてしまうという問題が知られている。シーンのある特定の領域を選択したい場合、その領域が中央にないと自動焦点合わせはたいてい役に立たない。
さらに、高速ビデオカメラを用いるアプリケーションでは、写されるべき対象が未だ含まれていない対象面にHSVカメラの焦点を合わせることが好ましい場合が多々ある。そのシーンには、将来のある時点でその対象が到着することが予定されている。そのような場合、自動焦点合わせ機能はたいてい、そのシーンに既に存在する対象にカメラの焦点を合わそうとする。
この状況は、車両衝突実験時に特に顕著である。殆どの時間ビデオカメラはほぼ何もないシーンを撮影する。そのシーンは主に実験チャンバの向かい合う壁によって占められている。前景に衝突実験用そりが現れるときには、カメラはまさに最初のフレームから正しく焦点合わせされていなければならない。しかしながら、自動焦点合わせ機能を用いると、最初壁にカメラの焦点が合わせられており、そりが現れるとだんだんとそのそりへ焦点を合わせ始める。それによりそりに焦点が合うが、それは比較的ゆっくりであり、実験そのものが完了したはるか後となる。
米国特許公開2006/0078217号(US-A1-2006/0078217)は、焦点外れの検出方法に関する。その方法では、それぞれのピクセルの位置でのエッジの勾配の大きさを計算し、対象の画像の輝度値からエッジの幅を計算する。そしてそこからそれぞれのピクセルの位置での焦点外れ評価値を導く。対象の画像は所定数のブロックに分割され、それぞれのブロックについて焦点はずれ評価値の代表値が決定され、それぞれのブロックを焦点が合っているものと焦点外れのものとに分けるために所定のしきい値と比較される。焦点が合っているブロックの総数、焦点外れのブロックの総数、および全体の画像に対する、焦点が合っているブロックの相対位置および焦点外れのブロックの相対位置に基づき、対象の画像の焦点が合っているかもしくは焦点はずれであると決定される。目標の領域に対する焦点合わせの評価を表すメッセージがディスプレイに出力される。
欧州特許公開1,593,997号(EP-A1-1,593,997)および特開2005−094782号公報(JP-A1-2005/094782)は、焦点合わせの状態を表示する装置に関する。その装置は写真に撮られた画像の信号から、所定の領域の画像信号を抽出する焦点合わせ領域抽出手段と、抽出された画像信号のエッジを強めるエッジ強化処理手段と、エッジが強化された画像信号の積分値を計算する時間積分値計算手段と、計算された積分値から焦点合わせの状態を決定する焦点合わせ状態決定手段と、決定された焦点合わせの状態を表示する焦点合わせ状態表示手段と、を備える。焦点合わせの状態は、棒グラフやレベルメータ、数値、表示ブロックの色、表示スクリーン上に表示された文字の密度、として表示されてもよい。
特開2001−136419号公報(JP-A-2001/136419)は焦点合わせ補助機能に関する。そこでは焦点合わせ信号が処理され、ビューファインダのメニューディスプレイの一部に焦点合わせ情報として提供される。
欧州特許公開第1,835,732号(EP-A2-1,835,732)は、焦点合わせ情報表示システムに関する。このシステムは、画像の焦点合わせの状態を決定する2つの「正しい焦点合わせ決定デバイス」と、ディスプレイの焦点合わせ情報表示領域に焦点合わせの状態を表示する焦点合わせ状態表示デバイスと、を備える。その表示領域では、「0」が焦点合わせが正しいことを意味し、「−」が前方に焦点が合わせられていることを意味し、「+」が後方に焦点が合わせられていることを意味する。
欧州特許公開第1,555,558号(EP-A1-1,555,558)は、焦点合わせ状態ディスプレイに関する。焦点合わせ状態判定手段が撮像手段によって撮像された画像の焦点が合っているか否かを判定し、焦点合わせ方向判定手段が焦点合わせの方向を判定し、焦点合わせ状態ディスプレイ手段が焦点合わせの状態と焦点合わせの方向についての情報をディスプレイ手段に示す。焦点合わせの状態はグラフィックシンボルの数として表示されてもよい。またはそれと共に焦点合わせの方向が、ディスプレイのスクリーンに上/下もしくは左/右向きの矢印として表示されてもよい。
特開2002−196225号公報(JP-A-2002/196225)は、焦点合わせ状態表示デバイスに関する。そのデバイスは、所定の画像データから空間周波数の高周波成分を抽出することによって差分画像データを形成する高周波抽出手段と、差分画像データの高周波成分を示すピクセル値に基づいて定められた色をそれへ割り当てることによって配色された差分画像信号を形成する配色手段と、その配色手段によって配色された差分画像データを表示する表示手段と、を備える。そのデバイスは、色の違いによって焦点合わせの状態を知る。
したがって、手動での焦点合わせに伴う問題および自動での焦点合わせに伴う問題が低減され、もしくは回避される電動カメラおよびカメラの動作の方法が必要とされている。本発明の目的は、そのようなカメラおよび方法を提供することである。
本発明のある態様は、表示可能な画像を表示デバイスへ提供する電動カメラである。この電動カメラは、対象からの光を受け、それを基に画像を表す画像データを生成する画像センサ部と、表示デバイスへ出力するために、画像データを受けて処理する画像処理部と、を備える。画像処理部は、画像の合焦状態を判別し、その状態を表す画像合焦データを生成し、画像合焦データは表示デバイスへの出力に対して画像の合焦状態の視覚的な表示を提供する。画像処理部はさらに、画像の合焦状態の視覚的な表示と画像データの画像表示とが表示デバイスへ一緒に出力されうるように、画像合焦データを対応する画像データへ重ね合わせる。
この電動カメラでは、画像ディスプレイへの出力として上述のように出力信号を生成する。その結果画像の合焦状態がディスプレイに表示されうる。これにより、低い解像度を有するディスプレイ上で画像を見ることによって生ずる画像の焦点合わせの不確かさが回避されうる。ユーザは低い解像度のディスプレイ上に示された画像に基づいて合焦状態を判断する必要がないからである。実際は、容易に理解できる客観的な合焦状態用尺度がユーザに提供されるので、ユーザは主観的に判断する必要はない。
画像の合焦状態は、その画像のエッジの詳細をエッジ検出部を用いて調べることによって決定されることが好ましい。そしてエッジの詳細の信号が、画像合焦信号を供給する上で用いられる。
エッジ検出部は、エッジの詳細を抽出するためにハイパスフィルタを含むことが好ましい。そのフィルタは有限インパルス応答(FIR:finite impulse response)フィルタであることが好ましい。そのようなフィルタからのバイポーラな応答は、好ましくはクリップされて負の応答が取り除かれる。これによりユニポーラなエッジデータが提供される。
エッジ検出部によって導かれた、画像のエッジの詳細の表示を提供することによって、画像合焦データは、画像の合焦の度合いの視覚的な表示を提供することが好ましい。たとえば、そのような視覚的な表示は、画像中の焦点が合っているエッジをトレースするひとつもしくは複数の輪郭を含んでもよい。これは、その視覚的な表示に含まれる情報量の低減に貢献する(画像中の焦点が合っていない部分やエッジ間にあってほぼ一定の色/輝度を有する領域はハイライトされないからである)。これによりユーザはより容易に画像中の焦点が合っている部分を見つけることができる。
視覚的な表示は、その輝度や色などの可変パラメータによって生成され、ユーザが容易に視覚的に認知できるものであることが好ましい。たとえば、高い輝度または特定の色もしくはその両方が、画像におけるより高い合焦の度合いの表示として使用されうる。擬似色生成部を用いてひとつもしくは複数の選択された色を表示の異なる部分に付けることがいっそう好ましい。その特定の色は、合焦の度合いを示す。好適な実施の形態では、画像のうち焦点が外れている部分を示す青色から、画像のうち焦点が合っている部分を示す赤色までの範囲の選択された色が用いられる。
ある状況においては、振幅が低い合焦状態信号を無視することで、ノイズの多い画像を和らげることが有効な場合もある。そこでは、選択された振幅を下回る振幅を有する合焦状態信号に対しては、出力信号はゼロもしくは無視できる大きさとなる。
ユーザが画像のなかで関心のある領域を見出すのを助けるために、合成されたもしくは重ね合わせられた信号として画像と合焦状態の表示とが一緒にカメラから出力される。ユーザを混乱させないため、そしてユーザの気を散らさないために、画像の振幅を減じることが好ましい(元の振幅の25%程度が有効であることが見出されている)。さらには画像は白黒画像に変換されることが好ましい。この場合、画像の合焦状態の表示が、合成出力中における唯一の配色部分となる。
ある実施の形態では、画像へのレファレンスは、画像の選択された領域へのレファレンスである。これにより、シーンのある特定の領域が注目されうる。
本発明の別の態様は、電動カメラの動作方法である。この方法は、対象からの光を受け、画像を生成するステップと、画像の合焦の度合いを判別し、その度合いを表す画像合焦データであって画像の合焦の度合いの視覚的な表示を提供する画像合焦データを生成するステップと、画像合焦データを対応する画像データに重ね合わせるステップと、画像の合焦状態の視覚的な表示と画像データの画像表示とが一緒に表示されうるように、画像合焦データと画像データとを表示デバイスへ出力するステップと、を含む。
本発明の他の好適な特徴および利点が以下に続く記載および従属請求項において説明される。
本発明は数多くの方法によって実施されうる。以下の図を参照して、限定的でない例示のみを目的として実施の形態を説明する。
図1を参照すると、本発明の実施の形態に係る電動カメラ8が示される。カメラ8は、光を受け取って画像センサ(不図示)へ集光する光学アセンブリ(不図示)と、その結果得られる画像情報を処理する処理アセンブリと、を有する。カメラは、表示デバイス、録画/記録デバイスもしくは自身のメモリに出力してもよい。
使用中は、カメラ8は撮影されるべきシーンに向けられる。そのシーンにあるひとつもしくは複数の物体からの光は、光学アセンブリによってカメラの画像センサに集光される。これによりシーンの画像がセンサに形成され、センサはその画像を表す画像データを生成する。見るために画像ディスプレイに出力される前に、その画像信号は種々の画像処理ステップを経てもよい。カメラが静止画像もしくはビデオ画像の録画モードにある場合は(カメラはこれらの録画モードのうちのただひとつもしくは両方を有してもよい)、追加的にもしくは代替的に画像データはメモリに保存されてもよい。
実施の形態に係るカメラ8の機能の模式的な大要が図2に示される。表示された画像を見た後に、シーンもしくはシーンの特定の領域をよりよく撮像するためにカメラ8の焦点を合わせる必要がある場合があり、もしくは合わせることが望ましい場合がある。カメラ8は焦点合わせ手段を有し、その焦点合わせの過程をアシストする。カメラが画像ディスプレイと通信している場合(そのディスプレイはカメラとは別体ではあるが接続されているか、カメラそのものと一体化されている)、カメラの画像出力が画像ディスプレイに表示される。(生の)プレビューや記録や再生などの通常のカメラモードでは、画像出力はたいてい、プレビューされているか記録されているか再生されている画像の出力である。
本実施の形態では、焦点合わせ手段を使用するために、カメラの焦点合わせモードが選択されてもよい。このモードでは、画像処理部は、画像を表す画像データを分析し、画像の合焦状態もしくは合焦の度合いを判別する。それにより合焦データが生成される。その合焦データは、画像のどの部分の焦点が合っていてどの部分の焦点が合っていないかを示す。合焦データはカメラの表示出力へ渡され、画像の合焦の度合いの視覚的な表示を画像ディスプレイ上に示す。これによりユーザは画像もしくは関心のある領域にどの程度焦点が合っているかを測ることができ、カメラの焦点を適切に調整できる。
合焦状態の視覚的な表示は多くの形を取りうる。たとえば、それはバイナリであってもよい。この場合、画像のうち焦点が合っていると判断された部分は「オン」として描画され、表示出力中では白/明るいピクセルとして表されてもよい。また、画像のうち焦点が合っていないと判断された部分は「オフ」として描画され、表示出力中では黒/暗いピクセルとして表されてもよい。画像のうち焦点が合っている部分を表すと判断される合焦データの値は、必要に応じて選択されてもよいし、もしくは所望の値に選択されてもよいことは言うまでもない。
しかしながら、画像の合焦の度合いに対するより詳細な判断基準を、ユーザによって認知されうる可変パラメータのある範囲という形で(その範囲の値は、合焦の度合いを示す)視覚的な表示が提供することが好ましい。たとえば、そのパラメータは、画像ディスプレイへ出力される視覚的な表示の輝度(明るさとして認識される)であってもよい。代替的もしくは追加的には、そのパラメータは視覚的な表示の色であってもよい。特にそのパラメータは、画像の合焦の度合いの擬似色による表現であってもよい。そこでは、異なる色のそれぞれが異なる合焦の度合いを示す。
視覚的な表示は、その合焦データが導き出される元となった画像へマップされるのが最も有効であることは理解されるであろう。視覚的な表示のみが画像ディスプレイへ出力されてもよいが、視覚的な表示が画像そのものに重ね合わされもしくは合成されることが好ましい。この場合、ユーザは容易に画像と合焦状態の情報とをつきあわせることができる。ユーザはこのつきあわせを行うために画像を元の輝度(明るさ)で見る必要はないので、比較的薄暗いもしくは振幅が低減された画像が画像ディスプレイへ出力されてもよい。さらには、特に合焦の度合いの情報を擬似色で表す場合には、画像が元の色つきの状態のままだとユーザを混乱させ、またその気をそらさせうる。したがって、視覚的な表示と合成するために、画像は白黒、つまりグレースケール、の型に変換されてもよい。この場合、視覚的な表示がより容易に認識されうる。
上述の焦点合わせ手段には、カメラからの出力を視覚的に観察することで、画像の焦点がどの程度合っているかをユーザが素早く確かめることができるという利点がある。画像の合焦状態の視覚的な表示は、たいていの場合、元の画像と同じ解像度を有するデジタルビデオ信号によって伝達される。ユーザがその視覚的な表示を見る際の解像度は、そのままであるかもしくは低減される。これは使用されるモニターによる。合焦データは色によって表現されており、解像度によって制限を受けないので、低い解像度を有するモニターであっても正しく合焦状態を表示することができるであろう。したがって、低い解像度を有する画像ディスプレイでは画像の詳細の全ては再生できないにしても、視覚的な表示における合焦データによって提供される情報は、画像ディスプレイに表示されうる。これにより、(より)低い解像度を有する画像ディスプレイを用いてカメラの焦点を合わせることに伴って生ずる問題は回避されうる。
図2を参照し、以下に好適な実施の形態に係る焦点合わせ手段を説明する。入力画像データは、カメラ8の画像センサによって生成され、画像処理部30によって受信される。画像処理部30は、第1の信号経路31と、その経路上に設けられたカラーから白黒への信号変換部32と、を含む。第1の信号経路31は、第2の信号経路34と第3の信号経路36とに分割される。第1の信号経路34上には、振幅減衰部38が設けられる。第2の信号経路36上には、エッジ検出部40と、バイポーラからユニポーラへの信号変換部42と、擬似色生成部44と、が設けられる。2つの信号経路34、36は、加算部46によって合成され、その加算部46からは第4の信号経路48が延びる。第4の信号経路48上には、信号クリップ部50が設けられる。信号クリップ部50の下流において、最終的に出てくる信号が表示出力(不図示)へ提供される。
使用の際は、第1の信号経路31を通じて画像データが受信され、その画像データは変換部32によって白黒(グレースケール)のデータに変換される。その白黒信号は第2および第3の信号経路34、36を通って伝達される。第2の信号経路34上では、振幅減衰部38が白黒画像信号の振幅をN分の1に減じる。ここでNは1かそれ以上で変化しうる。好適な実施の形態では、N=4である。この場合、振幅は初期の値の25%程度となる。振幅が減じられた画像信号は加算部46へ渡される。
第3の信号経路36上では、白黒画像信号はエッジ検出部40を経由し、そこではエッジの詳細(画像中の、暗−明および明−暗の遷移)が取得される。そのエッジの詳細は、画像もしくは画像の一部の合焦の度合いを示す。結果として出力されるエッジ信号はバイポーラ信号であるので、変換器42において信号の負の部分がクリップされてユニポーラ信号に変換される。そのユニポーラエッジ信号は擬似色生成部44を経由する。擬似色生成部44は、エッジ信号の擬似色表示を生成する。画像の合焦状態の擬似色表示は加算部46へ渡される。
加算部46は、擬似色表示と振幅が低減された画像信号とを合成する。その合成された信号は、信号クリップ部50によってクリップされる。これはその合成された信号が、所望の信号振幅の範囲にあることを確実にするためである。画像ディスプレイ上で表示するために、結果としての信号を表示出力へ提供することは、上述の通りである。
図3を参照し、以下にエッジ検出部40の動作を説明する。画像中の鋭利なエッジ(たとえば、暗−明および明−暗の遷移)は空間的に高い周波数の情報を与える。エッジが鋭ければ鋭いほど、周波数はより高くなる。画像のうち焦点が合っていない部分は、空間的な高周波情報を全く含んでいないか、含んでいても僅かである。したがって、画像のより鋭利な合焦が得られてくると、画像における高周波の存在も増大する。したがって、画像にハイパスフィルタをかけ、その結果出てくる信号の振幅を見ることが、画像の合焦状態を判別する好ましい方法である。
ある実施の形態では、エッジ検出部40は白黒画像信号のエッジの詳細をサンプルするハイパスフィルタを含む。さらに好適な実施の形態では、そのフィルタは有限インパルス応答(FIR)フィルタである。そのFIRフィルタは3×3の係数を有するハイパスフィルタを含み、本実施の形態では、
と表される。
と表される。
この行列はエッジ検出を行うために使用されるフィルタの特性を表現する。異なるハイパス特性を実現するために、係数の値が変更され、もしくはより多くの係数が付け加えられてもよい(たとえば、5×4の行列)。しかしながら、上述の行列は現時点において、好ましい実施の形態における好ましいフィルタを表現している。
図3には、フィルタの動作が例示される。図3では、入力画像波形60がフィルタを通過した後出力波形70となる。入力画像波形60においては、振幅ゼロは黒もしくは暗いピクセルを表し、ピークの振幅は白もしくは明るいピクセルを表す。したがってその波形は、暗から明へ遷移した後に明から暗へ遷移するような遷移の組を2組表している。個々の遷移は、対応する信号のエッジ61−64によって示される。
フィルタでの処理の後、出力波形70は、入力画像波形60のエッジ61−64のそれぞれに対応する、シュート前(pre-shoot)ピーク71a−74aとシュート後(post-shoot)ピーク71b−74bとを含む。シュート前ピークとシュート後ピークの対のそれぞれに含まれるシュート前ピークとシュート後ピークは、その極性が反対であり、そのそれぞれの極性は、エッジの遷移の向きによる。
ディスプレイに表示して遠くから見た場合、FIRハイパスフィルタからの正負の応答は、お互いに平均化されもしくは打ち消し合う傾向がある。したがって、好適な実施の形態では、バイポーラからユニポーラへの変換部42においてクリップされることによって負の応答が除去される。この処理の例が図4に示される。
図5を参照し、以下に擬似色生成部44の動作を説明する。変換部42からのユニポーラエッジ信号は白黒/グレースケールである。その振幅は合焦の鋭利さに基づいて画像全体に亘って変化する。その信号の振幅を擬似色によって表現することで、画像の合焦の度合いの視覚的な表示を容易に認識できる形で提供できる。好適な実施の形態では、擬似色変換は非線形的である(つまり、割り当てられる色の周波数は、ユニポーラエッジ信号の振幅に単に比例するわけではない)。擬似色の割り当て方は、アプリケーションにおけるニーズや希望に合うように選ばれる。好適な実施の形態では、擬似色生成部44は、焦点の合っていない領域をたいてい描画しない。そしてわずかに焦点の合っている領域は青色で描画され、より焦点の合っている領域は緑色で描画され、鋭く焦点の合っている領域は赤色で描画される。
より具体的には、図5は、所与の入力信号の振幅(つまりユニポーラエッジ信号の振幅)に対する出力信号を、その色と振幅で示すグラフである。グラフから理解されるとおり、出力信号は、RGB、YCrCb、YPrPb、YUV、またはYIQなどの3刺激(tristimulus)信号からなる。本実施の形態では、3刺激信号はRGBであり、出力信号の色および振幅は、入力信号の振幅だけから決定される。
グラフは、3刺激変数のそれぞれについての出力信号の振幅を個々に示す。青は符号80で示され、緑は符号82で示され、赤は符号84で示される。ある状況、特にノイズの多い画像を扱う状況では、低いレベルのユニポーラエッジ信号を無視することが有利である場合がある。したがって、本実施の形態では、全ての3刺激変数についてその出力振幅がゼロとなる、符号86で示される低エッジ信号振幅領域が設けられる。他の実施の形態では、入力信号そのものがゼロでない値になるとすぐに、出力信号に含まれる3刺激変数のうちのひとつもしくは複数がゼロでない値となってもよいことは言うまでもない。
このように本実施の形態では、入力信号の振幅が増加するにつれて、出力信号は暗/黒から薄暗い青へ、ついで明るい青、シアン、緑、黄、オレンジそして最後には赤となる。このような(可視光スペクトラムを通じての「冷たい」色から「熱い」色への)色の変化は、直感的であり、容易に認識される。
好適な実施の形態では、図5に示されるように、入力信号の振幅が増加するにつれて出力信号全体の輝度が増加するように、RGB変数のそれぞれについてその開始点、傾きおよびホールド点が選択される。これにより、画像の合焦の度合いの視覚的な表示をより容易に理解できる。
上述の画像処理は多くの方法によって実装されうることは、当業者であれば理解されるであろう。しかしながら好適な実施の形態では、VHDL(very high-speed integrated circuit hardware description language)でプログラムされたフィールドプログラマブルゲートアレイ(FPGA:field-programmable gate array)によってその処理が実行される。
ある実施の形態では、焦点合わせ手段を備え、画像ディスプレイに接続されもしくは一体型の画像ディスプレイを有するカメラは、以下のように使用されてもよい。カメラは撮るべきシーンに向けられ、焦点合わせモードにセットされる。次に振幅が低減された、白黒の画像の表示が、画像の様々な個所についてどの程度焦点が合っているかを示す擬似色表示と共に画像ディスプレイに現れる。ユーザは関心のある領域の位置を決めることができる程度に十分に、画像表示からシーンを認識できる。そして少なくとも関心のある領域において、重ね合わされている擬似色が最大量の赤色を示すまで、ユーザは手動でカメラの焦点を調節する。これにより、画像に対して最適なもしくは所望の合焦設定が得られる。
図6および図8は、遠方に焦点を合わせた場合と近くに焦点を合わせた場合のそれぞれについて、カメラが撮影した画像の例を示す。これらの画像は通常のビューモード(プレビュー、録画または再生)において見られるものである。図7および図9は、図6および図8のそれぞれに示される画像に対する、合焦状態の表示の例を示す図である。図7および図9から理解されるとおり、合焦状態の情報は、画像のうち焦点の合っている様々な部分のエッジをトレースする輪郭の形で与えられる。焦点が合ってくると合焦状態の情報における輝度が増大する。これは図7においては、エッジ輪郭がシーンの後方に向かうにつれて現れ始めることに表れている。また、図9においては、エッジ輪郭がシーンの前方に向かうにつれて現れ始めることに表れている。つまり、焦点の合っていないものの輪郭は表示されない。
無論本実施の形態では、図6−9は色つきで示されてはいない。もし色がついていたとすれば、図7は、前方が暗く、中間が青く、後方がオレンジから赤色の擬似色によって表現されているであろう。図9は、後方が暗く、中間が青く、前方がオレンジから赤色の擬似色によって表現されているであろう。
上述の実施の形態の特徴に対する多くの組み合わせ、変形例または代替例は、当業者であれば容易に導けるであろう。それらは本発明の一部をなすよう意図されている。
1 電動カメラ、 30 画像処理部。
Claims (26)
- 表示可能な画像を表示デバイスへ提供する電動カメラであって、
対象からの光を受け、それを基に画像を表す画像データを生成する画像センサ部と、
表示デバイスへ出力するために、前記画像データを受けて処理する画像処理部と、を備え、
前記画像処理部は、前記画像の合焦状態を判別し、その状態を表す画像合焦データを生成し、前記画像合焦データは表示デバイスへの出力に対して前記画像の合焦状態の視覚的な表示を提供し、
前記画像処理部はさらに、前記画像の合焦状態の視覚的な表示と前記画像データの画像表示とが表示デバイスへ一緒に出力されうるように、前記画像合焦データを対応する画像データへ重ね合わせることを特徴とする電動カメラ。 - 前記画像処理部は、前記画像データからエッジの詳細を抽出することにより前記画像の合焦状態を判別し、かつそのエッジの詳細を表すエッジデータを生成するエッジ検出部を含み、
前記エッジ検出部は、前記エッジの詳細を抽出するための有限インパルス応答ハイパスフィルタを有することを特徴とする請求項1に記載の電動カメラ。 - 前記画像処理部は、前記画像データからエッジの詳細を抽出することにより前記画像の合焦状態を判別し、かつそのエッジの詳細を表すエッジデータを生成するエッジ検出部を含み、
前記エッジ検出部は、ユニポーラのエッジデータを提供することを特徴とする請求項1または2に記載の電動カメラ。 - 前記画像処理部は、前記画像データからエッジの詳細を抽出することにより前記画像の合焦状態を判別し、かつそのエッジの詳細を表すエッジデータを生成するエッジ検出部を含み、
前記画像合焦データは、前記画像のエッジの詳細の表示を提供することにより前記画像の合焦状態の視覚的な表示を提供することを特徴とする請求項1から3のいずれかに記載の電動カメラ。 - 前記画像合焦データは、視覚的に認知できる可変のパラメータを表し、
前記パラメータは、前記画像の合焦状態によって変動することを特徴とする請求項1から4のいずれかに記載の電動カメラ。 - 前記画像処理部は、前記画像データからエッジの詳細を抽出することにより前記画像の合焦状態を判別し、かつそのエッジの詳細を表すエッジデータを生成するエッジ検出部を含み、
前記画像合焦データは、前記エッジデータによって変動することを特徴とする請求項1から5のいずれかに記載の電動カメラ。 - 前記画像処理部はさらに、前記画像合焦データを擬似色データへ変換する擬似色変換部を含むことを特徴とする請求項1から6のいずれかに記載の電動カメラ。
- 前記擬似色変換部は、前記画像の合焦状態に基づいて前記擬似色データの色を変化させることを特徴とする請求項7に記載の電動カメラ。
- 前記画像処理部は、所定の低いレベルを下回る前記画像の合焦状態の測定値を捨てることを特徴とする請求項1から8のいずれかに記載の電動カメラ。
- 前記画像処理部はさらに、前記画像合焦データと合成する前に、前記画像データの振幅を減じる振幅減衰部を含むことを特徴とする請求項1から9のいずれかに記載の電動カメラ。
- 前記振幅減衰部は、前記画像データの振幅を、その初期の値の4分の1へ減じることを特徴とする請求項10に記載の電動カメラ。
- 前記画像処理部はさらに、前記画像合焦データと合成する前に、前記画像データの色をグレースケールへ変換する色変換部を含むことを特徴とする請求項1から11のいずれかに記載の電動カメラ。
- 前記カメラに接続されもしくは前記カメラと一体化された表示デバイスをさらに備え、
前記表示デバイスは、前記画像センサ部の解像度よりも低い解像度を有することを特徴とする請求項1から12のいずれかに記載の電動カメラ。 - 前記画像へのレファレンスは、前記画像のなかから選ばれた領域へのレファレンスであることを特徴とする請求項1から13のいずれかに記載の電動カメラ。
- 電動カメラの動作方法であって、
対象からの光を受け、画像を生成するステップと、
前記画像の合焦の度合いを判別し、その度合いを表す画像合焦データであって前記画像の合焦の度合いの視覚的な表示を提供する画像合焦データを生成するステップと、
前記画像合焦データを対応する画像データに重ね合わせるステップと、
前記画像の合焦状態の視覚的な表示と前記画像データの画像表示とが一緒に表示されうるように、前記画像合焦データと前記画像データとを表示デバイスへ出力するステップと、を含むことを特徴とする方法。 - 前記合焦の度合いは、前記画像のエッジの詳細を分析し、それを表すエッジデータを生成することによって決定され、
前記エッジデータは、ユニポーラのデータへ変換されることを特徴とする請求項15に記載の方法。 - 前記合焦の度合いは、前記画像のエッジの詳細を分析し、それを表すエッジデータを生成することによって決定され、
表示デバイスへ出力される前記画像合焦データは、前記画像のエッジの詳細の表示を提供することを特徴とする請求項15または16に記載の方法。 - 前記視覚的な表示は、視覚的に認知できる可変のパラメータによって提供され、
前記パラメータは、前記画像の合焦の度合いによって変動することを特徴とする請求項15から17のいずれか記載の方法。 - 前記合焦の度合いは、前記画像のエッジの詳細を分析し、それを表すエッジデータを生成することによって決定され、
前記画像合焦データは、前記エッジデータによって変動することを特徴とする請求項15から18のいずれかに記載の方法。 - 前記画像の合焦の度合いを擬似色で視覚的に表示するステップをさらに含むことを特徴とする請求項15から19のいずれかに記載の方法。
- 使用される前記擬似色は、前記画像の合焦の度合いに基づいて変化することを特徴とする請求項20に記載の方法。
- 合焦の度合いの測定値は、所定の低いレベルを下回る場合、前記視覚的な表示において描画されないことを特徴とする請求項15から21のいずれかに記載の方法。
- 前記画像の輝度の値は、前記重ね合わせステップの前に、その振幅が減じられることを特徴とする請求項15から22のいずれかに記載の方法。
- 前記画像は、その元の輝度の4分の1へ減じられることを特徴とする請求項23に記載の方法。
- 前記重ね合わせステップの前に、前記画像をグレースケールへ変換するステップをさらに含むことを特徴とする請求項15から24のいずれかに記載の方法。
- 前記画像へのレファレンスは、前記画像のなかから選ばれた領域へのレファレンスであることを特徴とする請求項15から25のいずれかに記載の方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB0719633A GB2457867B (en) | 2007-10-08 | 2007-10-08 | Electronic camera |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009147912A true JP2009147912A (ja) | 2009-07-02 |
Family
ID=38739302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008261820A Pending JP2009147912A (ja) | 2007-10-08 | 2008-10-08 | 電動カメラ |
Country Status (4)
Country | Link |
---|---|
US (1) | US20090096885A1 (ja) |
EP (1) | EP2048877A3 (ja) |
JP (1) | JP2009147912A (ja) |
GB (1) | GB2457867B (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009177460A (ja) * | 2008-01-24 | 2009-08-06 | Ikegami Tsushinki Co Ltd | ビューファインダ表示回路及び方法 |
JP2011091602A (ja) * | 2009-10-22 | 2011-05-06 | Canon Inc | 画像表示装置、撮像装置、及び画像表示方法 |
JP2013258592A (ja) * | 2012-06-13 | 2013-12-26 | Ricoh Co Ltd | 撮像装置および撮像装置の制御方法 |
JP2015216467A (ja) * | 2014-05-08 | 2015-12-03 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理方法 |
JP2016029786A (ja) * | 2014-07-23 | 2016-03-03 | パナソニックIpマネジメント株式会社 | フォーカスアシスト機能付き撮像装置 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010039431A1 (de) * | 2010-08-18 | 2012-02-23 | Robert Bosch Gmbh | Vorrichtung zur Unterstützung einer Fokussierung einer Kamera |
US9658687B2 (en) | 2011-09-30 | 2017-05-23 | Microsoft Technology Licensing, Llc | Visual focus-based control of coupled displays |
US9122129B2 (en) * | 2011-11-18 | 2015-09-01 | Samsung Electronics Co., Ltd. | Image pickup apparatus, driving control method thereof, and computer-readable recording medium |
JP5960996B2 (ja) * | 2012-01-31 | 2016-08-02 | キヤノン株式会社 | 撮影制御装置、撮影制御装置の画像配信方法およびプログラム |
US9211064B2 (en) | 2014-02-11 | 2015-12-15 | Welch Allyn, Inc. | Fundus imaging system |
US9237847B2 (en) | 2014-02-11 | 2016-01-19 | Welch Allyn, Inc. | Ophthalmoscope device |
US10057566B2 (en) * | 2014-04-04 | 2018-08-21 | Tektronix, Inc. | Depth of field indication using focus-peaking picture markers |
US11045088B2 (en) | 2015-02-27 | 2021-06-29 | Welch Allyn, Inc. | Through focus retinal image capturing |
US10799115B2 (en) | 2015-02-27 | 2020-10-13 | Welch Allyn, Inc. | Through focus retinal image capturing |
US10136804B2 (en) * | 2015-07-24 | 2018-11-27 | Welch Allyn, Inc. | Automatic fundus image capture system |
US10772495B2 (en) | 2015-11-02 | 2020-09-15 | Welch Allyn, Inc. | Retinal image capturing |
US10413179B2 (en) | 2016-01-07 | 2019-09-17 | Welch Allyn, Inc. | Infrared fundus imaging system |
US10602926B2 (en) | 2016-09-29 | 2020-03-31 | Welch Allyn, Inc. | Through focus retinal image capturing |
US11096574B2 (en) | 2018-05-24 | 2021-08-24 | Welch Allyn, Inc. | Retinal image capturing |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5496106A (en) * | 1994-12-13 | 1996-03-05 | Apple Computer, Inc. | System and method for generating a contrast overlay as a focus assist for an imaging device |
JP2001136419A (ja) * | 1999-11-08 | 2001-05-18 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2002196225A (ja) | 2000-12-26 | 2002-07-12 | Nikon Corp | ピント状態表示装置、および顕微鏡装置 |
US20030002870A1 (en) * | 2001-06-27 | 2003-01-02 | Baron John M. | System for and method of auto focus indications |
US7053953B2 (en) * | 2001-12-21 | 2006-05-30 | Eastman Kodak Company | Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image |
JP4603761B2 (ja) * | 2002-10-24 | 2010-12-22 | シャープ株式会社 | 合焦状態表示装置、携帯端末装置並びに情報表示プログラム及びそのプログラムを記録した記録媒体 |
CN100544405C (zh) * | 2003-02-07 | 2009-09-23 | 夏普株式会社 | 便携式蜂窝电话和便携式终端设备 |
JP2004297751A (ja) * | 2003-02-07 | 2004-10-21 | Sharp Corp | 合焦状態表示装置及び合焦状態表示方法 |
US20060078217A1 (en) * | 2004-05-20 | 2006-04-13 | Seiko Epson Corporation | Out-of-focus detection method and imaging device control method |
US7565075B2 (en) * | 2005-07-11 | 2009-07-21 | Nokia Corporation | System and method for exhibiting image focus information on a viewfinder |
US7469097B2 (en) * | 2005-12-15 | 2008-12-23 | Hewlett-Packard Development Company, L.P. | Method and apparatus for coping with condition in which subject is too close to digital imaging device for acceptable focus |
JP2007248507A (ja) * | 2006-03-13 | 2007-09-27 | Fujinon Corp | ピント情報表示システム |
JP4333685B2 (ja) * | 2006-03-29 | 2009-09-16 | セイコーエプソン株式会社 | カメラ、画像表示方法及びそのプログラム |
-
2007
- 2007-10-08 GB GB0719633A patent/GB2457867B/en not_active Expired - Fee Related
-
2008
- 2008-10-08 JP JP2008261820A patent/JP2009147912A/ja active Pending
- 2008-10-08 US US12/247,626 patent/US20090096885A1/en not_active Abandoned
- 2008-10-08 EP EP08253272A patent/EP2048877A3/en not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009177460A (ja) * | 2008-01-24 | 2009-08-06 | Ikegami Tsushinki Co Ltd | ビューファインダ表示回路及び方法 |
JP2011091602A (ja) * | 2009-10-22 | 2011-05-06 | Canon Inc | 画像表示装置、撮像装置、及び画像表示方法 |
JP2013258592A (ja) * | 2012-06-13 | 2013-12-26 | Ricoh Co Ltd | 撮像装置および撮像装置の制御方法 |
JP2015216467A (ja) * | 2014-05-08 | 2015-12-03 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理方法 |
JP2016029786A (ja) * | 2014-07-23 | 2016-03-03 | パナソニックIpマネジメント株式会社 | フォーカスアシスト機能付き撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
GB0719633D0 (en) | 2007-11-14 |
GB2457867B (en) | 2010-11-03 |
US20090096885A1 (en) | 2009-04-16 |
EP2048877A3 (en) | 2010-10-27 |
GB2457867A (en) | 2009-09-02 |
EP2048877A2 (en) | 2009-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009147912A (ja) | 電動カメラ | |
US7053953B2 (en) | Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image | |
US8311362B2 (en) | Image processing apparatus, imaging apparatus, image processing method and recording medium | |
US8073207B2 (en) | Method for displaying face detection frame, method for displaying character information, and image-taking device | |
JP4666179B2 (ja) | 画像処理方法および画像処理装置 | |
EP1748656A1 (en) | Image processing apparatus, image processing method, and computer program | |
WO2011121760A9 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP2008294785A (ja) | 画像処理装置、撮像装置、画像ファイル及び画像処理方法 | |
WO2013032008A1 (ja) | 画像処理装置、プログラム | |
EP2672691B1 (en) | Image processing apparatus and image processing method | |
JP4986820B2 (ja) | 画像処理装置及び画像処理方法 | |
US20090041295A1 (en) | Image Display Device, Image Display Method, and Image Display Program | |
JP6611531B2 (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
JP2011228807A (ja) | 画像処理プログラム、画像処理装置、および画像処理方法 | |
JP5047055B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
US8212916B2 (en) | Image display device, image pickup apparatus, and image display method that allow focus assistant display | |
JP2006109199A (ja) | デジタルカメラおよびそのデジタルカメラを用いた画像処理システム | |
EP3364647B1 (en) | Imaging apparatus, image processing program, image processing apparatus, and image processing method | |
JP6748847B2 (ja) | 撮像装置 | |
JP2010213105A (ja) | 撮像装置 | |
JP2012095223A (ja) | 撮像装置、撮像方法及びプログラム | |
JP2006078693A (ja) | 画像表示装置 | |
JP5561389B2 (ja) | 画像処理プログラム、画像処理装置、電子カメラ、および画像処理方法 | |
JP2011041094A (ja) | 画像処理装置、撮像装置および画像処理方法 | |
JP2011041094A5 (ja) |