JP6484682B2 - 撮像装置、及び撮像装置における映像表示方法 - Google Patents

Description

本発明は、撮像手段と映像表示手段を備える撮像装置に関する。

本技術分野の背景技術として、例えば、特開平１１−３４１３３１号公報（特許文献１）がある。該公報には、「簡単な構成で素早く確実にマニュアルフォーカス制御することが可能な電子的撮像装置を提供する」ことを目的とし、解決手段として、「マニュアルフォーカス（ＰＦを含む）とオートフォーカスとが切替可能な電子的撮像装置において、システム制御部80は、マニュアルフォーカス時、電子ズーム回路61を制御して、液晶モニタ63にオートフォーカス時に対して所定の倍率で拡大された被写体の動画を表示させるようにしたものである。マニュアルフォーカス時は、液晶モニタ63に拡大画像が表示されるようにしたので、ピント状態の良否がより見易くなりマニュアルフォーカス調整を素早く確実に行うことができる。しかも、拡大した動画像を表示するようにしたので、動きのある画像に対してもピント合わせを確実に行うことが可能である」という技術が開示されている。

特開平１１−３４１３３１号公報

近年のデジタルビデオカメラやスチルカメラにおいては、撮像時に対象や画角等を確認するための液晶ディスプレイが搭載されているのが一般的である。しかし、ハイビジョン対応など撮像素子の高画素化が進行しているに対し、小型の液晶ディスプレイでは画素数が少なく、画素ピッチも小さいため、実際に撮像したい被写体のディテールが分かりづらく、液晶ディスプレイを見ただけではフォーカスや露光が厳密に合っているか確認しづらく、マニュアルで調節するのが困難であるという問題がある。

上記特許文献１では、マニュアルフォーカス時に被写体の動画を所定の倍率に拡大して液晶モニタ上に表示することで、ユーザが被写体を詳細に見ながらマニュアルフォーカスを操作できることを実現している。しかし、マニュアルフォーカス時でも、例えばズーム倍率を変えたい場合には被写体の詳細を見るより全体の画角が見えていた方が操作しやすい、など、ユーザの行う操作内容に応じた映像表示を行う方がより利便性が高い。

例えば、各種のカメラ機能を操作するためのインタフェースと液晶ディスプレイでの映像表示方法の制御を組み合わせて行うことで、ユーザがより簡便に用途に応じた液晶表示を見ることができるよう支援することや、画像認識結果と組み合わせて液晶ディスプレイの表示方法の制御を自動で行うことで、ユーザがより簡便に用途に応じた液晶表示を見ることができるよう支援することにより、ユーザ利便性が向上すると考えられるが、例えば前記特許文献１ではこの点の考慮がなされていない。

そこで、本発明ではこのような状況に鑑み、撮像装置のユーザ利便性を向上させることを目的とし、特に、ユーザが表示モニタをみながら各種機能を使用する際の利便性を向上させることを目的とする。

上記課題は、一例として特許請求の範囲に記載の発明により達成される。

本発明によれば、撮像装置のユーザ利便性を向上させることができる。特に、ユーザが表示モニタをみながら各種機能を使用する際の利便性を向上させることが可能となる。

本発明の第１実施例に係る撮像装置を示す第一の模式図である。 本発明の第１実施例に係る映像表示方法の一例を示す図である。 本発明の第１実施例に係る映像表示方法の制御シーケンスの一例を示す第一の図である。 本発明の第１実施例に係る撮像装置を示す第二の模式図である。 本発明の第１実施例に係る映像表示方法の制御シーケンスの一例を示す第二の図である。 本発明の第１実施例に係る撮像装置を示す第三の模式図である。 本発明の第１実施例に係る映像表示方法の切り替え制御の一例を示す図である。 本発明の第２実施例に係る撮像装置を示す模式図である。 本発明の第２実施例に係る切出し映像の切出し領域の制御方法の一例を示す図である。 本発明の第２実施例に係る映像表示方法の制御方法の一例を示す第一の図である。 本発明の第３実施例に係る撮像装置を示す模式図である。 本発明の第３実施例に係る映像表示方法の一例を示す図である。

以下、図面を用いて本発明の好適な実施例を説明する。

図１は、本発明の第１実施例に係る撮像装置を示す第一の模式図である。図１において０１０１は撮像部、０１０２は切出し映像生成部、０１０３は映像表示部、０１０４は表示映像制御部、０１０５はマニュアルフォーカス操作部、０１０６はマニュアルズーム操作部である。

図１に示した撮像装置において、撮像部０１０１はズーム及びフォーカスが可変な撮像部であり、ズームレンズ及びフォーカスレンズを含むレンズ群や、シャッタや、CCDまたはCMOSなどの撮像素子や、AGCや、ADや、カメラ信号処理DSPや、動画像処理LSIや、タイミングジェネレータ等から構成され、光電変換による撮像を行い、映像データと、映像表示部０１０３の表示領域の解像度に合わせて縮小した表示用映像データを出力する。表示用映像データは元の映像データを一定画素毎に間引いて生成しても良いし、動画像処理LSIを用いてフィルタ演算による画像縮小処理を行って生成しても良い。映像データは不図示の映像記録部に出力することで、DVDやBDやHDDなどの記録媒体に動画や静止画を記録したり、不図示のTVモニタやPCディスプレイに出力して表示したりすることが可能である。切出し映像生成部０１０２は撮像部０１０１の出力する映像データの所定の領域を選択し、領域内の映像を等倍または所定の倍率に拡大して切出し映像データとして出力する。ここで、等倍とは、撮像映像の解像度と出力する映像との解像度が等しい、すなわちdot by dotで出力することを意味することとする。映像表示部０１０３は、撮像装置に付属する液晶ディスプレイなどのモニタ部であり、表示映像制御部０１０４の出力する映像表示方法の制御情報に基づき、撮像部０１０１の出力する表示用映像データ、または、切出し映像生成部０１０２の出力する切出し映像データを取得して表示する。映像の表示方法の例については図２を用いて後述する。表示映像制御部０１０４は、マニュアルフォーカス操作部０１０５とマニュアルズーム操作部０１０６からフォーカス操作やズーム操作の情報を取得し、それを元に映像表示部０１０３の映像表示方法を決定して、その制御情報を映像表示部０１０３に出力する。映像表示方法の決定方法は図３を用いて後述する。マニュアルフォーカス操作部０１０５は、ジョイダイアルや左右ボタンやレバーなどのフォーカス位置入力インタフェースを備え、フォーカス位置入力インタフェースの入力情報を元にフォーカス位置の制御量を演算し、その制御量に基づいて撮像部０１０１のフォーカスレンズの位置を制御する。これによりユーザが手動でフォーカス位置を制御することが可能となる。また、マニュアルフォーカス操作部０１０５はフォーカス操作を行っているかどうかの情報を表示映像制御部０１０４に出力する。マニュアルズーム操作部０１０６は、ジョイダイアルや左右ボタンやレバーなどのズーム倍率入力インタフェースを備え、ズーム倍率位置入力インタフェースの入力情報を元にフォーカス位置の制御量を演算し、その制御量に基づいて撮像部０１０１のズームレンズの位置を制御する。これによりユーザが手動でズーム倍率を制御することが可能となる。また、マニュアルズーム操作部０１０６はズーム操作を行っているかどうかの情報を表示映像制御部０１０４に出力する。なお、表示映像制御部０１０４で行う映像表示方法の制御情報の演算や、マニュアルフォーカス操作部０１０５で行うフォーカス位置の制御量の演算や、マニュアルズーム操作部０１０６で行うズーム倍率の制御量の演算は、通常はカメラ内のマイコンやカメラ信号処理DSPや専用のLSIなどによって行われる。

図２は、本発明の第１実施例に係る映像表示方法の一例を示す図である。図２で示す映像表示について、表示方法の制御は表示映像制御部０１０４で実行され、映像表示は映像表示部０１０３で実行される。図２において、（ａ）は通常の撮像映像を表示する液晶ディスプレイ、（ｂ）は切出し映像を表示する液晶ディスプレイ、（ｃ）は表示領域を水平に二分割し通常の撮像映像と切出し映像を並べて表示する液晶ディスプレイ、（ｄ）は表示領域を小領域とその他の領域に二分割し通常の撮像映像と切出し映像を重ねて表示する液晶ディスプレイの図である。ここで、映像表示部０１０３で表示する通常の撮像映像とは、撮像部０１０１の出力する映像表示部０１０３の表示領域の解像度に合わせて出力された表示用映像データを再生したものに相当し、映像表示部０１０３で表示する切出し映像とは、切出し映像生成部０１０２の出力する切出し映像データを再生したものに相当する。なお、図２（ａ）において、点線は実際の映像には表示される被写体像ではなく、便宜上に切出し映像の切出し領域を示したものであり、図２（ｂ）の映像は図２（ａ）の点線で囲まれた領域を等倍で表示したものに相当する。このように、実際の撮像映像の解像度と同じ解像度で液晶ディスプレイ上に表示するため、映像の縮小処理による画質劣化などの影響を受けずに視認性が向上する。そのため、ユーザが液晶ディスプレイで映像を確認しながら撮影する場合に、注目する被写体付近のオートフォーカスやオート露光の合い具合を確認したり、より正確にマニュアルでのフォーカス操作や露光操作などを行うことができる。なお、この例では切出し映像を等倍で表示しているが、液晶ディスプレイの画素ピッチは通常のＴＶモニタやＰＣディスプレイと比べて非常に小さいため、所定の倍率に拡大して表示しても良い。このとき、例えば整数倍で拡大処理を行えば、補間処理による画質劣化を極力抑えることができる。また、切出し映像を生成する際の、映像の切出し領域の決定や、拡大する際の倍率は、例えば出荷時にいくつかのモードを設けて設定値をＥＥＰＲＯＭに書き込み、ユーザがメニュー画面を見て不図示の入力インタフェースから入力して選択できるようにしても良いし、ユーザが不図示のジョイダイアルやタッチパネルを用いて映像の切出し領域を自由に設定できる形態をとっても良い。これにより、ユーザが注目する領域を簡単に等倍または拡大表示して視認性を向上することができる。また、図２（ｃ）や図２（ｄ）のように、通常の撮像映像と切出し映像を同時に表示することで、全体の画角と詳細な被写体映像をユーザが同時に見られるようにしても良い。これにより、撮影時に、全体の構図の確認と、被写体近辺でのフォーカスや露光の確認を同時に行うことができる。このとき、図２（ｃ）のように２つの映像を並べて表示すれば、重なりなく２つの映像を確認することができるし、図２（ｄ）のように２つの映像を重ねて表示すれば、映像の縦横比を維持したまま２つの映像を確認できるという利点がある。なお、図２の各図において、表示映像の左上には、「ＭＦ」または「ＭＦ ｘ１」の文字が記載されている。ここで、ＭＦは本撮像装置がマニュアルフォーカスでフォーカス制御を行っていることを示し、ｘ１は映像が等倍表示であることを示している。このように、撮像装置の各機能の状態や切出し映像の拡大倍率などの文字情報を重畳表示することにより、ユーザが現在の使用状況を一目で確認できるようにしても良い。

図３は本発明の第１実施例に係る映像表示方法の制御シーケンスの一例を示す第一の図である。図３の映像表示方法の制御シーケンスは表示映像制御部０１０４で実行される。

図３の映像表示方法の制御シーケンスにおいて、ＳＴ０３０１では、撮像装置の起動後、通常の撮像映像を映像表示部０１０３が表示するように制御する。ＳＴ０３０２では、マニュアルフォーカス操作部から、ユーザがマニュアルフォーカスを操作しているかどうかの操作情報を取得し、操作を検知していればＳＴ０３０３に、検知していなければＳＴ０３０４に分岐する。ＳＴ０３０３では、切出し映像を映像表示部０１０３が表示するように制御する。ＳＴ０３０４では、マニュアルズーム操作部から、ユーザがマニュアルズームを操作しているかどうかの操作情報を取得し、操作を検知していればＳＴ０３０５に、検知していなければＳＴ０３０６に分岐する。ＳＴ０３０５では、通常の撮像映像を映像表示部０１０３が表示するように制御する。ＳＴ０３０６では、不図示の電源スイッチで撮像装置の電源を落とすなどの液晶ディスプレイでの表示の終了条件がないか判定し、液晶表示の終了条件があればシーケンスを終了し、なければＳＴ０３０３から繰り返す。このようにマニュアルフォーカス操作時とマニュアルズーム操作時で異なる映像表示方法の制御を自動で行うことで、ユーザはマニュアルフォーカス操作時には切出し映像を見ながら正確なフォーカス操作を行い、マニュアルズーム操作時には通常の撮像映像を見ながら全体の画角を確認して構図の決定ができるといったように、ユーザの使用状況に応じた映像表示を行うことができるようになる。なお、本シーケンスではフォーカス操作判定後にズーム操作の判定を行っているが、これは一例を示したものであり、この順番が逆であったり同時に判定を行ったりしても当然構わない。また、マニュアルフォーカス操作時に表示する映像が、切出し映像の代わりに図２（ｃ）や図２（ｄ）で示したような合成映像であっても良く、マニュアルフォーカス操作時とマニュアルズーム操作時で表示する映像の表示方法をメニュー画面等でユーザが事前に選択する形態にして、ユーザが好みの映像を見ながら操作を行えるようにしても良い。

図４は、本発明の第１実施例に係る撮像装置を示す第二の模式図である。図４において０１０１は撮像部、０１０２は切出し映像生成部、０１０３は映像表示部、０１０４は表示映像制御部、０４０７は映像記録部、０４０８は録画操作部である。

図４に示した撮像装置において、撮像部０１０１及び切出し映像生成部０１０２及び映像表示部０１０３は図１で示した撮像装置の例と同様の作用を行う。表示映像制御部０１０４は、録画操作部０４０８から録画操作の情報を取得し、それを元に映像表示部０１０３の映像表示方法を決定して、その制御情報を映像表示部０１０３に出力する。映像表示方法の決定方法は図５を用いて後述する。映像記録部０４０７は動画像処理ＬＳＩを備え、撮像部０１０１の出力する映像データを動画像圧縮処理し、圧縮映像データとしてＤＶＤやＢＤやＨＤＤなどの記録媒体に記録する。録画操作部０４０８は押下ボタンなどの録画操作入力インタフェースを備え、録画操作入力インタフェースの入力情報を元に、映像記録部０４０７が録画を開始したり一時停止したり停止するタイミングを制御する。また、録画操作部０４０８は録画操作を行っているかどうかの情報を表示映像制御部０１０４に出力する。なお、録画操作部０４０８で行う録画のタイミングの制御は、通常はカメラ内のマイコンやカメラ信号処理DSPなどによって行われる。

図５は、本発明の第１実施例に係る映像表示方法の制御シーケンスの一例を示す第二の図である。図５の映像表示方法の制御シーケンスは表示映像制御部０１０４で実行される。

図５の映像表示方法の制御シーケンスにおいて、ＳＴ０５０１では、録画操作部から、録画開始を行うユーザ操作があるかどうかの操作情報を取得し、操作を検知していればＳＴ０５０２に進み、検知していなければ処理を終了する。ＳＴ０５０２では、現在の映像表示方法にかかわらず通常の撮像映像を映像表示部０１０３が表示するように制御する。このように、実際に撮影を行っている間はユーザがフォーカスや露光のマニュアル制御を行う頻度が少ないことを考慮し、切出し映像を映像表示部０１０３が表示している場合でも、録画を開始するタイミングで表示方法を自動で通常の撮像映像に切り替えることで、ユーザが全体の画角を確認することができ、快適な操作を行うことができる。また、録画時に表示する映像を、通常の撮像映像の代わりに図２（ｃ）や図２（ｄ）で示したような合成映像であっても良く、録画時に表示する映像の表示方法や、本制御を行うかどうかをメニュー画面等でユーザが事前に選択する形態にして操作性向上を図っても良い。

図６は、本発明の第１実施例に係る撮像装置を示す第三の模式図である。図６において０１０１は撮像部、０１０２は切出し映像生成部、０１０３は映像表示部、０１０４は表示映像制御部、０１０５はマニュアルフォーカス操作部、０６０９はオートフォーカス制御部、０６１０はフォーカス制御選択操作部である。

図６に示した撮像装置において、撮像部０１０１及び切出し映像生成部０１０２及び映像表示部０１０３及びマニュアルフォーカス操作部０１０５は図１で示した撮像装置の例と同様の作用を行う。表示映像制御部０１０４は、フォーカス制御選択操作部０６１０からフォーカス制御選択操作の情報を取得し、それを元に映像表示部０１０３の映像表示方法を決定して、その制御情報を映像表示部０１０３に出力する。映像表示方法の決定方法と表示内容は図７を用いて後述する。オートフォーカス制御部０６０９は、撮像部０１０１の出力する映像データを元に合焦する適切なフォーカス位置を演算し、その演算結果に基づいて撮像部０１０１のフォーカスレンズの位置を制御する。フォーカス制御選択操作部０６１０は、押下ボタンなどのフォーカス制御選択操作入力インタフェースを備え、フォーカス制御選択操作入力インタフェースの入力情報を元に、撮像部０１０１のフォーカス位置の制御を、マニュアルフォーカス操作部０１０５とオートフォーカス制御部０６０９のどちらで行うかを切り替える。また、フォーカス制御選択操作部０６１０はフォーカス制御選択操作入力インタフェースの入力情報を表示映像制御部０１０４に出力する。なお、オートフォーカス制御部０６０９で行う合焦するフォーカス位置の演算処理は、通常はカメラ内のマイコンやカメラ信号処理DSPなどによって行われる。

図７は、本発明の第１実施例に係る映像表示方法の切り替え制御の一例を示す図である。図７で示す映像表示方法の切り替え制御は表示映像制御部０１０４で実行される。図７において、（ａ）はフォーカス制御方法がオートフォーカスで映像表示方法が通常の撮像映像、（ｂ）はフォーカス制御方法がオートフォーカスで映像表示方法が切出し映像、（ｃ）はフォーカス制御方法がマニュアルフォーカスで映像表示方法が通常の撮像映像、（ｄ）はフォーカス制御方法がマニュアルフォーカスで映像表示方法が切出し映像、のときの液晶ディスプレイの図である。表示映像制御部０１０４は、フォーカス制御選択操作部０６１０が一回入力を受け付けるたびに、図７（ａ）、図７（ｂ）、図７（ｃ）、図７（ｄ）の順番でフォーカスの制御方法と映像表示方法をそれぞれ切り替える。これによりユーザは例えば押下ボタンを何回か押すといったような簡単な操作で、オートフォーカスとマニュアルフォーカスの切り替え、および通常の撮像映像表示と切出し映像表示の切り替えを行うことができるようになり、操作性の向上が実現できる。ここでは押下ボタンによる操作を例に挙げたが、回転ダイアルやタッチパネルの操作などで制御を行うようにしても良い。

以上の図１および図４および図６で示した３つの構成は、各々の効果を明確にするために構成を分けて説明したものであり、もちろん撮像装置が全ての構成および機能を有していても構わない。この場合、例えば、マニュアルフォーカス操作時とマニュアルズーム操作時で映像表示方法を切り替える、または、録画開始のタイミングで映像表示方法を切り替える、または、押下ボタンの操作で映像表示方法を切り替えるといった全ての映像表示方法の制御を有効としても良いし、必要な制御をユーザがメニュー画面から選択できるようにしても良い。

また、本構成では映像表示部０１０３において、撮像部０１０１の出力する撮像映像と切出し映像生成部０１０２の出力する切出し映像の一方の映像または双方の映像を合成したものを表示するが、撮像装置が撮像部０１０１の撮像する１画面文の映像データを格納するフレームメモリを持ち、映像表示部０１０３がフレームメモリの各画素のデータの読み方を制御することでも同等の効果を実現できる。例えば、図２（ｃ）に示す表示映像を生成する場合は、まず撮像部０１０１の出力する撮像映像の１ライン分を一定画素置きに読み込み、次に切出し領域内のデータを一定画素置きに１ライン分読み込む。これを液晶ディスプレイのライン数分繰り返せば良い。このようにフレームメモリの読み込み方を制御することで表示映像を生成する方法は、制御が複雑になる反面、切出し映像データを別途生成する必要がないという利点がある。

かように本実施例によれば、液晶ディスプレイなどの表示モニタを有する撮像装置において、映像の一部を等倍または拡大表示することで視認性の向上と、フォーカスや露光をマニュアルで行うときの操作性の向上を実現すると共に、表示方法の切り替えをユーザの操作に応じて行うことで、ユーザの利便性の向上を実現できる。

図８は、本発明の第２実施例に係る撮像装置を示す模式図である。図８において０１０１は撮像部、０１０２は切出し映像生成部、０１０３は映像表示部、０１０４は表示映像制御部、０８１１は被写体認識部である。

図８に示した撮像装置において、撮像部０１０１はズーム及びフォーカスが可変な撮像部であり、ズームレンズ及びフォーカスレンズを含むレンズ群や、シャッタや、CCDまたはCMOSなどの撮像素子や、AGCや、ADや、カメラ信号処理DSPや、動画像処理LSIや、タイミングジェネレータ等から構成され、光電変換による撮像を行い、映像データと、映像表示部０１０３の表示領域の解像度に合わせて縮小した表示用映像データを出力する。表示用映像データは元の映像データを一定画素毎に間引いて生成しても良いし、動画像処理LSIを用いてフィルタ演算による画像縮小処理を行って生成しても良い。映像データは不図示の映像記録部に出力することで、DVDやBDやHDDなどの記録媒体に動画や静止画を記録したり、不図示のTVモニタやPCディスプレイに出力して表示したりすることが可能である。切出し映像生成部０１０２は撮像部０１０１の出力する映像データの所定の領域を選択し、領域内の映像を等倍または所定の倍率に拡大して切出し映像データとして出力する。映像表示部０１０３は、撮像装置に付属する液晶ディスプレイなどのモニタ部であり、表示映像制御部０１０４の出力する映像表示方法の制御情報に基づき、撮像部０１０１の出力する表示用映像データ、または、切出し映像生成部０１０２の出力する切出し映像データを取得して表示する。表示映像制御部０１０４は、被写体認識部０８１１から被写体認識結果を取得し、それを元に映像表示部０１０３の映像表示方法を決定して、その制御情報を映像表示部０１０３に出力する。被写体認識部０８１１は撮像部０１０１の出力する映像データを元に画像認識処理で被写体の検出や追跡などを行い、被写体認識結果を表示映像制御部０１０４に出力する。また、被写体認識部０８１１は、被写体認識結果を元に切出し映像生成部０１０２の切出す領域の位置や範囲を決定し、切出し映像生成部０１０２に出力する。ここで被写体とは人物の顔などの特徴のある領域や動体などの注目対象を指し、被写体を検出するには既存の顔検出技術や動体検出技術などを用いれば良い。また、被写体の追跡には、フレーム間でそれぞれ被写体検出を行い検出結果を相関付けるか、オプティカルフローやフレーム間差分などの既存の追跡技術を用いれば良い。なお、被写体認識部０８１１で行う画像認識処理は、通常はカメラ内のマイコンやカメラ信号処理ＤＳＰや専用のＬＳＩなどによって行われる。

図９は、本発明の第２実施例に係る切出し映像の切出し領域の制御方法の一例を示す図である。図９において、（ａ）は一定フレーム経過前後の撮像映像、（ｂ）は一定フレーム経過前後の対応する切出し映像を表示する液晶ディスプレイの図であり、０９０１＿１は一定フレーム経過前における切出し領域、０９０１＿２は一定フレーム経過後における切出し領域、０９０２＿１は一定フレーム経過前における被写体人物、０９０２＿２は一定フレーム経過後における被写体人物である。なお、図９（ａ）における点線や矢印は説明を分かりやすくするために便宜的に表示しているものであり、実際の撮影画像中の被写体像ではない。図９を用いて切出し映像の切出し領域の制御方法の動作を説明する。一定フレーム経過前において、ユーザが被写体人物０９０２＿１付近の領域０９０１＿１を液晶ディスプレイ上で等倍表示していたとする。このとき、被写体認識部０８１１は、切出し領域０９０１＿１に含まれる被写体人物０９０２＿１の検出を行う。一定フレームが経過し、被写体人物が図中矢印の方向に移動した場合、被写体人物は画像認識による追跡処理により、移動後の被写体人物０９０２＿２を検出し、その移動量や移動方向などを元に、切出し領域をシフトするよう制御する。その制御情報を切出し映像生成部０１０２に出力し、切出し映像生成部が制御情報を元に切出し領域を変更することで、図９（ｂ）のように被写体移動後も移動前と切出し映像内での位置が変わらないように制御することが可能となる。これにより、ユーザがフォーカスや露光を合わせたい被写体が移動した場合でも、自動で等倍または拡大表示する領域を追従し、容易に正確なフォーカスや露光の合わせが実現できる。なお、この例では被写体が一つの場合で説明したが、被写体が複数存在する場合には、ユーザが不図示のタッチパネルなどで注目する被写体を選択できたり、被写体認識部０８１１が切出し領域内の各々の被写体の位置や面積比を検出してそれぞれに重み付け、注目する被写体を決定するようにしても良い。また、被写体が前方または後方に移動し、被写体の切出し映像中の面積が変わった場合には、被写体面積から切出し映像の拡大倍率を制御し、常に同程度の大きさで表示されるようにしても良い。なお、画像認識を用いた被写体追跡を行う場合には、被写体の移動速度が遅い場合には、切出し領域内だけで追跡処理を行い、処理コストの低減を図っても良い。被写体の移動速度が速く、切出し領域の画角外に出てしまう場合には、通常の撮像映像の全画角で追跡処理を行い、切出し領域の画角外に出た被写体も追跡できるようにすれば良い。

図１０は、本発明の第２実施例に係る映像表示方法の制御方法の一例を示す第一の図である。図１０において、（ａ）は一定フレーム経過前後の撮像映像、（ｂ）は一定フレーム経過前後の対応する切出し映像を表示する液晶ディスプレイの図であり、１００１＿１は一定フレーム経過前における切出し領域、１００１＿２は一定フレーム経過後における切出し領域、１００２＿１は一定フレーム経過前における第一の被写体人物、１００２＿２は一定フレーム経過後における第一の被写体人物、１００３は一定フレーム経過後における第二の被写体人物である。なお、図１０（ａ）における点線は説明を分かりやすくするために便宜的に表示しているものであり、実際の撮影画像中の被写体像ではない。図１０を用いて映像表示方法の制御方法の動作を説明する。一定フレーム経過前において、ユーザが第一の被写体人物１００２＿１付近の領域１００１＿１を液晶ディスプレイ上で等倍表示していたとする。被写体認識部０８１１は切出し領域１００１＿１の領域外でも毎フレームまたは一定フレームおきに被写体検出処理を行う。一定フレーム経過後、被写体認識部０８１１が切出し領域１００１＿２の領域外で第二の被写体１００３を検出したら、検出結果を表示映像制御部０１０４に出力する。映像表示方法０１０４は検出結果を受け、図１０（ｂ）のように表示映像を通常の撮像映像に切り替えるように制御する。これにより、ユーザが切出し映像のみを確認して操作を行っている場合でも、撮像の画角内に新規の被写体が入ってきたら、自動で全体の画角が見られるように切り替わるため、画角内に荷入ってきた被写体を見逃すことなく、被写体の確認や構図の把握が容易に行えるようになる。

かように本実施例によれば、液晶ディスプレイなどの表示モニタを有する撮像装置において、映像の一部を等倍または拡大表示することで視認性の向上と、フォーカスや露光をマニュアルで行うときの操作性の向上を実現すると共に、拡大表示する領域の位置や大きさの変更や、映像の表示方法の切り替えを画像認識により自動で行うことで、ユーザの利便性の向上を実現できる。

図１１は本発明の第３実施例に係る撮像装置を示す模式図である。図１において１１０１＿１は第一の撮像部、１１０１＿２は第二の撮像部、０１０２は切出し映像生成部、０１０３は映像表示部、０１０４は表示映像制御部、１１１１はステレオ画像処理部である。

図１１に示した撮像装置において、第一の撮像部１１０１＿１および第二の撮像部１１０１＿２はそれぞれズーム及びフォーカスが可変な撮像部であり、ズームレンズ及びフォーカスレンズを含むレンズ群や、シャッタや、CCDまたはCMOSなどの撮像素子や、AGCや、ADや、カメラ信号処理DSPや、動画像処理LSIや、タイミングジェネレータ等から構成され、光電変換による撮像を行い、映像データを出力する。ステレオ画像処理部１１１１は、第一の撮像部１１０１＿１および第二の撮像部１１０１＿２の出力する映像データを用いてステレオ画像処理を行い、被写体の３次元計測を行って、視差情報や距離情報や３次元位置情報や３次元計測の信頼性を示す評価値などを３次元情報として出力する。また、第一の撮像部１１０１＿１または第二の撮像部１１０１＿２の一方の映像データか、両方の映像データを合成した映像データを映像表示部０１０３の表示領域の解像度に合わせて縮小した表示用ステレオ映像データを出力する。表示用ステレオ映像データは元の映像データを一定画素毎に間引いて生成しても良いし、動画像処理LSIを用いてフィルタ演算による画像縮小処理を行って生成しても良い。ステレオ画像処理には、レンズ歪み補正処理や平行化処理などのキャリブレーション処理や、ノイズ除去を行うためのローパスフィルタ処理等の前処理や、エッジ検出等の特徴量演算処理、正規化相互相関や差分絶対値和等のブロックマッチングやspace-sweep法等の各種の相関演算処理を用いてステレオ画像間の対応付けを行い視差情報を取得するステレオマッチング処理、ランクフィルタ処理やラベリング等により特異点の除去を行う後処理、視差情報を用いて距離情報を演算する距離計算処理などがあり、処理の途中で得られる情報、すなわち例えばステレオマッチング処理を行った場合の対応付け結果などを出力することもできる。切出し映像生成部０１０２は第一の撮像部１１０１＿１または第二の撮像部１１０１＿２の出力する映像データの所定の領域を選択し、領域内の映像を等倍または所定の倍率に拡大して切出し映像データとして出力する。ここで映像の切出し領域は、不図示のインタフェースから入力してもよいし、ステレオ画像処理部１１１１の出力する各種の演算結果を元に決定しても良い。切出し領域の決定方法の一例を図１２を用いて後述する。また、第一の撮像部１１０１＿１の出力する映像データから生成した第一の切出し映像と、第二の撮像部１１０１＿２の出力する映像データから生成した第二の切出し映像とを、合成してステレオ切出し映像を生成し、出力しても良い。映像表示部０１０３は、撮像装置に付属する液晶ディスプレイなどのモニタ部であり、表示映像制御部０１０４の出力する映像表示方法の制御情報に基づき、ステレオ画像処理１１１１の出力する表示用ステレオ映像データ、または、切出し映像生成部０１０２の出力する切出し映像データ乃至ステレオ切出し映像データを取得して表示する。表示映像制御部０１０４は、不図示のインタフェースの入力情報や、ステレオ画像処理部１１１１の出力する各種の演算結果を取得し、それを元に映像表示部０１０３の映像表示方法を決定して、その制御情報を映像表示部０１０３に出力する。なお、ステレオ画像処理部１１１１の行うステレオ画像処理は、通常はカメラ内のマイコンやDSPや画像処理LSIなどによって行われる。また、ここでは構成として２つの撮像部を用いた場合を示したが、撮像部は２つに限る必要はなく、異なる位置に設置した３つ以上の複数の撮像部であってもよい。また、ステレオ撮像部０２０１がミラーやプリズムを用いて構成され、１つの撮像素子から構成される１つの撮像部を持つ形態としても良い。

図１２は、本発明の第３実施例に係る映像表示方法の一例を示す図である。図１２において、（ａ）は左右に設置された２つのカメラのうち、左カメラにおける通常の撮像映像、（ｂ）は右カメラにおける通常の撮像映像、（ｃ）は左右カメラの切出し合成映像を表示する液晶ディスプレイの図であり、１２０１＿１は左カメラの撮像映像における切出し領域、１２０１＿２は右カメラの撮像映像における切出し領域、１２０２＿１は左カメラの撮像映像における被写体人物、１２０２＿２は左カメラの撮像映像における被写体人物である。なお、図１２（ａ）および図１２（ｂ）における点線は説明を分かりやすくするために便宜的に表示しているものであり、実際の撮影画像中の被写体像ではない。図１２を用いて映像表示方法の制御方法の動作を説明する。図１２（ａ）に示す左カメラの撮像映像において、切出し映像生成部０１０２は、被写体人物１２０２＿１近辺の領域１２０１＿１の映像を切り出す。映像の切出し領域の決定は、例えば出荷時にいくつかのモードを設けて設定値をＥＥＰＲＯＭに書き込み、ユーザがメニュー画面を見て不図示の入力インタフェースから入力して選択できるようにしても良いし、ユーザが不図示のジョイダイアルやタッチパネルを用いて映像の切出し領域を自由に設定できる形態をとっても良い。ステレオ画像処理部１１１１は、左カメラの被写体人物１２０２＿１に対応する右カメラの被写体人物１２０２＿２をステレオマッチング処理により検出して、検出結果を切出し映像生成部０１０２に出力する。ステレオマッチング処理は、例えば領域１２０１＿１をテンプレートとして、領域ベースのマッチング処理で検出して行っても良いし、領域１２０１＿１内の特徴点を検出して、特徴点ベースのマッチング処理で各特徴点の対応点を検出し、重み付けした結果を統合して対応領域を判定することで行っても良い。切出し映像生成部０１０２は、左カメラの切出し映像における被写体人物１２０２＿１の位置と、右カメラの切出し映像における被写体人物１２０２＿２の位置がほぼ同一になるように右カメラの撮像映像における切出し領域１２０１＿２を決定する。切出し映像生成部０１０２は、左カメラと右カメラのそれぞれの切出し映像を合成して生成することで、図１２（ｃ）のように、各カメラの被写体近辺を等倍ないし拡大して表示することが可能となる。なお、この例では左カメラを基準に右カメラの撮像映像でステレオマッチング処理を行ったが、右カメラを基準に左カメラの撮像映像でステレオマッチング処理を行っても構わない。このように、左右のカメラの対応する被写体近辺を並べて等倍または拡大表示することで、ユーザは左右のカメラの撮像映像のフォーカスや露光の合い具合を同時に確認しながら、フォーカス操作や露光操作が行える。そのため、左右のカメラの画角が違うために同一の被写体に対して微妙にカメラ間でフォーカスや露光の合い具合が変わってしまうような場合でも、より正確なカメラ間のフォーカス位置や露光状態の統一が行えるようになり、ステレオ画像処理におけるステレオマッチング処理や３次元計測の精度を向上することができる。

かように、本実施例によれば、液晶ディスプレイなどの表示モニタを有し、複数の撮像部を持つ撮像装置において、撮像部間で対応する被写体近辺を等倍または拡大表示することで、ユーザがフォーカスや露光を合わせる際の視認性を向上することができ、それによりステレオ画像処理の演算精度の向上を補助することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

以上、本発明の好適な実施例を説明した。

本発明によれば、液晶ディスプレイなどの表示モニタを持つビデオカメラやスチルカメラにおいて、簡潔な操作あるいは自動制御で表示モニタ上の映像を切り替えることにより、ユーザが表示モニタをみながら各種機能を使用する際の利便性を向上することが可能となる。

また、本発明は民生カメラや監視カメラや立体視カメラに利用可能である。

０１０１ 撮像部
０１０２ 切出し映像生成部
０１０３ 映像表示部
０１０４ 表示映像制御部
０１０５ マニュアルフォーカス操作部
０１０６ マニュアルズーム操作部
０４０７ 映像記録部
０４０８ 録画操作部
０６０９ オートフォーカス制御部
０６１０ フォーカス制御選択操作部
０８１１ 被写体認識部
０９０１＿１ 一定フレーム経過前における切出し領域
０９０１＿２ 一定フレーム経過後における切出し領域
０９０２＿１ 一定フレーム経過前における被写体人物
０９０２＿２ 一定フレーム経過後における被写体人物
１００１＿１ 一定フレーム経過前における切出し領域
１００１＿２ 一定フレーム経過後における切出し領域
１００２＿１ 一定フレーム経過前における第一の被写体人物
１００２＿２ 一定フレーム経過後における第一の被写体人物
１００３ 一定フレーム経過後における第二の被写体人物
１１０１＿１ 第一の撮像部
１１０１＿２ 第二の撮像部
１１１１ ステレオ画像処理部
１２０１＿１ 左カメラの撮像映像における切出し領域
１２０１＿２ 右カメラの撮像映像における切出し領域
１２０２＿１ 左カメラの撮像映像における被写体人物
１２０２＿２ 右カメラの撮像映像における被写体人物

Claims (10)

1. 撮像素子と、
   前記撮像素子を介して撮像された撮像映像を表示可能な映像表示部と、
   前記映像表示部に表示された撮像映像に含まれる被写体を選択可能なタッチパネルと、
   前記映像表示部に、前記撮像素子が撮像した撮像映像、又は、前記撮像素子が撮像した撮像映像の一部の領域を切出して拡大表示するための切出し映像、を表示するように制御する制御部と、
   ユーザが手動操作によりフォーカス位置を制御するためのマニュアルフォーカス操作手段と、
   動画撮影の際に前記撮像素子を介して撮像された撮像映像の録画の開始及び終了をユーザが操作することが可能な録画ボタンと、
   を備え、
   前記制御部は、
   前記映像表示部に表示された撮像映像に含まれる被写体が前記タッチパネルにより選択されると、前記選択された被写体を認識して追跡するように制御し、
   前記タッチパネルにより選択され追跡される被写体の撮像映像における位置に応じて、前記切出し映像として前記撮像映像から切り出される領域を変えるように制御し、
   かつ、前記被写体を含む切出し映像が前記映像表示部に表示されているときに、前記マニュアルフォーカス操作手段による操作を検知すると、前記切出し映像を前記映像表示部に表示したまま、前記検知した操作に応じてフォーカス位置を変えるように制御する制御モードを備え、
   さらに、前記被写体を含む切出し映像が前記映像表示部に表示されているときに、前記録画ボタンによる動画撮影における録画の開始の操作を検知すると、前記検知した録画の開始の操作に応じて前記切出し映像から切り替えて前記撮像映像を前記映像表示部に表示するように制御することを特徴とする撮像装置。
2. 請求項１記載の撮像装置であって、
   前記制御部は、前記被写体が前記映像表示部に表示されている切出し映像の画角外に出た場合でも、前記撮像映像の画角内で前記被写体の追跡処理を継続するように制御すること特徴とする撮像装置。
3. 請求項１又は２記載の撮像装置であって、
   前記制御部は、前記映像表示部に表示されている切出し映像中における前記被写体の面積が変わった場合に、前記切出し映像の拡大倍率を変えるように制御することを特徴とする撮像装置。
4. 請求項１乃至３のいずれかに記載の撮像装置であって、
   前記制御部は、前記被写体を含む切出し映像が前記映像表示部に表示されているときに、他の被写体が前記撮像映像の画角内に入ったことを検知すると、前記切出し映像から切り替えて前記撮像映像を前記映像表示部に表示するように制御することを特徴とする撮像装置。
5. 撮像素子と、
   前記撮像素子を介して撮像された撮像映像を表示可能な映像表示部と、
   前記映像表示部に表示された撮像映像に含まれる被写体を選択可能なタッチパネルと、
   前記映像表示部に、前記撮像素子が撮像した撮像映像、又は、前記撮像素子が撮像した撮像映像の一部の領域を切出して拡大表示するための切出し映像と前記撮像映像との重畳映像、を表示するように制御する制御部と、
   ユーザが手動操作によりフォーカス位置を制御するためのマニュアルフォーカス操作手段と、
   動画撮影の際に前記撮像素子を介して撮像された撮像映像の録画の開始及び終了をユーザが操作することが可能な録画ボタンと、
   を備え、
   前記制御部は、
   前記映像表示部に表示された撮像映像に含まれる被写体が前記タッチパネルにより選択されると、前記選択された被写体を認識して追跡するように制御し、
   前記タッチパネルにより選択され追跡される被写体の撮像映像における位置に応じて、前記切出し映像として前記撮像映像から切り出される領域を変えるように制御し、
   かつ、前記被写体を含む切出し映像が撮像映像との重畳映像として前記映像表示部に表示されているときに、前記マニュアルフォーカス操作手段による操作を検知すると、前記切出し映像を前記映像表示部に表示したまま、前記検知した操作に応じてフォーカス位置を変えるように制御する制御モードを備え、
   さらに、前記被写体を含む切出し映像が撮像映像との重畳映像として前記映像表示部に表示されているときに、前記録画ボタンによる動画撮影における録画の開始の操作を検知すると、前記検知した録画の開始の操作に応じて前記重畳映像から切り替えて前記撮像映像を前記映像表示部に表示するように制御することを特徴とする撮像装置。
6. 請求項５記載の撮像装置であって、
   前記制御部は、前記被写体が前記映像表示部に表示されている切出し映像の画角外に出た場合でも、前記撮像映像の画角内で前記被写体の追跡処理を継続するように制御することを特徴とする撮像装置。
7. 請求項５又は６記載の撮像装置であって、
   前記制御部は、前記映像表示部に表示されている切出し映像中における前記被写体の面積が変わった場合に、前記切出し映像の拡大倍率を変えるように制御することを特徴とする撮像装置。
8. 請求項５乃至７のいずれかに記載の撮像装置であって、
   前記制御部は、前記被写体を含む切出し映像が撮像映像との重畳映像として前記映像表示部に表示されているときに、他の被写体が前記撮像映像の画角内に入ったことを検知すると、前記重畳映像から切り替えて前記撮像映像を前記映像表示部に表示するように制御することを特徴とする撮像装置。
9. 撮像素子を介して撮像された撮像映像を映像表示部に表示するステップと、
   タッチパネルにより前記映像表示部に表示された撮像映像に含まれる被写体を選択されると、前記選択された被写体を認識して追跡し、追跡される被写体の撮像映像における位置に応じて前記撮像映像の一部の領域を切出して拡大表示するための切出し映像とし、前記映像表示部に前記切出し映像を表示するステップと、
   動画撮影の際にユーザによる録画ボタンの操作を受け、前記撮像素子を介して撮像された撮像映像の録画の開始及び終了を行うステップと、
   ユーザによるマニュアルフォーカス操作手段の操作を受けフォーカス位置を制御するステップと、
   を備え、
   前記被写体を含む切出し映像が前記映像表示部に表示されているときに、前記マニュアルフォーカス操作手段による操作を検知すると、前記切出し映像を前記映像表示部に表示したまま、前記検知した操作に応じてフォーカス位置を変えるとともに、
   前記被写体を含む切出し映像が前記映像表示部に表示されているときに、前記録画ボタンによる動画撮影における録画の開始の操作を検知すると、前記検知した録画の開始の操作に応じて前記切出し映像から切り替えて前記撮像映像を前記映像表示部に表示することを特徴とする撮像装置における映像表示方法。
10. 撮像素子を介して撮像された撮像映像を映像表示部に表示するステップと、
    タッチパネルにより前記映像表示部に表示された撮像映像に含まれる被写体を選択されると、前記選択された被写体を認識して追跡し、追跡される被写体の撮像映像における位置に応じて前記撮像映像の一部の領域を切出して拡大表示するための切出し映像とし、前記切出し映像と前記撮像映像との重畳映像を前記映像表示部に表示するステップと、
    動画撮影の際にユーザによる録画ボタンの操作を受け、前記撮像素子を介して撮像された撮像映像の録画の開始及び終了を行うステップと、
    ユーザによるマニュアルフォーカス操作手段の操作を受けフォーカス位置を制御するステップと、
    を備え、
    前記被写体を含む切出し映像が撮像映像との重畳映像として前記映像表示部に表示されているときに、前記マニュアルフォーカス操作手段による操作を検知すると、前記切出し映像を前記映像表示部に表示したまま、前記検知した操作に応じてフォーカス位置を変えるとともに、
    前記重畳映像が前記映像表示部に表示されているときに、前記録画ボタンによる動画撮影における録画の開始の操作を検知すると、前記検知した録画の開始の操作に応じて前記重畳映像から切り替えて前記撮像映像を前記映像表示部に表示することを特徴とする撮像装置における映像表示方法。

Images