JP2003046848A - 撮像システムおよび撮像プログラム - Google Patents

Abstract

(57)【要約】 【課題】 撮像系の制御を意識せず、被写体の輝度によ
らず適切な映像を生成することができる撮像システムを
提供する。 【解決手段】 動画像として映像を取り扱うことが可能
な撮像システムにおいて、動画撮影または静止画撮影を
選択する撮影切替部８と、静止画撮影が選択された場合
に、動画像として取得される映像情報から静止画像の映
像情報を生成する静止画像生成部２１と、動画像として
取得された映像情報または静止画像生成部２１により生
成された静止画像の映像情報に基づいて撮影状況を推定
する撮影状況推定部２８と、推定された撮影状況に基づ
いて映像情報の階調特性の変更を制御する階調特性変更
制御部２９と、階調特性の変更制御に応じて映像情報の
階調特性を生成する階調特性生成部２５と、その階調特
性に基づいて再生映像情報を生成する映像生成部２６
と、を有することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像システムおよ
び撮像プログラム、より詳しくは、映像内の被写体の状
況に応じて階調を制御することで、入力される映像のダ
イナミックレンジを有効に利用して適切に階調を再現す
ることのできる撮像システムおよび撮像プログラムに関
するものである。

【０００２】

【従来の技術】ビデオカメラ等のような動画像としての
撮影が可能な撮像システムでは、記録された映像の階調
を適切に再現することが、あらゆる用途において重要な
事項である。特に、映像内で注目する被写体（例えば、
家庭用ビデオムービーカメラで撮影された人物、監視用
カメラにおける異常進入物、内視鏡における患部、等）
については、階調の損失を引き起こさず、かつ映像全体
として違和感がないように再現できなければならない。
そのためには、映像の状況に応じて階調再現を行うこと
が必要となる。

【０００３】この動画像としての映像における階調再現
に関連して、従来、以下に説明するような技術が知られ
ている。

【０００４】例えば、特許第２９５１９０９号公報に
は、撮像装置の階調補正装置および階調補正方法に関し
て、１フィールド内で露光量が異なる２種類の映像情報
を入力画像とし、輝度情報に基づいて入力画像の領域分
割を行い、各領域毎に階調補正を行って合成すること
で、被写体に適応した階調補正を実現することが開示さ
れている。

【０００５】また、特開２０００−２５３３８６号公報
には、監視用テレビカメラの制御方法および記録装置に
関して、テレビカメラ画像で進入物体が発見された場合
にカメラのシャッタースピードや絞りを変更すること
で、ぶれがなくかつ適正な輝度の画像を記録することが
開示されている。

【０００６】さらに、特開２００１−１６５００号公報
には、電子内視鏡に関して、画面の中央領域に関する画
像情報のゲインを、周辺領域の画像情報のゲインよりも
所定比率分増幅することで、中央領域の明るさを適切に
することが記述されている。

【０００７】

【発明が解決しようとする課題】ところが、 注目被写
体という観点から階調再現を行うことを考えると、上記
従来技術にはそれぞれ以下に説明するような課題があ
る。

【０００８】すなわち、特許第２９５１９０９号公報に
開示の技術では、露光が異なる２種類の映像情報による
入力画像の輝度情報により領域分割を行って、各領域毎
に独立な階調補正を行なっているため、注目する被写体
が分割された領域に跨って存在する場合には、それぞれ
の階調補正特性により変換され、注目被写体に不連続な
階調が発生する等の違和感を伴うことが考えられる。

【０００９】また、特開２０００−２５３３８６号公報
に開示の技術では、進入物体発見時にカメラの撮像系を
制御しているが、輝度変化の大きい領域において進入物
体が高速に移動する場合（すなわち、進入物体の輝度変
化が大きく変わる場合）には、進入物体の動きに追尾し
てカメラの撮像系をリアルタイムに制御することが困難
となる。

【００１０】さらに、特開２００１−１６５００号公報
に開示の技術では、常に中央部分の明るさが適切となる
ようにゲインを補正制御しており、画像情報に関する考
慮はされていない。このため、撮影状況に対する適応性
に欠け、例えば観察臓器が動いて画面の周辺に患部が映
っている場合は見逃してしまう可能性がある。

【００１１】したがって、かかる点に鑑みてなされた本
発明の第１の目的は、映像内の被写体の状況に応じて映
像再現に必要な階調の制御を行うことで、撮像系の制御
を意識せず、また被写体の輝度によらず適切な映像を生
成することができる撮像システムおよび撮像プログラム
を提供することにある。

【００１２】さらに、本発明の第２の目的は、入力され
る映像自体が持ち得るダイナミックレンジを有効に利用
して映像全体の階調を再現することのできる撮像システ
ムおよび撮像プログラムを提供することにある。

【００１３】

【課題を解決するための手段】上記第１の目的を達成す
る請求項１に係る撮像システムの発明は、動画像として
映像を取り扱うことが可能な撮像システムにおいて、動
画撮影または静止画撮影を選択する撮影切替部と、上記
撮影切替部で静止画撮影が選択された場合に、動画像と
して取得される映像情報から静止画像の映像情報を生成
する静止画像生成部と、動画像として取得された映像情
報または上記静止画像生成部により生成された静止画像
の映像情報に基づいて撮影状況を推定する撮影状況推定
部と、上記撮影状況推定部により推定された撮影状況に
基づいて映像情報の階調特性の変更を制御する階調特性
変更制御部と、上記階調特性変更制御部の制御に応じて
上記映像情報の階調特性を生成する階調特性生成部と、
上記映像情報の階調特性に基づいて再生映像情報を生成
する映像生成部と、を有することを特徴とするものであ
る。

【００１４】請求項１に係る発明によると、撮影切替部
での切替による動画撮影にて取得された動画像の映像情
報、または静止画撮影により静止画像生成部にて生成さ
れた静止画像の映像情報に基づいて、撮影状況推定部で
撮影されたときの状況（例えば被写体の状況、等）が推
定され、その推定結果に基づいて階調特性変更制御部で
階調特性の変更に関する制御が行なわれ、その階調特性
の変更制御に応じて階調特性生成部において推定された
撮影状況を考慮した階調特性が生成され、その階調特性
に基づいて映像生成部にて再生する映像（再生映像情
報）が生成されるので、結果として撮影状況を考慮した
再生映像情報が生成されることになる。

【００１５】このように、請求項１に係る発明では、映
像から撮影時の状況を推定し、その状況を考慮して階調
特性の変更を制御して必要に応じて階調特性を生成し、
その撮影状況を考慮した階調特性を利用することで再生
する映像を生成するようにしたので、撮像系の制御を意
識せず、また被写体の輝度によらず、動画像と静止画像
との両方において、撮影状況に応じて被写体の階調が適
切に再現される映像を生成し、再生することができる。

【００１６】上記第２の目的を達成する請求項２に記載
の撮像システムの発明は、動画像として映像を取り扱う
ことが可能な撮像システムにおいて、動画撮影または静
止画撮影を選択する撮影切替部と、上記撮影切替部で動
画撮影が選択された場合に、所定の時間において一定時
間単位で異なる露光による映像を合成して動画像の広ダ
イナミックレンジ映像情報を生成する動画像生成部と、
上記撮影切替部で静止画撮影が選択された場合に、異な
る露光による映像を合成して静止画像の広ダイナミック
レンジ映像情報を生成する静止画像生成部と、上記動画
像生成部により生成された動画像の映像情報または上記
静止画像生成部により生成された静止画像の映像情報に
基づいて撮影状況を推定する撮影状況推定部と、上記撮
影状況推定部により推定された撮影状況に基づいて映像
情報の階調特性の変更を制御する階調特性変更制御部
と、上記階調特性変更制御部の制御に応じて上記映像情
報の階調特性を生成する階調特性生成部と、上記映像情
報の階調特性に基づいて再生映像情報を生成する映像生
成部と、を有することを特徴とするものである。

【００１７】請求項２に係る発明によると、撮影切替部
での切替による動画撮影では動画像生成部にて所定の時
間において一定時間単位で異なる露光によりダイナミッ
クレンジの広い動画像の映像情報が生成され、また静止
画撮影では静止画像生成部にて異なる露光によりダイナ
ミックレンジの広い静止画像の映像情報が生成される。
生成されたダイナミックレンジの広い映像情報は、撮影
状況推定部において映像情報が撮影されたときの状況
（例えば被写体の状況、等）が推定され、その推定結果
に基づいて階調特性変更制御部において階調特性の変更
に関する制御が行なわれ、その階調特性の変更制御に応
じて階調特性生成部において、推定された撮影状況を考
慮した階調特性が生成され、その階調特性に基づいて映
像生成部にて再生する映像（再生映像情報）が生成され
るので、結果として撮影状況を考慮した再生映像情報が
生成されることになる。

【００１８】このように、請求項２に係る発明では、異
なる露光による映像情報を取得するので、ダイナミック
レンジの広い映像（動画像、静止画像）を生成すること
ができる。したがって、通常の撮影では暗すぎる部分ま
たは明るすぎる部分に被写体が存在しても階調のつぶれ
がない映像を再現することができる。また、映像から撮
影時の状況を推定し、その状況を考慮して階調特性の変
更を制御して必要に応じて階調特性を生成し、その撮影
状況を考慮した階調特性を利用することで再生する映像
を生成するようにしたので、動画像と静止画像との両方
において、入力される映像自体が持ち得るダイナミック
レンジを有効に利用して、撮影状況に応じて被写体の階
調が適切に再現される映像を生成し、再生することがで
きる。

【００１９】請求項３に記載の発明は、請求項１または
２に記載の撮像システムにおいて、上記撮影状況推定部
は、上記映像情報から特徴を抽出する特徴抽出部と、上
記特徴抽出部によって抽出された上記特徴に基づいて上
記映像情報の中で注目する被写体に関する情報を設定す
る注目情報設定部と、を有することを特徴とするもので
ある。

【００２０】請求項３に係る発明によると、撮影状況推
定部では特徴抽出部により映像情報から特徴を抽出し、
抽出された特徴を用いて注目情報設定部により映像情報
の中で注目する被写体に関する情報を設定するので、映
像情報内の特徴の状況に応じて注目被写体に関する情報
を設定することができる。したがって、注目被写体に関
する情報に基づいて階調を制御できるので、請求項１ま
たは２に係る発明の効果に加えて、注目被写体の階調再
現性を向上することができる。

【００２１】請求項４に記載の発明は、請求項１または
２に記載の撮像システムにおいて、上記撮影状況推定部
は、上記映像情報を表示する映像表示部と、上記映像表
示部に表示された上記映像情報に基づいて上記映像情報
の中で注目する被写体に関する情報を設定する注目情報
設定部と、を有することを特徴とするものである。

【００２２】請求項４に係る発明によると、撮影状況推
定部では映像表示部にて映像情報を表示し、表示された
映像情報から注目情報設定部により映像情報の中で注目
する被写体に関する情報を設定するので、表示されてい
る映像情報を観察しながら注目被写体に関する情報を設
定することができる。したがって、注目被写体に関する
情報に基づいて階調を制御できるので、請求項１または
２に係る発明の効果に加えて、注目被写体の階調再現性
を向上することができる。

【００２３】請求項５に記載の発明は、請求項１または
２に記載の撮像システムにおいて、上記撮影状況推定部
は、撮影環境に関する知識情報を記憶する知識情報記憶
部と、上記知識情報記憶部内の上記知識情報に基づいて
上記映像情報の撮影環境を推定する撮影環境推定部と、
上記撮影環境推定部の推定結果に基づいて上記映像情報
の中で注目する被写体に関する情報を設定する注目情報
設定部と、を有することを特徴とするものである。

【００２４】請求項５に係る発明によると、撮影状況推
定部では、知識情報記憶部に記憶されている撮影環境に
関する知識情報に基づいて撮影環境推定部にて映像情報
の撮影環境を推定し、その結果に基づいて注目情報設定
部により映像情報の中で注目する被写体に関する情報を
設定するので、撮影対象が予め決まっている場合に映像
情報がどの対象を撮影しているかを判断することができ
る。したがって、注目被写体に関する情報に基づいて階
調を制御できるので、請求項１または２に係る発明の効
果に加えて、注目被写体の階調再現性を向上することが
できる。

【００２５】請求項６に記載の発明は、請求項１または
２に記載の撮像システムにおいて、上記撮影状況推定部
は、撮影環境に関する知識情報を記憶する知識情報記憶
部と、上記知識情報記憶部内の上記知識情報に基づいて
上記映像情報の撮影環境を推定する撮影環境推定部と、
上記撮影環境推定部の推定結果に基づいて上記映像情報
の階調特性を制御するための制御情報を生成して撮影状
況の推定結果として出力する階調特性制御部と、を有す
ることを特徴とするものである。

【００２６】請求項６に係る発明によると、撮影状況推
定部では、知識情報記憶部に記憶されている撮影環境に
関する知識情報に基づいて撮影環境推定部にて映像情報
の撮影環境を推定し、その結果に基づいて階調特性制御
部により映像情報の階調特性を制御するための制御情報
を生成して、その制御情報を撮影状況の推定結果として
出力するので、撮影対象が予め決まっている場合に映像
情報がどの対象を撮影しているかを判断することができ
ると共に、その撮影対象に応じて階調特性を制御するの
で、請求項１または請求項２の効果に加えて、映像情報
内の対象の階調再現性を向上することができる。

【００２７】請求項７に記載の発明は、請求項３，４ま
たは５に記載の撮像システムにおいて、上記注目情報設
定部は、上記注目する被写体が上記映像情報中に存在す
るか否かを判定する被写体有無判定部と、上記被写体有
無判定部で被写体が存在しない場合に上記映像情報のレ
ベルが第１所定値以上または第１所定値より小さい第２
所定値以下である部分を検知するレベル検知部と、上記
レベル検知部の結果として上記映像情報のレベルが上記
第１所定値以上である部分を検知した場合は上記映像情
報を取得する際の露光を少なくするように制御し、上記
映像情報のレベルが上記第２所定値以下である部分を検
知した場合は上記映像情報を取得する際の露光を多くす
るように制御する露光制御部と、上記被写体有無判定部
で被写体が存在する場合に上記被写体に該当する部分を
注目部分として設定する注目位置設定部と、を有するこ
とを特徴とするものである。

【００２８】請求項７に係る発明によると、注目情報設
定部において注目する被写体が映像情報中に存在するか
否かを被写体有無判定部にて判定し、被写体が存在しな
い場合は映像情報のレベルが第１所定値（飽和レベル）
以上または第１所定値より小さい第２所定値（黒つぶれ
レベル）以下となる部分をレベル検知部にて検知し、こ
の検知結果として、映像情報のレベルが第１所定値（飽
和レベル）以上である部分を検知した場合は映像情報を
取得する際の露光を少なくするように、また映像情報の
レベルが第２所定値（黒つぶれレベル）以下である部分
を検知した場合は映像情報を取得する際の露光を多くす
るように、露光制御部にて映像情報を取得する際の露光
を制御する一方、被写体が存在する場合は注目位置設定
部にて該当部分を注目部分として設定するので、請求項
３〜５に係る発明の効果に加えて、映像情報内の注目す
る被写体が飽和または黒つぶれにより見られない場合
に、映像情報取得時の露光を制御して被写体を見えるよ
うにすることができ、結果的に黒つぶれや白とびのない
被写体を含む映像を再現することができる。

【００２９】請求項８に記載の発明は、請求項３，４ま
たは５に記載の撮像システムにおいて、上記注目情報設
定部は、設定される上記注目する被写体に関する情報と
して少なくとも被写体の輝度レベル情報を含み、上記輝
度レベル情報から注目する被写体の輝度が所定の範囲よ
り暗い側にあるときは上記映像情報を取得する際の露光
を多くするように制御し、注目する被写体の輝度が上記
所定の範囲より明るい側にあるときには上記映像情報を
取得する際の露光を少なくするように制御する露光制御
部を含むことを特徴とするものである。

【００３０】請求項８に係る発明によると、注目する被
写体に関する情報として被写体の輝度情報を含み、この
輝度情報から被写体の輝度が所定の範囲より暗い側にあ
るときは映像情報を取得する際の露光を多くするよう
に、また被写体の輝度が同じ所定の範囲より明るい側に
あるときは映像情報を取得する際の露光を少なくするよ
うに、それぞれ制御する露光制御部を含むことで、被写
体の輝度が適切に再現できなくなった場合でも露光を制
御して被写体を適切な明るさの範囲内に収めることがで
きる。したがって、請求項３〜５に係る発明の効果に加
えて、結果的に黒つぶれや白とびのない被写体を含む映
像を再現することができる。

【００３１】請求項９に記載の発明は、請求項７または
８に記載の撮像システムにおいて、上記露光制御部は、
上記映像情報を取得する際の露光を変える場合に、上記
一定時間単位で異なる露光による映像のうち一以上の映
像について露光を変えるように上記広ダイナミックレン
ジ映像情報の生成を制御することを特徴とするものであ
る。

【００３２】請求項９に係る発明によると、露光制御部
では、一定時間単位で異なる露光による映像のうち一以
上の映像について露光を変えるよう広ダイナミックレン
ジ映像情報の生成を制御するので、広ダイナミックレン
ジの映像情報について入力する映像の段階で被写体の輝
度を適切にするよう露光を制御することができる。した
がって、請求項７または８に係る発明の効果に加えて、
各露光の映像に対応する被写体を黒つぶれや白とびなく
再現することができる。

【００３３】請求項１０に記載の発明は、請求項５また
は６に記載の撮像システムにおいて、上記撮影環境推定
部にて生成される推定結果は、上記知識情報記憶部に記
憶されている上記知識情報のうち上記映像情報に該当す
る情報であることを特徴とするものである。

【００３４】請求項１０に係る発明によると、撮影環境
推定部では、推定結果として映像情報に該当する知識情
報を出力するので、映像情報の撮影対象を判断でき、そ
の結果に基づいて階調を制御することができる。したが
って、請求項５または６に係る発明の効果に加えて、判
断された撮影対象の階調再現性を向上することができ
る。

【００３５】請求項１１に記載の発明は、請求項５に記
載の撮像システムにおいて、上記注目情報設定部は、上
記撮影環境推定部から出力される推定結果と上記映像情
報とを比較して相違のレベルが所定値以上となる部分に
関して処理を行うことを特徴とするものである。

【００３６】請求項１１に係る発明によると、注目情報
設定部では撮影環境推定部から出力される推定結果と映
像情報とを比較して相違が大きい部分に関して処理を行
うので、注目する被写体に関する情報を設定して階調を
制御することができる。したがって、請求項５に係る発
明の効果に加えて、注目被写体の階調再現性を向上する
ことができる。

【００３７】請求項１２に記載の発明は、請求項１また
は２に記載の撮像システムにおいて、上記撮影状況推定
部は、撮影時の合焦情報から推定される合焦位置および
撮影時の測光情報から推定される被写体輝度分布に基づ
いて撮影状況を推定することを特徴とするものである。

【００３８】請求項１２に係る発明によると、撮影時の
合焦情報から推定される合焦位置、および撮影時の測光
情報から推定される被写体輝度分布に基づいて撮影状況
を推定するので、請求項１または２に係る発明の効果に
加えて、撮影状態に対して適応的に撮影状況を推定で
き、結果的に撮影状況に応じて被写体の階調が適切に再
現された映像を生成して再生することができる。

【００３９】請求項１３に記載の発明は、請求項１また
は２に記載の撮像システムにおいて、上記静止画像生成
部は、画面において上記映像情報または上記再生映像情
報のレベルが第３所定値以上または第３所定値より小さ
い第４所定値以下である部分を検知する静止画像レベル
検知部と、上記静止画像レベル検知部により検知された
部分が存在する場合に、静止画像情報として映像情報ま
たは再生映像情報を連続的に取得する連写部と、上記連
写部により取得された静止画像情報群について画面での
位置合わせを行う位置補正部と、上記位置補正部により
補正された上記静止画像情報群を合成して一つの静止画
像情報を生成する静止画像合成部と、を有することを特
徴とするものである。

【００４０】請求項１３に係る発明によると、静止画像
生成部では静止画像レベル検知部で第３所定値（飽和レ
ベル）以上または第３所定値より小さい第４所定値（黒
つぶれレベル）以下となる部分を検知し、その部分が存
在する場合に連写部によって連写して静止画像情報群を
取得し、位置補正部によって静止画像情報郡の位置を合
わせ、静止画像合成部においてこれらを合成して一つの
静止画像情報を生成するので、例えば鏡面反射の影響で
飽和している部分が存在する映像から静止画像を取得す
るときに、同じ部分で飽和していない静止画像情報群を
合成して一つの静止画を生成することができる。したが
って、請求項１または２に係る発明の効果に加えて、飽
和や黒つぶれのない静止画像を生成することができる。

【００４１】請求項１４に記載の発明は、請求項１３に
記載の撮像システムにおいて、上記静止画像合成部は、
上記静止画像情報群のうち基準となる静止画像情報を指
定する基準画像指定部と、上記基準画像指定部により指
定された静止画像情報のレベルが上記第３所定値以上ま
たは上記第４所定値以下である部分に関して、上記指定
された静止画像情報以外の上記静止画像情報群を用いて
補正する基準画像補正部と、を有することを特徴とする
ものである。

【００４２】請求項１４に係る発明によると、静止画像
合成部では基準画像指定部により静止画像情報群中の基
準静止画像情報を指定し、基準画像補正部により基準静
止画像情報で飽和または黒つぶれが生じる部分について
残りの静止画像情報群を用いて補正するので、請求項１
３に係る発明の効果に加えて、静止画像情報群を有効に
利用して飽和や黒つぶれのない静止画像を生成すること
ができる。

【００４３】請求項１５に記載の発明は、請求項１また
は２に記載の撮像システムにおいて、上記階調特性変更
制御部は、上記映像情報において撮影状況の変更が発生
した場合に階調特性を変更するよう制御する変更制御情
報を出力することを特徴とするものである。

【００４４】請求項１５に係る発明によると、映像情報
において撮影状況の変更が発生した場合に階調特性を変
更するよう制御する変更制御情報を出力して階調特性を
更新するので、請求項１または２に係る発明の効果に加
えて、撮影状況の変化に応じて階調特性の変更を制御す
ることができる。しかも、撮影状況に変化があった場合
のみ階調特性を変更するので、常に階調特性を更新する
必要がなく、処理の負荷を軽減することができる。

【００４５】請求項１６に記載の発明は、請求項１また
は２に記載の撮像システムにおいて、上記階調特性変更
制御部は、上記撮影切替部で静止画撮影が選択された場
合に階調特性を変更するよう制御する変更制御情報を出
力することを特徴とするものである。

【００４６】請求項１６に係る発明によると、静止画撮
影では階調特性を変更するよう制御する変更制御情報を
出力して階調特性を更新し、静止画像専用の階調特性を
生成するので、請求項１または２に係る発明の効果に加
えて、静止画像の被写体に関して適切な階調再現性を実
現することができる。

【００４７】請求項１７に記載の発明は、請求項１また
は２に記載の撮像システムにおいて、上記階調特性変更
制御部は、上記注目する被写体に関する情報の時間的変
化を表す評価値を演算し、上記評価値により上記時間的
変化が大きいと判断された場合に階調特性を変更するよ
う制御する変更制御情報を出力することを特徴とするも
のである。

【００４８】請求項１７に係る発明によると、注目する
被写体に関する情報の時間的変化を表す評価値を演算
し、時間的変化が大きいと判断された場合に階調特性を
変更するよう制御する変更制御情報を出力するので、請
求項１または２に係る発明の効果に加えて、注目する被
写体の変化に応じて階調特性の変更を制御することがで
きる。しかも、注目する被写体に変化があった場合のみ
階調特性を変更するので、常に階調特性を更新する必要
がなく、処理の負荷を軽減することができる。

【００４９】請求項１８に記載の発明は、 請求項１ま
たは２に記載の撮像システムにおいて、上記階調特性生
成部は、上記撮影状況推定部で注目する被写体が検知さ
れた場合は、上記映像情報において上記注目する被写体
に該当する部分に関してそれ以外の部分より重みを大き
くするような特性を持つ重み付けパターンを設定し、上
記撮影状況推定部で 注目する被写体が検知されない場
合は、上記映像情報の画面全体に対して一様な重みをつ
ける重み付けパターンを設定し、設定された上記重み付
けパターンを利用して階調特性を生成することを特徴と
するものである。

【００５０】請求項１８に係る発明によると、撮影状況
推定部で 注目する被写体が検知された場合は 映像情報
において注目する被写体に該当する部分をそれ以外の部
分より大きな重みにするような特性を持つ重み付けパタ
ーンを設定し、注目する被写体が検知されない場合は映
像情報の画面全体に対して一様な重みをつける重み付け
パターンを設定することで、注目被写体の有無、位置、
等といった映像情報中の特徴に応じた適応的な重み付け
パターンを設定することができ、さらに階調特性の生成
に重み付けパターンを利用することで、映像の特徴、特
に注目被写体を考慮した階調特性を生成することができ
る。したがって、 請求項１または２に係る発明の効果
に加えて、注目被写体を重要視した階調特性により、注
目被写体の階調再現性に優れた（階調つぶれや極端な強
調のない）映像を生成することができる。

【００５１】請求項１９に記載の発明は、請求項１８に
記載の撮像システムにおいて、上記階調特性生成部は、
上記映像情報から階調特性を生成するための階調特性用
特徴を検出し、上記階調特性用特徴および上記重み付け
パターンを利用して上記映像情報に関するヒストグラム
を作成し、上記ヒストグラムに基づいて階調特性を生成
することを特徴とするものである。

【００５２】請求項１９に係る発明によると、映像情報
から検出される階調特性用特徴（例えばエッジに代表さ
れる周波数特性や鮮鋭度特性、等）および重み付けパタ
ーンから映像情報に関するヒストグラムを作成し、ヒス
トグラムから階調特性を生成するので、請求項１８に係
る発明の効果に加えて、映像情報の特徴に適応的な階調
特性を生成することができ、特徴部の階調が損なわれな
い映像を生成することができる。

【００５３】請求項２０に記載の発明は、請求項３，４
または５に記載の撮像システムにおいて、上記階調特性
生成部は、上記注目情報設定部において設定される上記
注目する被写体に関する情報の画面に占める割合が所定
以上となった場合に、注目する被写体に該当する階調に
制限を設けて上記階調特性を生成することを特徴とす
る。

【００５４】請求項２０に係る発明によると、画面に占
める注目被写体の割合が所定以上となった場合に、注目
被写体に該当する階調に制限を設けて階調特性を生成す
るので、請求項３〜５に係る発明の効果に加えて、注目
被写体の階調の割り当てが必要以上に増加して映像情報
の品質悪化を招くことを防止することができる。

【００５５】請求項２１に記載の発明は、請求項５また
は６に記載の撮像システムにおいて、上記階調特性生成
部は、上記撮影状況推定部の推定結果に対応する上記知
識情報記憶部内の知識情報に基づいて階調特性を生成す
ることを特徴とするものである。

【００５６】請求項２１に係る発明によると、階調特性
生成部で撮影状況推定部の推定結果に対応する知識情報
に基づいて階調特性を生成するので、請求項５または６
に係る発明の効果に加えて、知識情報またはそれを反映
させた階調特性制御のための制御情報を受けて知識情報
に対して適切な階調特性、すなわち映像情報に対して適
切な階調特性を生成でき、映像を再生することができ
る。

【００５７】請求項２２に記載の発明は、 請求項１ま
たは２に記載の撮像システムにおいて、上記映像生成部
は、上記階調特性生成部で生成された階調特性に基づい
て上記映像情報の輝度情報を変換し、上記階調特性によ
る変換前後の上記輝度情報および色再現の理論限界特性
に基づいて上記映像情報の色差情報を変換し、変換され
た輝度情報および色差情報から上記再生映像情報を生成
することを特徴とするものである。

【００５８】請求項２２に係る発明によると、階調特性
により映像情報の輝度情報を変換し、階調特性による変
換前後の輝度情報および色再現の理論限界特性により映
像情報の色差情報を変換して再生映像情報を生成するの
で、請求項１または２に係る発明の効果に加えて、階調
再現性および色再現性が良好な再生映像情報を生成する
ことができる。

【００５９】さらに、上記第１の目的を達成する請求項
２３に記載の 撮像プログラムの発明は、動画像として
映像を取り扱うことが可能な撮像システムの動作を制御
するためのコンピュータに、動画撮影または静止画撮影
を選択する撮影切替機能と、上記撮影切替機能により静
止画撮影が選択された場合に、動画像として取得される
映像情報から静止画像の映像情報を生成する静止画像生
成機能と、動画像として取得された映像情報または上記
静止画像生成機能により生成された静止画像の映像情報
に基づいて撮影状況を推定する撮影状況推定機能と、上
記撮影状況推定機能により推定された撮影状況に基づい
て映像情報の階調特性の変更を制御する階調特性変更制
御機能と、上記階調特性変更制御機能による制御に応じ
て上記映像情報の階調特性を生成する階調特性生成機能
と、上記映像情報の階調特性に基づいて再生映像情報を
生成する映像生成機能と、を実現させることを特徴とす
るものである 。

【００６０】請求項２３に係る発明によると、請求項１
に係る発明と同様に、映像から撮影時の状況を推定し、
その状況を考慮して階調特性の変更を制御して必要に応
じて階調特性を生成し、その撮影状況を考慮した階調特
性を利用することで再生する映像を生成するので、撮像
系の制御を意識せず、また被写体の輝度によらず、動画
像と静止画像との両方において、撮影状況に応じて被写
体の階調が適切に再現される映像を生成し、再生するこ
とができる。

【００６１】さらに、上記第２の目的を達成する請求項
２４に記載の撮像プログラムの発明は、動画像として映
像を取り扱うことが可能な撮像システムの動作を制御す
るためのコンピュータに、動画撮影または静止画撮影を
選択する撮影切替機能と、上記撮影切替機能により動画
撮影が選択された場合に、所定の時間において一定時間
単位で異なる露光による映像を合成して動画像の広ダイ
ナミックレンジ映像情報を生成する動画像生成機能と、
上記撮影切替機能により静止画撮影が選択された場合
に、異なる露光による映像を合成して静止画像の広ダイ
ナミックレンジ映像情報を生成する静止画像生成機能
と、上記動画像生成機能により生成された動画像の映像
情報または上記静止画像生成機能により生成された静止
画像の映像情報に基づいて撮影状況を推定する撮影状況
推定機能と、上記撮影状況推定機能により推定された撮
影状況に基づいて映像情報の階調特性の変更を制御する
階調特性変更制御機能と、上記階調特性変更制御機能に
よる制御に応じて上記映像情報の階調特性を生成する階
調特性生成機能と、上記映像情報の階調特性に基づいて
再生映像情報を生成する映像生成機能と、を実現させる
ことを特徴とするものである 。

【００６２】請求項２４に係る発明によると、請求項２
に係る発明と同様に、異なる露光による映像情報を取得
するので、ダイナミックレンジの広い映像（動画像、静
止画像）を生成することができ、したがって通常の撮影
では暗すぎる部分または明るすぎる部分に被写体が存在
しても階調のつぶれがない映像を再現することができ
る。また、映像から撮影時の状況を推定し、その状況を
考慮して階調特性の変更を制御して必要に応じて階調特
性を生成し、その撮影状況を考慮した階調特性を利用す
ることで再生する映像を生成するようにしたので、動画
像と静止画像との両方において、入力される映像自体が
持ち得るダイナミックレンジを有効に利用して、撮影状
況に応じて被写体の階調が適切に再現される映像を生成
し、再生することができる。

【００６３】

【発明の実施の形態】以下、本発明による撮像システム
および撮像プログラムの実施の形態について図面を参照
して説明する。

【００６４】（第１実施の形態）図１は、本発明の第１
実施の形態における撮像システムとしてのビデオカメラ
（手持ち可能なビデオカメラ）の基本的な構成を示すブ
ロック図である。このビデオカメラは、電子シャッタ機
能を有する単板式のカラーＣＣＤ等からなり、被写体像
を光電変換して画像情報として出力するための撮像素子
１と、この撮像素子１上に被写体像を結像するためのレ
ンズ２と、このレンズ２を通過した光束の通過範囲や通
過時間を制御するための絞り・シャッタ機構３と、撮像
素子１から出力された後に図示しない相関二重サンプリ
ング回路等でノイズ成分の除去が行われた映像情報を増
幅するアンプ４と、このアンプ４により増幅されたアナ
ログ情報をデジタル情報に変換するためのＡ／Ｄ変換器
５と、このＡ／Ｄ変換器５によりデジタル化された情報
に各種の処理を施す映像情報処理回路６と、Ａ／Ｄ変換
器５からのデジタル出力を受けて、ＡＦ（オートフォー
カス）情報、ＡＥ（オートエクスポージャ）情報、ＡＷ
Ｂ（オートホワイトバランス）情報を検出するためのＡ
Ｆ，ＡＥ，ＡＷＢ検波回路７と、映像情報処理回路６か
ら出力される映像情報にＪＰＥＧ圧縮やＭＰＥＧ圧縮等
といった情報圧縮処理を行う圧縮回路９と、圧縮回路９
により圧縮された映像情報のうち、静止画像に関する映
像情報をメモリカード等のような後述する静止画用記録
媒体１５に記録するための制御を行う静止画用記録媒体
Ｉ／Ｆ１４と、この静止画用記録媒体Ｉ／Ｆ１４の制御
により静止画像の映像情報を記録する静止画用記録媒体
１５と、圧縮回路９により圧縮された映像情報のうち、
動画像に関する映像情報をデジタルビデオ（ＤＶ）テー
プや多用途ディスク（ＤＶＤ）等のような後述する動画
用記録媒体１７に記録するための制御を行う動画用記録
媒体Ｉ／Ｆ１６と、この動画用記録媒体Ｉ／Ｆ１６の制
御により動画像の映像情報を記録する動画用記録媒体１
７と、映像情報の色処理等を行う際に作業用メモリとし
て用いられるＤＲＡＭ１１と、このＤＲＡＭ１１の制御
を行うメモリコントローラ１０と、後述するモニタ１３
の制御を行う表示回路１２と、この表示回路１２の制御
により静止画用記録媒体１５や動画用記録媒体１７に記
録される映像情報を再生して表示したり、このビデオカ
メラに係る各種の撮影状態等を表示したりするモニタ１
３と、撮像素子１を駆動するためのタイミングパルスを
発生するタイミングジェネレータ（ＴＧ）１８と、静止
画撮影時に被写体を照明するための照明光を発光するス
トロボ１９と、各種の撮影モードを設定するためのスイ
ッチや撮影動作を指示入力するためのトリガスイッチ等
を有してなる入力キー２０と、映像情報処理回路６、圧
縮回路９、メモリコントローラ１０、表示回路１２、静
止画用記録媒体Ｉ／Ｆ１４、動画用記録媒体Ｉ／Ｆ１６
とバスラインを介して接続され、ＡＦ，ＡＥ，ＡＷＢ検
波回路７の検出結果やストロボ１９による発光情報、入
力キー２０による入力情報等を受け取るとともに、レン
ズ２、絞り・シャッタ機構３、ＴＧ１８、ストロボ１
９、映像情報処理回路６、入力キー２０や上記バスライ
ンに接続された各回路を含むこのビデオカメラ全体の制
御を行うＣＰＵ８と、を有している。

【００６５】このビデオカメラでは、通常の撮影によっ
て映像情報を得る通常撮影モードと、露光の異なる映像
を撮影し、これらの映像を合成して一つの広ダイナミッ
クレンジ（ＤＲ）映像情報を得る広ＤＲ撮影モードと、
を入力キー２０の操作により手動的に選択するか、ある
いは撮像素子１からの画像情報の白飛びを検出するなど
してＣＰＵ８が自動的に判断を行って撮影モードの選択
を行うようにして、その選択した撮影モードに応じてＣ
ＰＵ８により撮影動作を制御する。

【００６６】すなわち、通常撮影モードが選択された場
合には、撮影動作によって撮像素子１から１フレーム
（２フィールド）で１画面分をなす映像情報を取得し、
一方、広ＤＲ撮影モードが選択された場合には、撮像素
子１の電子シャッタ機能、あるいはこの電子シャッタ機
能と絞り・シャッタ機構３との組み合わせによる公知の
撮影手段（例えば、倍速フィールド駆動による撮影手
段）によって１フレームの撮影で撮像素子１から露光量
の異なる複数画面分（例えば、２種類の露光に対応する
画面分）の映像情報を得て、映像情報処理回路６におい
て撮影モードに応じた画像データの処理を行う。

【００６７】また、このビデオカメラでは、映像情報を
動画像として取得する動画撮影モードと、映像情報を静
止画像として取得する静止画撮影モードと、を入力キー
２０の操作により選択し、選択した撮影モードに応じて
ＣＰＵ８により取得する動作を制御する。

【００６８】すなわち、動画撮影モードが選択された場
合は、動画像として撮影（例えば、１フレーム単位で逐
次撮影）するようにＣＰＵ８から撮像素子１や絞り・シ
ャッタ機構３、映像情報処理回路６を制御し、静止画撮
影モードが選択された場合は、静止画像として撮影する
ようＣＰＵ８から撮像素子１や絞り・シャッタ機構３、
映像情報処理回路６を制御する。

【００６９】静止画撮影モード時のシャッタレリーズ
は、静止画撮影モード専用のシャッタレリーズキー等を
設けても良いし、入力キー２０により静止画撮影モード
を選択したときにシャッタレリーズを行うように制御し
ても良い。その際、夜間や臓器内部等のように全体が暗
い、逆光のように被写体が暗い、等の場合にはストロボ
１９が発光して静止画像を撮影する。

【００７０】これにより、本実施の形態では、通常撮影
による動画撮影、通常撮影による静止画撮影、広ＤＲ撮
影による動画撮影、広ＤＲ撮影による静止画撮影、とい
う４種類の撮影モードを備えることになる。

【００７１】なお、本実施の形態では、動画像の記録媒
体と静止画像の記録媒体とを別々に用意しているが、Ｃ
ＰＵ８の指示により一つの記録媒体Ｉ／Ｆを制御して、
動画像と静止画像を同一の記録媒体に記録するようにし
てもよい。

【００７２】図２は、図１に示した映像情報処理回路６
の構成を示すブロック図である。この映像情報処理回路
６は、広ＤＲ静止画映像情報生成回路２１、広ＤＲ動画
映像情報生成回路２２、輝度・色差情報分離回路２３、
エッジ検出回路２４、階調特性生成回路２５、映像生成
回路２６、被写体検索処理回路２７、撮影状況推定回路
２８、および階調特性変更制御回路２９を有しており、
動画撮影モードと静止画撮影モードとの切替を、ＣＰＵ
８から出力される動画／静止画撮影モード情報nnにより
制御するようにしている。

【００７３】Ａ／Ｄ変換器５から出力されるデジタル映
像情報aaは、動画／静止画撮影モード情報nnに応じて広
ＤＲ静止画映像情報生成回路２１または広ＤＲ動画映像
情報生成回路２２のいずれかに供給する。すなわち、動
画／静止画撮影モード情報nnが動画撮影を表す場合に
は、デジタル映像情報aaを広ＤＲ動画映像情報生成回路
２２に供給し、動画／静止画撮影モード情報nnが静止画
撮影を表す場合には、デジタル映像情報aaを広ＤＲ静止
画映像情報生成回路２１に供給する。

【００７４】広ＤＲ静止画映像情報生成回路２１および
広ＤＲ動画映像情報生成回路２２では、公知の技術によ
り、それぞれ広ＤＲによる静止画および動画の映像情報
を生成して広ＤＲ映像情報bbを出力する。また、広ＤＲ
静止画映像情報生成回路２１では、広ＤＲ映像情報bbの
他に、階調特性の生成を制御する静止画階調特性指示情
報hhを出力する。

【００７５】広ＤＲ映像情報bbは、例えば動画撮影モー
ドでは、倍速フィールド駆動制御により撮影手段から得
られた異なる露光の映像情報、本実施の形態では２種類
の露光に対応する映像情報について、情報間の露光比を
合わせて合成して生成する。静止画撮影モードでも、撮
影手段の駆動制御を変更して同様の方法で生成する。

【００７６】生成された広ＤＲ映像情報bbは、輝度・色
差情報分離回路２３に供給し、ここで輝度情報ddと色差
情報ccに分離する。このうち輝度情報ddはエッジ検出回
路２４に供給し、ここで既存のフィルタ（ラプラシア
ン、ソーベル、等）によりエッジを検出して、エッジ情
報eeとして出力する。本実施の形態では、エッジ情報ee
は各画素がエッジであるか否かを示すバイナリ情報とし
て出力する。

【００７７】一方、広ＤＲ静止画映像情報生成回路２１
または広ＤＲ動画映像情報生成回路２２から出力される
広ＤＲ映像情報bbは、被写体検索処理回路２７にも供給
し、ここで後述する方法により、注目する被写体に関す
る情報を示す注目情報iiおよび撮影時の露光の変更を指
示する露光変更制御情報ppを生成して出力する。

【００７８】露光変更制御情報ppはバスラインを経由し
てＣＰＵ８に伝送し、注目情報iiは動画／静止画撮影モ
ード情報nnとともに撮影状況推定回路２８に供給する。
撮影状況推定回路２８では、後述する方法により、撮影
状況に関する推定結果を表す撮影状況情報kkを出力す
る。

【００７９】撮影状況情報kkおよび静止画階調特性指示
情報hhは、階調特性変更制御回路２９に供給する。この
階調特性変更制御回路２９では、後述する方法により階
調特性の変更指示制御を行なうと共に、事前に推定され
た撮影状況を階調特性に反映させるための情報を表す階
調特性指示情報mmを出力する。

【００８０】輝度情報dd、エッジ情報eeおよび階調特性
指示情報mmは、階調特性生成回路２５に供給し、ここで
後述する方法により階調特性を生成して階調特性情報ff
として出力する。階調特性情報ffは、輝度情報ddおよび
色差情報ccとともに映像生成回路２６に供給する。映像
生成回路２６では、階調特性に基づいて輝度情報と色差
情報について変換を行い、輝度情報と色差情報を合成し
て変換映像情報ggを生成して出力する。

【００８１】本実施の形態では、階調特性生成回路２５
に供給する広ＤＲ映像情報bbの特徴として、輝度情報dd
に関するバイナリのエッジ情報ee（すなわち高周波成分
の情報）を取り扱っているが、これ以外の特徴として、
逆に低周波成分に関する情報や、鮮鋭度特性による情報
を利用することも可能である。

【００８２】図３は、第１実施の形態における広ダイナ
ミックレンジ（ＤＲ）映像の生成方法を説明するための
図である。本実施の形態では、例えば動画撮影モードに
おいて、１フィールド単位時間（１／６０秒）におい
て、短時間露光（ＳＥ）映像と長時間露光（ＬＥ）映像
という２画面分の情報をそれぞれ取得し、これらを合成
して１フレーム分の広ＤＲ映像を生成する。

【００８３】合成の方法としては、公知の技術として、
ＬＥ映像のうち輝度値が大きいために白とびしている部
分について、ＳＥ映像で同じ部分をＬＥ映像の明るさに
調節した後合成する等がある。結果として、撮像素子が
持ち得るＤＲに比べ、ＳＥ映像とＬＥ映像の露光時間比
の分だけ拡大される効果を有する。例えば、ＳＥ映像の
露光時間を１／１０００秒、ＬＥ映像の露光時間を１／
１２５秒とすると、これらを合成することで撮像素子の
ＤＲの８倍ものＤＲを持つ映像を撮り込むことが可能に
なる。

【００８４】なお、静止画撮影モードの場合は、１フィ
ールド単位期間という時間的制限を設けずに２画面分の
映像情報を取り込むようにすることも可能である。

【００８５】図４は、図２に示した広ＤＲ静止画映像情
報生成回路２１の構成を示すブロック図である。広ＤＲ
静止画映像情報生成回路２１は、ＣＰＵ８からの動画／
静止画撮影モード情報nnが静止画撮影を表す場合に、こ
れを受けて２種類の露光の異なる静止画映像を取り込む
と共に、必要に応じて鏡面反射等の影響で映らない部分
を再現するための処理を行うもので、広ＤＲ静止画合成
回路３１、レベル検知回路３２、第１スイッチ３３、第
２スイッチ３４、連写撮影制御回路３５、連写画像位置
補正回路３６、基準画像推定回路３７、基準画像補正回
路３８、および階調特性変更指示出力回路３９を有して
いる。

【００８６】ＣＰＵ８からの動画／静止画撮影モード情
報nnで静止画撮影であるという内容を受けて、Ａ／D変
換器５から出力されるデジタル映像情報aaは、広ＤＲ静
止画合成回路３１に供給し、例えば図３に示した方法等
により静止画としての広ＤＲ映像情報bbを生成して出力
する。出力された広ＤＲ映像情報bbは、レベル検知回路
３２に供給し、ここで広ＤＲ映像情報bbが持ち得るＤＲ
について調べる。具体的には、黒つぶれを示す暗部閾値
ＴhＢ１と白とびを示す明部閾値ＴhＷ１（ＴhＷ１＞Ｔh
Ｂ１）を予め設定し、広ＤＲ映像情報bb全体に関してＴ
hＢ１とＴhＷ１との間に存在するか否かを調べる。この
結果として、レベル適正情報rrを出力する。

【００８７】レベル適正情報rrは、第１スイッチ３３お
よび第２スイッチ３４を駆動するための情報である。す
なわち、レベル検知回路３２において、広ＤＲ映像情報
bbが閾値ＴhＢ１とＴhＷ１との範囲に全ての情報が存在
する場合は、“適正レベル”と判断し、広ＤＲ映像情報
bbを第１スイッチ３３および第２スイッチ３４を経て輝
度・色差情報分離回路２３および被写体検索処理回路２
７に直接伝送する。

【００８８】一方、レベル検知回路３２において、広Ｄ
Ｒ映像情報bbが閾値ＴhＢ１とＴhＷ１との範囲外に存在
する場合は、“不適正レベルあり”と判断し、広ＤＲ映
像情報bbを第１スイッチ３３、連写撮影制御回路３５、
連写画像位置補正回路３６、基準画像推定回路３７、基
準画像補正回路３８、および第２スイッチ３４を経て輝
度・色差情報分離回路２３および被写体検索処理回路２
７に伝送する。

【００８９】連写撮影制御回路３５では、広ＤＲ映像情
報bbの中で“不適正レベル”である部分に関して適性レ
ベルの情報を得るために、連写機能により複数の静止画
映像情報を取得するように制御する。

【００９０】ところで、不適正レベルの発生原因が鏡面
反射等の影響による場合では、露光を広ＤＲ映像情報bb
取得時の時と異ならせて撮影を行うだけでは適正レベル
として再現できず、撮像系の位置（視点）を変えて撮影
する必要がある。一方、ビデオカメラを手持ち撮影する
場合には「手ぶれ」が発生するので、連写撮影を行うと
必ずしも視点が正確には一致しない。

【００９１】そこで、本実施の形態では、この「手ぶ
れ」を積極的に利用して、手ぶれの周期に合わせて所定
のタイミングで連写撮影を行うようにする。これによ
り、結果的には視点をずらしながら連写撮影するという
動作を実現することができる。

【００９２】このようにして、連写撮影制御回路３５の
機能により撮影された静止画の映像情報（２種類の露光
による映像）を、広ＤＲ静止画合成回路３１を経て連写
撮影制御回路３５に供給する。ここでは、最初の静止画
映像情報における“不適正レベル”が“適正レベル”と
して得られるように、複数の静止画映像情報を取得する
ことを狙いとしている。連写撮影制御回路３５は、結果
として静止画の広ＤＲ映像情報bbを含む広ＤＲ連写映像
情報ssを出力する。

【００９３】連写撮影制御回路３５から出力される広Ｄ
Ｒ連写映像情報ssは、次に連写画像位置補正回路３６に
供給し、ここで広ＤＲ連写映像情報ssに関する位置補正
処理を行なう。具体的には、静止画の広ＤＲ映像情報bb
を固定として、他の広ＤＲ映像情報（連写撮影制御回路
３５により撮影された映像情報）の画面上での位置を補
正する、といった処理を実行する。位置の補正に関して
は、公知のマッチング処理で行われている手法（テンプ
レートマッチング等）を利用して、相関が最大となる位
置にずらして補正する、といった方法で実施することが
できる。そして、これらを位置補正済み広ＤＲ連写映像
情報ttとして生成して出力する。

【００９４】連写画像位置補正回路３６から出力される
位置補正済み広ＤＲ連写映像情報ttは、次に基準画像推
定回路３７に供給し、ここで静止画映像として生成する
ための基準画像を推定する。基準画像として推定するも
のは、例えば最初の静止画映像情報である広ＤＲ映像情
報bbがあるが、特にこれに限定する必要はなく、例えば
撮影された位置補正済み広ＤＲ連写映像情報ttの中で、
“不適正レベル”を示す部分が最少である映像情報を基
準画像とする、等が考えられる。これにより、基準画像
情報uuを生成して出力する。

【００９５】連写画像位置補正回路３６から出力される
位置補正済み広ＤＲ連写映像情報tt、および基準画像推
定回路３７から出力される基準画像情報uuは、基準画像
補正回路３８に供給し、ここで基準画像情報uuについて
“不適正レベル”を示す部分を、基準画像以外の映像情
報を用いて補正する処理を実行する。この補正処理は、
基準画像の不適正レベルを示す部分を、適正レベルにな
っている基準画像情報uu以外の映像情報を用いて基準画
像のレベルに合わせた後置換する、等といった方法で実
行する。これにより、結果として不適正レベルを適正レ
ベルに補正した、すなわち黒つぶれや白とびのない静止
画としての広ＤＲ映像情報bbを生成する。

【００９６】基準画像補正回路３８にて生成された静止
画の広ＤＲ映像情報bbは、第２スイッチ３４を経由し
て、図２に示す輝度・色差情報分離回路２３、被写体検
索処理回路２７、および階調特性変更指示出力回路３９
に供給する。階調特性変更指示出力回路３９では、広Ｄ
Ｒ映像情報bbを受けて、静止画階調特性指示情報hhを生
成し、これを図２に示す階調特性変更制御回路２９に伝
送する。すなわち、階調特性変更指示出力回路３９で
は、階調特性変更制御回路２９に静止画映像の階調特性
を新規に生成するよう指示する制御情報として静止画階
調特性指示情報hhを生成して出力する。

【００９７】図５は、上述した広ＤＲ静止画映像情報生
成回路２１での処理を説明するための図である。広ＤＲ
静止画合成回路３１では、例えば図５（ａ）に示すよう
な静止画の広ＤＲ映像情報bbを得る。なお、図５（ａ）
は、人物の顔下部と左胸部（楕円形）について、広ＤＲ
撮影にもかかわらず、反射により映像情報が得られてい
ないことを示している。

【００９８】そこで、この反射部分をレベル検知回路３
２で検知して、連写撮影制御回路３５により広ＤＲの連
写撮影を行う。その結果として、図５（ｂ）に示すよう
な静止画映像を取得する。図５（ｂ）のうち、左側の静
止画映像は図５（ａ）で得られていなかった人物の顔下
部に関する情報が得られており、また図５（ｂ）の右側
の静止画映像は同様に図５（ａ）で得られていなかった
人物の左胸部に関する情報が得られている。なお、図５
（ｂ）は２枚分の静止画映像を取得しているが、枚数に
ついてはこれに限らず、３枚以上の静止画映像を取得す
るようにしても良い。

【００９９】次に、図５（ｂ）の静止画映像について、
連写画像位置補正回路３６で位置補正されたものとし
て、図５（ｃ）に示すような静止画映像を取得する。図
５（ｃ）に示す静止画映像は、図５（ａ）の静止画映像
の画面を参照して、図５（ａ）には存在しない部分を削
除することで、図５（ｃ）の静止画映像が 図５（ａ）
の部分的な静止画映像を成すように位置補正を行ったも
のである。これにより、相関演算が容易になる。

【０１００】次に、基準画像推定回路３７において、図
５（ｄ）に示すように、図５（ａ）の静止画映像を基準
画像として、該基準画像のうち補正の対象となる部分
と、基準画像以外の静止画映像で基準画像の補正対象に
対応する部分を推定する。すなわち、図５（ｄ）左側の
基準画像で補正対象となる反射部分のうち、人物顔下部
（“Ａ”）については図５（ｄ）中央の静止画映像の
“Ａ”に対応し、人物左胸部（“Ｂ”）については図５
（ｄ）右側の静止画映像の“Ｂ”に対応することを推定
する。そして基準画像補正回路３８において、“Ａ”お
よび“Ｂ”に関する基準画像の補正を行い、結果として
図５（ｅ）に示すような、反射の影響を除去した（補正
済みの）静止画の広ＤＲ映像情報bbを生成する。

【０１０１】図６は、図２に示した被写体検索処理回路
２７の構成を示すブロック図である。被写体検索処理回
路２７は、上述したように、画面の映像情報に関して注
目する被写体を検索し、注目する被写体が存在する場合
はその被写体に関する情報を生成して出力し、また注目
する被写体が存在しない場合は映像情報を取得する撮影
時の露光を制御するための情報を生成して出力するもの
で、映像特徴抽出回路４１、被写体有無判定回路４２、
被写***置設定回路４３、露光変更制御回路４４、およ
び注目情報設定回路４５を有している。

【０１０２】図６において、広ＤＲ静止画映像情報生成
回路２１または広ＤＲ動画映像情報生成回路２２から出
力される広ＤＲ映像情報bbは、映像特徴抽出回路４１に
供給し、ここで映像に関する特徴を抽出して映像特徴情
報wwとして出力する。

【０１０３】例えば、広ＤＲ映像情報bbが動画映像の場
合には、現在の時刻の映像（フィールド単位またはフレ
ーム単位）と一つ前の時刻の映像との差分情報、同様に
現在の時刻の映像と一つ前の時刻の映像との対応による
動きベクトル情報、等のように時間的な映像の変化を表
す情報を特徴として抽出する。また、広ＤＲ映像情報bb
が静止画映像の場合には、フィルタリングによる周波数
特性（高周波成分を検出するハイパスフィルタや低周波
成分を検出するローパスフィルタ等）を表す情報や、特
性の色成分に関する情報（例えば人物撮影における肌色
検出等）等を特徴として抽出する。なお、特徴の検出は
複数の方法を用いてもよく、検出された特徴を統合して
映像特徴情報wwを生成、出力してもよい。

【０１０４】映像特徴情報wwは、広ＤＲ映像情報bbとと
もに被写体有無判定回路４２に供給し、ここで被写体が
画面内に存在するか否かを判定する。被写体の存在有無
に関する判定条件は、映像特徴情報wwに応じて設定す
る。例えば、被写体の存在の可能性がある場合として
は、次のような条件が考えられる。 （ｉ）画面上で映像特徴情報wwの度合が顕著に大きい部
分（例えば、人物の顔のように、肌色の度合いを示す特
徴が顕著に大きく示される部分、等）が存在する。 （ｉｉ）画面を所定のブロックに分割し、ブロック毎の
映像特徴情報wwに関して周囲のブロックとは異なる傾向
を示すブロック（例えば、動画映像において、カメラが
静止して人物が動いている場合の人物に相当するブロッ
ク、カメラが移動する被写体を追跡して移動している場
合の被写体に相当するブロック、等画面上の動きベクト
ルが異なる傾向を示す部分、等）が存在する。

【０１０５】この他にも様々な条件が考えられるが、複
数の判定条件がある場合は、判定条件に重みをつけて統
合する、または判定条件に優先順位をつける、等により
判定する。この判定により、画面上に被写体が存在する
か否かを示す情報を、被写体有無情報ｘｘとして出力す
る。なお、この被写体有無情報ｘｘは、例えば被写体が
存在する範囲を示す情報（範囲を表す座標値等）、映像
特徴情報wwに被写体の有無を示す情報（１ビットの情報
等）を付加した情報、等とする。

【０１０６】被写体有無判定回路４２から出力される被
写体有無情報ｘｘは、その内容に応じて被写***置設定
回路４３または露光変更制御回路４４に供給する。すな
わち、被写体有無情報ｘｘが“被写体有り”を示す場合
には、被写体有無情報ｘｘは被写***置設定回路４３に
供給し、ここで画面上における被写体の位置（被写体が
存在する範囲内の被写体部分の位置）を設定して被写体
位置情報zzとして出力する。なお、被写体有無情報ｘｘ
に映像特徴情報wwの表す映像中の特徴が含まれる場合に
は、被写***置情報zzに映像特徴情報wwの内容を含めて
も良い。

【０１０７】これに対し、被写体有無情報ｘｘが“被写
体無し”を示す場合には、被写体有無情報ｘｘは広ＤＲ
映像情報bbとともに露光変更制御回路４４に供給し、こ
こで後述する方法により、撮影時の露光を変更するため
の制御情報を設定して、撮影時の露光の変更を指示する
露光変更制御情報ppとしてバスラインを経由してＣＰＵ
８に伝送する。これは、被写体有無判定回路４２におい
て“被写体無し”と判定された場合は、撮影時の露光が
適切に行われていないために被写体の存在が確認できな
い、という要因に基づくものであり、露光を適正にする
ことで被写体の存在をより正確に判定できるようにする
ために行うものである。

【０１０８】また、露光変更によって被写体の存在が見
られない場合は、被写体なし（すなわち、画面全体が注
目部分である）と判定し、その内容を全体注目情報yyと
して被写***置設定回路４３に伝送する。被写***置設
定回路４３では全体注目情報yyが供給された場合、画面
全体を被写***置として設定し、この結果を被写***置
情報zzに反映させる。

【０１０９】被写***置設定回路４３から出力される被
写***置情報zzは、広ＤＲ映像情報bbとともに注目情報
設定回路４５に供給し、ここで被写***置情報zzが示す
画面上の被写***置および広ＤＲ映像情報bbに基づい
て、注目する被写体に関する情報として注目情報iiを生
成し、撮影状況推定回路２８に伝送する。この注目情報
iiは、例えば被写***置における映像の輝度情報、色情
報、被写***置情報zzに映像中の特徴が含まれていれ
ば、被写***置における特徴情報、等で表すことができ
る。

【０１１０】図７は、図６に示した露光変更制御回路４
４での露光変更アルゴリズムのフローチャートである。
露光変更制御回路４４は、被写体有無判定回路４２にお
いて“被写体無し”と判定された場合に、広ＤＲ映像情
報bbを利用して露光変更に関する制御を行うもので、こ
こでは広ＤＲ映像情報bbの生成において、２種類の露光
による映像情報（長時間露光（ＬＥ）映像と短時間露光
（ＳＥ）映像）を利用する。

【０１１１】まず、広ＤＲ映像情報bbから映像全体のレ
ベルを算出する（ステップＳ１）。ここで算出するレベ
ルは、例えば輝度情報等であり、画素単位または局所的
な複数画素から構成されるブロック単位で表す。

【０１１２】次に、算出された映像のレベルを“Ｌ”と
し、画素やブロック等の各単位のレベルＬについて、暗
部を示す閾値“ＴhＢ２”と比較し、「ＴhＢ２＞Ｌ」が
成立するレベルが有るか否かを調べる（ステップＳ
２）。

【０１１３】ステップＳ２で暗部閾値ＴhＢ２より小さ
いレベルＬがあると判定された場合は、対象の映像情報
に関して黒つぶれの部分があると推定して、ＬＥ映像に
関する露光条件を１ＥＶ明るい露光条件に変更する露光
変更情報を設定する（ステップＳ３）。すなわち、長時
間露光を１ＥＶ明るい露光にすることで、黒つぶれの部
分を明るくして、そこに含まれる映像情報を再現するよ
うにする。

【０１１４】次に、画素やブロック等の各単位のレベル
Ｌについて、明部を示す閾値“ＴhＷ２”と比較し、
「ＴhＷ２＜Ｌ」が成立するレベルが有るか否かを調べ
る（ステップＳ４）。

【０１１５】ステップＳ４で明部閾値ＴhＷ２より大き
いレベルＬがあると判定された場合は、対象の映像情報
に関して白とびの部分があると推定して、ＳＥ映像に関
する露光条件を１ＥＶ暗い露光条件に変更する露光変更
情報を設定する（ステップＳ５）。すなわち、短時間露
光を１ＥＶ暗い露光にすることで、白とびの部分を暗く
して、そこに含まれる映像情報を再現するようにする。

【０１１６】次に、ステップＳ２およびステップＳ４の
判定結果を踏まえて、ＳＥ、ＬＥのうち少なくとも一方
について露光変更が行われたか否か（ステップＳ３、ス
テップＳ５の少なくとも一方が実行されたか否か）を判
定する（ステップＳ６）。

【０１１７】ステップＳ６で露光変更が行われたと判定
された場合は、ステップＳ３またはステップＳ５にて生
成された露光変更情報に基づいて、露光変更の制御を行
うための露光変更制御情報ppを出力して、変更された露
光状態で再度撮影するように制御する（ステップＳ
７）。このステップＳ７の実行により、再度撮影して得
た広ＤＲ映像情報bbを、同様に被写体検索処理回路２７
に供給し、そこで被写体無しと判定された場合には、再
度上述した露光変更処理を実行する。

【０１１８】これに対し、ステップＳ６で露光変更が行
われていないと判定された場合は、露光状態について現
状では問題ないと判断する。この場合、注目する被写体
は画面上のある一部分に存在しているのではなく、画面
全体に存在していることになるので、画面全体を注目し
ていると判定し、その旨を示す全体注目情報yyを生成し
て出力する（ステップＳ８）。

【０１１９】図８は、図６に示した被写***置設定回路
４３による被写***置（注目位置）設定動作を説明する
ための図で、図８（ａ）〜（ｄ）は動画映像に関する動
作を示しており、図８（ｅ）〜（ｆ）は静止画映像に関
する動作を示している。

【０１２０】動画映像の場合は、隣接フレーム間におけ
る映像の時間的変化を利用して注目する被写***置を設
定する。例えば、時刻ｎ−１で撮影、合成された１フレ
ーム分の広ＤＲ映像情報（図８（ａ））と、次の時刻n
で撮影、合成された１フレーム分の広ＤＲ映像情報（図
８（ｂ））とから、両者の差分（時間的差分）に基づい
てブロック単位で動きベクトルを検出すると、図８
（ｃ）のようになる。ここで、画面全体における動きベ
クトルの様子を見ると、動きベクトルが存在しない部分
に比べ、動きベクトルが存在する部分の方が領域として
は小さい。すなわち、撮像系は固定の状態で、動いてい
る被写体を撮影しているという状況が考えられるので、
動きベクトルが存在する部分が注目する被写体であると
推定することができる（当然画面位置について考慮する
ことで推定しても良い）。したがって、動きベクトルが
存在する部分を被写***置として設定することで、図８
（ｄ）のように人物に相当する部分を設定することがで
きる。

【０１２１】また、静止画映像の場合は、例えば映像情
報自身が持ち得る特徴である色情報を利用する。例え
ば、図８（ｅ）の広ＤＲ映像情報に関して、「肌色であ
る」部分を検出して、基準となる肌色との相関（肌色の
基準となる色成分との相関）をとり、相関がある所定値
以上となる部分を検出する。検出された部分は「人物の
肌である」ということが考えられるので、その肌色部分
が注目する被写体であると推定することができる（動画
映像と同様、画面位置の考慮による推定も可能であ
る）。したがって、肌色と検出された部分を被写***置
として設定することで、図８（ｆ）のように人物の肌色
部分（顔、首、腕、等）に相当する部分を設定すること
ができる。

【０１２２】図９は、図２に示した撮影状況推定回路２
８および階調特性変更制御回路２９の動作を示すフロー
チャートである。ここでは、最終的に階調特性指示情報
mmを出力するまでの処理を行うが、ＣＰＵ８から出力さ
れる動画／静止画撮影モード情報nnの内容（対象となる
広ＤＲ映像情報bbが動画映像か静止画映像か）によっ
て、処理を分岐する。

【０１２３】まず、撮影状況推定回路２８において、被
写体検索処理回路２７から出力される注目情報iiを受け
て、画面位置に依存した撮影状況パターンを生成する
（ステップＳ１１）。ここで生成される撮影状況パター
ンは、画面を複数のブロック（ブロックの大きさは注目
情報iiにおけるブロックの大きさに必ずしも対応させる
必要はない）に分割し、そのブロックに応じて注目すべ
き位置とそうでない位置とを区別するための情報であ
る。なお、パターンを示す値はバイナリ値（注目すべき
位置のブロックには１、そうでないブロックには０を割
り当てる）が考えられるが、注目情報iiがより詳細な情
報（例えば映像情報内の特徴量そのもの、等）を表す場
合は、注目情報の度合いに応じて多値のパターンを示す
ようにしても良い。

【０１２４】次に、生成された撮影状況パターンを撮影
状況情報kkとして出力する（ステップＳ１２）。これに
より撮影状況情報kkは、画面上における注目被写体の位
置および注目の度合い（多値パターンの場合）を示す情
報となる。

【０１２５】次に、動画／静止画撮影モード情報nnの内
容から、対象映像が動画映像か静止画映像かを判断する
（ステップＳ１３）。

【０１２６】ここで、対象映像が動画映像と判断された
場合は、階調特性変更制御回路２９において、撮影状況
推定回路２８から出力される撮影状況情報kkを受けて、
既に記憶されている所定時刻前の撮影状況情報と比較を
行う（ステップＳ１４）。この場合、比較対象となる撮
影状況情報は、所定時刻前に行われた処理にて生成され
た撮影状況情報である。ここでは、階調特性変更制御回
路２９に記憶されている撮影状況情報と、撮影状況推定
回路２８から新たに出力される撮影状況情報kkとの間に
時間的変化がどう生じているかを調べる。具体的には、
画面上で同一位置にあるブロックのパターンを示す値を
比較して差を算出し、各ブロックの差を画面位置に応じ
て重み付けして加算平均をとったものを評価値とする、
等の処理を行う。ただし、撮影開始直後等により撮影状
況情報が記憶されていない場合は、ステップＳ１４は実
行しない。

【０１２７】次に、ステップＳ１４で撮影状況情報の時
間的変化があると判断された（上記したパターンの差を
表す評価値が所定の閾値以上となった）場合、または撮
影開始直後等により撮影状況情報が記憶されていない場
合は、最新の撮影状況情報kkを階調特性変更制御回路２
９に記憶する（ステップＳ１５）。そして、最新の撮影
状況情報kkに基づいて、階調特性の変更を指示するため
の階調特性指示情報mmを生成する（ステップＳ１６）。

【０１２８】ここで生成される階調特性指示情報は、階
調特性を変更するよう指示する内容が含まれていれば良
いが、本実施の形態では、撮影状況情報kkそのものを階
調特性指示情報mmとする。これは、後の階調特性生成回
路２５における階調特性の生成において、撮影状況情報
kkで定義されたブロック単位の注目度合いを示すパター
ンを利用するためである。

【０１２９】次に、ステップＳ１４での処理から、撮影
状況情報の時間的変化がないと判断された（上記したパ
ターンの差を表す評価値が所定の閾値未満となった）場
合は、階調特性を変更しないよう指示する内容を表す階
調特性指示情報mmを生成する（ステップＳ１７）。この
ときの階調特性指示情報は、上記のようなブロック単位
の注目度合いを示すパターンで表す場合には、階調特性
を変更しない内容を表すパターン（例えば全てのブロッ
クで０を示す、等）として生成する。

【０１３０】一方、ステップＳ１３において、対象映像
が静止画映像と判断された場合は、撮影状況推定回路２
８において、撮影状況推定回路２８から出力される撮影
状況情報kkおよび広ＤＲ静止画映像情報生成回路２１か
ら出力される静止画階調特性指示情報hhを受けて、撮影
状況情報kkに基づいて階調特性の変更を指示するための
階調特性指示情報mmを生成する（ステップＳ１８）。す
なわち、静止画映像の場合は、動画映像のように撮影状
況情報の時間的変化に応じて階調特性の変更を制御する
のではなく、静止画映像の撮影状況に合わせて階調特性
を生成するよう制御するために、このような形で処理を
実行する。ここでは、動画映像の場合と同様に、撮影状
況情報kk（ブロック単位の注目度合いを示すパターン）
そのものを階調特性指示情報mmとして生成する。

【０１３１】そして、ステップＳ１６、ステップＳ１７
（両者とも動画映像の場合）またはステップＳ１８（静
止画映像の場合）にて生成された階調特性指示情報mmを
階調特性生成回路２５へ出力する（ステップＳ１９）。

【０１３２】図１０は、図２に示した階調特性生成回路
２５の構成を示すブロック図である。階調特性生成回路
２５は、上述したように、輝度情報dd、エッジ情報eeお
よび階調特性指示情報mmに基づいて階調特性を生成する
もので、重み付けパターン設定回路５１、エッジヒスト
グラム算出回路５２、および階調特性算出回路５３を有
している。

【０１３３】まず、階調特性変更制御回路２９から出力
される階調特性指示情報mmは重み付けパターン設定回路
５１に供給して、階調特性を生成するための重み付けパ
ターンを設定する。ここでいう重み付けパターンは、被
写体（注目）位置の部分の重みを被写体（注目）以外の
部分の重みよりも大きく設定するものであり、被写体
（注目）位置の階調をより適切なものにするよう制御す
るものである。本実施の形態では、階調特性指示情報mm
にて表される、ブロック単位での注目度合いを示すパタ
ーンを利用して重み付けパターンを設定する。設定され
た重み付けパターンは重み付けパターン情報AAとして出
力する。

【０１３４】重み付けパターン設定回路５１から出力さ
れる重み付けパターン情報AAは、輝度・色差情報分離回
路２３から出力される輝度情報dd、およびエッジ検出回
路２４にて生成されるエッジ情報eeとともにエッジヒス
トグラム算出回路５２に供給し、ここでエッジ部分の輝
度情報に関するヒストグラムを算出する。このヒストグ
ラムの算出には、重み付けパターン情報AAを考慮して、
重みに応じて輝度情報の度数の増分値を制御する。ここ
で算出されたエッジヒストグラムは、エッジヒストグラ
ム情報ＢＢとして出力する。

【０１３５】エッジヒストグラム情報ＢＢは、階調特性
算出回路５３に供給し、ここでエッジヒストグラムを累
積して累積エッジヒストグラムを求め、これを入力輝度
情報と出力輝度情報との関係に合わせて正規化すること
で階調特性を算出して、階調特性情報ffとして映像生成
回路２６に伝送する。

【０１３６】図１１は、上述した階調特性生成回路２５
の動作を説明するための図である。図１１では、広ＤＲ
映像情報bbが動画映像の場合について示している。図１
１（ａ）に示すように、輝度・色差情報分離回路２３に
て時刻nにおける１フレーム分の広ＤＲ映像情報の輝度
情報が生成され、図１１（ｂ）に示すようにエッジ検出
回路２４にて図１１（ａ）のエッジ情報が生成される。
エッジ情報はラプラシアンやソーベルといった公知のフ
ィルタ演算により、演算値が閾値以上か否かによりエッ
ジの有無を示すバイナリ情報として保持するようになっ
ている。

【０１３７】一方、図１１（ｃ）に示す動きベクトルに
基づいて設定された被写***置（注目）情報（図８
（ａ）〜（ｄ）により設定）に基づいて重み付けパター
ン設定回路５１にて図１１（ｄ）のような重み付けパタ
ーンが設定される。この重み付けパターンは、以後の階
調特性生成において階調特性を制御するものである。重
み付けパターンは被写***置の他に撮影シーンの種類
（近距離の被写体撮影、遠距離の風景撮影、等）も考慮
して、これらを統合して設定される。図１１（ｄ）で
は、撮影シーンが近距離の人物であることから、中央部
に対して周辺部より重みを大きくする重み付けパターン
に基づいて、被写***置について重みを最も大きくする
ような重み付けパターンを設定している。また、画面を
横方向９個×縦方向５個のブロックに分割して重みを設
定するようにしている。

【０１３８】そして、図１１（ａ）の輝度情報、図１１
（ｂ）のエッジ情報、および図１１（ｄ）の重み付けパ
ターンを統合してエッジヒストグラム算出回路５２にて
エッジヒストグラムを算出する。ここで言うエッジヒス
トグラムとは、図１１（ｂ）のエッジ情報によりエッジ
が存在する部分の輝度情報について、図１１（ｄ）の重
み付けパターンから該当する重み分だけ度数をカウント
していくことにより生成されるヒストグラムである。し
たがって、図１１（ｄ）では、人物に該当するエッジの
輝度情報に関するヒストグラムの度数が最も多くカウン
トされることになる。算出されたエッジヒストグラム
は、階調特性算出回路５３にて累積ヒストグラムが算出
され、さらに入力輝度値と出力輝度値との関係に合わせ
て正規化することで、最終的に図１１（ｅ）のような階
調特性が生成される。

【０１３９】図１１（ｅ）から、比較的輝度値が小さい
部分にある「人物部」と、比較的輝度値が大きい部分に
ある「背景部」とに関しては、斜線で示すように階調が
割り当てられるが、特に「人物部」に関しては、図１１
（ｄ）で重みが大きくおかれているために、出力輝度値
における階調の割当範囲が広くとられている。その結
果、「背景部」の階調を維持した状態で「人物部」の階
調再現性を向上させることができる。なお、重みを考慮
したエッジ部の輝度情報に関するヒストグラムから階調
特性を算出する内容に関しては、例えば特開平２０００
−２２８７４７号公報に「ヒストグラムの平坦化がなさ
れるために、特に原画像のヒストグラムが特定の値域に
集中するものである場合などには、画像のコントラスト
を改善することができる」との内容で詳しく記載されて
いる。

【０１４０】図１２は、図２に示した映像生成回路２６
での映像生成処理で用いる色差情報の限界特性を示す図
である。映像生成回路２６では、輝度情報dd、色差情報
ccおよび階調特性情報ffを受けてから、最初に輝度情報
に関して階調特性に基づいて変換を行う。ここで変換前
の輝度情報をＹ、変換後の輝度情報をＹ′、情報ｘの階
調特性をＴrs（ｘ）とすると、ＹとＹ′の関係は次式で
表される。

【数１】Ｙ′＝ Ｔrs（Ｙ） ・・・（１）

【０１４１】次に、色差情報に関して同様の変換を行
う。色差情報の変換については、変換前後の輝度情報を
利用するが、単に変換前後の輝度情報の比率を乗じるだ
けでは、通常再現できる色差情報の範囲を超えてしまう
ことが考えられるため、色差情報が再現できる範囲を考
慮する必要がある。そこで、図１２に示すような色差情
報の再現範囲を示す限界特性を用いて色差情報の変換を
行う。

【０１４２】具体的には、変換前の輝度情報から生成さ
れる限界特性をＬmt（Ｙ）、変換後の輝度情報から生成
される限界特性をＬmt（Ｙ′）として、色差情報に関す
る変換前後の比ＧＣを次式にて定義する。

【数２】 ＧＣ＝Ｌmt（Ｙ′）／Ｌmt（Ｙ） ・・・（２）

【０１４３】この比ＧＣを色差情報の変換係数として扱
う。すなわち、ＧＣを変換前の輝度情報Ｙを持つ情報に
関する色差情報Ｃr、Ｃbに乗じることにより、変換後の
輝度情報Ｙ′に対応する色差情報Ｃr′、Ｃb′を生成す
る。変換後の色差情報Ｃr′、Ｃb′は、輝度情報に関す
る階調特性と色差情報の再現範囲を示す限界特性との両
方により算出されるものであるので、再現範囲の中で適
切に階調変換が行われることになる。そして、これら変
換後の輝度情報Ｙ′および色差情報Ｃr′、Ｃb′を合成
して、変換映像情報ggとして出力する。

【０１４４】以上、第１実施の形態について説明した
が、本実施の形態は様々な応用が可能である。例えば、
被写体検索処理にて用いる映像の特徴や注目する被写体
に関して設定される注目情報、等は本実施の形態で述べ
たものに限定されず、各情報についてもブロック単位や
画素単位等として適用することができる。また、広ＤＲ
静止画映像情報生成回路２１では「手ぶれ」の周期に合
わせたタイミング（撮影間隔）により視点の異なる連写
撮影を実現しているが、これに代わって手ぶれを検知す
るセンサを設け、センサの出力に応じて連写撮影のタイ
ミングを設定するようにしても良い。一方、ビデオカメ
ラが固定されて「手ぶれ」が発生しない場合等は、手ぶ
れ補正レンズ等のように撮像系を微小移動させることが
可能な駆動系により撮像系を移動させながら連写撮影し
ても良いし、静止画の広ＤＲ映像情報bb中に存在する
“不適正レベル”部分を注目しながら撮像系を微小移動
させ、適正レベルになったところで撮影を行う、といっ
た制御方法を用いて鏡面反射のない広ＤＲ静止画映像を
得られるようにしても良い。

【０１４５】（第２実施の形態）図１３は、本発明の第
２実施の形態における撮像システムとしてのビデオカメ
ラの基本的な構成を示すブロック図である。以後、第２
実施の形態については、第１実施の形態と同一の機能を
もつものには同一の参照番号を付して説明を省略し、異
なる箇所についてのみ説明する。

【０１４６】第１実施の形態では、異なる露光で複数回
撮影した映像から広ＤＲ映像情報を生成したが、第２実
施の形態は、映像入力で一度の撮影にてＤＲの広い映像
情報を取得できる撮像素子を利用する。例えば、１２ビ
ットの入力が可能な撮像素子から得られる映像情報を８
ビットの出力系に出力する場合、等である。

【０１４７】また、第２実施の形態におけるビデオカメ
ラは、バスラインに接続して撮影環境に関する地図情報
を記憶している地図情報メモリ６２を有しており、この
地図情報メモリ６２に記憶されている地図情報をバスラ
イン経由で映像情報処理回路６１で読み取って、地図情
報を利用した処理を行う構成となっている。この第２実
施の形態は、例えば、人体内部を観察する内視鏡装置
（人体内部構造に関する地図情報を保持）や、予め決め
られた行程で建物内部や外部環境を観察する（移動ロボ
ットや自動車に搭載される）移動型監視カメラ（建物内
部や外部環境に関する地図情報を保持）、等で使用する
場合を想定している。

【０１４８】図１４は、図１３に示した映像情報処理回
路６１の構成を示すブロック図である。この映像情報処
理回路６１では、地図情報メモリ６２内の地図情報に基
づいて注目する被写体を探索し、被写体の撮影状況を推
定すると同時に、地図情報を利用して注目被写体に適し
た階調特性を生成するもので、スイッチ７１、静止画映
像情報生成回路７２、被写体検索処理回路７３、階調特
性生成回路７４、および図２に示したものと同様の作用
を成す輝度・色差情報分離回路２３、エッジ検出回路２
４、映像生成回路２６、撮影状況推定回路２８、階調特
性変更制御回路２９を有している。

【０１４９】Ａ／D変換器５から出力されるデジタル映
像情報aa（第１実施の形態とは異なり、一度の撮影で既
にＤＲの広い映像情報となっている）は、スイッチ７１
において、映像情報の種類に応じて分配される。スイッ
チ７１では、ＣＰＵ８からの動画／静止画撮影モード情
報nnを受けて、デジタル映像情報aaが動画映像の場合
は、動画映像の広ＤＲ映像情報bb（デジタル映像情報aa
と同一）として、輝度・色差情報分離回路２３および被
写体検索処理回路７３に直接伝送する。

【０１５０】一方、デジタル映像情報aaが静止画映像の
場合は、静止画映像情報生成回路７２に供給し、ここで
静止画映像としての広ＤＲ映像情報bbを生成した後に、
輝度・色差情報分離回路２３および被写体検索処理回路
７３に伝送する。静止画映像情報生成回路７２では、図
４に示した静止画映像情報生成回路２１の構成から広Ｄ
Ｒ静止画合成回路３１を除いた構成および処理により、
静止画映像の広ＤＲ映像情報bbを生成する。

【０１５１】被写体検索回路７３では、動画映像または
静止画映像の広ＤＲ映像情報bbおよび地図情報メモリ６
２からバスライン経由で伝送される環境地図情報DDを受
けて、後述する方法により、注目する被写体に関する情
報を示す注目情報ii、撮影時の露光の変更を指示する露
光変更制御情報pp、および環境地図情報DDに基づく撮影
位置を示す撮影位置情報EEを出力する。露光変更制御情
報ppはバスラインを経由してＣＰＵ８に伝送し、注目情
報iiは撮影状況推定回路２８に、撮影位置情報EEは階調
特性生成回路７４にそれぞれ供給する。撮影状況推定回
路２８および階調特性変更制御回路２９は、第１実施の
形態と同様の処理を実行する。

【０１５２】階調特性生成回路７４は、輝度情報dd、エ
ッジ情報ee、階調特性指示情報mmの他に、地図情報メモ
リ６２からの環境地図情報DD、および被写体検索回路７
３からの撮影位置情報EEを入力し、後述する方法により
階調特性に関する情報を示す階調特性情報ffを生成、出
力する。映像生成回路２６は、第１の実施と同様の構成
および処理により、変換映像情報ggを生成して出力す
る。

【０１５３】なお、第１実施の形態と同様、階調特性生
成回路７４に供給する広ＤＲ映像情報bbの特徴は、輝度
情報ddに関するバイナリのエッジ情報eeに限らず、他の
周波数成分や鮮鋭度特性に関する情報を利用することも
可能である。

【０１５４】図１５は、図１４に示した被写体検索処理
回路７３の構成を示すブロック図である。被写体検索処
理回路７３は、映像特徴抽出回路４１、撮影位置推定回
路８１、被写体有無判定回路８２、被写***置設定回路
８３、露光変更制御回路８４、および注目情報設定回路
８５を有しており、その機能は図６に示した第１実施の
形態における被写体検索処理回路２７と同様であるが、
本実施の形態では環境地図情報DDを用いて、現在の撮影
位置を認識し、その中で注目する被写体を検索する処理
を行う。ここでは、第１実施の形態の場合と異なる箇所
（番号）のみについて示す。

【０１５５】撮影位置推定回路８１では、Ａ／D変換器
５からスイッチ７１を経由して、または静止画映像情報
生成回路７２から、それぞれ出力される広ＤＲ映像情報
bb、および地図情報メモリ６２から出力される環境地図
情報DDを受けて、撮影時の地図上の位置を推定する。本
実施の形態では、上記したように予め決められた環境
（人体内部、建物内部、等）を撮影していることを前提
としているため、撮影環境に対応する地図情報を参照す
ることで、環境内のどの部分を撮影しているかを推定す
ることが可能となっている。

【０１５６】そのため、撮影位置推定回路８１におい
て、広ＤＲ映像情報bbから環境地図情報DDのどの部分を
撮影しているかを撮影位置として推定する。推定方法と
しては、例えば環境地図情報DDに目印となるランドマー
ク（環境内で特徴的な部分；人体内部での臓器の特徴的
な部分、建物内部での部屋番号を示すプレート、等）を
予め設定し、広ＤＲ映像情報bbにおけるランドマークの
種類および位置関係から撮影位置を推定する、等を利用
する。また、広ＤＲ映像情報bbだけでなく、別途移動に
関する情報を検知するセンサを利用して撮影位置を推定
する、等の方法を取り入れても良い。そして、結果とし
て環境地図情報DDに基づく撮影位置を示す撮影位置情報
EEを生成して出力する。

【０１５７】なお、本実施の形態では、撮影位置情報EE
の形態として、撮影位置周辺に関する地図情報から生成
される映像情報（撮影位置に対応した地図情報に基づい
て撮影時の露光に合わせて再現される映像情報）を含む
ものとする。一方、広ＤＲ映像情報bbに関して、露光状
態が適切でない等の理由により撮影位置が推定できなか
った場合は、その旨を示す撮影位置情報EEを生成して出
力する。

【０１５８】被写体有無判定回路８２では、映像特徴抽
出回路４１から出力される映像特徴情報ww、広ＤＲ映像
情報bb、および撮影位置推定回路８１から出力される撮
影位置情報EEを受けて、被写体の有無について判定を行
う。ここでは、最初に撮影位置情報EEに含まれる撮影位
置周辺の映像情報および広ＤＲ映像情報bbとで映像情報
のレベル（例えば輝度情報、等）や位置を調整後これら
に関する比較を行なって、両者のレベルの相違が大きい
と見られる部分を検出し、これを注目する被写体が存在
すると思われる「被写体存在候補領域」とする。そし
て、「被写体存在候補領域」に該当する広ＤＲ映像情報
bbと映像特徴情報wwとから、特徴の状況に応じて被写体
の有無を判定する。

【０１５９】ここで、撮影位置情報EEおよび広ＤＲ映像
情報bbを用いて「被写体存在候補領域」を検出するの
は、地図上の情報と実際に撮影された映像を比較して、
異なる部分、すなわちある被写体について地図情報には
存在しないが実際の映像には存在する、または地図情報
には存在するが実際の映像には存在しない、という部分
には何か注目されるものがあるのでは、という推測に基
づいて行うもので、この「被写体存在候補領域」におい
て映像特徴情報wwを利用して被写体の有無を判定する。
この被写体有無判定回路８２で生成されて出力される被
写体有無情報ｘｘは、第１実施の形態と同様の内容を示
すものである。

【０１６０】被写***置検出回路８３では、被写体有無
判定回路８２から出力される被写体有無情報ｘｘ（内容
が“被写体有り”を示す情報）、後述する露光制御変更
回路８４から出力される全体注目情報yy（内容が“画面
全体が被写体である”を示す情報）、および撮影位置推
定回路８１から出力される撮影位置情報EE（撮影位置が
推定できた場合）を受けて、画面上における被写体の位
置を設定する。ここでは、撮影位置情報EEが示す地図情
報を利用することで、撮影位置情報EEを含めた被写***
置情報zzを生成して出力する。これにより、地図情報の
撮影位置に対応させて、地図情報が示す環境内での被写
***置を認識することが可能になる。

【０１６１】露光制御変更回路８４では、被写体有無判
定回路８２から出力される被写体有無情報ｘｘ（内容が
“被写体無し”を示す情報）、広ＤＲ映像情報bb、およ
び撮影位置推定回路８１から出力される撮影位置情報EE
（撮影位置が推定できなかった場合）を受けて、撮影時
の露光を変更するための制御情報を設定する。露光変更
のための処理は、被写体有無情報ｘｘまたは撮影位置情
報EEのいずれかを受けた時に実行する。また、本実施の
形態では１回の撮影で広ＤＲ映像情報bbが得られる構成
となっているので、図７に示すアルゴリズムのフローに
よる処理とは若干異なり、広ＤＲ映像情報bb の輝度情
報に基づいて１回の露光条件を明るい側または暗い側に
変更する処理を行う。結果として出力される露光変更制
御情報pp（露光条件の変更が指示される場合）、および
全体注目情報yy（露光条件の変更が指示されない場合）
は、第１実施の形態と同様の内容を示すものである。

【０１６２】注目情報設定回路８５では、被写***置検
出回路８３から出力される被写***置情報zz、および広
ＤＲ映像情報bbを受けて、被写***置情報zzが示す画面
上または地図情報上の被写***置から注目情報iiを生成
して出力する。本実施の形態では、注目情報iiの内容は
第１実施の形態で示した内容の他に、被写***置情報zz
に対応する撮影位置情報（すなわち撮影位置に対応する
地図情報）を利用することが可能である。

【０１６３】図１６は、図１４に示した階調特性生成回
路７４の構成を示すブロック図である。階調特性生成回
路７４は、撮影環境対応重み付け設定回路９１、重み付
けパターン設定回路９２、および図１０に示したものと
同様の構成のエッジヒストグラム算出回路５２、階調特
性算出回路５３を有している。この階調特性生成回路７
４による階調特性の生成に関しては、第１実施の形態と
同様であるが、本実施の形態では撮影環境に関する情報
（環境地図情報DDおよび撮影位置情報EE）を併用して、
撮影環境に応じて階調特性の制御を行うようにしてい
る。ここでも第１実施の形態と異なる箇所（番号）のみ
について示す。

【０１６４】撮影環境対応重み付け設定回路９１では、
地図情報メモリ６２から出力される環境地図情報DDおよ
び被写体検索処理回路７３から出力される撮影位置情報
EEを用いて、撮影環境に対応した重み付けパターンを設
定する。ここでは、予め環境地図情報DDに対応した重み
付けパターンを用意しておき、撮影位置情報EEに対応す
る環境地図情報DDを検索して、その検索結果から対応す
る重み付けパターンを選択する。

【０１６５】撮影環境に対応した重み付けパターンは、
例えば内視鏡のように中央が暗いが周囲も患部があるか
気になる場合は、中央から周囲に向かって緩やかに重み
を小さくするような重み付けパターンを用意し、監視カ
メラのように画面全体に渡って均一に観察したい場合
は、画面全体の重みを同一にする重み付けパターンを用
意する、等がある。この撮影環境対応重み付け設定回路
９１で設定した重み付けパターンを、撮影環境重み付け
パターン情報FFとして出力する。

【０１６６】重み付けパターン設定回路９２では、階調
特性変更制御回路２９から出力される階調特性指示情報
mm、および撮影環境対応重み付け設定回路９１から出力
される撮影環境重み付けパターン情報FFを受けて、階調
特性を生成するための重み付けパターンを設定する。こ
こでの処理は、階調特性指示情報mmにて表されるブロッ
ク単位での注目度合いを示すパターンと、撮影環境重み
付けパターン情報FFとを組み合わせることで、最終的な
重み付けパターン情報AAを生成して出力する。組み合わ
せの方法としては、撮影環境重み付けパターン情報FFに
対して階調特性指示情報mmのパターンを重畳して正規化
したり、撮影環境重み付けパターン情報FFおよび階調特
性指示情報mmのパターンをそれぞれ正規化してどちらか
大きい方をそのまま重み付けパターンとする、等が考え
られる。これにより、撮影環境に対応しながら被写体
（注目）位置の階調を適切なものにするよう制御するこ
とができる。

【０１６７】以上、第２実施の形態について説明した
が、本実施の形態においても第１実施の形態で説明した
様々な応用が可能である。また、その他にも、地図情報
の形態として、例えば一定位置（距離）毎に静止画の映
像情報を保持したり、あるいは上記のようにランドマー
クとなる目印に基づいて映像情報を保持したりすること
もできる。さらに、地図情報メモリ６２内に環境地図情
報DDを記憶する方法としては、一度撮影環境を一通り撮
影した映像情報を展開してメモリに記憶させても良い。
また、人体の成長や建物内のレイアウト変更に伴う環境
の変化に応じてメモリの更新（書き換え）を逐次行って
も良い。

【０１６８】（第３実施の形態）図１７は、本発明の第
３実施の形態における映像情報処理回路の構成を示すブ
ロック図である。ここでは、第１実施の形態と同一の機
能をもつものには同一の番号を付し、異なる箇所につい
てのみ説明する。なお、本実施の形態では、第１実施の
形態と同様に１フィールドの撮影で撮像素子１から露光
量の異なる２画面分の映像情報を得る広ＤＲ撮影モード
により広ＤＲ映像情報を生成する。

【０１６９】第３実施の形態では、被写体の検索や撮影
状況の推定において、合焦情報や測光情報等といった、
ビデオカメラで映像を撮影する際に必要とされる情報に
基づいて映像中での注目する被写***置を設定する。ま
た、階調特性生成回路１０４では、輝度・色差情報分離
回路２３からの色差情報ccを利用して階調特性の生成を
制御する。

【０１７０】被写体検索処理回路１０１では、ＣＰＵ８
からの動画／静止画撮影モード情報nnにより広ＤＲ静止
画映像情報生成回路２１または広ＤＲ動画映像情報生成
回路２２から出力される広ＤＲ映像情報bb、およびＡ
F，ＡE，ＡＷＢ検波回路７からの情報を受けてＣＰＵ８
で生成されて出力される合焦・測光情報ＧＧを受けて、
注目する被写体に関する情報を示す注目情報iiおよび撮
影時の露光の変更を指示する露光変更制御情報ppを生成
して出力する。ここで、合焦・測光情報ＧＧは、露光変
更制御情報ppの生成の際に、現在の撮影におけるＡF、
ＡEを示す情報として用いられる。すなわち、露光変更
制御情報ppは、現在のＡF、ＡEをどのように変更するか
を制御するための情報として生成される。なお、本実施
の形態における合焦・測光情報ＧＧは、２種類の露光に
よる映像のうち、どちらか一方に関する情報でも良い。

【０１７１】撮影状況推定回路１０２では、被写体検索
処理回路１０１からの注目情報ii、およびＣＰＵ８から
出力される合焦・測光情報ＧＧを受けて、撮影状況に関
する推定結果を表す撮影状況情報kkを生成して出力す
る。ここでは、後述する方法により、合焦・測光情報Ｇ
Ｇに基づいて撮影状況を複数のパターンに分類し、その
パターンを撮影状況情報kkとして出力する。

【０１７２】階調特性変更制御回路１０３では、撮影状
況推定回路１０２から出力される撮影状況情報kkおよび
広ＤＲ静止画映像情報生成回路２１から出力される静止
画階調特性指示情報hhを受けて、階調特性の変更を指示
したり、事前に生成された階調特性の維持を指示するた
めの情報を表す階調特性指示情報mmを生成して出力す
る。ここでは、撮影状況情報kkの変化に応じて、階調特
性指示情報mmを生成する。すなわち、撮影状況情報kkに
変化が見られない（合焦・測光情報ＧＧに関する変化が
見られない）場合は、現在の階調特性を維持する内容を
表す階調特性指示情報mmを生成し、撮影状況情報kkに変
化が見られた（合焦・測光情報ＧＧに関する変化が見ら
れた）場合は、階調特性の変更を指示する内容を表す階
調特性指示情報mmを生成する。

【０１７３】階調特性生成回路１０４では、輝度・色差
情報分離回路２３から出力される輝度情報ddおよび色差
情報ccと、エッジ検出回路２４から出力されるエッジ情
報eeと、階調特性変更制御回路１０３から出力される階
調特性指示情報mmとを受けて、階調特性を示す階調特性
情報ffを生成して出力する。ここで、色差情報ccは、階
調特性の割り当てを制限するように階調特性の生成を制
御する。例えば、色差情報ccにより肌色を示す部分に関
する輝度情報ddの階調の変化（階調特性の傾き）を調
べ、この傾きが所定値以上となる場合はこれを所定値に
減らすように制御する。このようにして、階調が多く割
り当てられ過ぎることで肌色部のコントラストが必要以
上に強くならないようにして、肌色部をなす人物の被写
体等の階調再現性をより自然なものにする階調特性情報
ffを生成する。

【０１７４】図１８は、第３実施の形態において、撮影
状況の決定に利用される測光情報を設定するための評価
測光分割パターンの例を示す図である。ここでは、画面
をＡ _１〜Ａ_１３の１３個の測光エリアに分割し、各エリ
アにて測定される輝度等のエリア測光情報から、次式に
示す測光評価値Ｓ１〜Ｓ３を算出する。

【数３】 Ｓ１＝｜Ａ_２−Ａ_３｜ ・・・（３） Ｓ２＝ maｘ（｜Ａ_４−Ａ_６｜，｜Ａ_４−Ａ_７｜） ・・・（４） Ｓ３＝ maｘ（Ａ_１０，Ａ_１１）−ΣＡ_i／１３ ・・・（５）

【０１７５】ここで、（３）式はクローズアップのよう
に接写撮影している場合に、画面の中心部に被写体が一
つのみ存在するのか複数存在するのかを評価し、（４）
式はポートレートのように人物を撮影している場合に、
画面の中央部に存在する被写体が一人か複数かを評価
し、（５）式は風景全体を撮影している場合に、画面全
体を見て画面上部に空が存在するか否かを評価する。そ
して、これら評価値を測光情報として設定する。

【０１７６】図１９は、第３実施の形態における合焦情
報と測光情報とによる撮影状況の分類パターン例を示す
図である。ここでは、合焦情報として被写体の距離を推
定するＡF情報を用いている。本実施の形態では、合焦
情報と測光情報との組合せにより、映像情報の撮影状況
を６個のパターン（撮影状況タイプ）に分類する。各撮
影状況タイプは次のように定義される。 ・Ｔype１：合焦情報が５m〜∞（風景撮影）で測光情報
Ｓ３が閾値Ｔh２１以上である場合（画面上部に空が存
在している） ・Ｔype２：合焦情報が５m〜∞（風景撮影）で測光情報
Ｓ３が閾値Ｔh２１未満である場合（画面上部に空が存
在していない、または空の部分が少ない） ・Ｔype３：合焦情報が１m〜５m（人物撮影）で測光情
報Ｓ２が閾値Ｔh２２以上である場合（一人のポートレ
ート撮影である） ・Ｔype４：合焦情報が１m〜５m（人物撮影）で測光情
報Ｓ２が閾値Ｔh２２未満である場合（複数のポートレ
ート撮影である） ・Ｔype５：合焦情報が１m以下（接写撮影）で測光情報
Ｓ１が閾値Ｔh２３以上である場合（単一物体のクロー
ズアップである） ・Ｔype６：合焦情報が１m以下（接写撮影）で測光情報
Ｓ１が閾値Ｔh２３未満である場合（複数物体のクロー
ズアップである）

【０１７７】図２０は、図１９に示した撮影状況タイプ
に基づく撮影状況パターンの例を示す図である。Ｔype
１は、「上部に空のある風景」と判断された場合の撮影
状況パターンであり、空以外の部分について注目するよ
うになっている。Ｔype２は、「上部に空のない、また
は空の部分が少ない風景」と判断された場合の撮影状況
パターンであり、画面全体を注目するようになってい
る。Ｔype３は、「一人の人物をポートレート撮影して
いる」と判断された場合の撮影状況パターンであり、画
面中央のうち上側の部分について他の部分よりも注目す
るようになっている。Ｔype４は、「複数の人物をポー
トレート撮影している」と判断された場合の撮影状況パ
ターンであり、Ｔype３に比べて画面中央および中央の
左側、右側にも注目するようになっている。Ｔype５
は、「単一物体をクローズアップして撮影している」と
判断された場合の撮影状況パターンであり、画面中央部
に関して周辺部よりも注目するようになっている。Ｔyp
e６は、「複数物体をクローズアップして撮影してい
る」と判断された場合の撮影状況パターンであり、Ｔyp
e５に比べて画面中央部の注目の度合を小さくするよう
になっている。

【０１７８】なお、本実施の形態で決定される図２０の
撮影状況パターンは、画面の位置に応じて注目の度合い
を数値的に変化させている。したがって撮影状況パター
ン自体を以後の階調変換特性の生成における重み付けパ
ターンとして利用することも可能である。

【０１７９】以上、第３実施の形態について説明した
が、本実施の形態も様々な応用が可能である。例えば、
本実施の形態ではビデオカメラで映像を撮影する際に必
要とされる情報として合焦情報と測光情報とを用いた
が、これに限らず、ズーム位置情報やマルチスポット測
光情報、視線入力情報のうち一つ以上を用いることで実
現することもできる。

【０１８０】（第４実施の形態）図２１は、本発明の第
４実施の形態における撮像システムとしてのビデオカメ
ラの基本的な構成を示すブロック図である。以後、第４
実施の形態については、第２実施の形態までと同一の機
能をもつものには同一の番号を付し、異なる箇所につい
てのみ説明する。なお、第４実施の形態では、第２実施
の形態と同様に映像入力で一度の撮影にてＤＲの広い映
像情報を取得できる撮像素子を利用し、撮影環境に関す
る地図情報を用いて映像を生成する。

【０１８１】本実施の形態では、映像を表示するモニタ
１３において、タッチパネル方式による画面位置の入力
を制御するモニタ入力ドライバ１１２を備えており、こ
のモニタ入力ドライバ１１２からの画面位置入力情報HH
（図示せず）を受けて、映像情報処理回路１１１で階調
再現処理を行なって変換映像情報ggを生成する。

【０１８２】図２２は、図２１に示した映像情報処理回
路１１１の構成を示すブロック図である。この映像情報
処理回路１１１では、図１４に示した第２実施の形態に
おける映像情報処理回路６１の構成と異なる箇所とし
て、モニタ入力ドライバ１１２から出力される画面位置
入力情報HHを、広ＤＲ映像情報bbおよび環境地図情報DD
とともに被写体検索処理回路１２１に供給して、後述す
る方法により、被写体の検索処理を行なっている。な
お、被写体検索処理回路１２１から出力される注目情報
ii、露光変更制御情報pp、および撮影位置情報EEは、第
２実施の形態と同様の内容を示している。

【０１８３】図２３は、図２２に示した被写体検索処理
回路１２１の構成を示すブロック図である。ここでは、
図１５に示した第２実施の形態における被写体検索処理
回路７３と異なる箇所のみについて説明する。

【０１８４】モニタ入力ドライバ１１２から出力される
画面位置入力情報HHは、映像特徴情報ww、広ＤＲ映像情
報bb、および撮影位置情報EEとともに被写体有無判定回
路１３１に供給して、被写体の有無について判定する。
ここでは、画面位置入力情報HHが示す画面位置の周辺に
ついて、広ＤＲ映像情報bbと映像特徴情報wwとから被写
体の有無を判定する。この被写体有無判定回路１３１で
生成されて出力される被写体有無情報ｘｘは、第２実施
の形態と同様の内容を示すものである。

【０１８５】また、画面位置入力情報HHは、被写体有無
情報ｘｘ（内容が“被写体有り”を示す情報）、全体注
目情報yy（内容が“画面全体が被写体である”を示す情
報）、および撮影位置情報EEとともに被写***置検出回
路１３２に供給して、画面上における被写体の位置を設
定する。ここでは、被写体有無情報ｘｘを受けた場合
は、画面位置入力情報HHそのものを被写体の位置として
設定し、また全体注目情報yyを受けた場合は、画面全体
を被写***置として設定して、結果として撮影位置情報
EEを含めた被写***置情報zzを生成して出力する。

【０１８６】注目情報設定回路８５では、被写***置検
出回路８３から出力される被写***置情報zz、および広
ＤＲ映像情報bbを受けて、被写***置情報zzが示す画面
上または地図情報上の被写***置、すなわち画面位置入
力情報HHが示す画面位置から注目情報iiを生成して出力
する。これにより、モニタ入力ドライバ１１２からの入
力にて指定された画面位置に対する注目情報を得ること
ができ、結果として画面位置に対応した階調特性を生成
して映像情報に適用することで、入力された画面位置に
対して適切な階調再現となる映像情報を生成することが
できる。

【図面の簡単な説明】

【図１】 本発明の第１実施の形態における撮像システ
ムとしてのビデオカメラの基本的な構成を示すブロック
図である。

【図２】 図１に示した映像情報処理回路の構成を示す
ブロック図である。

【図３】 第１実施の形態における広ダイナミックレン
ジ（ＤＲ）映像の生成方法を説明するための図である。

【図４】 図２に示した広ＤＲ静止画映像情報生成回路
の構成を示すブロック図である。

【図５】 同じく、広ＤＲ静止画映像情報生成回路での
処理を説明するための図である。

【図６】 図２に示した被写体検索処理回路の構成を示
すブロック図である。

【図７】 図６に示した露光変更制御回路での露光変更
アルゴリズムのフローチャートである。

【図８】 同じく、被写***置設定回路による被写***
置（注目位置）設定動作を説明するための図である。

【図９】 図２に示した撮影状況推定回路および階調特
性変更制御回路の動作を示すフローチャートである。

【図１０】 図２に示した階調特性生成回路の構成を示
すブロック図である。

【図１１】 同じく、階調特性生成回路の動作を説明す
るための図である。

【図１２】 図２に示した映像生成回路での映像生成処
理で用いる色差情報の限界特性を示す図である。

【図１３】 本発明の第２実施の形態における撮像シス
テムとしてのビデオカメラの基本的な構成を示すブロッ
ク図である。

【図１４】 図１３に示した映像情報処理回路の構成を
示すブロック図である。

【図１５】 図１４に示した被写体検索処理回路の構成
を示すブロック図である。

【図１６】 図１４に示した階調特性生成回路の構成を
示すブロック図である。

【図１７】 本発明の第３実施の形態における映像情報
処理回路の構成を示すブロック図である。

【図１８】 第３実施の形態において撮影状況の決定に
利用される測光情報を設定するための評価測光分割パタ
ーンの例を示す図である。

【図１９】 第３実施の形態における合焦情報と測光情
報とによる撮影状況の分類パターン例を示す図である。

【図２０】 図１９に示した撮影状況タイプに基づく撮
影状況パターンの例を示す図である。

【図２１】 本発明の第４実施の形態における撮像シス
テムとしてのビデオカメラの基本的な構成を示すブロッ
ク図である。

【図２２】 図２１に示した映像情報処理回路の構成を
示すブロック図である。

【図２３】 図２２に示した被写体検索処理回路の構成
を示すブロック図である。

【符号の説明】

１ 撮像素子 ２ レンズ ３ 絞り・シャッタ機構 ４ アンプ ５ Ａ／Ｄ変換器 ６ 映像情報処理回路 ７ ＡＦ，ＡＥ，ＡＷＢ検波回路 ８ ＣＰＵ ９ 圧縮回路 １０ メモリコントローラ １１ ＤＲＡＭ １２ 表示回路 １３ モニタ １４ 静止画用記録媒体Ｉ／Ｆ １５ 静止画用記録媒体 １６ 動画用記録媒体Ｉ／Ｆ １７ 動画用記録媒体 １８ タイミングジェネレータ（ＴＧ） １９ ストロボ ２０ 入力キー ２１ 広ＤＲ静止画映像情報生成回路 ２２ 広ＤＲ動画映像情報生成回路 ２３ 輝度・色差情報分離回路 ２４ エッジ検出回路 ２５ 階調特性生成回路 ２６ 映像生成回路 ２７ 被写体検索処理回路 ２８ 撮影状況推定回路 ２９ 階調特性変更制御回路 ３１ 広ＤＲ静止画合成回路 ３２ レベル検知回路 ３３ 第１スイッチ ３４ 第２スイッチ ３５ 連写撮影制御回路 ３６ 連写画像位置補正回路 ３７ 基準画像推定回路 ３８ 基準画像補正回路 ３９ 階調特性変更指示出力回路 ４１ 映像特徴抽出回路 ４２ 被写体有無判定回路 ４３ 被写***置設定回路 ４４ 露光変更制御回路 ４５ 注目情報設定回路 ５１ 重み付けパターン設定回路 ５２ エッジヒストグラム算出回路 ５３ 階調特性算出回路 ６１ 映像情報処理回路 ６２ 地図情報メモリ ７１ スイッチ ７２ 静止画映像情報生成回路 ７３ 被写体検索処理回路 ７４ 階調特性生成回路 ８１ 撮影位置推定回路 ８２ 被写体有無判定回路 ８３ 被写***置設定回路 ８４ 露光変更制御回路 ８５ 注目情報設定回路 ９１ 撮影環境対応重み付け設定回路 ９２ 重み付けパターン設定回路 １０１ 被写体検索処理回路 １０２ 撮影状況推定回路 １０３ 階調特性変更制御回路 １０４ 階調特性生成回路 １１１ 映像情報処理回路 １１２ モニタ入力ドライバ １２１ 被写体検索処理回路 １３１ 被写体有無判定回路 １３２ 被写***置設定回路

フロントページの続き Ｆターム(参考） 5B057 AA20 CA01 CA08 CA12 CB01 CB08 CB12 CC01 CE08 CE11 CE16 CH01 CH11 CH18 DA16 DB02 DB06 DB09 5C022 AA11 AB17 AB22 AC69 5C065 AA01 AA03 BB48 CC02 CC03 DD02 GG32 5C066 AA01 CA21 GA02 GA05 GB01 KE17

Claims (24)

【特許請求の範囲】
1. 【請求項１】 動画像として映像を取り扱うことが可能
   な撮像システムにおいて、 動画撮影または静止画撮影を選択する撮影切替部と、 上記撮影切替部で静止画撮影が選択された場合に、動画
   像として取得される映像情報から静止画像の映像情報を
   生成する静止画像生成部と、 動画像として取得された映像情報または上記静止画像生
   成部により生成された静止画像の映像情報に基づいて撮
   影状況を推定する撮影状況推定部と、 上記撮影状況推定部により推定された撮影状況に基づい
   て映像情報の階調特性の変更を制御する階調特性変更制
   御部と、 上記階調特性変更制御部の制御に応じて上記映像情報の
   階調特性を生成する階調特性生成部と、 上記映像情報の階調特性に基づいて再生映像情報を生成
   する映像生成部と、 を有することを特徴とする撮像システム。
2. 【請求項２】 動画像として映像を取り扱うことが可能
   な撮像システムにおいて、 動画撮影または静止画撮影を選択する撮影切替部と、 上記撮影切替部で動画撮影が選択された場合に、所定の
   時間において一定時間単位で異なる露光による映像を合
   成して動画像の広ダイナミックレンジ映像情報を生成す
   る動画像生成部と、 上記撮影切替部で静止画撮影が選択された場合に、異な
   る露光による映像を合成して静止画像の広ダイナミック
   レンジ映像情報を生成する静止画像生成部と、 上記動画像生成部により生成された動画像の映像情報ま
   たは上記静止画像生成部により生成された静止画像の映
   像情報に基づいて撮影状況を推定する撮影状況推定部
   と、 上記撮影状況推定部により推定された撮影状況に基づい
   て映像情報の階調特性の変更を制御する階調特性変更制
   御部と、 上記階調特性変更制御部の制御に応じて上記映像情報の
   階調特性を生成する階調特性生成部と、 上記映像情報の階調特性に基づいて再生映像情報を生成
   する映像生成部と、を有することを特徴とする撮像シス
   テム。
3. 【請求項３】 上記撮影状況推定部は、 上記映像情報から特徴を抽出する特徴抽出部と、 上記特徴抽出部によって抽出された上記特徴に基づいて
   上記映像情報の中で注目する被写体に関する情報を設定
   する注目情報設定部と、 を有することを特徴とする請求項１または２に記載の撮
   像システム。
4. 【請求項４】 上記撮影状況推定部は、 上記映像情報を表示する映像表示部と、 上記映像表示部に表示された上記映像情報に基づいて上
   記映像情報の中で注目する被写体に関する情報を設定す
   る注目情報設定部と、 を有することを特徴とする請求項１または２に記載の撮
   像システム。
5. 【請求項５】 上記撮影状況推定部は、 撮影環境に関する知識情報を記憶する知識情報記憶部
   と、 上記知識情報記憶部内の上記知識情報に基づいて上記映
   像情報の撮影環境を推定する撮影環境推定部と、 上記撮影環境推定部の推定結果に基づいて上記映像情報
   の中で注目する被写体に関する情報を設定する注目情報
   設定部と、 を有することを特徴とする請求項１または２に記載の撮
   像システム。
6. 【請求項６】 上記撮影状況推定部は、 撮影環境に関する知識情報を記憶する知識情報記憶部
   と、 上記知識情報記憶部内の上記知識情報に基づいて上記映
   像情報の撮影環境を推定する撮影環境推定部と、 上記撮影環境推定部の推定結果に基づいて上記映像情報
   の階調特性を制御するための制御情報を生成して撮影状
   況の推定結果として出力する階調特性制御部と、 を有することを特徴とする請求項１または２に記載の撮
   像システム。
7. 【請求項７】 上記注目情報設定部は、 上記注目する被写体が上記映像情報中に存在するか否か
   を判定する被写体有無判定部と、 上記被写体有無判定部で被写体が存在しない場合に上記
   映像情報のレベルが第１所定値以上または第１所定値よ
   り小さい第２所定値以下である部分を検知するレベル検
   知部と、 上記レベル検知部の結果として上記映像情報のレベルが
   上記第１所定値以上である部分を検知した場合は上記映
   像情報を取得する際の露光を少なくするように制御し、
   上記映像情報のレベルが上記第２所定値以下である部分
   を検知した場合は上記映像情報を取得する際の露光を多
   くするように制御する露光制御部と、 上記被写体有無判定部で被写体が存在する場合に上記被
   写体に該当する部分を注目部分として設定する注目位置
   設定部と、 を有することを特徴とする請求項３，４または５に記載
   の撮像システム。
8. 【請求項８】 上記注目情報設定部は、 設定される上記注目する被写体に関する情報として少な
   くとも被写体の輝度レベル情報を含み、上記輝度レベル
   情報から注目する被写体の輝度が所定の範囲より暗い側
   にあるときは上記映像情報を取得する際の露光を多くす
   るように制御し、注目する被写体の輝度が上記所定の範
   囲より明るい側にあるときには上記映像情報を取得する
   際の露光を少なくするように制御する露光制御部を含む
   ことを特徴とする請求項３，４または５に記載の撮像シ
   ステム。
9. 【請求項９】 上記露光制御部は、 上記映像情報を取得する際の露光を変える場合に、上記
   一定時間単位で異なる露光による映像のうち一以上の映
   像について露光を変えるように上記広ダイナミックレン
   ジ映像情報の生成を制御することを特徴とする請求項７
   または８に記載の撮像システム。
10. 【請求項１０】 上記撮影環境推定部にて生成される推
    定結果は、上記知識情報記憶部に記憶されている上記知
    識情報のうち上記映像情報に該当する情報であることを
    特徴とする請求項５または６に記載の撮像システム。
11. 【請求項１１】 上記注目情報設定部は、 上記撮影環境推定部から出力される推定結果と上記映像
    情報とを比較して相違のレベルが所定値以上となる部分
    に関して処理を行うことを特徴とする請求項５に記載の
    撮像システム。
12. 【請求項１２】 上記撮影状況推定部は、 撮影時の合焦情報から推定される合焦位置および撮影時
    の測光情報から推定される被写体輝度分布に基づいて撮
    影状況を推定することを特徴とする請求項１または２に
    記載の撮像システム。
13. 【請求項１３】 上記静止画像生成部は、 画面において上記映像情報または上記再生映像情報のレ
    ベルが第３所定値以上または第３所定値より小さい第４
    所定値以下である部分を検知する静止画像レベル検知部
    と、 上記静止画像レベル検知部により検知された部分が存在
    する場合に、静止画像情報として映像情報または再生映
    像情報を連続的に取得する連写部と、 上記連写部により取得された静止画像情報群について画
    面での位置合わせを行う位置補正部と、 上記位置補正部により補正された上記静止画像情報群を
    合成して一つの静止画像情報を生成する静止画像合成部
    と、 を有することを特徴とする請求項１または２に記載の撮
    像システム。
14. 【請求項１４】 上記静止画像合成部は、 上記静止画像情報群のうち基準となる静止画像情報を指
    定する基準画像指定部と、 上記基準画像指定部により指定された静止画像情報のレ
    ベルが上記第３所定値以上または上記第４所定値以下で
    ある部分に関して、上記指定された静止画像情報以外の
    上記静止画像情報群を用いて補正する基準画像補正部
    と、 を有することを特徴とする請求項１３に記載の撮像シス
    テム。
15. 【請求項１５】 上記階調特性変更制御部は、 上記映像情報において撮影状況の変更が発生した場合に
    階調特性を変更するよう制御する変更制御情報を出力す
    ることを特徴とする請求項１または２に記載の撮像シス
    テム。
16. 【請求項１６】 上記階調特性変更制御部は、 上記撮影切替部で静止画撮影が選択された場合に階調特
    性を変更するよう制御する変更制御情報を出力すること
    を特徴とする請求項１または２に記載の撮像システム。
17. 【請求項１７】 上記階調特性変更制御部は、 上記注目する被写体に関する情報の時間的変化を表す評
    価値を演算し、上記評価値により上記時間的変化が大き
    いと判断された場合に階調特性を変更するよう制御する
    変更制御情報を出力することを特徴とする請求項１また
    は２に記載の撮像システム。
18. 【請求項１８】 上記階調特性生成部は、 上記撮影状況推定部で注目する被写体が検知された場合
    は、上記映像情報において上記注目する被写体に該当す
    る部分に関してそれ以外の部分より重みを大きくするよ
    うな特性を持つ重み付けパターンを設定し、上記撮影状
    況推定部で 注目する被写体が検知されない場合は、上
    記映像情報の画面全体に対して一様な重みをつける重み
    付けパターンを設定し、設定された 上記重み付けパタ
    ーンを利用して階調特性を生成することを特徴とする請
    求項１または２に記載の撮像システム。
19. 【請求項１９】 上記階調特性生成部は、 上記映像情報から階調特性を生成するための階調特性用
    特徴を検出し、上記階調特性用特徴および上記重み付け
    パターンを利用して上記映像情報に関するヒストグラム
    を作成し、上記ヒストグラムに基づいて階調特性を生成
    することを特徴とする請求項１８に記載の撮像システ
    ム。
20. 【請求項２０】 上記階調特性生成部は、 上記注目情報設定部において設定される上記注目する被
    写体に関する情報の画面に占める割合が所定以上となっ
    た場合に、注目する被写体に該当する階調に制限を設け
    て上記階調特性を生成することを特徴とする請求項３，
    ４または５に記載の撮像システム。
21. 【請求項２１】 上記階調特性生成部は、 上記撮影状況推定部の推定結果に対応する上記知識情報
    記憶部内の知識情報に基づいて階調特性を生成すること
    を特徴とする請求項５または６に記載の撮像システム。
22. 【請求項２２】 上記映像生成部は、 上記階調特性生成部で生成された階調特性に基づいて上
    記映像情報の輝度情報を変換し、上記階調特性による変
    換前後の上記輝度情報および色再現の理論限界特性に基
    づいて上記映像情報の色差情報を変換し、変換された輝
    度情報および色差情報から上記再生映像情報を生成する
    ことを特徴とする請求項１または２に記載の撮像システ
    ム。
23. 【請求項２３】 動画像として映像を取り扱うことが可
    能な撮像システムの動作を制御するためのコンピュータ
    に、 動画撮影または静止画撮影を選択する撮影切替機能と、 上記撮影切替機能により静止画撮影が選択された場合
    に、動画像として取得される映像情報から静止画像の映
    像情報を生成する静止画像生成機能と、 動画像として取得された映像情報または上記静止画像生
    成機能により生成された静止画像の映像情報に基づいて
    撮影状況を推定する撮影状況推定機能と、 上記撮影状況推定機能により推定された撮影状況に基づ
    いて映像情報の階調特性の変更を制御する階調特性変更
    制御機能と、 上記階調特性変更制御機能による制御に応じて上記映像
    情報の階調特性を生成する階調特性生成機能と、 上記映像情報の階調特性に基づいて再生映像情報を生成
    する映像生成機能と、を実現させることを特徴とする
    撮像プログラム。
24. 【請求項２４】 動画像として映像を取り扱うことが可
    能な撮像システムの動作を制御するためのコンピュータ
    に、 動画撮影または静止画撮影を選択する撮影切替機能と、 上記撮影切替機能により動画撮影が選択された場合に、
    所定の時間において一定時間単位で異なる露光による映
    像を合成して動画像の広ダイナミックレンジ映像情報を
    生成する動画像生成機能と、 上記撮影切替機能により静止画撮影が選択された場合
    に、異なる露光による映像を合成して静止画像の広ダイ
    ナミックレンジ映像情報を生成する静止画像生成機能
    と、 上記動画像生成機能により生成された動画像の映像情報
    または上記静止画像生成機能により生成された静止画像
    の映像情報に基づいて撮影状況を推定する撮影状況推定
    機能と、 上記撮影状況推定機能により推定された撮影状況に基づ
    いて映像情報の階調特性の変更を制御する階調特性変更
    制御機能と、 上記階調特性変更制御機能による制御に応じて上記映像
    情報の階調特性を生成する階調特性生成機能と、 上記映像情報の階調特性に基づいて再生映像情報を生成
    する映像生成機能と、 を実現させることを特徴とする 撮像プログラム。