JP2008244586A - 映像処理装置 - Google Patents

Abstract

【課題】操作の手間を省いて、画像の所望のズーム範囲を自動的にズーミングすることができるようにする。
【解決手段】カメラ部２で得られた画像信号１００は、Ａ／Ｄ変換部３でデジタル動画像信号１０１に変換された後、グラフィック生成部１０で選択されてモニタ１１に供給されるとともに、符号化部４で符号化されて記録装置７に記録される。また、このデジタル動画像信号１０１は被写体検出部５に供給され、エッジ検出などによって被写体の候補（候補被写体）が検出される。パラメータ計算部６は、この候補被写体の候補被写体の画像信号１０４から、この候補被写体を含むズーム範囲とそのズーム倍率のズームパラメータが計算され、カメラ部２は、このズームパラメータ１０６をもとに、そのズーム範囲をそのズーム倍率でズーム撮像を行なう。これにより、モニタ１１にズーム画面が表示される。
【選択図】図１

Description

本発明は、エッジ情報、または動きベクトルの情報、または顔認識の情報を検出して候補被写体を判別し、この被写体に瞬時に自動的にズームを行なうことができる映像処理装置に関する。

従来、被写体の形状を検出し、常に最適な自動ズームを行なう装置が提案されている（例えば、特許文献１参照）。

この特許文献１に記載の従来技術は、一対のレンズからなる２次結合レンズを用いて２つの同じ撮像画面を得、これら撮像画面の間隔が撮像レンズのデフォーカス状態に依存していることから、この間隔と撮像レンズの焦点距離とから被写体距離を求めて画面内の距離の分布を表わす距離画像を求め、この距離画像から主被写体の画面での大きさと位置を求めてこの主被写体が所定の大きさ，位置で表示されるための撮像レンズの焦点距離を求め、この焦点距離に撮影レンズの焦点距離となるように撮像レンズを変化させることにより、自動ズーム動作が行なわれるようにしたものである。

他の例として、実際にズームしたい画像を確認しながらカメラのズーム動作を制御する装置を提案している（例えば、特許文献２参照）。

この特許文献２に記載の従来技術は、パソコンやワークステーションから遠隔操作でズーム範囲を指定し、カメラのズーミングを行なうものであって、サイズ指定手段によって指定される大きさで画像表示装置にズーム範囲を示す画像表示枠が表示され、この画像表示枠の大きさに応じて焦点距離（ズーム倍率）が決められるようにしたものである。ここで、カメラＢで撮影して得られた撮影画像がこの画像表示装置で表示されるのであるが、カメラでは、この画像表示枠が大きいほど小さい焦点距離で撮影され、この画像表示枠が小さいほど大きい焦点距離で撮影されるものであって、カメラからの撮影画像は、全体としてこの画像表示枠内で表示されるように、縮小されるものである。ユーザは、サイズ指定手段を操作することにより、この画像表示枠の大きさを変化させることができ、これにより、カメラのズーム倍率を適宜に選択することを可能としている。
特開平７−３１８７８７号公報 特開平９−３７１３２号公報

ところで、上記特許文献１に記載の従来技術では、２次結合レンズを用いることなどにより、装置が複雑になり、小型化するのが難しいという問題があるし、また、コスト面で不利になるという問題もある。

また、上記特許文献２に記載の従来技術では、ズームしたい範囲を手動で決定するため、監視などの遠隔操作の場合にはよいが、ビデオカメラなどの瞬時にズームを行ないたい場合には、これを設定するのに手間がかかるという問題がある。

本発明の目的は、かかる問題を解消し、操作の手間を省いて画像の所望のズーム範囲を自動的にズーミングすることができるようにした小型で安価な映像処理装置を提供することにある。

上記目的を達成するために、本発明は、光学ズーム機能を有するカメラ部からの動画像の画像信号からエッジ情報を検出し、エッジ情報によってカメラ部の撮影シーンにおける被写体を候補被写体として検出する被写体検出部と、被写体検出部で検出された候補被写体を含む撮影シーンでのズーム範囲とズーム範囲のズーム倍率とをズームパラメータとして決定するパラメータ計算部とを備え、ズームパラメータをカメラ部に供給することにより、カメラ部を撮像シーンにおけるズーム範囲をズーム倍率でズーム撮影させることを特徴とするものである。

また、本発明は、光学ズーム機能を有するカメラ部からの動画像信号からエッジ情報を検出し、エッジ情報によってカメラ部の撮影シーンにおける被写体を候補被写体として検出する被写体検出部と、被写体検出部で検出された候補被写体を含む撮影シーンでのズーム範囲とズーム範囲のズーム倍率とをズームパラメータとして決定するパラメータ計算部と、カメラ部からの動画像信号におけるズーム範囲の部分をデジタルズーム処理してズーム画像信号を生成するズーム画像生成部と、カメラ部からの動画像信号とズーム画像信号とのいずれかを一方をモニタに供給するグラフィック生成部とを備え、パラメータ計算部は、決定したズームパラメータのズーム範囲に対して、カメラ部に、またはカメラ部とズーム画像生成部とに決定したズームパラメータのズーム倍率のズーム動作を行なわせ、グラフィック生成部は、パラメータ計算部で決定したズーム倍率の大きさに応じて、カメラ部からの動画像信号とズーム画像生成部からのズーム画像信号とのいずれか一方を選択してモニタに供給することを特徴とするものである。

さらに、本発明は、カメラ部からの動画像信号を符号化する符号化部と、符号化部で符号化されて得られる符号化ストリームを記録媒体に記録する記録部とを備え、ズーム画像生成部でデジタルズーム処理が行なわれるとき、パラメータ計算部からズーム画像生成部に設定されるズーム範囲とズーム倍率とのズームパラメータを記録媒体に記録することを特徴とするものである。

また、本発明は、動画像信号からエッジ情報を検出し、エッジ情報によってカメラ部の撮影シーンにおける被写体を候補被写体として検出する被写体検出部と、被写体検出部で検出された候補被写体を含む撮影シーンでのズーム範囲とズーム範囲のズーム倍率とをズームパラメータとして決定するパラメータ計算部と、カメラ部からの動画像信号におけるズーム範囲の部分をデジタルズーム処理してズーム画像信号を生成するズーム画像生成部と、カメラ部からの動画像信号とズーム画像信号とのいずれかを一方を選択してモニタに供給するグラフィック生成部とを備え、パラメータ計算部は、決定したズームパラメータのズーム範囲に対して、ズーム画像生成部に決定したズームパラメータのズーム倍率のズーム動作を行なわせることを特徴とするものである。

そして、カメラ部からの動画像信号を符号化する符号化部と、符号化部で符号化されて得られる符号化ストリームを記録媒体に記録する記録部とを備え、グラフィック生成部がズーム画像生成部からのズーム画像信号を選択するとき、パラメータ計算部からズーム画像生成部に設定されるズーム範囲とズーム倍率とのズームパラメータを記録媒体に記録することを特徴とするものである。

さらに、本発明は、パラメータ計算部で決定されたズームパラメータのズーム範囲が設定され、カメラ部からの動画像信号のズーム範囲の部分を抽出して、サブ画像信号として出力するサブ画像生成部を設け、グラフィック生成部は、サブ画像信号を選択してモニタに供給し、カメラ部からの画像信号による撮像画面にサブ画像信号によるサブ画面が合成された画面をモニタで選択的に表示可能に構成したことを特徴とするものである。

また、本発明は、記録装置で記録媒体から再生される符号化ストリームを動画像信号に復号する復号化部と、復号化部からの動画像信号からエッジ情報を検出し、エッジ情報によって動画像信号における被写体を候補被写体として検出する被写体検出部と、被写体検出部で検出された候補被写体を含む動画像信号によるシーンのズーム範囲とズーム範囲のズーム倍率とをズームパラメータとして決定するパラメータ計算部と、復号化部からの動画像信号におけるズーム範囲の部分をズーム倍率でデジタルズーム処理してズーム画像信号を生成するズーム画像生成部と、復号化部からの動画像信号とズーム画像信号とのいずれかを一方をモニタに供給するグラフィック生成部とを備え、パラメータ計算部は、決定したズームパラメータのズーム範囲に対して、ズーム画像生成部に決定したズームパラメータのズーム倍率のズーム動作を行なわせることを特徴とするものである。

そして、パラメータ計算部で決定されたズームパラメータのズーム範囲が設定され、復号化部からの動画像信号のズーム範囲の部分を抽出して、サブ画像信号として出力するサブ画像生成部を設け、グラフィック生成部は、サブ画像信号を選択して、復号化部からの動画像信号にサブ画像信号を合成してモニタに供給し、サブ画面が合成された記録装置の再生画面をモニタで選択的に表示可能に構成したことを特徴とするものである。

さらに、被写体検出部は、複数の候補被写体を検出して候補被写体の種類を判別し、パラメータ計算部は、検出された候補被写体毎にズームパラメータを決定するとともに、種類に応じてズーム動画像生成の順位を設定することを特徴とするものである。

本発明によると、撮影中または記録媒体からの再生中に被写体をズームしたい場面には、自動的に被写体のズーム範囲を設定するので、瞬時にズーム画面に切り替えることを実現できる。

また、本発明によると、従来の撮影システムや記録システムに追加するだけで、ズーム画面を容易に得ることができ、コスト面においても優れている。

以下、本発明の実施形態を図面を用いて説明する。

図１は本発明による映像処理装置の第１の実施形態を示すブロック構成図であって、１はこの実施形態の映像処理装置、２はカメラ部、３はＡ／Ｄ（アナログ／デジタル）変換部、４は符号化部、５は被写体検出部、６はズームパラメータ計算部、７は記録装置、８は外部命令部、９はサブ画像生成部、１０はグラフィック生成部、１１はモニタである。

図１に示したように、映像処理装置１は、光学ズーム機能を備えたカメラ部２と、Ａ／Ｄ変換部３と、符号化部４と、被写体検出部５と、ズームパラメータ計算部６と、記録装置７と、外部命令部８と、サブ画像生成部９と、グラフィック生成部１０とを備えている。

カメラ部２からのアナログ動画像信号１００はＡ／Ｄ変換部３でデジタル画像信号１０１に変換され、符号化部４と被写体検出部５とサブ画像生成部９とグラフィック生成部１０とに供給される。ズーム動作を行なわない通常モードを示す外部命令（出力画像切替命令）２０３が外部命令部８から送られた場合には、グラフィック生成部１０はＡ／Ｄ変換部３からのデジタル動画像信号１０１を選択して、映像処理装置１の出力動画像信号１０８としてモニタ１１に供給する。これにより、モニタ１１には、図２（ａ）に示すようなカメラ部２の撮影画面３００が表示される。

なお、外部命令部８は、図示しない操作部のユーザによる操作に応じた命令を外部命令として出力するものである。

Ａ／Ｄ変換部３から出力されるデジタル動画像信号１０１は、また、符号化部４で符号化されて圧縮され、その符号化後のストリーム１０２が記録装置７に記録される。この符号化部４での符号化には、ＭＰＥＧ２やＨ．２６４などが用いられる。符号化部４では、このデジタル動画像信号１０１の符号化に際して動きベクトルを検出し、これを用いてこのデジタル動画像信号１０１の符号化処理が行なわれるが、この動きベクトル１０３は、ストリーム１０２とともに記録装置７に供給されて記録されるとともに、被写体検出部５に供給される。

被写体検出部５では、エッジ検出フィルタを用いてＡ／Ｄ変換部３から供給されるデジタル動画像信号１０１での被写体の輪郭を表わすエッジ情報が検出され、このエッジ情報をもとに、符号化部４からの動きベクトル１０３などを用いてズーミングの対象となる被写体の候補（即ち、候補被写体）が検出され、候補被写体を表わした画像情報１０４を出力してパラメータ計算部６に供給する。

パラメータ計算部６では、この画像情報１０４から候補被写体を含むズーム範囲が決定され、また、この候補被写体全体を含むズーム範囲の画像をモニタ１１の画面全体に拡大表示するためのズーム倍率が決定される。そして、このズーム範囲を表わすズームパラメータ１０５はサブ画像生成部９に供給され、このズーム範囲とズーム倍率（サブ画像生成部９に供給されるズームパラメータ１０５でのズーム倍率と等しいズーム倍率）とを示すカメラズームパラメータ１０６がカメラ部２に供給される。なお、カメラ部２は、このようにズーム範囲を表わすズームパラメータ１０５が供給されても、外部命令部８からズーム動作の外部命令（カメラズーム制御命令）２０２がない限り、ズーム動作を行なわない。

サブ画像生成部９では、Ａ／Ｄ変換部３から供給されるデジタル動画像信号１０１のうちの、パラメータ計算部６からズームパラメータ１０５で表わされるズーム範囲内の部分が抽出され、この抽出された動画像信号が、サブ画像信号１０７として、グラフィック生成部１０に供給される。

グラフィック生成部１０は、外部命令部８からの出力画像切替命令２０３に応じて動作制御されるものであって、この出力画像切替命令２０３が上記の通常モードを命令するものであるときには、Ａ／Ｄ変換部３からのデジタル動画像信号１０１を出力動画像信号１０８としてモニタ１１に供給し、図２（ａ）に示すカメラ部２が通常モードで撮影しているときの撮影画面３００が表示される。

また、ユーザの操作部の操作により、出力画像切替命令２０３がズーム範囲表示モードを命令するものであるときには、グラフィック生成部１０は、Ａ／Ｄ変換部３からのデジタル動画像信号１０１にサブ画像生成部９からのサブ画像信号１０７を嵌め込み合成（スーパーインポーズ）し、かかる合成画像信号を、出力画像信号１０８として、モニタ１１に供給する。モニタ１１では、図２（ｂ）に示すように、通常撮像モードの撮像画面３００の一部にサブ画像信号１０７によるサブが面３０１がスーパーインポーズされたズーム範囲表示画面３０２が表示される。

さらに、ユーザが操作部でズーム操作によって外部命令部８からズーム動作を命令するカメラズーム制御命令２０２が供給されると、このとき、モニタ１１で図２（ａ）に示す通常撮影画面３００が表示されている通常撮影モードの状態にあっても、また、図２（ｂ）に示すズーム範囲表示画面３０２が表示されているズーム範囲表示モードの状態にあっても、カメラ部２は、パラメータ計算部６からのカメラズームパラメータ１０６でのズーム範囲で指定される撮影範囲がカメラズームパラメータ１０６でのズーム倍率でズーミングするズーム撮影を行なう。これとともに、グラフィック生成部１０は、Ａ／Ｄ変換部３からのズーム撮影されたデジタル動画像信号１０１が出力画像信号１０８としてモニタ１１に供給される。これにより、モニタ１１では、図２（ｃ）に示すように、サブ画像生成部９で生成されるサブ画面３０１（図２（ｃ））が表示画面全体に拡大表示されるように、ズーム撮影モードが実行される。

なお、図２（ｃ）に示すズーム撮影画面３００が表示されているズーム撮影モード時、ユーザが操作部でズーム倍率の変更操作をすることにより、外部命令部８からズーム倍率変更のための外部命令（ズームパラメータ調整命令）２０１がパラメータ計算部６に供給され、これによって変更されたズーム倍率がカメラズームパラメータ１０６としてカメラ部２に供給される。これにより、カメラ部２では、この変更されたズーム倍率でズーム撮影が行なわれ、ズーム撮影画面３０３（図２（ｃ））のズーム倍率が変更される。

また、ズーム撮影モード時では、ズーム撮影によるデジタル動画像信号１０１の符号化部４で符号化された符号化ストリーム１０２が動きベクトルとともに記録装置７にも記録される。

ところで、カメラ部２が撮像するシーンには、複数の候補被写体がある場合もある。被写体検出部５は、このような場合でも、夫々の候補被写体を認識する。

図３はこの場合の被写体検出部５の候補被写体の検出動作を模式的に示す図であって、４００，４０１は被写体、５００〜５０３はズーム範囲である。

いま、図３（ａ）に示すように、カメラ部２の撮影シーンに人物である被写体４００と移動体である被写体４０１とが存在すると、被写体検出部５は、エッジ検出フィルタなどにより、これら被写体４００，４０１のエッジを検出してこれらの輪郭を検出し、夫々を候補被写体と判定する。ここで、これら被写体４００，４０１の輪郭をパターン照合による顔認識を行なうことにより、被写体４００を人物の候補被写体４００と認識し、また、符号化部４からの動きベクトル１０３により、被写体４０１を移動体の候補被写体４０１と認識する。また、図示しないが、顔認識や動きベクトルを用いて認識処理を行なうことにより、人物や移動体以外の被写体（以下、静止被写体という。但し、停止している移動体も含む）も、静止体の候補被写体として認識することができる。

また、人物の被写体に対しては、その全体ばかりでなく、顔の部分だけや上半身だけといった部分についても、候補被写体とすることができる。

被写体検出部５は、このように、候補被写体を検出すると、夫々の候補被写体を表わす画像信号１０４を生成してパラメータ計算部６に供給する。この候補被写体の画像信号１０４では、候補被写体の輪郭を表わす動画像信号であって、夫々の輪郭を表わすエッジの情報は、例えば、候補被写体の種類（人物や移動体，静止体）毎に異なる値のデジタル値によって表わされる。これにより、画面での夫々の候補被写体の位置と種類とを判定することができる。

パラメータ計算部６は、かかる候補被写体の画像信号１０４が供給されると、一旦メモリに保持した後、候補被写体夫々毎にズーム範囲を設定する。図３（ｂ）は人物である候補被写体４００と移動体の候補被写体４０１とに対して設定されたズーム範囲を示すものであって、移動体である被写体４０１に対しては、その全体を候補被写体４０１として、破線の枠で示すように、この候補被写体４０１全体を含む矩形状のズーム範囲３０４が設定される。また、人物の被写体４００に対しては、その顔の部分の候補被写体と上半身の候補被写体と全体の候補被写体とを認識し、破線の枠で示すように、顔の部分の候補被写体全体を含む矩形状のズーム範囲５００と上半身の候補被写体全体を含む矩形状のズーム範囲５０１と人物の被写体全体を含む矩形状のズーム範囲５０２とが設定される。ここで、設定されるズーム範囲５００〜５０３の縦横比はモニタ１１の表示画面の縦横比にほぼ等しく設定され、その大きさはこれに含まれる候補被写体の大きさに応じたものである。

また、パラメータ計算部６は、夫々の候補被写体毎に、設定したズーム範囲の大きさと表示画面の大きさとの割合からそのズーム倍率を設定する。このズーム倍率は、ズーム範囲の画像を表示画面全体に表示させるときの倍率を表わすものである。

さらに、パラメータ計算部６は、このように複数の候補被写体を対象とした場合、そのうちの１つの候補被写体を選択し、これに対するズーム範囲を、ズームパラメータ１０５としてサブ画像生成部９に供給する。従って、ズーム範囲表示モードでは、この選択された候補被写体に対するサブ画面３０１が、図２（ｂ）に示すように、表示される。この候補被写体の選択は、その順序が決められており、図１において、ユーザの操作部の選択操作によって行なわれるものであって、この操作に伴って外部命令８から候補被写体選択命令２００がパラメータ計算部６に送られ、これまで選択されていた候補被写体の次の候補被写体が選択される。この候補被写体の選択順序は、ユーザが予め設定しておく。例えば、人物の候補被写体，移動体の候補被写体，静止体の候補被写体の順序としてこれが繰り返され、また、人物の候補被写体については、顔部分の候補被写体，上半身の候補被写体，全体の候補被写体の順序とする。

また、被写体検出部５でのエッジ情報の検出結果によっては、図４（ａ）に示すように、候補被写体４００がズーム範囲５００の中心よりもずれて位置付けられる場合もあり、このような場合には、このズーム範囲５００でズーム撮影すると、図２（ｃ）に示すズーム撮影画面３０３において、候補被写体４００が隅の方に片寄った位置に表示されることになる。このような場合、手動操作でもって、矢印４００で示すように、ズーム範囲５００を拡大することにより、図４（ｂ）に示すように、拡大したズーム範囲５００ａの中心部に候補被写体４００を位置付けるようにすることができる。

このために、操作部には、ズーム範囲の上下辺，左右辺を夫々指示する操作ボタンが設けられており、これらのいずれかの操作ボタンを操作することにより、ズーム範囲を調整することができる。例えば、図４（ａ）に示すように、ズーム範囲５００内で候補被写体４００が右辺側に片寄った位置にある場合、右辺操作ボタンを操作することにより、ズーム範囲の右辺が右方に移動し、これとともに、上辺が上方に、下辺が下方に夫々移動してズーム範囲５００が、その縦横比をもとの縦横比（即ち、モニタ１１の表示画面の縦横比）に保ちながら、右方に拡大する。これにより、図４（ｂ）に示すように、縦横比を一定に保ったまま、候補被写体４００がほぼ中央部に位置するように、ズーム範囲５００ａを調整することができる。

以上のように、この第１の実施形態では、撮影中に自動的にズーム範囲が設定されるので、ズーム範囲の設定のための操作の手間が省け、また、複数の候補被写体が存在する場合には、モニタによってそのいずれかの候補被写体のズーム撮像を選択することができ、所望の候補被写体を容易にズーム撮影することが可能となる。

図５は本発明による映像処理装置の第２の実施形態を示すブロック構成図であって、１２はズーム画像生成部であり、図１に対応する部分には同一符号を付けて重複する説明を省略する。

同図において、この第２の実施形態では、ズーム画像生成性部１２を設け、カメラ部２で光学ズームを行なうとともに、このズーム画像生成部１２でも、デジタルズームを行なうことにより、ズーム倍率をより大きく設定できるようにしたものである。

Ａ／Ｄ変換部３からのデジタル動画像信号１０１は、ズーム画像生成部１２にも供給される。また、このズーム画像生成部１２には、パラメータ計算部６から、上記のように選択された候補被写体に対するズーム範囲とズーム倍率との外部命令（ズームパラメータ）１０９が供給される。これにより、このズーム画像生成部１２では、供給されるデジタル動画像信号１０１のうちのズームパラメータ１０７のズーム範囲のパラメータを抽出し、このズーム範囲のパラメータをズームパラメータ１０７のズーム倍率に応じて拡大した（この際、画素間の画素補間処理が行なわれる）デジタルズーム処理されてズーム動画像信号１１０が生成される。ズーム動画像信号１１０は、グラフィック生成部１０に供給される。

ここで、ズーム撮像モードでは、ある設定されたズーム倍率の範囲内のズーム倍率でカメラ部２がズーム範囲の光学ズームを行ない、候補被写体に対して設定されたズーム範囲の大きさに応じてパラメータ計算部６で得られたズーム倍率がこのカメラ部２で設定されているズーム倍率の範囲を越えた値になったときには、さらに、ズーム画像生成部１２でデジタルズームを行なう。

即ち、光学ズームのズーム倍率の範囲の上限値をα_1MAXとし、カメラ部２の光学ズームのズーム倍率をα₁、ズーム画像生成部１２のデジタルズームのズーム倍率をα₂とすると、パラメータ計算部６で得られたズーム倍率をαとすると、
α＝α₁×α₂
であって、
α≦α_1MAXのとき、α＝α₁、但し、α₂＝１
であり、この場合には、カメラ部２で光学ズームによるズーム動作が行なわれ、この光学ズームによるデジタル動画像信号１０１がズーム画像生成部１２とグラフィック生成部１０とのそのまま通過してモニタ１１に供給される。また、
α＞α_1MAXのとき、α＝α_MAX×α₂、但し、α₂＝α／α_1MAX
であり、この場合には、カメラ部２で光学ズームによるズーム動作が行なわれ、この光学ズームによるデジタル動画像信号１０１がズーム画像生成部１２でさらにデジタルズームによるズーム処理されて、グラフィック生成部１０を介し、モニタ１１に供給される。

また、ズーム撮像モードでは、カメラ部２で光学ズームされたデジタル動画像信号１０１が符号化部４で符号化され、符号化ストリーム１０２として、記録部７に記録されるが、α＞α_1MAXのとき、パラメータ計算部６で算出された選択された候補被写体のズーム範囲とズーム画像生成部１２でのこの候補被写体のズーム範囲でのズーム倍率α₂とを表わすズームパラメータ１１１（従って、このズームパラメータ１１１は、ズーム画像生成部１２に供給されるズームパラメータ１０９と等しい）が記録装置７に供給され、符号化部４からの符号化ストリーム１０２，動きベクトルなどとともに記録される。

このようにして、この第２の実施形態では、第１の実施形態と同様の効果が得られるとともに、さらに、第１の実施形態よりも大きなズーム倍率でズーム撮影を行なうことができる。光学ズームの最大までの画像を記録しておくことにより、情報量をほとんど増加させることなく（ズーム範囲の情報だけなので、画像情報に比べて非常に小さい）、後で、光学ズームの範囲内であれば、編集が可能である。

なお、この第２の実施形態の一変形例として、ズーム画像生成部１２によってのみズーム（デジタルズーム）を行なうようにしてもよい。この場合には、カメラ部２はズーム機能を備えておらず、通常撮影のみが行なわれ、その撮影によるデジタル動画像信号１０１が符号化部４で符号化され、これによる符号化ストリーム１０２が動きベクトルなどとともに記録装置７に記録される。また、この場合、ズーム画像生成部１２によるズームモードのときには、記録装置７にパラメータ計算部６からのズーム範囲とズーム倍率からなるズームパラメータ１１１が記録される。

この変形例においても、先の各実施形態と同様の効果が得られるとともに、カメラ部２にズーム光学系が不要となり、操作のさらなる簡略化が図れる。

図６は本発明による映像処理装置の第３の実施形態を示すブロック構成図であって、２０はこの実施形態の映像処理装置、２１は記録装置、２２は復号化部、２３は被写体検出部、２４はパラメータ計算部、２５は外部命令部、２６はズーム画像生成部、２７はサブ画像生成部、２８はグラフィック生成部、２９はモニタである。

この第３の実施形態は、記録装置の再生装置に適用したものであり、図６において、映像処理装置２０は、記録装置２１と、復号化部２２と、被写体検出部２３と、パラメータ計算部２４と、外部命令部２５と、ズーム画像生成部２６と、サブ画像生成部２７と、グラフィック生成部２８とを備えており、このグラフィック生成部２８からの出力画像信号１２８がモニタ２９に供給されて画像表示される。

記録装置２１は、図１や図５に示す記録装置７で符号化されたデジタル画像信号（符号化ストリーム）が記録媒体からこの符号化ストリームを再生することもできるし、また、この記録装置２１やその他の記録装置で符号化ストリームが記録された記録媒体からこの符号化ストリームを再生することができる。ここで、
（１）図１における記録装置７で記録がなされた記録媒体には、光学ズームによってズーム撮像された画像信号の符号化ストリームも記録されているが、ズームパラメータは記録されていない。
（２）図５における記録装置７で記録がなされた記録媒体には、カメラ部２の光学ズームによってズーム撮像された画像信号の符号化ストリームも記録され、この場合には、ズームパラメータは記録されないが、デジタルズームがなされている符号化ストリームに対しては、このデジタルズームに対するズームパラメータが記録されている。
（３）図６における記録装置２１で記録がなされた記録媒体には、ズームされない（即ち、通常撮像の）画像の符号化ストリームが記録されているが、ズームパラメータは記録されていない。

記録装置２１の再生動作では、そのときの記録媒体にズームパラメータが記録さているときには、そのズームパラメータに対する符号化ストリームの再生とともに、このズームパラメータが再生され、ズームパラメータ１３０としてパラメータ計算部２４に供給される。

また、記録装置２１では、記録媒体から符号化ストリーム１２０が動きベクトルとともに再生され、復号化部２２に供給されてもとのデジタル動画像信号１２１に復号される。このデジタル動画像信号１２１は、グラフィック生成部２８と被写体検出部２３とサブ画像生成部２７とズーム画像生成部２６とに供給される。

被写体検出部２３は、図１及び図５での被写体検出部５と同様のものであって、エッジ検出フィルタを用いてデジタル動画像信号１２１のエッジ情報が検出されて被写体の輪郭が検出され、パターン照合による顔認識や復号化部２２で使用された動きベクトル１２２が用いられて候補被写体の検出とその種類（人物や移動体，静止体の候補被写体）が判別され、かかる候補被写体の画像信号１２３が生成されてパラメータ計算部２４に供給される。

ここで、パラメータ計算部２４は、被写体検出部２３からの候補被写体の画像信号１２３を取り込み、図１，図５に示すパラメータ計算部６と同様に、外部命令部２５からの候補被写体選択命令２００によって選択された候補被写体に対するズーム範囲とズーム倍率とを求める。そして、先の第１，第２の実施形態や第２の実施形態の変形例と同様、この選択された候補被写体に対するズーム範囲のズームパラメータ１２４がサブ画像生成部２７に供給されてサブ画像１２６が生成され、また、そのズーム範囲とズーム倍率のズームパラメータ１２５がズーム画像生成部２６に供給されてズーム動画像信号１２７が生成され、ユーザの操作部の操作による外部命令部２５からの出力画像切替命令２０３に応じて、図２（ａ），（ｂ），（ｃ）のいずれかの画面がモニタ２９に表示されることになる。

なお、グラフィック生成部２８でズーム画像生成部２６からのズーム動画像信号１２７が選択され、モニタ２９に図２（ｃ）に示すようなズーム画面が表示されるときには、そのときのズーム範囲とズーム倍率とが、ズームパラメータ１２９として、記録装置２１に供給され、記録媒体のそのとき再生される符号化ストリームに対応付けられて記録される。これにより、符号化ストリームのこの部分がズームパラメータ１２９に応じてズーム表示されたことが示されることになる。

そこで、上記（１）〜（４）の記録媒体を再生する場合、符号化ストリームのうちのズームパラメータ１３０が再生されない部分を再生するときには、このような処理を行なうことができ、この符号化ストリームでズーム表示がなされた部分では、新たにズームパラメータ１２９が記録されることになる。

記録装置２１で記録媒体からズームパラメータ１３０が再生されてパラメータ計算部２４に供給されるときには、パラメータ計算部２４はこのズームパラメータ１３０を取り込み、このズームパラメータ１３０を、ズームパラメータ１２５として、ズーム画像生成部２６に送る。ズーム画像生成部２６は、このズームパラメータ１２５を用いてズーム動画像信号１２７を作成し、グラフィック生成部２８に供給する。また、パラメータ計算部２４は、このズームパラメータ１３０を取り込むと、ズーム画像選択命令２０４を外部命令部８に送る。このズーム画像選択命令２０４により、外部命令部８はズーム動画像信号１２７を選択すべき指示する出力画像切替命令２０３をグラフィック生成部２８に送る。グラフィック生成部２８はこの出力画像切替命令２０３によってズーム画像生成部２６からのズーム動画像信号１２７を選択し、モニタ２９に供給する。これにより、モニタ２９には、このズームパラメータ１２５のズーム倍率で拡大されたズーム画面が、図２（ｃ）に示すように、表示されることになる。

このように、上記（２），（３）の記録媒体のように、あるいはまた、上記（１），（４）の記録媒体であっても、上記のように、記録装置２１で再生されてズーム画像生成部１２７で画像拡大され、モニタ２９にズーム画像表示されることによってそのときのズームパラメータ１２９が記録された記録媒体のように、記録装置２１でズームパラメータ１３０が再生されたときには、この記録装置２１で再生される動画像信号のこのズームパラメータ１３０によるズーム範囲の部分が、自動的にモニタ２９の表示画面一杯に拡大されてズーム表示されることになる。

従って、一度ズーム表示した記録媒体上の符号化ストリームに関連付けてズームパラメータを記録しておくことにより、この符号化ストリームのズーム画面を自動的に再度モニタ２９に表示させることができる。

このようにして、一度ズーム再生された動画像は、再度同じズーム状態で再生表示させることができ、前回と同じ再生画像を楽しむことができる。

なお、以上の実施形態では、サブ画面を選択された候補被写体に対するもの１つだけ、動画像に合成してモニタで表示されるものとしたが、全ての候補被写体のサブ画面をモニタに同時に表示し、ユーザがそのうちの１つを選択するようにしてもよい。この場合には、選択されたサブ画面に対する候補被写体のズーム画面が自動的にグラフィック生成部で選択されてモニタで表示させるようにしてもよい。

本発明による映像処理装置の第１の実施形態を示すブロック構成図である。 図１におけるモニタで表示される各モードでの画面の一具体例を模式的に示す図である。 図１に示す第１の実施形態での複数の候補被写体に対する処理を模式的に示す図である。 図１に示す第１の実施形態でのズーム範囲の修正処理を模式的に示す図である。 本発明による映像処理装置の第２の実施形態を示すブロック構成図である。 本発明による映像処理装置の第３の実施形態を示すブロック構成図である。

符号の説明

１ 映像処理装置
２ カメラ部
３ Ａ／Ｄ変換部
４ 符号化部
５ 被写体検出部
６ パラメータ計算部
７ 記録装置
８ 外部命令部
９ サブ画像生成部
１０ グラフィック生成部
１１ モニタ
１２ ズーム画像生成部
１００ 撮影画像信号
１０１ デジタル画像信号
１０２ 符号化ストリーム
１０３ 動きベクトル
１０４ 被写体検出後の画像
１０５ ズームパラメータ
１０６ カメラズームパラメータ
１０７ サブ画像
１０８ 出力画像
２００ 候補被写体選択命令
２０１ ズームパラメータ調整命令
２０２ カメラズーム制御命令
２０３ 出力画像切り替え命令
３００ 通常撮影画面
３０１ サブ画面
３０２ ズーム範囲表示画面
３０３ ズーム撮影画面
４００，４０１ 候補被写体
５００，５００ａ，５０１〜５０３ ズーム範囲

Claims (9)

1. 光学ズーム機能を有するカメラ部からの動画像の画像信号からエッジ情報を検出し、該エッジ情報によって該カメラ部の撮影シーンにおける被写体を候補被写体として検出する被写体検出部と、
   該被写体検出部で検出された該候補被写体を含む該撮影シーンでのズーム範囲と該ズーム範囲のズーム倍率とをズームパラメータとして決定するパラメータ計算部と
   を備え、該ズームパラメータを該カメラ部に供給することにより、該カメラ部を該撮像シーンにおける該ズーム範囲を該ズーム倍率でズーム撮影させることを特徴とする映像処理装置。
2. 光学ズーム機能を有するカメラ部からの動画像信号からエッジ情報を検出し、該エッジ情報によって該カメラ部の撮影シーンにおける被写体を候補被写体として検出する被写体検出部と、
   該被写体検出部で検出された該候補被写体を含む該撮影シーンでのズーム範囲と該ズーム範囲のズーム倍率とをズームパラメータとして決定するパラメータ計算部と、
   該カメラ部からの動画像信号における該ズーム範囲の部分をデジタルズーム処理してズーム画像信号を生成するズーム画像生成部と、
   該カメラ部からの動画像信号と該ズーム画像信号とのいずれかを一方をモニタに供給するグラフィック生成部と
   を備え、
   該パラメータ計算部は、決定した該ズームパラメータのズーム範囲に対して、該カメラ部に、または該カメラ部と該ズーム画像生成部とに決定した該ズームパラメータのズーム倍率のズーム動作を行なわせ、
   該グラフィック生成部は、該パラメータ計算部で決定したズーム倍率の大きさに応じて、該カメラ部からの動画像信号と該ズーム画像生成部からの該ズーム画像信号とのいずれか一方を選択してモニタに供給する
   ことを特徴とする映像処理装置。
3. 請求項２において、
   前記カメラ部からの動画像信号を符号化する符号化部と、
   該符号化部で符号化されて得られる符号化ストリームを記録媒体に記録する記録部と
   を備え、
   前記ズーム画像生成部でデジタルズーム処理が行なわれるとき、前記パラメータ計算部から前記ズーム画像生成部に設定されるズーム範囲とズーム倍率とのズームパラメータを該記録媒体に記録する
   ことを特徴とする映像処理装置。
4. 動画像信号からエッジ情報を検出し、該エッジ情報によって該カメラ部の撮影シーンにおける被写体を候補被写体として検出する被写体検出部と、
   該被写体検出部で検出された該候補被写体を含む該撮影シーンでのズーム範囲と該ズーム範囲のズーム倍率とをズームパラメータとして決定するパラメータ計算部と、
   該カメラ部からの動画像信号における該ズーム範囲の部分をデジタルズーム処理してズーム画像信号を生成するズーム画像生成部と、
   該カメラ部からの動画像信号と該ズーム画像信号とのいずれかを一方を選択してモニタに供給するグラフィック生成部と
   を備え、
   該パラメータ計算部は、決定した該ズームパラメータのズーム範囲に対して、該ズーム画像生成部に決定した該ズームパラメータのズーム倍率のズーム動作を行なわせる
   ことを特徴とする映像処理装置。
5. 請求項４において、
   前記カメラ部からの動画像信号を符号化する符号化部と、
   該符号化部で符号化されて得られる符号化ストリームを記録媒体に記録する記録部と
   を備え、
   前記グラフィック生成部が前記ズーム画像生成部からのズーム画像信号を選択するとき、前記パラメータ計算部から前記ズーム画像生成部に設定されるズーム範囲とズーム倍率とのズームパラメータを該記録媒体に記録する
   ことを特徴とする映像処理装置。
6. 請求項１〜５のいずれか１つにおいて、
   前記パラメータ計算部で決定された前記ズームパラメータの前記ズーム範囲が設定され、前記カメラ部からの前記動画像信号の前記ズーム範囲の部分を抽出して、サブ画像信号として出力するサブ画像生成部を設け、
   前記グラフィック生成部は、該サブ画像信号を選択して前記モニタに供給し、前記カメラ部からの前記画像信号による撮像画面に該サブ画像信号によるサブ画面が合成された画面を該モニタで選択的に表示可能に構成したことを特徴とする映像処理装置。
7. 記録装置で記録媒体から再生される符号化ストリームを動画像信号に復号する復号化部と、
   該復号化部からの動画像信号からエッジ情報を検出し、該エッジ情報によって該動画像信号における被写体を候補被写体として検出する被写体検出部と、
   該被写体検出部で検出された該候補被写体を含む該動画像信号によるシーンのズーム範囲と該ズーム範囲のズーム倍率とをズームパラメータとして決定するパラメータ計算部と、
   該復号化部からの動画像信号における該ズーム範囲の部分を該ズーム倍率でデジタルズーム処理してズーム画像信号を生成するズーム画像生成部と、
   該復号化部からの動画像信号と該ズーム画像信号とのいずれかを一方をモニタに供給するグラフィック生成部と
   を備え、
   該パラメータ計算部は、決定した該ズームパラメータのズーム範囲に対して、該ズーム画像生成部に決定した該ズームパラメータのズーム倍率のズーム動作を行なわせる
   ことを特徴とする映像処理装置。
8. 請求項７において、
   前記パラメータ計算部で決定された前記ズームパラメータの前記ズーム範囲が設定され、前記復号化部からの前記動画像信号の前記ズーム範囲の部分を抽出して、サブ画像信号として出力するサブ画像生成部を設け、
   前記グラフィック生成部は、該サブ画像信号を選択して、前記復号化部からの前記動画像信号に該サブ画像信号を合成して前記モニタに供給し、該サブ画面が合成された前記記録装置の再生画面を該モニタで選択的に表示可能に構成したことを特徴とする映像処理装置。
9. 請求項１〜８のいずれかにおいて、
   前記被写体検出部は、複数の候補被写体を検出して該候補被写体の種類を判別し、
   前記パラメータ計算部は、検出された該候補被写体毎に前記ズームパラメータを決定するとともに、種類に応じてズーム動画像生成の順位を設定することを特徴とする映像処理装置。

Images