JP2008244586A - 映像処理装置 - Google Patents
映像処理装置 Download PDFInfo
- Publication number
- JP2008244586A JP2008244586A JP2007079150A JP2007079150A JP2008244586A JP 2008244586 A JP2008244586 A JP 2008244586A JP 2007079150 A JP2007079150 A JP 2007079150A JP 2007079150 A JP2007079150 A JP 2007079150A JP 2008244586 A JP2008244586 A JP 2008244586A
- Authority
- JP
- Japan
- Prior art keywords
- zoom
- unit
- image signal
- parameter
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】操作の手間を省いて、画像の所望のズーム範囲を自動的にズーミングすることができるようにする。
【解決手段】カメラ部2で得られた画像信号100は、A/D変換部3でデジタル動画像信号101に変換された後、グラフィック生成部10で選択されてモニタ11に供給されるとともに、符号化部4で符号化されて記録装置7に記録される。また、このデジタル動画像信号101は被写体検出部5に供給され、エッジ検出などによって被写体の候補(候補被写体)が検出される。パラメータ計算部6は、この候補被写体の候補被写体の画像信号104から、この候補被写体を含むズーム範囲とそのズーム倍率のズームパラメータが計算され、カメラ部2は、このズームパラメータ106をもとに、そのズーム範囲をそのズーム倍率でズーム撮像を行なう。これにより、モニタ11にズーム画面が表示される。
【選択図】図1
【解決手段】カメラ部2で得られた画像信号100は、A/D変換部3でデジタル動画像信号101に変換された後、グラフィック生成部10で選択されてモニタ11に供給されるとともに、符号化部4で符号化されて記録装置7に記録される。また、このデジタル動画像信号101は被写体検出部5に供給され、エッジ検出などによって被写体の候補(候補被写体)が検出される。パラメータ計算部6は、この候補被写体の候補被写体の画像信号104から、この候補被写体を含むズーム範囲とそのズーム倍率のズームパラメータが計算され、カメラ部2は、このズームパラメータ106をもとに、そのズーム範囲をそのズーム倍率でズーム撮像を行なう。これにより、モニタ11にズーム画面が表示される。
【選択図】図1
Description
本発明は、エッジ情報、または動きベクトルの情報、または顔認識の情報を検出して候補被写体を判別し、この被写体に瞬時に自動的にズームを行なうことができる映像処理装置に関する。
従来、被写体の形状を検出し、常に最適な自動ズームを行なう装置が提案されている(例えば、特許文献1参照)。
この特許文献1に記載の従来技術は、一対のレンズからなる2次結合レンズを用いて2つの同じ撮像画面を得、これら撮像画面の間隔が撮像レンズのデフォーカス状態に依存していることから、この間隔と撮像レンズの焦点距離とから被写体距離を求めて画面内の距離の分布を表わす距離画像を求め、この距離画像から主被写体の画面での大きさと位置を求めてこの主被写体が所定の大きさ,位置で表示されるための撮像レンズの焦点距離を求め、この焦点距離に撮影レンズの焦点距離となるように撮像レンズを変化させることにより、自動ズーム動作が行なわれるようにしたものである。
他の例として、実際にズームしたい画像を確認しながらカメラのズーム動作を制御する装置を提案している(例えば、特許文献2参照)。
この特許文献2に記載の従来技術は、パソコンやワークステーションから遠隔操作でズーム範囲を指定し、カメラのズーミングを行なうものであって、サイズ指定手段によって指定される大きさで画像表示装置にズーム範囲を示す画像表示枠が表示され、この画像表示枠の大きさに応じて焦点距離(ズーム倍率)が決められるようにしたものである。ここで、カメラBで撮影して得られた撮影画像がこの画像表示装置で表示されるのであるが、カメラでは、この画像表示枠が大きいほど小さい焦点距離で撮影され、この画像表示枠が小さいほど大きい焦点距離で撮影されるものであって、カメラからの撮影画像は、全体としてこの画像表示枠内で表示されるように、縮小されるものである。ユーザは、サイズ指定手段を操作することにより、この画像表示枠の大きさを変化させることができ、これにより、カメラのズーム倍率を適宜に選択することを可能としている。
特開平7−318787号公報
特開平9−37132号公報
ところで、上記特許文献1に記載の従来技術では、2次結合レンズを用いることなどにより、装置が複雑になり、小型化するのが難しいという問題があるし、また、コスト面で不利になるという問題もある。
また、上記特許文献2に記載の従来技術では、ズームしたい範囲を手動で決定するため、監視などの遠隔操作の場合にはよいが、ビデオカメラなどの瞬時にズームを行ないたい場合には、これを設定するのに手間がかかるという問題がある。
本発明の目的は、かかる問題を解消し、操作の手間を省いて画像の所望のズーム範囲を自動的にズーミングすることができるようにした小型で安価な映像処理装置を提供することにある。
上記目的を達成するために、本発明は、光学ズーム機能を有するカメラ部からの動画像の画像信号からエッジ情報を検出し、エッジ情報によってカメラ部の撮影シーンにおける被写体を候補被写体として検出する被写体検出部と、被写体検出部で検出された候補被写体を含む撮影シーンでのズーム範囲とズーム範囲のズーム倍率とをズームパラメータとして決定するパラメータ計算部とを備え、ズームパラメータをカメラ部に供給することにより、カメラ部を撮像シーンにおけるズーム範囲をズーム倍率でズーム撮影させることを特徴とするものである。
また、本発明は、光学ズーム機能を有するカメラ部からの動画像信号からエッジ情報を検出し、エッジ情報によってカメラ部の撮影シーンにおける被写体を候補被写体として検出する被写体検出部と、被写体検出部で検出された候補被写体を含む撮影シーンでのズーム範囲とズーム範囲のズーム倍率とをズームパラメータとして決定するパラメータ計算部と、カメラ部からの動画像信号におけるズーム範囲の部分をデジタルズーム処理してズーム画像信号を生成するズーム画像生成部と、カメラ部からの動画像信号とズーム画像信号とのいずれかを一方をモニタに供給するグラフィック生成部とを備え、パラメータ計算部は、決定したズームパラメータのズーム範囲に対して、カメラ部に、またはカメラ部とズーム画像生成部とに決定したズームパラメータのズーム倍率のズーム動作を行なわせ、グラフィック生成部は、パラメータ計算部で決定したズーム倍率の大きさに応じて、カメラ部からの動画像信号とズーム画像生成部からのズーム画像信号とのいずれか一方を選択してモニタに供給することを特徴とするものである。
さらに、本発明は、カメラ部からの動画像信号を符号化する符号化部と、符号化部で符号化されて得られる符号化ストリームを記録媒体に記録する記録部とを備え、ズーム画像生成部でデジタルズーム処理が行なわれるとき、パラメータ計算部からズーム画像生成部に設定されるズーム範囲とズーム倍率とのズームパラメータを記録媒体に記録することを特徴とするものである。
また、本発明は、動画像信号からエッジ情報を検出し、エッジ情報によってカメラ部の撮影シーンにおける被写体を候補被写体として検出する被写体検出部と、被写体検出部で検出された候補被写体を含む撮影シーンでのズーム範囲とズーム範囲のズーム倍率とをズームパラメータとして決定するパラメータ計算部と、カメラ部からの動画像信号におけるズーム範囲の部分をデジタルズーム処理してズーム画像信号を生成するズーム画像生成部と、カメラ部からの動画像信号とズーム画像信号とのいずれかを一方を選択してモニタに供給するグラフィック生成部とを備え、パラメータ計算部は、決定したズームパラメータのズーム範囲に対して、ズーム画像生成部に決定したズームパラメータのズーム倍率のズーム動作を行なわせることを特徴とするものである。
そして、カメラ部からの動画像信号を符号化する符号化部と、符号化部で符号化されて得られる符号化ストリームを記録媒体に記録する記録部とを備え、グラフィック生成部がズーム画像生成部からのズーム画像信号を選択するとき、パラメータ計算部からズーム画像生成部に設定されるズーム範囲とズーム倍率とのズームパラメータを記録媒体に記録することを特徴とするものである。
さらに、本発明は、パラメータ計算部で決定されたズームパラメータのズーム範囲が設定され、カメラ部からの動画像信号のズーム範囲の部分を抽出して、サブ画像信号として出力するサブ画像生成部を設け、グラフィック生成部は、サブ画像信号を選択してモニタに供給し、カメラ部からの画像信号による撮像画面にサブ画像信号によるサブ画面が合成された画面をモニタで選択的に表示可能に構成したことを特徴とするものである。
また、本発明は、記録装置で記録媒体から再生される符号化ストリームを動画像信号に復号する復号化部と、復号化部からの動画像信号からエッジ情報を検出し、エッジ情報によって動画像信号における被写体を候補被写体として検出する被写体検出部と、被写体検出部で検出された候補被写体を含む動画像信号によるシーンのズーム範囲とズーム範囲のズーム倍率とをズームパラメータとして決定するパラメータ計算部と、復号化部からの動画像信号におけるズーム範囲の部分をズーム倍率でデジタルズーム処理してズーム画像信号を生成するズーム画像生成部と、復号化部からの動画像信号とズーム画像信号とのいずれかを一方をモニタに供給するグラフィック生成部とを備え、パラメータ計算部は、決定したズームパラメータのズーム範囲に対して、ズーム画像生成部に決定したズームパラメータのズーム倍率のズーム動作を行なわせることを特徴とするものである。
そして、パラメータ計算部で決定されたズームパラメータのズーム範囲が設定され、復号化部からの動画像信号のズーム範囲の部分を抽出して、サブ画像信号として出力するサブ画像生成部を設け、グラフィック生成部は、サブ画像信号を選択して、復号化部からの動画像信号にサブ画像信号を合成してモニタに供給し、サブ画面が合成された記録装置の再生画面をモニタで選択的に表示可能に構成したことを特徴とするものである。
さらに、被写体検出部は、複数の候補被写体を検出して候補被写体の種類を判別し、パラメータ計算部は、検出された候補被写体毎にズームパラメータを決定するとともに、種類に応じてズーム動画像生成の順位を設定することを特徴とするものである。
本発明によると、撮影中または記録媒体からの再生中に被写体をズームしたい場面には、自動的に被写体のズーム範囲を設定するので、瞬時にズーム画面に切り替えることを実現できる。
また、本発明によると、従来の撮影システムや記録システムに追加するだけで、ズーム画面を容易に得ることができ、コスト面においても優れている。
以下、本発明の実施形態を図面を用いて説明する。
図1は本発明による映像処理装置の第1の実施形態を示すブロック構成図であって、1はこの実施形態の映像処理装置、2はカメラ部、3はA/D(アナログ/デジタル)変換部、4は符号化部、5は被写体検出部、6はズームパラメータ計算部、7は記録装置、8は外部命令部、9はサブ画像生成部、10はグラフィック生成部、11はモニタである。
図1に示したように、映像処理装置1は、光学ズーム機能を備えたカメラ部2と、A/D変換部3と、符号化部4と、被写体検出部5と、ズームパラメータ計算部6と、記録装置7と、外部命令部8と、サブ画像生成部9と、グラフィック生成部10とを備えている。
カメラ部2からのアナログ動画像信号100はA/D変換部3でデジタル画像信号101に変換され、符号化部4と被写体検出部5とサブ画像生成部9とグラフィック生成部10とに供給される。ズーム動作を行なわない通常モードを示す外部命令(出力画像切替命令)203が外部命令部8から送られた場合には、グラフィック生成部10はA/D変換部3からのデジタル動画像信号101を選択して、映像処理装置1の出力動画像信号108としてモニタ11に供給する。これにより、モニタ11には、図2(a)に示すようなカメラ部2の撮影画面300が表示される。
なお、外部命令部8は、図示しない操作部のユーザによる操作に応じた命令を外部命令として出力するものである。
A/D変換部3から出力されるデジタル動画像信号101は、また、符号化部4で符号化されて圧縮され、その符号化後のストリーム102が記録装置7に記録される。この符号化部4での符号化には、MPEG2やH.264などが用いられる。符号化部4では、このデジタル動画像信号101の符号化に際して動きベクトルを検出し、これを用いてこのデジタル動画像信号101の符号化処理が行なわれるが、この動きベクトル103は、ストリーム102とともに記録装置7に供給されて記録されるとともに、被写体検出部5に供給される。
被写体検出部5では、エッジ検出フィルタを用いてA/D変換部3から供給されるデジタル動画像信号101での被写体の輪郭を表わすエッジ情報が検出され、このエッジ情報をもとに、符号化部4からの動きベクトル103などを用いてズーミングの対象となる被写体の候補(即ち、候補被写体)が検出され、候補被写体を表わした画像情報104を出力してパラメータ計算部6に供給する。
パラメータ計算部6では、この画像情報104から候補被写体を含むズーム範囲が決定され、また、この候補被写体全体を含むズーム範囲の画像をモニタ11の画面全体に拡大表示するためのズーム倍率が決定される。そして、このズーム範囲を表わすズームパラメータ105はサブ画像生成部9に供給され、このズーム範囲とズーム倍率(サブ画像生成部9に供給されるズームパラメータ105でのズーム倍率と等しいズーム倍率)とを示すカメラズームパラメータ106がカメラ部2に供給される。なお、カメラ部2は、このようにズーム範囲を表わすズームパラメータ105が供給されても、外部命令部8からズーム動作の外部命令(カメラズーム制御命令)202がない限り、ズーム動作を行なわない。
サブ画像生成部9では、A/D変換部3から供給されるデジタル動画像信号101のうちの、パラメータ計算部6からズームパラメータ105で表わされるズーム範囲内の部分が抽出され、この抽出された動画像信号が、サブ画像信号107として、グラフィック生成部10に供給される。
グラフィック生成部10は、外部命令部8からの出力画像切替命令203に応じて動作制御されるものであって、この出力画像切替命令203が上記の通常モードを命令するものであるときには、A/D変換部3からのデジタル動画像信号101を出力動画像信号108としてモニタ11に供給し、図2(a)に示すカメラ部2が通常モードで撮影しているときの撮影画面300が表示される。
また、ユーザの操作部の操作により、出力画像切替命令203がズーム範囲表示モードを命令するものであるときには、グラフィック生成部10は、A/D変換部3からのデジタル動画像信号101にサブ画像生成部9からのサブ画像信号107を嵌め込み合成(スーパーインポーズ)し、かかる合成画像信号を、出力画像信号108として、モニタ11に供給する。モニタ11では、図2(b)に示すように、通常撮像モードの撮像画面300の一部にサブ画像信号107によるサブが面301がスーパーインポーズされたズーム範囲表示画面302が表示される。
さらに、ユーザが操作部でズーム操作によって外部命令部8からズーム動作を命令するカメラズーム制御命令202が供給されると、このとき、モニタ11で図2(a)に示す通常撮影画面300が表示されている通常撮影モードの状態にあっても、また、図2(b)に示すズーム範囲表示画面302が表示されているズーム範囲表示モードの状態にあっても、カメラ部2は、パラメータ計算部6からのカメラズームパラメータ106でのズーム範囲で指定される撮影範囲がカメラズームパラメータ106でのズーム倍率でズーミングするズーム撮影を行なう。これとともに、グラフィック生成部10は、A/D変換部3からのズーム撮影されたデジタル動画像信号101が出力画像信号108としてモニタ11に供給される。これにより、モニタ11では、図2(c)に示すように、サブ画像生成部9で生成されるサブ画面301(図2(c))が表示画面全体に拡大表示されるように、ズーム撮影モードが実行される。
なお、図2(c)に示すズーム撮影画面300が表示されているズーム撮影モード時、ユーザが操作部でズーム倍率の変更操作をすることにより、外部命令部8からズーム倍率変更のための外部命令(ズームパラメータ調整命令)201がパラメータ計算部6に供給され、これによって変更されたズーム倍率がカメラズームパラメータ106としてカメラ部2に供給される。これにより、カメラ部2では、この変更されたズーム倍率でズーム撮影が行なわれ、ズーム撮影画面303(図2(c))のズーム倍率が変更される。
また、ズーム撮影モード時では、ズーム撮影によるデジタル動画像信号101の符号化部4で符号化された符号化ストリーム102が動きベクトルとともに記録装置7にも記録される。
ところで、カメラ部2が撮像するシーンには、複数の候補被写体がある場合もある。被写体検出部5は、このような場合でも、夫々の候補被写体を認識する。
図3はこの場合の被写体検出部5の候補被写体の検出動作を模式的に示す図であって、400,401は被写体、500〜503はズーム範囲である。
いま、図3(a)に示すように、カメラ部2の撮影シーンに人物である被写体400と移動体である被写体401とが存在すると、被写体検出部5は、エッジ検出フィルタなどにより、これら被写体400,401のエッジを検出してこれらの輪郭を検出し、夫々を候補被写体と判定する。ここで、これら被写体400,401の輪郭をパターン照合による顔認識を行なうことにより、被写体400を人物の候補被写体400と認識し、また、符号化部4からの動きベクトル103により、被写体401を移動体の候補被写体401と認識する。また、図示しないが、顔認識や動きベクトルを用いて認識処理を行なうことにより、人物や移動体以外の被写体(以下、静止被写体という。但し、停止している移動体も含む)も、静止体の候補被写体として認識することができる。
また、人物の被写体に対しては、その全体ばかりでなく、顔の部分だけや上半身だけといった部分についても、候補被写体とすることができる。
被写体検出部5は、このように、候補被写体を検出すると、夫々の候補被写体を表わす画像信号104を生成してパラメータ計算部6に供給する。この候補被写体の画像信号104では、候補被写体の輪郭を表わす動画像信号であって、夫々の輪郭を表わすエッジの情報は、例えば、候補被写体の種類(人物や移動体,静止体)毎に異なる値のデジタル値によって表わされる。これにより、画面での夫々の候補被写体の位置と種類とを判定することができる。
パラメータ計算部6は、かかる候補被写体の画像信号104が供給されると、一旦メモリに保持した後、候補被写体夫々毎にズーム範囲を設定する。図3(b)は人物である候補被写体400と移動体の候補被写体401とに対して設定されたズーム範囲を示すものであって、移動体である被写体401に対しては、その全体を候補被写体401として、破線の枠で示すように、この候補被写体401全体を含む矩形状のズーム範囲304が設定される。また、人物の被写体400に対しては、その顔の部分の候補被写体と上半身の候補被写体と全体の候補被写体とを認識し、破線の枠で示すように、顔の部分の候補被写体全体を含む矩形状のズーム範囲500と上半身の候補被写体全体を含む矩形状のズーム範囲501と人物の被写体全体を含む矩形状のズーム範囲502とが設定される。ここで、設定されるズーム範囲500〜503の縦横比はモニタ11の表示画面の縦横比にほぼ等しく設定され、その大きさはこれに含まれる候補被写体の大きさに応じたものである。
また、パラメータ計算部6は、夫々の候補被写体毎に、設定したズーム範囲の大きさと表示画面の大きさとの割合からそのズーム倍率を設定する。このズーム倍率は、ズーム範囲の画像を表示画面全体に表示させるときの倍率を表わすものである。
さらに、パラメータ計算部6は、このように複数の候補被写体を対象とした場合、そのうちの1つの候補被写体を選択し、これに対するズーム範囲を、ズームパラメータ105としてサブ画像生成部9に供給する。従って、ズーム範囲表示モードでは、この選択された候補被写体に対するサブ画面301が、図2(b)に示すように、表示される。この候補被写体の選択は、その順序が決められており、図1において、ユーザの操作部の選択操作によって行なわれるものであって、この操作に伴って外部命令8から候補被写体選択命令200がパラメータ計算部6に送られ、これまで選択されていた候補被写体の次の候補被写体が選択される。この候補被写体の選択順序は、ユーザが予め設定しておく。例えば、人物の候補被写体,移動体の候補被写体,静止体の候補被写体の順序としてこれが繰り返され、また、人物の候補被写体については、顔部分の候補被写体,上半身の候補被写体,全体の候補被写体の順序とする。
また、被写体検出部5でのエッジ情報の検出結果によっては、図4(a)に示すように、候補被写体400がズーム範囲500の中心よりもずれて位置付けられる場合もあり、このような場合には、このズーム範囲500でズーム撮影すると、図2(c)に示すズーム撮影画面303において、候補被写体400が隅の方に片寄った位置に表示されることになる。このような場合、手動操作でもって、矢印400で示すように、ズーム範囲500を拡大することにより、図4(b)に示すように、拡大したズーム範囲500aの中心部に候補被写体400を位置付けるようにすることができる。
このために、操作部には、ズーム範囲の上下辺,左右辺を夫々指示する操作ボタンが設けられており、これらのいずれかの操作ボタンを操作することにより、ズーム範囲を調整することができる。例えば、図4(a)に示すように、ズーム範囲500内で候補被写体400が右辺側に片寄った位置にある場合、右辺操作ボタンを操作することにより、ズーム範囲の右辺が右方に移動し、これとともに、上辺が上方に、下辺が下方に夫々移動してズーム範囲500が、その縦横比をもとの縦横比(即ち、モニタ11の表示画面の縦横比)に保ちながら、右方に拡大する。これにより、図4(b)に示すように、縦横比を一定に保ったまま、候補被写体400がほぼ中央部に位置するように、ズーム範囲500aを調整することができる。
以上のように、この第1の実施形態では、撮影中に自動的にズーム範囲が設定されるので、ズーム範囲の設定のための操作の手間が省け、また、複数の候補被写体が存在する場合には、モニタによってそのいずれかの候補被写体のズーム撮像を選択することができ、所望の候補被写体を容易にズーム撮影することが可能となる。
図5は本発明による映像処理装置の第2の実施形態を示すブロック構成図であって、12はズーム画像生成部であり、図1に対応する部分には同一符号を付けて重複する説明を省略する。
同図において、この第2の実施形態では、ズーム画像生成性部12を設け、カメラ部2で光学ズームを行なうとともに、このズーム画像生成部12でも、デジタルズームを行なうことにより、ズーム倍率をより大きく設定できるようにしたものである。
A/D変換部3からのデジタル動画像信号101は、ズーム画像生成部12にも供給される。また、このズーム画像生成部12には、パラメータ計算部6から、上記のように選択された候補被写体に対するズーム範囲とズーム倍率との外部命令(ズームパラメータ)109が供給される。これにより、このズーム画像生成部12では、供給されるデジタル動画像信号101のうちのズームパラメータ107のズーム範囲のパラメータを抽出し、このズーム範囲のパラメータをズームパラメータ107のズーム倍率に応じて拡大した(この際、画素間の画素補間処理が行なわれる)デジタルズーム処理されてズーム動画像信号110が生成される。ズーム動画像信号110は、グラフィック生成部10に供給される。
ここで、ズーム撮像モードでは、ある設定されたズーム倍率の範囲内のズーム倍率でカメラ部2がズーム範囲の光学ズームを行ない、候補被写体に対して設定されたズーム範囲の大きさに応じてパラメータ計算部6で得られたズーム倍率がこのカメラ部2で設定されているズーム倍率の範囲を越えた値になったときには、さらに、ズーム画像生成部12でデジタルズームを行なう。
即ち、光学ズームのズーム倍率の範囲の上限値をα1MAXとし、カメラ部2の光学ズームのズーム倍率をα1、ズーム画像生成部12のデジタルズームのズーム倍率をα2とすると、パラメータ計算部6で得られたズーム倍率をαとすると、
α=α1×α2
であって、
α≦α1MAXのとき、α=α1、但し、α2=1
であり、この場合には、カメラ部2で光学ズームによるズーム動作が行なわれ、この光学ズームによるデジタル動画像信号101がズーム画像生成部12とグラフィック生成部10とのそのまま通過してモニタ11に供給される。また、
α>α1MAXのとき、α=αMAX×α2、但し、α2=α/α1MAX
であり、この場合には、カメラ部2で光学ズームによるズーム動作が行なわれ、この光学ズームによるデジタル動画像信号101がズーム画像生成部12でさらにデジタルズームによるズーム処理されて、グラフィック生成部10を介し、モニタ11に供給される。
α=α1×α2
であって、
α≦α1MAXのとき、α=α1、但し、α2=1
であり、この場合には、カメラ部2で光学ズームによるズーム動作が行なわれ、この光学ズームによるデジタル動画像信号101がズーム画像生成部12とグラフィック生成部10とのそのまま通過してモニタ11に供給される。また、
α>α1MAXのとき、α=αMAX×α2、但し、α2=α/α1MAX
であり、この場合には、カメラ部2で光学ズームによるズーム動作が行なわれ、この光学ズームによるデジタル動画像信号101がズーム画像生成部12でさらにデジタルズームによるズーム処理されて、グラフィック生成部10を介し、モニタ11に供給される。
また、ズーム撮像モードでは、カメラ部2で光学ズームされたデジタル動画像信号101が符号化部4で符号化され、符号化ストリーム102として、記録部7に記録されるが、α>α1MAXのとき、パラメータ計算部6で算出された選択された候補被写体のズーム範囲とズーム画像生成部12でのこの候補被写体のズーム範囲でのズーム倍率α2とを表わすズームパラメータ111(従って、このズームパラメータ111は、ズーム画像生成部12に供給されるズームパラメータ109と等しい)が記録装置7に供給され、符号化部4からの符号化ストリーム102,動きベクトルなどとともに記録される。
このようにして、この第2の実施形態では、第1の実施形態と同様の効果が得られるとともに、さらに、第1の実施形態よりも大きなズーム倍率でズーム撮影を行なうことができる。光学ズームの最大までの画像を記録しておくことにより、情報量をほとんど増加させることなく(ズーム範囲の情報だけなので、画像情報に比べて非常に小さい)、後で、光学ズームの範囲内であれば、編集が可能である。
なお、この第2の実施形態の一変形例として、ズーム画像生成部12によってのみズーム(デジタルズーム)を行なうようにしてもよい。この場合には、カメラ部2はズーム機能を備えておらず、通常撮影のみが行なわれ、その撮影によるデジタル動画像信号101が符号化部4で符号化され、これによる符号化ストリーム102が動きベクトルなどとともに記録装置7に記録される。また、この場合、ズーム画像生成部12によるズームモードのときには、記録装置7にパラメータ計算部6からのズーム範囲とズーム倍率からなるズームパラメータ111が記録される。
この変形例においても、先の各実施形態と同様の効果が得られるとともに、カメラ部2にズーム光学系が不要となり、操作のさらなる簡略化が図れる。
図6は本発明による映像処理装置の第3の実施形態を示すブロック構成図であって、20はこの実施形態の映像処理装置、21は記録装置、22は復号化部、23は被写体検出部、24はパラメータ計算部、25は外部命令部、26はズーム画像生成部、27はサブ画像生成部、28はグラフィック生成部、29はモニタである。
この第3の実施形態は、記録装置の再生装置に適用したものであり、図6において、映像処理装置20は、記録装置21と、復号化部22と、被写体検出部23と、パラメータ計算部24と、外部命令部25と、ズーム画像生成部26と、サブ画像生成部27と、グラフィック生成部28とを備えており、このグラフィック生成部28からの出力画像信号128がモニタ29に供給されて画像表示される。
記録装置21は、図1や図5に示す記録装置7で符号化されたデジタル画像信号(符号化ストリーム)が記録媒体からこの符号化ストリームを再生することもできるし、また、この記録装置21やその他の記録装置で符号化ストリームが記録された記録媒体からこの符号化ストリームを再生することができる。ここで、
(1)図1における記録装置7で記録がなされた記録媒体には、光学ズームによってズーム撮像された画像信号の符号化ストリームも記録されているが、ズームパラメータは記録されていない。
(2)図5における記録装置7で記録がなされた記録媒体には、カメラ部2の光学ズームによってズーム撮像された画像信号の符号化ストリームも記録され、この場合には、ズームパラメータは記録されないが、デジタルズームがなされている符号化ストリームに対しては、このデジタルズームに対するズームパラメータが記録されている。
(3)図6における記録装置21で記録がなされた記録媒体には、ズームされない(即ち、通常撮像の)画像の符号化ストリームが記録されているが、ズームパラメータは記録されていない。
(1)図1における記録装置7で記録がなされた記録媒体には、光学ズームによってズーム撮像された画像信号の符号化ストリームも記録されているが、ズームパラメータは記録されていない。
(2)図5における記録装置7で記録がなされた記録媒体には、カメラ部2の光学ズームによってズーム撮像された画像信号の符号化ストリームも記録され、この場合には、ズームパラメータは記録されないが、デジタルズームがなされている符号化ストリームに対しては、このデジタルズームに対するズームパラメータが記録されている。
(3)図6における記録装置21で記録がなされた記録媒体には、ズームされない(即ち、通常撮像の)画像の符号化ストリームが記録されているが、ズームパラメータは記録されていない。
記録装置21の再生動作では、そのときの記録媒体にズームパラメータが記録さているときには、そのズームパラメータに対する符号化ストリームの再生とともに、このズームパラメータが再生され、ズームパラメータ130としてパラメータ計算部24に供給される。
また、記録装置21では、記録媒体から符号化ストリーム120が動きベクトルとともに再生され、復号化部22に供給されてもとのデジタル動画像信号121に復号される。このデジタル動画像信号121は、グラフィック生成部28と被写体検出部23とサブ画像生成部27とズーム画像生成部26とに供給される。
被写体検出部23は、図1及び図5での被写体検出部5と同様のものであって、エッジ検出フィルタを用いてデジタル動画像信号121のエッジ情報が検出されて被写体の輪郭が検出され、パターン照合による顔認識や復号化部22で使用された動きベクトル122が用いられて候補被写体の検出とその種類(人物や移動体,静止体の候補被写体)が判別され、かかる候補被写体の画像信号123が生成されてパラメータ計算部24に供給される。
ここで、パラメータ計算部24は、被写体検出部23からの候補被写体の画像信号123を取り込み、図1,図5に示すパラメータ計算部6と同様に、外部命令部25からの候補被写体選択命令200によって選択された候補被写体に対するズーム範囲とズーム倍率とを求める。そして、先の第1,第2の実施形態や第2の実施形態の変形例と同様、この選択された候補被写体に対するズーム範囲のズームパラメータ124がサブ画像生成部27に供給されてサブ画像126が生成され、また、そのズーム範囲とズーム倍率のズームパラメータ125がズーム画像生成部26に供給されてズーム動画像信号127が生成され、ユーザの操作部の操作による外部命令部25からの出力画像切替命令203に応じて、図2(a),(b),(c)のいずれかの画面がモニタ29に表示されることになる。
なお、グラフィック生成部28でズーム画像生成部26からのズーム動画像信号127が選択され、モニタ29に図2(c)に示すようなズーム画面が表示されるときには、そのときのズーム範囲とズーム倍率とが、ズームパラメータ129として、記録装置21に供給され、記録媒体のそのとき再生される符号化ストリームに対応付けられて記録される。これにより、符号化ストリームのこの部分がズームパラメータ129に応じてズーム表示されたことが示されることになる。
そこで、上記(1)〜(4)の記録媒体を再生する場合、符号化ストリームのうちのズームパラメータ130が再生されない部分を再生するときには、このような処理を行なうことができ、この符号化ストリームでズーム表示がなされた部分では、新たにズームパラメータ129が記録されることになる。
記録装置21で記録媒体からズームパラメータ130が再生されてパラメータ計算部24に供給されるときには、パラメータ計算部24はこのズームパラメータ130を取り込み、このズームパラメータ130を、ズームパラメータ125として、ズーム画像生成部26に送る。ズーム画像生成部26は、このズームパラメータ125を用いてズーム動画像信号127を作成し、グラフィック生成部28に供給する。また、パラメータ計算部24は、このズームパラメータ130を取り込むと、ズーム画像選択命令204を外部命令部8に送る。このズーム画像選択命令204により、外部命令部8はズーム動画像信号127を選択すべき指示する出力画像切替命令203をグラフィック生成部28に送る。グラフィック生成部28はこの出力画像切替命令203によってズーム画像生成部26からのズーム動画像信号127を選択し、モニタ29に供給する。これにより、モニタ29には、このズームパラメータ125のズーム倍率で拡大されたズーム画面が、図2(c)に示すように、表示されることになる。
このように、上記(2),(3)の記録媒体のように、あるいはまた、上記(1),(4)の記録媒体であっても、上記のように、記録装置21で再生されてズーム画像生成部127で画像拡大され、モニタ29にズーム画像表示されることによってそのときのズームパラメータ129が記録された記録媒体のように、記録装置21でズームパラメータ130が再生されたときには、この記録装置21で再生される動画像信号のこのズームパラメータ130によるズーム範囲の部分が、自動的にモニタ29の表示画面一杯に拡大されてズーム表示されることになる。
従って、一度ズーム表示した記録媒体上の符号化ストリームに関連付けてズームパラメータを記録しておくことにより、この符号化ストリームのズーム画面を自動的に再度モニタ29に表示させることができる。
このようにして、一度ズーム再生された動画像は、再度同じズーム状態で再生表示させることができ、前回と同じ再生画像を楽しむことができる。
なお、以上の実施形態では、サブ画面を選択された候補被写体に対するもの1つだけ、動画像に合成してモニタで表示されるものとしたが、全ての候補被写体のサブ画面をモニタに同時に表示し、ユーザがそのうちの1つを選択するようにしてもよい。この場合には、選択されたサブ画面に対する候補被写体のズーム画面が自動的にグラフィック生成部で選択されてモニタで表示させるようにしてもよい。
1 映像処理装置
2 カメラ部
3 A/D変換部
4 符号化部
5 被写体検出部
6 パラメータ計算部
7 記録装置
8 外部命令部
9 サブ画像生成部
10 グラフィック生成部
11 モニタ
12 ズーム画像生成部
100 撮影画像信号
101 デジタル画像信号
102 符号化ストリーム
103 動きベクトル
104 被写体検出後の画像
105 ズームパラメータ
106 カメラズームパラメータ
107 サブ画像
108 出力画像
200 候補被写体選択命令
201 ズームパラメータ調整命令
202 カメラズーム制御命令
203 出力画像切り替え命令
300 通常撮影画面
301 サブ画面
302 ズーム範囲表示画面
303 ズーム撮影画面
400,401 候補被写体
500,500a,501〜503 ズーム範囲
2 カメラ部
3 A/D変換部
4 符号化部
5 被写体検出部
6 パラメータ計算部
7 記録装置
8 外部命令部
9 サブ画像生成部
10 グラフィック生成部
11 モニタ
12 ズーム画像生成部
100 撮影画像信号
101 デジタル画像信号
102 符号化ストリーム
103 動きベクトル
104 被写体検出後の画像
105 ズームパラメータ
106 カメラズームパラメータ
107 サブ画像
108 出力画像
200 候補被写体選択命令
201 ズームパラメータ調整命令
202 カメラズーム制御命令
203 出力画像切り替え命令
300 通常撮影画面
301 サブ画面
302 ズーム範囲表示画面
303 ズーム撮影画面
400,401 候補被写体
500,500a,501〜503 ズーム範囲
Claims (9)
- 光学ズーム機能を有するカメラ部からの動画像の画像信号からエッジ情報を検出し、該エッジ情報によって該カメラ部の撮影シーンにおける被写体を候補被写体として検出する被写体検出部と、
該被写体検出部で検出された該候補被写体を含む該撮影シーンでのズーム範囲と該ズーム範囲のズーム倍率とをズームパラメータとして決定するパラメータ計算部と
を備え、該ズームパラメータを該カメラ部に供給することにより、該カメラ部を該撮像シーンにおける該ズーム範囲を該ズーム倍率でズーム撮影させることを特徴とする映像処理装置。 - 光学ズーム機能を有するカメラ部からの動画像信号からエッジ情報を検出し、該エッジ情報によって該カメラ部の撮影シーンにおける被写体を候補被写体として検出する被写体検出部と、
該被写体検出部で検出された該候補被写体を含む該撮影シーンでのズーム範囲と該ズーム範囲のズーム倍率とをズームパラメータとして決定するパラメータ計算部と、
該カメラ部からの動画像信号における該ズーム範囲の部分をデジタルズーム処理してズーム画像信号を生成するズーム画像生成部と、
該カメラ部からの動画像信号と該ズーム画像信号とのいずれかを一方をモニタに供給するグラフィック生成部と
を備え、
該パラメータ計算部は、決定した該ズームパラメータのズーム範囲に対して、該カメラ部に、または該カメラ部と該ズーム画像生成部とに決定した該ズームパラメータのズーム倍率のズーム動作を行なわせ、
該グラフィック生成部は、該パラメータ計算部で決定したズーム倍率の大きさに応じて、該カメラ部からの動画像信号と該ズーム画像生成部からの該ズーム画像信号とのいずれか一方を選択してモニタに供給する
ことを特徴とする映像処理装置。 - 請求項2において、
前記カメラ部からの動画像信号を符号化する符号化部と、
該符号化部で符号化されて得られる符号化ストリームを記録媒体に記録する記録部と
を備え、
前記ズーム画像生成部でデジタルズーム処理が行なわれるとき、前記パラメータ計算部から前記ズーム画像生成部に設定されるズーム範囲とズーム倍率とのズームパラメータを該記録媒体に記録する
ことを特徴とする映像処理装置。 - 動画像信号からエッジ情報を検出し、該エッジ情報によって該カメラ部の撮影シーンにおける被写体を候補被写体として検出する被写体検出部と、
該被写体検出部で検出された該候補被写体を含む該撮影シーンでのズーム範囲と該ズーム範囲のズーム倍率とをズームパラメータとして決定するパラメータ計算部と、
該カメラ部からの動画像信号における該ズーム範囲の部分をデジタルズーム処理してズーム画像信号を生成するズーム画像生成部と、
該カメラ部からの動画像信号と該ズーム画像信号とのいずれかを一方を選択してモニタに供給するグラフィック生成部と
を備え、
該パラメータ計算部は、決定した該ズームパラメータのズーム範囲に対して、該ズーム画像生成部に決定した該ズームパラメータのズーム倍率のズーム動作を行なわせる
ことを特徴とする映像処理装置。 - 請求項4において、
前記カメラ部からの動画像信号を符号化する符号化部と、
該符号化部で符号化されて得られる符号化ストリームを記録媒体に記録する記録部と
を備え、
前記グラフィック生成部が前記ズーム画像生成部からのズーム画像信号を選択するとき、前記パラメータ計算部から前記ズーム画像生成部に設定されるズーム範囲とズーム倍率とのズームパラメータを該記録媒体に記録する
ことを特徴とする映像処理装置。 - 請求項1〜5のいずれか1つにおいて、
前記パラメータ計算部で決定された前記ズームパラメータの前記ズーム範囲が設定され、前記カメラ部からの前記動画像信号の前記ズーム範囲の部分を抽出して、サブ画像信号として出力するサブ画像生成部を設け、
前記グラフィック生成部は、該サブ画像信号を選択して前記モニタに供給し、前記カメラ部からの前記画像信号による撮像画面に該サブ画像信号によるサブ画面が合成された画面を該モニタで選択的に表示可能に構成したことを特徴とする映像処理装置。 - 記録装置で記録媒体から再生される符号化ストリームを動画像信号に復号する復号化部と、
該復号化部からの動画像信号からエッジ情報を検出し、該エッジ情報によって該動画像信号における被写体を候補被写体として検出する被写体検出部と、
該被写体検出部で検出された該候補被写体を含む該動画像信号によるシーンのズーム範囲と該ズーム範囲のズーム倍率とをズームパラメータとして決定するパラメータ計算部と、
該復号化部からの動画像信号における該ズーム範囲の部分を該ズーム倍率でデジタルズーム処理してズーム画像信号を生成するズーム画像生成部と、
該復号化部からの動画像信号と該ズーム画像信号とのいずれかを一方をモニタに供給するグラフィック生成部と
を備え、
該パラメータ計算部は、決定した該ズームパラメータのズーム範囲に対して、該ズーム画像生成部に決定した該ズームパラメータのズーム倍率のズーム動作を行なわせる
ことを特徴とする映像処理装置。 - 請求項7において、
前記パラメータ計算部で決定された前記ズームパラメータの前記ズーム範囲が設定され、前記復号化部からの前記動画像信号の前記ズーム範囲の部分を抽出して、サブ画像信号として出力するサブ画像生成部を設け、
前記グラフィック生成部は、該サブ画像信号を選択して、前記復号化部からの前記動画像信号に該サブ画像信号を合成して前記モニタに供給し、該サブ画面が合成された前記記録装置の再生画面を該モニタで選択的に表示可能に構成したことを特徴とする映像処理装置。 - 請求項1〜8のいずれかにおいて、
前記被写体検出部は、複数の候補被写体を検出して該候補被写体の種類を判別し、
前記パラメータ計算部は、検出された該候補被写体毎に前記ズームパラメータを決定するとともに、種類に応じてズーム動画像生成の順位を設定することを特徴とする映像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007079150A JP2008244586A (ja) | 2007-03-26 | 2007-03-26 | 映像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007079150A JP2008244586A (ja) | 2007-03-26 | 2007-03-26 | 映像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008244586A true JP2008244586A (ja) | 2008-10-09 |
Family
ID=39915423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007079150A Pending JP2008244586A (ja) | 2007-03-26 | 2007-03-26 | 映像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008244586A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010279022A (ja) * | 2009-04-30 | 2010-12-09 | Sanyo Electric Co Ltd | 撮像装置 |
JP5290475B2 (ja) * | 2011-05-12 | 2013-09-18 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0918767A (ja) * | 1995-06-29 | 1997-01-17 | Nec Corp | 被写体追従ズーム装置 |
JP2002152558A (ja) * | 2000-11-13 | 2002-05-24 | Olympus Optical Co Ltd | カメラ |
JP2004040491A (ja) * | 2002-07-03 | 2004-02-05 | Sony Ericsson Mobilecommunications Japan Inc | 映像通信装置 |
JP2007019893A (ja) * | 2005-07-08 | 2007-01-25 | Casio Comput Co Ltd | 画像生成装置、及び画像生成方法 |
-
2007
- 2007-03-26 JP JP2007079150A patent/JP2008244586A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0918767A (ja) * | 1995-06-29 | 1997-01-17 | Nec Corp | 被写体追従ズーム装置 |
JP2002152558A (ja) * | 2000-11-13 | 2002-05-24 | Olympus Optical Co Ltd | カメラ |
JP2004040491A (ja) * | 2002-07-03 | 2004-02-05 | Sony Ericsson Mobilecommunications Japan Inc | 映像通信装置 |
JP2007019893A (ja) * | 2005-07-08 | 2007-01-25 | Casio Comput Co Ltd | 画像生成装置、及び画像生成方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010279022A (ja) * | 2009-04-30 | 2010-12-09 | Sanyo Electric Co Ltd | 撮像装置 |
JP5290475B2 (ja) * | 2011-05-12 | 2013-09-18 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
CN103338690A (zh) * | 2011-05-12 | 2013-10-02 | 奥林巴斯医疗株式会社 | 内窥镜*** |
EP2656776A1 (en) * | 2011-05-12 | 2013-10-30 | Olympus Medical Systems Corp. | Endoscope system |
EP2656776A4 (en) * | 2011-05-12 | 2014-02-26 | Olympus Medical Systems Corp | ENDOSCOPE SYSTEM |
US9030541B2 (en) | 2011-05-12 | 2015-05-12 | Olympus Medical Systems Corp. | Endoscope system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5538865B2 (ja) | 撮像装置およびその制御方法 | |
JP4804398B2 (ja) | 撮像装置及び撮影方法 | |
JP5309490B2 (ja) | 撮影装置、被写体追尾ズーミング方法及び被写体追尾ズーミングプログラム | |
US8493494B2 (en) | Imaging apparatus with subject selecting mode | |
US8279299B2 (en) | Imaging device and associated methodology of setting adjustable aspect ratios | |
JP2005318515A (ja) | ディジタル・スチル・カメラ,画像再生装置および顔画像表示装置ならびにそれらの制御方法 | |
JP2009218807A (ja) | 撮像装置及び画像再生装置 | |
JP4924228B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
KR101989152B1 (ko) | 동영상 촬영 또는 재생 중, 정지 영상을 캡쳐하는 장치 및 방법 | |
JP4929631B2 (ja) | 画像生成装置、及び画像生成方法 | |
JP5200821B2 (ja) | 撮像装置及びそのプログラム | |
JP5043730B2 (ja) | 撮像装置、その制御方法、画像処理装置及び画像処理方法 | |
JP2006303961A (ja) | 撮像装置 | |
JP5876991B2 (ja) | 撮影機器、撮影方法及び再生方法 | |
JP2010074323A (ja) | 記録装置および方法、並びに記録再生装置および方法 | |
JP2009164767A (ja) | 撮像装置及びその表示方法 | |
JP2003179798A (ja) | デジタルカメラ | |
JP2009124644A (ja) | 画像処理装置、撮像装置及び画像再生装置 | |
JP2008244586A (ja) | 映像処理装置 | |
JP4641515B2 (ja) | 画像再生装置及び画像再生方法 | |
JP2010239464A (ja) | 画像合成装置、画像再生装置及びプログラム | |
JP5965037B2 (ja) | 撮影機器 | |
JP6332864B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7353821B2 (ja) | 画像処理装置、その制御方法、プログラム | |
JP2011109693A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120403 |