JP2014216692A - 高解像度化処理付き撮影装置 - Google Patents

Abstract

【課題】高解像度化処理は一様に適用したのでは悪影響を及ぼす映像が存在するため、撮像装置の操作または状態に応じて高解像度化処理を必要な時に、必要な範囲で適用することで、効果的に改善された自然な高解像映像の出力を可能にした撮影装置を提供すること。
【解決手段】高解像度化処理機能を備える撮影装置において、ズームレンズ位置及びフォーカスレンズ位置を検出する手段を備え、該レンズの位置または移動速度、絞り値、フォーカス合焦状態に応じて高解像度化処理の適用範囲若しくは適用レベルを設定する高解像度化処理自動適用手段を具備することを特徴とする構成とした。
【選択図】図２

Description

本発明は、高解像度化処理機能を備えた撮影装置の制御方法に関するものである。

高解像度化処理を動画撮影装置に適用した場合、画質が改善される場合と適用すると逆効果となる場合がある。例えば、遠方の文字をズームして拡大表示する場合は鮮鋭度を上げる高解像度化処理が効果的である。一方、パンニングしている場合や動きの激しい被写体を撮影している場合などの映像は解像度を上げるとギラギラしたり、後段の圧縮処理において高周波成分が増え、情報量圧縮に不利に働いたりして、画質低下の原因となることがあった。

OSD(On Screen Display)などの文字周辺に高解像度化処理を適用すると、過度のエッジ強調により逆効果となる場合があるので、特許文献１では、背景の色情報を参照して、閾地以上のコントラスト比とならないようOSD画像を生成することで画質劣化を抑える工夫をしている。また、特許文献２では特定の領域を検出して、不要な高解像度化処理を低減または行わないことで不自然な画像にならないようにしている。

特開2010-130643号公報 特開2010-152518号公報

特許文献１及び２に開示されている高解像度化処理は、受信した映像を表示する際、解像度を上げる処理をテレビ受像機側で行い、より鮮鋭な映像を提供しようとするものである。ところが、高解像度化処理は一様に適用したのでは悪影響を及ぼす映像が存在するため、上述の文献では、適用したくない映像エリアを検出して、高解像度化処理が逆効果とならないよう当該検出エリアで鮮鋭化処理を低減または無効とするなどの特別な処理を行っている。

特定エリアでの高解像度化処理の適用可否判断には、特定色の検出や特定物体領域の検出を行う必要があり、処理判断まで画像データを蓄積するためのメモリが必要であったり、適用境界の処理が必要になったりとテレビ受像機のハード規模が増加することが想像される。

そこで、本発明の目的は、撮像装置の操作に応じて高解像度化処理を必要な時に適用することで、効果的に改善された自然な高解像映像の出力を可能にした撮像装置を提供することにある。

上記目的を達成するために、高解像度化処理機能を備える撮影装置において、ズームレンズ位置及びフォーカスレンズ位置を検出する手段を備え、該レンズの移動速度に応じて高解像度化処理の適用レベルを設定する高解像度化処理自動適用手段を具備することを特徴とする。

本発明によれば、レンズの動作速度に応じて、適用して有効なときに高解像度化処理を行うので、操作者や映像監視者に違和感を与えることなく、また不必要な時間帯に情報量を増やすこともなく、必要なときに高解像映像の出力を可能にした撮影装置を提供することができる。

実施例１のカメラ雲台システムを示す図である。 実施例１の動作手順を説明するためのフローチャートである。 実施例１における動作速度と適用レベルの関係を示す例である。 実施例２におけるフォーカス合焦センサーを撮影画面に多重表示した例である。 実施例２の動作手順を説明するためのフローチャートである。 実施例３における電子ズーム倍率と適用レベルの関係を示す例である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施例１］
図１は、高解像度化処理付き撮影装置として、遠隔操作されるカメラ雲台を例にして本発明の実施形態を示したシステム図である。まず、図１を参照してシステム概要を説明する。

図１において、1は遠隔操作されるカメラ雲台、2はカメラに搭載されたズームレンズユニット、3はカメラで撮像した映像を表示する映像表示装置、4はカメラ雲台1及びズームレンズユニット2を操作するための操作器である。ズームレンズユニット2を経由して撮像した被写体は、撮像素子11上に結像し、増幅部12においてレベル調整された後、画像信号処理部13において画素単位に処理され、画像データとしてメモリ15に一旦書き込まれ、高解像度化処理のため必要に応じて読み出しが行われる。演算処理回路(CPU) 14は、メモリ制御、画像信号処理部などの制御を行う。メモリ15から読み出された画像データは、画像信号処理部13において映像表示装置で表示可能な出力フォーマットに変換され、映像出力端子17から出力される。

また、CPU 14はさらにパン(P)・チルト(T)駆動回路やズームレンズユニット2のズーム(Z)・フォーカス(F)駆動回路の制御も行う。カメラ雲台の遠隔操作器4から送られてくるP/T/Z/F制御データを通信端子16経由で受信し、パン(P)・チルト(T)モータを駆動するようパン・チルト駆動部18に対しP/T制御信号を、レンズユニット2に対しZ/F制御信号を送出する。P/T/Z/F 駆動部はP/T/Z/Fの位置検出手段であるロータリーエンコーダ等の位置センサ（図示せず）を備え、CPU 14は各位置センサーの出力を受信する。

高解像度化処理を適用するか否かの判断はCPU 14で行う。CPU 14は通信端子16を経由して操作器4のモード選択スイッチ45の状態を受信する。モード選択スイッチ45は高解像度化処理を適用する（ON）、適用しない（OFF）、または自動適用（AUTO）のいずれかを選択可能である。AUTOの命令を受けたCPU 14は高解像度化処理自動適用モードに設定される。自動適用モードにおける高解像度化処理の適用有無を決定する過程を図２のフローチャートを用いて説明する。

CPU 14は、ズームレンズユニット2と定期的に例えば映像1フレーム時間毎に通信しており、ズームレンズ位置データとフォーカスレンズ位置データを取得し、前フレーム時の位置データと比較することによって、レンズ動作速度または停止状態であることを把握することができる。まず、ズームレンズユニット2のズームレンズが停止しているか否かを確認する(S1)。ズームレンズが動いていない場合はフォーカスレンズの動作状態を確認する(S2)。フォーカスレンズも動作していない場合は次のステップに進む。

ここで撮影装置のパン・チルト速度データが存在しないシステムにおいては高解像度化処理を適用する（請求項1）。カメラ雲台システムなどパン・チルト速度データを取得できるシステムにあっては、パン・チルト動作が停止しているか否かを確認する(S3)。ここでパン・チルト動作が停止していれば、高解像度化処理を適用する(S4)状態と判断する（請求項5）。Z/F/P/Tのいずれかが動いている場合は、高解像度化処理は適用しない。

本例では基本的な考えを説明するため、高解像度化処理の適用判断を撮像装置のレンズとカメラ雲台のパン・チルト動作が停止していることを条件に高解像度化処理を適用するとしたが、任意の閾値を設定して閾値より低速動作の場合に適用することにしても良い。この場合は、操作器4に閾値設定手段46を設け、予め適用速度閾値をCPU 14に送信しておくことで適用される速度の設定を変更でき、より柔軟な画づくりが可能になる。図２のフローチャートでは、Z/F/P/Tの停止判断を閾値以下の速度であるか否かの判断と読み替えれば良い。

次に高解像度化処理の適用レベルについて説明する。一般に高解像度化処理は低解像度の映像から画素補間を行い、周辺画素情報や時間的に前の画像情報から、原画像を推定して正しい補間画素を復元する処理と、高域のゲインを上げてエッジを強調する処理を組み合わせ、映像周波数域を高域に拡げることで高解像度映像を得ている。したがって、高解像度化の適用レベルは、推定処理回数を重ねてどこまで正確な補間処理を行うか、または高域のゲインアップをどの程度行うかの調整で変更することが可能である。

図３はZ/F/P/Tの動作速度と高解像度化処理の適用レベルの関係を示した図である。Z/F/P/Tの動作速度が低速になるに従い、高解像度化処理の適用レベルを高める制御を行った場合を示した例である。図1においてCPU 14は、Z/F/P/Tの動作速度を検出し、その速度に応じて高解像度化処理の適用レベル係数を算出し、画像信号処理部13に対して適用レベルを設定する。画像信号処理部13では、係数に対応した高解像度化処理を行う。

図３に示すように肉眼で高解像度化処理の効果が認識できる低速時に高解像度化処理を有効にし始め、徐々に適用レベルを上げ、撮影対象が静止したときに効果が最大となるよう制御することで、自然に且つ効果的に映像の高解像度化を実現できる。ここで、説明を簡単にするため、Z/F/P/Tの動作速度としてまとめて一係数を発生するような説明をしたが、Z/F/P/Tそれぞれ別々に係数を算出してもよく、より効果的な細かい制御が期待できる。

本発明の実施形態について、撮像装置のパン・チルト動作の速度検出をカメラ雲台の位置センサーを使った例で説明したが、カメラの手振れ検出用の加速度センサーを利用するなど撮像装置の動きが検出できれば他の方法でも実現可能である。

［実施例２］
実施例１においては、Z/F/P/Tの操作量に応じて高解像度化処理の適用判断を行ったが、フォーカスの合焦状態や被写界深度に応じて制御することでも効果的な高解像度化処理が可能である（請求項2）。

以下、図４及び図５を参照して、本発明の第２の実施例による高解像度化処理付き撮影装置について説明する。図４はフォーカスの合焦量を評価する合焦センサーが１６箇所、画面均等分割した位置に設置された例を撮影画面に多重化して表現した図である。
コントラスト方式の合焦センサーでは、隣接した画素のコントラストが高くなっている場合に評価値が高く合焦と判断する。図４中、●で示す。一方、評価値が低く非合焦と判断したところは○で示している。

高解像度化処理の適用判断手順を図５に示すフローチャートにより説明する。まず全ての合焦センサーの評価値を算出する（S11)。ここで評価値の算出及び適用判断は図１に示すCPU14において行っている。閾値以上の評価値となった合焦センサーを含むエリアを合焦していると判断し、高解像度化処理を適用するエリアに設定する(S12)。

次に被写界深度の演算値を事前に設定した閾値と比較する(S13)。ここで被写界深度Ｄの演算は、図１に示すシステムでは、レンズユニット2から得るレンズ情報を基にCPU14が行う。フォーカス合焦位置から被写体までの距離Ｌを（図４においては先頭走者までの距離）を求め、ズームレンズの位置から焦点距離ｆを算出し、絞り値Ｆ、レンズ固有の許容錯乱円径ｄから次式によって計算する。

Ｄ＝（ｄ・Ｆ・Ｌ^２/（ｆ²−ｄ・Ｆ・Ｌ））＋（ｄ・Ｆ・Ｌ^２/（ｆ²＋ｄ・Ｆ・Ｌ））
被写界深度はズームレンズの位置、絞り値、被写体までの距離によって決定される。ズームレンズ位置が望遠側の方向、絞りが開いている方向、被写体が近い方向であれば、被写界深度は浅くなる方向で求められ、合焦する範囲は狭くなる。合焦していないエリアには敢えて高解像度化処理を適用する必要はなく、逆に適用することで撮影者の意図に反してぼかした映像を変に際立たせてしまう恐れもある。

図４においては、合焦している先頭走者が鮮明に撮影される処理ができれば良い。図５のS13において、被写界深度が事前に定めた閾値より浅ければ（合焦範囲が狭ければ）、S12で設定した高解像度化処理適用エリアにのみ高解像度化処理を適用する（S14）。閾値より深ければ（合焦範囲が広ければ）、高解像度化処理適用エリア以外も適用ゲインを下げて高解像度化処理を適用する(S15)。このように被写界深度と合焦エリアに応じて、高解像度化処理の適用範囲とゲインを適宜変更することで、注目被写体は鮮鋭化し、ボケた周辺映像はそのままとなり撮影者の意図に沿った高解像度映像を提供できる。

本発明の第二の実施形態として、レンズの被写界深度設定と合焦エリアに応じて、高解像度化処理の適用判断を行う具体例について図４、５を用いて基本的動作の説明をしたが、合焦センサーの配置やエリアの分割形状は本例によって限定されるものではない。また、エリアの分割数も多い方が適用ゲインを段階的に設定でき、より自然な適用効果を得ることができるので、説明例に捉われず、ハード量や処理速度に応じて変更可能である。

［実施例３］
次にカメラ操作として、電子ズーム制御に応じて超解像処理適用レベルを設定する実施例について説明する（請求項3）。電子ズームとは、拡大表示する場合、撮像素子に結像した映像の一部を切り出し、標準画角となるよう画素データの位置を変更し、画素データ間のデータは周辺データから補間することでズーム効果を得るものである。倍率が上がり、拡大したとき、元の画素間隔が遠くなるほど、確からしい画素データが少なくなるため、隣接画素平均をとるなどの補間処理が必要となり、このため解像度は低下していく。

そこで、電子ズーム倍率が上がるほど、超解像処理適用レベルを上げ鮮鋭化するゲインを上げる必要がある。図６は電子ズーム倍率に応じた超解像処理適用レベルの設定カーブの例である。図１におけるCPU14において、このカーブの変換式または変換テーブルを備えている。CPU14は、電子ズーム倍率に応じてメモリ15に対し、必要エリアの画素データを読み出す指令を与え、画像処理部13において画素補間を行った後、高解像度化処理を行う。高解像度化処理の適用レベルはCPU14から電子ズーム倍率に応じて指示する。ここで超解像処理適用レベルを上げるとは、原画像の推定処理回数を増やすことや高周波成分のレベルアップを意味する。

以上、本発明の好ましい実施形態について、カメラ雲台のCPU 14で係数算出や適用レベル設定を行う具体例で説明したが、操作器側でZ/F/P/Tの操作量に応じて係数算出を行って超解像処理制御を行う形態でも同様の効果を得ることができる。本発明は説明した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形及び変更をすることが可能である。

1…カメラ雲台
2…レンズユニット
3…映像表示装置
4…操作器
11…撮像素子
12…増幅部
13…画像信号処理部
14…演算処理回路（CPU）
15…メモリ
16…通信端子
17…映像出力端子
18…パン・チルト駆動部
41…パン・チルト操作部
45…モード設定スイッチ
46…速度閾値設定つまみ

Claims (6)

1. 高解像度化処理機能を備える撮影装置において、ズームレンズ位置及びフォーカスレンズ位置を検出する手段を備え、該レンズの移動速度に応じて高解像度化処理の適用レベルを設定する高解像度化処理自動適用手段を具備することを特徴とする高解像度化処理機能付き撮影装置。
2. 高解像度化処理機能付き撮影装置であって、フォーカスの合焦量を評価する複数の合焦センサーとズームレンズ位置及び絞り値から被写界深度を算出する演算手段を備え、合焦センサーの評価値とその分布状態及び被写界深度に応じて高解像度化処理の適用範囲及び適用レベルを設定する高解像度化処理自動適用手段を具備することを特徴とする高解像度化処理機能付き撮影装置。
3. 電子ズーム機能を備える高解像度化処理機能付き撮影装置であって、電子ズーム倍率に応じて高解像度化処理の適用レベルを設定する高解像度化処理自動適用手段を具備することを特徴とする高解像度化処理機能付き撮影装置。
4. 高解像度化処理機能付き撮影装置において、該撮影装置の動きを検出する検出手段を備え、撮影装置の移動速度に応じて高解像度化処理の適用レベルを設定する高解像度化処理自動適用手段を具備することを特徴とする高解像度化処理機能付き撮影装置。
5. 高解像度化処理機能付き撮影装置を搭載するパン・チルトカメラ雲台装置にあっては、請求項４に記載の撮影装置の動きを検出する検出手段が、該カメラ雲台装置のパン・チルト位置検出手段から移動速度を算出するものであることを特徴とする高解像度化処理機能付き撮影装置。
6. 高解像度化処理自動適用手段は、レンズまたは撮影装置の移動速度が速い場合にあっては、高解像度化処理を無効とし、該移動速度が閾地より遅くなった場合に有効とする制御を行うことを特徴とする請求項１、請求項４、請求項５の何れか１項に記載の撮影装置の
   高解像度化処理機能付き撮影装置。