JP2012212952A - 画像処理システム、画像処理装置、および画像処理方法 - Google Patents
画像処理システム、画像処理装置、および画像処理方法 Download PDFInfo
- Publication number
- JP2012212952A JP2012212952A JP2011076190A JP2011076190A JP2012212952A JP 2012212952 A JP2012212952 A JP 2012212952A JP 2011076190 A JP2011076190 A JP 2011076190A JP 2011076190 A JP2011076190 A JP 2011076190A JP 2012212952 A JP2012212952 A JP 2012212952A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- viewpoint
- image processing
- operation mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
Abstract
【課題】安価で多視点の画像を撮影することができるようにする。
【解決手段】主カメラ装置は、3D画像を構成する2視点の画像を撮影し、動作モードを決定し、その動作モードを送信する。副カメラ装置は、主カメラ装置から送信された動作モードを受信し、所定の1視点の画像を撮影し、動作モードに応じて所定の1視点の画像を撮影する撮影部を移動させる。本技術は、例えば、3D画像を撮影する画像処理システムに適用することができる。
【選択図】図1
【解決手段】主カメラ装置は、3D画像を構成する2視点の画像を撮影し、動作モードを決定し、その動作モードを送信する。副カメラ装置は、主カメラ装置から送信された動作モードを受信し、所定の1視点の画像を撮影し、動作モードに応じて所定の1視点の画像を撮影する撮影部を移動させる。本技術は、例えば、3D画像を撮影する画像処理システムに適用することができる。
【選択図】図1
Description
本技術は、画像処理システム、画像処理装置、および画像処理方法に関し、特に、安価で多視点の画像を撮影することができるようにした画像処理システム、画像処理装置、および画像処理方法に関する。
従来、多視点の画像を撮影する撮影システムでは、例えば、視点ごとに同一の機能を有するカメラが設けられていた(例えば、特許文献1参照)。
しかしながら、視点ごとに同一の機能を有するカメラが設けられる場合、視点数が多いと製造コストが高くなる。
本技術は、このような状況に鑑みてなされたものであり、安価で多視点の画像を撮影することができるようにするものである。
本技術の第1の側面の画像処理システムは、3D画像を構成する2視点の画像を撮影する2視点撮影部と、動作モードを決定する動作モード決定部と、前記動作モード決定部により決定された前記動作モードを送信する送信部とを備える主の画像処理装置と、前記送信部により送信された前記動作モードを受信する受信部と、所定の1視点の画像を撮影する1視点撮影部と、前記受信部により受信された前記動作モードに応じて前記1視点撮影部を移動させる移動制御部とを備える副の画像処理装置とを備える画像処理システムである。
本技術の第1の側面の画像処理方法は、本技術の第1の側面の画像処理システムに対応する。
本技術の第1の側面においては、主の画像処理装置により、3D画像を構成する2視点の画像が撮影され、動作モードが決定され、決定された前記動作モードが送信される。また、副の画像処理装置により、送信された前記動作モードが受信され、所定の1視点の画像が撮影され、受信された前記動作モードに応じて、前記所定の1視点の画像を撮影する1視点撮影部が移動される。
本技術の第2の側面の画像処理装置は、3D画像を構成する2視点の画像を撮影する2視点撮影部と、動作モードを決定する動作モード決定部と、前記動作モード決定部により決定された前記動作モードを送信する送信部とを備える画像処理装置である。
本技術の第2の側面においては、3D画像を構成する2視点の画像が撮影され、動作モードが決定され、決定された前記動作モードが送信される。
本技術の第3の側面の画像処理装置は、動作モードを受信する受信部と、所定の1視点の画像を撮影する1視点撮影部と、前記受信部により受信された前記動作モードに応じて前記1視点撮影部を移動させる移動制御部とを備える画像処理装置である。
本技術の第3の側面においては、動作モードが受信され、所定の1視点の画像が撮影され、前記動作モードに応じて前記所定の1視点の画像を撮影する1視点撮影部が移動される。
なお、第1の側面の画像処理システム並びに第2および第3の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、第1の側面の画像処理システム並びに第2および第3の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術の第1の側面によれば、安価で多視点の画像を撮影することができる。
本技術の第2の側面によれば、安価で多視点の画像を撮影することが可能であるように制御を行うことができる。
本技術の第3の側面によれば、安価で多視点の画像を撮影することが可能であるように、所定の1視点の画像を撮影することができる。
<一実施の形態>
[画像処理システムの一実施の形態の外観構成例]
図1は、本技術を適用した画像処理システムの一実施の形態の外観構成例を示す図である。
[画像処理システムの一実施の形態の外観構成例]
図1は、本技術を適用した画像処理システムの一実施の形態の外観構成例を示す図である。
なお、図1は、通常の使用状態における画像処理システム10を側面から見た図である。以下では、図1の上下方向を垂直方向といい、左右方向を水平方向という。
図1の画像処理システム10は、主カメラ装置11と、副カメラ装置12−1乃至12−4とにより構成される。
主カメラ装置11は、主の画像処理装置として機能し、左目用の画像(以下、左目画像という)と右目用の画像(以下、右目画像という)からなる3D画像を撮影する装置である。主カメラ装置11は、左目画像を撮影する左目カメラ11−1、右目画像を撮影する右目カメラ11−2などにより構成される。
副カメラ装置12−1乃至12−4は、副の画像処理装置として機能し、主カメラ装置11に対して自由に移動可能な装置である。また、副カメラ装置12−1乃至12−4は、主カメラ装置11に比べて低機能であり、安価な装置である。なお、以下では、副カメラ装置12−1乃至12−4を特に区別する必要がない場合、副カメラ装置12という。
[主カメラ装置の内部構成例]
図2は、図1の主カメラ装置11の内部構成例を示すブロック図である。
図2は、図1の主カメラ装置11の内部構成例を示すブロック図である。
図2に示すように、主カメラ装置11は、入力部21、動作モード決定部22、送信部23、撮影モード決定部24、撮影部25、画像処理部26、および受信部27により構成される。
主カメラ装置11の入力部21は、ユーザからの指示を受け付け、その指示を動作モード決定部22および撮影モード決定部24に供給する。
動作モード決定部22は、入力部21から供給される指示に応じて、画像処理システム10の動作モードを決定し、送信部23に供給する。
送信部23は、主カメラ装置11の情報である主カメラ情報を、副カメラ装置12に送信する。なお、主カメラ情報は、動作モード決定部22からの動作モード、撮影モード決定部24からの画像処理システム10の撮影モード、撮影部25からの主カメラ画像、画像処理部26からの画像処理情報などにより構成される。
撮影モード決定部24は、入力部21から供給される指示に応じて、画像処理システム10の撮影モードを決定し、送信部23と撮影部25に供給する。
撮影部25は、左目カメラ11−1と右目カメラ11−2により構成され、2視点撮影部として機能する。左目カメラ11−1は、撮影モード決定部24から供給される撮影モードに応じて、焦点距離、被写界深度等の撮影に関するパラメータである撮影パラメータの値を決定する。左目カメラ11−1は、その撮影パラメータの値に基づいて所定の1視点の画像を撮影し、その結果得られる画像を左目画像とする。
また、右目カメラ11−2は、左目カメラ11−1と同様に、撮影モードに応じて撮影パラメータの値を決定する。右目カメラ11−2は、その撮影パラメータの値に基づいて、左目カメラ11−1とは異なる所定の1視点の画像を撮影し、その結果得られる画像を右目画像とする。そして、撮影部25は、左目画像と右目画像からなる3D画像を主カメラ画像として、送信部23と画像処理部26に供給する。
画像処理部26は、2視点画像処理部として機能し、撮影部25から供給される主カメラ画像に対して、各種の画像処理を行う。このとき、画像処理部26は、必要に応じて、受信部27から供給される副カメラ装置12の情報である副カメラ情報を用いる。画像処理部26は、画像処理の結果得られる情報である画像処理情報を送信部23に供給する。
受信部27は、副カメラ装置12から送信されてくる副カメラ情報を受信し、画像処理部26に供給する。
[副カメラ装置の内部構成例]
図3は、図1の副カメラ装置12の内部構成例を示すブロック図である。
図3は、図1の副カメラ装置12の内部構成例を示すブロック図である。
図3に示すように、副カメラ装置12は、撮影部41、送信部42、受信部43、移動制御部44、および画像処理部45により構成される。
副カメラ装置12の撮影部41は、受信部43から供給される主カメラ情報に含まれる撮影モードに応じて撮影パラメータの値を決定する。撮影部41は、1視点撮影部として機能し、撮影パラメータの値に基づいて所定の1視点の画像を撮影する。撮影部41は、その結果得られる画像を副カメラ画像として送信部42および画像処理部45に供給する。
送信部42は、撮影部41から供給される副カメラ画像、画像処理部45から供給される画像処理後の副カメラ画像などを、副カメラ情報として、主カメラ装置11に送信する。
受信部43は、主カメラ装置11から送信されてくる主カメラ情報を受信する。受信部43は、主カメラ情報に含まれる撮影モードを撮影部41に供給し、動作モード、画像処理情報などを移動制御部44に供給する。また、受信部43は、主カメラ情報に含まれる主カメラ画像、画像処理情報、および動作モードを画像処理部45に供給する。
移動制御部44は、受信部43から供給される動作モードに応じて、副カメラ装置12の移動を制御する。このとき、移動制御部44は、必要に応じて、受信部43から供給される画像処理情報を用いる。
画像処理部45は、1視点画像処理部として機能し、撮影部41から供給される副カメラ画像に対して画像処理を行う。このとき、画像処理部45は、必要に応じて、受信部43から供給される主カメラ画像、画像処理情報、および動作モードを用いる。画像処理部45は、画像処理後の副カメラ画像を送信部42に供給する。
[動作モードの例]
図4は、図1の画像処理システム10の動作モードの例を示す図である。
図4は、図1の画像処理システム10の動作モードの例を示す図である。
図4に示すように、画像処理システム10の動作モードとしては、超広角画像モード、注目点高解像度化モード、超多視点画像モードなどがある。
超広角画像モードとは、水平方向に並ぶ多視点の画像を撮影し、各視点の画像を合成することにより広角の画像を生成するモードである。従って、超広角画像モード時には、副カメラ装置12は、主カメラ装置11と垂直方向の位置が略同一であり、水平方向の位置が所定の位置である位置を開始位置とし、その開始位置から副カメラ装置12を水平方向に移動させる。これにより、画像処理システム10自体を移動させずに、超広角画像を撮影することができる。
注目点高解像度化モードとは、主カメラ装置11における画像処理で検出された注目点を高解像度で撮影し、3D画像の他に、注目点の複数視点の画像を生成するモードである。従って、注目点高解像度化モード時には、副カメラ装置12は、画像処理情報としての注目点の位置に基づいて、その注目点を撮影可能な位置に副カメラ装置12を移動させる。これにより、ユーザの所望の領域の複数視点の画像を高解像度で撮影することができる。
超多視点画像モードとは、左目画像の視点(以下、左視点という)および右目画像の視点(以下、右視点という)それぞれの上下の視点の画像を撮影し、水平方向および垂直方向の位置の異なる視点の画像からなる3D画像を生成するモードである。従って、超多視点画像モード時には、副カメラ装置12は、副カメラ装置12を水平方向および垂直方向に高速移動させる。
具体的には、副カメラ装置12は、主カメラ装置11と垂直方向の位置が略同一であり、水平方向の位置が所定の位置である位置を開始位置とし、その開始位置から副カメラ装置12を水平方向に高速移動させることと、主カメラ装置11と水平方向の位置が略同一であり、垂直方向の位置が所定の位置である位置を開始位置とし、その開始位置から副カメラ装置12を垂直方向に高速移動させることを繰り返す。これにより、上下左右に首を移動しても裸眼で視認可能な自然な3D画像を撮影することができる。
[各動作モード時の副カメラ装置の移動の説明]
図5は、超広角画像モード時の副カメラ装置12の移動を説明する図である。
図5は、超広角画像モード時の副カメラ装置12の移動を説明する図である。
図5に示すように、画像処理システム10の動作モードが超広角画像モードである場合、まず、副カメラ装置12は、主カメラ装置11と垂直方向の位置が略同一であり、水平方向の位置が所定の位置である開始位置に副カメラ装置12を移動させる。その結果、図5の例では、副カメラ装置12−1および副カメラ装置12−2が、主カメラ装置11の左側の上下に位置し、副カメラ装置12−3および副カメラ装置12−4が、主カメラ装置11の右側の上下に位置する。次に、副カメラ装置12は、開始位置から水平方向に副カメラ装置12を移動させる。即ち、副カメラ装置12−1および12−2の視点が、左視点の左で左右方向に移動し、副カメラ装置12−3および12−4の視点が、右視点の右で左右方向に移動する。
図6は、注目点高解像度化モード時の副カメラ装置12の移動を説明する図である。
図6に示すように、画像処理システム10の動作モードが注目点高解像度化モードである場合、副カメラ装置12は、主カメラ装置11における画像処理で検出された注目点を撮影可能な位置に副カメラ装置12を移動させる。
図7は、超多視点画像モード時の副カメラ装置12の移動の第1の例を説明する図である。
図7の例では、画像処理システム10の動作モードが超多視点画像モードである場合、まず、副カメラ装置12は、図5に示したように、開始位置から水平方向に副カメラ装置12を移動させる。
次に、副カメラ装置12は、主カメラ装置11と水平方向の位置が略同一であり、垂直方向の位置が所定の位置である開始位置に副カメラ装置12を移動させる。その結果、図7の例では、副カメラ装置12−1および副カメラ装置12−2の水平方向の位置が、主カメラ装置11の左目カメラ11−1の中心と同一になり、垂直方向の位置が左目カメラ11−1の上または下になる。また、副カメラ装置12−3および副カメラ装置12−4の水平方向の位置が、右目カメラ11−2の中心と同一になり、垂直方向の位置が右目カメラ11−2の上または下になる。そして、副カメラ装置12は、その開始位置から垂直方向に副カメラ装置12を移動させる。即ち、副カメラ装置12−1乃至12−4の視点が、それぞれ、左視点の上、下、右視点の上、下で上下方向に移動する。
図8は、超多視点画像モード時の副カメラ装置12の移動の第2の例を説明する図である。
図8の例では、画像処理システム10の動作モードが超多視点画像モードである場合、まず、副カメラ装置12は、図5に示した開始位置を水平方向の開始位置とし、その開始位置に副カメラ装置12を移動させる。その後、図7に示した開始位置を垂直方向の開始位置とし、その開始位置に副カメラ装置12を移動させる。次に、副カメラ装置12は、水平方向の開始位置と水平方向の位置が異なる位置に副カメラ装置12を移動させ、次に、垂直方向の開始位置と垂直方向の位置が異なる位置に副カメラ装置12を移動させる。以降も同様にして、副カメラ装置12は、主カメラ装置11と垂直方向の位置が略同一である位置と、左目カメラ11−1または右目カメラ11−2と水平方向の位置が略同一である位置に交互に副カメラ装置12を移動させる。
これにより、図7の場合のように、水平方向および垂直方向のいずれか一方の移動が行われている際に、他方の移動による副カメラ画像が長時間得られないことを防止することができる。即ち、図7の場合に比べて、連続して撮影される水平方向の撮影位置が異なる副カメラ画像どうしの時間間隔の最大値と、垂直方向の撮影位置が異なる副カメラ画像どうしの時間間隔の最大値を短くすることができる。その結果、例えば、副カメラ画像に対して、その副カメラ画像を用いた高精度のフレーム補間処理を行うことができる。
[撮影モードの例]
図9は、図1の画像処理システム10の撮影モードの例を示す図である。
図9は、図1の画像処理システム10の撮影モードの例を示す図である。
図9に示すように、画像処理システム10の撮影モードとしては、動的被写界深度モードなどがある。
動的被写界深度モードとは、主カメラ装置11および副カメラ装置12それぞれの焦点距離および被写界深度が異なるように撮影するモードである。撮影モードが動的被写界深度モードである場合、例えば、主カメラ装置11は、パンフォーカス撮影を行い、副カメラ装置12は、テレ端やワイド端で撮影を行う。
動的被写界深度モード時、画像処理システム10は、フォーカスや被写界深度の異なる画像を撮影することができる。例えば、1眼レフカメラで撮影したときのようなボケ味のある画像と、コンパクトデジタルカメラで撮影したときのような被写界深度の深い画像を撮影することができる。
[主カメラ装置の撮影処理の説明]
図10は、図2の主カメラ装置11の撮影処理を説明するフローチャートである。この撮影処理は、例えば、主カメラ装置11の入力部21が、ユーザからの撮影開始の指示を受け付けたとき、開始される。
図10は、図2の主カメラ装置11の撮影処理を説明するフローチャートである。この撮影処理は、例えば、主カメラ装置11の入力部21が、ユーザからの撮影開始の指示を受け付けたとき、開始される。
図10のステップS11において、動作モード決定部22は、入力部21を介して供給されるユーザからの指示に応じて、超広角画像モード、注目点高解像度化モード、超多視点画像モード等のいずれかに動作モードを決定し、送信部23に供給する。
ステップS12において、撮影モード決定部24は、入力部21を介して供給されるユーザからの指示に応じて、動的被写界深度モード、通常モード等のいずれかに撮影モードを決定し、送信部23に供給する。なお、通常モードとは、主カメラ装置11および副カメラ装置12の焦点距離と被写界深度が同一であるように撮影するモードである。
ステップS13において、撮影部25の左目カメラ11−1および右目カメラ11−2は、撮影モード決定部24から供給される撮影モードに応じて撮影パラメータの値を設定する。
ステップS14において、撮影部25の左目カメラ11−1および右目カメラ11−2は、撮影パラメータに基づく撮影を開始する。左目カメラ11−1および右目カメラ11−2は、撮影の結果得られる左目画像と右目画像からなる3D画像を主カメラ画像として、送信部23と画像処理部26に供給する。
ステップS15において、動作モード決定部22は、動作モードが注目点高解像度化モードであるかどうかを判定する。
ステップS15で動作モードが注目点高解像度化モードであると判定された場合、ステップS16において、画像処理部26は、撮影部25から供給される主カメラ画像の注目点を検出し、注目点の位置を表す情報を画像処理情報として送信部23に供給する。そして処理はステップS17に進む。
一方、ステップS15で動作モードが注目点高解像度化モードではないと判定された場合、処理はステップS17に進む。
ステップS17において、送信部23は、動作モード決定部22からの動作モード、撮影モード決定部24からの撮影モード、および画像処理部26からの画像処理情報などを、主カメラ情報として副カメラ装置12に送信する。
ステップS18において、入力部21は、ユーザにより動作モードの変更が指示されたかどうかを判定する。入力部21は、ユーザからの動作モードの変更指示を受け付けた場合、ステップS18でユーザにより動作モードの変更が指示されたと判定して、その指示を動作モード決定部22に供給し、処理をステップS19に進める。
ステップS19において、動作モード決定部22は、入力部21から供給される動作モードの変更指示に応じて、動作モードを変更し、処理をステップS15に戻す。
一方、入力部21は、ユーザからの動作モードの変更指示を受け付けていない場合、ステップS19でユーザにより動作モードの変更が指示されていないと判定し、処理をステップS20に進める。
ステップS20において、入力部21は、ユーザにより撮影モードの変更が指示されたかどうかを判定する。入力部21は、ユーザからの撮影モードの変更指示を受け付けた場合、ステップS20でユーザにより撮影モードの変更が指示されたと判定して、その指示を撮影モード決定部24に供給し、処理をステップS21に進める。
ステップS21において、撮影モード決定部24は、入力部21から供給される撮影モードの変更の指示に応じて、撮影モードを変更し、送信部23と撮影部25に供給する。
ステップS22において、撮影部25の左目カメラ11−1および右目カメラ11−2は、ステップS21で撮影モード決定部24から供給される変更後の撮影モードに応じて撮影パラメータの値を変更する。そして、処理はステップS15に戻り、以降の処理が繰り返される。
一方、入力部21は、ユーザからの撮影モードの変更指示を受け付けていない場合、ステップS20でユーザにより撮影モードの変更が指示されていないと判定し、処理をステップS23に進める。
ステップS23において、入力部21は、撮影を終了するかどうか、即ちユーザからの撮影終了の指示を受け付けたかどうかを判定する。ステップS24で撮影を終了しないと判定された場合、処理はステップS15に戻り、撮影を終了すると判定されるまで、ステップS15乃至S23の処理が繰り返される。
ステップS23で撮影を終了すると判定された場合、ステップS24において、撮影部25の左目カメラ11−1と右目カメラ11−2は、ステップS14で開始された撮影を停止する。また、送信部23は、撮影の終了指令を副カメラ装置12に送信する。そして撮影処理は終了する。
[副カメラ装置の撮影処理の説明]
図11は、図3の副カメラ装置12の撮影処理を説明するフローチャートである。この撮影処理は、例えば、主カメラ装置11から主カメラ情報が送信されてきたとき、開始される。
図11は、図3の副カメラ装置12の撮影処理を説明するフローチャートである。この撮影処理は、例えば、主カメラ装置11から主カメラ情報が送信されてきたとき、開始される。
図11のステップS31において、副カメラ装置12の受信部43は、主カメラ装置11から主カメラ情報を受信する。受信部43は、受信された動作モード、画像処理情報などを移動制御部44に供給し、撮影モードを撮影部41に供給する。
ステップS32において、移動制御部44は、受信部43から供給される動作モードに応じた副カメラ装置12の移動制御を開始する。このとき、動作モードが注目点高解像度化モードである場合には、移動制御部44は、受信部43から供給される画像処理情報としての注目点の位置を表す情報に基づいて、副カメラ装置12の移動制御を行う。
ステップS33において、撮影部41は、受信部43から供給される撮影モードに応じて撮影パラメータの値を決定し、その撮影パラメータの値に基づく撮影を開始する。撮影の結果得られる副カメラ画像は、送信部42を介して副カメラ情報として送信されるか、または、画像処理部45と送信部42を介して副カメラ情報として送信される。
ステップS34において、移動制御部44は、動作モードが変更されたかどうか、即ち、受信部43により受信される動作モードが変更されたかどうかを判定する。ステップS34で動作モードが変更されたと判定された場合、処理は、ステップS35に進む。
ステップS35において、移動制御部44は、変更後の動作モードに応じて移動制御を変更し、処理をステップS34に戻す。
一方、ステップS34で動作モードが変更されていないと判定された場合、ステップS36において、撮影モードが変更されたかどうか、即ち、受信部43により受信される撮影モードが変更されたかどうかを判定する。
ステップS36で撮影モードが変更されたと判定された場合、処理はステップS37に進む。ステップS37において、撮影部41は、変更後の撮影モードに応じて撮影パラメータの値を変更し、処理をステップS34に戻す。
一方、ステップS36で撮影モードが変更されていないと判定された場合、ステップS38において、撮影部41は、撮影を終了するかどうか、即ち主カメラ装置11から撮影の終了指令が送信されてきたかどうかを判定する。ステップS38で撮影を終了すると判定されない場合、処理はステップS34に戻り、撮影を終了すると判定されるまで、ステップS34乃至S38の処理が繰り返される。
ステップS38で撮影を終了すると判定された場合、ステップS39において、撮影部41は、撮影を停止する。
ステップS40において、移動制御部44は、副カメラ装置12の移動制御を停止すし、処理を終了する。
以上のように、画像処理システム10では、主カメラ装置11が動作モードを決定して送信し、副カメラ装置12が主カメラ装置11から送信されてくる動作モードに応じて1視点の画像を撮影する撮影部41を移動させる。従って、撮影部41において、動作モードに応じた複数視点の画像を撮影することができる。その結果、画像処理システム10では、視点ごとにカメラが設けられる場合に比べて、安価で多視点の画像を撮影することができる。
[副カメラ装置の画像処理の例]
図12は、図3の副カメラ装置12の画像処理部45における画像処理の例を説明する図である。
図12は、図3の副カメラ装置12の画像処理部45における画像処理の例を説明する図である。
図12に示すように、画像処理部45における画像処理としては、例えば、フレームレート可変処理、第1のフレーム補間処理、第2のフレーム補間処理、動きボケ補償処理、解像度補間処理、色空間補間処理、符号化処理等がある。
フレームレート可変処理は、画像処理情報としての被写体や主カメラ装置11の動き情報に基づいて、副カメラ画像のフレームレートを変更する処理である。例えば、フレームレート可変処理では、動き情報が比較的小さい場合、即ち被写体や主カメラ装置11が略静止している場合、副カメラ画像のフレームレートが下げられる。また、動き情報が比較的大きい場合、即ち被写体や主カメラ装置11に動きがある場合、副カメラ画像のフレームレートが上げられる。フレームレート可変処理により、副カメラ装置12が、被写体や副カメラ装置12の動き情報を検出する機能を有しない安価な装置である場合であっても、副カメラ画像のビットレートを削減することができる。
第1のフレーム補間処理は、画像処理情報としての主カメラ画像の動きベクトルや主カメラ画像そのものを利用して、副カメラ画像を補間する処理である。これにより、副カメラ装置12が、フレームレートの低い安価な装置である場合であっても、滑らかな副カメラ画像を生成することができる。
第2のフレーム補間処理は、撮影時刻の異なる主カメラ画像を利用して、副カメラ画像を補間する処理である。これにより、副カメラ装置12が、フレームレートの低い安価な装置である場合であっても、滑らかな副カメラ画像を生成することができる。
動きボケ補償処理は、画像処理情報としての主カメラ画像の動きボケ量に基づいて副カメラ画像の動きボケ補償を行う処理である。これにより、副カメラ装置12のシャッタスピードが主カメラ装置11に比べて遅い場合であっても、シャッタスピードの速い主カメラ装置11の主カメラ画像から検出された動きボケ量に基づいて、副カメラ画像の動きボケを精度良く改善することができる。
解像度補間処理は、主カメラ画像と動作モードを利用して副カメラ画像を高解像度化する処理である。これにより、副カメラ装置12の撮影時の解像度を所望の解像度より低くし、ビットレートを削減することができる。
色空間補間処理は、色空間の広い主カメラ画像を利用して副カメラ画像の色空間を補間する処理である。例えば、色空間補間処理では、YCbCr422の主カメラ画像を用いてYCbCr420の副カメラ画像の色空間が補間され、YCbCr422の副カメラ画像が生成される。
これにより、撮影時の色空間を所望の色空間より狭くし、ビットレートを削減することができる。
これにより、撮影時の色空間を所望の色空間より狭くし、ビットレートを削減することができる。
符号化処理は、主カメラ画像の符号化に関する特徴量を用いて副カメラ画像の符号化を行う処理である。なお、符号化に関する特徴量としては、例えば、フォーカス値や、画像処理情報としてのエッジ、シーンチェンジ、トランジション、注目領域などがある。この符号化処理により、副カメラ装置12が符号化に関する特徴量を生成しなくて済むため、副カメラ装置12の製造コストを削減することができる。
[超多視点画像処理部の構成例]
図13は、動作モードが超多視点画像モードである場合に動作する、図3の画像処理部45の一部を構成する超多視点画像処理部60の構成例を示すブロック図である。
図13は、動作モードが超多視点画像モードである場合に動作する、図3の画像処理部45の一部を構成する超多視点画像処理部60の構成例を示すブロック図である。
図13の超多視点画像処理部60は、フレームメモリ61、動きボケ補償部62、補間部63、フレームメモリ64、補間フレームメモリ65、および画像出力部66により構成される。超多視点画像処理部60は、超多視点画像モード時に動きボケ補償処理等を行う。
具体的には、超多視点画像処理部60のフレームメモリ61には、撮影部41からフレーム単位の副カメラ画像が供給され、保持される。
動きボケ補償部62は、フレームメモリ61から副カメラ画像をフレーム単位で読み出す。動きボケ補償部62は、受信部43から供給される画像処理情報としての主カメラ画像の動きボケ量に基づいて、読み出された副カメラ画像に対して動きボケ補償処理を行う。動きボケ補償部62は、動きボケ補償処理後のフレーム単位の副カメラ画像を補間部63とフレームメモリ64に供給する。
補間部63は、動きボケ補償部62から供給されるフレーム単位の副カメラ画像に対してフレーム補間処理を行う。具体的には、補間部63は、動きボケ補償部62からのフレーム単位の副カメラ画像と、そのフレームより1つ前のフレームの、フレームメモリ64に記憶されている副カメラ画像とを用いて、両フレームの間の時刻のフレーム単位の副カメラ画像を補間する。補間部63は、補間された副カメラ画像を補間フレームメモリ65に供給する。
フレームメモリ64は、動きボケ補償部62から供給される動きボケ補償処理後のフレーム単位の副カメラ画像を保持する。補間フレームメモリ65は、補間部63から供給される、補間された副カメラ画像を保持する。
画像出力部66は、フレームメモリ64に保持されているフレーム単位の副カメラ画像と、補間フレームメモリ65に保持されているフレーム単位の副カメラ画像を交互に送信部42に出力する。これにより、送信部42に入力される副カメラ画像のフレームレートは、撮影時のフレームレートの2倍になる。
[超多視点画像処理部の処理の説明]
図14は、図13の超多視点画像処理部60の超多視点画像処理を説明するフローチャートである。この超多視点画像処理は、例えば、撮影部41からフレーム単位の副カメラ画像が供給されるとき、開始される。
図14は、図13の超多視点画像処理部60の超多視点画像処理を説明するフローチャートである。この超多視点画像処理は、例えば、撮影部41からフレーム単位の副カメラ画像が供給されるとき、開始される。
図14のステップS51において、超多視点画像処理部60のフレームメモリ61は、撮影部41から供給される副カメラ画像を保持する。
ステップS52において、動きボケ補償部62は、受信部43から供給される画像処理情報としての動きボケ量に基づいて、フレームメモリ61に記憶されている副カメラ画像の動きボケ補償処理を行う。動きボケ補償部62は、動きボケ補償処理後の副カメラ画像を補間部63とフレームメモリ64に供給する。
ステップS53において、フレームメモリ64は、動きボケ補償部62から供給される動きボケ補償処理後の副カメラ画像を保持する。
ステップS54において、補間部63は、動きボケ補償部62から供給される動きボケ補償処理後の副カメラ画像が先頭フレームの副カメラ画像であるかどうかを判定する。ステップS54で動きボケ補償処理後の副カメラ画像が先頭フレームの副カメラ画像であると判定された場合、処理はステップS55乃至S57をスキップし、ステップS58に進む。
一方、ステップS54で動きボケ補償処理後の副カメラ画像が先頭フレームの副カメラ画像ではないと判定された場合、処理はステップS55に進む。
ステップS55において、補間部63は、動きボケ補償部62から供給されるフレーム単位の副カメラ画像と、そのフレームより1つ前のフレームの、フレームメモリ64に記憶されている副カメラ画像とを用いて補間を行う。これにより、両フレームの間の時刻のフレーム単位の副カメラ画像が補間される。補間部63は、補間された副カメラ画像を補間フレームメモリ65に供給する。
ステップS56において、補間フレームメモリ65は、補間部63から供給される、補間された副カメラ画像を保持する。
ステップS57において、画像出力部66は、補間フレームメモリ65に保持されている補間された副カメラ画像を送信部42に出力する。
ステップS58において、画像出力部66は、フレームメモリ64に保持されている副カメラ画像を送信部42に出力し、処理を終了する。
[解像度補間処理部の構成例]
図15は、図3の画像処理部45の一部を構成する解像度補間処理部80の構成例を示すブロック図である。
図15は、図3の画像処理部45の一部を構成する解像度補間処理部80の構成例を示すブロック図である。
図14の解像度補間処理部80は、選択部81および高解像度化部82乃至84により構成され、解像度補間処理を行う。
具体的には、解像度補間処理部80の選択部81は、図3の受信部43から供給される主カメラ画像と動作モードに基づいて、副カメラ画像に適した方法で解像度補間を行う高解像度化部82乃至84のいずれかを選択する。解像度補間処理部80は、選択された高解像度化部82乃至84を示す選択情報を高解像度化部82乃至84に供給する。
高解像度化部82は、選択部81から供給される選択情報が自分自身を示す場合、図3の撮影部41から供給される副カメラ画像に対して、再構成型解像度補間を行う。再構成型解像度補間とは、前のフレームの処理結果を用いた数理的に最適なIIR(Infinite Impulse Response)処理により高解像度化する処理である。高解像度化部82は、再構成型解像度補間後の副カメラ画像を図3の送信部42に供給する。
高解像度化部83は、選択部81から供給される選択情報が自分自身を示す場合、撮影部41から供給される副カメラ画像に対して、学習型解像度補間を行う。学習型解像度補間とは、事前に学習により求められた係数を用いて高解像度化する処理である。なお、事前に行われる学習とは、学習型解像度補間前の副カメラ画像に対応する画像を生徒画像とし、学習型解像度補間後の副カメラ画像に対応する画像を教師画像とした学習であり、この学習により、生徒画像から教師画像を求めるための係数が求められる。高解像度化部83は、学習型解像度補間後の副カメラ画像を送信部42に供給する。
高解像度化部84は、選択部81から供給される選択情報が自分自身を示す場合、撮影部41から供給される副カメラ画像に対して、特徴モデル型解像度補間を行う。特徴モデル型解像度補間とは、処理対象の画像を、エッジ成分、テクスチャ成分等の成分に分解し、各成分を既知の特徴モデルに合わせて最適に高解像度化する処理である。高解像度化部84は、特徴モデル型解像度補間後の副カメラ画像を送信部42に供給する。
[解像度補間処理部の処理の概略説明]
図16は、図15の解像度補間処理部80の処理の概略を説明する図である。
図16は、図15の解像度補間処理部80の処理の概略を説明する図である。
図16に示すように、副カメラ画像12の撮影部41により撮影された低解像度の副カメラ画像は、高解像度化部82による再構成型解像度補間、高解像度化部83による学習型解像度補間、または高解像度化部84による特徴モデル型解像度補間により高解像度化される。
具体的には、例えば、動作モードが超多視点画像モードであり、副カメラ画像が3D画像を構成する所定の視点の画像である場合、副カメラ画像に対応する主カメラ画像が折り返し歪みを有する場合などには、再構成型解像度補間が行われる。
また、例えば、主カメラ画像の特徴が、学習型解像度補間における学習時に用いられた教師画像の特徴に近似する場合には、学習型解像度補間が行われる。
さらに、例えば、主カメラ画像が、アニメーション、CG(Computer Graphics)、ゲーム用画像等のエッジを多く含む画像である場合には、特徴モデル型解像度補間が行われる。
[解像度補間処理部の説明]
図17は、図15の解像度補間処理部80の解像度補間処理を説明するフローチャートである。この解像度補間処理は、例えば、解像度補間処理部80に図3の撮影部41から副カメラ画像が供給されたとき、開始される。
図17は、図15の解像度補間処理部80の解像度補間処理を説明するフローチャートである。この解像度補間処理は、例えば、解像度補間処理部80に図3の撮影部41から副カメラ画像が供給されたとき、開始される。
図17のステップS71において、解像度補間処理部80の選択部81は、受信部43から供給される主カメラ画像と動作モードに基づいて、副カメラ画像に適した解像度補間処理を行う高解像度化部82乃至84のいずれかを選択する。解像度補間処理部80は、選択された高解像度化部82乃至84を示す選択情報を高解像度化部82乃至84に供給する。
ステップS72において、高解像度化部82は、選択部81から供給される選択情報が高解像度化部82を示す情報であるかどうかを判定する。ステップS72で選択情報が高解像度化部82を示す情報であると判定された場合、高解像度化部82は、撮影部41から供給される副カメラ画像に対して、再構成型解像度補間を行う。そして、高解像度化部82は、再構成型解像度補間後の副カメラ画像を図3の送信部42に供給し、処理を終了する。
一方、ステップS72で選択情報が高解像度化部82を示す情報ではないと判定された場合、ステップS74において、高解像度化部83は、選択情報が高解像度化部83を示す情報であるかどうかを判定する。
ステップS74で選択情報が高解像度化部83を示す情報であると判定された場合、ステップS75において、高解像度化部83は、撮影部41から供給される副カメラ画像に対して、学習型解像度補間を行う。そして、高解像度化部83は、学習型解像度補間後の副カメラ画像を送信部42に供給し、処理を終了する。
一方、ステップS74で選択情報が高解像度化部83を示す情報ではないと判定された場合、即ち選択情報が高解像度化部84を示す情報である場合、処理はステップS76に進む。
ステップS76において、高解像度化部84は、撮影部41から供給される副カメラ画像に対して、特徴モデル型解像度補間を行う。そして、高解像度化部84は、特徴モデル型解像度補間後の副カメラ画像を送信部42に供給し、処理を終了する。
以上のように、解像度補間処理部80では、主カメラ画像と動作モードに基づいて選択された、再構成型解像度補間、学習型解像度補間、または特徴モデル型解像度補間が、副カメラ画像に対して行われるので、精度良く高解像度化を行うことができる。
[主カメラ装置の画像処理の例]
図18は、図2の主カメラ装置11の画像処理部26における画像処理の例を説明する図である。
図18は、図2の主カメラ装置11の画像処理部26における画像処理の例を説明する図である。
図18に示すように、画像処理部26における画像処理としては、例えば、手ぶれ補正処理、符号化処理等がある。
手ぶれ補正処理は、主カメラ画像の手振れ補正を行い、副カメラ情報としての副カメラ画像を用いて、手振れ補正後の主カメラ画像の画枠付近の存在しない画素を補間する処理である。これにより、手振れ補正後の主カメラ画像の画質を高画質にすることができる。
符号化処理は、副カメラ画像と主カメラ画像のGOPの位相をずらすように、副カメラ画像と主カメラ画像を符号化する処理である。これにより、副カメラ画像や主カメラ画像のGOPフリッカを軽減することができる。
[符号化処理部の構成例]
図19は、図2の画像処理部26の一部を構成する符号化処理部100の構成例を示すブロック図である。
図19は、図2の画像処理部26の一部を構成する符号化処理部100の構成例を示すブロック図である。
図19の符号化処理部100は、A/D変換部111、画面並べ替えバッファ112、演算部113、直交変換部114、量子化部115、可逆符号化部116、蓄積バッファ117、逆量子化部118、逆直交変換部119、加算部120、デブロックフィルタ121、フレームメモリ122、イントラ予測部123、動き予測・補償部124、選択部125、およびレート制御部126により構成される。図19の符号化処理部100は、主カメラ画像の一方に対して、イントラ予測または時間方向のインター予測を行い、主カメラ画像の他方と副カメラ画像に対して、イントラ予測または時間方向と視差方向のインター予測を行うことにより、圧縮符号化を行う。なお、以下では、イントラ予測または時間方向のインター予測が行われる主カメラ画像の一方を、ベース主カメラ画像といい、イントラ予測または時間方向と視差方向のインター予測が行われる主カメラ画像の他方を、ノンベース主カメラ画像という。
具体的には、符号化処理部100のA/D変換部111は、入力信号として入力されたフレーム単位の主カメラ画像および副カメラ画像をA/D変換し、画面並べ替えバッファ112に出力して記憶させる。画面並べ替えバッファ112は、記憶した表示の順番のフレーム単位の主カメラ画像および副カメラ画像を、GOP(Group of Picture)構造に応じて、符号化のための順番に並べ替える。なお、このとき、主カメラ画像および副カメラ画像それぞれのGOPの位相がずれるように、GOPが設定される。画面並べ替えバッファ112は、並べ替え後の主カメラ画像および副カメラ画像を時刻ごとに順に、符号化対象の画像として、演算部113、イントラ予測部123、および動き予測・補償部124に出力する。
演算部113は、選択部125から供給される予測画像と、画面並べ替えバッファ112から出力された符号化対象の画像の差分を演算する。具体的には、演算部113は、画面並べ替えバッファ112から出力された符号化対象の画像から、選択部125から供給される予測画像を減算する。演算部113は、減算の結果得られる画像を、残差情報として直交変換部114に出力する。なお、選択部125から予測画像が供給されない場合、演算部113は、画面並べ替えバッファ112から読み出された画像をそのまま残差情報として直交変換部114に出力する。
直交変換部114は、演算部113からの残差情報に対して離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その結果得られる係数を量子化部115に供給する。
量子化部115は、直交変換部114から供給される係数を量子化する。量子化された係数は、可逆符号化部116に入力される。
可逆符号化部116は、最適イントラ予測モードを示す情報(以下、イントラ予測モード情報という)をイントラ予測部123から取得し、最適インター予測モードを示す情報(以下、インター予測モード情報という)、動きベクトル、参照画像を特定する情報などを動き予測・補償部124から取得する。
可逆符号化部116は、量子化部115から供給される量子化された係数に対して、可変長符号化(例えば、CAVLC(Context-Adaptive Variable Length Coding)など)、算術符号化(例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)など)などの可逆符号化を行い、その結果得られる情報を圧縮画像とする。また、可逆符号化部116は、イントラ予測モード情報、または、インター予測モード情報および動きベクトルなどを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。可逆符号化部116は、可逆符号化の結果得られるヘッダ情報が付加された圧縮画像を画像圧縮情報として蓄積バッファ117に供給し、蓄積させる。
蓄積バッファ117は、可逆符号化部116から供給される画像圧縮情報を、一時的に記憶し、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
また、量子化部115より出力された、量子化された係数は、逆量子化部118にも入力され、逆量子化された後、逆直交変換部119に供給される。
逆直交変換部119は、逆量子化部118から供給される係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部120に供給する。
加算部120は、逆直交変換部119から供給される復号対象の画像としての残差情報と、選択部125から供給される予測画像を加算して、局部的に復号された画像を得る。なお、選択部125から予測画像が供給されない場合、加算部120は、逆直交変換部119から供給される残差情報を局部的に復号された画像とする。加算部120は、局部的に復号された画像をデブロックフィルタ121に供給するとともに、参照画像としてイントラ予測部123に供給する。
デブロックフィルタ121は、加算部120から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ121は、その結果得られる画像をフレームメモリ122に供給し、蓄積させる。フレームメモリ122に蓄積された画像は、参照画像として動き予測・補償部124に出力される。
イントラ予測部123は、画面並べ替えバッファ112から読み出された符号化対象の画像と、加算部120から供給された参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測を行い、予測画像を生成する。
また、イントラ予測部123は、候補となる全てのイントラ予測モードに対してコスト関数値(詳細は後述する)を算出する。そして、イントラ予測部123は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部123は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部125に供給する。イントラ予測部123は、選択部125から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部116に供給する。
なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H.264/AVC方式における参照ソフトウェアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。
具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式(1)で表わされるコスト関数値が各予測モードに対して算出される。
Cost(Mode)=D+λ・R ・・・(1)
Dは、原画像と復号画像の差分(歪)、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式(2)で表わされるコスト関数が各予測モードに対して算出される。
Cost(Mode)=D+QPtoQuant(QP)・Header_Bit ・・・(2)
Dは、原画像と復号画像の差分(歪)、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。なお、ここでは、コスト関数値の算出手法としてHigh Complexity モードが採用されるものとする。
動き予測・補償部124は、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部124は、例えば、符号化対象がベース主カメラ画像のGOPの先頭以外の画像である場合、フレームメモリ122から、符号化対象と時刻の異なるベース主カメラ画像を参照画像として読み出す。一方、動き予測・補償部124は、例えば、符号化対象がノンベース主カメラ画像と副カメラ画像のGOPの先頭の画像である場合、フレームメモリ122から、符号化対象と同一の時刻のベース主カメラ画像を参照画像として読み出す。また、動き予測・補償部124は、例えば、符号化対象がノンベース主カメラ画像と副カメラ画像のGOPの先頭以外の画像である場合、フレームメモリ122から符号化対象と同一の時刻のベース主カメラ画像、および、異なる時刻かつ同一の視点の副カメラ画像を参照画像として読み出す。
そして、動き予測・補償部124は、画面並べ替えバッファ112から供給される符号化対象の画像と、フレームメモリ122から読み出される参照画像に基づいて、所定のブロックごとに、候補となる全てのインター予測モードの動きベクトルを検出する。動き予測・補償部124は、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。
このとき、動き予測・補償部124は、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部124は、最適インター予測モードのコスト関数値と、対応する予測画像を選択部125に供給する。また、動き予測・補償部124は、選択部125から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトルや参照画像を特定する情報などを可逆符号化部116に出力する。
選択部125は、イントラ予測部123および動き予測・補償部124から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのいずれかを、最適予測モードに決定する。そして、選択部125は、最適予測モードの予測画像を、演算部113および加算部120に供給する。また、選択部125は、最適予測モードの予測画像の選択をイントラ予測部123または動き予測・補償部124に通知する。
レート制御部126は、蓄積バッファ117に蓄積された画像圧縮情報に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部115の量子化動作のレートを制御する。
[第1の符号化処理の概略の説明]
図20は、図19の符号化処理部100の符号化処理の概略を説明する図である。
図20は、図19の符号化処理部100の符号化処理の概略を説明する図である。
図20に示すように、図19の符号化処理部100の符号化処理では、主カメラ画像と副カメラ画像それぞれのGOPの位相がずらされる。従って、副カメラ画像が、時間方向のインター予測を行えないGOPの先頭の画像である場合、その副カメラ画像に対して、時間方向のインター予測を用いて符号化されるベース主カメラ画像のGOPの先頭以外の画像を参照画像として、動き予測・補償処理を行うことができる。即ち、GOPの先頭の副カメラ画像に対して、GOPの先頭ではないベース主カメラ画像を用いて視差方向の予測を行うことができる。その結果、GOPの先頭の副カメラ画像で発生するフリッカを軽減することができる。なお、図示は省略するが、ノンベース主カメラ画像についても、副カメラ画像と同様である。
[第1の符号化部の処理の説明]
図21および図22は、図19の符号化処理部100による符号化処理を説明するフローチャートである。この符号化処理は、例えば、入力信号としてフレーム単位の主カメラ画像や副カメラ画像が符号化処理部100に入力されるたびに行われる。
図21および図22は、図19の符号化処理部100による符号化処理を説明するフローチャートである。この符号化処理は、例えば、入力信号としてフレーム単位の主カメラ画像や副カメラ画像が符号化処理部100に入力されるたびに行われる。
図21のステップS111において、符号化処理部100のA/D変換部111は、入力信号として入力されたフレーム単位の主カメラ画像や副カメラ画像をA/D変換し、画面並べ替えバッファ112に出力して記憶させる。
ステップS112において、画面並べ替えバッファ112は、記憶した表示の順番のフレーム単位の主カメラ画像や副カメラ画像を、GOP構造に応じて、符号化のための順番に並べ替える。なお、このとき、主カメラ画像および副カメラ画像それぞれのGOPの位相がずれるように、GOPが設定される。画面並べ替えバッファ112は、並べ替え後の主カメラ画像や副カメラ画像を、符号化対象の画像として、演算部113、イントラ予測部123、および動き予測・補償部124に出力する。
なお、以下のステップS113乃至S129の処理は、例えばマクロブロック単位で行われる。但し、ベース主カメラ画像のGOPの先頭フレームの先頭マクロブロック等の処理時には、ステップS113乃至S119およびS127の処理は行われず、先頭フレームの画像が残差情報および局部的に復号された画像とされる。また、ベース主カメラ画像のGOPの先頭フレームの先頭以外のマクロブロック等の処理時には、ステップS114の処理が行われず、ステップS115において最適イントラ予測モードが最適予測モードに決定される。
ステップS113において、画面並べ替えバッファ112から読み出された符号化対象の画像と、加算部120から供給された参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測を行い、予測画像を生成する。また、イントラ予測部123は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部123は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部123は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部125に供給する。
ステップS114において、動き予測・補償部124は、画面並べ替えバッファ112から読み出された符号化対象の画像と、フレームメモリ122から読み出された参照画像とに基づいて、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部124は、候補となる全てのインター予測モードに対してコスト関数値を算出する。そして、動き予測・補償部124は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。動き予測・補償部124は、最適インター予測モードで生成された予測画像、および、対応するコスト関数値を、選択部125に供給する。
ステップS115において、選択部125は、イントラ予測部123および動き予測・補償部124から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、選択部125は、最適予測モードの予測画像を、演算部113および加算部120に供給する。
ステップS116において、選択部125は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップS116で最適予測モードが最適インター予測モードであると判定された場合、選択部125は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部124に通知する。これにより、動き予測・補償部124は、インター予測モード情報、対応する動きベクトルや参照画像を特定する情報などを可逆符号化部116に出力する。
そして、ステップS117において、可逆符号化部116は、動き予測・補償部124から供給されるインター予測モード情報、動きベクトル、参照画像を特定する情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。そして、処理はステップS119に進む。
一方、ステップS116で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、選択部125は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部123に通知する。これにより、イントラ予測部123は、イントラ予測モード情報を可逆符号化部116に供給する。
そして、ステップS118において、可逆符号化部116は、イントラ予測部123から供給されるイントラ予測モード情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。そして、処理はステップS119に進む。
ステップS119において、演算部113は、画面並べ替えバッファ112から供給される画像から、選択部125から供給される予測画像を減算する。演算部113は、減算の結果得られる画像を、残差情報として直交変換部114に出力する。
ステップS120において、直交変換部114は、演算部113からの残差情報に対して直交変換を施し、その結果得られる係数を量子化部115に供給する。
ステップS121において、量子化部115は、直交変換部114から供給される係数を量子化する。量子化された係数は、可逆符号化部116と逆量子化部118に入力される。
ステップS122において、可逆符号化部116は、量子化部115から供給される量子化された係数を可逆符号化し、その結果得られる情報を圧縮画像とする。そして、可逆符号化部116は、ステップS117またはS118の処理で生成されたヘッダ情報を圧縮画像に付加し、画像圧縮情報を生成する。
図21のステップS123において、可逆符号化部116は、画像圧縮情報を蓄積バッファ117に供給し、蓄積させる。
ステップS124において、蓄積バッファ117は、蓄積されている画像圧縮情報を、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
ステップS125において、逆量子化部118は、量子化部115から供給される量子化された係数を逆量子化する。
ステップS126において、逆直交変換部119は、逆量子化部118から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部120に供給する。
ステップS127において、加算部120は、逆直交変換部119から供給される残差情報と、選択部125から供給される予測画像を加算し、局部的に復号された画像を得る。加算部120は、得られた画像をデブロックフィルタ121に供給するとともに、参照画像としてイントラ予測部123に供給する。
ステップS128において、デブロックフィルタ121は、加算部120から供給される局部的に復号された画像に対してフィルタリングを行うことにより、ブロック歪を除去する。
ステップS129において、デブロックフィルタ121は、フィルタリング後の画像をフレームメモリ122に供給し、蓄積させる。フレームメモリ122に蓄積された画像は、参照画像として動き予測・補償部124に出力される。そして、処理は終了する。
[符号化処理部の他の構成例]
図23は、図2の画像処理部26の一部を構成する符号化処理部100の他の構成例を示すブロック図である。
図23は、図2の画像処理部26の一部を構成する符号化処理部100の他の構成例を示すブロック図である。
図23に示す構成のうち、図19の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図23の符号化処理部100の構成は、主に、動き予測・補償部124の代わりに動き予測・補償部141が設けられている点、および、フリッカ検出部142が新たに設けられている点が図19の構成と異なる。図23の符号化処理部100は、GOPの先頭のノンベース主カメラ画像または副カメラ画像でフリッカの発生が予測される場合、そのノンベース主カメラ画像または副カメラ画像の1つ前のノンベース主カメラ画像または副カメラ画像に対して、ベース主カメラ画像を用いた視差方向の予測を行う。
具体的には、図23の符号化処理部100の動き予測・補償部141は、フリッカ検出部142から供給される、フリッカの発生が予測されるかどうかを表すフリッカ情報に基づいて、候補となる全てのインター予測モードの動き予測・補償処理を行う。より詳細には、フリッカ情報が、フリッカの発生が予測されることを表す場合、動き予測・補償部141は、フレームメモリ122から、現在の符号化対象と同一時刻のベース主カメラ画像を参照画像として読み出す。一方、フリッカ情報が、フリッカの発生が予測されないことを表す場合、動き予測・補償部141は、フレームメモリ122から動き予測・補償部124と同様の参照画像を読み出す。
そして、動き予測・補償部141は、動き予測・補償部124と同様に、画面並べ替えバッファ112から供給される符号化対象の画像と、フレームメモリ122から読み出される参照画像に基づいて、所定のブロックごとに、候補となる全てのインター予測モードの動きベクトルを検出する。動き予測・補償部141は、動き予測・補償部124と同様に、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。
このとき、動き予測・補償部141は、動き予測・補償部124と同様に、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部141は、動き予測・補償部124と同様に、最適インター予測モードのコスト関数値と、対応する予測画像を選択部125に供給する。また、動き予測・補償部141は、動き予測・補償部124と同様に、選択部125から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトルや参照画像を特定する情報などを可逆符号化部116に出力する。
フリッカ検出部142は、予測部として機能する。具体的には、フリッカ検出部142は、画面並べ替えバッファ112から供給される符号化対象の画像を保持する。フリッカ検出部142は、符号化対象の画像がGOPの終端の副カメラ画像である場合、保持されている、GOPの終端の副カメラ画像と、その副カメラ画像より前の同一視点の副カメラ画像を用いて、そのGOPの終端の副カメラ画像より1つ後のGOPの先頭の副カメラ画像におけるフリッカの発生を予測する。
例えば、フリッカ検出部142は、GOPの終端の副カメラ画像と、その副カメラ画像より前の同一視点の副カメラ画像を用いて動きを検出する。そして、その動きが比較的少ない場合、フリッカ検出部142は、そのGOPの終端の副カメラ画像より1つ後のGOPの先頭の副カメラ画像におけるフリッカの発生を予測する。同様に、フリッカ検出部142は、符号化対象の画像がGOPの終端のノンベース主カメラ画像である場合、フリッカの発生を予測する。フリッカ検出部142は、予測結果を表すフリッカ情報を、動き予測・補償部141に供給する。
[第2の符号化処理の概略の説明]
図24は、図23の符号化処理部100の符号化処理の概略を説明する図である。
図24は、図23の符号化処理部100の符号化処理の概略を説明する図である。
図24に示すように、図23の符号化処理部100の符号化処理では、図19の符号化処理部100の符号化処理と同様に、主カメラ画像と副カメラ画像それぞれのGOPの位相がずらされる。従って、GOPの先頭の副カメラ画像に対して、GOPの先頭ではないベース主カメラ画像を用いて視差方向の予測を行うことができる。
また、図23の符号化処理部100の符号化処理では、GOPの先頭の副カメラ画像においてフリッカの発生が予測される。そして、フリッカの発生が予測される場合、GOPの先頭の副カメラ画像より1つ前の副カメラ画像に対して、視差方向の予測が行われる。
以上により、GOPの先頭の副カメラ画像、および、その副カメラ画像より1つ前の副カメラ画像の両方において、視差方向の予測による歪みが発生するので、GOPの先頭の副カメラ画像におけるフリッカをより軽減することができる。なお、図示は省略するが、ノンベース主カメラ画像についても、副カメラ画像と同様である。
[第2の符号化部の処理の説明]
図23の符号化処理部100の符号化処理は、動き予測・補償処理を除いて図21および図22の符号化処理と同様であるので、動き予測・補償処理についてのみ説明する。
図23の符号化処理部100の符号化処理は、動き予測・補償処理を除いて図21および図22の符号化処理と同様であるので、動き予測・補償処理についてのみ説明する。
図25は、図23の符号化処理部100の動き予測・補償処理の詳細を説明するフローチャートである。
図25のステップS161において、フリッカ検出部142は、符号化対象の画像がノンベース主カメラ画像または副カメラ画像であるかどうかを判定する。ステップS161で符号化対象の画像がノンベース主カメラ画像または副カメラ画像であると判定された場合、フリッカ検出部142は、画面並べ替えバッファ112から供給される符号化対象の画像を保持する。
そして、ステップS162において、フリッカ検出部142は、符号化対象の画像がGOPの先頭のノンベース主カメラ画像または副カメラ画像であるかどうかを判定する。ステップS162で符号化対象の画像がGOPの先頭のノンベース主カメラ画像および副カメラ画像ではないと判定された場合、ステップS163において、フリッカ検出部142は、符号化対象の画像がGOPの終端のノンベース主カメラ画像または副カメラ画像であるかどうかを判定する。
ステップS163で符号化対象の画像がGOPの終端のノンベース主カメラ画像または副カメラ画像であると判定された場合、フリッカ検出部142は、画面並べ替えバッファ112から供給される符号化対象の画像を保持し、処理をステップS164に進める。
ステップS164において、フリッカ検出部142は、保持している符号化対象の画像と、その画像より1つ前の同一視点のノンベース主カメラ画像または副カメラ画像を用いて、符号化対象の画像より1つ後のGOPの先頭のノンベース主カメラ画像または副カメラ画像でフリッカが発生するかどうかを判定する。
ステップS164でフリッカが発生すると判定された場合、フリッカ検出部142は、フリッカの発生が予測されることを表すフリッカ情報を動き予測・補償部141に供給し、処理をステップS165に進める。
一方、ステップS162で符号化対象の画像がGOPの先頭のノンベース主カメラ画像または副カメラ画像であると判定された場合、処理はステップS165に進む。
ステップS165において、動き予測・補償部141は、フレームメモリ122から符号化対象の画像と同一時刻のベース主カメラ画像を参照画像として読み出し、処理をステップS169に進める。
一方、ステップS163で符号化対象の画像がGOPの終端のノンベース主カメラ画像または副カメラ画像ではないと判定された場合、即ち、符号化対象の画像がGOPの先頭および終端以外のノンベース主カメラ画像または副カメラ画像である場合、処理はステップS166に進む。
ステップS166において、動き予測・補償部141は、フレームメモリ122から符号化対象の画像と同一時刻のベース主カメラ画像および異なる時刻の同一視点のノンベース主カメラ画像または副カメラ画像を読み出し、処理をステップS169に進める。
また、ステップS161で符号化対象の画像がノンベース主カメラ画像または副カメラ画像ではないと判定された場合、即ち符号化対象の画像がベース主カメラ画像である場合、処理はステップS167に進む。ステップS167において、動き予測・補償部141は、符号化対象の画像がGOPの先頭のベース主カメラ画像であるかどうかを判定する。
ステップS167で符号化対象の画像がGOPの先頭のベース主カメラ画像ではないと判定された場合、即ち、符号化対象の画像がGOPの先頭以外のベース主カメラ画像である場合、処理はステップS168に進む。ステップS168において、動き予測・補償部141は、異なる時刻のベース主カメラ画像を参照画像として読み出し、処理をステップS169に進める。
ステップS169において、動き予測・補償部141は、画面並べ替えバッファ112から供給される符号化対象の画像と、フレームメモリ122から読み出される参照画像に基づいて、候補となる全てのインター予測モードの予測画像を生成する。このとき、動き予測・補償部141は、候補となる全てのインター予測モードに対してコスト関数値を算出する。
ステップS170において、動き予測・補償部141は、候補となる全てのインター予測モードに対するコスト関数値の最小値に対応するインター予測モードを最適インター予測モードに決定し、処理を終了する。
一方、ステップS167で符号化対象の画像がGOPの先頭のベース主カメラ画像であると判定された場合、処理は終了する。
なお、図23の符号化処理部100は、フリッカを軽減するように符号化処理を行ったが、通常の符号化処理を行い、フリッカ情報を復号装置に伝送するようにしてもよい。この場合、復号装置において、フリッカ情報に基づいてフリッカを軽減する処理が行われる。
また、図23の符号化処理部100は、マクロブロック単位でフリッカの発生を予測するようにしてもよい。この場合、図25のステップS164乃至S166の処理がマクロブロック単位で行われる。
さらに、図23の符号化処理部100は、各副カメラ画像を用いて各副カメラ画像のフリッカの発生を予測したが、主カメラ画像を用いて各副カメラ画像のフリッカの発生を予測してもよい。また、図23の符号化処理部100は、フリッカの発生を予測した場合、GOPの先頭のノンベース主カメラ画像または副カメラ画像より1つ前のノンベース主カメラ画像または副カメラ画像に対して、視差方向の予測を行ったが、GOPの先頭のノンベース主カメラ画像または副カメラ画像より前の複数のノンベース主カメラ画像または副カメラ画像に対して、視差方向の予測を行うようにしてもよい。
また、上述した図19や図23符号化処理部100では、主カメラ画像と副カメラ画像の解像度が同一であるものとしたが、主カメラ画像と副カメラ画像の解像度は異なるようにしてもよい。また、時間方向のインター予測のみを行う画像を可変にし、副カメラ画像を用いて主カメラ画像の両方のフリッカも軽減するようにしてもよい。
[本技術を適用したコンピュータの説明]
次に、上述した一連の少なくとも一部の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
次に、上述した一連の少なくとも一部の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図26は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部209やROM(Read Only Memory)202に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブルメディア212に格納(記録)しておくことができる。このようなリムーバブルメディア212は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア212としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブルメディア212からドライブ211を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部209にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)201を内蔵しており、CPU201には、バス204を介して、入出力インタフェース205が接続されている。
CPU201は、入出力インタフェース205を介して、ユーザによって、入力部207が操作等されることにより指令が入力されると、それに従って、ROM202に格納されているプログラムを実行する。あるいは、CPU201は、記憶部209に格納されたプログラムを、RAM(Random Access Memory)203にロードして実行する。
これにより、CPU201は、撮影部206により撮影された画像等に対する上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU201は、その処理結果を、必要に応じて、例えば、入出力インタフェース205を介して、出力部208から出力、あるいは、通信部210から送信、さらには、記憶部209に記録等させる。
なお、入力部207は、キーボードや、マウス、マイク等で構成される。また、出力部208は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は、以下のような構成もとることができる。
(1)
3D画像を構成する2視点の画像を撮影する2視点撮影部と、
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える
主の画像処理装置と、
前記送信部により送信された前記動作モードを受信する受信部と、
所定の1視点の画像を撮影する1視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記1視点撮影部を移動させる移動制御部と
を備える
副の画像処理装置と
を備える画像処理システム。
(2)
4個の前記副の画像処理装置を備え、
4個の前記副の画像処理装置の前記移動制御部は、前記所定の1視点が、それぞれ、前記2視点の一方の視点の上、下、他方の視点の上、下で上下方向に移動するように、前記副の画像処理装置を移動させる
前記(1)に記載の画像処理システム。
(3)
前記1視点撮影部により撮影された前記所定の1視点の画像に対して画像処理を行う1視点画像処理部と、
前記2視点撮影部により撮影された前記2視点の画像に対して画像処理を行う2視点画像処理部と
をさらに備え、
前記1視点画像処理部は、前記2視点画像処理部により検出された前記2視点の画像の動きボケ量に基づいて、前記所定の1視点の画像に対して動きボケ補償処理を行う
前記(1)または(2)に記載の画像処理システム。
(4)
前記1視点画像処理部は、動きボケ補償処理後の前記所定の1視点の画像に対してフレーム補間処理を行う
前記(3)に記載の画像処理システム。
(5)
前記2視点撮影部により撮影された前記2視点の画像に対して画像処理を行う2視点画像処理部
をさらに備え、
前記移動制御部は、前記第1視点撮影部が、前記2視点画像処理部による画像処理の結果検出された注目点を撮影可能な位置に移動させる
前記(1)または(2)に記載の画像処理システム。
(6)
2個以上の前記副の画像処理装置を備え、
2個の前記副の画像処理装置の前記移動制御部は、前記所定の1視点が、それぞれ、前記2視点のうちの左側の視点の左、右側の視点の右で左右方向に移動するように、前記副の画像処理装置を移動させる
前記(1)、(2)、または(5)に記載の画像処理システム。
(7)
前記主の画像処理装置は、
前記画像処理システムの撮影モードを決定する撮影モード決定部
をさらに備え、
前記2視点撮影部は、前記撮影モードに対応する撮影に関するパラメータの値に基づいて、前記2視点の画像を撮影し、
前記送信部は、前記動作モードと前記撮影モードを送信し、
前記受信部は、前記動作モードと前記撮影モードを受信し、
前記第1視点撮影部は、前記受信部により受信された前記撮影モードに対応する、前記2視点撮影部における値とは異なる、前記撮影に関するパラメータの値に基づいて、前記所定の1視点の画像を撮影する
前記(1)乃至(6)のいずれかに記載の画像処理システム。
(8)
前記2視点撮影部により撮影された前記2視点の画像と、前記1視点撮影部により撮影された前記所定の1視点の画像とを、前記2視点の画像と前記所定の1視点の画像のGOP(Group Of Pictures)の位相がずれるように符号化する符号化部
をさらに備える
前記(1)乃至(7)のいずれかに記載の画像処理システム。
(9)
前記1視点撮影部により撮影された前記所定の1視点の画像において、フリッカの発生を予測する予測部
をさらに備え、
前記符号化部は、前記予測部によりフリッカの発生が予測された場合、フリッカの発生が予測された画像に対応するGOPの先頭より前の所定数の画像に対するインター予測において、視差方向の予測を行う
前記(8)に記載の画像処理システム。
(10)
前記1視点撮影部により撮影された前記所定の1視点の画像に対して画像処理を行う1視点画像処理部
をさらに備え、
前記送信部は、さらに、前記第2視点撮影部により撮影された前記2視点の画像を送信し、
前記受信部は、さらに、前記送信部により送信された前記2視点の画像を受信し、
前記1視点画像処理部は、前記受信部により受信された前記2視点の画像に基づいて選択された方法で、前記所定の1視点の画像を高解像度化する
前記(1)、(2)、または(5)乃至(9)のいずれかに記載の画像処理システム。
(11)
前記1視点画像処理部は、前記2視点の画像および前記動作モードに基づいて選択された方法で、前記所定の1視点の画像を高解像度化する
前記(10)に記載の画像処理システム。
(12)
画像処理システムの3D画像を構成する2視点の画像を撮影する2視点撮影部を備える主の画像処理装置が、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含み、
所定の1視点の画像を撮影する1視点撮影部を備える副の画像処理装置が、
前記送信ステップの処理により送信された前記動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記1視点撮影部を移動させる移動制御ステップと
を含む
画像処理方法。
(13)
3D画像を構成する2視点の画像を撮影する2視点撮影部と、
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える画像処理装置。
(14)
画像処理装置が、
3D画像を構成する2視点の画像を撮影する2視点撮影ステップと、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含む画像処理方法。
(15)
動作モードを受信する受信部と、
所定の1視点の画像を撮影する1視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記1視点撮影部を移動させる移動制御部と
を備える画像処理装置。
(16)
所定の1視点の画像を撮影する1視点撮影部を備える画像処理装置が、
動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記1視点撮影部を移動させる移動制御ステップと
を含む画像処理方法。
(1)
3D画像を構成する2視点の画像を撮影する2視点撮影部と、
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える
主の画像処理装置と、
前記送信部により送信された前記動作モードを受信する受信部と、
所定の1視点の画像を撮影する1視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記1視点撮影部を移動させる移動制御部と
を備える
副の画像処理装置と
を備える画像処理システム。
(2)
4個の前記副の画像処理装置を備え、
4個の前記副の画像処理装置の前記移動制御部は、前記所定の1視点が、それぞれ、前記2視点の一方の視点の上、下、他方の視点の上、下で上下方向に移動するように、前記副の画像処理装置を移動させる
前記(1)に記載の画像処理システム。
(3)
前記1視点撮影部により撮影された前記所定の1視点の画像に対して画像処理を行う1視点画像処理部と、
前記2視点撮影部により撮影された前記2視点の画像に対して画像処理を行う2視点画像処理部と
をさらに備え、
前記1視点画像処理部は、前記2視点画像処理部により検出された前記2視点の画像の動きボケ量に基づいて、前記所定の1視点の画像に対して動きボケ補償処理を行う
前記(1)または(2)に記載の画像処理システム。
(4)
前記1視点画像処理部は、動きボケ補償処理後の前記所定の1視点の画像に対してフレーム補間処理を行う
前記(3)に記載の画像処理システム。
(5)
前記2視点撮影部により撮影された前記2視点の画像に対して画像処理を行う2視点画像処理部
をさらに備え、
前記移動制御部は、前記第1視点撮影部が、前記2視点画像処理部による画像処理の結果検出された注目点を撮影可能な位置に移動させる
前記(1)または(2)に記載の画像処理システム。
(6)
2個以上の前記副の画像処理装置を備え、
2個の前記副の画像処理装置の前記移動制御部は、前記所定の1視点が、それぞれ、前記2視点のうちの左側の視点の左、右側の視点の右で左右方向に移動するように、前記副の画像処理装置を移動させる
前記(1)、(2)、または(5)に記載の画像処理システム。
(7)
前記主の画像処理装置は、
前記画像処理システムの撮影モードを決定する撮影モード決定部
をさらに備え、
前記2視点撮影部は、前記撮影モードに対応する撮影に関するパラメータの値に基づいて、前記2視点の画像を撮影し、
前記送信部は、前記動作モードと前記撮影モードを送信し、
前記受信部は、前記動作モードと前記撮影モードを受信し、
前記第1視点撮影部は、前記受信部により受信された前記撮影モードに対応する、前記2視点撮影部における値とは異なる、前記撮影に関するパラメータの値に基づいて、前記所定の1視点の画像を撮影する
前記(1)乃至(6)のいずれかに記載の画像処理システム。
(8)
前記2視点撮影部により撮影された前記2視点の画像と、前記1視点撮影部により撮影された前記所定の1視点の画像とを、前記2視点の画像と前記所定の1視点の画像のGOP(Group Of Pictures)の位相がずれるように符号化する符号化部
をさらに備える
前記(1)乃至(7)のいずれかに記載の画像処理システム。
(9)
前記1視点撮影部により撮影された前記所定の1視点の画像において、フリッカの発生を予測する予測部
をさらに備え、
前記符号化部は、前記予測部によりフリッカの発生が予測された場合、フリッカの発生が予測された画像に対応するGOPの先頭より前の所定数の画像に対するインター予測において、視差方向の予測を行う
前記(8)に記載の画像処理システム。
(10)
前記1視点撮影部により撮影された前記所定の1視点の画像に対して画像処理を行う1視点画像処理部
をさらに備え、
前記送信部は、さらに、前記第2視点撮影部により撮影された前記2視点の画像を送信し、
前記受信部は、さらに、前記送信部により送信された前記2視点の画像を受信し、
前記1視点画像処理部は、前記受信部により受信された前記2視点の画像に基づいて選択された方法で、前記所定の1視点の画像を高解像度化する
前記(1)、(2)、または(5)乃至(9)のいずれかに記載の画像処理システム。
(11)
前記1視点画像処理部は、前記2視点の画像および前記動作モードに基づいて選択された方法で、前記所定の1視点の画像を高解像度化する
前記(10)に記載の画像処理システム。
(12)
画像処理システムの3D画像を構成する2視点の画像を撮影する2視点撮影部を備える主の画像処理装置が、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含み、
所定の1視点の画像を撮影する1視点撮影部を備える副の画像処理装置が、
前記送信ステップの処理により送信された前記動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記1視点撮影部を移動させる移動制御ステップと
を含む
画像処理方法。
(13)
3D画像を構成する2視点の画像を撮影する2視点撮影部と、
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える画像処理装置。
(14)
画像処理装置が、
3D画像を構成する2視点の画像を撮影する2視点撮影ステップと、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含む画像処理方法。
(15)
動作モードを受信する受信部と、
所定の1視点の画像を撮影する1視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記1視点撮影部を移動させる移動制御部と
を備える画像処理装置。
(16)
所定の1視点の画像を撮影する1視点撮影部を備える画像処理装置が、
動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記1視点撮影部を移動させる移動制御ステップと
を含む画像処理方法。
10 画像処理システム, 11 主カメラ装置, 12 副カメラ装置, 22 動作モード決定部, 23 送信部, 24 撮影モード決定部, 25 撮影部, 26 画像処理部, 41 撮影部, 43 受信部, 44 移動制御部, 45 画像処理部, 62 動きボケ補償部, 63 補間部, 80 解像度補間処理部, 82乃至84 高解像度化部, 100 符号化処理部, 142 フリッカ検出部
Claims (16)
- 3D画像を構成する2視点の画像を撮影する2視点撮影部と、
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える
主の画像処理装置と、
前記送信部により送信された前記動作モードを受信する受信部と、
所定の1視点の画像を撮影する1視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記1視点撮影部を移動させる移動制御部と
を備える
副の画像処理装置と
を備える画像処理システム。 - 4個の前記副の画像処理装置を備え、
4個の前記副の画像処理装置の前記移動制御部は、前記所定の1視点が、それぞれ、前記2視点の一方の視点の上、下、他方の視点の上、下で上下方向に移動するように、前記副の画像処理装置を移動させる
請求項1に記載の画像処理システム。 - 前記1視点撮影部により撮影された前記所定の1視点の画像に対して画像処理を行う1視点画像処理部と、
前記2視点撮影部により撮影された前記2視点の画像に対して画像処理を行う2視点画像処理部と
をさらに備え、
前記1視点画像処理部は、前記2視点画像処理部により検出された前記2視点の画像の動きボケ量に基づいて、前記所定の1視点の画像に対して動きボケ補償処理を行う
請求項1に記載の画像処理システム。 - 前記1視点画像処理部は、動きボケ補償処理後の前記所定の1視点の画像に対してフレーム補間処理を行う
請求項3に記載の画像処理システム。 - 前記2視点撮影部により撮影された前記2視点の画像に対して画像処理を行う2視点画像処理部
をさらに備え、
前記移動制御部は、前記第1視点撮影部が、前記2視点画像処理部による画像処理の結果検出された注目点を撮影可能な位置に移動させる
請求項1に記載の画像処理システム。 - 2個以上の前記副の画像処理装置を備え、
2個の前記副の画像処理装置の前記移動制御部は、前記所定の1視点が、それぞれ、前記2視点のうちの左側の視点の左、右側の視点の右で左右方向に移動するように、前記副の画像処理装置を移動させる
請求項1に記載の画像処理システム。 - 前記主の画像処理装置は、
前記画像処理システムの撮影モードを決定する撮影モード決定部
をさらに備え、
前記2視点撮影部は、前記撮影モードに対応する撮影に関するパラメータの値に基づいて、前記2視点の画像を撮影し、
前記送信部は、前記動作モードと前記撮影モードを送信し、
前記受信部は、前記動作モードと前記撮影モードを受信し、
前記第1視点撮影部は、前記受信部により受信された前記撮影モードに対応する、前記2視点撮影部における値とは異なる、前記撮影に関するパラメータの値に基づいて、前記所定の1視点の画像を撮影する
請求項1に記載の画像処理システム。 - 前記2視点撮影部により撮影された前記2視点の画像と、前記1視点撮影部により撮影された前記所定の1視点の画像とを、前記2視点の画像と前記所定の1視点の画像のGOP(Group Of Pictures)の位相がずれるように符号化する符号化部
をさらに備える
請求項1に記載の画像処理システム。 - 前記1視点撮影部により撮影された前記所定の1視点の画像におけるフリッカの発生を予測する予測部
をさらに備え、
前記符号化部は、前記予測部によりフリッカの発生が予測された場合、フリッカの発生が予測された画像に対応するGOPの先頭より前の所定数の画像に対するインター予測において、視差方向の予測を行う
請求項8に記載の画像処理システム。 - 前記1視点撮影部により撮影された前記所定の1視点の画像に対して画像処理を行う1視点画像処理部
をさらに備え、
前記送信部は、さらに、前記第2視点撮影部により撮影された前記2視点の画像を送信し、
前記受信部は、さらに、前記送信部により送信された前記2視点の画像を受信し、
前記1視点画像処理部は、前記受信部により受信された前記2視点の画像に基づいて選択された方法で、前記所定の1視点の画像を高解像度化する
請求項1に記載の画像処理システム。 - 前記1視点画像処理部は、前記2視点の画像および前記動作モードに基づいて選択された方法で、前記所定の1視点の画像を高解像度化する
請求項10に記載の画像処理システム。 - 画像処理システムの3D画像を構成する2視点の画像を撮影する2視点撮影部を備える主の画像処理装置が、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含み、
所定の1視点の画像を撮影する1視点撮影部を備える副の画像処理装置が、
前記送信ステップの処理により送信された前記動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記1視点撮影部を移動させる移動制御ステップと
を含む
画像処理方法。 - 3D画像を構成する2視点の画像を撮影する2視点撮影部と、
動作モードを決定する動作モード決定部と、
前記動作モード決定部により決定された前記動作モードを送信する送信部と
を備える画像処理装置。 - 画像処理装置が、
3D画像を構成する2視点の画像を撮影する2視点撮影ステップと、
動作モードを決定する動作モード決定ステップと、
前記動作モード決定ステップの処理により決定された前記動作モードを送信する送信ステップと
を含む画像処理方法。 - 動作モードを受信する受信部と、
所定の1視点の画像を撮影する1視点撮影部と、
前記受信部により受信された前記動作モードに応じて前記1視点撮影部を移動させる移動制御部と
を備える画像処理装置。 - 所定の1視点の画像を撮影する1視点撮影部を備える画像処理装置が、
動作モードを受信する受信ステップと、
前記受信ステップの処理により受信された前記動作モードに応じて前記1視点撮影部を移動させる移動制御ステップと
を含む画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011076190A JP2012212952A (ja) | 2011-03-30 | 2011-03-30 | 画像処理システム、画像処理装置、および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011076190A JP2012212952A (ja) | 2011-03-30 | 2011-03-30 | 画像処理システム、画像処理装置、および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012212952A true JP2012212952A (ja) | 2012-11-01 |
Family
ID=47266594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011076190A Withdrawn JP2012212952A (ja) | 2011-03-30 | 2011-03-30 | 画像処理システム、画像処理装置、および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012212952A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018097731A (ja) * | 2016-12-15 | 2018-06-21 | 株式会社Fuji | 画像処理システム及び画像処理方法 |
-
2011
- 2011-03-30 JP JP2011076190A patent/JP2012212952A/ja not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018097731A (ja) * | 2016-12-15 | 2018-06-21 | 株式会社Fuji | 画像処理システム及び画像処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10412413B2 (en) | Image processing device and image processing method | |
JP6687015B2 (ja) | 画像処理装置および画像処理方法 | |
WO2016140083A1 (ja) | 画像処理装置および画像処理方法 | |
US11758179B2 (en) | Image encoding method, image encoding device, image decoding method, and image decoding device | |
JP7303894B2 (ja) | エンコーダ、デコーダ、及び対応するインター予測方法 | |
JP7279154B2 (ja) | アフィン動きモデルに基づく動きベクトル予測方法および装置 | |
KR20130053452A (ko) | 3 차원 이미지들에 대한 디스패리티 계산 | |
JP2012257198A (ja) | 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置 | |
JP6648753B2 (ja) | 画像符号化装置および方法 | |
JP6307152B2 (ja) | 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム | |
JP2013078097A (ja) | 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム | |
WO2012042895A1 (ja) | 立体映像符号化装置、立体映像撮影装置、および立体映像符号化方法 | |
JP4944046B2 (ja) | 映像符号化方法,復号方法,符号化装置,復号装置,それらのプログラムおよびコンピュータ読み取り可能な記録媒体 | |
JP5869839B2 (ja) | 画像処理装置およびその制御方法 | |
JP2012212952A (ja) | 画像処理システム、画像処理装置、および画像処理方法 | |
JP2013258577A (ja) | 撮像装置、撮像方法及びプログラム、画像符号化装置、画像符号化方法及びプログラム | |
JP2014241507A (ja) | 画像処理装置および方法、プログラム、並びに撮像装置 | |
JP5815326B2 (ja) | 動画像復号装置及び画像表示装置 | |
JP7417388B2 (ja) | 符号化装置、復号装置、及びプログラム | |
JP2012178818A (ja) | 映像符号化装置および映像符号化方法 | |
JP6232117B2 (ja) | 画像符号化方法、画像復号方法、及び記録媒体 | |
JP2017060008A (ja) | 多視点画像符号化装置、多視点画像符号化方法およびプログラム | |
JP5750191B2 (ja) | 画像復号化方法 | |
JP2019087827A (ja) | 符号化装置、画像処理装置及び画像処理方法 | |
JP2015186052A (ja) | 立体映像符号化装置及び立体映像符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140603 |