JP2011071662A - 三次元画像処理装置及び三次元画像処理方法 - Google Patents

三次元画像処理装置及び三次元画像処理方法 Download PDF

Info

Publication number
JP2011071662A
JP2011071662A JP2009219794A JP2009219794A JP2011071662A JP 2011071662 A JP2011071662 A JP 2011071662A JP 2009219794 A JP2009219794 A JP 2009219794A JP 2009219794 A JP2009219794 A JP 2009219794A JP 2011071662 A JP2011071662 A JP 2011071662A
Authority
JP
Japan
Prior art keywords
input image
image
image data
dimensional image
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009219794A
Other languages
English (en)
Inventor
Yuji Sekiguchi
裕二 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2009219794A priority Critical patent/JP2011071662A/ja
Publication of JP2011071662A publication Critical patent/JP2011071662A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】三次元画像に対応するとともに、回路の複雑化を低減する。
【解決手段】本発明に係る三次元画像処理装置100は、処理単位を示す変換垂直同期信号157を生成する同期信号変換部110と、変換垂直同期信号157で示される処理単位で予め定められた処理単位数の時間分、入力画像データ151を遅延させることにより遅延画像データ158を生成する遅延部120と、変換垂直同期信号157で示される処理単位で、入力画像データ151と遅延画像データ158との相関を用いて、入力画像データ151の特性を検出する動き検出部130とを備える。同期信号変換部110は、入力画像データ151が二次元画像データである場合、第1処理単位を示す変換垂直同期信号157を生成し、入力画像データ151が互いに視差を有するn個のサブ画像を含む三次元画像である場合、第1処理単位のn倍の第2処理単位を示す変換垂直同期信号157を生成する。
【選択図】図1

Description

本発明は、三次元画像処理装置及び三次元画像処理方法に関し、特に、互いに視差を有する複数のサブ画像を含む三次元画像の特性を検出する三次元画像処理装置に関する。
視聴者が立体的に感じる二次元画像である三次元画像を表示する三次元画像表示装置が知られている(例えば、特許文献1参照)。また、近年では、このような三次元画像を表示する機能を有する家庭用テレビが実現されつつある。
この三次元画像表示装置は、互いに視差を有する右眼用の画像と左眼用の画像とを表示することにより、視聴者が立体的に感じる画像を表示する。例えば、三次元画像表示装置は、右眼用の画像と左眼用の画像とを1フレームごとに交互に表示する。
一方、従来の二次元画像表示装置では、二次元画像の動きを検出する等の現在のフレームと過去のフレームとの相関を用いた処理が行われている。
特開平8−70475号公報
しかしながら、二次元画像と、三次元画像とでは、このような動き検出の方法が異なる。例えば、二次元画像と三次元画像とでは、動き検出の際に相関を算出するフレームが異なる。
これにより、動き検出を行う動き検出回路は、二次元画像及び三次元画像に対して、それぞれ異なる処理を行う必要が生じる。つまり、三次元画像の動き検出に対応しようとした場合、動き検出回路の変更が必要になる。これにより、回路が複雑になるという課題がある。
そこで、本発明は、三次元画像に対応するとともに、回路の複雑化を低減できる三次元画像処理装置及び三次元画像処理方法を提供することを目的とする。
上記目的を達成するために、本発明に係る三次元画像処理装置は、互いに視差を有するn(nは2以上の整数)個のサブ画像を含む三次元画像の特性を検出する三次元画像処理装置であって、処理単位を示す第1信号を生成する処理単位制御部と、前記第1信号で示される処理単位で予め定められた処理単位数の時間分、入力画像を遅延させることにより遅延画像を生成する遅延部と、前記第1信号で示される処理単位で、前記入力画像と前記遅延画像との相関を算出し、算出した前記相関を用いて、前記入力画像の特性を検出する検出部とを備え、前記処理単位制御部は、前記入力画像が二次元画像である場合、第1処理単位を示す前記第1信号を生成し、前記入力画像が前記三次元画像である場合、前記第1処理単位のn倍の第2処理単位を示す前記第1信号を生成する。
この構成によれば、本発明に係る三次元画像処理装置では、遅延部及び検出部は、入力画像が二次元画像であるか三次元画像であるかによらず、いずれの場合でも第1信号で示される処理単位で処理を行うことができる。これにより、本発明に係る三次元画像処理装置では、遅延部及び検出部に、二次元画像のみに対応した従来の三次元画像処理装置に用いられていた回路をそのまま用いることができる。
このように、本発明に係る三次元画像処理装置は、三次元画像に対応するとともに、回路の複雑化を低減できる。
また、前記三次元画像において、前記n個のサブ画像は予め定められた順でそれぞれ別ピクチャに含まれ、前記処理単位制御部は、入力画像が二次元画像である場合、前記第1処理単位として1ピクチャ単位を示す前記第1信号を出力し、前記入力画像が前記三次元画像である場合、前記第2処理単位としてnピクチャ単位を示す前記第1信号を生成してもよい。
この構成によれば、本発明に係る三次元画像処理装置は、ピクチャ間の相関を用いた処理に対して、三次元画像に対応するとともに、回路の複雑化を低減できる。
また、前記処理単位制御部は、前記入力画像が二次元画像である場合、前記入力画像の転送に同期し、当該入力画像の1ピクチャが転送される期間を示す垂直同期信号を前記第1信号とし、前記入力画像が三次元画像である場合、前記垂直同期信号により示される、当該入力画像の1ピクチャが転送される期間をn倍することにより前記第1信号を生成してもよい。
この構成によれば、本発明に係る三次元画像処理装置は、入力画像が二次元画像である場合には、従来の画像処理装置で用いられていた垂直同期信号をそのまま遅延部及び検出部に出力する。これにより、遅延部及び検出部は、従来と同様の動作により二次元画像に対して処理を行える。また、本発明に係る三次元画像処理装置は、入力画像が三次元画像である場合には、従来の画像処理装置で用いられていた垂直同期信号を変換することにより、第1信号を生成する。これにより、本発明に係る三次元画像処理装置は、垂直同期信号を変換するという容易な処理のみを従来の画像処理装置に追加するだけで、三次元画像に対応できる。
また、前記入力画像がプログレッシブ方式である場合、前記遅延部は、前記第1信号で示される処理単位で1処理単位の時間分、前記入力画像を遅延させることにより前記遅延画像を生成してもよい。
この構成によれば、本発明に係る三次元画像処理装置は、プログレッシブ方式の三次元画像に対応するとともに、回路の複雑化を低減できる。
また、前記入力画像がインタレース方式である場合、前記遅延部は、前記第1信号で示される処理単位で2処理単位の時間分、前記入力画像を遅延させることにより前記遅延画像を生成してもよい。
この構成によれば、インタレース方式の三次元画像に対応するとともに、回路の複雑化を低減できる。
また、前記検出部は、前記第1信号で示される処理単位で、前記入力画像と前記遅延画像との相関を算出し、算出した前記相関を用いて、前記入力画像の特性として、前記入力画像のピクチャ間の動きを検出してもよい。
この構成によれば、本発明に係る三次元画像処理装置は、ピクチャ間の動き検出処理に対して、三次元画像に対応するとともに、回路の複雑化を低減できる。
また、前記三次元画像において、前記n個のサブ画像は予め定められた順でそれぞれ各ピクチャの別ラインに含まれ、前記処理単位制御部は、入力画像が二次元画像である場合、前記第1処理単位として1ライン単位を示す前記第1信号を出力し、前記入力画像が前記三次元画像である場合、前記第2処理単位としてnライン単位を示す前記第1信号を生成してもよい。
この構成によれば、本発明に係る三次元画像処理装置は、ライン間(垂直方向)の相関を用いた処理に対して、三次元画像に対応するとともに、回路の複雑化を低減できる。
また、前記処理単位制御部は、前記入力画像が二次元画像である場合、前記入力画像の転送に同期し、当該入力画像の1ラインが転送される期間を示す水平同期信号を前記第1信号とし、前記入力画像が三次元画像である場合、前記水平同期信号により示される、当該入力画像の1ラインが転送される期間をn倍することにより前記第1信号を生成してもよい。
この構成によれば、本発明に係る三次元画像処理装置は、入力画像が二次元画像である場合には、従来の画像処理装置で用いられていた水平同期信号をそのまま遅延部及び検出部に出力する。これにより、遅延部及び検出部は、従来と同様の動作により二次元画像に対して処理を行える。また、本発明に係る三次元画像処理装置は、入力画像が三次元画像である場合には、従来の画像処理装置で用いられていた水平同期信号を変換することにより、第1信号を生成する。これにより、本発明に係る三次元画像処理装置は、水平同期信号を変換するという容易な処理のみを従来の画像処理装置に追加するだけで、三次元画像に対応できる。
また、前記検出部は、前記第1信号で示される処理単位で、前記入力画像と前記遅延画像との相関を算出し、算出した前記相関を用いて、前記入力画像の特性として、前記入力画像のピクチャ内の動きを検出してもよい。
この構成によれば、本発明に係る三次元画像処理装置は、画面内の動き検出処理に対して、三次元画像に対応するとともに、回路の複雑化を低減できる。
また、前記検出部は、前記入力画像が前記三次元画像である場合、前記第2処理単位の前記入力画像に含まれるn個の前記第1処理単位の入力画像のそれぞれと、前記第2処理単位の前記遅延画像に含まれるn個の前記第1処理単位の遅延画像のうち、当該第1処理単位の入力画像に対応する前記第1処理単位の遅延画像のみとの相関を用いて、前記入力画像の特性を検出してもよい。
この構成によれば、本発明に係る三次元画像処理装置は、1処理単位の画像に複数の異なるサブ画像が含まれる場合でも、検出処理の精度を維持できる。
なお、本発明は、このような三次元画像処理装置として実現できるだけでなく、三次元画像処理装置に含まれる特徴的な手段をステップとする三次元画像処理装置の制御方法、又は三次元画像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
さらに、本発明は、このような三次元画像処理装置の機能の一部又は全てを実現する半導体集積回路(LSI)として実現したり、このような三次元画像処理装置を備えるデジタルテレビ等の三次元画像表示装置として実現したり、このような三次元画像表示装置を含む三次元画像表示システムとして実現したりできる。
以上より、本発明は、三次元画像に対応するとともに、回路の複雑化を低減できる三次元画像処理装置及び三次元画像処理方法を提供できる。
本発明の実施の形態1に係る三次元画像処理装置の構成を示すブロック図である。 本発明の実施の形態1に係る三次元画像処理装置における制御信号の一例を示すタイミングチャートである。 本発明の実施の形態1に係る三次元画像処理装置による処理の流れを示すフローチャートである。 本発明の実施の形態1に係る、二次元画像データに対する遅延部の処理を示す図である。 本発明の実施の形態1に係る動き検出処理を示す図である。 本発明の実施の形態1に係る三次元画像データの構成例を示す図である。 本発明の実施の形態1に係る左眼用画像及び右眼用画像の一例を示す図である。 本発明の実施の形態1に係る、三次元画像データに対する遅延部の処理を示す図である。 本発明の実施の形態1に係る、三次元画像データに対する遅延部の処理を示す図である。 本発明の実施の形態1に係る変換前フレームと変換後フレームとの関係を示す図である。 本発明の実施の形態1に係る変換前及び変換後の入力画像データのイメージを示す図である。 本発明の実施の形態2に係る三次元画像処理装置の構成を示すブロック図である。 本発明の実施の形態2に係るIP変換処理を示す図である。 本発明の実施の形態2に係る、二次元画像データに対する遅延部の処理を示す図である。 本発明の実施の形態2に係る三次元画像データの構成例を示す図である。 本発明の実施の形態2に係る、三次元画像データに対する遅延部の処理を示す図である。 本発明の実施の形態2に係る、三次元画像データに対する遅延部の処理を示す図である。 本発明の実施の形態2に係る変換前フィールドと変換後フィールドとの関係を示す図である。 本発明の実施の形態2に係る変換前及び変換後の入力画像データのイメージを示す図である。 本発明の実施の形態3に係る三次元画像処理装置の構成を示すブロック図である。 本発明の実施の形態3に係る、二次元画像データに対する遅延部の処理を示す図である。 本発明の実施の形態3に係る三次元画像データの構成例を示す図である。 本発明の実施の形態3に係る、三次元画像データに対する遅延部の処理を示す図である。 本発明の実施の形態3に係る、三次元画像データに対する遅延部の処理を示す図である。 本発明の実施の形態3に係る変換前ラインと変換後ラインとの関係を示す図である。 本発明の実施の形態3に係る変換前及び変換後の入力画像データのイメージを示す図である。 本発明の実施の形態4に係る三次元画像表示システムの構成を示すブロック図である。
以下、本発明に係る三次元画像処理装置の実施の形態について、図面を参照しながら詳細に説明する。
(実施の形態1)
本発明の実施の形態1に係る三次元画像処理装置は、入力画像データが三次元画像データである場合、垂直同期信号で示される1フレーム期間を2倍にする。これにより、遅延部及び検出部は、入力画像データが二次元画像データであるか三次元画像データであるかによらず、いずれの場合でも変換後の垂直同期信号で示される処理単位で処理を行うことができる。これにより、本発明の実施の形態1に係る三次元画像処理装置は、三次元画像に対応するとともに、回路の複雑化を低減できる。
まず、本発明の実施の形態1に係る三次元画像処理装置の構成を説明する。
図1は、本発明の実施の形態1に係る三次元画像処理装置100の構成を示す図である。
図1に示す三次元画像処理装置100は、入力画像データ151の動きを検出し、当該検出の結果を示す動き検出結果159を出力する。この三次元画像処理装置100は、同期信号変換部110と、遅延部120と、動き検出部130と、制御信号生成部131とを備える。
また、三次元画像処理装置100には、入力画像データ151と、垂直同期信号152と、水平同期信号153と、三次元画像判定信号156とが入力される。
入力画像データ151は、時間的に連続した複数のピクチャ(フレーム又はフィールド)を含む映像データである。この入力画像データ151は、二次元画像データ、又は、三次元画像データである。
垂直同期信号152は、入力画像データの転送に同期し、当該入力画像データに含まれる1ピクチャのデータが転送される期間を示す信号である。具体的には、垂直同期信号152は、1ピクチャのデータの転送開始時にハイレベルとなる。
水平同期信号153は、入力画像データの転送に同期し、当該入力画像データの各ピクチャに含まれる1ラインのデータが転送される期間を示す信号である。具体的には、水平同期信号153は、1ラインのデータの転送開始時にハイレベルとなる。
三次元画像判定信号156は、入力画像データ151が、二次元画像データであるか、三次元画像データであるかを示す信号である。
同期信号変換部110は、本発明の処理単位制御部に相当する。この同期信号変換部110は、遅延部120及び動き検出部130の処理単位を制御する。具体的には、同期信号変換部110は、遅延部120及び動き検出部130の処理単位を示す変換垂直同期信号157(本発明の第1信号に相当)を生成する。
この同期信号変換部110は、入力画像データ151が三次元画像データである場合、遅延部120及び動き検出部130における処理単位を、2フレーム単位にする。具体的には、同期信号変換部110は、垂直同期信号152により示される、入力画像データ151の1フレームが転送される期間を2倍することにより変換垂直同期信号157を生成する。
また、同期信号変換部110は、入力画像データ151が二次元画像データである場合、遅延部120及び動き検出部130における処理単位を、1フレーム単位にする。具体的には、同期信号変換部110は、垂直同期信号152をそのまま変換垂直同期信号157として出力する。
なお、以降において、垂直同期信号152で示されるフレームを変換前フレームと記し、変換垂直同期信号157で示されるフレームを変換後フレームと記す。
遅延部120は、変換垂直同期信号157で示される処理単位(変換後フレーム単位)で1変換後フレーム分の時間、入力画像データ151を遅延させることにより遅延画像データ158を生成する。
つまり、遅延部120は、入力画像データ151が二次元画像データである場合、入力画像データ151に含まれる各変換後フレーム(1変換前フレーム)を1変換前フレームの時間分、遅延させる。また、遅延部120は、入力画像データ151が三次元画像データである場合、入力画像データ151に含まれる各変換後フレーム(2変換前フレーム)を2変換前フレームの時間分、遅延させる。
この遅延部120は、メモリ122と、メモリコントローラ121とを備える。
メモリ122は、入力画像データ151を保持するフレームメモリ(フィールドメモリ)である。メモリコントローラ121は、メモリ122へ入力画像データ151を格納するとともに、メモリ122に格納されている入力画像データ151を遅延画像データ158として、動き検出部130へ出力させる。
動き検出部130は、同期信号変換部110で決定された処理単位(変換後フレーム単位)の入力画像データ151と遅延画像データ158との相関を算出し、算出した相関を用いて、入力画像データ151の動きを検出する。つまり、入力画像データ151が二次元画像データである場合、動き検出部130は、1変換前フレーム単位の入力画像データ151と遅延画像データ158とを用いて、1変換前フレーム単位の入力画像データ151の動きを検出する。また、入力画像データ151が三次元画像データである場合、動き検出部130は、2変換前フレーム単位の入力画像データ151と遅延画像データ158とを用いて、2変換前フレーム単位の入力画像データ151の動きを検出する。
具体的には、動き検出部130は、変換垂直同期信号157を用いて、同期信号変換部110で決定された処理単位の処理を行う。つまり、動き検出部130は、変換垂直同期信号157で示される1変換後フレームを処理単位として処理を行う。
制御信号生成部131は、垂直同期信号152を用いて垂直アクティブ信号154を生成する。この垂直アクティブ信号154は、垂直方向の有効な入力画像データ151の領域を示す信号である。具体的には、垂直アクティブ信号154がハイレベルの期間が有効なラインを示す。
より具体的には、制御信号生成部131は、垂直同期信号152がハイレベルになってからライン数をカウントする。そして、制御信号生成部131は、指定されたライン数分をカウントした後、垂直アクティブ信号154をハイレベルにする。また、制御信号生成部131は、垂直アクティブ信号154をハイレベルにした後、有効ライン数分をカウントし、その後、垂直アクティブ信号154をローレベルにする。
また、制御信号生成部131は、水平同期信号153を用いて水平アクティブ信号155を生成する。この水平アクティブ信号155は、水平方向の有効な入力画像データ151の領域を示す信号である。具体的には、水平アクティブ信号155がハイレベルの期間が有効な画素を示す。
より具体的には、制御信号生成部131は、水平同期信号153がハイレベルになってから画素数をカウントする。そして、制御信号生成部131は、指定された画素数分をカウントした後、水平アクティブ信号155をハイレベルにする。また、制御信号生成部131は、水平アクティブ信号155をハイレベルにした後、有効画素数分をカウントした後、水平アクティブ信号155をローレベルにする。
図2は、垂直同期信号152、水平同期信号153、垂直アクティブ信号154及び水平アクティブ信号155の一例を示す図である。
図2に示すように、垂直アクティブ信号154及び水平アクティブ信号155が共にハイレベルになる期間が、入力画像データ151の有効領域を示す。
また、制御信号生成部131は、垂直アクティブ信号154及び水平アクティブ信号155を、動き検出部130、メモリコントローラ121、及びNR処理部140に出力する。
動き検出部130は、垂直アクティブ信号154及び水平アクティブ信号155で示される入力画像データ151の有効領域に対して、動き検出処理を行う。また、メモリコントローラ121は、垂直アクティブ信号154及び水平アクティブ信号155で示される入力画像データ151の有効領域をメモリ122に格納する。
NR(ノイズリダクション)処理部140は、動き検出結果159に応じて、入力画像データ151に、ノイズを除去するNR処理を行うことにより、出力画像データ160を生成する。例えば、NR処理部140は、動き検出結果159により動きがないことが示される場合にはNR処理を行い、動き検出結果159により動きがあることが示される場合にはNR処理を行わない。なお、NR処理部140は、動き検出結果159に応じて、NR処理の強さ等を変更してもよい。
また、NR処理部140は、垂直アクティブ信号154及び水平アクティブ信号155で示される入力画像データ151の有効領域に対して、NR処理を行う。
次に、本発明の実施の形態1に係る三次元画像処理装置100の動作を説明する。
図3は、三次元画像処理装置100の動作の流れを示すフローチャートである。
まず、入力画像データ151が二次元画像データである場合の三次元画像処理装置100の動作を説明する。
入力画像データ151が二次元画像データである場合(S101でNo)、同期信号変換部110は、垂直同期信号152をそのまま変換垂直同期信号157として出力する。つまり、変換前フレームと変換後フレームとは等しい。
次に、遅延部120は、入力画像データ151に含まれる各変換後フレーム(各変換前フレーム)を1変換後フレーム(1変換前フレーム)の時間分、遅延させた遅延画像データ158を生成する(S103)。
図4は、入力画像データ151が二次元画像データである場合の遅延部120の処理を示す図である。
図4に示すように、遅延部120は、入力画像データ151に含まれる各変換前フレームを1変換前フレームの時間分、遅延させた遅延画像データ158を生成する。
次に、動き検出部130は、1変換後フレームの入力画像データ151と遅延画像データ158との相関を用いて、入力画像データ151の動きを検出する(S104)。
図5は、動き検出部130による動き検出処理を示す図である。
図5に示すように、動き検出部130は、入力画像データ151の変換後フレームと、遅延画像データ158の変換後フレームとの、空間的に同じ位置の画素(又はブロック)の差分を算出する。また、動き検出部130は、この差分が予め定められた閾値以上の場合、現在のフレームに動きがあると判定し、この差分が上記閾値未満の場合、現在のフレームに動きがないと判定する。なお、動き検出部130は、この動き検出を、変換後フレーム単位で行ってもよいし、変換後フレームに含まれるブロック単位で行ってもよい。
また、動き検出部130は、動き検出結果159をNR処理部140に出力する。
NR処理部140は、動き検出結果159に応じて、変換後フレーム単位(1変換前フレーム単位)で入力画像データ151にNR処理を行うことにより、出力画像データ160を生成する。
次に、入力画像データ151が三次元画像データである場合の三次元画像処理装置100の動作を説明する。
図6は、三次元画像データの一例を示す図である。図6に示すように、三次元画像データは、交互に配置される、左眼用画像170lのみを含む複数の変換前フレームと右眼用画像170rのみを含む複数の変換前フレームとを含む。
図7は、左眼用画像170l及び右眼用画像170rの一例を示す図である。
図7に示すように、左眼用画像170lと右眼用画像170rとに含まれるオブジェクトは、撮影位置からオブジェクトの距離に応じた視差を有する。
このように、左眼用画像170lと右眼用画像170rとは異なる画像なので、三次元画像に対しては、左眼用画像170lと右眼用画像170rとで独立に動き検出を行う必要がある。つまり、動き検出部130は、ある左眼用画像170lに対しては、直前の左眼用画像170lを用いて動き検出を行う必要があり、ある右眼用画像170rに対しては、直前の右眼用画像170rを用いて動き検出を行う必要がある。よって、遅延部120は、図8に示すように、入力画像データ151に含まれる各変換前フレームを2変換前フレームの時間分、遅延させる必要がある。
図3に示すように、入力画像データ151が三次元画像データである場合(S101でYes)、同期信号変換部110は、垂直同期信号152により示される、入力画像データ151の2変換前フレームを1変換後フレームとすることにより変換垂直同期信号157を生成する(S102)。
図9は、入力画像データ151が三次元画像データである場合の同期信号変換部110及び遅延部120の処理を示す図である。
図9に示すように、同期信号変換部110は、垂直同期信号152に含まれるハイレベルのパルスを、2回に1回間引くことにより、変換垂直同期信号157を生成する。
また、図10は、垂直同期信号152で示される変換前フレームと、変換垂直同期信号157で示される変換後フレームとの関係を示す図である。また、図11は、変換前の入力画像データと変換後の入力画像データとのイメージを示す図である。
図10に示すように、2変換前フレームが1変換後フレームとなる。また、図11に示すように、各変換後フレームは、1変換前フレームの左眼用画像170lと1変換前フレームの右眼用画像170rとを含む。また、この左眼用画像170lと右眼用画像170rとは、1変換後フレーム内に垂直方向に並んで配置される。
なお、ここでは、ある左眼用画像170lと、その直後の右眼用画像170rとが1変換後フレームに含まれているが、ある右眼用画像170rと、その直後の左眼用画像170lとが1変換後フレームに含まれてもよい。
次に、遅延部120は、入力画像データ151に含まれる各変換後フレーム(各2変換前フレーム)を1変換後フレーム(2変換前フレーム)の時間分、遅延させた遅延画像データ158を生成する(S103)。
次に、動き検出部130は、1変換後フレーム(2変換前フレーム)の入力画像データ151と遅延画像データ158との相関を用いて、入力画像データ151の動きを検出する(S104)。
また、動き検出部130は、動き検出結果159をNR処理部140に出力する。
NR処理部140は、動き検出結果159に応じて、変換後フレーム単位(2変換前フレーム単位)で入力画像データ151にNR処理を行うことにより、出力画像データ160を生成する。
なお、NR処理部140は、変換前フレーム単位で入力画像データ151にNR処理を行ってもよい。この場合には、変換垂直同期信号157の代わりに垂直同期信号152がNR処理部140に入力される。なお、三次元画像処理装置100は、変換垂直同期信号157を元の垂直同期信号152と同じ信号に復元する処理部を備え、当該復元された信号がNR処理部140に入力されてもよい。
以上により、本発明の実施の形態1に係る三次元画像処理装置100では、遅延部120及び動き検出部130は、入力画像データ151が二次元画像データであるか三次元画像データであるかによらず、いずれの場合でも変換垂直同期信号157で示される変換後フレーム単位で処理を行うことができる。これにより、三次元画像処理装置100では、遅延部120及び動き検出部130に、二次元画像データのみに対応した従来の三次元画像処理装置に用いられていた回路をそのまま用いることができる。
このように、本発明の実施の形態1に係る三次元画像処理装置100は、三次元画像に対応するとともに、回路の複雑化を低減できる。
また、動き検出部130は、1変換後フレームに含まれる左眼用画像170lと右眼用画像170rとの境界171において端点処理を行う。ここで、端点処理とは、境界171を挟む両側の領域(左眼用画像170l及び右眼用画像170r)が互いに干渉しないように処理することである。具体的には、動き検出部130は、上下のラインを用いてフィルタ処理を行った後、フィルタ処理した画像を用いて動き検出を行う場合、境界171をまたぐ別の画像を用いない。例えば、動き検出部130は、画像の端部(境界171付近)の動き検出を行う場合、不足するデータの代わりに同じ画像内のデータを用いる。
つまり、動き検出部130は、入力画像データ151の1変換後フレームに含まれる左眼用画像170lと、遅延画像データ158の1変換後フレームに含まれる左眼用画像170lとの相関(差分)、及び、入力画像データ151の1変換後フレームに含まれる右眼用画像170rと、遅延画像データ158の1変換後フレームに含まれる右眼用画像170rとの相関(差分)のみを用いて、入力画像データ151の動きを検出する。
また、NR処理部140も動き検出部130と同様に、境界171において端点処理を行う。
これにより、本発明の実施の形態1に係る三次元画像処理装置100は、1変換後フレームに左眼用画像170lと右眼用画像170rとが含まれる場合でも、動き検出処理及びNR処理の精度を維持できる。
(実施の形態2)
上述した実施の形態1では、入力画像データ151がプログレッシブ方式の画像データである場合を例に説明した。本発明の実施の形態2では、入力画像データ151がインタレース方式の画像データである場合について説明する。
なお、以下では、上述した実施の形態1との相違点を主に説明し、重複する説明は省略する。
まず、本発明の実施の形態2に係る三次元画像処理装置の構成を説明する。
図12は、本発明の実施の形態2に係る三次元画像処理装置101の構成を示す図である。
図12に示す三次元画像処理装置101には、図1に示す三次元画像処理装置100に入力される信号に加え、さらに、フィールド判定信号162が入力される。
フィールド判定信号162は、入力画像データ151の現在のフィールドがトップフィールドであるかボトムフィールドであるかを示す信号である。
同期信号変換部110は、入力画像データ151が三次元画像データである場合、遅延部120及び動き検出部130における処理単位を、2フィールド単位にする。具体的には、同期信号変換部110は、垂直同期信号152により示される、入力画像データ151の1フィールドが転送される期間を2倍することにより変換垂直同期信号157を生成する。
また、同期信号変換部110は、入力画像データ151が二次元画像データである場合、遅延部120及び動き検出部130における処理単位を、1フィールド単位にする。具体的には、同期信号変換部110は、垂直同期信号152をそのまま変換垂直同期信号157として出力する。
なお、以降において、垂直同期信号152で示されるフィールドを変換前フィールドと記し、変換垂直同期信号157で示されるフィールドを変換後フィールドと記す。
遅延部120は、入力画像データ151を、変換垂直同期信号157で示される処理単位で、2変換後フィールドの時間分、遅延させることにより遅延画像データ158を生成する。つまり、遅延部120は、入力画像データ151が二次元画像データである場合、入力画像データ151を2変換前フィールドの時間分、遅延させる。また、遅延部120は、入力画像データ151が三次元画像データである場合、入力画像データ151を4変換前フィールドの時間分、遅延させる。
遅延部120は、変換垂直同期信号157で示される処理単位(変換後フレーム単位)の入力画像データ151毎に、当該入力画像データを2変換後フィールドの時間分、遅延させることにより遅延画像データ158を生成する。つまり、遅延部120は、入力画像データ151が二次元画像データである場合、入力画像データ151に含まれる各変換後フィールド(1変換前フィールド)を2変換後フィールド(2変換前フィールド)の時間分、遅延させる。また、遅延部120は、入力画像データ151が三次元画像データである場合、入力画像データ151に含まれる各変換後フィールド(2変換前フィールド)を2変換後フィールド(4変換前フィールド)の時間分、遅延させる。
動き検出部130は、同期信号変換部110で決定された処理単位(変換後フィールド単位)の入力画像データ151と遅延画像データ158との相関を算出し、算出した相関を用いて、入力画像データ151の動きを検出する。つまり、入力画像データ151が二次元画像データである場合、動き検出部130は、1変換前フィールド単位の入力画像データ151と遅延画像データ158とを用いて、1変換前フィールド単位の入力画像データ151の動きを検出する。また、入力画像データ151が三次元画像データである場合、動き検出部130は、2変換前フィールド単位の入力画像データ151と遅延画像データ158とを用いて、2変換前フィールド単位の入力画像データ151の動きを検出する。
具体的には、動き検出部130は、変換垂直同期信号157を用いて、同期信号変換部110で決定された処理単位の処理を行う。つまり、動き検出部130は、変換垂直同期信号157で示される1変換後フィールドを処理単位として処理を行う。
IP(インタレース・プログレッシブ)変換部141は、動き検出結果159に応じて、入力画像データ151の走査方式をインタレース方式からプログレッシブ方式に変換(以下、IP変換)することにより、出力画像データ161を生成する。
図13は、IP変換処理を示す図である。
図13に示すように、トップフィールドは表示画像における奇数ラインの画素データのみを有し、ボトムフィールドは表示画像における偶数ラインの画素データのみを有する。IP変換部141は、この画素データが存在するラインの画素172を用いて、存在しないラインの画素173を補間する。具体的には、IP変換部141は、同一フィールドの周辺位置の画素172、又は、時間的に直近の異なるパリティのフィールドの同一位置の画素172を用いて、存在しない行の画素173を補間する。また、いずれの画素を用いて補間を行うかは、動き検出結果159に応じて決定される。例えば、IP変換部141は、動き検出結果159により動きがないことが示される場合には、時間的に直近の異なるパリティのフィールドの同一位置の画素172を用いて、存在しない行の画素173を補間する。また、IP変換部141は、動き検出結果159により動きがあることが示される場合には、同一フィールドの周辺位置の画素172を用いて、存在しない行の画素173を補間する。なお、パリティとは、トップフィールド又はボトムフィールドを示す。つまり、異なるパリティとは、トップフィールドに対するボトムフィールド、又は、ボトムフィールドに対するトップフィールドを意味する。
また、ここでは、動き検出結果159を用いて入力画像データ151を処理する処理部の例としてIP変換部141を示すが、実施の形態1と同様に、NR処理部140が動き検出結果159を用いて入力画像データ151を処理してもよい。
次に、本発明の実施の形態2に係る三次元画像処理装置101の動作を説明する。
なお、三次元画像処理装置101による動作の流れは、図3と同様であるので、図3を用いて説明を行う。
まず、入力画像データ151が二次元画像データである場合の三次元画像処理装置101の動作を説明する。
入力画像データ151が二次元画像データである場合(S101でNo)、同期信号変換部110は、垂直同期信号152をそのまま変換垂直同期信号157として出力する。つまり、変換前フィールドと変換後フィールドとは等しい。
次に、遅延部120は、入力画像データ151に含まれる各変換後フィールド(各変換前フィールド)を2変換後フィールド(2変換前フィールド)の時間分、遅延させた遅延画像データ158を生成する(S103)。
図14は、入力画像データ151が二次元画像データである場合の遅延部120の処理を示す図である。
ここで、トップフィールドとボトムフィールドとは異なるラインの画像なので、トップフィールドとボトムフィールドとで独立に動き検出を行う必要がある。つまり、動き検出部130は、あるトップフィールドに対しては、直前のトップフィールドを用いて動き検出を行う必要があり、あるボトムフィールドに対しては、直前のボトムフィールドを用いて動き検出を行う必要がある。よって、図14に示すように、遅延部120は、入力画像データ151に含まれる各変換前フィールドを2変換前フィールドの時間分、遅延させた遅延画像データ158を生成する。
次に、動き検出部130は、1変換後フィールドの入力画像データ151と遅延画像データ158との相関を用いて、入力画像データ151の動きを検出する(S104)。
また、動き検出部130は、動き検出結果159をIP変換部141に出力する。
IP変換部141は、動き検出結果159に応じて、変換後フィールド単位(1変換前フィールド単位)で入力画像データ151をIP変換することにより、出力画像データ161を生成する。
次に、入力画像データ151が三次元画像データである場合の三次元画像処理装置101の動作を説明する。
図15は、インタレース方式の三次元画像データの一例を示す図である。図15に示すように、インタレース方式の三次元画像データには、左眼用トップフィールド174tl、右眼用トップフィールド174tr、左眼用ボトムフィールド174bl、右眼用ボトムフィールド174brがこの順で繰り返し配置されている。ここで、左眼用トップフィールド174tlは左眼用画像のみを含むトップフィールドであり、右眼用トップフィールド174trは右眼用画像のみを含むトップフィールドであり、左眼用ボトムフィールド174blは左眼用画像のみを含むボトムフィールドであり、右眼用ボトムフィールド174brは右眼用画像のみを含むボトムフィールドである。
また、左眼用トップフィールド174tl、右眼用トップフィールド174tr、左眼用ボトムフィールド174bl、及び右眼用ボトムフィールド174brはそれぞれ異なる画像なので、三次元画像に対しては、左眼用トップフィールド174tl、右眼用トップフィールド174tr、左眼用ボトムフィールド174bl、及び右眼用ボトムフィールド174brで独立に動き検出を行う必要がある。つまり、動き検出部130は、ある左眼用トップフィールド174tlに対しては、直前の左眼用トップフィールド174tlを用いて動き検出を行う必要があり、ある右眼用トップフィールド174trに対しては、直前の右眼用トップフィールド174trを用いて動き検出を行う必要があり、ある左眼用ボトムフィールド174blに対しては、直前の左眼用ボトムフィールド174blを用いて動き検出を行う必要があり、ある右眼用ボトムフィールド174brに対しては、直前の右眼用ボトムフィールド174brを用いて動き検出を行う必要がある。よって、遅延部120は、図16に示すように、入力画像データ151に含まれる各変換前フィールドを4変換前フィールドの時間分、遅延させる必要がある。
図3に示すように、入力画像データ151が三次元画像データである場合(S101でYes)、同期信号変換部110は、垂直同期信号152により示される、入力画像データ151の2変換前フィールドを1変換後フィールドとすることにより変換垂直同期信号157を生成する(S102)。
図17は、入力画像データ151が三次元画像データである場合の同期信号変換部110及び遅延部120の処理を示す図である。
図17に示すように、同期信号変換部110は、垂直同期信号152に含まれるハイレベルのパルスを、2回に1回間引くことにより、変換垂直同期信号157を生成する。
また、図18は、垂直同期信号152で示される変換前フィールドと、変換垂直同期信号157で示される変換後フィールドとの関係を示す図である。また、図19は、変換前の入力画像データと変換後の入力画像データとのイメージを示す図である。
図18に示すように、2変換前フィールドが1変換後フィールドとなる。また、図19に示すように、変換後の各トップフィールドは、変換前の1つの左眼用トップフィールド174tlと1つの右眼用トップフィールド174trとを含む。また、この左眼用トップフィールド174tlと右眼用トップフィールド174trとは、1変換後フィールド内に垂直方向に並んで配置される。また、変換後の各ボトムフィールドは、変換前の1つの左眼用ボトムフィールド174blと1つの右眼用ボトムフィールド174brとを含む。また、この左眼用ボトムフィールド174blと右眼用ボトムフィールド174brとは、1変換後フィールド内に垂直方向に並んで配置される。
なお、ここでは、ある左眼用トップフィールド174tlと、その直後の右眼用トップフィールド174trとが1変換後フィールドに含まれ、ある左眼用ボトムフィールド174blと、その直後の右眼用ボトムフィールド174brとが1変換後フィールドに含まれているが、時間的に連続して配置された2つの変換前フィールドを1つの変換後フィールドとしてよい。
ただし、IP変換処理など、トップフィールドとボトムフィールドとで処理が異なる処理に変換後の入力画像データを用いる場合には、上述したように左眼用トップフィールド174tlと右眼用トップフィールド174trとを1つの変換後フィールドにし、左眼用ボトムフィールド174blと右眼用ボトムフィールド174brとを1つの変換後フィールドとすることが好ましい。
次に、遅延部120は、入力画像データ151に含まれる各変換後フィールド(各2変換前フィールド)を2変換後フィールド(4変換前フィールド)の時間分、遅延させた遅延画像データ158を生成する(S103)。
次に、動き検出部130は、1変換後フィールド(2変換前フィールド)の入力画像データ151と遅延画像データ158との相関を用いて、入力画像データ151の動きを検出する(S104)。
また、動き検出部130は、動き検出結果159をIP変換部141に出力する。
IP変換部141は、動き検出結果159に応じて、変換後フィールド単位(2変換前フィールド単位)で入力画像データ151をIP変換することにより、出力画像データ161を生成する。
なお、IP変換部141は、変換前フィールド単位で入力画像データ151をIP変換してもよい。この場合には、変換垂直同期信号157の代わりに垂直同期信号152がIP変換部141に入力される。なお、三次元画像処理装置100は、変換垂直同期信号157を元の垂直同期信号152と同じ信号に復元する処理部を備え、当該復元された信号がIP変換部141に入力されてもよい。
以上により、本発明の実施の形態2に係る三次元画像処理装置101では、実施の形態1に係る三次元画像処理装置100と同様に、遅延部120及び動き検出部130は、入力画像データ151が二次元画像データであるか三次元画像データであるかによらず、いずれの場合でも変換垂直同期信号157で示される変換後フィールド単位で処理を行うことができる。これにより、三次元画像処理装置101では、遅延部120及び動き検出部130に、二次元画像データのみに対応した従来の三次元画像処理装置に用いられていた回路をそのまま用いることができる。
このように、本発明の実施の形態2に係る三次元画像処理装置101は、三次元画像に対応するとともに、回路の複雑化を低減できる。
また、動き検出部130及びIP変換部141は、1変換後フィールドに含まれる左眼用トップフィールド174tlと右眼用トップフィールド174trとの境界171及び左眼用ボトムフィールド174blと右眼用ボトムフィールド174brとの境界171において端点処理を行う。
これにより、本発明の実施の形態2に係る三次元画像処理装置101は、1変換後フィールドに左眼用画像と右眼用画像とが含まれる場合でも、動き検出処理及びIP変換の精度を維持できる。
(実施の形態3)
上述した実施の形態1及び2では、動き検出部130においてピクチャ間の相関を用いて、ピクチャ間の動きを検出する場合について説明した。実施の形態3では、動き検出部130においてライン間の相関を用いて、ピクチャ内の垂直方向の動きを検出する場合について説明する。
なお、以下では、上述した実施の形態1及び実施の形態2との相違点を主に説明し、重複する説明は省略する。
まず、本発明の実施の形態3に係る三次元画像処理装置の構成を説明する。
図20は、本発明の実施の形態3に係る三次元画像処理装置102の構成を示す図である。
図20に示す三次元画像処理装置102は、図12に示す三次元画像処理装置101が備える構成に対して、同期信号変換部110の代わりに同期信号変換部111を備える点が異なる。
同期信号変換部111は、本発明の処理単位制御部に相当する。この同期信号変換部111は、遅延部120及び動き検出部130の処理単位を制御する。具体的には、同期信号変換部111は、遅延部120及び動き検出部130の処理単位を示す変換水平同期信号163(本発明の第1信号に相当)を生成する。
この同期信号変換部111は、入力画像データ151が三次元画像データである場合、遅延部120及び動き検出部130における処理単位を、2ライン単位にする。具体的には、同期信号変換部111は、水平同期信号153により示される、入力画像データ151の1ラインが転送される期間を2倍することにより変換水平同期信号163を生成する。
また、同期信号変換部111は、入力画像データ151が二次元画像データである場合、遅延部120及び動き検出部130における処理単位を、1ライン単位にする。具体的には、同期信号変換部111は、水平同期信号153をそのまま変換水平同期信号163として出力する。
なお、以降において、水平同期信号153で示されるラインを変換前ラインと記し、変換水平同期信号163で示されるラインを変換後ラインと記す。
遅延部120は、変換水平同期信号163で示される処理単位(変換後ライン単位)の入力画像データ151毎に、当該入力画像データを1変換後ラインの時間分、遅延させることにより遅延画像データ158を生成する。つまり、遅延部120は、入力画像データ151が二次元画像データである場合、入力画像データ151に含まれる各変換後ライン(1変換前ライン)を1変換前ラインの時間分、遅延させる。また、遅延部120は、入力画像データ151が三次元画像データである場合、入力画像データ151に含まれる各変換後ライン(2変換前ライン)を2変換前ラインの時間分、遅延させる。
動き検出部130は、同期信号変換部111で決定された処理単位(変換後ライン単位)の入力画像データ151と遅延画像データ158との相関を算出し、算出した相関を用いて、入力画像データ151の動きを検出する。つまり、入力画像データ151が二次元画像データである場合、動き検出部130は、1変換前ライン単位の入力画像データ151と遅延画像データ158とを用いて、1変換前ライン単位の入力画像データ151の動きを検出する。また、入力画像データ151が三次元画像データである場合、動き検出部130は、2変換前ライン単位の入力画像データ151と遅延画像データ158とを用いて、2変換前ライン単位の入力画像データ151の動きを検出する。
具体的には、動き検出部130は、変換水平同期信号163を用いて、同期信号変換部111で決定された処理単位の処理を行う。つまり、動き検出部130は、変換水平同期信号163で示される1変換後ラインを処理単位として処理を行う。
次に、本発明の実施の形態3に係る三次元画像処理装置102の動作を説明する。
なお、三次元画像処理装置102による動作の流れは、図3と同様であるので、図3を用いて説明を行う。
まず、入力画像データ151が二次元画像データである場合の三次元画像処理装置102の動作を説明する。
入力画像データ151が二次元画像データである場合(S101でNo)、同期信号変換部111は、水平同期信号153をそのまま変換水平同期信号163として出力する。つまり、変換前ラインと変換後ラインとは等しい。
次に、遅延部120は、入力画像データ151に含まれる各変換後ライン(各変換前ライン)を1変換後ライン(1変換前ライン)の時間分、遅延させた遅延画像データ158を生成する(S103)。
図21は、入力画像データ151が二次元画像データである場合の遅延部120の処理を示す図である。
図21に示すように、遅延部120は、入力画像データ151に含まれる各変換前ラインを1変換前ラインの時間分、遅延させた遅延画像データ158を生成する。
次に、動き検出部130は、1変換後ラインの入力画像データ151と遅延画像データ158との相関を用いて、入力画像データ151の動きを検出する(S104)。
また、動き検出部130は、動き検出結果159をIP変換部141に出力する。
IP変換部141は、動き検出結果159に応じて、変換後ライン単位(1変換前ライン単位)で入力画像データ151をIP変換することにより、出力画像データ161を生成する。
次に、入力画像データ151が三次元画像データである場合の三次元画像処理装置102の動作を説明する。
図22は、三次元画像データの一例を示す図である。図22に示すように、三次元画像データに含まれる各フィールドは、ライン毎に交互に配置される、左眼用ライン175lと右眼用ライン175rとを含む。ここで、左眼用ライン175lは、左眼用画像に含まれるラインであり、右眼用ライン175rは、右眼用画像に含まれるラインである。
また、左眼用ライン175lと右眼用ライン175rとは異なる画像に含まれるラインなので、三次元画像に対しては、左眼用ライン175lと右眼用ライン175rとで独立に動き検出を行う必要がある。つまり、動き検出部130は、ある左眼用ライン175lに対しては、直前の左眼用ライン175lを用いて動き検出を行う必要があり、ある右眼用ライン175rに対しては、直前の右眼用ライン175rを用いて動き検出を行う必要がある。よって、遅延部120は、図23に示すように、入力画像データ151に含まれる各変換前ラインを2変換前ラインの時間分、遅延させる必要がある。
図3に示すように、入力画像データ151が三次元画像データである場合(S101でYes)、同期信号変換部111は、水平同期信号153により示される、入力画像データ151の2変換前ラインを1変換後ラインとすることにより変換水平同期信号163を生成する(S102)。
図24は、入力画像データ151が三次元画像データである場合の同期信号変換部111及び遅延部120の処理を示す図である。
図24に示すように、同期信号変換部111は、水平同期信号153に含まれるハイレベルのパルスを、2回に1回間引くことにより、変換水平同期信号163を生成する。
また、図25は、水平同期信号153で示される変換前ラインと、変換水平同期信号163で示される変換後ラインとの関係を示す図である。また、図26は、変換前の入力画像データと変換後の入力画像データとのイメージを示す図である。
図25に示すように、2変換前ラインが1変換後ラインとなる。また、図26に示すように、変換後の入力画像データの各ピクチャの各変換後ラインは、左眼用ライン175lと右眼用ライン175rとを含む。また、この左眼用ライン175lと右眼用ライン175rとは、1変換後ライン内に水平方向に並んで配置される。
なお、ここでは、変換前のある左眼用ライン175lと、その直後の右眼用ライン175rとが1変換後ラインに含まれているが、ある右眼用ライン175rと、その直後の左眼用ライン175lとが1変換後ラインに含まれてもよい。
次に、遅延部120は、入力画像データ151に含まれる各変換後ライン(各2変換前ライン)を1変換後ライン(2変換前ライン)の時間分、遅延させた遅延画像データ158を生成する(S103)。
次に、動き検出部130は、1変換後ライン(2変換前ライン)の入力画像データ151と遅延画像データ158との相関を用いて、入力画像データ151の動きを検出する(S104)。
また、動き検出部130は、動き検出結果159をIP変換部141に出力する。
IP変換部141は、動き検出結果159に応じて、変換後ライン単位(2変換前ライン単位)で入力画像データ151をIP変換することにより、出力画像データ161を生成する。
なお、IP変換部141は、変換前ライン単位で入力画像データ151にIP変換処理を行ってもよい。この場合には、変換水平同期信号163の代わりに水平同期信号153がIP変換部141に入力される。なお、三次元画像処理装置102は、変換水平同期信号163を元の水平同期信号153と同じ信号に復元する処理部を備え、当該復元された信号がIP変換部141に入力されてもよい。
以上により、本発明の実施の形態3に係る三次元画像処理装置102では、実施の形態1に係る三次元画像処理装置100と同様に、遅延部120及び動き検出部130は、入力画像データ151が二次元画像データであるか三次元画像データであるかによらず、いずれの場合でも変換水平同期信号163で示される変換後ライン単位で処理を行うことができる。これにより、三次元画像処理装置102では、遅延部120及び動き検出部130に、二次元画像データのみに対応した従来の三次元画像処理装置に用いられていた回路をそのまま用いることができる。
このように、本発明の実施の形態3に係る三次元画像処理装置102は、三次元画像に対応するとともに、回路の複雑化を低減できる。
また、動き検出部130及びIP変換部141は、1変換後ラインに含まれる左眼用ライン175lと右眼用ライン175rとの境界176において端点処理を行う。
これにより、本発明の実施の形態3に係る三次元画像処理装置102は、1変換後ラインに左眼用ライン175lと右眼用ライン175rとが含まれる場合でも、動き検出処理及びIP変換処理の精度を維持できる。
(実施の形態4)
本発明の実施の形態4では、上述した実施の形態1に係る三次元画像処理装置100を含む三次元画像表示システム10について説明する。なお、以下では、三次元画像表示システム10が実施の形態1に係る三次元画像処理装置100を備える例を説明するが、実施の形態2に係る三次元画像処理装置101、又は実施の形態3に係る三次元画像処理装置102も同様に用いることができる。
図27は、本発明の実施の形態4に係る三次元画像表示システム10の構成を示すブロック図である。
図27に示す三次元画像表示システム10は、デジタルテレビ20と、デジタルビデオレコーダ30と、シャッタメガネ43とを含む。また、デジタルテレビ20とデジタルビデオレコーダ30とは、HDMI(High−Definition Multimedia Interface)ケーブル40を介して接続されている。
デジタルビデオレコーダ30は、BD(ブルーレイディスク)等の光ディスク41に記録されている三次元画像のフォーマットを変換し、変換した三次元画像を、HDMIケーブル40を経由してデジタルテレビ20へ出力する。
デジタルテレビ20は、デジタルビデオレコーダ30により出力される三次元画像、及び放送波42に含まれる三次元画像のフォーマットを変換したうえで表示する。例えば、放送波42は、地上デジタルテレビ放送、及び衛星デジタルテレビ放送等である。
なお、デジタルビデオレコーダ30は、光ディスク41以外の記録媒体(例えば、ハードディスクドライブ及び不揮発性メモリ等)に記録されている三次元画像のフォーマットを変換してもよい。また、デジタルビデオレコーダ30は、放送波42に含まれる三次元画像、又はインターネット等の通信網を経由して取得した三次元画像のフォーマットを変換してもよい。また、デジタルビデオレコーダ30は、外部の装置により、外部入力端子(図示せず)等に入力された三次元画像のフォーマットを変換してもよい。
同様に、デジタルテレビ20は、光ディスク41及びその他の記録媒体に記録されている三次元画像のフォーマットを変換してもよい。また、デジタルテレビ20は、インターネット等の通信網を経由して取得した三次元画像のフォーマットを変換してもよい。また、デジタルテレビ20は、デジタルビデオレコーダ30以外の外部の装置により、外部入力端子(図示せず)等に入力された三次元画像のフォーマットを変換してもよい。
また、デジタルテレビ20とデジタルビデオレコーダ30とは、HDMIケーブル40以外の規格のケーブルにより接続されていてもよいし、無線通信網により接続されていてもよい。
デジタルビデオレコーダ30は、入力部31と、デコーダ32と、画像処理部61と、HDMI通信部33とを備える。
入力部31は、光ディスク41に記録されている符号化三次元画像51を取得する。
デコーダ32には、入力部31により取得された符号化三次元画像51を復号することにより、入力三次元画像52を生成する。
画像処理部61は、入力三次元画像52のフォーマットを変換することにより、出力三次元画像53を生成する。
ここで、フォーマットとは、各フレーム(フィールド)における、左眼用画像と右眼用画像との配置パターン(以下、単に「配置パターン」と記す)と、フレームレートと、走査方式(プログレッシブ及びインタレース)と、画像サイズとを含む。
この画像処理部61は、三次元画像処理装置100と、NR処理部140と、IP変換部141とを備える。これら三次元画像処理装置100、NR処理部140、及びIP変換部141は、実施の形態1〜3で説明した三次元画像処理装置100、NR処理部140、及びIP変換部141と同一である。
HDMI通信部33は、画像処理部61により生成された出力三次元画像53を、HDMIケーブル40を経由してデジタルテレビ20へ出力する。
なお、デジタルビデオレコーダ30は、生成した出力三次元画像53を、当該デジタルビデオレコーダ30が備える記憶部(ハードディスクドライブ及び不揮発性メモリ等)に記憶してもよいし、当該デジタルビデオレコーダ30に着脱可能な記録媒体(光ディスク等)に記録してもよい。
デジタルテレビ20は、入力部21と、デコーダ22と、HDMI通信部23と、画像処理部60と、左画面駆動部24Lと、右画面駆動部24Rと、表示パネル26と、トランスミッタ27とを備える。
入力部21は、放送波42に含まれる符号化三次元画像55を取得する。
デコーダ22には、入力部21により取得された符号化三次元画像55を復号することにより、入力三次元画像56を生成する。
HDMI通信部23は、HDMI通信部33により出力された出力三次元画像53を取得し、入力三次元画像57として出力する。
画像処理部60は、入力三次元画像56又は入力三次元画像57のフォーマットを変換することにより、出力三次元画像58を生成する。ここで、出力三次元画像58は、左画面画像58Lと、右画面画像58Rとを含む。この画像処理部60は、三次元画像処理装置100と、NR処理部140と、IP変換部141とを備える。これら三次元画像処理装置100、NR処理部140、及びIP変換部141は、実施の形態1〜3で説明した三次元画像処理装置100、NR処理部140、及びIP変換部141と同一である。
左画面駆動部24Lは、左画面画像58Lを、表示パネル26の左画面26Lに表示する。右画面駆動部24Rは、右画面画像58Rを、表示パネル26の右画面26Rに表示する。
トランスミッタ27は、無線通信を用いて、シャッタメガネ43を制御する。
例えば、出力三次元画像58では、左眼用画像170lのみを含むフレームと右眼用画像170rのみを含むフレームとが交互に配置される。
シャッタメガネ43は、例えば、視聴者が装着する液晶シャッタメガネであり、左眼用液晶シャッタと右眼用液晶シャッタとを備える。トランスミッタ27は、左眼用画像170lと右眼用画像170rとの表示タイミングにあわせて、左眼用液晶シャッタ及び右眼用液晶シャッタの開閉を制御する。具体的には、トランスミッタ27は、左眼用画像170lが表示されている期間は、シャッタメガネ43の左眼用液晶シャッタを開き、かつ右眼用液晶シャッタを閉じる。また、トランスミッタ27は、右眼用画像170rが表示されている期間は、シャッタメガネ43の左眼用液晶シャッタを閉じ、かつ右眼用液晶シャッタを開く。このように、視聴者の左眼には左眼用画像170lが、右眼には右眼用画像170rが、それぞれ選択的に入射される。
なお、視聴者の左眼及び右眼に、左眼用画像170l及び右眼用画像170rを選択的に入射させる方法は、この方法に限定されず、これ以外の方法を用いてもよい。
例えば、画像処理部60は、各フレーム内に左眼用ライン175lと右眼用ライン175rとがストライプ状に配置される出力三次元画像58を生成する。
この場合、表示パネル26は、左眼用の画素上に形成された左眼用偏光フィルムと、右眼用の画素上に形成された右眼用偏光フィルムとを備えることにより、左眼用ライン175lと右眼用ライン175rとに異なる偏光(直線偏光又は円偏光等)をかける。また、シャッタメガネ43の代わりに、上記偏光にそれぞれ対応する左眼用及び右眼用の偏光フィルタを備える偏光メガネを用いることで、視聴者の左眼及び右眼に、左眼用ライン175l及び右眼用ライン175rを入射させることができる。
以上、本発明の実施の形態に係る三次元画像処理装置について説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、上記説明では、三次元画像処理装置100、101及び102に、入力画像データ151が二次元画像データであるか三次元画像データであるかを示す三次元画像判定信号156が入力される例を示したが、三次元画像処理装置100、101及び102は、入力画像データ151に基づき当該入力画像データ151が二次元画像データであるか三次元画像データであるかを判定し、当該判定結果を示す三次元画像判定信号156を生成する処理部を備えてもよい。
同様に、上記説明では、三次元画像処理装置101及び102に、入力画像データ151の現在のフィールドがトップフィールドであるかボトムフィールドであるかを示すフィールド判定信号162が入力される例を示したが、三次元画像処理装置101及び102は、入力画像データ151に基づき当該入力画像データ151の現在のフィールドがトップフィールドであるかボトムフィールドであるかを判定し、当該判定結果を示すフィールド判定信号162を生成する処理部を備えてもよい。
また、上記説明では、三次元画像処理装置100、101及び102は、垂直アクティブ信号154及び水平アクティブ信号155を生成する制御信号生成部131を備えるとしたが、三次元画像処理装置100は、当該制御信号生成部131を備えず、外部から三次元画像処理装置100に垂直アクティブ信号154及び水平アクティブ信号155が入力されてもよい。
また、上記説明では、三次元画像データが左眼用と右眼用との2視点の画像を含む例を示したが、三次元画像データは3視点以上の互いに視差を有するサブ画像を含む場合にも本発明を適用できる。例えば、この場合、三次元画像データにおいて、n(nは2以上の整数)個のサブ画像は予め定められた順でそれぞれ別ピクチャに含まれる。
具体的には、入力画像データ151が、n個のサブ画像を含む三次元画像データである場合、同期信号変換部110は、垂直同期信号152により示される、入力画像データ151の1ピクチャが転送される期間をn倍することにより変換垂直同期信号157を生成する。具体的には、同期信号変換部110は、垂直同期信号152に含まれるハイレベルのパルスを、n回に1回のみ残し、他のn−1回を間引くことにより、変換垂直同期信号157を生成する。
また、上述した実施の形態3における例では、三次元画像データにおいて、n個のサブ画像は予め定められた順でそれぞれ各ピクチャの別ラインに含まれる。
この場合、同期信号変換部111は、水平同期信号153により示される、入力画像データ151の1ラインが転送される期間をn倍することにより変換水平同期信号163を生成する。具体的には、同期信号変換部111は、水平同期信号153に含まれるハイレベルのパルスを、n回に1回のみ残し、他のn−1回を間引くことにより、変換水平同期信号163を生成する。
また、上記説明では、動き検出結果159がNR処理部140又はIP変換部141で用いられる例を述べたが、NR処理及びIP変換処理以外の処理に動き検出結果159が用いられてもよい。
また、上記説明では、動き検出部130を備える三次元画像処理装置100、101及び102を例に説明したが、本発明は、動き検出以外のフレーム遅延、フィールド遅延又はライン遅延を用いて、入力画像データ151の特性を検出する検出部を備える三次元画像処理装置に適用できる。
例えば、動きベクトルの検出、又はフィルム検出を行う検出部を備える三次元画像処理装置に本発明を適用できる。
ここでフィルム検出とは、画像データに含まれる同じピクチャの配置パターンを検出する処理である。具体的には、24Hzの画像データを60Hzの画像データに変換した場合、24Hzの画像データにおいて連続する2枚のピクチャ(ピクチャA及びピクチャB)は、60Hzの画像データにおいて連続する5枚のピクチャ(ピクチャA、ピクチャA、ピクチャA、ピクチャB、ピクチャB)に変換される。つまり、24Hzから60Hzに変換された画像データでは、同じピクチャAが3枚連続し、次に、同じピクチャBが2枚連続するという、規則的なパターンが存在する。フィルム検出とは、この規則的なパターンを検出する処理である。この配置パターンを検出することにより、例えば、60Hzに変換された画像データを再び、24Hzの画像データに正確に復元できる。
このような、フィルム検出処理において、動き検出処理と同様に、現在のピクチャと、当該現在のピクチャに対して時間的に前に存在するピクチャとの相関が用いられる。よって、上述した三次元画像処理装置100、101及び102と同様の処理を、このようなフィルム検出処理に適用できる。
また、三次元画像処理装置100、101及び102は、上記説明で示した処理部以外に、さらに、別の処理部を備えてもよい。例えば、NR処理部140又はIP変換部141が三次元画像処理装置100、101及び102に含まれてもよい。
また、上記実施の形態4の説明では、専用メガネ(シャッタメガネ43)を用いる場合を例に述べたが、専用メガネを用いない方式にも本発明を適用できる。
また、上記実施の形態4の説明では、本発明に係る三次元画像処理装置100、101又は102をデジタルテレビ及びデジタルビデオレコーダに適用した例を述べたが、本発明に係る三次元画像処理装置100、101及び102は、デジタルテレビ以外の三次元画像を表示する三次元画像表示装置(例えば、携帯電話機器、パーソナルコンピュータ等)に適用できる。また、本発明に係る三次元画像処理装置100、101及び102は、デジタルビデオレコーダ以外の三次元画像を出力する三次元画像出力装置(例えば、BDプレーヤ等)に適用できる。
また、上記実施の形態1〜3に係る三次元画像処理装置100、101及び102は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又はすべてを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。
また、本発明の実施の形態1〜3に係る三次元画像処理装置100、101及び102の機能の一部又は全てを、CPU等のプロセッサがプログラムを実行することにより実現してもよい。
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記実施の形態1〜3に係る三次元画像処理装置100、101及び102、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
本発明は、三次元画像処理装置に適用でき、特に、デジタルテレビ及びデジタルビデオレコーダ等に適用できる。
10 三次元画像表示システム
20 デジタルテレビ
21、31 入力部
22、32 デコーダ
23、33 HDMI通信部
24L 左画面駆動部
24R 右画面駆動部
26 表示パネル
26L 左画面
26R 右画面
27 トランスミッタ
30 デジタルビデオレコーダ
40 HDMIケーブル
41 光ディスク
42 放送波
43 シャッタメガネ
51、55 符号化三次元画像
52、56、57 入力三次元画像
53、58 出力三次元画像
58L 左画面画像
58R 右画面画像
60、61 画像処理部
100、101、102 三次元画像処理装置
110、111 同期信号変換部
120 遅延部
121 メモリコントローラ
122 メモリ
130 動き検出部
131 制御信号生成部
140 NR処理部
141 IP変換部
151 入力画像データ
152 垂直同期信号
153 水平同期信号
154 垂直アクティブ信号
155 水平アクティブ信号
156 三次元画像判定信号
157 変換垂直同期信号
158 遅延画像データ
159 動き検出結果
160、161 出力画像データ
162 フィールド判定信号
163 変換水平同期信号
170l 左眼用画像
170r 右眼用画像
171、176 境界
172、173 画素
174bl 左眼用ボトムフィールド
174br 右眼用ボトムフィールド
174tl 左眼用トップフィールド
174tr 右眼用トップフィールド
175l 左眼用ライン
175r 右眼用ライン

Claims (11)

  1. 互いに視差を有するn(nは2以上の整数)個のサブ画像を含む三次元画像の特性を検出する三次元画像処理装置であって、
    処理単位を示す第1信号を生成する処理単位制御部と、
    前記第1信号で示される処理単位で予め定められた処理単位数の時間分、入力画像を遅延させることにより遅延画像を生成する遅延部と、
    前記第1信号で示される処理単位で、前記入力画像と前記遅延画像との相関を算出し、算出した前記相関を用いて、前記入力画像の特性を検出する検出部とを備え、
    前記処理単位制御部は、前記入力画像が二次元画像である場合、第1処理単位を示す前記第1信号を生成し、前記入力画像が前記三次元画像である場合、前記第1処理単位のn倍の第2処理単位を示す前記第1信号を生成する
    三次元画像処理装置。
  2. 前記三次元画像において、前記n個のサブ画像は予め定められた順でそれぞれ別ピクチャに含まれ、
    前記処理単位制御部は、入力画像が二次元画像である場合、前記第1処理単位として1ピクチャ単位を示す前記第1信号を出力し、前記入力画像が前記三次元画像である場合、前記第2処理単位としてnピクチャ単位を示す前記第1信号を生成する
    請求項1記載の三次元画像処理装置。
  3. 前記処理単位制御部は、前記入力画像が二次元画像である場合、前記入力画像の転送に同期し、当該入力画像の1ピクチャが転送される期間を示す垂直同期信号を前記第1信号とし、前記入力画像が三次元画像である場合、前記垂直同期信号により示される、当該入力画像の1ピクチャが転送される期間をn倍することにより前記第1信号を生成する
    請求項2記載の三次元画像処理装置。
  4. 前記入力画像がプログレッシブ方式である場合、前記遅延部は、前記第1信号で示される処理単位で1処理単位の時間分、前記入力画像を遅延させることにより前記遅延画像を生成する
    請求項3記載の三次元画像処理装置。
  5. 前記入力画像がインタレース方式である場合、前記遅延部は、前記第1信号で示される処理単位で2処理単位の時間分、前記入力画像を遅延させることにより前記遅延画像を生成する
    請求項3記載の三次元画像処理装置。
  6. 前記検出部は、前記第1信号で示される処理単位で、前記入力画像と前記遅延画像との相関を算出し、算出した前記相関を用いて、前記入力画像の特性として、前記入力画像のピクチャ間の動きを検出する
    請求項2〜5のいずれか1項に記載の三次元画像処理装置。
  7. 前記三次元画像において、前記n個のサブ画像は予め定められた順でそれぞれ各ピクチャの別ラインに含まれ、
    前記処理単位制御部は、入力画像が二次元画像である場合、前記第1処理単位として1ライン単位を示す前記第1信号を出力し、前記入力画像が前記三次元画像である場合、前記第2処理単位としてnライン単位を示す前記第1信号を生成する
    請求項1記載の三次元画像処理装置。
  8. 前記処理単位制御部は、前記入力画像が二次元画像である場合、前記入力画像の転送に同期し、当該入力画像の1ラインが転送される期間を示す水平同期信号を前記第1信号とし、前記入力画像が三次元画像である場合、前記水平同期信号により示される、当該入力画像の1ラインが転送される期間をn倍することにより前記第1信号を生成する
    請求項7記載の三次元画像処理装置。
  9. 前記検出部は、前記第1信号で示される処理単位で、前記入力画像と前記遅延画像との相関を算出し、算出した前記相関を用いて、前記入力画像の特性として、前記入力画像のピクチャ内の動きを検出する
    請求項7又は8記載の三次元画像処理装置。
  10. 前記検出部は、前記入力画像が前記三次元画像である場合、前記第2処理単位の前記入力画像に含まれるn個の前記第1処理単位の入力画像のそれぞれと、前記第2処理単位の前記遅延画像に含まれるn個の前記第1処理単位の遅延画像のうち、当該第1処理単位の入力画像に対応する前記第1処理単位の遅延画像のみとの相関を用いて、前記入力画像の特性を検出する
    請求項1〜9のいずれか1項に記載の三次元画像処理装置。
  11. 互いに視差を有するn(nは2以上の整数)個のサブ画像を含む三次元画像の特性を検出する三次元画像処理方法であって、
    処理単位を示す第1信号を生成する処理単位制御ステップと、
    前記第1信号で示される処理単位で予め定められた処理単位数の時間分、入力画像を遅延させることにより遅延画像を生成する遅延ステップと、
    前記第1信号で示される処理単位で、前記入力画像と前記遅延画像との相関を算出し、算出した前記相関を用いて、前記入力画像の特性を検出する検出ステップとを含み、
    前記処理単位制御ステップでは、前記入力画像が二次元画像である場合、第1処理単位を示す前記第1信号を生成し、前記入力画像が前記三次元画像である場合、前記第1処理単位のn倍の第2処理単位を示す前記第1信号を生成する
    三次元画像処理方法。
JP2009219794A 2009-09-24 2009-09-24 三次元画像処理装置及び三次元画像処理方法 Pending JP2011071662A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009219794A JP2011071662A (ja) 2009-09-24 2009-09-24 三次元画像処理装置及び三次元画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009219794A JP2011071662A (ja) 2009-09-24 2009-09-24 三次元画像処理装置及び三次元画像処理方法

Publications (1)

Publication Number Publication Date
JP2011071662A true JP2011071662A (ja) 2011-04-07

Family

ID=44016514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009219794A Pending JP2011071662A (ja) 2009-09-24 2009-09-24 三次元画像処理装置及び三次元画像処理方法

Country Status (1)

Country Link
JP (1) JP2011071662A (ja)

Similar Documents

Publication Publication Date Title
JP5337218B2 (ja) 立体画像変換装置、立体画像出力装置および立体画像変換方法
US7693221B2 (en) Apparatus for processing a stereoscopic image stream
JP4740364B2 (ja) 三次元画像処理装置及びその制御方法
US8994787B2 (en) Video signal processing device and video signal processing method
JP4763822B2 (ja) 映像信号処理装置及び映像信号処理方法
US8836758B2 (en) Three-dimensional image processing apparatus and method of controlling the same
JP4748251B2 (ja) 映像変換方法および映像変換装置
US20110310099A1 (en) Three-dimensional image processing apparatus and method of controlling the same
US8941718B2 (en) 3D video processing apparatus and 3D video processing method
US20120098930A1 (en) Image processing device, image processing method, and program
US20120120191A1 (en) Image processor for use in a frame sequential 3d display system and related 3d display system
US8330799B2 (en) Image output apparatus and image output method
US20150130897A1 (en) Method for generating, transporting and reconstructing a stereoscopic video stream
US20120163700A1 (en) Image processing device and image processing method
JP4747214B2 (ja) 映像信号処理装置、及び、映像信号処理方法
JP2011071662A (ja) 三次元画像処理装置及び三次元画像処理方法
JP2012134885A (ja) 画像処理装置及び画像処理方法
JP5759728B2 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2010087720A (ja) 表示用走査方式を変換する信号処理装置及び方法
US8526714B2 (en) Method and system for reconstructing a stereoscopic image stream from quincunx sampled frames
JP2011199889A (ja) 映像信号処理装置、及び、映像信号処理方法
JP5296140B2 (ja) 三次元画像処理装置及びその制御方法
JP2011234387A (ja) 映像信号処理装置及び映像信号処理方法
JP2015039083A (ja) 映像処理装置、映像処理方法、送信装置および記憶媒体
JP2012142961A (ja) 画像出力装置及び画像出力方法