JP4671873B2 - 合成映像生成システム - Google Patents
合成映像生成システム Download PDFInfo
- Publication number
- JP4671873B2 JP4671873B2 JP2006013448A JP2006013448A JP4671873B2 JP 4671873 B2 JP4671873 B2 JP 4671873B2 JP 2006013448 A JP2006013448 A JP 2006013448A JP 2006013448 A JP2006013448 A JP 2006013448A JP 4671873 B2 JP4671873 B2 JP 4671873B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint position
- video
- line
- information
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
北原,佐藤,大田,"多眼ステレオ法を用いた運動視差の再現可能な3次元画像表示―表示画像の生成と評価―",テレビジョン学会誌,Vol.50,No.9,(1996) プリム,藤井,谷本,"自由視点テレビのためのリアルタイムシステム",信学技報,IE2002−120(2002)
また、予め定めた標準的な視点位置・視線方向の情報を映像データに付加することで、利用者が入力した視点位置・視線方向が適切ではない場合に、その代わりに標準的な視点位置・視線方向の情報を用いて任意視点映像を合成することができる。さらに、利用者による視点位置・視線方向の入力が無い場合にも、標準的な視点位置・視線方向の情報を用いて任意視点映像を合成することができる。
また、視点位置・視線方向の入力装置を持ちこれにフォースフィードバック機構を付加することで、利用者が入力した視点位置・視線方向が適切ではない場合に、利用者に物理的な刺激を与えることでそれを知らせることができる。
本発明の第1の実施例を以下に説明する。第1の実施例は、テレビ放送に本特許を適用する場合の適用例を示すものである。
図1は、本発明の合成映像生成システムの第1の実施例を説明する図で、合成映像システムの放送局側システムのブロック図を示すものである。放送局側のシステムは、カメラ101、カメラパラメータ記録部102、仮想カメラ位置・方向の制限・許可情報記録部103、データ多重化処理部104、および送信部105を有している。
カメラパラメータ記録部102は、カメラパラメータを保持しておく部分である。カメラパラメータには、各カメラの焦点距離やレンズの歪みの情報などのいわゆる内部パラメータと、カメラ間の相対的な位置関係を表す外部パラメータがある。これらのカメラパラメータは、任意視点映像を合成する段階で必要となる。
送信部105は、放送電波にこの多重化ストリームを乗せる。
なお、この処理はあくまで一例である。この他にも、カメラ101からの映像を圧縮してから多重化する方法や、各データを多重化しないで複数のストリームの形のまま送信する方法も考えられる。
直方体111の6つの平面は、以下の6つの数式で記述される。
x=x1 (2)
y=0 (3)
y=y1 (4)
z=0 (5)
z=z1 (6)
で得る。
x>0 (7)
x<x1 (8)
y>0 (9)
y<y1 (10)
z>0 (11)
z<z1 (12)
例えば、(x1,y1,z1)=(1,1,1)とするとき、座標が(x,y,z)=(0.5,0.5,0.5)という点は、式(7)ないし式(12)の全ての不等式に合致するため、直方体111の内部領域に位置することがわかる。このため、この点には仮想カメラの視点位置は移動できない。また例えば、座標が(x,y,z)=(1.5,0.5,0.5)という点は、式(8)には当てはまらないため、直方体111の外部領域に位置することがわかる。このため、この点には仮想カメラの視点位置は移動可能である。
x<0 (13)
x>x1 (14)
y<0 (15)
y>y1 (16)
z<0 (17)
z>z1 (18)
また例えば、座標が(x,y,z)=(0.5,0.5,0.5)という点は、式(13)ないし式(18)の全ての不等式に当てはまらないため、直方体111の内部領域に位置することがわかる。このため、この点には仮想カメラの視点位置は移動できない。
上記の例のように、仮想カメラの位置の制限・許可情報を記述し、判定することが実現可能である。
また、この他にも、例えば球面のように数式で記述できる曲面により領域を定義する方法や、1つ以上のポリゴンによって領域を定義する方法も考えられる。本発明ではこれら全ての方法を、仮想カメラの視点位置の制限・許可情報の記述方法として用いることが可能である。
またさらに、上記の領域記述方法は一例であり、その他の領域記述方法を用いた場合にも本発明を適用できる。
まず、仮想カメラの視線方向の制限の条件として、カメラの視線方向123が成す直線が球112の内部のいずれかの領域を通過するような視線方向を禁止する場合を考える。
よって、カメラの視線方向123が成す直線と球112の中心との距離が半径Rより小さくなるような視線方向は禁止される。なお、この制限の条件は、カメラの視線方向123が成す直線が球112の内部のいずれの領域も通過しないような視線方向を許可する条件と等しい。
上記の例のように、仮想カメラの視線方向の制限・許可情報を記述し、判定することが実現可能である。
なお、上記の仮想カメラの視線方向の制限・許可情報の記述方法は一例であり、その他の記述方法を用いた場合にも本発明を適用できる。
多重化データ分離処理部202は、多重化ストリームを分離し、映像データ、カメラパラメータ、および仮想カメラの視点位置や視線方向の制限・許可情報を得る。映像データおよびカメラパラメータは任意視点映像生成部203に送られ、仮想カメラの視点位置や視線方向の制限・許可情報は仮想カメラ位置・方向判定部204に送られる。
仮想カメラ位置・方向判定部204は、入力装置206より入力された仮想カメラの視点位置・視線方向の情報と、多重化データ分離処理部202より送られてきた仮想カメラの視点位置や視線方向の制限・許可情報から制御情報を生成し、任意視点映像生成部203へその制御情報を送る。また、入力装置206がフォースフィードバック機構を持つ場合は、その制御を行う。その手順の例については、後で述べる。
表示部205は、任意視点映像生成部203で生成された映像を表示する装置である。一般的な2次元ディスプレイである場合や、立体視が可能な3次元ディスプレイである場合が考えられる。
まず、入力装置206から仮想カメラの視点位置・視線方向データを取得する(S1)。そして取得した視点位置・視線方向が、仮想カメラの視点位置や視線方向の制限情報によって定められる制限条件に合致するかを判定する(S2)。
S3の判定に合致する場合(Yesの場合)は、視点位置・視線方向データを、任意視点映像生成部203に送る(S4)。
その後、仮想カメラの視点位置や視線方向の制限・許可情報を満たすように、入力装置206から取得した視点位置・視線方向から視点位置・視線方向をずらしたデータを作成する(S6)。そして生成した新たな視点位置・視線方向データを、任意視点映像生成部203に送る(S4)。
その後、仮想カメラの視点位置や視線方向の制限・許可情報を満たすように、入力装置206から取得した視点位置・視線方向から視点位置・視線方向をずらしたデータを作成する(S6)。そして生成した視点位置・視線方向データを、任意視点映像生成部203に送る(S4)。
なお、上記の方法は一例であり、その他の方法を用いた場合も本発明を適用できる。
本発明の第2の実施例を以下に説明する。第2の実施例は、テレビ放送に本発明を適用する場合の別の適用例を示すものである。
図7は、本発明の合成映像生成システムの第2の実施例を説明する図で、合成映像システムの放送局側システムのブロック図を示すものである。本実施例の放送局側のシステムは、図1の構成とほぼ同一であるが、標準視点位置・視線方向情報記録部106が追加されている。
多重化データ分離処理部202では、多重化ストリームを分離し、映像データおよびカメラパラメータ、仮想カメラの視点位置や視線方向の制限・許可情報、および任意視点映像を合成する場合の標準的な視点位置・視線方向の情報を得る。映像データおよびカメラパラメータは任意視点映像生成部203に送られ、仮想カメラの視点位置や視線方向の制限・許可情報および任意視点映像を合成する場合の標準的な視点位置・視線方向の情報は仮想カメラ位置・方向判定部204に送られる。
Claims (3)
- 複数の異なる視点位置および視線方向からの映像を合成して任意の仮想的な視点位置および視線方向での映像を合成する合成映像生成システムにおいて、
映像を合成する際の仮想的な視点位置に対する制限情報、映像を合成する際の仮想的な視点位置に対する許可情報、映像を合成する際の仮想的な視線方向に対する制限情報、映像合成する際の仮想的な視線方向に対する許可情報のいずれかまたは複数を映像データに付加して伝送および記録するとともに、
映像を合成する際の仮想的な視点位置および視線方向について、予め定めた標準的な視点位置・視線方向の情報を、前記映像データに付加して伝送および記録し、
データの受信側または再生側において入力装置を有し、該入力装置によって仮想的な視点位置・視線方向の入力を受け付け、
前記入力装置による前記仮想的な視点位置・視線方向の入力が一定時間行われなかった場合に、前記標準的な視点位置・視線方向の情報に従って映像を合成するよう自動的に切り替えることを特徴とする合成映像生成システム。 - 前記標準的な視点位置・視線方向の情報に従って映像を合成している際に、前記入力装置による前記仮想的な視点位置・視線方向の入力が行われた場合に、該入力された仮想的な視点位置・視線方向に従って映像を合成するよう自動的に切り替えることを特徴とする請求項1記載の合成映像生成システム。
- 前記入力装置によって入力された前記仮想的な視点位置・視線方向を、前記映像データに付加された前記制限情報および/または前記許可情報に従って判定および処理し、前記仮想的な視点位置・視線方向が前記制限情報に合致する場合、または前記許可情報に合致しない場合には、前記入力装置によって入力された前記仮想的な視点位置・視線方向を用いず、前記標準的な視点位置・視線方向の情報を用いて画像を生成することを特徴とする請求項1または2記載の合成映像生成システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006013448A JP4671873B2 (ja) | 2006-01-23 | 2006-01-23 | 合成映像生成システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006013448A JP4671873B2 (ja) | 2006-01-23 | 2006-01-23 | 合成映像生成システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007195091A JP2007195091A (ja) | 2007-08-02 |
JP4671873B2 true JP4671873B2 (ja) | 2011-04-20 |
Family
ID=38450402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006013448A Expired - Fee Related JP4671873B2 (ja) | 2006-01-23 | 2006-01-23 | 合成映像生成システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4671873B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021059669A1 (ja) | 2019-09-25 | 2021-04-01 | ソニー株式会社 | 情報処理装置、映像の生成方法及びプログラム |
US11526267B2 (en) | 2017-11-30 | 2022-12-13 | Canon Kabushiki Kaisha | Setting apparatus, setting method, and storage medium |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5131848B2 (ja) * | 2008-09-18 | 2013-01-30 | Kddi株式会社 | 画像表示装置、視点誘導方法及びプログラム |
JP2011151773A (ja) * | 2009-12-21 | 2011-08-04 | Canon Inc | 映像処理装置及び制御方法 |
JP5558862B2 (ja) * | 2010-02-22 | 2014-07-23 | キヤノン株式会社 | 映像処理装置及びその制御方法 |
WO2011121920A1 (ja) * | 2010-03-30 | 2011-10-06 | パナソニック株式会社 | 撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法 |
KR102024863B1 (ko) * | 2012-07-12 | 2019-09-24 | 삼성전자주식회사 | 가상 세계 처리 장치 및 방법 |
JP2015187797A (ja) * | 2014-03-27 | 2015-10-29 | シャープ株式会社 | 画像データ生成装置および画像データ再生装置 |
JP6482498B2 (ja) * | 2016-05-25 | 2019-03-13 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
CN109074678B (zh) * | 2016-12-30 | 2021-02-05 | 华为技术有限公司 | 一种信息的处理方法及装置 |
JP2018182428A (ja) * | 2017-04-06 | 2018-11-15 | 株式会社フューチャリズムワークス | 映像配信装置、映像配信システム及び映像配信方法 |
JP6878177B2 (ja) * | 2017-07-04 | 2021-05-26 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7046567B2 (ja) * | 2017-11-13 | 2022-04-04 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7109907B2 (ja) | 2017-11-20 | 2022-08-01 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP7045218B2 (ja) | 2018-02-28 | 2022-03-31 | キヤノン株式会社 | 情報処理装置および情報処理方法、プログラム |
JP7091133B2 (ja) * | 2018-05-09 | 2022-06-27 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7254464B2 (ja) * | 2018-08-28 | 2023-04-10 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
JP7245013B2 (ja) * | 2018-09-06 | 2023-03-23 | キヤノン株式会社 | 制御装置及び制御方法 |
JP6632703B2 (ja) * | 2018-12-27 | 2020-01-22 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
JP7418101B2 (ja) * | 2019-07-26 | 2024-01-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7395296B2 (ja) * | 2019-09-17 | 2023-12-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7458735B2 (ja) | 2019-10-01 | 2024-04-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006013978A (ja) * | 2004-06-28 | 2006-01-12 | Sharp Corp | テレビ放送送信機、テレビ放送受信機、ブロードキャスト番組参加システム、及び方法 |
-
2006
- 2006-01-23 JP JP2006013448A patent/JP4671873B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006013978A (ja) * | 2004-06-28 | 2006-01-12 | Sharp Corp | テレビ放送送信機、テレビ放送受信機、ブロードキャスト番組参加システム、及び方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11526267B2 (en) | 2017-11-30 | 2022-12-13 | Canon Kabushiki Kaisha | Setting apparatus, setting method, and storage medium |
WO2021059669A1 (ja) | 2019-09-25 | 2021-04-01 | ソニー株式会社 | 情報処理装置、映像の生成方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2007195091A (ja) | 2007-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4671873B2 (ja) | 合成映像生成システム | |
Domański et al. | Immersive visual media—MPEG-I: 360 video, virtual navigation and beyond | |
US10645369B2 (en) | Stereo viewing | |
US10523915B2 (en) | Stereoscopic video and audio recording method, stereoscopic video and audio reproducing method, stereoscopic video and audio recording apparatus, stereoscopic video and audio reproducing apparatus, and stereoscopic video and audio recording medium | |
JP5328082B2 (ja) | 映像送信及び受信方法と装置、及びその伝送ストリーム構造 | |
JP5429034B2 (ja) | 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 | |
US20150007225A1 (en) | Apparatus, systems and methods for shared viewing experience using head mounted displays | |
US20060279750A1 (en) | Apparatus and method for converting image display mode | |
US20110254934A1 (en) | Display apparatus, 3d glasses, and display system including the same | |
US20170339469A1 (en) | Efficient distribution of real-time and live streaming 360 spherical video | |
CN104335243A (zh) | 处理全景画面 | |
CN105847778B (zh) | 360°多视点3d全息视频采集方法、设备及实现方法 | |
JP5682149B2 (ja) | 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 | |
WO2012026342A1 (ja) | 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 | |
JP2011151773A (ja) | 映像処理装置及び制御方法 | |
JP5520146B2 (ja) | 映像受信装置、及びその制御方法 | |
JP2004200814A (ja) | 立体映像生成方法及び立体映像生成装置 | |
CN111684823B (zh) | 发送装置、发送方法、处理装置以及处理方法 | |
JP6016860B2 (ja) | 立体映像配信システム、立体映像配信方法、立体映像配信装置 | |
JP2011228821A (ja) | 多視点画像符号化装置 | |
KR102178947B1 (ko) | 스티칭 기법을 이용한 360도 멀티뷰 영상 전송 시스템 및 방법 | |
JP2014175813A (ja) | 立体映像表示方法および装置 | |
JP2004507947A (ja) | 立体ビデオキャプチャ装置および3次元用ビューファインダを有するデュアル受信機 | |
EA037243B1 (ru) | Способ передачи и приема информации |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110118 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4671873 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140128 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |