JP2005149127A - 撮像表示装置及び方法、画像送受信システム - Google Patents
撮像表示装置及び方法、画像送受信システム Download PDFInfo
- Publication number
- JP2005149127A JP2005149127A JP2003385549A JP2003385549A JP2005149127A JP 2005149127 A JP2005149127 A JP 2005149127A JP 2003385549 A JP2003385549 A JP 2003385549A JP 2003385549 A JP2003385549 A JP 2003385549A JP 2005149127 A JP2005149127 A JP 2005149127A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- imaging
- cameras
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
Abstract
【解決手段】 撮影対象を少なくとも3台のカメラ11〜18により互いに異なる視点から撮像し、各カメラ11〜18により撮像された各画像の法線方向を仮想的に設定された仮想平面の法線方向に合わせることにより補正処理を施し、この補正処理を施した各画像間において撮影対象と関連させつつ画素位置毎に対応付けを行い、仮想的に設置される仮想カメラにおける光学中心の各カメラ11〜18に対する相対的な位置関係を示す相対位置情報を生成し、互いに対応付けした画素位置並びにその輝度成分から上記生成した相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める。そして、上記表示部において、この仮想視点画像を構成する各画素位置における輝度成分に応じた光を上記画素位置に応じた出射方向へ出射させる。
【選択図】図1
Description
また、TV会議で互いの視線を一致させるべく、画面の左右に設置された2台のカメラで撮影した画像に基づいて3次元位置情報を生成する画像通信装置(例えば、特許文献7参照。)も提案されている。
MC(x,y)=dg(x,y)+α・dI(x,y)・・・・・・(1)
マッチング部29では、この求めたマッチングコスト関数MC(x,y)に基づいて、対応点を検出することになるが、かかる場合において対応付け精度を更に向上させるべく、各補正処理部20から入力される各画像に応じて、オクリュージョンコストを適切に調整するようにしてもよい。このオクリュージョンコストは、撮影対象に対するカメラ群10の距離、又は視差等を反映させたものである。
Pv(xv,yv)=α×P1(x1,y1)+β×P2(x2,y2)+γ×P3(x3,y3)・・・・・・・(2)
ここで、α,β,γは、それぞれ相対位置情報であり、αは、三角形C2C3Cvの面積/三角形C1C2C3の面積とし、βは、三角形C1C2Cvの面積/三角形C1C2C3の面積とし、γは、三角形C1C2Cvの面積/三角形C1C2C3の面積とする。ちなみに、α+β+γ=1である。
mv’(xv,yv)=α×Q1(x1,y1)+β×Q2(x2,y2)+γ×Q3(x3,y3)・・・・・・・(3)
ここで画素Cvを仮想カメラの光学中心に対応する画素とするとき、この式(3)に基づいて決定される画素Cvの輝度レベルmv’(xv,yv)は、仮想カメラの光学中心がカメラ11aの光学中心C1に近づくにつれてQ1(x1,y1)へ近づき、カメラ12aの光学中心C2に近づくにつれてQ2(x2,y2)へ近づき、更にカメラ13aの光学中心C3に近づくにつれてQ3(x3,y3)へ近づくことになる。即ち、輝度レベルmv’(xv,yv)を、仮想カメラの光学中心位置に応じて自在に決定することができるため、仮想視点画像Ima上に表示させるユーザaを構成する画素の輝度を自在に変化させることができる。
Claims (13)
- 各画素位置における輝度成分に応じた光をそれぞれ指定された出射方向へ出射することにより画像を表示する表示手段と、
上記表示手段の周囲に配設された少なくとも3台のカメラにより撮影対象を互いに異なる視点から撮像する撮像手段と、
少なくとも上記各カメラにより撮像された各画像の法線方向を一方向に合わせる画像補正手段と、
上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、
仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、
上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段と、
上記画像生成手段により求められた画素位置並びにその輝度成分により構成される仮想視点画像を他の電子機器へ送信し、又は当該他の電子機器により生成された仮想視点画像を受信する送受信手段と、
上記送受信手段により受信された仮想視点画像を構成する各画素位置に応じて上記表示手段における出射方向を指定する表示処理手段とを備えること
を特徴とする撮像表示装置。 - 上記画像補正手段は、上記撮像手段におけるカメラが4台以上含まれている場合には、上記情報生成手段により生成された相対位置情報に基づいて3台のカメラを選択し、選択した3台のカメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面の法線方向に合わせること
を特徴とする請求項1記載の撮像表示装置。 - 上記画像補正手段は、上記各カメラにより撮像された各画像を上記仮想平面へ射影するための射影変換行列を求め、求めた射影変換行列に基づいて上記各画像の法線方向を上記仮想平面の法線方向に合わせること
を特徴とする請求項2記載の撮像表示装置。 - 上記表示手段は、半球型突出面上に形成された表示素子からなり、
上記表示処理手段は、上記表示手段における表示素子の位置を指定することにより、上記出射方向を指定すること
を特徴とする請求項1記載の撮像表示装置。 - 少なくとも3台のカメラにより撮影対象を互いに異なる視点から撮像する撮像手段と、
少なくとも上記各カメラにより撮像された各画像の法線方向を一方向に合わせる画像補正手段と、
上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、
仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、
上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段と、
上記画像生成手段により求められた仮想視点画像を構成する各画素位置に応じて出射方向を指定する表示処理手段と、
各画素位置における輝度成分に応じた光を上記表示処理手段により指定された出射方向へ出射することにより上記仮想視点画像を表示する第2の表示手段とを備えること
を特徴とする撮像表示装置。 - 表示部の周囲に配設された少なくとも3台のカメラにより撮影対象を互いに異なる視点から撮像し、
少なくとも上記各カメラにより撮像した各画像の法線方向を一方向に合わせることにより補正し、
上記補正した各画像間において上記撮影対象と関連させつつ画素位置毎に対応付けを行い、
仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成し、
互いに対応付けした画素位置並びにその輝度成分から、上記生成した相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求め、
求めた画素位置並びにその輝度成分により構成される仮想視点画像をネットワークを介して送信し、
上記ネットワークを介して他の電子機器において生成された仮想視点画像を受信し、
上記受信した仮想視点画像を構成する各画素位置に応じて上記表示部における出射方向を指定し、
仮想視点画像を構成する各画素位置における輝度成分に応じた光を、上記表示部から上記指定した出射方向へ出射すること
を特徴とする撮像表示方法。 - 上記カメラが4台以上含まれている場合には、上記情報生成手段により生成された相対位置情報に基づいて3台のカメラを選択し、選択した3台のカメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面の法線方向に合わせること
を特徴とする請求項6記載の撮像表示方法。 - 上記各カメラにより撮像された各画像を上記仮想平面へ射影するための射影変換行列を求め、求めた射影変換行列に基づいて上記各画像の法線方向を上記仮想平面の法線方向に合わせること
を特徴とする請求項7記載の撮像表示方法。 - 上記表示部において半球型突出面上に形成された表示素子の位置を指定することにより、上記出射方向を指定すること
を特徴とする請求項6記載の撮像表示方法。 - 各撮像表示装置により撮像した画像をネットワークを介して双方向で送受信する画像送受信システムにおいて、
上記撮像処理装置は、
各画素位置における輝度成分に応じた光をそれぞれ指定された出射方向へ出射することにより画像を表示する表示手段と、
上記表示手段の周囲に配設された少なくとも3台のカメラにより撮影対象を互いに異なる視点から撮像する撮像手段と、
少なくとも上記各カメラにより撮像された各画像の法線方向を一方向に合わせる画像補正手段と、
上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、
仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、
上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段と、
上記画像生成手段により求められた画素位置並びにその輝度成分により構成される仮想視点画像を上記ネットワークを介して相手側の撮像表示装置へ送信し、又は相手側の撮像表示装置により生成された仮想視点画像を上記ネットワークを介して受信する送受信手段と、
上記送受信手段により受信された仮想視点画像を構成する各画素位置に応じて上記表示手段における出射方向を指定する表示処理手段とを有すること
を特徴とする画像送受信システム。 - 上記画像補正手段は、上記撮像手段におけるカメラが4台以上含まれている場合には、上記情報生成手段により生成された相対位置情報に基づいて3台のカメラを選択し、選択した3台のカメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面の法線方向に合わせること
を特徴とする請求項10記載の画像送受信システム。 - 上記画像補正手段は、上記各カメラにより撮像された各画像を上記仮想平面へ射影するための射影変換行列を求め、求めた射影変換行列に基づいて上記各画像の法線方向を上記仮想平面の法線方向に合わせること
を特徴とする請求項11記載の画像送受信システム。 - 上記表示手段は、半球型突出面上に形成された表示素子からなり、
上記表示処理手段は、上記表示手段における表示素子の位置を指定することにより、上記出射方向を指定すること
を特徴とする請求項10記載の画像送受信システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003385549A JP4595313B2 (ja) | 2003-11-14 | 2003-11-14 | 撮像表示装置及び方法、画像送受信システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003385549A JP4595313B2 (ja) | 2003-11-14 | 2003-11-14 | 撮像表示装置及び方法、画像送受信システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005149127A true JP2005149127A (ja) | 2005-06-09 |
JP4595313B2 JP4595313B2 (ja) | 2010-12-08 |
Family
ID=34693573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003385549A Expired - Fee Related JP4595313B2 (ja) | 2003-11-14 | 2003-11-14 | 撮像表示装置及び方法、画像送受信システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4595313B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010119852A1 (ja) * | 2009-04-14 | 2010-10-21 | 学校法人東京理科大学 | 任意視点画像合成装置 |
JP2010263542A (ja) * | 2009-05-11 | 2010-11-18 | National Institute Of Information & Communication Technology | 遠隔コミュニケーションシステム、制御装置、およびプログラム |
JP2010282295A (ja) * | 2009-06-02 | 2010-12-16 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
WO2011052064A1 (ja) * | 2009-10-30 | 2011-05-05 | キヤノン株式会社 | 情報処理装置および方法 |
JP2011165068A (ja) * | 2010-02-12 | 2011-08-25 | Nec System Technologies Ltd | 画像生成装置、画像表示システム、画像生成方法、及びプログラム |
WO2012042998A1 (ja) * | 2010-09-28 | 2012-04-05 | シャープ株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
WO2013105492A1 (en) | 2012-01-13 | 2013-07-18 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
WO2013105493A1 (en) | 2012-01-13 | 2013-07-18 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
WO2013105443A1 (ja) | 2012-01-13 | 2013-07-18 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びにコンピューター・プログラム |
CN110754078A (zh) * | 2017-06-16 | 2020-02-04 | 苹果公司 | 具有光通信能力的图像传感器 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0749944A (ja) * | 1993-08-04 | 1995-02-21 | Canon Inc | 画像処理方法およびその装置 |
JPH08147497A (ja) * | 1994-11-25 | 1996-06-07 | Canon Inc | 画像処理方法及びその装置 |
JPH09114979A (ja) * | 1995-10-18 | 1997-05-02 | Nippon Telegr & Teleph Corp <Ntt> | カメラシステム |
JP2000215311A (ja) * | 1999-01-21 | 2000-08-04 | Nippon Telegr & Teleph Corp <Ntt> | 仮想視点画像生成方法およびその装置 |
JP2000307949A (ja) * | 1999-02-19 | 2000-11-02 | Mr System Kenkyusho:Kk | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 |
JP2001034788A (ja) * | 1999-07-26 | 2001-02-09 | Nippon Telegr & Teleph Corp <Ntt> | 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体 |
JP2001052177A (ja) * | 1999-08-11 | 2001-02-23 | Univ Waseda | 画像処理装置および画像処理方法 |
JP2001067473A (ja) * | 1999-08-25 | 2001-03-16 | Nippon Telegr & Teleph Corp <Ntt> | 画像生成方法及びその装置 |
JP2002300602A (ja) * | 2001-04-02 | 2002-10-11 | Sony Corp | 窓状撮像表示装置及びそれを使う双方向通信方法 |
JP2003163929A (ja) * | 2002-08-23 | 2003-06-06 | Mitsubishi Electric Corp | 映像監視装置 |
-
2003
- 2003-11-14 JP JP2003385549A patent/JP4595313B2/ja not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0749944A (ja) * | 1993-08-04 | 1995-02-21 | Canon Inc | 画像処理方法およびその装置 |
JPH08147497A (ja) * | 1994-11-25 | 1996-06-07 | Canon Inc | 画像処理方法及びその装置 |
JPH09114979A (ja) * | 1995-10-18 | 1997-05-02 | Nippon Telegr & Teleph Corp <Ntt> | カメラシステム |
JP2000215311A (ja) * | 1999-01-21 | 2000-08-04 | Nippon Telegr & Teleph Corp <Ntt> | 仮想視点画像生成方法およびその装置 |
JP2000307949A (ja) * | 1999-02-19 | 2000-11-02 | Mr System Kenkyusho:Kk | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 |
JP2001034788A (ja) * | 1999-07-26 | 2001-02-09 | Nippon Telegr & Teleph Corp <Ntt> | 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体 |
JP2001052177A (ja) * | 1999-08-11 | 2001-02-23 | Univ Waseda | 画像処理装置および画像処理方法 |
JP2001067473A (ja) * | 1999-08-25 | 2001-03-16 | Nippon Telegr & Teleph Corp <Ntt> | 画像生成方法及びその装置 |
JP2002300602A (ja) * | 2001-04-02 | 2002-10-11 | Sony Corp | 窓状撮像表示装置及びそれを使う双方向通信方法 |
JP2003163929A (ja) * | 2002-08-23 | 2003-06-06 | Mitsubishi Electric Corp | 映像監視装置 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010119852A1 (ja) * | 2009-04-14 | 2010-10-21 | 学校法人東京理科大学 | 任意視点画像合成装置 |
JP2010263542A (ja) * | 2009-05-11 | 2010-11-18 | National Institute Of Information & Communication Technology | 遠隔コミュニケーションシステム、制御装置、およびプログラム |
JP2010282295A (ja) * | 2009-06-02 | 2010-12-16 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
WO2011052064A1 (ja) * | 2009-10-30 | 2011-05-05 | キヤノン株式会社 | 情報処理装置および方法 |
US8928755B2 (en) | 2009-10-30 | 2015-01-06 | Canon Kabushiki Kaisha | Information processing apparatus and method |
JP2011165068A (ja) * | 2010-02-12 | 2011-08-25 | Nec System Technologies Ltd | 画像生成装置、画像表示システム、画像生成方法、及びプログラム |
JP2012073702A (ja) * | 2010-09-28 | 2012-04-12 | Sharp Corp | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
WO2012042998A1 (ja) * | 2010-09-28 | 2012-04-05 | シャープ株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
WO2013105492A1 (en) | 2012-01-13 | 2013-07-18 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
WO2013105493A1 (en) | 2012-01-13 | 2013-07-18 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
WO2013105443A1 (ja) | 2012-01-13 | 2013-07-18 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びにコンピューター・プログラム |
CN110754078A (zh) * | 2017-06-16 | 2020-02-04 | 苹果公司 | 具有光通信能力的图像传感器 |
US11683455B2 (en) | 2017-06-16 | 2023-06-20 | Apple Inc. | Image sensor with optical communication capabilities |
Also Published As
Publication number | Publication date |
---|---|
JP4595313B2 (ja) | 2010-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7443314B2 (ja) | 3dテレプレゼンスシステム | |
JP4069855B2 (ja) | 画像処理装置及び方法 | |
JP5238429B2 (ja) | 立体映像撮影装置および立体映像撮影システム | |
CN101431617B (zh) | 用于合并视频以实时显示的方法和*** | |
US9060165B2 (en) | 3D video communication method, sending device and system, image reconstruction method and system | |
US20110025830A1 (en) | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation | |
JP2006114023A (ja) | 画像処理装置及び方法 | |
CN101636747A (zh) | 二维/三维数字信息获取和显示设备 | |
JPH0795467A (ja) | 画像処理装置 | |
Tang et al. | A system for real-time panorama generation and display in tele-immersive applications | |
CN102160388A (zh) | 三维显示设备和方法及程序 | |
JP4461739B2 (ja) | 撮像装置 | |
WO2011014421A2 (en) | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation | |
TWI788739B (zh) | 3d顯示設備、3d圖像顯示方法 | |
JP4595313B2 (ja) | 撮像表示装置及び方法、画像送受信システム | |
KR101801100B1 (ko) | 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법 | |
KR101158678B1 (ko) | 입체 영상 시스템 및 입체 영상 처리 방법 | |
JP4211097B2 (ja) | 受像機、その位置認識装置、その位置認識方法及び仮想画像立体合成装置 | |
JP2005142765A (ja) | 撮像装置及び方法 | |
CN116781874A (zh) | 显示方法、显示***和记录有程序的记录介质 | |
JP2007150536A (ja) | 立体映像撮影表示装置 | |
JP3081377B2 (ja) | 立体テレビ電話装置 | |
JP2011082935A (ja) | 画像処理装置 | |
JP4586447B2 (ja) | 画像処理装置及び方法、プログラム | |
KR100489213B1 (ko) | 입체영상용 뷰 파인더 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100518 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100824 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100906 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |