JP2004242049A - マルチカメラ映像合成表示装置 - Google Patents

マルチカメラ映像合成表示装置 Download PDF

Info

Publication number
JP2004242049A
JP2004242049A JP2003028995A JP2003028995A JP2004242049A JP 2004242049 A JP2004242049 A JP 2004242049A JP 2003028995 A JP2003028995 A JP 2003028995A JP 2003028995 A JP2003028995 A JP 2003028995A JP 2004242049 A JP2004242049 A JP 2004242049A
Authority
JP
Japan
Prior art keywords
camera
image
cameras
projectors
existing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003028995A
Other languages
English (en)
Other versions
JP4304997B2 (ja
Inventor
Isao Tazawa
功 田澤
Fumiko Kureyama
史子 紅山
Chigiri Utsugi
契 宇都木
Toshio Moriya
俊夫 守屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003028995A priority Critical patent/JP4304997B2/ja
Publication of JP2004242049A publication Critical patent/JP2004242049A/ja
Application granted granted Critical
Publication of JP4304997B2 publication Critical patent/JP4304997B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】複数のカメラで撮影した画像を複数のプロジェクタで表示する装置に関して,複数のカメラ画像を継ぎ目のない一つの高精細な画像として表示するための画像データ変換,表示機構を備えた映像表示装置を提供する。
【解決手段】複数のカメラを使用して被写体を撮影し,カメラと1対1に対応する複数のプロジェクタを使用してカメラ画像をスクリーンに投影し,一つの高解像度画像として表示する。
また,画像補正部を設け,カメラの姿勢や焦点距離が変更された場合に,レンズ歪の補正,およびカメラパラメータの推定を行う。推定したカメラパラメータ,プロジェクタのパラメータ,およびスクリーン形状に基づいて,各カメラの画像とそのカメラに対応付けられたプロジェクタの入力画像の変換テーブルを作成する。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は,複数カメラの画像を一つの高精細な画像として表示するための画像データ変換,表示機構を有する映像表示装置に関する。
【0002】
【従来の技術】
従来,複数のカメラ画像を表示する方法としては,(1)一つのディスプレイの画面を複数に分割する,もしくは複数のディスプレイを用いることにより各カメラ画像を個々に表示する方法や,(2)複数のカメラ画像を合成して一つの画像としてディスプレイやプロジェクタで表示する方法が提案されている(例えば下記非特許文献1,2参照)。
【0003】
【非特許文献1】甘利康文,”特集 画像電子技術年報 2−5防犯・監視画像技術”,画像電子学会誌,Vol.29,No.6,pp.703−707,2000.
【非特許文献2】星野准一ら,”観測・推定画像間の誤差最小化によるパノラマ動画像の生成”,信学論D−II,Vol.J81−D−II,No.11,pp.2565−2573,1998.
【0004】
【発明が解決しようとする課題】
上記従来技術(1)では,ディスプレイの枠やディスプレイの分割線により画像の継ぎ目が見えるという問題がある。また,上記従来技術(2)では,カメラ画像の継ぎ目が現れないように,カメラ画像の変換,合成を行う際に使用するカメラパラメータの高精度な推定方法の開発を装置ごとに行う必要がある。
【0005】
そこで,本発明では,複数のカメラで撮影した画像を複数のプロジェクタで表示する装置に関して,複数のカメラ画像を継ぎ目のない一つの高精細な画像として表示するための画像データ変換,表示機構を備えた映像表示装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するために,本発明では以下の手段を設ける。
(1) 複数のカメラを使用して被写体を撮影する撮影部と,複数のプロジェクタを使用してカメラ画像を表示する表示部により,映像表示装置を構成する。このとき,カメラとプロジェクタを1対1に対応付け,複数のプロジェクタの相対的な位置関係をカメラの相対的な位置関係と等しくする。各カメラの画像をそのカメラに対応するプロジェクタを使用してスクリーンに投影することにより,一つの高解像度画像として表示する。
(2) 画像補正部を設ける。画像補正部では,カメラの姿勢や焦点距離が変更された場合に,レンズ歪の補正,およびカメラパラメータの推定を行う。推定したカメラパラメータ,プロジェクタのパラメータ,およびスクリーン形状に基づいて,各カメラの画像と,対応するプロジェクタの入力画像の変換テーブルを作成する。この変換テーブルを用いて各カメラ画像をそのカメラに対応付けられた各プロジェクタの入力画像に変換する。
【0007】
【発明の実施の形態】
本発明は,複数のカメラを使用して撮影した画像を補正し,複数のプロジェクタにより一つの高精細な画像として表示する映像表示装置に関する。具体的には,下記の方法を実施するソフトウェア,またはハードウェアを作成することにより実現できる。
【0008】
図1は,本実施例における映像表示装置の構成図である。本装置は,複数のカメラ101a,101b,101c,101dとのインタフェース102,複数のプロジェクタ103a,103b,103c,103dとのインタフェース104,一連の処理を行うCPU105,プログラムやデータを格納するメモリ106,およびこれらを結合するバス107から構成される。図1ではカメラおよびプロジェクタの数を4としているが,任意の数とすることができる。ただし,カメラ101aから101dとプロジェクタ103aから103dを1対1に対応付け,カメラ101の相対的な位置関係とプロジェクタ103の相対的な位置関係が等しくなるようにカメラ101およびプロジェクタ103を設置する。そして,各カメラ101aから101dの画像をそのカメラに対応するプロジェクタ103aから103dを使用してスクリーンに投影する。
【0009】
図2は,映像表示装置における処理のブロック図である。撮影部201では,複数のカメラを使用して被写体を撮影する。画像補正部202では,2つの処理を行う。第1の処理はカメラ画像とプロジェクタの入力画像の対応関係を表す変換テーブルを作成する処理である。この処理は,カメラの姿勢やズームの倍率,ピントを変更した場合にのみ実行される処理である。第2の処理は変換テーブルによりカメラ画像をプロジェクタの入力画像に変換する処理である。この処理は,第1の処理により変換テーブルを作成後,カメラの姿勢やズームの倍率,ピントを変更せずに被写体を撮影している場合に実行される処理である。表示部203では,複数のプロジェクタを使用して複数のカメラ画像を一つの高精細な画像として表示する。
【0010】
以下,画像補正部202における処理の具体例を示す。ただし,第2の処理は変換テーブルを参照して各カメラ画像からプロジェクタの入力画像を作成するだけであるので,第1の処理についてのみ記述する。これらの処理は映像表示装置のメモリ106内に格納され,CPU105により実行される。
【0011】
図3は画像補正部202における第1の処理の具体的な手順である。以下,図3の番号をステップ番号として,画像補正部202における第1の処理手順を示す。
ステップ301:レンズ歪補正
格子模様を撮影し,各カメラ101について撮影画像上の格子が直線となる変換fを推定する。図4にレンズ歪補正の説明図を示す。画像401はレンズ歪補正前の格子模様の撮影画像,画像402はレンズ歪補正後の画像である。図4に示すように湾曲した格子模様が直線となる変換gを推定する。
ステップ302:内部パラメータ推定
各カメラ101の焦点距離f,および画素の縦横比kyを算出する。図5に内部パラメータ推定の説明図を示す。図5のように,カメラ101と被写体である格子模様501を正対させ,格子模様と撮影画像の外枠が平行となるように格子模様を撮影する。つぎにステップ301の補正を行ったカメラ画像502を作成する。カメラの光学中心位置から被写体までの距離Z,格子上の任意の二つの縦線A,B間の距離P,縦線A,Bに対応する画像502上の縦線間の距離Lを測定し,それらの相似関係から焦点距離fを算出する。また,縦方向と横方向の格子数が等しい画像502上の領域Cを選択し,その縦横比として画素の縦横比kyを算出する。
ステップ303:外部パラメータ推定
各カメラ101の姿勢を表す3×3の回転行列Rを算出する。図6に外部パラメータ推定の説明図を示す。図6に示すように格子模様を撮影し,ステップ301,302の補正を行ったカメラ画像601を作成する。撮影した格子模様の横方向および縦方向の消失点pv,phを算出し,それらを無限遠点に写像する行列として回転行列Rを算出する。ここで,横方向および縦方向の消失点とは,それぞれ撮影画像中の各横方向の直線の交点,および縦方向の直線の交点である。
ステップ304:画像変換テーブル作成
各カメラ101および対応するプロジェクタ103ごとに,カメラ画像上の各画素とプロジェクタ入力画像上の各画素の対応関係を記述したテーブルを作成する。具体的には,カメラの総視野角(すべてのカメラで撮影できる範囲),スクリーン108上の画像の視野角(スクリーン上の表示範囲),プロジェクタの内部および外部パラメータに基づいて,複数のカメラ101で撮影した画像が一つの画像としてスクリーン108全体に表示されるように変換テーブルを作成する。
【0012】
以上のように,複数のカメラとプロジェクタを1対1に対応付け,あらかじめ作成した各カメラ画像および入力画像の変換テーブルによりカメラ画像の変換,表示を行うことにより,複数のカメラ画像を継ぎ目のない一つの高精細な画像として一度に表示可能である。
【0013】
【発明の効果】
本発明によれば,複数のカメラと複数のプロジェクタを1対1に対応付け,カメラパラメータ,プロジェクタのパラメータ,およびスクリーン形状に基づいて,各カメラ画像をそのカメラに対応付けられたプロジェクタの入力画像に変換することにより,複数のカメラで撮影した画像を継ぎ目のない一つの高精細な画像として表示できる映像表示装置を提供することができる。
【図面の簡単な説明】
【図1】映像表示装置の構成図。
【図2】映像表示装置における処理のブロック図。
【図3】画像補正部における処理手順。
【図4】レンズ歪補正の説明図。
【図5】内部パラメータ推定の説明図。
【図6】外部パラメータ推定の説明図。
【符号の説明】
101a,101b,101c,101c:カメラ
102:入力インタフェース
103a,103b,103c,103c:プロジェクタ
104:出力インタフェース
105:CPU
106:メモリ
108:映像表示用スクリーン
201:撮影部
202:画像補正部
203:表示部
401:レンズ歪補正前のカメラ画像
402:レンズ歪補正後のカメラ画像
502:格子模様とカメラを正対させて撮影し,レンズ歪の補正を実行したカメラ画像
601:レンズ歪,および内部パラメータの補正を実行したカメラ画像

Claims (2)

  1. 複数のカメラを使用して被写体を撮影する撮影部と,複数のプロジェクタを使用してカメラ画像を表示する表示部から成る映像表示装置において,複数の既カメラと既プロジェクタを1対1に対応付け,既カメラの相対的な位置関係と既プロジェクタの相対的な位置関係を等しくし,各既カメラで撮影したカメラ画像をその既カメラと対応付けられた既プロジェクタを使用してスクリーンに投影することを特徴とするマルチカメラ映像合成表示装置。
  2. 請求項1において画像補正部を設け,既画像補正部では,既カメラの姿勢や焦点距離が変更された場合に,レンズ歪の補正,およびカメラパラメータの推定を行い,既カメラパラメータ,プロジェクタのパラメータ,およびスクリーン形状に基づいて,各既カメラ画像とその既カメラに対応付けられた既プロジェクタの入力画像の変換テーブルを作成し,既変換テーブルを用いて各既カメラ画像を既プロジェクタの既入力画像に変換する
    ことを特徴とするマルチカメラ映像合成表示装置。
JP2003028995A 2003-02-06 2003-02-06 マルチカメラ映像合成表示装置 Expired - Fee Related JP4304997B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003028995A JP4304997B2 (ja) 2003-02-06 2003-02-06 マルチカメラ映像合成表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003028995A JP4304997B2 (ja) 2003-02-06 2003-02-06 マルチカメラ映像合成表示装置

Publications (2)

Publication Number Publication Date
JP2004242049A true JP2004242049A (ja) 2004-08-26
JP4304997B2 JP4304997B2 (ja) 2009-07-29

Family

ID=32956292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003028995A Expired - Fee Related JP4304997B2 (ja) 2003-02-06 2003-02-06 マルチカメラ映像合成表示装置

Country Status (1)

Country Link
JP (1) JP4304997B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101314731B1 (ko) 2012-11-09 2013-10-14 (주) 지쓰리스튜디오 다중 빔프로젝터 기반의 에지 블렌딩 시스템 및 에지 블렌딩 방법
JP2017135495A (ja) * 2016-01-26 2017-08-03 株式会社日立製作所 ステレオカメラおよび撮像システム
CN110084860A (zh) * 2019-05-24 2019-08-02 深圳市速杰电子有限公司 一种投影仪镜头畸变矫正***及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024143769A1 (ko) * 2022-12-27 2024-07-04 삼성전자주식회사 투사 영역들의 결합의 종횡 비와 관련된 시각적 객체를 표시하기 위한 전자 장치 및 그 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07270124A (ja) * 1994-03-30 1995-10-20 Nippon Telegr & Teleph Corp <Ntt> 撮像系パラメータ測定法とその装置
JPH07284089A (ja) * 1994-04-11 1995-10-27 Fujita Corp 多画面表示装置
WO1997031484A1 (fr) * 1996-02-23 1997-08-28 Kabushiki Kaisha Yokota Seisakusho Systeme de reconnaissance optique large champ
JPH09275538A (ja) * 1996-04-04 1997-10-21 Sony Corp 液晶プロジェクタ装置
JP2000310826A (ja) * 1999-02-23 2000-11-07 Matsushita Electric Works Ltd 仮想環境体験表示装置
JP2000350239A (ja) * 1999-06-08 2000-12-15 Sony Corp カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ
JP2002027507A (ja) * 2000-07-13 2002-01-25 Sony Corp カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
JP2002278507A (ja) * 2001-03-19 2002-09-27 Ricoh Co Ltd 画像処理装置および画像表示装置
JP2002290966A (ja) * 2001-03-28 2002-10-04 Victor Co Of Japan Ltd 複合画像表示システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07270124A (ja) * 1994-03-30 1995-10-20 Nippon Telegr & Teleph Corp <Ntt> 撮像系パラメータ測定法とその装置
JPH07284089A (ja) * 1994-04-11 1995-10-27 Fujita Corp 多画面表示装置
WO1997031484A1 (fr) * 1996-02-23 1997-08-28 Kabushiki Kaisha Yokota Seisakusho Systeme de reconnaissance optique large champ
JPH09275538A (ja) * 1996-04-04 1997-10-21 Sony Corp 液晶プロジェクタ装置
JP2000310826A (ja) * 1999-02-23 2000-11-07 Matsushita Electric Works Ltd 仮想環境体験表示装置
JP2000350239A (ja) * 1999-06-08 2000-12-15 Sony Corp カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ
JP2002027507A (ja) * 2000-07-13 2002-01-25 Sony Corp カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
JP2002278507A (ja) * 2001-03-19 2002-09-27 Ricoh Co Ltd 画像処理装置および画像表示装置
JP2002290966A (ja) * 2001-03-28 2002-10-04 Victor Co Of Japan Ltd 複合画像表示システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101314731B1 (ko) 2012-11-09 2013-10-14 (주) 지쓰리스튜디오 다중 빔프로젝터 기반의 에지 블렌딩 시스템 및 에지 블렌딩 방법
JP2017135495A (ja) * 2016-01-26 2017-08-03 株式会社日立製作所 ステレオカメラおよび撮像システム
WO2017130650A1 (ja) * 2016-01-26 2017-08-03 株式会社日立製作所 ステレオカメラおよび撮像システム
US10652521B2 (en) 2016-01-26 2020-05-12 Hitachi, Ltd. Stereo camera and image pickup system
CN110084860A (zh) * 2019-05-24 2019-08-02 深圳市速杰电子有限公司 一种投影仪镜头畸变矫正***及方法

Also Published As

Publication number Publication date
JP4304997B2 (ja) 2009-07-29

Similar Documents

Publication Publication Date Title
EP1813105B1 (en) Methods and systems for producing seamless composite images without requiring overlap of source images
TWI242373B (en) Image processing system, projector and image processing method
US20180213218A1 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
US20130058589A1 (en) Method and apparatus for transforming a non-linear lens-distorted image
JP2005347813A (ja) 画像変換方法および画像変換装置、並びにマルチプロジェクションシステム
JP2009124685A (ja) 複数のビデオを結合してリアルタイムで表示する方法及びシステム
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
US7224392B2 (en) Electronic imaging system having a sensor for correcting perspective projection distortion
JP2008288714A (ja) 映像投影システム
KR20160051473A (ko) 영상 정합 알고리즘을 설정하는 방법
KR100614004B1 (ko) 자동화된 360°파노라마 이미지 생성 방법
US8019180B2 (en) Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
JP2004135209A (ja) 広視野高解像度映像の生成装置及び方法
JP2002014611A (ja) プラネタリウムのまたは球面スクリーンへのビデオ投映方法と装置
KR101725024B1 (ko) 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법
JP2006285482A (ja) 映像ジオメトリ補正装置
US8149260B2 (en) Methods and systems for producing seamless composite images without requiring overlap of source images
JP2003348500A (ja) 投射画像の調整方法、画像投射方法および投射装置
CN104363421B (zh) 实现多角度摄像头监控效果的方法和装置
KR20170128739A (ko) 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법
JP4304997B2 (ja) マルチカメラ映像合成表示装置
JPH0514751A (ja) パノラマ画像取り込み装置
WO2018087856A1 (ja) 映像合成装置及び映像合成方法
CN110796690B (zh) 图像匹配方法和图像匹配装置
JP6751426B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051219

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090407

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090420

R151 Written notification of patent or utility model registration

Ref document number: 4304997

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees