JP4998422B2 - 画像生成装置、方法、通信システム及びプログラム - Google Patents
画像生成装置、方法、通信システム及びプログラム Download PDFInfo
- Publication number
- JP4998422B2 JP4998422B2 JP2008245766A JP2008245766A JP4998422B2 JP 4998422 B2 JP4998422 B2 JP 4998422B2 JP 2008245766 A JP2008245766 A JP 2008245766A JP 2008245766 A JP2008245766 A JP 2008245766A JP 4998422 B2 JP4998422 B2 JP 4998422B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- viewpoint
- images
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Description
複数の画像と、該複数の画像に含まれる2つの画像で構成される組に関連付けられており、関連付けられた2つの画像内の画素の対応関係を示す視差マップを保存する保存手段と、前記複数の画像と視差マップに基づき、指定された視点の画像である第1の画像を生成する視点画像生成手段とを備えていることを特徴とする。
視点画像生成手段は、第1の画像の第1の画素の画素値を決定するため、前記画像の組から、組の2つの画像の視点間を視点とする画像に、第1の画素と光線空間において同一位置の画素を含む画像を有する組を選択し、選択した組の画像である第2の画像及び第3の画像と、選択した組に関連付けられた視差マップに基づき、第1の画素に対応する、第2の画像の第2の画素及び第3の画像の第3の画素を判定し、第2の画素及び第3の画素に基づき第1の画素の画素値を決定することも好ましい。
視点画像生成手段は、組の2つの画像の視点間を視点とする画像に、第1の画素と光線空間において同一位置の画素を含む画像を有する組が複数ある場合、前記指定された視点及び被写体の位置に基づき、1つの組を選択し、選択した組に基づき第1の画素の画素値を決定することも好ましい。
視差マップは、関連付けられた2つの画像の視点間の視点である視差マップ視点に対応して1つ以上設けられており、視差マップは、それぞれ、当該視差マップ視点での画像の画素に対応する、関連付けられた2つの画像内の画素を示し、視点画像生成手段は、第2の画像及び第3の画像の組に関連付けられた視差マップが複数ある場合、1つの視差マップを選択して前記第2の画素及び第3の画素を判定し、前記選択する視差マップは、当該視差マップ視点が、選択した組に含まれる画像の視点間にある、前記第1の画素と光線空間において同一位置の画素を有する画像の視点に最も近いものであることも好ましい。
複数の画像と、該複数の画像の各画素の位置情報を示す奥行きマップを保存する保存手段と、前記複数の画像と奥行きマップに基づき、指定された視点の画像である第1の画像を生成する視点画像生成手段とを備えていることを特徴とする。
視点画像生成手段は、第1の画像の第1の画素の画素値を決定するため、前記画像の組から、組の2つの画像の視点間を視点とする画像に、第1の画素と光線空間において同一位置の画素を含む画像を有する組を選択し、選択した組の画像である第2の画像及び第3の画像と、奥行きマップに基づき、第1の画像の第1の画素に対応する、第2の画像の第2の画素及び第3の画像の第3の画素を判定し、第2の画素及び第3の画素に基づき第1の画素の画素値を決定することも好ましい。
上記画像生成装置としてコンピュータを機能させることを特徴とする。
複数の画像と、該複数の画像に含まれる2つの画像で構成される組に関連付けられた視差マップを保存する画像生成装置と、前記画像生成装置と通信網経由で通信が可能であり、生成する第1の画像の視点を画像生成装置に通知する端末装置とを備えた通信システムであって、前記視差マップは、関連付けられた2つの画像内の画素の対応関係を示すことを特徴とする。
画像生成装置は、第1の画像の第1の画素の画素値を端末装置において生成させるため、前記画像の組から1つの組を選択し、選択した組の画像である第2の画像及び第3の画像と、選択した組に関連付けられた視差マップを端末装置に送信し、端末装置は、受信した視差マップに基づき、第1の画素に対応する、第2の画像の第2の画素及び第3の画像の第3の画素を判定し、第2の画素及び第3の画素に基づき第1の画素の画素値を決定し、画像生成装置が選択する組は、その視点間を視点とする画像に、第1の画素と光線空間において同一位置の画素を含む画像を有する組であることも好ましい。
複数の画像と、該複数の画像に含まれる2つの画像で構成される組に関連付けられた視差マップを保存する画像生成装置における画像生成方法であって、前記視差マップは、関連付けられた2つの画像内の画素の対応関係を示し、視点入力部が、生成する第1の画像の視点を取得するステップと、視点画像生成部が、取得した視点、前記複数の画像及び視差マップに基づき、第1のが画像を生成するステップとを備えていることを特徴とする。
前記画像を生成するステップは、前記第1の画像の第1の画素と、光線空間において同一位置の画素を有する画像の視点の両側を視点とする前記画像の組を求めるステップと、視点画像生成部が、求めた組の画像である第2の画像及び第3の画像と、求めた組に関連付けられた視差マップに基づき、第1の画素に対応する、第2の画像の第2の画素及び第3の画像の第3の画素を判定し、第2の画素及び第3の画素に基づき第1の画素の画素値を決定するステップとを備えていることも好ましい。
画素94の画素値=a×画素54の画素値+(1−a)×画素64の画素値
ここで、aは、0<a<1であり、視点500と視点600の距離に対する視点900と視点600の距離に依存する値である。なお、画素94を通る直線が複数ある場合には、例えば、傾きの最も小さい直線を選択して上記式を適用する。また、画素94を通る直線が1本も存在しない場合には、画素94に一番近い位置を通過する直線を選択して上記式を適用する。
2 視差マップ生成部
3 事前画像生成部
4 送信処理部
5 視点入力部
6 視点画像生成部
7 視点送信部
10 直線
12、13、14、41、42、43、44 画像
11、16、17 円周
15、48、500、600、700、800、900 視点
21、22 対象物
23、49 点
31 前処理部
32 第1補間画像生成部
33 第2補間画像視点決定部
34 第2補間画像生成部
40、45、46 視点画像
47 面
24、25、26、27 光線
51〜56、61〜65、73、75、85、94 画素
100 カメラ
Claims (11)
- 被写体が存在しない位置を視点とする補間画像を生成する第1補間画像生成手段と、
被写体が存在する位置を視点とする補間画像を生成する第2補間画像生成手段と、
撮影画像と前記補間画像を含む複数の画像と、該複数の画像に含まれる2つの画像で構成される組に関連付けられており、関連付けられた2つの画像内の画素の対応関係を示す視差マップを保存する保存手段と、
前記複数の画像と視差マップに基づき、指定された視点の画像である第1の画像を生成する視点画像生成手段と、
を備えている画像生成装置。 - 視点画像生成手段は、第1の画像の第1の画素の画素値を決定するため、前記画像の組から、組の2つの画像の視点間を視点とする画像に、第1の画素と光線空間において同一位置の画素を含む画像を有する組を選択し、選択した組の画像である第2の画像及び第3の画像と、選択した組に関連付けられた視差マップに基づき、第1の画素に対応する、第2の画像の第2の画素及び第3の画像の第3の画素を判定し、第2の画素及び第3の画素に基づき第1の画素の画素値を決定する、
請求項1に記載の画像生成装置。 - 視点画像生成手段は、組の2つの画像の視点間を視点とする画像に、第1の画素と光線空間において同一位置の画素を含む画像を有する組が複数ある場合、前記指定された視点及び被写体の位置に基づき、1つの組を選択し、選択した組に基づき第1の画素の画素値を決定する、
請求項2に記載の画像生成装置。 - 視差マップは、関連付けられた2つの画像の視点間の視点である視差マップ視点に対応して1つ以上設けられており、
視差マップは、それぞれ、当該視差マップ視点での画像の画素に対応する、関連付けられた2つの画像内の画素を示し、
視点画像生成手段は、第2の画像及び第3の画像の組に関連付けられた視差マップが複数ある場合、1つの視差マップを選択して前記第2の画素及び第3の画素を判定し、
前記選択する視差マップは、当該視差マップ視点が、選択した組に含まれる画像の視点間にある、前記第1の画素と光線空間において同一位置の画素を有する画像の視点に最も近いものである、
請求項2又は3に記載の画像生成装置。 - 被写体が存在しない位置を視点とする補間画像を生成する第1補間画像生成手段と、
被写体が存在する位置を視点とする補間画像を生成する第2補間画像生成手段と、
撮影画像と前記補間画像を含む複数の画像と、該複数の画像の各画素の位置情報を示す奥行きマップを保存する保存手段と、
前記複数の画像と奥行きマップに基づき、指定された視点の画像である第1の画像を生成する視点画像生成手段と、
を備えている、
画像生成装置。 - 視点画像生成手段は、第1の画像の第1の画素の画素値を決定するため、前記画像の組から、組の2つの画像の視点間を視点とする画像に、第1の画素と光線空間において同一位置の画素を含む画像を有する組を選択し、選択した組の画像である第2の画像及び第3の画像と、奥行きマップに基づき、第1の画像の第1の画素に対応する、第2の画像の第2の画素及び第3の画像の第3の画素を判定し、第2の画素及び第3の画素に基づき第1の画素の画素値を決定する、
請求項5に記載の画像生成装置。 - 請求項1から6のいずれか1項に記載の画像生成装置としてコンピュータを機能させるプログラム。
- 被写体が存在しない位置を視点とする補間画像を生成する第1補間画像生成手段と、
被写体が存在する位置を視点とする補間画像を生成する第2補間画像生成手段と、
撮影画像と前記補間画像を含む複数の画像と、該複数の画像に含まれる2つの画像で構成される組に関連付けられた視差マップを保存する保存手段と、
を備える画像生成装置と、
前記画像生成装置と通信網経由で通信が可能であり、生成する第1の画像の視点を画像生成装置に通知する端末装置と、
を備えた通信システムであって、
前記視差マップは、関連付けられた2つの画像内の画素の対応関係を示す、
通信システム。 - 画像生成装置は、第1の画像の第1の画素の画素値を端末装置において生成させるため、前記画像の組から1つの組を選択し、選択した組の画像である第2の画像及び第3の画像と、選択した組に関連付けられた視差マップを端末装置に送信し、
端末装置は、受信した視差マップに基づき、第1の画素に対応する、第2の画像の第2の画素及び第3の画像の第3の画素を判定し、第2の画素及び第3の画素に基づき第1の画素の画素値を決定し、
画像生成装置が選択する組は、その視点間を視点とする画像に、第1の画素と光線空間において同一位置の画素を含む画像を有する組である、
請求項8に記載の通信システム。 - 被写体が存在しない位置を視点とする補間画像を生成する第1補間画像生成手段と、
被写体が存在する位置を視点とする補間画像を生成する第2補間画像生成手段と、
撮影画像と前記補間画像を含む複数の画像と、該複数の画像に含まれる2つの画像で構成される組に関連付けられた視差マップを保存する保存手段と、
を備える画像生成装置における画像生成方法であって、
前記視差マップは、関連付けられた2つの画像内の画素の対応関係を示し、
視点入力部が、生成する第1の画像の視点を取得するステップと、
視点画像生成部が、取得した視点、前記複数の画像及び視差マップに基づき、第1のが画像を生成するステップと、
を備えている方法。 - 前記画像を生成するステップは、
視点画像生成部が、前記第1の画像の第1の画素と、光線空間において同一位置の画素を有する画像の視点の両側を視点とする前記画像の組を求めるステップと、
視点画像生成部が、求めた組の画像である第2の画像及び第3の画像と、求めた組に関連付けられた視差マップに基づき、第1の画素に対応する、第2の画像の第2の画素及び第3の画像の第3の画素を判定し、第2の画素及び第3の画素に基づき第1の画素の画素値を決定するステップと、
を備えている請求項10に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008245766A JP4998422B2 (ja) | 2008-09-25 | 2008-09-25 | 画像生成装置、方法、通信システム及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008245766A JP4998422B2 (ja) | 2008-09-25 | 2008-09-25 | 画像生成装置、方法、通信システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010079506A JP2010079506A (ja) | 2010-04-08 |
JP4998422B2 true JP4998422B2 (ja) | 2012-08-15 |
Family
ID=42209894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008245766A Expired - Fee Related JP4998422B2 (ja) | 2008-09-25 | 2008-09-25 | 画像生成装置、方法、通信システム及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4998422B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5358137B2 (ja) * | 2008-07-31 | 2013-12-04 | Kddi株式会社 | 画像生成装置、方法及びプログラム |
JP5204349B2 (ja) * | 2010-08-31 | 2013-06-05 | パナソニック株式会社 | 撮影装置、再生装置、および画像処理方法 |
WO2012029301A1 (ja) | 2010-08-31 | 2012-03-08 | パナソニック株式会社 | 撮影装置、再生装置、および画像処理方法 |
CN112767293B (zh) * | 2021-01-11 | 2023-04-11 | 达闼机器人股份有限公司 | 获取视差图像的方法、电子设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3593466B2 (ja) * | 1999-01-21 | 2004-11-24 | 日本電信電話株式会社 | 仮想視点画像生成方法およびその装置 |
JP4354708B2 (ja) * | 2003-01-15 | 2009-10-28 | 独立行政法人科学技術振興機構 | 多視点カメラシステム |
JP2007189357A (ja) * | 2006-01-11 | 2007-07-26 | Matsushita Electric Ind Co Ltd | 自由視点映像配信装置及び自由視点映像配信方法 |
JP4803594B2 (ja) * | 2006-07-05 | 2011-10-26 | Kddi株式会社 | 局所領域分割による自由視点画像の生成装置およびプログラム |
JP4755565B2 (ja) * | 2006-10-17 | 2011-08-24 | シャープ株式会社 | 立体画像処理装置 |
WO2008050904A1 (fr) * | 2006-10-25 | 2008-05-02 | Tokyo Institute Of Technology | Procédé de génération d'image dans un plan de focalisation virtuel haute résolution |
-
2008
- 2008-09-25 JP JP2008245766A patent/JP4998422B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010079506A (ja) | 2010-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5035195B2 (ja) | 画像生成装置及びプログラム | |
US9846960B2 (en) | Automated camera array calibration | |
JP6011862B2 (ja) | 3次元画像撮影装置及び3次元画像撮影方法 | |
JP4052331B2 (ja) | 仮想視点画像生成方法及び3次元画像表示方法並びに装置 | |
KR101502362B1 (ko) | 영상처리 장치 및 방법 | |
WO2012124275A1 (en) | Image processing apparatus, image processing method, and program | |
KR20180111798A (ko) | 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭 | |
KR101965878B1 (ko) | 시각적 피처들을 이용한 이미지들의 자동 연결 | |
KR100745691B1 (ko) | 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법 | |
JP4266233B2 (ja) | テクスチャ処理装置 | |
JP6020471B2 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
JP2015090712A (ja) | レイトレーシング処理装置及びその方法 | |
WO2019082797A1 (ja) | 再構成方法および再構成装置 | |
US8687000B2 (en) | Image generating apparatus and computer program | |
KR20100051359A (ko) | 영상 데이터 생성 방법 및 장치 | |
JP4998422B2 (ja) | 画像生成装置、方法、通信システム及びプログラム | |
CN113298708A (zh) | 三维房型的生成方法、装置及设备 | |
JP2013073598A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR101208767B1 (ko) | 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체 | |
JP5086120B2 (ja) | 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体 | |
JP6595878B2 (ja) | 要素画像群生成装置及びそのプログラム | |
JP5248992B2 (ja) | 3次元物体モデル情報生成装置及びプログラム | |
KR102151250B1 (ko) | 객체 좌표를 도출하는 장치 및 방법 | |
JP7024401B2 (ja) | 情報処理装置、プログラム、及び情報処理方法 | |
JP6984583B2 (ja) | 情報処理装置および情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100823 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100730 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120417 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120430 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150525 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |