JP7271095B2 - 画像生成装置、画像生成方法、及びプログラム - Google Patents
画像生成装置、画像生成方法、及びプログラム Download PDFInfo
- Publication number
- JP7271095B2 JP7271095B2 JP2018120186A JP2018120186A JP7271095B2 JP 7271095 B2 JP7271095 B2 JP 7271095B2 JP 2018120186 A JP2018120186 A JP 2018120186A JP 2018120186 A JP2018120186 A JP 2018120186A JP 7271095 B2 JP7271095 B2 JP 7271095B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual viewpoint
- viewpoint
- generating
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Generation (AREA)
Description
図2は、本実施形態に係る画像処理システム10の全体構成図である。画像処理システム10は、複数のカメラ100による撮影に基づく画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に(任意に)指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて画像処理システム10により自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、画像処理システム10により処理される仮想視点画像は静止画であってもよい。
画像処理システム10の動作フローについて、図4を用いて説明する。図4に示す処理は、仮想視点画像の生成対象となる競技の開始前において、システムの初期設定が完了し、カメラ100による撮影が行われるタイミングで開始される。システムの初期設定には、例えば、撮影対象領域に向けた複数のカメラ100の設置や、画像処理装置200及び画像生成装置300のケーブル等による接続や、複数のカメラ100の同期及びキャリブレーションなどが含まれる。ただし、図4に示す処理の開始タイミングはこれに限定されない。図4に示す処理はカメラ100による撮影中に行われてもよいし、カメラ100による撮影に基づく記憶されたデータを用いて、撮影後の任意のタイミングで行われてもよい。
次に、図4に示す処理フローにおける各処理の詳細について説明する。図5に示す処理は、S401における参照画像の画像取得に関する処理であり、立体錯視画像が印刷されたシートが撮影対象領域に設置される前に撮影された画像に基づいて画像処理装置200それぞれにより実行される。後のS403の処理において立体錯視画像が変換された仮想視点画像を生成する場合、立体錯視画像が印刷されたシートで隠されている地面の画像を補完することになる。そこで、図5に示す処理では、画像処理装置200がその補完を行うための参照画像を取得する。
図6に示す処理は、S402における立体錯視画像の特定に関する処理であり、立体錯視画像が印刷されたシートが撮影対象領域に設置された後に各カメラ100により撮影された画像に基づいて画像生成装置300により実行される。カメラ100がn台存在する場合には、n台のカメラそれぞれについて少なくとも1回ずつ図6の処理が実行される。後のS403の処理において立体錯視画像が変換された仮想視点画像を生成するためには、変換された立体錯視画像と、立体錯視画像が除かれた背景画像とが用いられる。そこで、図6に示す処理では、画像生成装置300が撮影画像における立体錯視画像の領域を特定するマスクを生成する。
図9に示す処理は、S403における仮想視点画像の生成に関する処理であり、仮想視点画像の生成の対象となる競技が行われている撮影対象領域が撮影された画像に基づいて、画像生成装置300により実行される。生成される仮想視点画像が動画である場合には、動画のフレームごとに図9の処理が実行される。図9に示す処理においては、指定された仮想視点から見て立体錯視画像が効果的に表示されるように、立体錯視画像の3次元空間における形状が仮想視点の位置に応じて変形される。
上述した処理によって本実施形態における画像処理システム10により生成される仮想視点画像と、従来の方法により生成された仮想視点画像との違いを、図11を用いて説明する。図11(a)は、立体錯視視点と一致する位置に仮想視点を指定し、従来の方法により生成された仮想視点画像の例を示している。また図11(b)は、立体錯視視点と一致する位置に仮想視点を指定し、本実施形態の方法により生成された仮想視点画像の例を示している。これらの場合、仮想視点と立体錯視視点が一致するため、何れにおいても立体錯視画像は立体的に見えるように表示されている。
ここで図12を用いて、立体錯視画像をより効果的に表示させる方法を説明する。立体錯視画像には、立体錯視視点から見た場合に存在するように見える立体物のうち、立体錯視視点側の面の情報しか含まれていない。そのため、仮想視点が立体錯視画像に対して立体錯視視点とは反対側の位置に指定された場合には、立体錯視画像の変換ができないか、もしくは不自然な見え方になってしまう虞がある。例えば、広告を表示する立体的な看板があるかのように見せるための立体錯視画像が印刷されたシートが設置される場合を考える。看板の立体錯視視点から見える広告表示面の情報は立体錯視画像内に含まれているが、看板の裏側に相当する面の情報は立体錯視画像には含まれていない。
100 カメラ
200 画像処理装置
300 画像生成装置
Claims (15)
- 撮影対象領域を撮影する複数のカメラによる複数の方向からの撮影に基づく画像データを取得する画像取得手段と、
仮想視点を示す視点情報を取得する情報取得手段と、
前記画像取得手段により取得される画像データと前記情報取得手段により取得される視点情報とに基づいて、前記視点情報により示される仮想視点に応じた仮想視点画像を生成する生成手段とを有し、
前記生成手段は、前記撮影対象領域に位置する特定オブジェクトに対応する立体錯視画像から3次元モデルを生成し、生成された前記3次元モデルから当該仮想視点の位置に応じた立体錯視画像に変形して前記仮想視点画像を生成することを特徴とする画像生成装置。 - 撮影対象領域を撮影する複数のカメラによる複数の方向からの撮影に基づく画像データを取得する画像取得手段と、
仮想視点を示す視点情報を取得する情報取得手段と、
前記画像取得手段により取得される画像データと前記情報取得手段により取得される視点情報とに基づいて、前記視点情報により示される仮想視点に応じた仮想視点画像を生成する生成手段とを有し、
前記生成手段は、前記撮影対象領域に位置する特定オブジェクトの3次元空間における形状を、当該仮想視点の位置に応じて変形して前記仮想視点画像を生成し、
前記特定オブジェクトは、所定の方向から見た場合に立体的に見える略平面状のオブジェクトであることを特徴とする画像生成装置。 - 前記生成手段は、前記視点情報により示される仮想視点の方向から見た場合に立体的に見えるように前記特定オブジェクトの前記3次元空間における形状を変形して前記仮想視点画像を生成することを特徴とする請求項2に記載の画像生成装置。
- 前記画像取得手段により取得される画像データに基づく画像内の前記特定オブジェクトに対応する領域を特定する特定手段を有し、
前記生成手段は、前記画像取得手段により取得される画像データと、前記情報取得手段により取得される視点情報と、前記特定手段による特定の結果とに基づいて、前記仮想視点画像を生成することを特徴とする請求項1乃至3の何れか1項に記載の画像生成装置。 - 前記画像取得手段により取得される画像データに基づく画像内の前記特定オブジェクトに対応する領域を特定する特定手段を有し、
前記生成手段は、前記画像取得手段により取得される画像データと、前記情報取得手段により取得される視点情報と、前記特定手段による特定の結果とに基づいて、前記仮想視点画像を生成し、
前記生成手段は、前記特定手段による特定の結果に基づいて前記特定オブジェクトの前記3次元空間における形状を判定し、判定された前記特定オブジェクトの前記3次元空間における形状を前記視点情報により示される仮想視点の位置に応じて変形した結果を用いて前記仮想視点画像を生成することを特徴とする請求項2又は3に記載の画像生成装置。 - 前記特定手段は、前記撮影対象領域に前記特定オブジェクトが存在しない状況における前記複数のカメラによる撮影に基づく画像データと、前記撮影対象領域に前記特定オブジェクトが存在する状況における前記複数のカメラによる撮影に基づく画像データとに基づいて、前記特定のオブジェクトに対応する領域を特定することを特徴とする請求項4又は5に記載の画像生成装置。
- 前記特定手段は、前記画像取得手段により取得される画像データに対して行われる画像解析の結果に基づいて、前記特定のオブジェクトに対応する領域を特定することを特徴とする請求項4又は5に記載の画像生成装置。
- 前記特定手段は、前記画像取得手段により取得される画像データに基づく画像内の領域を指定するユーザ操作に基づいて、前記特定のオブジェクトに対応する領域を特定することを特徴とする請求項4又は5に記載の画像生成装置。
- 前記特定手段は、前記複数のカメラにより撮影された撮影画像から所定の移動する被写体を除いた画像に対して、前記特定オブジェクトに対応する領域を特定する処理を行うことを特徴とする請求項4乃至8の何れか1項に記載の画像生成装置。
- 前記撮影対象領域は競技場の一部又は全部であり、前記特定オブジェクトは広告が表示されるオブジェクトであることを特徴とする請求項1乃至9の何れか1項に記載の画像生成装置。
- 前記画像取得手段により取得される画像データと前記情報取得手段により取得される視点情報とに基づいて、前記特定オブジェクトの前記3次元空間における形状を変形せずに仮想視点画像を生成する第2生成手段と、
前記生成手段により生成される仮想視点画像と前記第2生成手段により生成される仮想視点画像とを含む複数の仮想視点画像のうち選択された仮想視点画像を出力する出力手段とを有することを特徴とする請求項2又は3に記載の画像生成装置。 - 前記画像取得手段により取得される画像データと前記情報取得手段により取得される視点情報とに基づいて、前記特定オブジェクトを立体的な仮想オブジェクトに置換して前記仮想視点画像を生成する第3生成手段を有し、
前記生成手段により生成される仮想視点画像と前記第3生成手段により生成される仮想視点画像とを含む複数の仮想視点画像のうち選択された仮想視点画像を出力する出力手段とを有することを特徴とする請求項1乃至10の何れか1項に記載の画像生成装置。 - 撮影対象領域を撮影する複数のカメラによる複数の方向からの撮影に基づく画像データを取得する画像取得工程と、
仮想視点を示す視点情報を取得する情報取得工程と、
前記画像取得工程において取得される画像データと前記情報取得工程において取得される視点情報とに基づいて、前記視点情報により示される仮想視点に応じた仮想視点画像を生成する生成工程とを有し、
前記生成工程では、前記撮影対象領域に位置する立体錯視画像から3次元モデルを生成し、生成された前記3次元モデルから当該仮想視点の位置に応じた立体錯視画像に変形して前記仮想視点画像を生成することを特徴とする画像生成方法。 - 撮影対象領域を撮影する複数のカメラによる複数の方向からの撮影に基づく画像データを取得する画像取得工程と、
仮想視点を示す視点情報を取得する情報取得工程と、
前記画像取得工程において取得される画像データと前記情報取得工程において取得される視点情報とに基づいて、前記視点情報により示される仮想視点に応じた仮想視点画像を生成する生成工程とを有し、
前記生成工程では、前記撮影対象領域に位置する特定オブジェクトの3次元空間における形状を当該仮想視点の位置に応じて変形して前記仮想視点画像を生成する生成工程とを有し、
前記特定オブジェクトは、所定の方向から見た場合に立体的に見える略平面状のオブジェクトであることを特徴とする画像生成方法。 - コンピュータを、請求項1乃至12の何れか1項に記載の画像生成装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018120186A JP7271095B2 (ja) | 2018-06-25 | 2018-06-25 | 画像生成装置、画像生成方法、及びプログラム |
US16/438,049 US10880533B2 (en) | 2018-06-25 | 2019-06-11 | Image generation apparatus, image generation method, and storage medium, for generating a virtual viewpoint image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018120186A JP7271095B2 (ja) | 2018-06-25 | 2018-06-25 | 画像生成装置、画像生成方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020003883A JP2020003883A (ja) | 2020-01-09 |
JP7271095B2 true JP7271095B2 (ja) | 2023-05-11 |
Family
ID=69099878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018120186A Active JP7271095B2 (ja) | 2018-06-25 | 2018-06-25 | 画像生成装置、画像生成方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7271095B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022181379A1 (ja) | 2021-02-26 | 2022-09-01 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014041259A (ja) | 2012-08-22 | 2014-03-06 | Yahoo Japan Corp | 広告配信装置、広告配信方法および広告配信プログラム |
JP2018049591A (ja) | 2016-09-14 | 2018-03-29 | キヤノン株式会社 | 画像処理装置、画像生成方法及びプログラム |
-
2018
- 2018-06-25 JP JP2018120186A patent/JP7271095B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014041259A (ja) | 2012-08-22 | 2014-03-06 | Yahoo Japan Corp | 広告配信装置、広告配信方法および広告配信プログラム |
JP2018049591A (ja) | 2016-09-14 | 2018-03-29 | キヤノン株式会社 | 画像処理装置、画像生成方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020003883A (ja) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6950013B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US11663778B2 (en) | Method and system for generating an image of a subject from a viewpoint of a virtual camera for a head-mountable display | |
JP7080586B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2018079430A1 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
JP5762600B1 (ja) | 情報処理装置及び情報処理方法 | |
KR101723210B1 (ko) | 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법 | |
JP2019067130A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
KR102382247B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 | |
JP7476375B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20180094835A (ko) | 2d에서 3d로의 비디오 프레임 변환 | |
JP6812181B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP7439146B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
JP7500512B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7271095B2 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
JP2022016929A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7182915B2 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
JP7080614B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
KR101251049B1 (ko) | 스테레오스코픽 3차원 영상 시스템 | |
JP7467074B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR101718309B1 (ko) | 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법 | |
KR101453531B1 (ko) | 3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법 | |
JP2021149513A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20190394442A1 (en) | Image generation apparatus, image generation method, and storage medium | |
JP2020035218A (ja) | 画像処理装置、方法及びプログラム | |
EP4295930A1 (en) | Image processing system, image processing method, and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210623 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220407 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220616 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230120 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230201 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230202 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230426 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7271095 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |