JP7154841B2 - 撮像システム、画像処理装置、画像処理方法およびプログラム - Google Patents
撮像システム、画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP7154841B2 JP7154841B2 JP2018121985A JP2018121985A JP7154841B2 JP 7154841 B2 JP7154841 B2 JP 7154841B2 JP 2018121985 A JP2018121985 A JP 2018121985A JP 2018121985 A JP2018121985 A JP 2018121985A JP 7154841 B2 JP7154841 B2 JP 7154841B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging means
- camera
- imaging
- cameras
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Accessories Of Cameras (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
Description
本実施形態に係る、仮想視点画像を生成する画像処理システムについて、図3のシステム構成図を用いて説明する。画像処理システム100は、撮像モジュール110a~110g、データベース(DB)250、サーバ270、制御装置300、スイッチングハブ180、及びエンドユーザ端末(不図示)を有する。すなわち、画像処理システム100は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという3つの機能ドメインを有する。映像収集ドメインは撮像モジュール110a~110gを含み、データ保存ドメインはDB250とサーバ270を含み、映像生成ドメインは制御装置300及びエンドユーザ端末を含む。
図4(a)は、制御装置300のハードウェア構成の一例を示す図である。制御装置300は、CPU301、RAM302、HDD303、ネットワークI/F304、汎用I/F305、モニタ308、メインバス309を備える。ネットワークI/F304は、DB250、サーバ270、スイッチングハブ180をメインバス309に接続するインタフェースである。汎用I/F305は、マウスやキーボードなどの入力装置306、メモリカードなどの外部メモリ307をメインバス309に接続するインタフェースである。そして、図4(b)は、本実施形態に係る、制御装置300のソフトウェア構成を示す機能ブロック図であり、カメラ構成決定部401、カメラ制御部402、仮想視点設定部403、仮想視点画像生成部404で構成される。これら各部は、CPU301がHDD303に格納された所定のプログラムをRAM302に展開しこれを実行することで実現される。
続いて、本実施形態に係る、制御装置300による画像処理システムの制御の流れを説明する。図5は、本実施形態に係る、図3に示す画像処理システムにおける制御の流れを示すフローチャートである。以下、図4(b)に示す各部が行う処理の詳細について、図5のフローに沿って説明する。なお、以下の説明における記号「S」はステップを表す。
こうして、基準カメラを含むすべての対カメラについて、特性変更カメラとするか否かの判定がなされる。
本実施形態では、制御装置300において、カメラ構成の決定、複数視点画像の取得、仮想視点の設定、仮想視点画像の生成といった一連のプロセスを制御するようにしていたがこれに限定されない。例えば、カメラ構成を決定するS508までの各処理を別個独立の情報処理装置(PC)で行って、カメラの設置・調整までを事前に行なっておき、制御装置300はS509以降の処理のみを行なう構成であってもよい。
続いて、本実施形態に係る画像処理システムの制御の流れを、図8のフローチャートに沿って説明する。図8のフローは、実施形態2の図5のフローに対応しており、制御装置300のハードウェア構成やソフトウェア構成も実施形態2で説明したとおりである(図4(a)及び(b)を参照)。
評価値 = 対向カメラ対称度×(1/基線近接度) ・・・式(1)
本実施形態では、対向カメラ対称度と基線近接度を各カメラについて1度だけ導出しているが、これに限定されない。特性変更カメラを決定する度に、当該決定されたカメラを除外した残りのカメラについて対向カメラ対称度と基線近接度とを導出し直した上で、次の特性変更カメラの決定を行ってもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (20)
- 複数の撮像手段により取得された複数の画像に基づいてオブジェクトの3次元形状データを生成するために用いられるシステムであって、
撮像空間を異なる方向から撮像するように設置された複数の撮像手段を有し、
前記複数の撮像手段には、第一の撮像手段と、前記撮像空間の特定の位置を通り前記撮像空間の底面に対して垂直な軸を中心とする、前記第一の撮像手段の2回対称の位置又は前記2回対称の位置に前記複数の撮像手段の中で最も近い位置に設置された第二の撮像手段、とを含む少なくとも1組の撮像手段が含まれ、
前記第一の撮像手段と前記第二の撮像手段とでは、撮像手段の特性を規定するパラメータのうち撮像画像における解像度及び撮像手段の撮影範囲の少なくとも一方に影響するパラメータが異なる
ことを特徴とするシステム。 - 前記1組の撮像手段が、前記複数の撮像手段の中に複数含まれる場合、前記異なるパラメータを持つ撮像手段同士の間隔が略均等となるように、前記複数の撮像手段を構成する各撮像手段が配置されていることを特徴とする請求項1に記載のシステム。
- 前記第一の撮像手段と前記第二の撮像手段とで異なる前記パラメータは、画角であることを特徴とする請求項1又は2に記載のシステム。
- 前記第一の撮像手段と前記第二の撮像手段とで異なる前記パラメータは、焦点距離であることを特徴とする請求項1乃至3のいずれか1項に記載のシステム。
- 前記第一の撮像手段と前記第二の撮像手段とで、撮像センサのサイズが異なることを特徴とする請求項1乃至4のいずれか1項に記載のシステム。
- 前記第一の撮像手段と前記第二の撮像手段とで、撮像センサの種類が異なることを特徴とする請求項1乃至5のいずれか1項に記載のシステム。
- 前記第一の撮像手段と前記第二の撮像手段とで、レンズの種類が異なることを特徴とする請求項1乃至6のいずれか1項に記載のシステム。
- 撮像空間を異なる方向から撮像するように設置された複数の撮像手段の位置及び姿勢を示す撮像手段情報を取得する撮像手段情報取得手段と、
前記撮像手段情報取得手段により取得された撮像手段情報に基づき、前記複数の撮像手段のうち前記撮像空間の特定の位置を通り前記撮像空間の底面に対して垂直な軸を中心とする2回対称の位置又は前記2回対称の位置に最も近い位置に設置された、第一の撮像手段と第二の撮像手段とを含む少なくとも1組の撮像手段において、前記第一の撮像手段と前記第二の撮像手段とで、撮像手段の特性を規定するパラメータのうち撮像画像における解像度及び撮像手段の撮影範囲の少なくとも一方に影響するパラメータが異なるように、撮像手段の構成を決定する決定手段と、
を有することを特徴とする装置。 - 前記特定の位置の位置情報を取得する位置情報取得手段をさらに有し、
前記決定手段は、前記撮像手段情報取得手段により取得された撮像手段情報と前記位置情報取得手段により取得された前記特定の位置の位置情報に基づいて、前記第一の撮像手段と前記第二の撮像手段とで、撮像手段の特性を規定するパラメータのうち撮像画像における解像度及び撮像手段の撮影範囲の少なくとも一方に影響するパラメータが異なるように、撮像手段の構成を決定することを特徴とする請求項8に記載の装置。 - 前記決定手段は、各撮像手段の視線方向を示す二次元又は三次元の方向ベクトルに基づいて、前記撮像手段の構成を決定することを特徴とする請求項8又は9に記載の装置。
- 前記決定手段は、
前記複数の撮像手段のうち、前記異なるパラメータを持たせる撮像手段の台数の情報を取得し、
前記複数の撮像手段の各撮像手段について、自撮像手段と他の撮像手段との対称度合いを導出し、
導出した前記対称度合いに基づいて、前記1組の撮像手段のうちパラメータを異ならせる撮像手段を決定する
ことを特徴とする請求項8乃至10のいずれか1項に記載の装置。 - 前記対称度合いは、自撮像手段と前記他の撮像手段とが前記軸を中心とする2回対称の位置関係にあるときに最大値をとることを特徴とする請求項11に記載の装置。
- 前記決定手段は、
前記複数の撮像手段のうち、前記異なるパラメータを持たせる撮像手段の台数の情報を取得し、
前記複数の撮像手段の各撮像手段について、自撮像手段と他の撮像手段との対称度合いを導出し、
前記複数の各撮像手段について、自撮像手段から延びる前記特定の位置を通る基線と、前記特定の位置を挟んで対向する他の撮像手段から延びる前記特定の位置を通る基線との近接度合いを導出し、
導出した前記対称度合いと前記近接度合いとに基づいて、前記1組の撮像手段のうちパラメータを異ならせる撮像手段を決定する
ことを特徴とする請求項8乃至10のいずれか1項に記載の装置。 - 前記近接度合いは、自撮像手段の基線を基準として、隣りの他の撮像手段の基線との間隔が狭いほど、より高い近接度合いとなることを特徴とする請求項13に記載の装置。
- 前記決定手段は、
前記対称度合いに基づき、前記複数の撮像手段の中から基準撮像手段を決定し、
決定した前記基準撮像手段の位置から所定の基準角度離れた位置の近くに存在する少なくとも2台の撮像手段を検出し、
検出した少なくとも2台の撮像手段から、前記パラメータを異ならせる撮像手段を前記近接度合いに基づき決定する
ことを特徴とする請求項13又は14に記載の装置。 - 前記決定手段は、
前記複数の撮像手段のうち前記基準撮像手段となり得るすべての撮像手段を、前記基準撮像手段として順に決定し、
前記パラメータを異ならせる撮像手段の配置が、仮想視点の設定可能な範囲内で最も均等に近くなるように、撮像手段構成を決定する
ことを特徴とする請求項15に記載の装置。 - 前記決定手段によって前記パラメータを異ならせる撮像手段に決定された撮像手段について、そのパラメータを変更する制御手段をさらに有することを特徴とする請求項8乃至16のいずれか1項に記載の装置。
- 前記複数の撮像手段で撮像されることにより取得される複数の画像に基づき、オブジェクトの三次元形状データを生成する生成手段をさらに有する
ことを特徴とする請求項17に記載の装置。 - 複数の撮像手段により取得された複数の画像に基づいてオブジェクトの3次元形状データを生成するために用いられるシステムにおける撮像手段の構成を決定する方法であって、
撮像空間を異なる方向から撮像するように設置された複数の撮像手段の位置及び姿勢を示す撮像手段情報を取得する工程と、
前記複数の撮像手段のうち、前記撮像空間の特定の位置を通り前記撮像空間の底面に対して垂直な軸を中心とする2回対称の位置又は前記2回対称の位置に最も近い位置に設置された第一の撮像手段と第二の撮像手段とを決定する工程と、
撮像手段の特性を規定するパラメータのうち撮像画像における解像度及び撮像手段の撮影範囲の少なくとも一方に影響するパラメータについて、前記第一の撮像手段と前記第二の撮像手段とで異なるパラメータを設定する工程と、
を有することを特徴とする方法。 - コンピュータを、請求項8乃至18のいずれか1項に記載の装置として機能させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018121985A JP7154841B2 (ja) | 2018-06-27 | 2018-06-27 | 撮像システム、画像処理装置、画像処理方法およびプログラム |
PCT/JP2019/024218 WO2020004162A1 (ja) | 2018-06-27 | 2019-06-19 | 撮像システム、配置決定装置、配置決定方法およびプログラム |
US17/126,979 US11297301B2 (en) | 2018-06-27 | 2020-12-18 | Image capturing system, arrangement determination apparatus, arrangement determination method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018121985A JP7154841B2 (ja) | 2018-06-27 | 2018-06-27 | 撮像システム、画像処理装置、画像処理方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020005089A JP2020005089A (ja) | 2020-01-09 |
JP2020005089A5 JP2020005089A5 (ja) | 2021-08-05 |
JP7154841B2 true JP7154841B2 (ja) | 2022-10-18 |
Family
ID=69100564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018121985A Active JP7154841B2 (ja) | 2018-06-27 | 2018-06-27 | 撮像システム、画像処理装置、画像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7154841B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2023032468A1 (ja) * | 2021-08-31 | 2023-03-09 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010154052A (ja) | 2008-12-24 | 2010-07-08 | Hitachi Ltd | 複数カメラ制御システム |
US20160205341A1 (en) | 2013-08-20 | 2016-07-14 | Smarter Tv Ltd. | System and method for real-time processing of ultra-high resolution digital video |
JP2018056971A (ja) | 2016-09-30 | 2018-04-05 | キヤノン株式会社 | 撮像システム、画像処理装置、画像処理方法、及びプログラム |
WO2018088037A1 (ja) | 2016-11-14 | 2018-05-17 | ソニー株式会社 | 可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラム |
JP2018092491A (ja) | 2016-12-06 | 2018-06-14 | キヤノン株式会社 | 情報処理装置、その制御方法、およびプログラム |
-
2018
- 2018-06-27 JP JP2018121985A patent/JP7154841B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010154052A (ja) | 2008-12-24 | 2010-07-08 | Hitachi Ltd | 複数カメラ制御システム |
US20160205341A1 (en) | 2013-08-20 | 2016-07-14 | Smarter Tv Ltd. | System and method for real-time processing of ultra-high resolution digital video |
JP2018056971A (ja) | 2016-09-30 | 2018-04-05 | キヤノン株式会社 | 撮像システム、画像処理装置、画像処理方法、及びプログラム |
WO2018088037A1 (ja) | 2016-11-14 | 2018-05-17 | ソニー株式会社 | 可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラム |
JP2018092491A (ja) | 2016-12-06 | 2018-06-14 | キヤノン株式会社 | 情報処理装置、その制御方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020005089A (ja) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7349793B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
EP2597597B1 (en) | Apparatus and method for calculating three dimensional (3D) positions of feature points | |
JP2019075082A (ja) | 深度値推定を用いた映像処理方法及び装置 | |
WO2020004162A1 (ja) | 撮像システム、配置決定装置、配置決定方法およびプログラム | |
KR20150050172A (ko) | 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법 | |
KR20160094190A (ko) | 시선 추적 장치 및 방법 | |
JP2019190974A (ja) | キャリブレーション装置、キャリブレーション方法、及びプログラム | |
US10742852B2 (en) | Image processing apparatus, object shape estimation method, and storage medium | |
JP2004235934A (ja) | キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム | |
WO2021104308A1 (zh) | 全景深度测量方法、四目鱼眼相机及双目鱼眼相机 | |
US20180114339A1 (en) | Information processing device and method, and program | |
TWI528783B (zh) | 產生深度影像之方法及其系統及電腦程式產品 | |
JP7154841B2 (ja) | 撮像システム、画像処理装置、画像処理方法およびプログラム | |
Mulligan et al. | Stereo-based environment scanning for immersive telepresence | |
US11468258B2 (en) | Information processing apparatus, information processing method, and storage medium | |
CN113781560B (zh) | 视点宽度的确定方法、装置及存储介质 | |
CN113763472B (zh) | 一种视点宽度的确定方法、装置及存储介质 | |
JP2013258583A (ja) | 撮像画像表示装置、撮像画像表示方法、プログラム | |
JP2011192220A (ja) | 同一人判定装置、同一人判定方法および同一人判定プログラム | |
US11516448B2 (en) | Method and apparatus for compensating projection images | |
KR102001255B1 (ko) | 스테레오 영상 획득 및 시청 연동 시스템 | |
JP2021197572A (ja) | カメラ制御装置及びプログラム | |
KR101960018B1 (ko) | 전방 센서기하 결정 방법 및 장치 | |
JP7250448B2 (ja) | 撮像システム、配置決定装置、配置決定方法及びプログラム | |
JP2015216542A (ja) | 情報処理装置、情報処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210621 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221005 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7154841 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |