JP7289746B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7289746B2 JP7289746B2 JP2019129613A JP2019129613A JP7289746B2 JP 7289746 B2 JP7289746 B2 JP 7289746B2 JP 2019129613 A JP2019129613 A JP 2019129613A JP 2019129613 A JP2019129613 A JP 2019129613A JP 7289746 B2 JP7289746 B2 JP 7289746B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- state
- time
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 59
- 238000003672 processing method Methods 0.000 title 1
- 238000003384 imaging method Methods 0.000 claims description 296
- 238000000034 method Methods 0.000 claims description 59
- 238000012937 correction Methods 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 18
- 238000002360 preparation method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 44
- 230000008569 process Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 20
- 230000008859 change Effects 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000009877 rendering Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000004040 coloring Methods 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000005156 Brassica carinata Nutrition 0.000 description 1
- 244000257790 Brassica carinata Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本実施形態では、被写体の3次元形状を推定し、その結果を撮像装置の視点に投影した投影画像と、撮像装置による撮像に基づくシルエット画像とのずれを検出し、ずれが生じたことを表す情報を画面に表示する形態について述べる。このずれは、撮像装置の状態を変化したことを表す情報である。ここで、撮像装置の状態とは、撮像装置の位置、姿勢(向き、撮像方向)、焦点距離、画像中心、歪みなどの状態のことをいう。撮像装置の位置、姿勢(向き、撮像方向)は、撮像装置そのもので制御されてもよいし、撮像装置の位置や姿勢を制御する雲台により制御されてもよい。以下では、撮像装置の状態を撮像装置のパラメータとして説明を行うが、そのパラメータには、雲台等の別の装置により制御されるパラメータが含まれていてもよい。また、撮像装置の位置、姿勢(向き、撮像方向)に関するパラメータは、いわゆる外部パラメータであり、撮像装置の焦点距離、画像中心、歪みに関するパラメータは、いわゆる内部パラメータである。
本実施形態では、画像処理システムに用いられる情報処理装置について図面を参照しながら説明する。
図2に示すフローチャートを用いて、情報処理装置1が行う処理について説明する。
本実施形態では、複数の撮像装置に含まれる複数の撮像装置2の中でパラメータが変化した撮像装置2の台数を算出し、パラメータが変化した撮像装置2の識別情報を表示する例を述べる。また、パラメータが変化した撮像装置2のパラメータの種類を判別し、表示する例と、撮像装置2のパラメータの補正量を算出し、その補正量に基づき仮想視点画像を生成する例について述べる。
本実施形態では、ずれ台数が実施形態2で述べたずれ許容台数よりも大きい場合、形状推定パラメータを操作して、次の時刻、もしくは同一フレームを再処理し、パラメータが変化した撮像装置2の影響を除いた形状推定結果を取得する例を述べる。
上述した実施形態は、情報処理装置が形状推定部と仮想視点画像生成部とを有する構成であったが、本実施形態では、情報処理装置が形状推定部と仮想視点画像生成部とを有さない構成について説明する。図16は、本実施形態の画像処理システムを示す図である。本実施形態の画像処理システムは、形状推定装置1610と、仮想視点画像生成装置1640と、情報処理装置6と、を有する。さらに、画像処理システムは、複数の撮像装置2と表示装置3とを有していてもよい。なお、情報処理装置6、形状推定装置1610、仮想視点画像生成装置1640のそれぞれは、図15で示すハードウェア構成で表されるため、その説明は省略する。
上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 取得部
130 判定部
150 ずれ情報生成部
Claims (18)
- 複数の撮像装置による撮像に基づく複数の画像を取得する第1の取得手段と、
前記複数の画像と、前記複数の撮像装置の前記撮像の時点より前の時点における状態とに基づいて生成される3次元形状データを取得する第2の取得手段と、
前記第1の取得手段により取得された複数の画像と、前記第2の取得手段により取得された3次元形状データとに基づいて、前記複数の撮像装置のいずれかの撮像装置の前記撮像の時点における状態が前記撮像の時点より前の時点における状態と異なることを検出する検出手段と、
前記検出手段による検出結果に基づく情報を出力する出力手段と、を有する情報処理装置。 - 前記複数の撮像装置の前記撮像の時点より前の時点における状態を取得する第3の取得手段をさらに有し、
前記第3の取得手段により取得された状態と、前記第2の取得手段により取得された3次元形状データに基づいて、前記複数の撮像装置のそれぞれに対応する被写体の投影像を生成する生成手段を、さらに有することを特徴とする請求項1に記載の情報処理装置。 - 前記検出手段は、前記生成手段により生成された被写体の投影像と、前記第1の取得手段により取得された画像における被写体の領域とに基づいて、前記複数の撮像装置のいずれかの撮像装置の前記撮像の時点における状態が前記撮像の時点より前の時点における状態と異なることを検出することを特徴とする請求項2に記載の情報処理装置。
- 前記検出手段は、撮像装置ごとに、前記生成手段により生成された被写体の投影像と、前記第1の取得手段により取得された画像における被写体の領域とを比較することにより、前記複数の撮像装置のいずれかの撮像装置の前記撮像の時点における状態が前記撮像の時点より前の時点における状態と異なることを検出することを特徴とする請求項3に記載の情報処理装置。
- 前記検出手段は、前記生成手段により生成された被写体の投影像と、前記第1の取得手段により取得された画像における被写体の領域とを比較した結果と、閾値とに基づいて、前記複数の撮像装置のいずれかの撮像装置の前記撮像の時点における状態が前記撮像の時点より前の時点における状態と異なることを検出することを特徴とする請求項4に記載の情報処理装置。
- 前記検出結果に基づく情報は、前記生成手段により生成された被写体の投影像と、前記第1の取得手段により取得された画像における被写体の領域とのずれに基づく情報であることを特徴とする請求項5に記載の情報処理装置。
- 前記ずれは、前記第1の取得手段により取得された画像における被写体の領域に対する前記生成手段により生成された被写体の投影像の割合で表されることを特徴とする請求項6に記載の情報処理装置。
- 前記ずれに基づいて、前記撮像の時点における状態と前記撮像の時点より前の時点における状態とが異なる撮像装置の状態の補正量を算出する算出手段をさらに有することを特徴とする請求項6又は7に記載の情報処理装置。
- 前記検出結果に基づく情報は、前記複数の撮像装置のいずれかの撮像装置の前記撮像の時点における状態が前記撮像の時点より前の時点における状態と異なることを示す情報を含むことを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。
- 前記検出結果に基づく情報は、前記撮像の時点における状態と前記撮像の時点より前の時点における状態とが異なる撮像装置を示す情報を含むことを特徴とする請求項1乃至9の何れか1項に記載の情報処理装置。
- 前記検出結果に基づく情報は、前記撮像の時点における状態と前記撮像の時点より前の時点における状態とが異なる撮像装置の台数を示す情報を含むことを特徴とする請求項1乃至10の何れか1項に記載の情報処理装置。
- 前記検出結果に基づく情報は、変化した状態の種類を示す情報を含むことを特徴とする請求項1乃至11の何れか1項に記載の情報処理装置。
- 前記検出結果に基づく情報は、撮像装置の状態の修正を促すことを示す情報を含むことを特徴とする請求項1乃至12の何れか1項に記載の情報処理装置。
- 撮像装置の前記撮像の時点より前の時点における状態を取得する第3の取得手段をさらに有することを特徴とする請求項1に記載の情報処理装置。
- 前記撮像の時点より前の時点における状態は、前記複数の撮像装置による撮像の事前準備の段階の状態であることを特徴とする請求項1乃至14の何れか1項に記載の情報処理装置。
- 撮像装置の前記撮像の時点より前の時点における状態を取得する第3の取得手段をさらに有し、
前記複数の撮像装置による撮像の事前準備の段階の状態が記憶された記憶装置から、前記複数の撮像装置による撮像の事前準備の段階の状態を取得することを特徴とする請求項15に記載の情報処理装置。 - 複数の撮像装置による撮像に基づく複数の画像を取得する第1の取得工程と、
前記複数の画像と、前記複数の撮像装置の前記撮像の時点より前の時点における状態とに基づいて生成される3次元形状データを取得する第2の取得工程と、
前記第1の取得工程において取得された複数の画像と、前記第2の取得工程において取得された3次元形状データとに基づいて、前記複数の撮像装置のいずれかの撮像装置の前記撮像の時点における状態が前記撮像の時点より前の時点における状態と異なることを検出する検出工程と、
前記検出工程において検出結果に基づく情報を出力する出力工程と、を有する情報処理方法。 - コンピュータに、請求項1乃至13の何れか1項に記載の情報処理装置として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019129613A JP7289746B2 (ja) | 2019-07-11 | 2019-07-11 | 情報処理装置、情報処理方法、及びプログラム |
US16/922,923 US11983892B2 (en) | 2019-07-11 | 2020-07-07 | Information processing apparatus and information processing method for detecting a state change of a imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019129613A JP7289746B2 (ja) | 2019-07-11 | 2019-07-11 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021016081A JP2021016081A (ja) | 2021-02-12 |
JP7289746B2 true JP7289746B2 (ja) | 2023-06-12 |
Family
ID=74102364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019129613A Active JP7289746B2 (ja) | 2019-07-11 | 2019-07-11 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11983892B2 (ja) |
JP (1) | JP7289746B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021175036A (ja) * | 2020-04-21 | 2021-11-01 | キヤノン株式会社 | 画像処理装置及び方法、プログラム、記憶媒体 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018043225A1 (ja) | 2016-09-01 | 2018-03-08 | パナソニックIpマネジメント株式会社 | 多視点撮像システム、三次元空間再構成システム、及び三次元空間認識システム |
US20180075592A1 (en) | 2016-09-15 | 2018-03-15 | Sportsmedia Technology Corporation | Multi view camera registration |
JP2019047431A (ja) | 2017-09-06 | 2019-03-22 | キヤノン株式会社 | 画像処理装置及びその制御方法、画像処理システム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003271993A (ja) | 2002-03-18 | 2003-09-26 | Hitachi Ltd | モニタ画像処理方法及び画像モニタシステム並びに保全作業システム |
JP5945255B2 (ja) | 2013-08-27 | 2016-07-05 | 日本電信電話株式会社 | 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム |
US10032310B2 (en) * | 2016-08-22 | 2018-07-24 | Pointivo, Inc. | Methods and systems for wireframes of a structure or element of interest and wireframes generated therefrom |
JP6171079B1 (ja) * | 2016-12-22 | 2017-07-26 | 株式会社Cygames | 不整合検出システム、複合現実システム、プログラム及び不整合検出方法 |
EP3338734B1 (de) * | 2016-12-22 | 2020-01-29 | Ivoclar Vivadent AG | Verfahren zur ausrichtung einer kamera oder scanvorrichtung |
JP7182865B2 (ja) | 2017-11-28 | 2022-12-05 | キヤノン株式会社 | 表示制御装置、表示制御方法、およびプログラム |
WO2020127185A1 (en) * | 2018-12-21 | 2020-06-25 | Koninklijke Kpn N.V. | Cloud-based camera calibration |
US20200342610A1 (en) * | 2019-04-24 | 2020-10-29 | XRSpace CO., LTD. | Method of Pose Change Notification and Related Interactive Image Processing System |
-
2019
- 2019-07-11 JP JP2019129613A patent/JP7289746B2/ja active Active
-
2020
- 2020-07-07 US US16/922,923 patent/US11983892B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018043225A1 (ja) | 2016-09-01 | 2018-03-08 | パナソニックIpマネジメント株式会社 | 多視点撮像システム、三次元空間再構成システム、及び三次元空間認識システム |
US20180075592A1 (en) | 2016-09-15 | 2018-03-15 | Sportsmedia Technology Corporation | Multi view camera registration |
JP2019047431A (ja) | 2017-09-06 | 2019-03-22 | キヤノン株式会社 | 画像処理装置及びその制御方法、画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
US11983892B2 (en) | 2024-05-14 |
US20210012519A1 (en) | 2021-01-14 |
JP2021016081A (ja) | 2021-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190132529A1 (en) | Image processing apparatus and image processing method | |
JP7042561B2 (ja) | 情報処理装置、情報処理方法 | |
JP7164968B2 (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
US20120069018A1 (en) | Ar process apparatus, ar process method and storage medium | |
US11798233B2 (en) | Generation device, generation method and storage medium for three-dimensional model that remove a portion of the three-dimensional model | |
US20200058167A1 (en) | Generation device, generation method and storage medium for three-dimensional model | |
JP2009071844A (ja) | キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム | |
JP2005326247A (ja) | 校正装置及び校正方法並びに校正プログラム | |
US20190349531A1 (en) | Information processing apparatus, information processing method, and storage medium | |
US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
EP4089631A1 (en) | Image processing device, image processing method, method of generating learned model, and program | |
JP7289746B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2020209108A1 (ja) | 画像処理装置、3dモデル生成方法、およびプログラム | |
JP2022016929A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US12026823B2 (en) | Volumetric imaging | |
JP7520539B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2020187529A (ja) | 画像処理装置、画像処理システム、制御方法、および、プログラム | |
JP3642923B2 (ja) | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 | |
JP2019057070A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP7240258B2 (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
JP7500333B2 (ja) | 生成装置、生成方法、およびプログラム | |
JP2019106170A (ja) | 3次元モデルの生成装置、生成方法及びプログラム | |
JP2020046744A (ja) | 画像処理装置、背景画像の生成方法およびプログラム | |
JP7418107B2 (ja) | 形状推定装置、形状推定方法及びプログラム | |
JP2023026244A (ja) | 画像生成装置および画像生成方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230502 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230531 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7289746 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |