JP7337428B1 - 対象物の双方向な三次元表現の制御方法、制御装置及び記録媒体 - Google Patents
対象物の双方向な三次元表現の制御方法、制御装置及び記録媒体 Download PDFInfo
- Publication number
- JP7337428B1 JP7337428B1 JP2023057652A JP2023057652A JP7337428B1 JP 7337428 B1 JP7337428 B1 JP 7337428B1 JP 2023057652 A JP2023057652 A JP 2023057652A JP 2023057652 A JP2023057652 A JP 2023057652A JP 7337428 B1 JP7337428 B1 JP 7337428B1
- Authority
- JP
- Japan
- Prior art keywords
- image information
- viewpoint
- dimensional representation
- interactive
- control parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 36
- 238000004590 computer program Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 14
- 230000002457 bidirectional effect Effects 0.000 abstract description 3
- 230000002829 reductive effect Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Library & Information Science (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
Description
しかし、従来の三次元スキャンおよびモデリングの技術は、オブジェクトの質感、素材感、サイズを正確に収集できないため、三次元表現の精度が劣るという問題がある。
また、三次元表現の制御方法が単一であり、360度の全方位及び高精度で、かつ、双方向な表現には適していない。
これは、再現する過程で、仮想視点画像の生成に関する処理負荷を抑えることを優先するばかりに、前景画像から、物理的属性、対象物自体の情報と環境との反応情報などの種々の情報が失われることが原因であり、この解決手段は、特許文献1には一切開示されていない。
なお、本発明の説明において、「内」、「下」、「上」など方位と位置関係を指示する用語は、図面に示される方位や作業中によく置く方位、位置関係に基づくものである。
また、方向または位置関係は、本発明を説明し、説明を簡略化するためのものであり、参照されるデバイスまたは要素が特定の方向を有し、特定の方向で構築または操作されなければならないことを示したり示唆したりするものではない。
さらに、「第1」、「第2」などの用語は、説明を区別するためにのみ使用され、相対的な重要性を示したり、暗示することを意味するものではない。
対象物の制御指示を取得するステップS1と、
複数の方位制御パラメータの組み合わせに基づいて、対象物の画像情報を取得するステップS2と、
方位制御パラメータと画像情報に基づいて、対象物の双方向な表現を実現するステップS3と、
を実行する対象物の双方向な三次元表現の制御方法において、
ステップS1の制御指示には、複数の方位制御パラメータ及び視点制御パラメータが含まれ、
ステップS2の複数の方位制御パラメータには、第1方位制御パラメータ、第2方位制御パラメータ及び時間制御パラメータが含まれ、
ステップS2の画像情報には、第1画像情報及び第2画像情報が含まれており、
ステップS2は、
当該第1画像情報を取得するため、
異なる複数の視点から、対象物の視角境界を特定するステップと、
当該視角境界内の対象物の画像情報を特定するステップと、
当該画像情報を、画像処理によって撮影画像から切り出すことで、対象物の全ての視点における第1画像情報を取得するステップと、
当該第2画像情報を取得するため、
撮影装置が、異なる複数の各視点における対象物との間の撮影距離を取得するステップと、
各視点の撮影距離を2以上に分割する分割点を設定し、全ての視点で、分割点でも対象物を撮影し、視点ごとに、視点及び分割点の計2以上の画像情報を取得するステップと、
視点ごとに、2以上の画像情報を合成し、対象物の第2画像情報を作成するステップと、
を実行することを特徴とする。
前記の対象物の第2画像情報を取得するステップの後、
対象物の第1画像情報および/または第2画像情報に対して属性番号を設定し、属性番号に従って画像情報を、属性番号に紐づくように予め設定された表示位置に保存する
を実行することを特徴とする。
第1方位制御パラメータ、第2方位制御パラメータ、および/または、視点制御パラメータ、並びに、時間制御パラメータに基づいて、属性番号を取得するステップと、
属性番号に基づいて、対象物の画像情報を、属性番号に紐づくように予め設定された表示位置から取得するステップと、
を実行することを特徴とする。
第1方位制御パラメータ、第2方位制御パラメータ、視点制御パラメータ、および/または時間制御パラメータに基づいて、座標系を確立するステップと、
座標系において、画像情報を用いて対象物の三次元表現を行うステップと、
を実行することを特徴とする。
対象物の制御指示を取得するための第1取得モジュールと、
複数の方位制御パラメータの組み合わせに基づいて対象物の画像情報を取得する第2取得モジュールと、
複数の方位制御パラメータと画像情報に基づいて対象物の双方向に三次元表現する三次元表現モジュール、
を含む、対象物の双方向な三次元表現のための制御装置であって、
第1取得モジュールの制御指示には、複数の方位制御パラメータ及び視点制御パラメータが含まれ、
第2取得モジュールの複数の方位制御パラメータには、第1方位制御パラメータ、第2方位制御パラメータ及び時間制御パラメータが含まれ、
第2取得モジュールの画像情報には、第1画像情報及び第2画像情報が含まれており、
第2取得モジュールは、
当該第1画像情報を取得するため、
異なる複数の視点から、対象物の視角境界を特定し、
当該視角境界内の対象物の画像情報を特定し、
当該画像情報を、画像処理によって撮影画像から切り出すことで、対象物の全ての視点の第1画像情報を取得し、
当該第2画像情報を取得するため、
撮影装置が、異なる複数の各視点における対象物との間の撮影距離を取得し、
各視点の撮影距離を2以上に分割する分割点を設定し、全ての視点で、分割点でも対象物を撮影し、視点ごとに、視点及び分割点の計2以上の画像情報を取得し、
視点ごとに、2以上の画像情報を合成し、対象物の第2画像情報を作成する
を実行することを特徴とする。
プロセッサで実行可能なコンピュータプログラムが格納されたメモリと、
当該コンピュータプログラムを実行するプロセッサと、
他の端末装置との間の通信接続を確立するネットワークインターフェースと、
を備え、
当該プロセッサが当該コンピュータプログラムを実行することにより、
対象物の双方向な三次元表現の制御方法を実行することを特徴とする。
コンピュータプログラムが記録され、
コンピュータプログラムが実行されることで、
前記の対象物の双方向な三次元表現の制御方法を実行すること
を実行することを特徴とする。
(1)ユーザーが双方向的な要求に基づいて入力した複数の制御パラメータの任意の組み合わせを取得することにより、対象物を任意の方向、任意の視点で制御し、事前に設定された三次元表現の制御方法に基づく高精度の画像情報を任意の時間または一定期間内で再生、表現することができる。
これにより、ユーザーは、任意の視点から、対象物を静的または動的に、全方位かつ高精度に観察し、双方向的に制御できるため、臨場感にあふれる三次元表現が可能になる。
(2)同じ視点での対象物と撮影装置の間の撮影距離を2以上に分割して分割点を設定し、全ての分割点で対象物を撮影し、視点ごとに、2以上の画像情報を取得して、複数の画像情報を合成する。これにより、得られる画像情報は、拡大しても縮小しても、ノイズが少なく鮮明であるため、対象物の素材感、サイズなどの情報を保持し、双方向的に対象物を三次元表現できるほか、スムーズで迅速な表示操作が可能であり、三次元表現された対象物の臨場感がさらに向上する。
なお、以下の説明は、本発明の実施形態の一部に過ぎず、説明に使用される「含む」、「構成する」等の用語は、特定の実施形態を説明することのみを意図しており、例示および説明のためにのみ使用され、本発明を記載した実施形態の範囲を限定することを意図するものではない。
本明細書で使用される用語は、本開示を限定することを意図するのではなく、特定の実施形態を説明するためにのみ使用される。ここで使用される用語「含む」、「含む」などは、特徴、ステップ、操作、および/または部品の存在を示しているが、1つ以上の他の特徴、ステップ、操作、または部品の存在または追加を排除するものではない。
システム構成図100は、端末装置、ネットワーク104及びサーバー105からなる。
端末装置は、携帯電話端末101、タブレット端末102、コンピュータ端末103などである。
ネットワーク104は、端末装置とサーバー105間の通信接続に用いられ、有線、無線または光ファイバーケーブルなどの様々なタイプの通信回線からなる。
各種の端末装置は、ウェブブラウザ、インスタントメッセンジャー、クライアントアプリ、コマンドラインツール等の様々な通信クライアントアプリケーションが予めインストールされていれば、当該端末装置において、オフラインで実行し、本発明の対象物の双方向な三次元表現を実行できる。
端末装置は、ディスプレイを有し、ウェブブラウジング、APPをサポートする様々な電子機器であってよく、スマートフォン、タブレット、電子ブックリーダー、ポータブルコンピュータ、デスクトップコンピュータなどを含むが、これらに限定されない。
サーバー105は、端末装置に表示されるページまたはAPPのサポートを提供するバックエンドサーバーなど、様々なサービスを提供するサーバーであってもよい。
図1における端末装置、ネットワーク104及びサーバー105の数は、例示であり、これに限定されず、任意の数の端末装置、ネットワーク104及びサーバー105を利用できる。
対象物の双方向な三次元表現の制御方法は、次のステップからなる。
(S1)対象物の制御指示を取得する。
制御指示は、複数の方位制御パラメータを含む。
(S2)複数の方位制御パラメータの組み合わせに基づいて、対象物の画像情報を取得する。
画像情報は、所定の三次元表現の制御方法によって取得される。
(S3)方位制御パラメータ及び画像情報に基づいて、対象物の双方向な表現を実行する。
また、端末装置から送信された対象物の制御指示を、ネットワーク104を介して受信したサーバー105が本発明にかかる双方向な三次元表現の制御方法を実行することもできる。
そのため、仕様書に従って対応する解析を行い、制御指示の正しい内容を得ることができる。
複数の方位制御パラメータの組み合わせにより、対象物の画像情報を取得し、取得した画像情報に基づいて、対象物の対応する方向への移動及び表現を制御できる。
第1方位制御パラメータは、第1方向への対象物の移動制御及び画像情報の提示に用いられる。
第2方位制御パラメータは、第2方向への対象物の移動制御及び画像情報の提示に用いられる。
第1方向及び第2方向は、三次元空間の直角座標系における対象物の直交する任意の2方向であり、例えば、XYZ座標系におけるX方向及びY方向やX方向及びZ方向またはUVW座標系におけるU方向とV方向が挙げられる。
また、U方向及びV方向の方位制御パラメータの組み合わせを使用して、U方向及びV方向の対象物の画像情報を取得し、取得したU方向及びV方向の画像情報に基づいて、U方向及びV方向に沿った対象物の移動及び表現を制御することができる。
そのため、ユーザーは対象物自体またはその動きを、静的または動的に多方向から観察できるようになる。
視点制御パラメータは、対象物の移動及び表現を任意の視点に制御するために使用される。
視点制御パラメータは、方位制御パラメータと時間制御パラメータを組み合わせることで取得した画像情報に基づいて、任意の瞬間または期間における第1方向及び/または第2方向への対象物の移動及び表現を任意の視点で制御できる。
そのため、ユーザーは、必要に応じて、任意の視点から、対象物自体または対象物の動きを、静的または動的に観察することが容易になり、対象物を双方向に制御する際のユーザーの臨場感を向上させることができる。
(1)異なる複数の視点から、対象物の視角境界を特定する。
(2)異なる複数の視点から、視角境界内の対象物の画像情報を特定する。
(3)特定した視角境界内の対象物の画像情報を、画像処理によって撮影画像から切り出すことで、全ての視点における対象物の第1画像情報を取得する。
取得装置は、対象物の画像情報を取得できるものであれば、カメラ、仮想カメラ(仮想カメラは、仮想対象物体の画像情報を取得するために使用できる。)など、どのようなものでも利用できる。
そのため、画像情報を取得すべき対象物の視点が、例えば、視点1、視点2、視点3、視点4、・・・視点NのようにN個あると仮定した場合、対象物の撮影画像は、視点1からnまでのn枚が作成される。
対象物の撮影画像の取得には、公知の撮影装置を用いる。
この最大境界半径によって形成される円の円周を「視角境界」とする。
つまり、視角境界とは、異なる複数の視点から撮影されたそれぞれの撮影画像において、任意の撮影画像における対象物の中心と、その撮影画像における対象物が完全に収まる最小の円と、をつなぐ長さを「境界半径」とし、この境界半径が最も長い視点の最大境界半径によって形成される円の円周を意味する。
そこで、対象物が収められている視角境界内の画像情報を、画像処理によって撮影画像から切り出すことで、対象物の第1画像情報を取得する。
このようにして、視点1からNまでの各視点から撮影された各撮影画像から、視角境界内の画像情報のみを第1画像情報として取得する。
その結果、対象物の画像情報から余計なノイズを除去できる。
具体的には、撮影画像から、対象物が収められている視角境界によって形成される領域を特定し、対象物を含まない領域を切断することで、対象物のみを含む領域の画像情報を取得する。
これを、複数の視点で撮影された撮影画像ごとに行うことで、対象物のみを含む画像情報を取得できる。
その結果、対象物を三次元表現するために必要な画像情報の情報量を大幅に削減でき、対象物を三次元表現する際の画像情報を読み込む情報量を少なくすることができる。
また、対象物を三次元表現する際の画像情報の読み込み時間も短縮でき、対象物の三次元表現の制御効率を向上させ、ユーザーの臨場感も向上させることができる。
(1)撮影装置が、異なる複数の各視点における対象物との間の撮影距離を取得する。
(2)各視点の撮影距離を2以上に分割する分割点を設定し、全ての視点で、分割点でも対象物を撮影し、視点ごとに、視点及び分割点の計2以上の画像情報を取得する。
(3)視点ごとに、2以上の画像情報を合成し、対象物の第2画像情報を作成する。
その際に、それぞれの視点で、対象物と撮影装置の間の取得距離を取得する。
そして、各視点において、撮影距離を2以上に分割し、少なくとも1以上の分割点を設定する。
全ての視点において、本来の撮影箇所である各視点のほかに、分割点でも、対象物を撮影し、撮影画像を取得する。
つまり、視点ごとに、1以上の分割点で撮影された撮影画像を含む、少なくとも2以上の撮影画像を取得する。
その後、視点ごとに、少なくとも2以上の撮影画像から画像情報を取得し、2以上の画像情報を合成し、合成画像情報を作成する。
この合成画像情報を第2画像情報とする。
視点1における対象物と撮影装置の間の撮影距離を、公知の手段で取得する。
予め設定した分割数、例えば、3カットを設定すると、撮影距離を3つに分割するための分割点が2つ決まることになる。
2つの分割点のうち、分割点1で撮影された撮影画像からは画像情報1を、分割点2で撮影された撮影画像からは画像情報2を、それぞれ取得する。
分割点の設定数は、任意であり、例えば、撮影距離が長ければ、分割点を増やし、撮影距離が短ければ、分割点を減らすことができる。
このようにして、本来の撮影箇所である各視点のほかに、分割点でも画像情報を取得する。
この合成画像情報が第2画像情報になる。
これにより、同じ視点から撮影された対象物の撮影画像をもとに取得された画像情報は、拡大しても縮小しても、鮮明に表現でき、対象物の素材感、サイズ等の情報を精度良く表現できる。
このように、画像の精度を向上させ、双方向に三次元表現する制御を、よりスムーズかつ迅速に行うことができるため、ユーザーの臨場感を向上させることができる。
また、対象物と撮影装置の撮影距離の分割数は、自由に設定でき、画像情報の情報量が多い場合には、分割数を増やしたり、画像情報の情報量が少ない場合には、分割数を減らすこともできる。
属性番号は、画像情報を取得した時の視点情報(視点1、視点2、視点3、視点4、・・・視点N)、方向情報(U方向、V方向など。または、視角境界の円周によって形成される球体(または楕円体)の緯度、経度。)、時間情報などで、各視点において取得する画像情報に関連する情報として、P-U-V-Wなどを設定することもでき、入れ子形式のP(W(U(V)))や、1-30-45-5、0001、a&b&c*dなどでもよい。
属性番号の具体的な設定のルールは、現時点での視点及び/または方向の画像情報を表現できるものであれば限定されない。
例えば、属性番号をインデックス、画像情報をコンテンツとするリレーショナルデータベース(例えばMYSQL)のテーブルや、属性番号をキー、画像情報を値とするキーと値をペアにしたデータ、属性番号P(W(U(V)))の入れ子形式に対応する画像情報などを、メモリ(例えば、非リレーショナルデータベース Redis)やファイルシステム(ハードディスク、ディスクなど)に格納できる。
これにより、属性番号に従って対応するデータを迅速に見つけることが容易になる。
具体的には、以下のステップを実行する。
(2)属性番号に基づいて、対象物の画像情報を、属性番号に紐づくように予め設定された表示位置から取得する。
(3)第1方位制御パラメータ、第2方位制御パラメータ、視点制御パラメータ、および/または時間制御パラメータに基づいて、座標系を確立する。
(4)座標系において、画像情報を用いて対象物の三次元表現を行う。
この属性番号に従って、属性番号に紐づくように予め設定された表示位置から該当する画像情報を取得する。
そして、この座標系に、対象物や対象物の変化を読み込ませて、対象物を静的または動的に表現することで、ユーザーは必要に応じて対象物自体や対象物の変化を多方向から観察しやすくなる。
視点Pは、対象物の表面上の点や、視角境界によって形成される球体上の点にすることもできる。
次に、この座標系にU-V-W-Pの属性番号に従って得られた画像情報をロードすることで、対象物を静止画または動画として三次元に表現される。
本明細書に明示的に記載されていない限り、これらのステップが実行される厳密な順序はなく、他の順序で実行することができる。
制御装置500は、図2及び上記した三次元表現の制御方法の実施手順にしたがい、対象物の双方向な三次元表現のための制御装置であり、具体的には、種々の端末装置に実装できる。
端末装置は、携帯電話端末101、タブレット端末102、コンピュータ端末103などである。
なお、図6は、これらの構成要素61~63を有するコンピュータ装置6のみが図示されているが、図示されたすべての構成要素を実装する必要はなく、より多くの、またはより少ない構成要素を代わりに実装することができる。
コンピュータ装置6は、キーボード、マウス、リモートコントロール、タッチパッドまたは音声起動デバイスによって、ユーザーの指示を受けることができる。
また、メモリ61は、コンピュータ装置6の内部記憶装置と外部記憶装置の両方を構成することもできる。
また、メモリ61は、出力された、あるいは出力される予定の各種データを一時的に記憶するために使用することもできる。
プロセッサ62は、メモリ61に格納されたプログラムコードを実行するため、またはデータを処理するため、例えば、対象物の双方向な三次元表現のための制御方法のためのプログラムコードを実行するために使用される。
また、ソフトウェアに加えて必要なハードウェアプラットフォームを用いることができる。
本発明にかかる方法または装置は、ソフトウェア製品の形態で具現化することができ、ソフトウェアは、記憶媒体(例えば、ROM/RAM、ディスク、CD-ROM、DVD-ROMなど)に格納され、端末装置(例えば、携帯電話、コンピュータ、サーバー、エアコン、ネットワーク装置など)は、上記した実施例を実行する。
101 携帯電話端末
102 タブレット端末
103 コンピュータ端末
104 ネットワーク
105 サーバー
501 第1取得モジュール
502 第2取得モジュール
503 三次元表現モジュール
6 コンピュータ装置
61 メモリ
62 プロセッサ
63 ネットワークインターフェース
Claims (7)
- 対象物の制御指示を取得するステップS1と、
複数の方位制御パラメータの組み合わせに基づいて、対象物の画像情報を取得するステップS2と、
方位制御パラメータと画像情報に基づいて、対象物の双方向な表現を実現するステップS3と、
を実行する対象物の双方向な三次元表現の制御方法において、
ステップS1の制御指示には、複数の方位制御パラメータ及び視点制御パラメータが含まれ、
ステップS2の複数の方位制御パラメータには、第1方位制御パラメータ、第2方位制御パラメータ及び時間制御パラメータが含まれ、
ステップS2の画像情報には、第1画像情報及び第2画像情報が含まれており、
ステップS2は、
当該第1画像情報を取得するため、
異なる複数の視点から、対象物の視角境界を特定するステップと、
当該視角境界内の対象物の画像情報を特定するステップと、
当該画像情報を、画像処理によって撮影画像から切り出すことで、対象物の全ての視点における第1画像情報を取得するステップと、
当該第2画像情報を取得するため、
撮影装置が、異なる複数の各視点における対象物との間の撮影距離を取得するステップと、
各視点の撮影距離を2以上に分割する分割点を設定し、全ての視点で、分割点でも対象物を撮影し、視点ごとに、視点及び分割点の計2以上の画像情報を取得するステップと、
視点ごとに、2以上の画像情報を合成し、対象物の第2画像情報を作成するステップと、
を実行することを特徴とする対象物の双方向な三次元表現の制御方法。
- 前記の対象物の第2画像情報を取得するステップの後、
対象物の第1画像情報および/または第2画像情報に対して属性番号を設定し、属性番号に従って画像情報を、属性番号に紐づくように予め設定された表示位置に保存する。
ことを特徴とする請求項1記載の対象物の双方向な三次元表現の制御方法。
- 第1方位制御パラメータ、第2方位制御パラメータ、および/または、視点制御パラメータ、並びに、時間制御パラメータに基づいて、属性番号を取得するステップと、
属性番号に基づいて、対象物の画像情報を、属性番号に紐づくように予め設定された表示位置から取得するステップと、
を実行することを特徴とする請求項2記載の対象物の双方向な三次元表現の制御方法。
- 第1方位制御パラメータ、第2方位制御パラメータ、視点制御パラメータ、および/または時間制御パラメータに基づいて、座標系を確立するステップと、
座標系において、画像情報を用いて対象物の三次元表現を行うステップと、
を実行することを特徴とする請求項3記載の対象物の双方向な三次元表現の制御方法。
- 対象物の制御指示を取得するための第1取得モジュールと、
複数の方位制御パラメータの組み合わせに基づいて対象物の画像情報を取得する第2取得モジュールと、
複数の方位制御パラメータと画像情報に基づいて対象物の双方向に三次元表現する三次元表現モジュール、
を含む、対象物の双方向な三次元表現のための制御装置であって、
第1取得モジュールの制御指示には、複数の方位制御パラメータ及び視点制御パラメータが含まれ、
第2取得モジュールの複数の方位制御パラメータには、第1方位制御パラメータ、第2方位制御パラメータ及び時間制御パラメータが含まれ、
第2取得モジュールの画像情報には、第1画像情報及び第2画像情報が含まれており、
第2取得モジュールは、
当該第1画像情報を取得するため、
異なる複数の視点から、対象物の視角境界を特定し、
当該視角境界内の対象物の画像情報を特定し、
当該画像情報を、画像処理によって撮影画像から切り出すことで、対象物の全ての視点の第1画像情報を取得し、
当該第2画像情報を取得するため、
撮影装置が、異なる複数の各視点における対象物との間の撮影距離を取得し、
各視点の撮影距離を2以上に分割する分割点を設定し、全ての視点で、分割点でも対象物を撮影し、視点ごとに、視点及び分割点の計2以上の画像情報を取得し、
視点ごとに、2以上の画像情報を合成し、対象物の第2画像情報を作成する
ことを特徴とする対象物の双方向な三次元表現のための制御装置。
- プロセッサで実行可能なコンピュータプログラムが格納されたメモリと、
当該コンピュータプログラムを実行するプロセッサと、
他の端末装置との間の通信接続を確立するネットワークインターフェースと、
を備え、
当該プロセッサが当該コンピュータプログラムを実行することにより、
請求項1から4のいずれかに記載された対象物の双方向な三次元表現の制御方法を実行することを特徴とするコンピュータ装置。
- コンピュータプログラムが記録され、
コンピュータプログラムが実行されることで、
請求項1から4のいずれかに記載された対象物の双方向な三次元表現の制御方法を実行することを特徴とするコンピュータ装置が読み取り可能な記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210566832.4A CN114648615B (zh) | 2022-05-24 | 2022-05-24 | 目标对象交互式重现的控制方法、装置、设备及存储介质 |
CN202210566832.4 | 2022-05-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7337428B1 true JP7337428B1 (ja) | 2023-09-04 |
JP2023172893A JP2023172893A (ja) | 2023-12-06 |
Family
ID=81997602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023057652A Active JP7337428B1 (ja) | 2022-05-24 | 2023-03-31 | 対象物の双方向な三次元表現の制御方法、制御装置及び記録媒体 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230386041A1 (ja) |
EP (1) | EP4283441A1 (ja) |
JP (1) | JP7337428B1 (ja) |
KR (1) | KR20230163921A (ja) |
CN (1) | CN114648615B (ja) |
AU (1) | AU2022368364A1 (ja) |
WO (1) | WO2023226371A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114648615B (zh) * | 2022-05-24 | 2022-07-29 | 四川中绳矩阵技术发展有限公司 | 目标对象交互式重现的控制方法、装置、设备及存储介质 |
CN117640967A (zh) * | 2022-08-19 | 2024-03-01 | 北京字跳网络技术有限公司 | 图像显示方法、图像处理方法、装置、设备及介质 |
CN115225884A (zh) * | 2022-08-30 | 2022-10-21 | 四川中绳矩阵技术发展有限公司 | 一种图像和声音的交互式重现方法、***、设备和介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016057947A (ja) | 2014-09-11 | 2016-04-21 | 株式会社パスコ | 仮想空間表示装置、仮想空間表示方法及びプログラム |
WO2018150933A1 (ja) | 2017-02-20 | 2018-08-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP2021177351A (ja) | 2020-05-08 | 2021-11-11 | キヤノン株式会社 | 画像表示装置、制御方法、およびプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3220357A3 (de) * | 2016-03-15 | 2018-01-10 | Siemens Healthcare GmbH | Modellhaftes erzeugen und darstellen von dreidimensionalen objekten |
US20180143693A1 (en) * | 2016-11-21 | 2018-05-24 | David J. Calabrese | Virtual object manipulation |
US20190138786A1 (en) * | 2017-06-06 | 2019-05-09 | Sightline Innovation Inc. | System and method for identification and classification of objects |
CN108881886A (zh) * | 2018-05-31 | 2018-11-23 | 成都中绳科技有限公司 | 一种基于相机矩阵技术实现在显示端进行大数据无损交互应用的方法 |
US10930183B2 (en) * | 2018-11-22 | 2021-02-23 | Electronics And Telecommunications Research Institute | Hologram content generation apparatus, integrated hologram content control system having the same, and method for operating the hologram content generation apparatus |
CN110473285B (zh) * | 2019-07-30 | 2024-03-01 | 上海联影智能医疗科技有限公司 | 图像重构方法、装置、计算机设备和存储介质 |
CN113269864A (zh) * | 2020-02-14 | 2021-08-17 | 福州非圆网络科技有限公司 | 一种多视角三维重建装置及方法 |
CN111696193B (zh) * | 2020-05-06 | 2023-08-25 | 广东康云科技有限公司 | 基于三维场景的物联网控制方法、***、装置及存储介质 |
CN113784148A (zh) * | 2020-06-10 | 2021-12-10 | 阿里巴巴集团控股有限公司 | 数据处理方法、***、相关设备和存储介质 |
CN111708366B (zh) * | 2020-06-29 | 2023-06-06 | 山东浪潮科学研究院有限公司 | 机器人及其行动控制方法、装置和计算机可读存储介质 |
CN112291550A (zh) * | 2020-10-29 | 2021-01-29 | 苏州浪潮智能科技有限公司 | 自由视点图像生成方法、装置、***及可读存储介质 |
CN114049674A (zh) * | 2021-11-24 | 2022-02-15 | 华中科技大学鄂州工业技术研究院 | 一种三维人脸重建方法、装置及存储介质 |
CN114648615B (zh) * | 2022-05-24 | 2022-07-29 | 四川中绳矩阵技术发展有限公司 | 目标对象交互式重现的控制方法、装置、设备及存储介质 |
-
2022
- 2022-05-24 CN CN202210566832.4A patent/CN114648615B/zh active Active
- 2022-12-09 WO PCT/CN2022/137768 patent/WO2023226371A1/zh active Application Filing
- 2022-12-09 AU AU2022368364A patent/AU2022368364A1/en active Pending
-
2023
- 2023-01-04 US US18/149,678 patent/US20230386041A1/en active Pending
- 2023-01-13 EP EP23151524.8A patent/EP4283441A1/en active Pending
- 2023-01-18 KR KR1020230007538A patent/KR20230163921A/ko unknown
- 2023-03-31 JP JP2023057652A patent/JP7337428B1/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016057947A (ja) | 2014-09-11 | 2016-04-21 | 株式会社パスコ | 仮想空間表示装置、仮想空間表示方法及びプログラム |
WO2018150933A1 (ja) | 2017-02-20 | 2018-08-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP2021177351A (ja) | 2020-05-08 | 2021-11-11 | キヤノン株式会社 | 画像表示装置、制御方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
AU2022368364A1 (en) | 2023-12-14 |
CN114648615A (zh) | 2022-06-21 |
JP2023172893A (ja) | 2023-12-06 |
CN114648615B (zh) | 2022-07-29 |
EP4283441A1 (en) | 2023-11-29 |
KR20230163921A (ko) | 2023-12-01 |
US20230386041A1 (en) | 2023-11-30 |
WO2023226371A1 (zh) | 2023-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7337428B1 (ja) | 対象物の双方向な三次元表現の制御方法、制御装置及び記録媒体 | |
US9904664B2 (en) | Apparatus and method providing augmented reality contents based on web information structure | |
US9443353B2 (en) | Methods and systems for capturing and moving 3D models and true-scale metadata of real world objects | |
CN106846497B (zh) | 应用于终端的呈现三维地图的方法和装置 | |
CN112074797A (zh) | 用于将虚拟对象锚定到物理位置的***和方法 | |
US20140282220A1 (en) | Presenting object models in augmented reality images | |
JP6096634B2 (ja) | 仮想現実を用いた3次元地図表示システム | |
US11688136B2 (en) | 3D object model reconstruction from 2D images | |
CN112639876A (zh) | 活动图像深度预测 | |
CN115516406B (zh) | 使用生物数据进行的深度估计 | |
CN115769260A (zh) | 基于光度测量的3d对象建模 | |
US20230267687A1 (en) | 3d object model reconstruction from 2d images | |
EP4315260A1 (en) | Facial synthesis for head turns in augmented reality content | |
CN113867875A (zh) | 标记对象的编辑及显示方法、装置、设备、存储介质 | |
CN110036356B (zh) | Vr***中的图像处理 | |
US20230326147A1 (en) | Helper data for anchors in augmented reality | |
CN115018975A (zh) | 数据集生成方法、装置、电子设备及存储介质 | |
CN114820575B (zh) | 图像验证方法、装置、计算机设备及存储介质 | |
US11948266B1 (en) | Virtual object manipulation with gestures in a messaging system | |
US20240087242A1 (en) | 3d cursor functionality for augmented reality content in messaging systems | |
US20240087244A1 (en) | Cursor functionality for augmented reality content in messaging systems | |
US20240087239A1 (en) | Sculpting augmented reality content using gestures in a messaging system | |
US20240087246A1 (en) | Trigger gesture for selection of augmented reality content in messaging systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230331 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7337428 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |