JP7291835B1 - 画像処理方法、情報処理装置、及び、コンピュータプログラム - Google Patents
画像処理方法、情報処理装置、及び、コンピュータプログラム Download PDFInfo
- Publication number
- JP7291835B1 JP7291835B1 JP2022145489A JP2022145489A JP7291835B1 JP 7291835 B1 JP7291835 B1 JP 7291835B1 JP 2022145489 A JP2022145489 A JP 2022145489A JP 2022145489 A JP2022145489 A JP 2022145489A JP 7291835 B1 JP7291835 B1 JP 7291835B1
- Authority
- JP
- Japan
- Prior art keywords
- model
- data
- moving image
- image
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 230000010365 information processing Effects 0.000 title claims description 29
- 238000004590 computer program Methods 0.000 title claims description 5
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000003384 imaging method Methods 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 20
- 239000003550 marker Substances 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000001737 promoting effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 229940064452 artec Drugs 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
Abstract
Description
上記課題を解決するための一形態はまた、動画像を再構成する画像処理方法であって、撮影部により模型の外観を複数方向から撮影して生成された複数の画像から、処理部が前記画像に含まれる前記模型の第1の三次元モデルデータを生成する工程と、処理部が、予め第2の三次元モデルデータを含んで構成された動画像のテンプレートデータにおいて、前記第2の三次元モデルデータを前記第1の三次元モデルデータと置き換えることにより、前記動画像を再構成する工程と、出力部が、再構成された動画像の取得先を示す情報を出力する工程とを含み、前記動画像のテンプレートデータは、模型の種別に応じた複数のテンプレートデータが用意され、前記処理部が、前記複数のテンプレートデータから1つのテンプレートデータの選択を受け付ける工程を更に含み、前記模型の種別には、等身大の形状を縮小した外観形状を有する模型の第1の種別と、等身大の形状をデフォルメした外観形状を有する模型の第2の種別とが含まれ、前記生成する工程は、前記第1の三次元モデルデータが、前記動画像の内容に応じた大きさに調整されて生成され、前記大きさの調整は、前記選択を受け付けた前記動画像のテンプレートデータにおける前記模型の種別と同一の種別の模型の前記第1の三次元モデルデータについて行われる。
上記実施形態は以下の画像処理方法、情報処理装置、及びコンピュータプログラムを少なくとも開示する。
撮影部により模型の外観の画像を複数方向から撮影して生成された複数の画像から、処理部が前記画像に含まれる前記模型の第1の三次元モデルデータを生成する工程と、
処理部が、予め第2の三次元モデルデータを含んで構成された動画像のテンプレートデータにおいて、前記第2の三次元モデルデータを前記第1の三次元モデルデータと置き換えることにより、前記動画像を再構成する工程と、
出力部が、再構成された動画像の取得先を示す情報を出力する工程と
を含む、画像処理方法。
前記第1の三次元モデルデータは、前記マーカに基づき向き及び位置が補正されて生成される、(1)に記載の画像処理方法。
前記再構成する工程では、ユーザからの選択を受け付けたテンプレートデータについて、前記動画像の再構成が行われる、(1)又は(2)に記載の画像処理方法。
前記複数の画像は、前記模型を前記推奨されるポーズとした外観を撮影して生成されている、(1)から(6)のいずれか1つに記載の画像処理方法。
予め第2の三次元モデルデータを含んで構成された動画像のテンプレートデータにおいて、前記第2の三次元モデルデータを前記第1の三次元モデルデータと置き換えることにより、前記動画像を再構成する再構成手段と、
再構成された動画像の取得先を示す情報を出力部から出力するように制御する制御手段と
を備える情報処理装置。
Claims (11)
- 動画像を再構成する画像処理方法であって、
撮影部により模型の外観を複数方向から撮影して生成された複数の画像から、処理部が前記画像に含まれる前記模型の第1の三次元モデルデータを生成する工程と、
処理部が、予め第2の三次元モデルデータを含んで構成された動画像のテンプレートデータにおいて、前記第2の三次元モデルデータを前記第1の三次元モデルデータと置き換えることにより、前記動画像を再構成する工程と、
出力部が、再構成された動画像の取得先を示す情報を出力する工程と
を含み、
前記動画像のテンプレートデータは、模型の種別に応じた複数のテンプレートデータが用意され、
前記処理部が、前記複数のテンプレートデータから1つのテンプレートデータの選択を受け付ける工程を更に含み、
前記模型の種別には、等身大の形状を縮小した外観形状を有する模型の第1の種別と、等身大の形状をデフォルメした外観形状を有する模型の第2の種別とが含まれ、
前記生成する工程は、前記第1の三次元モデルデータが、前記動画像の内容に応じた大きさに調整されて生成され、
前記大きさの調整は、前記選択を受け付けた前記動画像のテンプレートデータにおける前記模型の種別と同一の種別の模型の前記第1の三次元モデルデータについて行われる、画像処理方法。 - 前記複数の画像は、前記模型の向き及び位置を特定するためのマーカを含み、
前記第1の三次元モデルデータは、前記マーカに基づき向き及び位置が補正されて生成される、請求項1に記載の画像処理方法。 - 前記大きさの調整は、前記動画像のテンプレートデータの前記模型の種別と異なる種別の前記第1の三次元モデルデータについては行われない、請求項1に記載の画像処理方法。
- 前記動画像のテンプレートデータには、前記模型について推奨されるポーズが関連付けられ、
前記複数の画像は、前記模型を前記推奨されるポーズとした外観を撮影して生成されている、請求項1に記載の画像処理方法。 - 前記動画像のテンプレートデータの選択を受け付けたことに応じて、前記処理部が、前記動画像について推奨されるポーズの指定を表示装置に表示させる工程を更に含む、請求項1に記載の画像処理方法。
- 前記複数方向は、前記模型の全周を網羅するように定められる、請求項1に記載の画像処理方法。
- 前記複数の画像は、前記撮影部が、第1の光源と、前記第1の光源からの照射光による影を相殺する少なくとも1つ以上の第2の光源とにより照射された前記模型を撮影して生成される、請求項1に記載の画像処理方法。
- 前記処理部が、前記撮影部から前記複数の画像を受信する工程を更に含む、請求項1に記載の画像処理方法。
- 前記テンプレートデータには、前記第2の三次元モデルデータの3次元空間内での位置、動き、カメラアングル、ライティングの少なくともいずれかの情報が、前記動画像の時間軸に合わせて設定されている、請求項1に記載の画像処理方法。
- 模型の外観を複数方向から撮影して生成された複数の画像から、前記画像に含まれる前記模型の第1の三次元モデルデータを生成する生成手段と、
予め第2の三次元モデルデータを含んで構成された動画像のテンプレートデータにおいて、前記第2の三次元モデルデータを前記第1の三次元モデルデータと置き換えることにより、前記動画像を再構成する再構成手段と、
再構成された動画像の取得先を示す情報を出力部から出力するように制御する制御手段と、
前記動画像のテンプレートデータの選択を受け付ける受付手段と、
を備え、
前記動画像のテンプレートデータは、模型の種別に応じて複数のテンプレートデータが用意され、
前記模型の種別には、等身大の形状を縮小した外観形状を有する模型の第1の種別と、等身大の形状をデフォルメした外観形状を有する模型の第2の種別とが含まれ、
前記生成手段は、前記第1の三次元モデルデータを、前記動画像の内容に応じた大きさに調整して生成し、前記大きさの調整を、前記受付手段が前記選択を受け付けた前記動画像のテンプレートデータにおける前記模型の種別と同一の種別の模型の前記第1の三次元モデルデータについて行なう、情報処理装置。 - コンピュータに、請求項1から9のいずれか1項に記載の画像処理方法を実行させるためのコンピュータプログラム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022145489A JP7291835B1 (ja) | 2022-09-13 | 2022-09-13 | 画像処理方法、情報処理装置、及び、コンピュータプログラム |
CN202211582885.1A CN115941921A (zh) | 2022-09-13 | 2022-12-09 | 图像处理方法、信息处理装置、计算机程序及存储介质 |
JP2023091816A JP2024041034A (ja) | 2022-09-13 | 2023-06-02 | 画像処理方法、情報処理装置、及び、コンピュータプログラム |
TW112127710A TW202411944A (zh) | 2022-09-13 | 2023-07-25 | 圖像處理方法、資訊處理裝置、及電腦程式 |
KR1020230120145A KR20240036484A (ko) | 2022-09-13 | 2023-09-11 | 화상 처리 방법, 정보 처리 장치, 및 컴퓨터 프로그램 |
US18/464,656 US20240087271A1 (en) | 2022-09-13 | 2023-09-11 | Image processing method, information processing apparatus, and computer program product |
EP23197089.8A EP4339896A1 (en) | 2022-09-13 | 2023-09-13 | Reconstructing a video image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022145489A JP7291835B1 (ja) | 2022-09-13 | 2022-09-13 | 画像処理方法、情報処理装置、及び、コンピュータプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023091816A Division JP2024041034A (ja) | 2022-09-13 | 2023-06-02 | 画像処理方法、情報処理装置、及び、コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7291835B1 true JP7291835B1 (ja) | 2023-06-15 |
JP2024040859A JP2024040859A (ja) | 2024-03-26 |
Family
ID=86698810
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022145489A Active JP7291835B1 (ja) | 2022-09-13 | 2022-09-13 | 画像処理方法、情報処理装置、及び、コンピュータプログラム |
JP2023091816A Pending JP2024041034A (ja) | 2022-09-13 | 2023-06-02 | 画像処理方法、情報処理装置、及び、コンピュータプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023091816A Pending JP2024041034A (ja) | 2022-09-13 | 2023-06-02 | 画像処理方法、情報処理装置、及び、コンピュータプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20240087271A1 (ja) |
EP (1) | EP4339896A1 (ja) |
JP (2) | JP7291835B1 (ja) |
KR (1) | KR20240036484A (ja) |
CN (1) | CN115941921A (ja) |
TW (1) | TW202411944A (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004157968A (ja) | 2002-04-18 | 2004-06-03 | Canon Europa Nv | 3次元コンピュータモデリング |
JP2006244306A (ja) | 2005-03-04 | 2006-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 動画像生成システム、動画像生成装置、動画像生成方法、プログラム、及び記録媒体 |
JP2019045995A (ja) | 2017-08-30 | 2019-03-22 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム |
JP2020137012A (ja) | 2019-02-22 | 2020-08-31 | 成司 猪俣 | 合成動画像生成装置 |
JP2020188507A (ja) | 2020-08-04 | 2020-11-19 | 辰巳電子工業株式会社 | 遊戯画像撮影システムおよび画像処理装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2098988A1 (en) * | 2008-03-03 | 2009-09-09 | Nokia Siemens Networks Oy | Method and device for processing a data stream and system comprising such device |
US9626798B2 (en) * | 2011-12-05 | 2017-04-18 | At&T Intellectual Property I, L.P. | System and method to digitally replace objects in images or video |
JP7418956B2 (ja) | 2018-12-28 | 2024-01-22 | 株式会社バンダイナムコエンターテインメント | 画像生成システム及びプログラム |
-
2022
- 2022-09-13 JP JP2022145489A patent/JP7291835B1/ja active Active
- 2022-12-09 CN CN202211582885.1A patent/CN115941921A/zh active Pending
-
2023
- 2023-06-02 JP JP2023091816A patent/JP2024041034A/ja active Pending
- 2023-07-25 TW TW112127710A patent/TW202411944A/zh unknown
- 2023-09-11 US US18/464,656 patent/US20240087271A1/en active Pending
- 2023-09-11 KR KR1020230120145A patent/KR20240036484A/ko unknown
- 2023-09-13 EP EP23197089.8A patent/EP4339896A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004157968A (ja) | 2002-04-18 | 2004-06-03 | Canon Europa Nv | 3次元コンピュータモデリング |
JP2006244306A (ja) | 2005-03-04 | 2006-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 動画像生成システム、動画像生成装置、動画像生成方法、プログラム、及び記録媒体 |
JP2019045995A (ja) | 2017-08-30 | 2019-03-22 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム |
JP2020137012A (ja) | 2019-02-22 | 2020-08-31 | 成司 猪俣 | 合成動画像生成装置 |
JP2020188507A (ja) | 2020-08-04 | 2020-11-19 | 辰巳電子工業株式会社 | 遊戯画像撮影システムおよび画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
KR20240036484A (ko) | 2024-03-20 |
TW202411944A (zh) | 2024-03-16 |
CN115941921A (zh) | 2023-04-07 |
EP4339896A1 (en) | 2024-03-20 |
US20240087271A1 (en) | 2024-03-14 |
JP2024040859A (ja) | 2024-03-26 |
JP2024041034A (ja) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11270419B2 (en) | Augmented reality scenario generation method, apparatus, system, and device | |
US10417829B2 (en) | Method and apparatus for providing realistic 2D/3D AR experience service based on video image | |
US10692288B1 (en) | Compositing images for augmented reality | |
JP6453501B1 (ja) | 複合現実システム、プログラム、方法、及び携帯端末装置 | |
CN109584295A (zh) | 对图像内目标物体进行自动标注的方法、装置及*** | |
KR101692335B1 (ko) | 증강현실 영상표시 시스템 및 증강현실 영상표시 방법 | |
US20080024523A1 (en) | Generating images combining real and virtual images | |
CN108416832B (zh) | 媒体信息的显示方法、装置和存储介质 | |
CN113994396A (zh) | 基于增强现实和/或姿势检测技术的用户引导*** | |
KR20180111970A (ko) | 타겟 대상 표시 방법 및 디바이스 | |
JP6640294B1 (ja) | 複合現実システム、プログラム、携帯端末装置、及び方法 | |
CN111833457A (zh) | 图像处理方法、设备及存储介质 | |
JP7291835B1 (ja) | 画像処理方法、情報処理装置、及び、コンピュータプログラム | |
CN113470190A (zh) | 场景显示方法及装置、设备、车辆、计算机可读存储介质 | |
WO2024022070A1 (zh) | 画面显示方法、装置、设备及介质 | |
US9769457B1 (en) | Two dimensions of freedom photography system and method | |
CN111640190A (zh) | Ar效果的呈现方法、装置、电子设备及存储介质 | |
KR101685505B1 (ko) | 사용자 참여형 3차원 영상 생성방법과 이를 이용한 놀이학습 콘텐츠 제공 시스템 및 방법 | |
JP7442604B1 (ja) | 画像処理方法、情報処理装置、及び、コンピュータプログラム | |
KR101643569B1 (ko) | 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법을 이용한 체험 방법 | |
CN115049803A (zh) | 增强现实画面的展示方法、装置、计算机设备及存储介质 | |
KR20190098293A (ko) | 프로젝션 매핑 장치 및 시스템 | |
KR101990252B1 (ko) | Vr 이미지 획득 방법, 이를 수행하기 위한 vr 촬영 프로그램이 설치된 휴대 단말기, 그리고 이 vr 촬영 프로그램을 휴대 단말기에 제공하는 서버 | |
JP4591962B2 (ja) | 画像生成装置、ゲーム装置、画像生成方法、画像生成プログラムおよび可読記録媒体 | |
TW202422482A (zh) | 圖像處理方法、資訊處理裝置及電腦程式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220913 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230605 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7291835 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |