JP2016131031A - 映像処理装置、映像処理方法、および映像処理システム - Google Patents
映像処理装置、映像処理方法、および映像処理システム Download PDFInfo
- Publication number
- JP2016131031A JP2016131031A JP2016031175A JP2016031175A JP2016131031A JP 2016131031 A JP2016131031 A JP 2016131031A JP 2016031175 A JP2016031175 A JP 2016031175A JP 2016031175 A JP2016031175 A JP 2016031175A JP 2016131031 A JP2016131031 A JP 2016131031A
- Authority
- JP
- Japan
- Prior art keywords
- image
- marker
- proximity
- interaction
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 32
- 238000003672 processing method Methods 0.000 title claims description 4
- 239000003550 marker Substances 0.000 claims abstract description 114
- 230000003993 interaction Effects 0.000 claims abstract description 67
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000000704 physical effect Effects 0.000 claims 1
- 230000003287 optical effect Effects 0.000 abstract description 10
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 description 21
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 17
- 239000013598 vector Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000010365 information processing Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
E=(x1−x2)2+(y1−y2)2+(z1−z2)2−(r1+r2)2 (1)
上記では、オブジェクトの距離計測基準点としてオブジェクトを構成するポリゴンの重心を採用する場合について説明したが、距離計測基準点はポリゴンの重心の座標には限られない。例えば、オブジェクトを構成するポリゴンのうちひとつのポリゴンの位置座標を代表で用いてもよい。このとき、代表で用いるポリゴンをオブジェクト間の位置関係に応じて適応的に変更してもよい。具体的には、オブジェクトを構成する複数のポリゴンのうち、別のオブジェクトとの距離が最短のポリゴンの位置座標をオブジェクトの座標として採用してもよい。これにより、例えばオブジェクト同士の衝突判定の計算を上述の式(1)を用いることなく、容易かつ正確にすることができる。
上記では、映像提示システム100が3次元モニタ300を含む場合について説明したが、本発明の実施の形態において3次元モニタ300は必須ではなく、立体映像の出力先が立体映像観察デバイス200中の光学透過型HMDだけであっても本発明の実施の形態が成立することは当業者であれば容易に理解できることである。
上記では、ARイメージ同士が接する場合の相互作用を主に説明したが、ARイメージ同士が接しない場合であっても相互作用は算出される。例えば、ユーザがマーカを動かして扇子を表すARイメージを、紙切れを表すARイメージに向かって扇ぐ場合、扇子を表すARイメージと紙切れを表すARイメージとは接しなくても、両者が十分に近接すれば、紙切れを表すARイメージが吹き飛ぶという相互作用が演出される。このように、相互作用はARイメージ同士の近接度に応じて定まる。
上記では、近接度取得部560は異なるふたつのARイメージ間の近接度を取得する場合について説明した、近接度取得部560が算出する近接度は、異なるふたつのARイメージ間の近接度に限らず、あるARイメージとマーカとの間の近接度を求めてもよい。以下、この場合について説明する。
Claims (12)
- 撮像素子が撮像した被写体をマーカとして、仮想的な3次元空間における3次元イメージを実空間中に投影した場合に観察される映像を提示するHMDに提示させるAR(Augmented Reality)イメージを生成するARイメージ生成部と、
第1のマーカと第2のマーカとはともに、仮想的な3次元空間における位置、向き、または傾きが変化する映像中の撮像された被写体であり、第1のマーカに紐付けられた第1ARイメージ、第2のマーカに紐付けられた第2ARイメージは、それぞれ第1のマーカ、第2のマーカの位置、向き、または傾きの変化に連動して位置や向き、傾きが変化するオブジェクトであり、第1のマーカに紐付けられた第1ARイメージと、第2のマーカに紐付けられた第2ARイメージとの間の、仮想的な3次元空間における近接度を取得する近接度取得部と、
前記近接度取得部が取得した近接度をもとに、第1ARイメージまたは第2ARイメージとの間に生じる相互作用を算出する相互作用演出部とを含み、
前記ARイメージ生成部は、前記相互作用演出部が算出した相互作用に応じて、第1ARイメージまたは第2ARイメージの少なくともいずれか一方のイメージを変化させることを特徴とする映像処理装置。 - 前記ARイメージ生成部が生成するARイメージそれぞれに付与される仮想的な物理特性を含む属性を管理する属性管理部をさらに含み、
前記ARイメージ生成部は、前記属性が変化したときに生成するイメージを変化させることを特徴とする請求項1に記載の映像処理装置。 - 前記属性管理部は、相互作用演出部が算出した相互作用に応じて第1ARイメージまたは第2ARイメージに付与れた属性を変化させることを特徴とする請求項2に記載の映像処理装置。
- 前記属性管理部が管理する属性に含まれる物理特性は、前記仮想的な3次元空間におけるARイメージの位置座標、速度、加速度、または質量のうち少なくともひとつを含み、
前記相互作用演出部は、前記近接度取得部が取得した近接度をもとに、第1ARイメージの物理特性と第2ARイメージの物理特性とを変化させることを特徴とする請求項2または3に記載の映像処理装置。 - 前記属性管理部が管理する属性は、ARイメージに反映させるべき視覚効果を示す情報を含むことを特徴とする請求項2から4のいずれかに記載の映像処理装置。
- 前記ARイメージ生成部は、所定時間が経過した後、仮想の物理的または化学的な現象が起きた場合、当初のARイメージをもとに別のARイメージを新たに生成することを特徴とする請求項1から5のいずれかに記載の映像処理装置。
- 前記ARイメージ生成部は、前記属性管理部が管理する属性に含まれる物理特性の単位時間あたりの変化量が所定のしきい値を上回る場合、当該属性を付与された当初のARイメージをもとに別のARイメージを新たに生成することを特徴とする請求項2から5のいずれかに記載の映像処理装置。
- 前記ARイメージ生成部は、前記当初のARイメージをもとに前記別のARイメージを新たに生成する際、新しく生成されたARイメージを前記当初のARイメージが紐付けられた元のマーカーに紐付けることを特徴とする請求項6または7に記載の映像処理装置。
- 前記ARイメージ生成部は、前記当初のARイメージをもとに前記別のARイメージを新たに生成する際、新しく生成されたARイメージを位置情報を用いた別のマーカーに紐付けることを特徴とする請求項6または7に記載の映像処理装置。
- 仮想的な3次元空間における3次元イメージを実空間中に投影した場合に観察される映像を提示するHMDと、当該HMDを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子とを備える立体映像観察デバイスに提示させる、前記撮像素子が撮像した被写体をマーカとするARイメージを生成するステップと、
第1のマーカと第2のマーカとはともに、仮想的な3次元空間における位置、向き、または傾きが変化する映像中の撮像された被写体であり、第1のマーカに紐付けられた第1ARイメージ、第2のマーカに紐付けられた第2ARイメージは、それぞれ第1のマーカ、第2のマーカの位置、向き、または傾きの変化に連動して位置や向き、傾きが変化するオブジェクトであり、第1のマーカに紐付けられた第1ARイメージと、第2のマーカに紐付けられた第2ARイメージとの間の、仮想的な3次元空間における近接度を取得するステップと、
取得した近接度をもとに、第1ARイメージまたは第2ARイメージとの間に生じる相互作用を算出するステップと、
算出した相互作用に応じて、第1ARイメージまたは第2ARイメージの少なくともいずれか一方のイメージを変化させるステップとをプロセッサに実行させることを特徴とする映像処理方法。 - 仮想的な3次元空間における3次元イメージを実空間中に投影した場合に観察される映像を提示するHMDと、当該HMDを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子とを備える立体映像観察デバイスに提示させる、前記撮像素子が撮像した被写体をマーカとするARイメージを生成する機能と、
第1のマーカと第2のマーカとはともに、仮想的な3次元空間における位置、向き、または傾きが変化する映像中の撮像された被写体であり、第1のマーカに紐付けられた第1ARイメージ、第2のマーカに紐付けられた第2ARイメージは、それぞれ第1のマーカ、第2のマーカの位置、向き、または傾きの変化に連動して位置や向き、傾きが変化するオブジェクトであり、第1のマーカに紐付けられた第1ARイメージと、第2のマーカに紐付けられた第2ARイメージとの間の、仮想的な3次元空間における近接度を取得する機能と、
取得した近接度をもとに、第1ARイメージまたは第2ARイメージとの間に生じる相互作用を算出する機能と、
算出した相互作用に応じて、第1ARイメージまたは第2ARイメージの少なくともいずれか一方のイメージを変化させる機能とをコンピュータに実現させることを特徴とするプログラム。 - 仮想的な3次元空間における3次元イメージを実空間中に投影した場合に観察される映像を提示するHMDと、
前記HMDを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子と、
前記撮像素子が撮像した被写体をマーカとして、前記HMDに提示させるAR(Augmented Reality)イメージを生成するARイメージ生成部と、
第1のマーカと第2のマーカとはともに、仮想的な3次元空間における位置、向き、または傾きが変化する映像中の撮像された被写体であり、第1のマーカに紐付けられた第1ARイメージ、第2のマーカに紐付けられた第2ARイメージは、それぞれ第1のマーカ、第2のマーカの位置、向き、または傾きの変化に連動して位置や向き、傾きが変化するオブジェクトであり、第1のマーカに紐付けられた第1ARイメージと、第2のマーカに紐付けられた第2ARイメージとの間の、仮想的な3次元空間における近接度を取得する近接度取得部と、
前記近接度取得部が取得した近接度をもとに、第1ARイメージまたは第2ARイメージとの間に生じる相互作用を算出する相互作用演出部とを含み、
前記ARイメージ生成部は、前記相互作用演出部が算出した相互作用に応じて、第1ARイメージまたは第2ARイメージの少なくともいずれか一方のイメージを変化させることを特徴とする映像処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016031175A JP6161749B2 (ja) | 2016-02-22 | 2016-02-22 | 映像処理装置、映像処理方法、および映像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016031175A JP6161749B2 (ja) | 2016-02-22 | 2016-02-22 | 映像処理装置、映像処理方法、および映像処理システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012147344A Division JP5891125B2 (ja) | 2012-06-29 | 2012-06-29 | 映像処理装置、映像処理方法、および映像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016131031A true JP2016131031A (ja) | 2016-07-21 |
JP6161749B2 JP6161749B2 (ja) | 2017-07-12 |
Family
ID=56415570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016031175A Active JP6161749B2 (ja) | 2016-02-22 | 2016-02-22 | 映像処理装置、映像処理方法、および映像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6161749B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200046381A (ko) * | 2018-10-24 | 2020-05-07 | 디에스글로벌 (주) | 위치정보 및 시간정보 기반의 ar 컨텐츠 제공 방법 및 시스템 |
CN111857364A (zh) * | 2019-04-28 | 2020-10-30 | 广东虚拟现实科技有限公司 | 交互装置、虚拟内容的处理方法、装置以及终端设备 |
WO2020246508A1 (ja) * | 2019-06-07 | 2020-12-10 | 株式会社ソニー・インタラクティブエンタテインメント | 物理演算装置、物理演算方法およびプログラム |
CN114302057A (zh) * | 2021-12-24 | 2022-04-08 | 维沃移动通信有限公司 | 图像参数确定方法、装置、电子设备及存储介质 |
JP7442774B1 (ja) | 2023-07-11 | 2024-03-05 | 国立大学法人富山大学 | リハビリ支援システム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07230559A (ja) * | 1994-02-16 | 1995-08-29 | Sega Enterp Ltd | 衝突判定処理システムおよびこれを用いた画像処理装置 |
JP2000350865A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体 |
JP2000353248A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実感装置及び複合現実感提示方法 |
JP2006072668A (ja) * | 2004-09-01 | 2006-03-16 | Sony Computer Entertainment Inc | 画像処理装置、ゲーム装置および画像処理方法 |
JP2006244046A (ja) * | 2005-03-02 | 2006-09-14 | Nintendo Co Ltd | 衝突判定プログラムおよび衝突判定装置 |
JP2006313549A (ja) * | 2005-05-03 | 2006-11-16 | Seac02 Srl | 実マーカオブジェクトを識別する拡張現実システム |
JP2010026818A (ja) * | 2008-07-18 | 2010-02-04 | Geisha Tokyo Entertainment Inc | 画像処理プログラム、画像処理装置及び画像処理方法 |
-
2016
- 2016-02-22 JP JP2016031175A patent/JP6161749B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07230559A (ja) * | 1994-02-16 | 1995-08-29 | Sega Enterp Ltd | 衝突判定処理システムおよびこれを用いた画像処理装置 |
JP2000350865A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体 |
JP2000353248A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実感装置及び複合現実感提示方法 |
JP2006072668A (ja) * | 2004-09-01 | 2006-03-16 | Sony Computer Entertainment Inc | 画像処理装置、ゲーム装置および画像処理方法 |
JP2006244046A (ja) * | 2005-03-02 | 2006-09-14 | Nintendo Co Ltd | 衝突判定プログラムおよび衝突判定装置 |
JP2006313549A (ja) * | 2005-05-03 | 2006-11-16 | Seac02 Srl | 実マーカオブジェクトを識別する拡張現実システム |
JP2010026818A (ja) * | 2008-07-18 | 2010-02-04 | Geisha Tokyo Entertainment Inc | 画像処理プログラム、画像処理装置及び画像処理方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200046381A (ko) * | 2018-10-24 | 2020-05-07 | 디에스글로벌 (주) | 위치정보 및 시간정보 기반의 ar 컨텐츠 제공 방법 및 시스템 |
KR102199686B1 (ko) | 2018-10-24 | 2021-01-07 | 디에스글로벌(주) | 위치정보 및 시간정보 기반의 ar 컨텐츠 제공 방법 및 시스템 |
CN111857364A (zh) * | 2019-04-28 | 2020-10-30 | 广东虚拟现实科技有限公司 | 交互装置、虚拟内容的处理方法、装置以及终端设备 |
CN111857364B (zh) * | 2019-04-28 | 2023-03-28 | 广东虚拟现实科技有限公司 | 交互装置、虚拟内容的处理方法、装置以及终端设备 |
WO2020246508A1 (ja) * | 2019-06-07 | 2020-12-10 | 株式会社ソニー・インタラクティブエンタテインメント | 物理演算装置、物理演算方法およびプログラム |
JP2020201622A (ja) * | 2019-06-07 | 2020-12-17 | 株式会社ソニー・インタラクティブエンタテインメント | 物理演算装置、物理演算方法およびプログラム |
CN114302057A (zh) * | 2021-12-24 | 2022-04-08 | 维沃移动通信有限公司 | 图像参数确定方法、装置、电子设备及存储介质 |
JP7442774B1 (ja) | 2023-07-11 | 2024-03-05 | 国立大学法人富山大学 | リハビリ支援システム |
Also Published As
Publication number | Publication date |
---|---|
JP6161749B2 (ja) | 2017-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5891125B2 (ja) | 映像処理装置、映像処理方法、および映像処理システム | |
US10453248B2 (en) | Method of providing virtual space and system for executing the same | |
US10643389B2 (en) | Mechanism to give holographic objects saliency in multiple spaces | |
JP6813501B2 (ja) | 拡張現実システムに結合されるプライバシーセンシティブ消費者カメラ | |
JP2022502800A (ja) | 拡張現実のためのシステムおよび方法 | |
US9122053B2 (en) | Realistic occlusion for a head mounted augmented reality display | |
JP5483761B2 (ja) | 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法 | |
JP2024028376A (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
JP6161749B2 (ja) | 映像処理装置、映像処理方法、および映像処理システム | |
US11217024B2 (en) | Artificial reality system with varifocal display of artificial reality content | |
US9286711B2 (en) | Representing a location at a previous time period using an augmented reality display | |
JP5602618B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 | |
US20180165863A1 (en) | Information processing method, device, and program for executing the information processing method on a computer | |
US11620780B2 (en) | Multiple device sensor input based avatar | |
US20140368537A1 (en) | Shared and private holographic objects | |
US20180357817A1 (en) | Information processing method, program, and computer | |
TW201447375A (zh) | 擴增實境之頭戴式電子裝置及方法 | |
WO2013155217A1 (en) | Realistic occlusion for a head mounted augmented reality display | |
CN110506249A (zh) | 信息处理设备、信息处理方法和记录介质 | |
CN110709897A (zh) | 用于***到图像中的图像内容的阴影生成 | |
US20180204369A1 (en) | Method for communicating via virtual space, program for executing the method on computer, and information processing apparatus for executing the program | |
US20180190010A1 (en) | Method for providing virtual space, program for executing the method on computer, and information processing apparatus for executing the program | |
US20180189555A1 (en) | Method executed on computer for communicating via virtual space, program for executing the method on computer, and computer apparatus therefor | |
US10564801B2 (en) | Method for communicating via virtual space and information processing apparatus for executing the method | |
JP2019114822A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170217 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170523 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170613 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6161749 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |