JP6768416B2 - 画像処理装置、画像合成装置、画像処理システム、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像合成装置、画像処理システム、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6768416B2 JP6768416B2 JP2016167289A JP2016167289A JP6768416B2 JP 6768416 B2 JP6768416 B2 JP 6768416B2 JP 2016167289 A JP2016167289 A JP 2016167289A JP 2016167289 A JP2016167289 A JP 2016167289A JP 6768416 B2 JP6768416 B2 JP 6768416B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- processing device
- movement
- orientation information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
第1の映像を出力する、被写体が動くことによる画像劣化が相対的に少ないグローバルシャッターセンサを用いた第1の撮像手段と、
第2の映像を出力する、被写体が動くことによる画像劣化が相対的に多いローリングシャッターセンサを用いた第2の撮像手段と、
前記第1の映像を解析して前記画像処理装置の位置姿勢情報を生成する推定手段と、
前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第2の映像上にCGオブジェクトを描画する描画手段と、
を備えることを特徴とする。
本発明の実施形態1に係る画像処理装置であるMR装置100について説明する。本実施形態では、撮像部と表示部とを備えるMR装置上で処理が実行されるものとする。以下、MR装置の構成と各モジュールの動作について、図1を参照して説明する。図1は、実施形態1に係るMR装置(例えば、ヘッドマウントディスプレイ)の構成を説明する図である。
本発明の実施形態2に係る画像処理装置であるMR装置200について、図2を使って説明する。MR装置200は、MR装置100と比較して、慣性センサ201とセレクタ202とが追加されている。特別な説明がない限り、MR装置200の動作は、実施形態1に係るMR装置100(例えば、ヘッドマウントディスプレイ)の動作と同様である。
本発明の実施形態3に係る画像処理装置であるMR装置300について、図3〜6を使って説明する。図3は実施形態3に係るMR装置300の構成を説明する図である。MR装置300は、MR装置100と比較して、動き検出部301及びセレクタ302が追加されている。特別な説明がない限り、MR装置300の動作は、実施形態1に係るMR装置100の動作と同様である。
本発明の実施形態4に係る画像処理装置であるMR装置700(例えば、ヘッドマウントディスプレイ)について、図7を使って説明する。本実施形態では、位置姿勢推定部103が動き情報を算出する機能を有している。特別な説明がない限り、MR装置700の動作は、実施形態2に係るMR装置200の動作と同様である。
MRシステムに関する第6の実施形態について図9、図10を使って説明する。図9は実施形態6におけるMR装置構成を説明する図である。図9では図2に対し901から904が追加されている。特別な説明がない場合、その動作は図2を使って説明した実施形態2と同様とする。
MRシステムに関する第7の実施形態について図12、図13を使って説明する。図12は、実施形態7におけるMR装置構成を説明する図である。特別な説明がない限り、その動作は図8を使って説明した実施形態5の動作と同様とする。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (16)
- 画像処理装置であって、
第1の映像を出力する、被写体が動くことによる画像劣化が相対的に少ないグローバルシャッターセンサを用いた第1の撮像手段と、
第2の映像を出力する、被写体が動くことによる画像劣化が相対的に多いローリングシャッターセンサを用いた第2の撮像手段と、
前記第1の映像を解析して前記画像処理装置の位置姿勢情報を生成する推定手段と、
前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第2の映像上にCGオブジェクトを描画する描画手段と、
を備えることを特徴とする画像処理装置。 - 前記推定手段は、前記画像処理装置の動きが所定の閾値より大きい場合は前記第1の映像を解析して前記位置姿勢情報を生成し、前記画像処理装置の動きが前記所定の閾値より小さい場合は前記第2の映像を解析して前記位置姿勢情報を生成することを特徴とする、請求項1に記載の画像処理装置。
- 慣性センサを用いて前記画像処理装置の動きを検出する動き検出手段をさらに備えることを特徴とする、請求項2に記載の画像処理装置。
- 前記第1の映像を解析して前記画像処理装置の動きを検出する動き検出手段をさらに備えることを特徴とする、請求項2に記載の画像処理装置。
- 前記推定手段は、前記第1の映像を解析して前記位置姿勢情報を生成するとともに前記画像処理装置の動きを検出し、前記検出された動きが所定の閾値より小さい場合、前記位置姿勢情報を生成する際に解析する映像を前記第2の映像に切り替えることを特徴とする、請求項1乃至4の何れか1項に記載の画像処理装置。
- 前記第1の撮像手段は相対的にフレームレートが高いセンサであり、前記第2の撮像手段は相対的にフレームレートが低いセンサであることを特徴とする、請求項1乃至5の何れか1項に記載の画像処理装置。
- 前記第1の撮像手段は相対的にシャッター速度が高速なセンサであり、前記第2の撮像手段は相対的にシャッター速度が低速なセンサであることを特徴とする、請求項1乃至6の何れか1項に記載の画像処理装置。
- 前記第1の映像の解像度は前記第2の映像の解像度よりも低いことを特徴とする、請求項1乃至7の何れか1項に記載の画像処理装置。
- 前記第1の映像のフレームレートは前記第2の映像のフレームレートよりも高いことを特徴とする、請求項1乃至8の何れか1項に記載の画像処理装置。
- 被写体が動くことによる画像劣化が相対的に少ない第1の映像を画像処理装置から受信する第1の取得手段と、
被写体が動くことによる画像劣化が相対的に多い第2の映像を前記画像処理装置から受信する第2の取得手段と、
前記第1の映像の受信状態を判定する判定手段と、
前記第1の映像を受信している場合は前記第1の映像を解析して前記画像処理装置の位置姿勢情報を生成し、前記第1の映像を受信していない場合は前記第2の映像を解析して前記位置姿勢情報を生成する推定手段と、
前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第2の映像上にCGオブジェクトを描画する描画手段と、
を備えることを特徴とする画像合成装置。 - 画像処理装置と画像合成装置とを備える画像処理システムであって、
前記画像処理装置は、
第1の映像を出力する、被写体が動くことによる画像劣化が相対的に少ない第1の撮像手段と、
第2の映像を出力する、被写体が動くことによる画像劣化が相対的に多い第2の撮像手段と、
画像合成装置に、前記画像処理装置の動きが所定の閾値より大きい場合は前記第1の映像及び前記第2の映像の双方を送信し、前記画像処理装置の動きが前記所定の閾値より小さい場合は前記第1の映像を送信せずに前記第2の映像を送信する送信手段と、を備え、
前記画像合成装置は、
前記第1の映像を画像処理装置から受信する第1の取得手段と、
前記第2の映像を前記画像処理装置から受信する第2の取得手段と、
前記第1の映像を解析して前記画像処理装置の位置姿勢情報を生成する推定手段と、
前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第2の映像上にCGオブジェクトを描画する描画手段と、を備える
ことを特徴とする画像処理システム。 - 画像処理装置が行う画像処理方法であって、
グローバルシャッターセンサを用いて、被写体が動くことによる画像劣化が相対的に少ない第1の映像を取得する工程と、
ローリングシャッターセンサを用いて、被写体が動くことによる画像劣化が相対的に多い第2の映像を取得する工程と、
前記第1の映像を解析して前記画像処理装置の位置姿勢情報を生成する工程と、
前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第2の映像上にCGオブジェクトを描画する工程と、
を有することを特徴とする画像処理方法。 - 画像合成装置が行う画像処理方法であって、
被写体が動くことによる画像劣化が相対的に少ない第1の映像を画像処理装置から受信する工程と、
被写体が動くことによる画像劣化が相対的に多い第2の映像を前記画像処理装置から受信する工程と、
前記第1の映像の受信状態を判定する工程と、
前記第1の映像を受信している場合は前記第1の映像を解析して前記画像処理装置の位置姿勢情報を生成し、前記第1の映像を受信していない場合は前記第2の映像を解析して前記位置姿勢情報を生成する工程と、
前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第2の映像上にCGオブジェクトを描画する工程と、
を有することを特徴とする画像処理方法。 - 画像処理装置と画像合成装置とを備える画像処理システムが行う画像処理方法であって、
前記画像処理装置が、第1の撮像手段を用いて、被写体が動くことによる画像劣化が相対的に少ない第1の映像を取得する工程と、
前記画像処理装置が、第2の撮像手段を用いて、被写体が動くことによる画像劣化が相対的に多い第2の映像を取得する工程と、
前記画像処理装置が、前記画像合成装置に、前記画像処理装置の動きが所定の閾値より大きい場合は前記第1の映像及び前記第2の映像の双方を送信し、前記画像処理装置の動きが前記所定の閾値より小さい場合は前記第1の映像を送信せずに前記第2の映像を送信する工程と、
前記画像合成装置が、前記第1の映像を前記画像処理装置から受信する工程と、
前記画像合成装置が、前記第2の映像を前記画像処理装置から受信する工程と、
前記画像合成装置が、前記第1の映像を解析して前記画像処理装置の位置姿勢情報を生成する工程と、
前記画像合成装置が、前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第2の映像上にCGオブジェクトを描画する工程と、
を有することを特徴とする画像処理方法。 - コンピュータに、
画像処理装置のグローバルシャッターセンサを用いて撮像された、被写体が動くことによる画像劣化が相対的に少ない第1の映像を取得する工程と、
前記画像処理装置のローリングシャッターセンサを用いて撮像された、被写体が動くことによる画像劣化が相対的に多い第2の映像を取得する工程と、
前記第1の映像を解析して前記画像処理装置の位置姿勢情報を生成する工程と、
前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第2の映像上にCGオブジェクトを描画する工程と、
を実行させるためのプログラム。 - コンピュータに、
被写体が動くことによる画像劣化が相対的に少ない第1の映像を画像処理装置から受信する工程と、
被写体が動くことによる画像劣化が相対的に多い第2の映像を前記画像処理装置から受信する工程と、
前記第1の映像の受信状態を判定する工程と、
前記第1の映像を受信している場合は前記第1の映像を解析して前記画像処理装置の位置姿勢情報を生成し、前記第1の映像を受信していない場合は前記第2の映像を解析して前記位置姿勢情報を生成する工程と、
前記位置姿勢情報に基づいて決定された位置に重畳されるように、前記第2の映像上にCGオブジェクトを描画する工程と、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/256,956 US10535193B2 (en) | 2015-09-08 | 2016-09-06 | Image processing apparatus, image synthesizing apparatus, image processing system, image processing method, and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015177095 | 2015-09-08 | ||
JP2015177095 | 2015-09-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017055397A JP2017055397A (ja) | 2017-03-16 |
JP6768416B2 true JP6768416B2 (ja) | 2020-10-14 |
Family
ID=58317694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016167289A Active JP6768416B2 (ja) | 2015-09-08 | 2016-08-29 | 画像処理装置、画像合成装置、画像処理システム、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6768416B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200106547A (ko) * | 2018-01-18 | 2020-09-14 | 밸브 코포레이션 | 센서 집적 회로들을 포함하는 머리-착용 디스플레이들에 대한 위치 추적 시스템 |
JP7379217B2 (ja) * | 2020-03-06 | 2023-11-14 | 株式会社日立国際電気 | 撮像システム |
CN114814872A (zh) * | 2020-08-17 | 2022-07-29 | 浙江商汤科技开发有限公司 | 位姿确定方法及装置、电子设备和存储介质 |
JP2024084157A (ja) * | 2021-04-22 | 2024-06-25 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005165974A (ja) * | 2003-12-05 | 2005-06-23 | Canon Inc | 画像処理方法、画像処理装置 |
US20070248283A1 (en) * | 2006-04-21 | 2007-10-25 | Mack Newton E | Method and apparatus for a wide area virtual scene preview system |
JP4958497B2 (ja) * | 2006-08-07 | 2012-06-20 | キヤノン株式会社 | 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体 |
JP2011135185A (ja) * | 2009-12-22 | 2011-07-07 | Sanyo Electric Co Ltd | 撮像装置 |
CN102959941B (zh) * | 2010-07-02 | 2015-11-25 | 索尼电脑娱乐公司 | 信息处理***、信息处理装置及信息处理方法 |
JP6109699B2 (ja) * | 2013-09-30 | 2017-04-05 | Kddi株式会社 | 姿勢パラメータ推定装置、姿勢パラメータ推定方法、およびプログラム |
JP6492638B2 (ja) * | 2014-12-25 | 2019-04-03 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
JP6556015B2 (ja) * | 2015-10-09 | 2019-08-07 | ソニー株式会社 | 情報処理装置、位置および/または姿勢の推定方法、およびコンピュータプログラム |
-
2016
- 2016-08-29 JP JP2016167289A patent/JP6768416B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017055397A (ja) | 2017-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10535193B2 (en) | Image processing apparatus, image synthesizing apparatus, image processing system, image processing method, and storage medium | |
US11086395B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5694300B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5859958B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20200051269A1 (en) | Hybrid depth sensing pipeline | |
US9773333B2 (en) | Information processing device, information processing method, and program | |
JP6768416B2 (ja) | 画像処理装置、画像合成装置、画像処理システム、画像処理方法、及びプログラム | |
EP3296952B1 (en) | Method and device for blurring a virtual object in a video | |
US9986158B2 (en) | Method and apparatus for photographing a panoramic image | |
US20120019614A1 (en) | Variable Stereo Base for (3D) Panorama Creation on Handheld Device | |
US20130155205A1 (en) | Image processing device, imaging device, and image processing method and program | |
JP2018524832A (ja) | パノラマバーチャルリアリティコンテンツの全方位ステレオキャプチャおよびレンダリング | |
KR20170031733A (ko) | 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들 | |
CN106997579B (zh) | 图像拼接的方法和装置 | |
US20130162786A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP2016171463A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US10362231B2 (en) | Head down warning system | |
US20210192681A1 (en) | Frame reprojection for virtual reality and augmented reality | |
JP2017207818A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6621565B2 (ja) | 表示制御装置、表示制御方法、及びプログラム | |
JP2016146044A (ja) | 映像処理システム、映像処理装置及びその制御方法、並びにプログラム及び記憶媒体 | |
Bapat et al. | Rolling shutter and radial distortion are features for high frame rate multi-camera tracking | |
EP3091742A1 (en) | Device and method for encoding a first image of a scene using a second image having a lower resolution and captured at the same instant | |
JP7164873B2 (ja) | 画像処理装置及びプログラム | |
TW202040425A (zh) | 姿勢改變通知的方法及相關互動影像處理系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190821 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200923 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6768416 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |