JP7122372B2 - 画像生成装置、画像生成システム、および画像生成方法 - Google Patents
画像生成装置、画像生成システム、および画像生成方法 Download PDFInfo
- Publication number
- JP7122372B2 JP7122372B2 JP2020506041A JP2020506041A JP7122372B2 JP 7122372 B2 JP7122372 B2 JP 7122372B2 JP 2020506041 A JP2020506041 A JP 2020506041A JP 2020506041 A JP2020506041 A JP 2020506041A JP 7122372 B2 JP7122372 B2 JP 7122372B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- posture
- image
- mounted display
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/66—Transforming electric information into light information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- Closed-Circuit Television Systems (AREA)
Description
図4(a)および(b)は、筐体20を左右方向に傾けた例を示す。図5(a)および(b)は、筐体20を前後方向に傾けた例を示す。このようにロボット10の駆動機構50は、筐体20に任意の姿勢をとらせることが可能となる。筐体20の姿勢は、第1モータおよび第2モータの駆動量を調整することで制御され、また筐体20の向きは、第3モータの駆動量を調整することで制御される。
出力系統24において、右カメラ14aおよび左カメラ14bは、アクチュエータ装置12により制御された方向に向けられて、それぞれの画角内を撮影する。右カメラ14aおよび左カメラ14bは、たとえば大人の平均的な両目の間隔となるように離れて配置されてよい。右カメラ14aが撮影した右目用画像データおよび左カメラ14bが撮影した左目用画像データは、送信部90からHMD100に送信されて、それぞれ表示パネル102の右半分および左半分に表示される。これらの画像は、右目および左目から見た視差画像を形成し、表示パネル102を2分割してなる領域にそれぞれ表示させることで、画像を立体視させることができる。なおユーザAは光学レンズを通して表示パネル102を見るために、画像処理部80は、予めレンズによる光学歪みを補正した画像データを生成して、HMD100に供給してもよい。
Claims (7)
- ヘッドマウントディスプレイの姿勢変化に連動して姿勢変化が可能なカメラによる撮影画像を取得するカメラ画像取得部と、
前記カメラの撮影時の姿勢情報を取得するカメラ姿勢情報取得部と、
前記ヘッドマウントディスプレイの姿勢情報と前記カメラの撮影時の姿勢情報の差分を算出する差分計算部と、
算出された前記差分にもとづいて前記ヘッドマウントディスプレイの姿勢に合うように前記撮影画像を補正する画像補正部と、
前記ヘッドマウントディスプレイの姿勢情報にもとづいて前記ヘッドマウントディスプレイの姿勢が前記カメラの可動範囲の限界値に対して所定の閾値まで近づいたか、または前記カメラの可動範囲を越えたと判定される場合、前記画像補正部による前記撮影画像の補正を中断し、警告を表示する警告部とを含むことを特徴とする画像生成装置。 - ヘッドマウントディスプレイの姿勢変化に連動して姿勢変化が可能なカメラによる撮影画像を取得するカメラ画像取得部と、
前記カメラの撮影時の姿勢情報を取得するカメラ姿勢情報取得部と、
前記ヘッドマウントディスプレイの姿勢情報と前記カメラの撮影時の姿勢情報の差分を算出する差分計算部と、
算出された前記差分にもとづいて前記ヘッドマウントディスプレイの姿勢に合うように前記撮影画像を補正する画像補正部と、
前記ヘッドマウントディスプレイの姿勢情報にもとづいて前記ヘッドマウントディスプレイの姿勢変化が前記カメラの追従可能速度を越えたと判定される場合、前記画像補正部による前記撮影画像の補正を中断し、警告を表示する警告部とを含むことを特徴とする画像生成装置。 - 前記カメラ姿勢情報取得部は、前記カメラの撮影時の姿勢情報を前記撮影画像の各フレームの同期信号に挿入されたメタデータから抽出することを特徴とする請求項1または2に記載の画像生成装置。
- ヘッドマウントディスプレイの姿勢変化に連動して姿勢変化が可能なカメラによる撮影画像を取得するカメラ画像取得ステップと、
前記カメラの撮影時の姿勢情報を取得するカメラ姿勢情報取得ステップと、
前記ヘッドマウントディスプレイの姿勢情報と前記カメラの撮影時の姿勢情報の差分を算出する差分計算ステップと、
算出された前記差分にもとづいて前記ヘッドマウントディスプレイの姿勢に合うように前記撮影画像を補正する画像補正ステップと、
前記ヘッドマウントディスプレイの姿勢情報にもとづいて前記ヘッドマウントディスプレイの姿勢が前記カメラの可動範囲の限界値に対して所定の閾値まで近づいたか、または前記カメラの可動範囲を越えたと判定される場合、前記画像補正ステップによる前記撮影画像の補正を中断し、警告を表示する警告ステップとを含むことを特徴とする画像生成方法。 - ヘッドマウントディスプレイの姿勢変化に連動して姿勢変化が可能なカメラによる撮影画像を取得するカメラ画像取得ステップと、
前記カメラの撮影時の姿勢情報を取得するカメラ姿勢情報取得ステップと、
前記ヘッドマウントディスプレイの姿勢情報と前記カメラの撮影時の姿勢情報の差分を算出する差分計算ステップと、
算出された前記差分にもとづいて前記ヘッドマウントディスプレイの姿勢に合うように前記撮影画像を補正する画像補正ステップと、
前記ヘッドマウントディスプレイの姿勢情報にもとづいて前記ヘッドマウントディスプレイの姿勢変化が前記カメラの追従可能速度を越えたと判定される場合、前記画像補正ステップによる前記撮影画像の補正を中断し、警告を表示する警告ステップとを含むことを特徴とする画像生成方法。 - ヘッドマウントディスプレイの姿勢変化に連動して姿勢変化が可能なカメラによる撮影画像を取得するカメラ画像取得機能と、
前記カメラの撮影時の姿勢情報を取得するカメラ姿勢情報取得機能と、
前記ヘッドマウントディスプレイの姿勢情報と前記カメラの撮影時の姿勢情報の差分を算出する差分計算機能と、
算出された前記差分にもとづいて前記ヘッドマウントディスプレイの姿勢に合うように前記撮影画像を補正する画像補正機能と、
前記ヘッドマウントディスプレイの姿勢情報にもとづいて前記ヘッドマウントディスプレイの姿勢が前記カメラの可動範囲の限界値に対して所定の閾値まで近づいたか、または前記カメラの可動範囲を越えたと判定される場合、前記画像補正機能による前記撮影画像の補正を中断し、警告を表示する警告機能とをコンピュータに実現させることを特徴とするプログラム。 - ヘッドマウントディスプレイの姿勢変化に連動して姿勢変化が可能なカメラによる撮影画像を取得するカメラ画像取得機能と、
前記カメラの撮影時の姿勢情報を取得するカメラ姿勢情報取得機能と、
前記ヘッドマウントディスプレイの姿勢情報と前記カメラの撮影時の姿勢情報の差分を算出する差分計算機能と、
算出された前記差分にもとづいて前記ヘッドマウントディスプレイの姿勢に合うように前記撮影画像を補正する画像補正機能と、
前記ヘッドマウントディスプレイの姿勢情報にもとづいて前記ヘッドマウントディスプレイの姿勢変化が前記カメラの追従可能速度を越えたと判定される場合、前記画像補正機能による前記撮影画像の補正を中断し、警告を表示する警告機能とをコンピュータに実現させることを特徴とするプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/010078 WO2019176035A1 (ja) | 2018-03-14 | 2018-03-14 | 画像生成装置、画像生成システム、および画像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019176035A1 JPWO2019176035A1 (ja) | 2021-03-11 |
JP7122372B2 true JP7122372B2 (ja) | 2022-08-19 |
Family
ID=67907053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020506041A Active JP7122372B2 (ja) | 2018-03-14 | 2018-03-14 | 画像生成装置、画像生成システム、および画像生成方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7122372B2 (ja) |
WO (1) | WO2019176035A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6801136B1 (ja) * | 2020-05-14 | 2020-12-16 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム |
JPWO2022149497A1 (ja) | 2021-01-05 | 2022-07-14 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002135641A (ja) | 2000-10-27 | 2002-05-10 | Nippon Telegr & Teleph Corp <Ntt> | 視点・視線自由移動カメラシステム |
WO2016152572A1 (ja) | 2015-03-20 | 2016-09-29 | 日産自動車株式会社 | 間接視界提示装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05228855A (ja) * | 1992-02-19 | 1993-09-07 | Yaskawa Electric Corp | テレイグジスタンス視覚装置 |
-
2018
- 2018-03-14 JP JP2020506041A patent/JP7122372B2/ja active Active
- 2018-03-14 WO PCT/JP2018/010078 patent/WO2019176035A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002135641A (ja) | 2000-10-27 | 2002-05-10 | Nippon Telegr & Teleph Corp <Ntt> | 視点・視線自由移動カメラシステム |
WO2016152572A1 (ja) | 2015-03-20 | 2016-09-29 | 日産自動車株式会社 | 間接視界提示装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2019176035A1 (ja) | 2019-09-19 |
JPWO2019176035A1 (ja) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3379525B1 (en) | Image processing device and image generation method | |
JP6339239B2 (ja) | 頭部装着型表示装置、及び映像表示システム | |
CN109146965B (zh) | 信息处理装置、计算机可读介质和头戴式显示装置 | |
JP6378781B2 (ja) | 頭部装着型表示装置、及び映像表示システム | |
JP6212667B1 (ja) | 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置 | |
AU2019282933B2 (en) | Smart glasses, method and device for tracking eyeball trajectory, and storage medium | |
EP3287837B1 (en) | Head-mountable display system | |
WO2016017245A1 (ja) | 情報処理装置及び情報処理方法、並びに画像表示システム | |
US20190045125A1 (en) | Virtual reality video processing | |
CN112313969A (zh) | 基于监视到的针对音频内容的响应定制头部相关传递函数 | |
WO2018056155A1 (ja) | 情報処理装置、画像生成方法およびヘッドマウントディスプレイ | |
US10277814B2 (en) | Display control method and system for executing the display control method | |
CN112335264B (zh) | 用于呈现用于向用户回放的音频信号的装置和方法 | |
US20140361987A1 (en) | Eye controls | |
CN112655202B (zh) | 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正 | |
US11647292B2 (en) | Image adjustment system, image adjustment device, and image adjustment | |
JP2021060627A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7122372B2 (ja) | 画像生成装置、画像生成システム、および画像生成方法 | |
CN118338237A (zh) | 用于在沉浸式现实中提供音频内容的方法和装置 | |
JP6257825B1 (ja) | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP6588196B2 (ja) | 画像生成装置、画像生成方法および較正方法 | |
CN105828021A (zh) | 基于增强现实技术的特种机器人图像采集控制方法及*** | |
JP2023099494A (ja) | 仮想現実のためのデータ処理装置、データ処理方法およびコンピュータソフトウェア | |
JPWO2017179136A1 (ja) | 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム | |
US20190089899A1 (en) | Image processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A527 Effective date: 20200807 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220311 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220808 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7122372 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |