JP2018006914A - 外部撮像システム、外部撮像方法、外部撮像プログラム - Google Patents
外部撮像システム、外部撮像方法、外部撮像プログラム Download PDFInfo
- Publication number
- JP2018006914A JP2018006914A JP2016129177A JP2016129177A JP2018006914A JP 2018006914 A JP2018006914 A JP 2018006914A JP 2016129177 A JP2016129177 A JP 2016129177A JP 2016129177 A JP2016129177 A JP 2016129177A JP 2018006914 A JP2018006914 A JP 2018006914A
- Authority
- JP
- Japan
- Prior art keywords
- line
- imaging
- user
- external imaging
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 209
- 238000001514 detection method Methods 0.000 claims abstract description 102
- 230000005540 biological transmission Effects 0.000 claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 210000001508 eye Anatomy 0.000 claims description 63
- 230000001678 irradiating effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 50
- 210000004087 cornea Anatomy 0.000 description 28
- 238000000034 method Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 239000003550 marker Substances 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 230000004270 retinal projection Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Exposure Control For Cameras (AREA)
- Focusing (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Description
<構成>
図1は、実施の形態に係る外部撮像システム1の概観を模式的に示す図である。実施の形態に係る外部撮像システム1は、ヘッドマウントディスプレイ100と視線検出装置200とを含む。図1に示すように、ヘッドマウントディスプレイ100は、ユーザ300の頭部に装着して使用される。
次に、実施の形態に係る視線方向の検出について説明する。
PN=MQN (N=1,・・・,9) (2)
xopt=(ATA)−1ATy (6)
ここで「−1」は逆行列を示す。
以下、本実施の形態に係る外部撮像システム1の動作を説明する。図7は、外部撮像システム1の動作を示すフローチャートであり、ヘッドマウントディスプレイ100に接続された外部撮像カメラ190による撮像制御の処理を示すフローチャートである。
<まとめ>
本発明に係る外部撮像システムは、上記実施の形態に限定されるものではなく、その発明の思想を実現するための他の手法により実現されてもよいことは言うまでもない。以下、その他、本発明の思想として含み得る実施例について説明する。
Claims (8)
- ヘッドマウントディスプレイと、視線検出装置とからなる外部撮像システムであって、
前記ヘッドマウントディスプレイは、
ユーザの眼に非可視光を照射する照射部と、
前記照射部が照射しているユーザの眼を含む画像を非可視光に基づいて撮像する撮像部と、
前記撮像部が撮像した撮像画像と当該撮像画像を撮像した撮像時間を示す撮像時間情報を前記視線検出装置に送信する第1送信部と、
前記視線検出装置から、ユーザの視線方向に関する情報を受信する第1受信部と、
外部撮像カメラと接続する接続部と、
前記外部撮像カメラにより撮像された映像に基づく画像を表示する表示部と、
前記外部撮像カメラを制御する制御部とを備え、
前記視線検出装置は、
前記撮像画像と前記撮像時間情報とを受信する第2受信部と、
前記撮像画像を解析して前記ユーザの視線方向を検出する視線検出部と、
検出した視線方向に関する情報と前記視線方向を検出するのに用いた撮像画像の撮像時間とを対応付けて前記ヘッドマウントディスプレイに送信する第2送信部とを備え、
前記制御部は、複数の前記視線方向に関する情報及び当該視線方向に対応付けられた撮像時間から算出されるユーザの注視時間に基づいて前記外部撮像カメラによる撮像の制御を実行する
ことを特徴とする外部撮像システム。 - 前記制御部は、前記表示部に表示された特定のオブジェクトを所定時間t1以上注視していることを検出した場合に、前記特定のオブジェクトに焦点を合わせるように前記外部撮像カメラを制御することを特徴とする請求項1に記載の外部撮像システム。
- 前記制御部は、前記表示部に表示された特定のオブジェクトを所定時間t2以上注視していることを検出した場合に、前記特定のオブジェクトにズームインするように前記外部撮像カメラを制御することを特徴とする請求項1又は2に記載の外部撮像システム。
- 前記外部撮像システムは、さらに、前記表示部に表示された特定のオブジェクトを所定時間t3以上注視していることを検出した場合に、前記外部撮像カメラにより撮像される映像を録画する録画部を備えることを特徴とする請求項1〜3のいずれか1項に記載の外部撮像システム。
- 前記制御部は、前記視線方向に関する情報で示される視線方向が前記特定のオブジェクトから離れたことを示す場合に、前記特定のオブジェクトからズームアウトするように前記外部撮像カメラを制御することを特徴とする請求項2〜4のいずれか1項に記載の外部撮像システム。
- 前記外部撮像システムは、さらに、
前記撮像部が撮像した映像からユーザが瞼を所定時間内に2回閉じたことを検出した場合には、前記外部撮像カメラが撮像した映像に基づいて静止画を生成する生成部を備えることを特徴とする請求項1〜5のいずれか1項に記載の外部撮像システム。 - 外部を撮像する外部撮像カメラが着脱可能に接続されたヘッドマウントディスプレイと、視線検出装置とからなる外部撮像システムによる外部映像を撮像する外部撮像方法であって、
前記外部撮像カメラにより撮像された映像に基づく画像を表示部に表示する表示ステップと、
前記ヘッドマウントディスプレイがユーザの眼に非可視光を照射する照射ステップと、
前記ヘッドマウントディスプレイが、前記非可視光が照射されているユーザの眼を含む画像を非可視光に基づいて撮像する撮像ステップと、
前記ヘッドマウントディスプレイが撮像した撮像画像と当該撮像画像を撮像した撮像時間を示す撮像時間情報を前記視線検出装置に送信する第1送信ステップと、
前記視線検出装置が、前記撮像画像と、前記撮像時間情報とを受信する第1受信ステップと、
前記視線検出装置が、前記撮像画像を解析して前記ユーザの視線方向を検出する視線検出ステップと、
前記視線検出装置が、検出した視線方向に関する情報と当該視線方向を検出するのに用いた撮像画像の撮像時間とを対応付けて前記ヘッドマウントディスプレイに送信する第2送信ステップと、
前記ヘッドマウントディスプレイが、複数の前記視線方向に関する情報及び当該視線方向に対応付けられた撮像時間から算出されるユーザの注視時間に基づいて前記外部撮像カメラによる撮像の制御を実行する制御ステップとを含む外部撮像方法。 - 外部を撮像する外部撮像カメラが着脱可能に接続されたヘッドマウントディスプレイと、視線検出装置とからなる外部撮像システムにおいて前記ヘッドマウントディスプレイに外部映像を撮像させる外部撮像プログラムであって、
前記ヘッドマウントディスプレイのコンピュータに、
前記外部撮像カメラにより撮像された映像に基づく画像を表示部に表示させる表示機能と、
前記ヘッドマウントディスプレイにユーザの眼に非可視光を照射させる照射機能と、
前記非可視光が照射されているユーザの眼を含む画像を非可視光に基づいて撮像する撮像機能と、
前記撮像した撮像画像と、当該撮像画像を撮像した撮像時間を示す撮像時間情報とを、前記視線検出装置に送信させる送信機能と、
前記視線検出装置から、撮像画像に基づいて前記視線検出装置により検出された視線方向に関する情報と、当該検出に用いた画像が撮像された撮像時間とを受信する受信機能と、
複数の前記視線方向に関する情報及び当該視線方向に対応付けられた撮像時間から算出されるユーザの注視時間に基づいて前記外部撮像カメラによる撮像の制御を実行する制御機能を実現させる外部撮像プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016129177A JP2018006914A (ja) | 2016-06-29 | 2016-06-29 | 外部撮像システム、外部撮像方法、外部撮像プログラム |
US15/635,651 US20180007258A1 (en) | 2016-06-29 | 2017-06-28 | External imaging system, external imaging method, external imaging program |
KR1020170081845A KR20180002534A (ko) | 2016-06-29 | 2017-06-28 | 외부 촬상 시스템, 외부 촬상 방법, 외부 촬상 프로그램 |
TW106121671A TW201812432A (zh) | 2016-06-29 | 2017-06-28 | 外部拍攝系統、外部拍攝方法及外部拍攝程式 |
CN201710515651.8A CN107547796A (zh) | 2016-06-29 | 2017-06-29 | 外部拍摄***、外部拍摄方法及外部拍摄程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016129177A JP2018006914A (ja) | 2016-06-29 | 2016-06-29 | 外部撮像システム、外部撮像方法、外部撮像プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018006914A true JP2018006914A (ja) | 2018-01-11 |
Family
ID=60808026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016129177A Pending JP2018006914A (ja) | 2016-06-29 | 2016-06-29 | 外部撮像システム、外部撮像方法、外部撮像プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180007258A1 (ja) |
JP (1) | JP2018006914A (ja) |
KR (1) | KR20180002534A (ja) |
CN (1) | CN107547796A (ja) |
TW (1) | TW201812432A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200083359A (ko) * | 2018-12-31 | 2020-07-08 | 주식회사 도구공간 | Hmd 장비를 이용한 로봇 제어 방법 |
JP2021029011A (ja) * | 2019-08-09 | 2021-02-25 | キヤノン株式会社 | 撮像制御装置、撮像制御装置の制御方法、プログラム、記憶媒体 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180074180A (ko) * | 2016-12-23 | 2018-07-03 | 삼성전자주식회사 | 가상현실 영상에 대한 정보를 제공하는 장치 및 방법 |
US10726574B2 (en) | 2017-04-11 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Passive multi-wearable-devices tracking |
US10679306B2 (en) * | 2017-11-21 | 2020-06-09 | International Business Machines Corporation | Focus-object-determined communities for augmented reality users |
US10841533B2 (en) * | 2018-03-23 | 2020-11-17 | Raja Singh Tuli | Telepresence system with virtual reality |
US10616565B2 (en) | 2018-08-21 | 2020-04-07 | The Boeing Company | System and method for foveated simulation |
CN109164555B (zh) * | 2018-09-30 | 2021-11-12 | 西安蜂语信息科技有限公司 | 光学设备的调整方法、终端、***、设备和存储介质 |
CN110381261B (zh) * | 2019-08-29 | 2020-11-03 | 重庆紫光华山智安科技有限公司 | 聚焦方法、装置、计算机可读存储介质及电子设备 |
US11792531B2 (en) * | 2019-09-27 | 2023-10-17 | Apple Inc. | Gaze-based exposure |
KR20220019963A (ko) * | 2020-08-11 | 2022-02-18 | 삼성전자주식회사 | 카메라 모듈을 포함하는 전자 장치 및 그의 촬영 방향을 제어하는 방법 |
KR20220099827A (ko) * | 2021-01-07 | 2022-07-14 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
JP2022114600A (ja) * | 2021-01-27 | 2022-08-08 | キヤノン株式会社 | 撮像システム、表示装置、端末装置および撮像システムの制御方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2240961C (en) * | 1995-12-18 | 2001-06-12 | David Alan Braun | Head mounted displays linked to networked electronic panning cameras |
US6090051A (en) * | 1999-03-03 | 2000-07-18 | Marshall; Sandra P. | Method and apparatus for eye tracking and monitoring pupil dilation to evaluate cognitive activity |
US20130258089A1 (en) * | 2011-11-03 | 2013-10-03 | Intel Corporation | Eye Gaze Based Image Capture |
CN105229516A (zh) * | 2013-05-02 | 2016-01-06 | 索尼公司 | 隐形眼镜和记录介质 |
-
2016
- 2016-06-29 JP JP2016129177A patent/JP2018006914A/ja active Pending
-
2017
- 2017-06-28 KR KR1020170081845A patent/KR20180002534A/ko unknown
- 2017-06-28 US US15/635,651 patent/US20180007258A1/en not_active Abandoned
- 2017-06-28 TW TW106121671A patent/TW201812432A/zh unknown
- 2017-06-29 CN CN201710515651.8A patent/CN107547796A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200083359A (ko) * | 2018-12-31 | 2020-07-08 | 주식회사 도구공간 | Hmd 장비를 이용한 로봇 제어 방법 |
KR102293291B1 (ko) * | 2018-12-31 | 2021-08-24 | 주식회사 도구공간 | Hmd 장비를 이용한 로봇 제어 방법 |
JP2021029011A (ja) * | 2019-08-09 | 2021-02-25 | キヤノン株式会社 | 撮像制御装置、撮像制御装置の制御方法、プログラム、記憶媒体 |
JP7286469B2 (ja) | 2019-08-09 | 2023-06-05 | キヤノン株式会社 | 撮像制御装置、撮像制御装置の制御方法、プログラム、記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
TW201812432A (zh) | 2018-04-01 |
CN107547796A (zh) | 2018-01-05 |
US20180007258A1 (en) | 2018-01-04 |
KR20180002534A (ko) | 2018-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018006914A (ja) | 外部撮像システム、外部撮像方法、外部撮像プログラム | |
US20180004289A1 (en) | Video display system, video display method, video display program | |
WO2017090203A1 (ja) | 視線検出システム、注視点特定方法及び注視点特定プログラム | |
US20170344112A1 (en) | Gaze detection device | |
JP6112583B2 (ja) | ヘッドマウントディスプレイ | |
US20180032133A1 (en) | Eye-gaze detection system, displacement detection method, and displacement detection program | |
US10191285B2 (en) | Head mounted display and gaze detection system | |
US20200296459A1 (en) | Video display system, video display method, and video display program | |
TW201802642A (zh) | 視線檢測系統 | |
US11320667B2 (en) | Automated video capture and composition system | |
JP6485819B2 (ja) | 視線検出システム、ずれ検出方法、ずれ検出プログラム | |
US20200213467A1 (en) | Image display system, image display method, and image display program | |
US20170371408A1 (en) | Video display device system, heartbeat specifying method, heartbeat specifying program | |
US20200379555A1 (en) | Information processing system, operation method, and operation program | |
JP2018107695A (ja) | 推定システム、推定方法及び推定プログラム | |
JP2017045068A (ja) | ヘッドマウントディスプレイ | |
JP2021068296A (ja) | 情報処理装置、ヘッドマウントディスプレイ、およびユーザ操作処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20160725 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20180809 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181025 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190131 |