KR20220127815A - 표시 장치, 화상 생성 방법 및 프로그램 - Google Patents

표시 장치, 화상 생성 방법 및 프로그램 Download PDF

Info

Publication number
KR20220127815A
KR20220127815A KR1020227022433A KR20227022433A KR20220127815A KR 20220127815 A KR20220127815 A KR 20220127815A KR 1020227022433 A KR1020227022433 A KR 1020227022433A KR 20227022433 A KR20227022433 A KR 20227022433A KR 20220127815 A KR20220127815 A KR 20220127815A
Authority
KR
South Korea
Prior art keywords
image
display
display device
sensor
photographer
Prior art date
Application number
KR1020227022433A
Other languages
English (en)
Inventor
다케시 오하시
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20220127815A publication Critical patent/KR20220127815A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

[과제] 표시부에 표시되는 화상과 표시 장치의 외측 경치가 연결되어 보이도록 화상 표시할 수 있는 표시 장치, 화상 생성 방법 및 프로그램을 제공한다.
[해결수단] 표시 장치는, 제1 화상 센서와, 제1 거리 센서와, 제2 센서와, 표시부와, 화상 생성부를 구비한다. 상기 제1 화상 센서는, 장치 본체의 제1 면측에 배치된다. 상기 제1 거리 센서는, 상기 제1 면측에 배치된다. 상기 제2 센서는, 상기 제1 면과 반대측의 제2 면측에 배치된다. 상기 표시부는, 상기 제2 면측에 배치된다. 상기 화상 생성부는, 상기 제2 센서로 취득된 센싱 결과에 기초하여 산출된 촬영자의 시점의 3차원 위치 정보에 기초하여, 상기 제1 화상 센서에 의해 취득된 피사체의 2차원 화상과 상기 제1 거리 센서에 의해 취득된 상기 피사체의 거리 화상을 사용하여, 상기 표시부에 표시할 표시 화상을 생성한다.

Description

표시 장치, 화상 생성 방법 및 프로그램
본 기술은, 표시 장치, 화상 생성 방법 및 프로그램에 관한 것이다.
스마트폰 등의 휴대 전화나 태블릿 단말기와 같은, 표시부를 갖는 모바일 디바이스가 넓게 침투하고 있다. 카메라를 구비한 모바일 디바이스에서는 카메라에 의해 촬영된 화상을 표시부에 표시하거나, 당해 화상에 겹쳐서 확장 현실(Augmented Reality; AR) 정보를 제시하거나 할 수도 있다. 예를 들어, 모바일 디바이스에 탑재되는 카메라에 의해 촬영된 모바일 디바이스의 건너편 경치를 표시부에 표시함으로써, 촬영자에게 몰입감, 임장감이 높은 AR 체험을 제공하는 일이 행해지고 있다.
특허문헌 1에는, 디바이스의 건너편 풍경이 유저의 시점 위치에 따라서 변화하여 표시되는 기술이 개시되어 있다. 특허문헌 1에는, 원격 커뮤니케이션의 임장감을 개선하기 위한 기술이 기재되어 있으며, 표시 소자와 촬상 소자를 매립한 특수한 표시 패널을 사용함으로써, 다양한 방향으로 서로 다른 영상을 표시할 수 있으며, 동시에 다양한 방향으로부터 대상물을 촬영할 수 있다는 사실이 기재되어 있다.
일본 특허 공개 제2002-300602호 공보
표시 장치에 탑재되는 카메라에 의해 촬영된 표시 장치의 건너편 화상을 표시부에 표시할 때, 표시되어 있는 화상이, 표시 장치 중 미니어처 가든과 같이 시인된다.
이상과 같은 사정을 감안하여, 본 기술의 목적은, 표시부에 표시되는 화상과 표시 장치의 외측의 경치가 연결되어 보이도록 화상 표시할 수 있는 표시 장치, 화상 생성 방법 및 프로그램을 제공하는 데 있다.
상기 목적을 달성하기 위해서, 본 기술에 따른 표시 장치는, 제1 화상 센서와, 제1 거리 센서와, 제2 센서와, 표시부와, 화상 생성부를 구비한다.
상기 제1 화상 센서는, 장치 본체의 제1 면측에 배치된다.
상기 제1 거리 센서는, 상기 제1 면측에 배치된다.
상기 제2 센서는, 상기 제1 면과 반대측의 제2 면측에 배치된다.
상기 표시부는, 상기 제2 면측에 배치된다.
상기 화상 생성부는, 상기 제2 센서로 취득된 센싱 결과에 기초하여 산출된 촬영자의 시점의 3차원 위치 정보에 기초하여, 상기 제1 화상 센서에 의해 취득된 피사체의 2차원 화상과 상기 제1 거리 센서에 의해 취득된 상기 피사체의 거리 화상을 사용하여, 상기 표시부에 표시할 표시 화상을 생성한다.
본 발명의 이와 같은 구성에 의하면, 촬영자의 시점에서 본 표시 화상을 생성할 수 있어, 표시부에 표시되는 화상의 경치와 표시 장치의 외측 경치가 연결되어 있도록 촬영자에 의해 시인될 수 있다.
상기 목적을 달성하기 위해서, 본 기술에 따른 화상 생성 방법은,
장치 본체의 제1 면측에 배치된 제1 화상 센서와, 상기 제1 면측에 배치된 제1 거리 센서와, 상기 제1 면과 반대측의 제2 면측에 배치된 제2 센서와, 상기 제2 면측에 배치된 표시부를 구비하는 표시 장치의, 상기 제1 화상 센서로부터 피사체의 2차원 화상을 취득하고,
상기 제1 거리 센서로부터 상기 피사체의 거리 화상을 취득하고,
상기 제2 센서의 센싱 결과를 취득하고,
상기 센싱 결과에 기초하여 촬영자의 시점의 3차원 위치 정보를 산출하고,
상기 3차원 위치 정보에 기초하여, 상기 2차원 화상과 상기 거리 화상을 사용하여, 상기 표시부에 표시할 표시 화상을 생성한다.
상기 목적을 달성하기 위해서, 본 기술에 따른 프로그램은,
장치 본체의 제1 면측에 배치된 제1 화상 센서와, 상기 제1 면측에 배치된 제1 거리 센서와, 상기 제1 면과 반대측의 제2 면측에 배치된 제2 센서와, 상기 제2 면측에 배치된 표시부를 구비하는 표시 장치의 상기 제1 화상 센서로부터 피사체의 2차원 화상을 취득하는 스텝과,
상기 제1 거리 센서로부터 상기 피사체의 거리 화상을 취득하는 스텝과,
상기 제2 센서의 센싱 결과를 취득하는 스텝과,
상기 센싱 결과에 기초하여 촬영자의 시점의 3차원 위치 정보를 산출하는 스텝과,
상기 3차원 위치 정보에 기초하여, 상기 2차원 화상과 상기 거리 화상을 사용하여, 상기 표시부에 표시할 표시 화상을 생성하는 스텝
을 표시 장치에 실행시킨다.
도 1은 본 기술의 각 실시 형태에 따른 표시 장치의 프론트측 및 리어측에서 본 사시도이다.
도 2는 상기 표시 장치의 구성 블록도이다.
도 3은 제1 실시 형태에 따른 표시 장치를 촬영자가 손에 들고 있는 모습을 나타내는 도면이다.
도 4는 상기 표시 장치에 있어서의 표시 화상의 생성 방법의 개략을 나타내는 도면이다.
도 5는 상기 표시 장치에 있어서의 표시 화상 생성 방법의 흐름도이다.
도 6은 상기 표시 화상 생성 방법에 있어서의 시점의 3차원 위치의 산출 처리를 설명하기 위한 도면이다.
도 7은 상기 표시 화상 생성 방법에 있어서의 좌표 변환 처리를 설명하는 도면이다.
도 8은 상기 표시 장치에 있어서의 화상 생성 시의 오클루전 영역의 보완 처리를 설명하는 도면이다.
도 9는 제2 실시 형태에 따른 표시 장치의 표시 화상예를 나타내는 것으로, 촬영자가 표시 장치를 손에 들고 있는 모습을 나타내는 도면이다.
도 10은 제2 실시 형태에 따른 표시 장치의 표시 화상예를 나타내는 것으로, 촬영자가 표시 장치를 손에 들고 있는 모습을 나타내는 도면이다.
도 11은 제3 실시 형태에 따른 표시 장치에 의해 표시되는 표시 화상예를 나타내는 도면이다.
도 12는 제4 실시 형태에 있어서의 표시 장치에 의한 표시 화상의 생성 방법에 있어서의, 촬영자의 시선 검출 방법을 설명하는 도면이다.
도 13은 제4 실시 형태에 따른 표시 장치에 의해 표시되는 표시 화상예를 나타내는 도면이다.
도 14는 제5 실시 형태에 있어서의 표시 장치에 의한 표시 화상의 생성 방법을 설명하는 도면이다.
이하, 도면을 이용하여 본 기술에 따른 표시 장치에 대하여 설명한다.
<제1 실시 형태>
[표시 장치의 구성]
본 기술은, 표시 장치로서의, 표시부를 갖는 스마트폰 등의 휴대 전화나 태블릿 등의 모바일 디바이스에 적합하게 사용될 수 있다. 이하의 실시 형태에 있어서는, 스마트폰과 같은 형태의 표시 장치를 예로 들어 설명한다.
도 1은 본 기술의 제1 실시 형태에 따른 표시 장치의 외형 형상을 설명하기 위한 사시도이다. 도 1의 (A)는 표시부가 위치하는 정면측에서 표시 장치를 본 사시도이며, 도 1의 (B)는 배면측에서 본 사시도이다.
도 1에 도시한 바와 같이, 표시 장치(1)는, 하우징(10)과, 리어 카메라(3)와, 제2 센서로서의 프론트 카메라(6)와, 표시부(4)를 구비한다. 표시 장치(1)는, 하우징(10)에 리어 카메라(3), 프론트 카메라(6), 표시부(4)를 구성하는 표시 패널, 구동 회로 및 각종 센서 등이 보유 지지되어 구성된다.
표시 장치(1)의 본체는, 배면측의 제1 면(2)과, 당해 제1 면(2)의 반대측에 위치하는 정면측의 제2 면(5)을 갖는다. 제1 면(2)과 제2 면(5)은 평행한 위치 관계에 있다. 도면에 있어서의 서로 직교하는 xyz 좌표 방향은, 대략 직육면체의 표시 장치(1)의 가로, 세로, 높이에 상당한다. 제1 면(2)과 평행한 면을 xy 평면으로 하고, 높이 방향에 상당하는 표시 장치(1)의 두께 방향을 z축으로 한다.
제1 면(2)측에는 리어 카메라(3)의 촬상 렌즈(3a)가 배치되어 있으며, 리어 카메라(3)는, 제1 면(2)과 마주 향한 피사체를 촬영한다.
제2 면(5)측에는 프론트 카메라(6)의 촬상 렌즈(6a)가 배치되어 있으며, 프론트 카메라(6)는, 제2 면(5)과 마주 향한 피사체를 촬영한다. 당해 피사체는, 통상 촬영자이다.
제2 면(5)에는, 표시부(4)를 구성하는 표시 패널이 마련되어 있다. 표시부(4)는, 예를 들어 액정 디스플레이, 유기 EL 디스플레이(Organic Electro-Luminescence Display) 등의 화상 표시 수단에 의해 구성된다. 표시부(4)는, 도시하지 않은 통신부를 통해 외부 기기로부터 송수신되는 화상, 입력 조작용 버튼, 프론트 카메라(6) 및 리어 카메라(3)에 의해 촬영된 화상 등을 표시 가능하게 구성된다. 화상에는 정지 화상 및 동화상이 포함된다.
일반적으로, 표시 장치(1)를 사용하여 촬영을 행하는 유저인 촬영자는, 표시부(4)에 표시되는 화상을 보거나, 표시부(4)에 표시되는 조작 화면으로부터 입력 조작 등을 행한다. 따라서, 촬영자는, 표시부(4)를 시인하기 위해서 표시 장치(1)의 제2 면(5)측에 위치한다. 명세서 중, 표시 장치(1)의 건너편이라는 표현을 하는 경우가 있지만, 이것은 촬영자가 본 방향을 나타내고, 표시 장치(1)의 제1 면(2)측에 상당한다. 표시 장치(1)의 건너편에는, 리어 카메라(3)에 의한 촬영의 대상이 되는 피사체가 위치한다.
도 2는, 표시 장치(1)의 기능 구성을 나타내는 블록도이다.
도 2에 도시한 바와 같이, 표시 장치(1)는, 리어 카메라(3)와, 프론트 카메라(6)와, 화상 생성부(7)와, 기억부(8)와, 표시부(4)를 갖는다.
본 실시 형태에서는, 리어 카메라(3) 및 프론트 카메라(6)는, 모두 화상 센서의 기능과, 거리 센서의 기능을 구비한다.
화상 센서는, 피사체의 컬러 2차원 화상(이하, 'RGB 2차원 화상, RGB 화상'이라고 하는 경우가 있음)을 촬상한다.
거리 센서는, 피사체의 거리 화상을 촬상한다. 거리 센서에는, ToF(Time of flight) 방식을 적합하게 사용할 수 있으며, 본 실시 형태에서는 ToF 방식의 거리 센서를 사용하는 예를 든다. ToF 방식의 거리 센서에서는, 근적외광(NIR광)을 사용하여, 거리 센서와 피사체의 거리 정보를 갖는 거리 화상이 취득된다. 제2 센서로서의 프론트 카메라(6)의 ToF 방식의 거리 센서에 의해 취득되는 센싱 결과인 거리 화상에는, 거리 정보 외에, 촬영자의 눈의 2차원 위치 정보도 포함된다.
본 실시 형태에서는, 리어 카메라(3) 및 프론트 카메라(6)가, 각각 하나의 촬상 디바이스이며, RGB 화상과 거리 화상의 양쪽을 취득할 수 있는 예를 든다. 이하, RGB 화상 및 거리 화상을 합쳐 단순히 화상이라고 하는 경우가 있다.
도 2에 도시한 바와 같이, 리어 카메라(3)는, 화상 센서의 일부를 구성하는 RGB 화상용 촬상 소자(31)와, 거리 센서의 일부를 구성하는 거리 화상용 촬상 소자(32)와, 촬상 처리 회로(33)와, 온 칩 렌즈(도시생략)와, 컬러 필터(도시생략)와, 발광부(도시생략)를 갖는다.
마찬가지로, 프론트 카메라(6)는, 화상 센서의 일부를 구성하는 RGB 화상용 촬상 소자(61)와, 거리 센서의 일부를 구성하는 거리 화상용 촬상 소자(62)와, 촬상 처리 회로(63)와, 온 칩 렌즈(도시생략)와, 컬러 필터(도시생략)를 갖는다.
리어 카메라(3)(프론트 카메라(6))에 있어서, RGB 화상용 촬상 소자(31(61))및 거리 화상용 촬상 소자(32(62))와, 온 칩 렌즈의 사이에 컬러 필터를 마련함으로써, R 화소, G 화소, B 화소 및 NIR 화소를 배치할 수 있다.
여기서, R 화소는, 적색(R: Red)의 파장 성분을 투과시키는 컬러 필터를 투과한 광으로부터, 적색 성분의 광에 대응한 전하를 얻는 화소이다. G 화소는, 녹색(G: Green)의 파장 성분을 투과시키는 컬러 필터를 투과한 광으로부터, 녹색(G) 성분의 광에 대응한 전하를 얻는 화소이다. B 화소는, 청색(B: Blue)의 파장 성분을 투과시키는 컬러 필터를 투과한 광으로부터, 청색(B) 성분의 광에 대응한 전하를 얻는 화소이다. NIR 화소는, 근적외광(NIR광)의 파장 성분을 투과시키는 필터를 투과한 광으로부터, NIR광의 파장대에 대응한 전하를 얻는 화소이다.
촬상 처리 회로(33(63))는, RGB 화상용 촬상 소자(31(61)) 및 거리 화상용 촬상 소자(32(62))로 얻어지는 촬상 신호를 처리하여, 피사체에 대응한 RGB 화상 및 거리 화상을 생성한다.
온 칩 렌즈는, 화소마다 마련되고, 외부로부터의 광을 집광하여 각 화소의 컬러 필터에 입사시킨다.
거리 센서의 일부를 구성하는 발광부는, 카메라와 피사체의 거리를 측정하기 위해서 사용된다. 발광부는 NIR광을 발광한다. 거리 화상용 촬상 소자(32(62))는, 발광부로부터 발광된 NIR광이 피사체에서 반사했을 때의 복귀광을 수광한다. 발광부는, 예를 들어 발광 다이오드(LED) 등의 발광 부재와 그것을 발광시키기 위한 드라이버 회로를 포함하여 구성된다.
표시부(4)는, 화상 생성부(7)에서 생성된 표시 화상을 표시한다. 표시부(4)는, 리어 카메라(3) 및 프론트 카메라(6) 각각으로 촬영된 화상을 표시 가능하게 구성되지만, 이하의 설명에서는, 리어 카메라(3)로 촬영된 화상이 표시부(4)에 표시되는 예를 든다.
화상 생성부(7)는, 화상 정보 취득부(70)와, 시점 위치 산출부(71)와, 좌표 변환부(72)와, 보완부(73)를 갖는다.
화상 정보 취득부(70)는, 리어 카메라(3)로부터 피사체의 RGB 화상 및 거리 화상을 취득하고, 프론트 카메라(6)로부터 촬영자의 RGB 화상 및 거리 화상을 취득한다. 또한, 후술하는 바와 같이, 표시부(4)에 표시되는 화상의 경치와 표시 장치(1)의 외측 경치가 연속해서 연결되어, 표시 장치(1)의 건너편이 마치 비쳐 보이는 것처럼 표시 화상을 생성하는 경우, 프론트 카메라(6)로부터는 적어도 거리 화상이 취득되면 된다.
시점 위치 산출부(71)는, 프론트 카메라(6)로 촬영된 거리 화상에 기초하여, 촬영자의 시점의 3차원 위치를 산출한다.
좌표 변환부(72)는, 촬영자의 시점의 3차원 위치 정보에 기초하여, 리어 카메라(3)로 취득되는 화상을 좌표 변환하여, 촬영자의 시점에서 본 RGB 화상이 되는 표시 화상을 생성한다.
보완부(73)는, 좌표 변화부(72)에서 생성된 표시 화상 내에, 오클루전 영역이 있는 경우, 이 오클루전 영역을 보완하여, 표시부(4)에 표시될 표시 화상을 생성한다.
화상 생성부(7)에 있어서의 표시 화상 생성 방법에 대해서는 후술한다.
도 3은, 촬영자 P가 본 실시 형태에 따른 표시 장치(1)를 왼손(21)으로 파지하고 있는 모습을 나타내는 도면이다. 도 3에 있어서, 표시 장치(1)의 표시부(4)에는, 표시 장치(1)의 건너편을 촬영한 화상이 표시되어 있다.
본 실시 형태에 있어서는, 리어 카메라(3)를 기준으로 하여 취득된 화상을 촬영자 P의 시점에서 본 화상으로 변환하여 표시 화상(51)이 생성된다. 이에 의해, 도 3에 도시한 바와 같이, 표시 장치(1)의 외측의 경치(13)와 표시 장치(1)의 표시부(4)에 표시되는 표시 화상(53)의 경치가 연속해서 연결되어 있는 것처럼 보인다. 이에 의해, 촬영자의 입장에서 표시 장치(1)의 존재에 의해 가려져 있는 영역은, 표시 장치(1)가 비쳐서 건너편의 경치가 보이고 있는 것처럼 촬영자 P에게는 인식되어, 표시부(4)에 표시되는 경치가 미니어처 가든적인 것이 아니게 된다. 따라서, 예를 들어 화상 중에, 확장 현실(Augmented Reality; AR) 정보인 가상 물체 등의 중첩용 화상을 중첩시켜 AR 표시한 경우, 유저는, AR의 세계에 대한 높은 몰입감 및 임장감을 맛볼 수 있다. 가상 물체나 가상 문자와 같은 가상 화상의 중첩에 대해서는, 다른 실시 형태로서 후술한다.
기억부(8)는, RAM 등의 메모리 디바이스 및 하드디스크 드라이브 등의 불휘발성 기록 매체를 포함하고, 표시 장치(1)의 표시부(4)에 표시될 표시 화상을 생성하는 처리를, 표시 장치에 실행시키기 위한 프로그램을 기억한다.
기록부(8)에 기억되는 프로그램은, 리어 카메라(3)로부터 피사체의 2차원 화상인 RGB 화상과, 피사체의 거리 화상을 취득하는 스텝과, 프론트 카메라(6)의 센싱 결과가 되는 거리 화상을 취득하는 스텝과, 프론트 카메라(6)의 거리 화상에 기초하여 촬영자 P의 시점의 3차원 위치 정보를 산출하는 스텝과, 당해 3차원 위치 정보에 기초하여, 리어 카메라(3)에 의해 취득된 RGB 화상과 거리 화상을 사용하여, 표시부(4)에 표시할 표시 화상을 생성하는 스텝을 표시 장치에 실행시키기 위한 것이다.
[표시 화상 생성 방법]
도 4는, 표시 화상 생성 방법의 개략을 설명하는 도면이다.
도 4의 (A)에 도시한 바와 같이, 리어 카메라(3)로 취득되는 피사체가 되는 대상물(11)의 화상은, 리어 카메라(3)의 위치를 기준으로 한 화상이다.
도 4의 (B)에 도시한 바와 같이, 본 실시 형태의 표시 화상 생성 방법에서는, 리어 카메라(3)로 취득되는 대상물(11)의 화상을, 시점 E에서 본 화상이 되도록 좌표 변환하여 표시 화상을 생성한다. 또한, 좌표 변환하여 생성된 표시 화상에 오클루전 영역이 있는 경우에는, 오클루전 영역의 보완 처리가 행해져서, 표시부(4)에 표시될 표시 화상이 생성된다. 이하, 설명한다.
도 5는 표시 화상 생성 방법의 흐름도이다.
도 5에 도시한 바와 같이, 화상 정보 취득부(70)에 의해, 리어 카메라(3)로부터 피사체의 RGB 화상 및 거리 화상과, 프론트 카메라(6)로부터 촬영자의 RGB 화상 및 거리 화상이 취득된다(ST1). 리어 카메라(3)는 리어측에 캘리브레이션되고, 프론트 카메라(6)는 프론트측에 캘리브레이션되어 있다. 리어 카메라(3)에 의해 취득된 RGB 화상 및 거리 화상으로부터, 리어 카메라(3)로부터 피사체가 되는 대상물(11)까지의 포인트 클라우드 정보를 취득할 수 있다.
다음으로, 시점 위치 산출부(71)에 의해, 프론트 카메라(6)로 촬영된 거리 화상에 기초하여, 촬영자의 시점의 3차원 위치가 산출된다(ST2). 산출 처리에 대해서는 후술한다.
다음으로, 좌표 변환부(72)에 의해, 촬영자의 시점의 3차원 위치 정보를 이용하여, 리어 카메라(3)로 취득된 화상이, 촬영자의 시점에서 본 화상이 되도록 좌표 변환된다(ST3). 좌표 변환 처리에 대해서는 후술한다.
다음으로, 보완부(73)에 의해, 좌표 변환부(72)로 좌표 변환된 표시 화상 내에 오클루전 영역이 있는 경우, 이 오클루전 영역이 보완되어, 표시부(4)에 표시될 표시 화상이 생성된다(ST4). 오클루전 영역의 보완 처리에 대해서는 후술한다.
(시점의 3차원 위치 산출 처리)
도 6을 이용하여 시점에 대하여 설명한다.
도 6의 (A)에 도시한 바와 같이, 촬영자 P가 양 눈을 뜨고 있는 경우, 촬영자 P의 우안(9R)과 좌안(9L) 각각의 눈동자(검은자위)의 중심점을 연결하여 이루어지는 선분을 이등분하는 중심점을 시점 E로 한다.
도 6의 (B)에 도시한 바와 같이, 촬영자 P의 한편의 한쪽 눈을 감고, 다른 편의 한쪽 눈을 뜨고 있는 경우, 뜨고 있는 눈의 눈동자의 중심점을 시점 E로 한다. 도 6의 (B)에 도시한 예에서는, 우안(9R)을 감고 있으며, 뜨고 있는 좌안(9L)의 눈동자의 중심점이 시점 E가 된다. 도 6의 (B)에서는, 시점 E를 흰색의 원으로 나타내고 있다. 시점 E는, 리어 카메라(3)로 취득된 화상을 사용하여 촬영자 P가 본 표시 화상을 생성할 때의 기준으로 사용된다.
본 실시 형태에서는, 프론트 카메라(6)는 거리 센서인 ToF 센서를 구비하고 있다. 시점 위치 산출부(71)는, ToF 센서에 의해 취득되는 거리 화상인 NIR 화상에 대하여, 종래 방법에 의해 얼굴 검출과 좌우 눈의 눈동자의 2차원 위치의 검출을 행한다. 그리고, 그 검출한 화소의 ToF 거리값으로부터, 좌우 눈 각각의 눈동자의 중심점의 3차원 위치 정보를 취득한다.
또한, 시점 위치 산출부(71)는, 취득한 좌우 눈 각각의 눈동자의 중심점의 3차원 위치 정보로부터 시점 E의 3차원 위치 정보를 산출한다. 상술한 바와 같이, 촬영자 P가 양 눈을 뜨고 있는 경우에는 좌우의 눈동자의 중심점을 시점 E로 하고, 한쪽 눈을 뜨고 있는 경우에는 뜨고 있는 눈의 눈동자의 중심을 시점 E로 한다.
이와 같이, 본 실시 형태에서는, 눈의 뜨고/감음 상태에 따라서 최적의 표시 화상을 생성할 수 있다.
(좌표 변환 처리)
도 7을 이용하여, 좌표 변환 처리에 대하여 설명한다.
좌표 변환부(72)는, 리어 카메라(3)로 취득되는 피사체가 되는 대상물(11)의 포인트 클라우드가, 표시 장치(1)의 표시부(4)의 어느 좌푯값에 맵핑될지를 산출한다.
이하, 도 7 및 후술하는 각 식에 있어서 나타내는 기호 E, D, A, F, R, O는, 각각의 점의 3차원 위치를 나타낸다.
각 기호의 의미는 다음과 같다.
즉,
E: 시점
A: 표시부의 좌측 상단의 표시부 원점
F: 프론트 카메라
R: 리어 카메라
O: 대상물
시점 E는, 상기 시점의 3차원 위치 산출 방법에 의해 산출된 시점의 위치이다.
표시부 원점 A는, 촬영자 P가, 표시부(4)가 배치되는 제2 면(5)에 대향하고, 리어 카메라(3) 및 프론트 카메라(6)가 표시부(4)보다 상측에 위치하도록 표시 장치(1)를 세로 방향으로 파지했을 때의, 직사각 형상의 표시부(4)의 표면의 좌측 상단의 모서리에 위치하는 점이다.
프론트 카메라(6)의 점 F는, 프론트 카메라(6)의 카메라 좌표의 원점이다.
리어 카메라(3)의 점 R은, 리어 카메라(3)의 카메라 좌표의 원점이다.
피사체인 대상물(11)의 점 O는, 대상물(11) 위의 임의의 점이다.
또한, 3차원 점간의 벡터의 첨자는 기준 좌표 위치를 나타내고, 상기 기호의 대문자에 대응하는 소문자로 나타낸다. xyz는 좌표축 방향을 나타낸다.
좌표 변환 처리의 계산은 다음에 나타내는 1, 2의 순서로 행해진다.
1. 시점 좌표계 e에서, 시점 E로부터 대상물(11)의 임의의 점 O까지의 직선과, 표시부(4)의 평면 D를, 각각 수식으로 표현한다. 시점 좌표계 e는, 시점 E를 원점으로 했을 때의 좌표계이다. 또한, 표시부(4)의 평면 D는, 표시부(4)의 표면에 상당한다.
2. 상기 1의 직선과 평면의 교점 좌표를 구한다.
여기서, 프론트 카메라(6), 리어 카메라(3), 표시부(4)는, 각각의 위치의 캘리브레이션이 되어 있어, 평행한 위치 관계로서 취급할 수 있는 것으로 한다.
또한, xyz 좌표 방향에 있어서, z 좌표는, 제2 면(5)으로부터 제1 면(2)을 향하는 방향으로 부의 값을 갖는 것으로 한다. 예를 들어, 프론트 카메라(6)로 검출되는 시점 좌표의 z 좌표는 항상 부의 값을 갖는다. 촬영자 P가, 표시부(4)가 배치되는 제2 면(5)에 대향하고, 리어 카메라(3) 및 프론트 카메라(6)가 표시부(4)보다 상측에 위치하도록 표시 장치(1)를 세로 방향으로 파지했을 때, y 좌표는, 촬영자 P에서 보아 상측에서부터 하측을 향하는 방향으로 정의 값을 갖는 것으로 하고, x 좌표는, 촬영자 P에서 보아 좌측에서부터 우측을 향하는 방향으로 정의 값을 갖는 것으로 한다.
도면 및 이하의 설명에 있어서, Or은 리어 카메라(3)의 점 R을 원점으로 했을 때의 대상물(11)의 점 O의 xyz 좌푯값을 나타낸다. Orx, Ory, Orz는, 각각 리어 카메라(3)의 점 R을 원점으로 했을 때의 대상물(11)의 점 O의 x 좌푯값, y 좌푯값, z 좌푯값을 나타낸다.
Oe는 시점 E를 원점으로 했을 때의 대상물(11)의 점 O의 xyz 좌푯값을 나타낸다. Oex, Oey, Oez는, 각각 시점 E를 원점으로 했을 때의 대상물(11)의 점 O의 x 좌푯값, y 좌푯값, z 좌푯값을 나타낸다.
Df는 프론트 카메라(6)의 점 F를 원점으로 했을 때의 평면 D상의 점의 xyz 좌푯값을 나타낸다. Dfx, Dfy, Dfz는, 각각 점 F를 원점으로 했을 때의 평면 D상의 점의 x 좌푯값, y 좌푯값, z 좌푯값을 나타낸다.
Ef는 프론트 카메라(6)의 점 F를 원점으로 했을 때의 시점 E의 xyz 좌푯값을 나타낸다. Efx, Efy, Efz는, 각각 점 F를 원점으로 했을 때의 시점 E의 x 좌푯값, y 좌푯값, z 좌푯값을 나타낸다.
Af는 프론트 카메라(6)의 점 F를 원점으로 했을 때의 표시부 원점 A의 xyz 좌푯값을 나타낸다. Afx, Afy, Afz는, 각각 점 F를 원점으로 했을 때의 표시부 원점 A의 x 좌푯값, y 좌푯값, z 좌푯값을 나타낸다.
Fr은 리어 카메라(3)의 점 R을 원점으로 했을 때의 프론트 카메라(6)의 점 F의 xyz 좌푯값을 나타낸다. Frx, Fry, Frz는, 각각 리어 카메라(3)의 점 R을 원점으로 했을 때의 프론트 카메라(6)의 점 F의 x 좌푯값, y 좌푯값, z 좌푯값을 나타낸다.
우선, 상기 1에 대하여 설명한다.
시점 좌표계 e에 있어서의 대상물의 좌표 Oe의 식은,
Figure pct00001
로 되고, 시점 좌표계 e에 있어서의 점 E로부터 점 O까지의 직선은, 다음의 3개의 식에 의해 표현할 수 있다. 이 3개의 식을 식 (1)이라 하자.
Figure pct00002
여기서, a는 매개 변수를 나타낸다.
시점 좌표계 e에 있어서의 평면 D의 식은,
Figure pct00003
로 되고, 다음의 3개의 식에 의해 표현할 수 있다. 이 3개의 식을 (2)라 하자.
Figure pct00004
다음으로, 상기 2에 대하여 설명한다.
(Dfx, Dfy)는 표시부(4) 위의 좌표('표시부 좌표'라고 함)를 나타내고 있다. 대상물(11)의 임의의 점 O가 맵핑될 표시부 좌표를 구하는, 즉, (Dfx, Dfy)를 대상물(11)의 임의의 점 O를 원점으로 하는 좌표로 표현한다. 이에 의해, 리어 카메라(3)로 얻어지는 대상물(11)의 포인트 클라우드가, 표시부(4)의 어느 표시부 좌푯값에 맵핑될지가 산출되게 된다. 구체적인 산출 방법은 이하와 같다.
상기 식 (1)과 식 (2)로부터
Figure pct00005
상기 식 (5)로부터
Figure pct00006
상기 식 (3), 식 (4) 및 식 (6)으로부터
Figure pct00007
이와 같이, (Dfx, Dfy)를 대상물(11)의 임의의 점 O를 원점으로 하는 좌표로 표현할 수 있다. 이 좌표 변환 처리에 의해, 리어 카메라(3)로 얻어지는 대상물(11)의 포인트 클라우드의 각 점이, 각각 표시부(4)의 어느 표시부 좌푯값에 맵핑될지가 산출된다. 이것을, 대상물(11)의 포인트 클라우드의 모든 점에서 행함으로써, 대상물(11)을 표시부(4)의 어디에 표시하면 되는지를 알 수 있다. 이에 의해, 표시부(4)에 표시되는 표시 장치(1)의 건너편의 경치 화상은, 촬영자 P의 시점 E에서 본 화상이 된다. 따라서, 촬영자 P에게, 표시부(4)에 표시되는 화상의 경치와 표시 장치(1)의 외측 경치가 연속해서 연결되어 있는 것처럼 시인시켜, 표시 장치(1)의 건너편이 마치 비쳐 보이고 있는 듯한 느낌을 줄 수 있다.
이와 같이, 좌표 변환 처리에서는, 촬영자 P의 시점 E로부터 대상물(피사체)의 포인트 클라우드의 각 점까지의 직선과, 표시부(4)의 평면의 교점 좌표를 점마다 산출하고, 피사체의 포인트 클라우드의 각 점이 대응하는 교점 좌표에 맵핑되도록 표시 화상이 생성된다.
(오클루전 보완 처리)
좌표 변환 처리 전의 화상의 포인트 클라우드 데이터를 사용하여, 상기 좌표 변환 처리를 행하고, 좌표 변환 처리 전의 화상과는 다른 시점의 화상을 생성하는 경우, 생성된 화상에 오클루전 영역이 발생한다. 오클루전 보완 처리에서는, 이 오클루전 영역을 보완하는 처리가 실행되어, 최종적으로 표시부(4)에 표시될 표시 화상이 생성된다.
도 8은, 오클루전 영역을 설명하기 위한 도면이다. 예를 들어, 리어 카메라(3)를 사용하여 피사체인 인물(12)을 정면보다 좌측으로 비스듬한 방향으로 촬영하여 화상을 취득하였다고 하자. 이 리어 카메라(3)로 취득된 화상의 포인트 클라우드 데이터를 사용하여, 상기 좌표 변환 처리를 행하여 인물을 정면에서 본 화상이 생성된 경우, 도 8의 (A)에 도시한 바와 같이, 좌표 변환 처리 후의 화상(52)에, 변환 처리 전의 화상에 있어서 인물(12)이 위치함으로써 가려져서 보이지 않던 영역이 오클루전 영역(81)으로서 발생한다. 이 오클루전 영역(81)은, 포인트 클라우드 데이터가 존재하지 않아, 화상의 생성을 할 수 없는 영역이다. 도 8의 (A)에서는, 오클루전 영역(81)을 사선으로 나타내고 있다.
이 오클루전 영역(81)을 보완함으로써, 도 8의 (B)에 도시한 바와 같이, 결락되어 있던 오클루전 영역(81)의 화상이 보완된 표시 화상(53)이 생성된다. 이에 의해, 위화감이 없는 표시 화상을 얻을 수 있어, 임장감, 몰입감을 높일 수 있다.
오클루전 영역의 보완 처리에는, 예를 들어 화상 생성 모델 GAN(Generative Adversarial Networks) 등의 화상 보정 처리를 사용할 수 있다.
또한, 시계열 화상 데이터가 입력되는 경우에는, 시계열 정보를 이용하는 DVD-GAN(Dual Video Discriminator GAN)의 방법을 응용할 수 있다. 이 방법에서는, 종래의 1 프레임 단위의 GAN이 아니라, 전후 프레임의 정보를 활용할 수 있기 때문에, 보다 정밀도 높게 오클루전 영역을 보완할 수 있어, 보다 위화감이 없는 표시 화상을 얻을 수 있다. 예를 들어, 이전 카메라에 촬영되어 있던 영역이 오클루전 영역이 된 경우에, 과거에 촬영된 화상 정보를 활용할 수 있다.
이상과 같이, 본 실시 형태에서는, 프론트 카메라(6)의 거리 화상, 리어 카메라(3)의 거리 화상 및 RGB 화상을 이용하여, 리어 카메라(3)의 화상 센서에 의해 취득된 리어 카메라(3)가 시점으로 되어 있는 시야 화상을, 촬영자의 시점이 기준이 된 시야 화상으로 변환하여 표시 화상으로 할 수 있다.
또한, 카메라(3 및 6)가 표시부(4)보다도 상측에 위치하도록 표시 장치(1)를 세로 방향으로 파지한 경우를 예로 들어 표시 화상 생성 방법의 설명을 하였지만, 표시 장치(1)를 가로 방향으로 파지한 경우에도 본 기술을 적용할 수 있다. 카메라의 방향에 관계 없이, 카메라(3 및 6)의 좌표계의 상대적인 방향이나 표시부 원점 A의 위치를 바꾸지 않고, 전술한 계산 방법으로 표시 화상을 얻을 수 있다.
<제2 실시 형태>
본 실시 형태에서는, 본 기술의 표시 장치(1)에 의해 건너편을 촬영한 화상에, 중첩용 화상을 중첩하는 예에 대하여 설명한다. 여기에서는 중첩용 화상이 가상 물체인 예에 대하여 설명한다.
도 9 및 10은, 촬영자 P가 왼손(21)으로 표시 장치(1)를 파지하고 있는 모습을 나타낸다. 도 9의 표시 장치(1)의 표시부(4)에는, 표시 장치(1)의 건너편을 촬영한 화상에 곰 형태의 가상 물체(85)가 중첩 표시된 표시 화상(54)이 표시되어 있다. 도 10의 표시 장치(1)의 표시부(4)에는, 표시 장치(1)의 건너편을 촬영한 화상에, 가상 물체(85)가 중첩 표시된 표시 화상(55)이 표시되어 있다. 도 10에 있어서, 촬영자 P는, 가상 물체(85)가 중첩된 표시 화상(55)을 보고, 표시 화상(55) 내의 가상 물체(85)를 공간 내에서 오른손(22)으로 가리키고 있다.
이와 같이, 상기 표시 화상 생성 방법에 의해 생성된 표시 화상에, 가상 물체(85)가 중첩되어 표시 화상이 생성되어도 된다.
가상 물체(85)는, 가상 공간에 있어서의 가상적인 오브젝트이다. 본 실시 형태에서는, 표시 장치(1)의 리어 카메라(3)에 의해 촬영된 실존하는 피사체의 화상에 가상 물체(85)가 중첩된 표시 화상이 표시부(4)에 표시된다. 도 9 및 10에 도시한 바와 같이, 표시 장치(1)의 건너편 경치(13)와 연속해서 연결되어 있는 것처럼 화상 위에 가상 물체(85)가 중첩되어 표시 화상이 생성되므로, 촬영자 P는, 가상 물체(85)가 실재 공간에 존재하는 것처럼 느낄 수 있어, AR의 세계에 대한 높은 몰입감 및 임장감을 맛볼 수 있다.
또한, 도 10에 도시한 바와 같이, 촬영자 P는, 오른손(22)으로 가상 물체(85)를 가리켰을 때, 표시 화상(55) 내의 오른손 부분(22a)과 표시 장치(1)보다도 외측에 위치하는 오른손 부분(22b)이 연속해서 연결되어 있는 것처럼 시인되므로, 보다 리얼하게 가상 물체(85)에 닿아 있는 것처럼 느낄 수 있다.
도 10에 도시한 바와 같이, 가상 물체(85)를 중첩 표시한 표시 화상을 보아 촬영자의 손가락에 의한 조작이 행해지는 것이 상정되는 경우, 다음과 같이 표시 화상을 생성해도 된다. 즉, 상기의 표시 화상 생성에 의해 생성된 표시 화상에 투영된 손의 영역을 추출하고, 리어 카메라(3)로 얻어지는 손의 영역의 거리 정보와 가상 물체(85)의 위치에 따라서, 손의 영역의 일부가 가상 물체(85)에 접촉한 경우에는, 그에 따라서 가상 물체(85)가 변형되거나, 이동하기도 하는 표시 화상을 생성해도 된다.
이에 의해, 촬영자는, AR의 세계에 대한 보다 높은 몰입감 및 임장감을 맛볼 수 있다.
<제3 실시 형태>
화상 생성부(7)는, 촬영자 P의 시점과 표시부의 거리에 따라서, 표시 화상에 중첩할 가상 화상의 표시 내용을 변화시켜도 된다. 이하, 도 11을 이용하여 설명한다. 여기에서는 중첩용 화상이 문자 화상인 예에 대하여 설명한다.
도 11의 (A) 및 (B)는, 촬영자 P가 표시 장치(1)의 리어 카메라(3)를 사용하여 쟁반의 위에 놓여 있는 여러 개의 요리가 올려진 접시를 촬영했을 때의, 촬영자의 모습 및 표시 장치(1)의 표시부(4)에 표시되는 표시 화상(56 및 57)의 예를 나타낸다.
도 11의 (A)의 표시 화상(56)은, 촬영자 P가, 표시 장치(1)를 눈으로부터 멀어지게 하고 접시에 접근해서 촬영했을 때의 표시부(4)에 표시되는 화상이다.
도 11의 (B)의 표시 화상(57)은, 촬영자 P가, 표시 장치(1)를 눈에 접근시키고 접시로부터 멀어지게 하여 촬영했을 때의 표시부(4)에 표시되는 화상이다.
도 11의 (A)에 도시한 표시 장치(1)를 접시에 접근시켜 촬영한 화상에서는, 도 11의 (B)에 도시한 표시 장치(1)를 접시로부터 멀리 떨어지게 하여 촬영한 화상보다도, 피사체인 복수매의 접시가 확대된 듯한 화상으로 된다.
본 실시 형태에 있어서도, 상술한 실시 형태와 마찬가지로, 촬영자 P의 시점에서 본 화상이 생성되고, 표시부(4)에 표시되는 건너편의 경치와 표시 장치(1)의 존재에 의해 방해되지 않는 표시 장치(1)의 외측 경치가 연속해서 연결되어 있는 것처럼 보이도록, 표시 화상이 생성된다.
촬영자 P의 시점과 표시부(4)의 거리는, 제1 실시 형태에서 설명한 시점의 3차원 위치 산출 처리에 의해 구할 수 있다. 본 실시 형태에서는, 산출된 거리가 미리 설정한 임계값 이상인 경우, 도 11의 (A)에 도시한 바와 같이, 각 접시에 담긴 음식물 이름의 문자 화상(86)을 중첩시켜 표시 화상(56)이 생성된다. 그리고, 산출된 거리가 임계값 미만인 경우, 도 11의 (B)에 도시한 바와 같이, 음식물 이름의 문자 화상(86)에 추가로 칼로리 정보나 알레르기 정보와 같은 음식물 정보를 나타내는 문자 화상(87)을 중첩시켜 표시 화상(57)이 생성된다.
또한, 도 11의 (A) 및 (B)에 도시한 예에서는, 촬영자 P의 시점과 표시부의 거리에 따라서, 표시 내용을 변화시키는 외에, 문자 화상의 크기를 변화시키고 있다.
도 11의 (A)와 비교하여, 도 11의 (B)에 도시한 예에서는, 촬영자 P는 표시 장치(1)에 눈을 가까이 해서 표시부(4)를 보고 있기 때문에, 비교적 작은 문자라도 촬영자 P는 읽을 수 있다. 또한, 작은 문자로 표시하기 때문에, 보다 많은 정보를 표시할 수 있다. 한편, 도 11의 (A)에 있어서는, 접시에 담긴 음식물의 내용 정보를 보다 적게 하고, 문자를 크게 함으로써, 촬영자 P는, 표시 장치(1)로부터 눈을 돌리고 있어도, 대략적인 음식물의 내용 정보를 파악할 수 있다.
이와 같이, 화상 생성부(7)는, 촬영자 P의 시점과 표시부의 거리에 따라서, 중첩용 화상의 표시 내용 정보를 변화시켜서, 표시 화상을 생성해도 된다. 또한, 중첩용 화상의 표시 내용의 변화에는, 표시되는 정보 내용이 다른 경우 외에, 정보 내용이 동일해도 표시될 중첩용 화상의 크기(여기서는 문자의 크기)가 다른 경우도 포함된다.
또한, 본 실시 형태에서는, 표시 장치(1)가 비쳐서 건너편이 보이는 듯이 표시 화상이 표시되고, 또한, 문자 화상이 중첩됨으로써, 직시하에 시인한 음식물 위에 그 이름이나 음식물 정보를 나타내는 문자가 놓여 있는 것처럼 시인된다.
<제4 실시 형태>
제3 실시 형태에 있어서는, 시점과 표시부(4)의 거리에 따라서 중첩용 화상의 표시 내용을 변화시키는 예를 들었다. 이밖에, 유저의 시선 방향을 추정하고, 추정한 시선 방향에 따라서 중첩용 화상의 표시 내용을 변화시켜도 된다. 이하, 도 11의 (B), 도 12 및 도 13을 이용하여 설명한다.
도 12를 이용하여, 프론트 카메라(6)로 촬영하여 얻은 거리 화상 또는 RGB 화상으로부터 시선 검출을 행하는 처리의 예에 대하여 설명한다. 도 12에 있어서, 도트로 나타낸 영역은 눈의 중심에 눈동자가 있을 때의 눈동자의 영역을 나타낸다. 시선 검출 처리는, 도시하지 않은 시선 검출 처리부에 의해 행해진다.
시선 검출 처리부에 의해, 화상으로부터 촬영자의 얼굴이 검출되고, 얼굴의 좌우 눈의 위치가 화상 인식 처리로 검출된다. 또한, 그 화상 인식 처리로 검출한 눈 안의 눈동자의 위치에 기초하여, 시선 검출이 행해진다. 일반적으로, 의식하지 않고 눈을 움직이게 하는 경우, 좌우의 눈의 각각의 눈동자는 동일한 거동을 나타낸다. 예를 들어 얼굴을 움직이게 하지 않고, 시선을 상측 방향을 향하게 하는 경우, 좌우의 눈의 각각의 눈동자는 상측 방향으로 이동한다. 따라서, 뜨고 있는 한쪽 눈의 눈동자의 위치에 의해 시선 검출을 행할 수 있다.
도 12에 도시한 바와 같이, 눈의 중심에 눈동자가 있는 상태(90)가 화상 인식으로 검출된 경우, 시선은 중심 방향인 것으로 한다. 눈의 좌측에 눈동자가 있는 상태(91)가 화상 인식으로 검출된 경우, 시선이 좌측 방향인 것으로 한다. 눈의 우측에 눈동자가 있는 상태(92)가 화상 인식으로 검출된 경우, 시선이 우측 방향인 것으로 한다. 눈의 상측에 눈동자가 있는 상태(93)가 화상 인식으로 검출된 경우, 시선이 상측 방향인 것으로 한다. 눈의 하측에 눈동자가 있는 상태(94)가 화상 인식으로 검출된 경우, 시선이 하측 방향인 것으로 한다.
도 13은, 촬영자의 시선 방향에 따라서 중첩용 화상의 표시 내용을 변화시켜 생성한 표시 화상예이다.
예를 들어, 시선 방향이 중심 방향인 경우, 도 11의 (B)에 도시한 바와 같이, 모든 각 접시에 대응하여, 음식물 이름을 나타내는 문자 화상(86)과 음식물 정보를 나타내는 문자 화상(87)이 중첩된다.
한편, 시선 방향이 상측 방향인 경우, 촬영자 P는 표시 화상의 상측 부분에 주목하고 있는 것으로 간주하여, 도 13에 도시한 바와 같이, 표시 화상의 위쪽에 위치하는 연어구이, 두부, 포크소테의 접시에 대응하여, 음식물 이름의 문자 화상(86)과 음식물 정보를 나타내는 문자 화상(87)을 중첩시켜, 보다 상세한 정보를 표시한다. 한편, 표시 화상(58)의 아래쪽에 위치하는 밥, 야채절임, 된장국의 접시나 표시 화상(58)의 상하 방향에 있어서의 중앙부에 위치하는 샐러드나 커스터드 푸딩의 접시에는, 음식물 이름을 나타내는 문자 화상(86)만을 중첩시켜서, 간소화한 정보를 표시한다. 이와 같이, 촬영자 P의 시선에 따라서, 중첩 화상의 표시 내용을 다르게 해도 된다.
<제5 실시 형태>
상술한 실시 형태에 있어서는, 좌우의 눈을 뜨고 있을 때에는, 좌우의 눈의 중심을 시점으로 하고, 한쪽 눈을 감고 있을 때에는 뜨고 있는 다른 한편의 한쪽 눈의 중심을 시점으로 하여, 표시 화상을 생성하는 예를 들었다. 본 기술은, 본 실시 형태에서 설명한 바와 같이, 표시부(4)에 의해 좌우의 눈에 서로 다른 화상을 제시하는 양안 입체시에 적용할 수도 있다. 이하, 도 14를 이용하여 설명한다.
도 14는, 양안 입체시를 설명하는 모식도이다.
본 실시 형태에서는, 화상 생성부(7)에 의해, 프론트 카메라(6)로 얻어진 거리 화상을 사용하여, 상기 실시 형태와 마찬가지의 방법으로, 좌안(9L)의 좌안용 시점 EL과 우안(9R)의 우안용 시점 ER의 3차원 위치가 각각 산출된다. 각 눈의 눈동자의 중심을 시점 E로 한다.
또한, 화상 생성부(7)에 의해, 좌안용 시점 EL 및 우안용 시점 ER을 사용하여, 상기 실시 형태와 마찬가지로 좌표 변환 처리, 오클루전 보완 처리가 행해지고, 좌안용 표시 화상과 우안용 표시 화상이 생성된다.
입체 표시를 실현하기 위해서는, 표시부(4)에 렌티큘러 렌즈를 조합한 렌티큘러 방식이나 패럴랙스 배리어를 사용하는 패럴랙스 배리어 방식 등이 있다. 여기에서는, 패럴랙스 배리어 방식을 예로 들어 설명한다.
패럴랙스 배리어는, 수직 슬릿을 수평 방향으로 배열한 슬릿 어레이이며, 표시부(4) 위에 리소그래피 등으로 제작 가능하다. 표시부(4)로부터 나오는 광선의 수평 진행 방향을 패럴랙스 배리어의 슬릿으로 제한함으로써, 광선의 수평 진행 방향을 제어할 수 있다. 표시부(4)를 구성하는 복수의 표시 화소는, 좌안용 표시 화상을 표시하는 표시 화소, 우안용 표시 화상을 표시하는 표시 화소가 교대로 수평 방향으로 반복해서 배치된다.
이와 같이, 표시 장치를 입체 표시 가능한 구성으로 함으로써, 촬영자 P는, AR의 세계에 대한 더욱 높은 몰입감 및 임장감을 맛볼 수 있다.
<다른 구성예>
본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 좌표 변환 처리 시에는 대상물이나 시점의 위치와 표시 장치의 상대 위치 관계를 인식할 필요가 있다. 상기 실시 형태에서는, 상대 위치 관계를 인식할 때, 화상 인식의 결과를 사용하는 예를 들었지만, 이것에 추가로, 표시 장치(1)에 탑재되는 제3 센서로서의 IMU(inertial measurement unit)로부터 취득되는 표시 장치(1)의 위치 자세 정보를 이용해도 된다. 이에 의해, 보다 응답률이 높은 화상 표시를 실현할 수 있다. 또한, SLAM(Simultaneous Localization and Mapping)을 사용하여 추정한 표시 장치의 자기 위치 자세 정보를 이용해도 된다.
또한, 상술한 실시 형태에서는, 화상 센서와 거리 센서의 양쪽을 구비한 카메라를 예로 들어 설명하였지만, 화상 센서와 거리 센서를 따로따로 마련해도 된다. 이 경우, 화상 센서와 거리 센서는 근접해서 배치된다. 화상 센서와 거리 센서를 따로따로 마련하는 경우, 표시 화상 생성 방법에서의 좌표 변환 처리는, 화상 센서와 거리 센서의 위치 관계를 고려하여 행해진다. 예를 들어, 계산의 간략화를 위해서, 리어 카메라의 화상 센서는 리어 카메라의 거리 센서와 별도 캘리브레이션되어 있어, RGB값은 거리값으로 매핑되어 포인트 클라우드가 얻어지고 있는 것으로 보고, 거리 센서 좌표계만 계산 대상으로 할 수 있다.
또한, 예를 들어 상술한 실시 형태에 있어서, 시점의 3차원 위치를 산출할 때, 프론트 카메라(6)의 ToF 방식의 거리 센서로부터 얻어지는 거리 화상을 사용하였지만, 이것에 한정되지는 않는다. ToF 방식의 거리 센서로부터 얻어지는 센싱 결과인 거리 화상에는, 거리 정보와 촬영자의 눈의 2차원 위치 정보의 양쪽이 포함되어 있다. 시점의 3차원 위치의 산출에는, 이들 거리 정보와 촬영자의 눈의 2차원 위치 정보가 있으면 된다. 이들 정보는, 동일한 센서로 취득해도 되고, 서로 다른 센서로 각각의 정보를 취득해도 된다.
예를 들어, 거리 정보와 촬영자의 눈의 2차원 위치 정보의 취득에, 제2 센서로서, 스트럭처 라이트 센서나 패턴드 스테레오 센서 등의 거리 센서를 사용해도 된다. 또는, 제2 센서로서 2대의 카메라(화상 센서)를 사용하는 스테레오 카메라를 사용해도 된다. 거리 정보를 취득하는 센서와는 별도로 눈의 2차원 위치 정보를 취득하는 센서를 마련해도 되고, 거리 정보 및 촬영자의 눈의 2차원 위치 정보를 취득하는 제2 센서는, 1 이상의 센서로 구성되어도 된다.
또한, 예를 들어 화상 내의 물체의 텍스처가 적은 경우, ToF 방식의 쪽이, 스트럭처 라이트 센서, 패턴드 스테레오 센서 및 스테레오 카메라보다도 오클루전 영역이 적어지게 된다. 이 때문에, 위화감이 없는 표시 화상을 안정적으로 생성한다는 관점에 있어서 ToF 방식의 거리 센서를 사용하는 것이 보다 바람직하다.
또한, 예를 들어 상술한 실시 형태에 있어서, 시점의 3차원 위치를 산출할 때, 프론트 카메라(6)로 취득되는 거리 화상을 사용하여 얼굴 검출과 좌우 눈의 눈동자의 2차원 위치의 검출을 행하는 예를 들었지만, 이것에 한정되지는 않는다. 프론트 카메라(6)의 화상 센서로 취득되는 RGB 화상을 사용하여 얼굴 검출과 좌우 눈의 눈동자의 2차원 위치의 검출을 행해도 된다.
또한, 상술한 실시 형태에 있어서는, 중첩용 화상으로서 가상 물체나 문자 화상을 예로 들었지만, 이들에 한정되지는 않는다. 예를 들어, 실제로 촬영한 화상으로부터 잘라낸 물체 영역 등을 중첩용 화상으로서 사용해도 되고, 잘라낸 물체 영역 등의 색을 바꾸는 등의 가공을 실시한 것을 중첩용 화상으로 해도 된다.
또한, AR로 방에 고정된 가상 물체를 표시하는 경우에 있어서도 본 기술을 적용할 수 있어, 보다 현실적인 가상 물체의 크기감을 촬영자는 맛볼 수 있다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
장치 본체의 제1 면측에 배치된 제1 화상 센서와,
상기 제1 면측에 배치된 제1 거리 센서와,
상기 제1 면과 반대측의 제2 면측에 배치된 제2 센서와,
상기 제2 면측에 배치된 표시부와,
상기 제2 센서로 취득된 센싱 결과에 기초하여 산출된 촬영자의 시점의 3차원 위치 정보에 기초하여, 상기 제1 화상 센서에 의해 취득된 피사체의 2차원 화상과 상기 제1 거리 센서에 의해 취득된 상기 피사체의 거리 화상을 사용하여, 상기 표시부에 표시할 표시 화상을 생성하는 화상 생성부
를 구비하는 표시 장치.
(2)
상기 (1)에 기재된 표시 장치이며,
상기 화상 생성부는, 상기 2차원 화상 및 상기 거리 화상에 의해 얻어지는 상기 피사체의 포인트 클라우드를 좌표 변환하여, 상기 촬영자의 시점에서 본 상기 표시 화상을 생성하는
표시 장치.
(3)
상기 (2)에 기재된 표시 장치이며,
상기 화상 생성부는, 상기 촬영자의 시점의 3차원 위치를 원점으로 하여, 상기 시점으로부터 상기 피사체의 포인트 클라우드의 각 점까지의 직선과 상기 표시부의 평면의 교점 좌표를 산출하고, 상기 피사체의 포인트 클라우드의 각 점이 대응하는 상기 교점 좌표에 맵핑되도록 상기 포인트 클라우드를 좌표 변환하여 상기 표시 화상을 생성하는
표시 장치.
(4)
상기 (2) 또는 (3)에 기재된 표시 장치이며,
상기 화상 생성부는, 좌표 변환하여 생성된 상기 촬영자의 시점에서 본 화상에 있어서의 오클루전 영역을 보완하여, 상기 표시 화상을 생성하는
표시 장치.
(5)
상기 (2) 내지 (4) 중 어느 하나에 기재된 표시 장치이며,
상기 표시 장치의 위치 자세 정보를 취득하는 제3 센서를 더 구비하고,
상기 화상 생성부는, 상기 위치 자세 정보를 이용하여 상기 표시 화상을 생성하는
표시 장치.
(6)
상기 (2) 내지 (5) 중 어느 하나에 기재된 표시 장치이며,
상기 화상 생성부는, 상기 제2 센서의 센싱 결과로부터 상기 촬영자의 시점의 3차원 위치 정보를 산출할 때, 상기 촬영자의 눈의 뜨고/감음 상태에 따라서 상기 시점의 3차원 위치 정보를 산출하는
표시 장치.
(7)
상기 (6)에 기재된 표시 장치이며,
상기 화상 생성부는, 상기 촬영자가 한쪽 눈을 감고 있는 경우에는 뜨고 있는 다른 쪽 눈을 시점으로 하고, 상기 촬영자가 양 눈을 뜨고 있는 경우에는 양 눈을 연결한 선분의 중심을 시점으로 하여 상기 3차원 위치 정보를 산출하는
표시 장치.
(8)
상기 (2) 내지 (7) 중 어느 하나에 기재된 표시 장치이며,
상기 화상 생성부는, 상기 촬영자의 좌우 눈 각각의 위치를 시점으로 하여 생성된 우안용 화상과 좌안용 화상을 사용하여 상기 표시 화상을 생성하는
표시 장치.
(9)
상기 (2) 내지 (8) 중 어느 하나에 기재된 표시 장치이며,
상기 화상 생성부는, 중첩용 화상을 중첩한 상기 표시 화상을 생성하는
표시 장치.
(10)
상기 (9)에 기재된 표시 장치이며,
상기 화상 생성부는, 상기 촬영자의 시점과 상기 표시부의 거리에 따라서 표시 내용을 변화시킨 중첩용 화상을 중첩한 상기 표시 화상을 생성하는
표시 장치.
(11)
상기 (9)에 기재된 표시 장치이며,
상기 화상 생성부는, 상기 촬영자의 시선에 따라서 표시 내용을 변화시킨 중첩용 화상을 중첩한 상기 표시 화상을 생성하는
표시 장치.
(12)
상기 (1) 내지 (11) 중 어느 하나에 기재된 표시 장치이며,
상기 제2 센서로 취득되는 센싱 결과에는, 거리 정보 및 상기 촬영자의 눈의 2차원 위치 정보가 포함되는
표시 장치.
(13)
상기 (12)에 기재된 표시 장치이며,
상기 제2 센서는 ToF(Time of Flight) 센서인
표시 장치.
(14)
장치 본체의 제1 면측에 배치된 제1 화상 센서와, 상기 제1 면측에 배치된 제1 거리 센서와, 상기 제1 면과 반대측의 제2 면측에 배치된 제2 센서와, 상기 제2 면측에 배치된 표시부를 구비하는 표시 장치의, 상기 제1 화상 센서로부터 피사체의 2차원 화상을 취득하고,
상기 제1 거리 센서로부터 상기 피사체의 거리 화상을 취득하고,
상기 제2 센서의 센싱 결과를 취득하고,
상기 센싱 결과에 기초하여 촬영자의 시점의 3차원 위치 정보를 산출하고,
상기 3차원 위치 정보에 기초하여, 상기 2차원 화상과 상기 거리 화상을 사용하여, 상기 표시부에 표시할 표시 화상을 생성하는
화상 생성 방법.
(15) 장치 본체의 제1 면측에 배치된 제1 화상 센서와, 상기 제1 면측에 배치된 제1 거리 센서와, 상기 제1 면과 반대측의 제2 면측에 배치된 제2 센서와, 상기 제2 면측에 배치된 표시부를 구비하는 표시 장치의 상기 제1 화상 센서로부터 피사체의 2차원 화상을 취득하는 스텝과,
상기 제1 거리 센서로부터 상기 피사체의 거리 화상을 취득하는 스텝과,
상기 제2 센서의 센싱 결과를 취득하는 스텝과,
상기 센싱 결과에 기초하여 촬영자의 시점의 3차원 위치 정보를 산출하는 스텝과,
상기 3차원 위치 정보에 기초하여, 상기 2차원 화상과 상기 거리 화상을 사용하여, 상기 표시부에 표시할 표시 화상을 생성하는 스텝
을 표시 장치에 실행시키는 프로그램.
1: 표시 장치
2: 제1 면
3: 리어 카메라(제1 화상 센서, 제1 거리 센서)
4: 표시부
5: 제2 면
6: 프론트 카메라(제2 센서)
7: 화상 생성부
E: 시점
P: 촬영자
9L: 좌안
9R: 우안
11: 대상물(피사체)
51, 53, 54 내지 58: 표시 화상
81: 오클루전 영역
85: 가상 물체(중첩용 화상)
86, 87: 문자 화상(중첩용 화상)

Claims (15)

  1. 장치 본체의 제1 면측에 배치된 제1 화상 센서와,
    상기 제1 면측에 배치된 제1 거리 센서와,
    상기 제1 면과 반대측의 제2 면측에 배치된 제2 센서와,
    상기 제2 면측에 배치된 표시부와,
    상기 제2 센서로 취득된 센싱 결과에 기초하여 산출된 촬영자의 시점의 3차원 위치 정보에 기초하여, 상기 제1 화상 센서에 의해 취득된 피사체의 2차원 화상과 상기 제1 거리 센서에 의해 취득된 상기 피사체의 거리 화상을 사용하여, 상기 표시부에 표시할 표시 화상을 생성하는 화상 생성부
    를 구비하는 표시 장치.
  2. 제1항에 있어서,
    상기 화상 생성부는, 상기 2차원 화상 및 상기 거리 화상에 의해 얻어지는 상기 피사체의 포인트 클라우드를 좌표 변환하여, 상기 촬영자의 시점에서 본 상기 표시 화상을 생성하는
    표시 장치.
  3. 제2항에 있어서,
    상기 화상 생성부는, 상기 촬영자의 시점의 3차원 위치를 원점으로 하여, 상기 시점으로부터 상기 피사체의 포인트 클라우드의 각 점까지의 직선과 상기 표시부의 평면의 교점 좌표를 산출하고, 상기 피사체의 포인트 클라우드의 각 점이 대응하는 상기 교점 좌표에 맵핑되도록 상기 포인트 클라우드를 좌표 변환하여 상기 표시 화상을 생성하는
    표시 장치.
  4. 제2항에 있어서,
    상기 화상 생성부는, 좌표 변환하여 생성된 상기 촬영자의 시점에서 본 화상에 있어서의 오클루전 영역을 보완하여, 상기 표시 화상을 생성하는
    표시 장치.
  5. 제2항에 있어서,
    상기 표시 장치의 위치 자세 정보를 취득하는 제3 센서를 더 구비하고,
    상기 화상 생성부는, 상기 위치 자세 정보를 이용하여 상기 표시 화상을 생성하는
    표시 장치.
  6. 제2항에 있어서,
    상기 화상 생성부는, 상기 제2 센서의 센싱 결과로부터 상기 촬영자의 시점의 3차원 위치 정보를 산출할 때, 상기 촬영자의 눈의 뜨고/감음 상태에 따라서 상기 시점의 3차원 위치 정보를 산출하는
    표시 장치.
  7. 제6항에 있어서,
    상기 화상 생성부는, 상기 촬영자가 한쪽 눈을 감고 있는 경우에는 뜨고 있는 다른 쪽 눈을 시점으로 하고, 상기 촬영자가 양 눈을 뜨고 있는 경우에는 양 눈을 연결한 선분의 중심을 시점으로 하여 상기 3차원 위치 정보를 산출하는
    표시 장치.
  8. 제2항에 있어서,
    상기 화상 생성부는, 상기 촬영자가 좌우 눈 각각의 위치를 시점으로 하여 생성된 우안용 화상과 좌안용 화상을 사용하여 상기 표시 화상을 생성하는
    표시 장치.
  9. 제2항에 있어서,
    상기 화상 생성부는, 중첩용 화상을 중첩한 상기 표시 화상을 생성하는
    표시 장치.
  10. 제9항에 있어서,
    상기 화상 생성부는, 상기 촬영자의 시점과 상기 표시부의 거리에 따라서 표시 내용을 변화시킨 중첩용 화상을 중첩한 상기 표시 화상을 생성하는
    표시 장치.
  11. 제9항에 있어서,
    상기 화상 생성부는, 상기 촬영자의 시선에 따라서 표시 내용을 변화시킨 중첩용 화상을 중첩한 상기 표시 화상을 생성하는
    표시 장치.
  12. 제1항에 있어서,
    상기 제2 센서로 취득되는 센싱 결과에는, 거리 정보 및 상기 촬영자의 눈의 2차원 위치 정보가 포함되는
    표시 장치.
  13. 제12항에 있어서,
    상기 제2 센서는 ToF(Time of Flight) 센서인
    표시 장치.
  14. 장치 본체의 제1 면측에 배치된 제1 화상 센서와, 상기 제1 면측에 배치된 제1 거리 센서와, 상기 제1 면과 반대측의 제2 면측에 배치된 제2 센서와, 상기 제2 면측에 배치된 표시부를 구비하는 표시 장치의, 상기 제1 화상 센서로부터 피사체의 2차원 화상을 취득하고,
    상기 제1 거리 센서로부터 상기 피사체의 거리 화상을 취득하고,
    상기 제2 센서의 센싱 결과를 취득하고,
    상기 센싱 결과에 기초하여 촬영자의 시점의 3차원 위치 정보를 산출하고,
    상기 3차원 위치 정보에 기초하여, 상기 2차원 화상과 상기 거리 화상을 사용하여, 상기 표시부에 표시할 표시 화상을 생성하는
    화상 생성 방법.
  15. 장치 본체의 제1 면측에 배치된 제1 화상 센서와, 상기 제1 면측에 배치된 제1 거리 센서와, 상기 제1 면과 반대측의 제2 면측에 배치된 제2 센서와, 상기 제2 면측에 배치된 표시부를 구비하는 표시 장치의 상기 제1 화상 센서로부터 피사체의 2차원 화상을 취득하는 스텝과,
    상기 제1 거리 센서로부터 상기 피사체의 거리 화상을 취득하는 스텝과,
    상기 제2 센서의 센싱 결과를 취득하는 스텝과,
    상기 센싱 결과에 기초하여 촬영자의 시점의 3차원 위치 정보를 산출하는 스텝과,
    상기 3차원 위치 정보에 기초하여, 상기 2차원 화상과 상기 거리 화상을 사용하여, 상기 표시부에 표시할 표시 화상을 생성하는 스텝
    을 표시 장치에 실행시키는 프로그램.
KR1020227022433A 2020-01-16 2021-01-06 표시 장치, 화상 생성 방법 및 프로그램 KR20220127815A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020004841 2020-01-16
JPJP-P-2020-004841 2020-01-16
PCT/JP2021/000159 WO2021145244A1 (ja) 2020-01-16 2021-01-06 表示装置、画像生成方法及びプログラム

Publications (1)

Publication Number Publication Date
KR20220127815A true KR20220127815A (ko) 2022-09-20

Family

ID=76863999

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227022433A KR20220127815A (ko) 2020-01-16 2021-01-06 표시 장치, 화상 생성 방법 및 프로그램

Country Status (4)

Country Link
US (1) US20230028976A1 (ko)
JP (1) JPWO2021145244A1 (ko)
KR (1) KR20220127815A (ko)
WO (1) WO2021145244A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002300602A (ja) 2001-04-02 2002-10-11 Sony Corp 窓状撮像表示装置及びそれを使う双方向通信方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5093968B2 (ja) * 2003-10-15 2012-12-12 オリンパス株式会社 カメラ
JP2006267026A (ja) * 2005-03-25 2006-10-05 Canon Inc 画像処理方法、画像処理装置
JP2013015896A (ja) * 2011-06-30 2013-01-24 Nippon Seiki Co Ltd 部位検出装置及びプログラム
JP5805013B2 (ja) * 2012-06-13 2015-11-04 株式会社Ｎｔｔドコモ 撮像画像表示装置、撮像画像表示方法、プログラム
US9310895B2 (en) * 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
JP6397698B2 (ja) * 2014-08-28 2018-09-26 任天堂株式会社 情報処理端末、情報処理プログラム、情報処理端末システム、および情報処理方法
JP6702755B2 (ja) * 2015-04-08 2020-06-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム
JP6857980B2 (ja) * 2016-08-02 2021-04-14 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
JP6574461B2 (ja) * 2016-08-04 2019-09-11 株式会社フォーディーアイズ 点群データ変換システム及びその方法
JP2019080223A (ja) * 2017-10-26 2019-05-23 株式会社ソニー・インタラクティブエンタテインメント カメラシステム
JP7341652B2 (ja) * 2018-01-12 2023-09-11 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、およびシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002300602A (ja) 2001-04-02 2002-10-11 Sony Corp 窓状撮像表示装置及びそれを使う双方向通信方法

Also Published As

Publication number Publication date
WO2021145244A1 (ja) 2021-07-22
US20230028976A1 (en) 2023-01-26
JPWO2021145244A1 (ko) 2021-07-22

Similar Documents

Publication Publication Date Title
US11989842B2 (en) Head-mounted display with pass-through imaging
KR101822471B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
US10884576B2 (en) Mediated reality
US10560683B2 (en) System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects
CN108885342A (zh) 用于低延迟渲染的宽基线立体
US11843758B2 (en) Creation and user interactions with three-dimensional wallpaper on computing devices
US11699259B2 (en) Stylized image painting
US9495795B2 (en) Image recording device, three-dimensional image reproducing device, image recording method, and three-dimensional image reproducing method
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
KR20200138349A (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
US11589024B2 (en) Multi-dimensional rendering
CN112771856A (zh) 可分离失真视差确定
TW201341848A (zh) 智慧型電子裝置之虛擬望遠系統及其方法
US20230412779A1 (en) Artistic effects for images and videos
KR20220127815A (ko) 표시 장치, 화상 생성 방법 및 프로그램
WO2016185634A1 (ja) 情報処理装置
CN111193919B (zh) 一种3d显示方法、装置、设备及计算机可读介质
JP2011205385A (ja) 立体映像制御装置および立体映像制御方法
CN102012620B (zh) 电子化妆品盒
WO2023181634A1 (ja) 情報処理装置、情報処理方法及び記録媒体
WO2018187743A1 (en) Producing three-dimensional images using a virtual 3d model
JPWO2018074420A1 (ja) 情報処理装置
KR20240057994A (ko) 입체 디스플레이 콘텐츠를 생성하기 위한 방법 및 장치
Christodoulou Overview: 3D stereo vision camera-sensors-systems, advancements, and technologies