KR102502404B1 - 정보 처리 장치 및 방법, 그리고 프로그램 - Google Patents

정보 처리 장치 및 방법, 그리고 프로그램 Download PDF

Info

Publication number
KR102502404B1
KR102502404B1 KR1020197006801A KR20197006801A KR102502404B1 KR 102502404 B1 KR102502404 B1 KR 102502404B1 KR 1020197006801 A KR1020197006801 A KR 1020197006801A KR 20197006801 A KR20197006801 A KR 20197006801A KR 102502404 B1 KR102502404 B1 KR 102502404B1
Authority
KR
South Korea
Prior art keywords
image
information processing
processing device
unit
missing
Prior art date
Application number
KR1020197006801A
Other languages
English (en)
Other versions
KR20190046845A (ko
Inventor
슌이치 가사하라
šœ이치 가사하라
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20190046845A publication Critical patent/KR20190046845A/ko
Application granted granted Critical
Publication of KR102502404B1 publication Critical patent/KR102502404B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 개시는, 화상의 결손을 파악할 수 있도록 하는 정보 처리 장치 및 방법, 그리고 프로그램에 관한 것이다. 결손 판별부는, 복수의 카메라에 의해 촬상된 화상에, 결손 부분이 있는지의 여부를 판별하고, 판별 결과(결손의 유무)를, 표시 제어부에 공급한다. 표시 제어부는, 판별 결과(결손의 유무)에 따른 통지를 제어한다. 본 개시는, 예를 들어 웨어러블 단말기에서 촬상된 화상으로부터의 주위 화상을, 다른 웨어러블 단말기에 표시시키는 시스템에 적용할 수 있다.

Description

정보 처리 장치 및 방법, 그리고 프로그램
본 개시는, 정보 처리 장치 및 방법, 그리고 프로그램에 관한 것으로, 특히, 화상의 결손을 파악할 수 있도록 한 정보 처리 장치 및 방법, 그리고 프로그램에 관한 것이다.
근년, 인간의 체험을 그대로 다른 사람에게 전송하기 위해서, 헤드부 탑재형의 복수 카메라 등의 웨어러블 기기에 의한 일인칭 시점의 화상이, 각종 콘텐츠의 제작 등에서 이용되고 있다(특허문헌 1 참조). 또한, 복수 카메라로 전천주 영상을 생성하는 시스템이 제안되어 있다(특허문헌 2 참조).
국제 공개2015/122108호 일본 특허 공개 제2006-309802호 공보
이상과 같이, 복수 카메라를 이용해서 화상이 생성되는 경우, 카메라의 상대 위치 관계의 변화 등으로 각 카메라 영상의 촬영 커버 범위가 변화하여, 촬영하지 못하는 장소가 발생할 가능성이 있다.
본 개시는, 이러한 상황을 감안하여 이루어진 것이며, 복수의 촬상 장치의 촬상에 의해 생성되는 화상에 관한 처리에 관한 것이다.
본 개시의 일측면의 정보 처리 장치는, 복수의 촬상 장치의 촬상에 의해 생성되는 화상의 결손 유무를 판별하는 결손 판별부와, 상기 결손 판별부에 의한 상기 결손 유무의 판별 결과에 따른 통지를 제어하는 통지 제어부를 구비한다.
본 개시의 일측면의 정보 처리 방법은, 정보 처리 장치가, 복수의 촬상 장치의 촬상에 의해 생성되는 화상의 결손 유무를 판별하고, 상기 결손 유무의 판별 결과에 따른 통지를 제어한다.
본 개시의 일측면의 프로그램은, 복수의 촬상 장치의 촬상에 의해 생성되는 화상의 결손 유무를 판별하는 결손 판별부와, 상기 결손 판별부에 의한 상기 결손 유무의 판별 결과에 따른 통지를 제어하는 통지 제어부로서, 컴퓨터를 기능시킨다.
본 개시의 일측면에 있어서는, 복수의 촬상 장치의 촬상에 의해 생성되는 화상의 결손 유무가 판별된다. 그리고, 상기 결손 유무의 판별 결과에 따른 통지가 제어된다.
본 개시에 의하면, 화상의 결손을 파악할 수 있다.
또한, 본 명세서에 기재된 효과는, 어디까지나 예시이며, 본 기술의 효과는, 본 명세서에 기재된 효과에 한정되는 것은 아니고, 부가적인 효과가 있어도 된다.
도 1은, 본 개시의 실시 형태에 관한 시스템의 개략적인 구성을 도시하는 도면이다.
도 2는, 본 실시 형태에 관한 장치의 개략적인 구성을 도시하는 블록도이다.
도 3은, 본 실시 형태에 관한 웨어러블 단말기의 일례를 모식적으로 도시하는 도면이다.
도 4는, 본 실시 형태에 관한 정보 처리 장치의 구성예를 도시하는 블록도이다.
도 5는, 본 실시 형태에 관한 정보 처리 장치의 다른 구성예를 도시하는 블록도이다.
도 6은, 본 실시 형태에 관한 주위 촬상 화상의 일례를 설명하는 도면이다.
도 7은, 본 실시 형태에 관한 주위 촬상 화상의 다른 예를 설명하는 도면이다.
도 8은, 본 실시 형태에 관한 웨어러블 단말기의 구성예를 도시하는 블록도이다.
도 9는, 도 8의 웨어러블 단말기의 카메라 부착 헤드기어를 설명하는 도면이다.
도 10은, 도 9의 카메라에 의해 촬상되는 화상의 일례를 도시하는 도면이다.
도 11은, 도 10의 화상을 사용한 화상의 생성 방법을 설명하는 도면이다.
도 12는, 도 10의 화상으로부터 생성되는 화상의 일례를 도시하는 도면이다.
도 13은, 화상에 있어서의 결손의 일례를 도시하는 도면이다.
도 14는, 결손의 성질에 대해서 설명하는 도면이다.
도 15는, 결손의 성질에 대해서 설명하는 도면이다.
도 16은, 도 8의 웨어러블 단말기의 화상 처리에 대해서 설명하는 흐름도이다.
도 17은, 도 16의 스텝 S17의 결손 보완 처리에 대해서 설명하는 흐름도이다.
도 18은, 결손 보완 처리 전의 화상의 일례를 도시하는 도면이다.
도 19는, 결손 보완 처리 후의 화상의 일례를 도시하는 도면이다.
이하, 본 개시를 실시하기 위한 형태(이하 실시 형태로 함)에 대해서 설명한다.
<시스템 구성예>
도 1은, 본 개시의 실시 형태에 관한 시스템의 개략적인 구성을 도시하는 도면이다. 도 1에 나타내는 바와 같이, 본 실시 형태에 있어서의 시스템(10)은, 서버(11)와, 클라이언트 기기(12 내지 17)를 갖는다.
서버(11)는, 단일의 서버 장치, 또는, 유선 혹은 무선의 각종 네트워크로 접속되어서 협동하는 복수의 서버 장치에 의해 실현되는 기능의 집합체이며, 클라이언트 기기(12 내지 17)에 각종 서비스를 제공한다.
클라이언트 기기(12 내지 17)는, 서버(11)와 유선 또는 무선의 각종 네트워크로 접속된 단말 장치이다.
서버(11) 및 클라이언트 기기(12 내지 17)는, 단독으로, 또는, 서로 협동함으로써, 시스템(10) 중에서 이하의 (1) 내지 (7)의 적어도 어느 것의 기능을 실현한다.
(1) 카메라 등의 촬상 기구를 갖고, 촬상된 실공간의 화상을, 서버(11) 또는 다른 클라이언트 기기(12 내지 17)에 제공하는 장치.
(2) 카메라 등의 촬상 기구를 갖고, 촬상된 실공간의 화상에 대하여 각종 화상 처리를 실시하고, 화상 처리에 의해 얻어진 실공간에 관한 각종 화상을, 서버(11) 또는 다른 클라이언트 기기(12 내지 17)에 제공하는 장치.
(3) 카메라 등의 촬상 기구를 갖고, 촬상된 실공간의 화상에 대하여 각종 화상 처리를 실시하고, 유저에 의해 실시된 각종 화상에 관한 각종 조작에 따라서 유저가 원하는 화상을 생성하고, 생성한 각종 화상을, 서버(11) 또는 다른 클라이언트 기기(12 내지 17)에 제공하는 장치.
(4) 디스플레이 등의 표시 기구를 적어도 갖고, 바람직하게는 터치 패널 등의 조작 기구를 더 갖고, (1)의 장치에 의해 제공된 화상을 취득함과 함께, 유저에 의해 실시된 화상에 관한 각종 조작에 따라서 유저가 원하는 화상을 생성하고, 생성한 각종 화상을 유저의 열람에 제공하는 장치.
(5) 디스플레이 등의 표시 기구를 적어도 갖고, 바람직하게는 터치 패널 등의 조작 기구를 더 갖고, (2)의 장치에 의해 제공된 화상을 취득함과 함께, 유저에 의해 실시된 화상에 관한 각종 조작에 따라서 유저가 원하는 화상을 생성하고, 생성한 각종 화상을 유저의 열람에 제공하는 장치.
(6) 디스플레이 등의 표시 기구를 적어도 갖고, 바람직하게는 터치 패널 등의 조작 기구를 더 갖고, (3)의 장치에 의해 제공된 화상을 취득해서 유저의 열람에 제공하는 동시에, 유저에 의한 화상으로의 각종 조작을 접수하는 장치.
(7) 디스플레이 등의 표시 기구를 갖고, (4) 내지 (6)의 장치에 의해 접수된 각종 유저 조작에 기초하여 생성된 각종 화상을 표시시키는 장치.
클라이언트 기기(12)는, 웨어러블 단말기이다(이하, 간단히 웨어러블 단말기(12)라고도 함). 웨어러블 단말기(12)는, 예를 들어 촬상 기구 혹은 표시 기구의 적어도 어느 것을 갖고, 상기 (1) 내지 (7)의 적어도 어느 것의 장치로서 기능한다. 도시된 예에 있어서 웨어러블 단말기(12)는 안경형이지만, 유저의 신체에 장착 가능한 형상이라면, 이 예에 한정되지는 않는다. 상기 (1) 내지 (3)의 장치로서 기능하는 경우, 웨어러블 단말기(12)는, 촬상 기구로서, 예를 들어 안경의 프레임 부분 등에 설치된 카메라를 갖는다. 이 카메라에 의해, 웨어러블 단말기(12)는, 유저의 시점에 가까운 위치에서 실공간의 화상을 취득할 수 있다. 취득한 화상은, 서버(11) 또는 다른 클라이언트 기기(13 내지 17)에 송신된다. 또한, 상기 (4) 내지 (7)의 장치로서 기능하는 경우, 웨어러블 단말기(12)는, 표시 기구로서, 예를 들어 안경의 렌즈 부분의 일부 또는 전부에 설치된 디스플레이 등을 갖는다. 웨어러블 단말기(12)는, 상기의 카메라에 의해 촬상된 화상을 이 디스플레이에 표시시킨다.
클라이언트 기기(13)는, 태블릿 단말기이다(이하, 간단히 태블릿 단말기(13)라고도 함). 태블릿 단말기(13)는, 적어도 표시 기구를 갖고, 바람직하게는 조작 기구를 더 갖고, 예를 들어 상기 (4) 내지 (7)의 장치로서 기능할 수 있다. 태블릿 단말기(13)는, 상기의 표시 기구 및 조작 기구에 더하여 촬상 기구를 더 갖고, 상기의 (1) 내지 (3)의 적어도 어느 하나의 장치로서 기능해도 된다. 즉, 태블릿 단말기(13)는, 상기의 (1) 내지 (7)의 장치 중 임의의 장치로서 기능할 수 있다.
클라이언트 기기(14)는, 휴대 전화기(스마트폰)이다(이하, 간단히 휴대 전화기(14)라고도 함). 또한, 시스템(10)에 있어서의 휴대 전화기(14)의 기능은, 태블릿 단말기(13)와 동일하기 때문에, 상세한 설명은 생략한다. 또한, 도시하고 있지 않으나, 예를 들어 휴대형 게임기나 휴대형 음악 재생기나 디지털 카메라와 같은 장치도, 통신 기구와 표시 기구, 조작 기구 또는 촬상 기구를 갖고 있으면, 시스템(10)에 있어서 태블릿 단말기(13)나 휴대 전화기(14)와 동일하게 기능할 수 있다.
클라이언트 기기(15)는, 랩톱 PC(Personal Computer)이다(이하, 간단히 랩톱 PC(15)라고도 함). 랩톱 PC(15)는, 표시 기구 및 조작 기구를 갖고, 상기 (4) 내지 (7)의 장치로서 기능한다. 도시된 예에 있어서, 랩톱 PC(15)는, 기본적으로 고정해서 사용되기 때문에 상기 (1) 내지 (3)의 장치로서는 기능하지 않는 장치의 예로서 취급되고 있다. 도시하고 있지 않으나, 예를 들어 데스크톱 PC나 텔레비전 등도, 랩톱 PC(15)와 동일하게 기능할 수 있다. 랩톱 PC(15)는, 표시 기구로서 디스플레이를, 조작 기구로서 마우스나 키보드를 갖고, 상기 (1) 내지 (3)의 장치로부터 직접적으로 또는 각종 장치를 경유해서 제공되는 화상을 표시함과 함께, 당해 화상에 대한 유저의 각종 조작을 접수한다. 또한, 랩톱 PC(15)가 카메라 등의 촬상 기구를 더 갖고 있는 경우, 랩톱 PC(15)는, 상기 (1) 내지 (3)의 장치로서 기능하는 것도 가능하다.
클라이언트 기기(16)는, 고정 카메라이다(이하, 간단히 고정 카메라(16)라고도 함). 고정 카메라(16)는, 촬상 기구를 갖고, 상기 (1) 내지 (3)의 장치로서 기능한다. 도시된 예에 있어서, 고정 카메라(16)는, 고정해서 사용되고, 또한 표시 기구를 갖지 않기 때문에 상기 (4) 내지 (7)의 장치로서는 기능하지 않는 장치의 예로서 취급되고 있다. 도시하고 있지 않으나, 예를 들어 데스크톱 PC나 텔레비전에 화면 앞을 비추는 카메라가 마련되어 있는 경우나, 디지털 카메라와 같은 이동 가능한 장치가 삼각대 등에 일시적으로 고정되어 있는 경우도, 이들의 장치는 고정 카메라(16)와 동일하게 기능할 수 있다. 고정 카메라(16)는, 촬상 기구로서 카메라를 갖고, 고정된 시점(카메라가 자동적으로, 또는, 촬상 화상을 열람하는 유저의 조작에 따라서 스윙하는 것과 같은 경우도 포함함)으로부터 실공간의 화상을 취득할 수 있다.
클라이언트 기기(17)는, 프로젝터이다(이하, 간단히 프로젝터(17)라고도 함). 프로젝터(17)는, 표시 기구로서 투영 장치를 갖고, 상기 (7)의 장치로서 기능한다. 도시된 예에 있어서, 프로젝터(17)는, 촬상 기구를 갖지 않고, 또한 표시(투영)한 화상에 대한 입력을 접수하는 조작 기구도 갖지 않기 때문에, 상기 (1) 내지 (6)의 장치로서는 기능하지 않는 장치의 예로서 취급되고 있다. 프로젝터(17)는, 투영 장치를 사용해서 스크린이나 오브젝트의 표면에 화상을 투영함으로써, 실공간에 각종 화상을 표시시킨다. 또한, 프로젝터(17)는, 고정형의 것이 도시되어 있지만, 핸드 헬드형의 것이어도 된다.
서버(11)는 단독으로, 또는, 상기 클라이언트 기기(12 내지 17)와 협동함으로써, 상기 (1) 내지 (7)의 적어도 어느 것의 장치로서 기능한다. 즉, 서버(11)는, 실공간의 화상을 취득하거나, 얻어진 화상에 대하여 각종 화상 처리를 행하거나, 취득한 실공간의 화상, 또는, 화상 처리에 의해 얻어진 화상의 적어도 어느 것을 표시시키거나 하는 기능을 갖는다.
서버(11) 및 클라이언트 기기(12 내지 17)에 의해 실현되는 상기와 같은 기능에 의해, 예를 들어 인간 등의 각종 생물, 지표, 지중 혹은 수중 등을 자주(自走)하는 자주체, 또는, 공중을 비행하는 비행체 등의 이동체가 존재하는 실공간의 화상을 유저가 열람하고, 각종 이동체와 유저가, 공간을 공유하는 것이 가능하게 된다. 또한, 본 실시 형태에 관한 시스템에서는, 이하에서 상세하게 설명하는 처리가 행해짐으로써, 유저는, 이동체와는 독립하여, 이동체가 존재하는 실공간의 화상을 자유롭게 열람하는 것도 가능하게 된다.
이상, 본 실시 형태에 관한 시스템에 대해서 설명하였다. 도 1에 도시한 바와 같이, 본 실시 형태에 관한 시스템(10)은, 실공간의 화상을 취득 가능한 장치와, 실공간의 화상을 유저의 열람에 제공하는 동시에 유저에 의한 각종 조작을 접수하는 것이 가능한 장치와, 유저에 의한 각종 조작에 의해 생성된 화상을 표시시키는 장치를 포함할 수 있다.
또한, 상기와 같은 시스템(10)에서 실시되는 화상 처리를 포함하는 각종 정보 처리는, 서버(11)나 클라이언트 기기(12 내지 17)가, 단독으로, 또는, 서로 협동함으로써 실시된다. 서버(11)나 클라이언트 기기(12 내지 17)가, 단독으로, 또는, 서로 협동하는 결과, 시스템(10) 전체로서 보면, 이하에서 상세하게 설명하는 정보 처리 장치가 실현되는 것이 된다.
<장치 구성>
도 2는, 본 실시 형태에 관한 장치의 개략적인 구성을 도시하는 도면이다. 도 2에 도시한 바와 같이, 장치(20)는, 프로세서(21) 및 메모리(22)를 포함한다. 장치(20)는, 추가로, 표시부(23), 조작부(24), 통신부(25), 촬상부(26), 또는, 센서(27)의 적어도 어느 것을 포함할 수 있다. 이들 구성 요소는, 버스(28)에 의해 서로 접속된다. 장치(20)는, 예를 들어 상기의 서버(11)를 구성하는 서버 장치 및 클라이언트 기기(12 내지 17)를 실현할 수 있다.
프로세서(21)는, 예를 들어 CPU(Central Processing Unit) 또는 DSP(Digital Signal Processor)라고 하는 각종 프로세서이고, 예를 들어 메모리(22)에 저장된 프로그램에 따라 연산이나 제어 등의 동작을 실행함으로써, 각종 기능을 실현한다. 프로세서(21)는, 예를 들어 상기의 서버(11) 및 클라이언트 기기(12 내지 17)의 장치 전체의 제어 기능을 실현한다. 프로세서(21)는, 예를 들어 서버(11)나 클라이언트 기기(12 내지 17)에 있어서, 후술하는 바와 같은 각종 화상 처리나, 화상을 표시 화면에 표시시키기 위한 표시 제어를 실행한다.
메모리(22)는, 반도체 메모리 또는 하드 디스크 등의 기억 매체에 의해 구성되고, 장치(20)에 의한 처리를 위한 프로그램 및 데이터를 저장한다. 메모리(22)는, 예를 들어 촬상부(26)에 의해 취득된 촬상 화상 데이터나, 센서(27)에 의해 취득된 센서 데이터를 저장해도 된다. 또한, 본 명세서에서 설명하는 프로그램 및 데이터의 일부는, 메모리(22)에 저장되는 일 없이, 외부의 데이터 소스(예를 들어 데이터 서버, 네트워크 스토리지 또는 외장형 메모리 등)으로부터 취득되어도 된다.
표시부(23)는, 예를 들어 상술한 표시 기구를 갖는 클라이언트에 마련된다. 표시부(23)는, 예를 들어 장치(20)의 형상에 따른 디스플레이일 수 있다. 예를 들어, 상기의 예에서 말하면, 웨어러블 단말기(12)는, 표시부(23)로서, 예를 들어 안경의 렌즈 부분에 대응한 형상, 또는, 헤드 마운트 디스플레이의 표시 영역에 대응한 형상의 디스플레이를 가질 수 있다. 또한, 태블릿 단말기(13)나 휴대 전화기(14), 랩톱 PC(15)는 표시부(23)로서, 각각의 하우징에 마련되는 평판형의 디스플레이를 가질 수 있다. 혹은, 표시부(23)는, 오브젝트에 화상을 투영하는 투영 장치여도 된다. 상기의 예에서는, 프로젝터(17)가 표시부로서 투영 장치를 가질 수 있다.
조작부(24)는, 예를 들어 상술한 조작 기구를 갖는 클라이언트에 마련된다. 조작부(24)는, 예를 들어 디스플레이 상에 마련된 터치 센서(디스플레이와 아울러 터치 패널을 구성함)나 터치 패드, 마우스 등의 포인팅 디바이스에, 필요에 따라 키보드, 버튼, 스위치 등을 조합해서 구성된다. 조작부(24)는, 예를 들어 포인팅 디바이스에 의해 표시부(23)에 표시된 화상 중의 위치를 특정하고, 그 위치에 대하여 키보드나 버튼, 스위치 등에 의해 어떠한 정보를 입력하는 유저의 조작을 접수한다. 혹은, 조작부(24)는, 포인팅 디바이스에 의해 표시부(23)에 표시된 화상 중의 위치를 특정하고, 추가로 포인팅 디바이스에 의해 그 위치에 대하여 어떠한 정보를 입력하는 유저의 조작을 접수해도 된다.
통신부(25)는, 장치(20)에 의한 다른 장치 사이의 통신을 중개하는 통신 인터페이스이다. 통신부(25)는, 임의의 무선 통신 프로토콜 또는 유선 통신 프로토콜을 서포트하고, 다른 장치 사이의 통신 접속을 확립한다.
촬상부(26)는, 화상을 촬상하는 카메라 모듈이다. 촬상부(26)는, CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상 소자를 사용해서 실공간을 촬상하고, 촬상 화상을 생성한다. 촬상부(26)에 의해 생성되는 일련의 촬상 화상은, 영상을 구성한다. 또한, 촬상부(26)는, 반드시 장치(20)의 일부는 아니어도 된다. 예를 들어, 장치(20)와 유선 또는 무선으로 접속되는 촬상 장치가 촬상부(26)로서 다루어져도 된다. 또한, 촬상부(26)는, 촬상부(26)와 피사체 사이의 거리를 화소마다 측정하는 심도(depth) 센서를 포함하고 있어도 된다. 심도 센서로부터 출력되는 심도 데이터는, 후술하는 바와 같이 실공간을 촬상한 화상에 있어서의 환경의 인식을 위해서 이용될 수 있다.
센서(27)는, 측위 센서, 가속도 센서 및 자이로 센서 등의 다양한 센서를 포함할 수 있다. 센서(27)에 있어서 얻어지는 측정 결과는, 실공간을 촬상한 화상에 있어서의 환경의 인식 지원, 지리적인 위치에 특화한 데이터의 취득, 또는, 유저 입력의 검출 등의 다양한 용도로 이용되어도 된다. 또한, 센서(27)는, 촬상부(26)를 갖는 장치(상기의 예에서는 웨어러블 단말기(12)나 태블릿 단말기(13), 휴대 전화기(14), 또는, 고정 카메라(16) 등)에 마련될 수 있다.
<정보 처리 장치의 구성에 대해서>
이어서, 상기와 같은 서버(11)나 클라이언트 기기(12 내지 17)가 단독으로 또는 서로 협동함으로써 시스템(10) 전체로서 실현되는, 본 실시 형태에 관한 정보 처리 장치의 구성에 대해서, 주로 그 기능의 면을 상세하게 설명한다.
여기서, 본 실시 형태에 관한 정보 처리 장치(50)에서 취급되는 촬상 화상의 종별은 특별히 한정되는 것은 아니고, 정지 화상이어도 되고, 동화상이어도 된다.
또한, 본 실시 형태에 관한 정보 처리 장치(50)에서 취급되는 촬상 화상은, 실공간의 가능한 한 광범위를 촬상한 것인 것이 바람직하다. 따라서, 실공간의 촬상에 사용되는 촬상 장치는, 가능한 한 광각의 렌즈가 장착된 카메라인 것이 바람직하고, 예를 들어 도 3에 모식적으로 도시되는 전주위 카메라여도 된다.
도 3은, 실공간을 촬상하기 위한 전주위 카메라가, 웨어러블 단말기(12)로서 실현되는 경우의 구성을, 모식적으로 도시한 것이다. 도 3에 도시한 웨어러블 단말기(12)에서는, 가능한 한 광각의 렌즈가 장착된 카메라인 촬상부(26)가, 이동체(30)의 일례인 인간의 헤드부 주위를 덮도록, 환형으로 마련되어 있다. 또한, 촬상부(26)를 인간의 헤드부 주위에 설치하는 것만으로는, 천정 방향의 화상을 얻는 것이 곤란해지기 때문에, 도 3에서는, 헤드 꼭대기부에도 촬상부(26)가 마련되어 있다. 또한, 웨어러블 단말기(12)에는, 측위 센서, 가속도 센서 및 자이로 센서 등이라고 하는 각종 센서(27)가 마련된다. 이러한 센서(27)로부터 출력되는, 촬상 장치의 시선(환언하면, 촬상 장치의 자세)에 관한 정보는, 후술하는 정보 처리 장치에 대하여 출력되고, 이러한 정보 처리 장치에 있어서, 촬상 장치의 자세에 관한 정보인 촬상 장치 자세 정보로서 사용된다.
또한, 도 3에 도시한 예에서는, 전주위 촬상 화상을 얻기 위해서 촬상부(26)를 환형으로 배치하는 경우를 나타내고 있다. 이에 대해, 정보 처리 장치(50)에서 취급하는 화상이 전주위 촬상 화상이 아니어도 되는 경우에는, 촬상부(26)를 환형으로 배치하지 않아도 되고, 인간의 헤드부의 적어도 일부에 촬상부(26)가 마련되어 있으면 된다. 도 3에 도시한 바와 같은 웨어러블 단말기(12)를 실현하는 것에 있어서 사용되는 촬상부(26)의 대수에 대해서는 한정되는 것은 아니고, 어느 정도 광범위한 화상을 취득하고자 하는가에 따라, 대수를 적절히 설정하면 된다.
또한, 도 3에서는, 이동체(30)가 인간인 경우에 대해서 도시하고 있지만, 이동체(30)는 인간에게 한정되는 것은 아니고, 웨어러블 단말기(12)가 장착된 인간 이외의 동물이어도 되고, 카메라가 장착된 로봇 등의 자주체나 비행체여도 된다.
도 3에 예시한 바와 같은 촬상 장치에 의해 촬상된 촬상 화상에 대하여 각종 정보 처리를 행하는 정보 처리 장치(50)는, 공간 내를 이동하는 이동체에 장착된 촬상 장치의 촬상에 의해 생성되는 화상 정보와, 당해 촬상 장치의 자세에 관한 정보인 촬상 장치 자세 정보와, 유저가 조작하는 유저 조작 기기로부터 얻어지는, 유저가 시인하고자 하는 영역을 특정하는 유저 시인 정보에 기초해서 생성되는 표시 화상을, 유저가 시인하는 표시 영역에 표시시키는 제어를 행하는 장치이다. 또한, 촬상 장치 자세 정보란, 예를 들어 촬상 장치의 회전에 관한 정보이고, 유저 시인 정보란, 예를 들어 촬상 장치가 촬상한 전주위 촬상 화상에 있어서, 유저가 시인하고자 하는 표시 화각을 특정하는 정보여도 된다.
이 정보 처리 장치(50)는, 예를 들어 도 4에 도시한 바와 같이, 제어부의 일례인 표시 제어부(51)를 적어도 구비한다. 또한, 정보 처리 장치(50)는, 도 5에 도시한 바와 같이, 표시 제어부(51)에 더하여, 화상 생성부(61)와, 화상 선택부(62)와, 화상 보정부(63)와, 이동체 시선 정보 생성부(64)와, 데이터 취득부(65)와, 데이터 제공부(66)와, 기억부(67)의 적어도 어느 것을 더 구비해도 된다. 여기서, 도 4 및 도 5에 도시한 각 처리부는, 서버(11) 또는 클라이언트 기기(12 내지 17) 중 어느 하나의 기기에 실현되어 있어도 되고, 복수의 기기에 분산되어서 실현되어 있어도 된다.
또한, 이하의 설명에서는, 정보 처리 장치(50)가, 상기 촬상 장치에 의해 촬상된 촬상 화상과, 상기 촬상 장치 자세 정보와, 상기 유저 시인 정보에 기초해서 생성되는 표시 화상의 표시 제어를 행하는 경우에 대해서 설명한다. 그러나, 정보 처리 장치(50)는, 예를 들어 촬상 장치나 촬상 장치 및 정보 처리 장치와는 상이한 다른 기기에 의해, 상기 촬상 화상과 상기 촬상 장치 자세 정보에 기초하여 생성된 생성 화상(예를 들어, 촬상 화상에 대하여 촬상 장치의 자세에 관한 보정이 미리 실시된 보정 화상)과, 상기 유저 시인 정보에 기초하여, 이하와 동일하게 하여 표시 제어를 행해도 되는 것은, 말할 필요도 없다.
화상 생성부(61)는, 공간 내를 이동하는 이동체에 장착된 촬상 장치에 의해 촬상되는 촬상 화상을 이용하여, 이동체(30)가 존재하는 위치의 주위가 촬상된 주위 촬상 화상을 생성한다. 화상 생성부(61)에 의한 주위 촬상 화상의 생성 처리는, 예를 들어 도 3에 도시한 바와 같은 촬상 장치로부터 촬상 화상이 출력되면, 실시간으로 수시 실시된다.
여기서, 주위 촬상 화상의 생성에 사용되는 촬상 화상이 도 3에 예시한 바와 같은 전방위 카메라에 의해 촬상된 것인 경우, 화상 생성부(61)가 촬상 화상을 통합함으로써 생성하는 주위 촬상 화상은, 도 6에 도시된 바와 같은 전주위 촬상 화상(전천구 화상)(81)이 된다. 또한, 복수의 카메라에 의해 촬상된 복수의 촬상 화상으로부터 주위 촬상 화상을 생성하는 방법에 대해서는 특별히 한정되는 것은 아니고, 공지의 방법을 적용하면 된다. 또한, 전주위 촬상 화상에는, 화상의 천지(상하)가 없고, 360도의 주위 촬상 화상인 원기둥형의 화상인 전천주 화상도 포함되어도 된다.
화상 생성부(61)는, 주위 촬상 화상으로서, 도 6에 도시된 바와 같은 전주위 촬상 화상(전천구 화상)(81)이 아닌, 도 7에 도시된 바와 같은, 전천구 화상과 등가인 직사각형 화상(91)을 생성해도 된다. 전천구 화상(81)과 등가인 직사각형 화상(91)은, 예를 들어 등장방형 도법 등의 공지된 방법에 의해, 전천구 화상(81)을 변환함으로써 생성할 수 있다. 주위 촬상 화상으로서, 도 6에 도시된 바와 같은 전천구 화상(81)이 아닌, 도 7에 도시된 바와 같은 직사각형 화상(91)을 사용함으로써 보다 간편하게 각종 화상 처리를 실시하는 것이 가능하게 된다.
화상 선택부(62)는, 화상 생성부(61)에 의해 생성된 주위 촬상 화상과, 유저가 조작하는 유저 조작 기기로부터 얻어진, 유저가 시인하고자 하는 공간을 나타내는 유저 시인 정보에 기초하여, 주위 촬상 화상 중 유저 시인 정보에 대응하는 촬상 화상을, 유저 시인용 화상으로서 선택한다. 화상 선택부(62)에 의해 선택된 유저 시인용 화상은, 유저가 조작하는 유저 조작 기기에 제공되어, 유저의 열람에 제공된다. 유저 조작 기기는, 예를 들어 도 6 및 도 7에 나타낸 예에서는, 이동체(30)와는 다른 유저(82)가 장착한, 헤드 마운트 디스플레이 등의 웨어러블 단말기(12)이다. 이에 의해, 유저 조작 기기를 조작하고 있는 유저는, 어떤 공간 내를 이동하는 이동체(30)와 공간을 공유할 수 있음과 함께, 공간 내에서 유저가 시인을 희망하는 위치를, 이동체(30)와는 독립하여 선택하는 것이 가능하게 된다. 그 결과, 이동체(30)가 존재하고 있는 공간에 있어서, 유저는, 이동체(30)가 시인하고 있는 위치와는 다른 위치의 화상을, 자유롭게 선택하는 것이 가능하게 된다.
이러한 주위 촬상 화상의 생성 처리 및 주위 촬상 화상으로부터의 화상 선택 처리는, 화상 간의 특징점을 대조시키는 등의 연산 비용이 높은 처리를 다용하는 공간 재합성 기술에 비하여, 보다 적은 연산 비용으로 처리를 실행할 수 있다. 따라서, 이러한 처리를 실시 가능한 정보 처리 장치(50)는, 장치의 소형 경량화를 실현하는 것이 가능하게 된다.
여기서, 유저 조작 기기에 의해 설정되는 유저 시인 정보는, 유저가 유저 조작 기기에 마련되어 있는 터치 패드, 키보드, 마우스 등의 각종 입력 기구를 조작함으로써 생성되고, 화상 선택부(62)에 전송된다. 유저 시인 정보는, 유저 조작 기기가 도 6 및 도 7에 도시된 바와 같은 웨어러블 단말기(12)인 경우, 웨어러블 단말기(12)에 마련된 측위 센서, 가속도 센서 및 자이로 센서 등의 다양한 센서에 의해, 유저의 거동(예를 들어, 유저의 시선 방향)을 자동적으로 검출함으로써, 생성되어도 된다. 또한, 이러한 유저 시인 정보는, 유저 조작 기기로의 유저에 의한 음성 입력이나 제스처 입력 등에 의해 생성되어도 된다.
이와 같이, 본 실시 형태에 관한 정보 처리 장치(50)는, 상기 화상 생성부(61) 및 화상 선택부(62)를 구비함으로써, 이동체(30)(보다 상세하게는, 촬상 장치)가 시인하고 있는 공간의 화상(소위 일인칭 시점 화상)이 실시간으로 유저(예를 들어, 도 6 및 도 7의 유저(82))에 대하여 제공된다. 여기서, 일인칭 시점 화상에서는, 이동체(30)가 자신이 존재하는 위치의 주변을 둘러보는 것에 기인하는, 심한 화면의 흔들림이 발생하는 경우가 있다. 이러한 화면의 심한 흔들림을 유저가 시인해버리면, 유저는, 흔들림이 심한 화상을 보는 것에 의한 「멀미」(모션 시크니스)를 느껴버리는 경우가 있다. 따라서, 본 실시 형태에 관한 정보 처리 장치(50)는, 촬상 장치에 있어서의 상기와 같은 회전 운동을 보정하는 보정 기능을 더 갖고 있다.
화상 보정부(63)는, 촬상 장치 자세 정보에 기초하여, 상기와 같은 촬상 장치의 회전 운동에 수반하는 화상의 변화를 보정하는 처리부이다. 이 화상 보정부(63)는, 촬상 장치의 위치가 변화하지 않고 당해 촬상 장치의 시선 방향이 변화한(즉, 촬상 장치에 회전 운동이 발생한) 경우에, 주위 촬상 화상에 대하여, 촬상 장치의 시선 방향의 변화에 수반하는 주위 촬상 화상의 변화를 억제하는 보정을 실시한다.
또한, 화상 보정부(63)는, 상기 보정을 행한 후의 안정화 화상(주위 촬상 화상)의 결손 유무를 판별한다. 화상 보정부(63)는, 그 판별 결과인 결손 유무, 결손의 위치, 범위, 형상, 수 등의 결손 정보를, 그대로 또는 메타데이터로서, 표시 제어부(51) 및 데이터 제공부(66)에 공급한다. 그리고, 화상 보정부(63)는, 이동체의 유저에 시사하기 위해서, 결손 정보를 표시시키거나, 네트워크를 통하여, 서버(11)나 다른 웨어러블 장치(12)에 제공하고, 그것들의 유저에 시사하기 위해서, 결손 정보를 표시시킨다. 또한, 화상 보정부(63)는, 각 유저의 어느 유저로부터의 요구에 따라, 결손 보완 처리를 행하고, 주위 촬상 화상의 보정을 행한다. 또한, 결손 보완 처리에 대해서는, 서버(11)나 다른 웨어러블 단말기(12)에서 행하여져도 된다.
이동체 시선 정보 생성부(64)는, 촬상 장치 자세 정보에 기초하여, 촬상 장치의 시선 방향(위치) 또는 시야를 나타내는 시선 정보를 생성한다. 이 시선 정보는, 예를 들어 이동체에 장착되어 있는 각종 센서로부터의 출력 정보(즉, 촬상 장치 자세 정보)를 사용하여, 공지의 방향에 의해 생성할 수 있다. 이러한 시선 정보를, 화상 생성부(61)에 의해 생성된 주위 촬상 화상과 아울러 유저에 제공함으로써, 유저 조작 기기에 제공되는 유저 시인용 화상에는, 촬상 장치의 시선 방향(위치)이나 시야를 나타내는 오브젝트를 표시시키는 것이 가능하게 된다. 그 결과, 유저는, 촬상 장치의 시선 방향(위치) 또는 시야와는 다른 임의의 방향의 주위 촬상 화상을 시인하면서, 촬상 장치의 시선 방향을 수시 파악하는 것이 가능하게 된다.
표시 제어부(51)는, 정보 처리 장치(50)나 정보 처리 장치(50)의 외부에 마련된 디스플레이 등의 표시 장치의 표시 내용을 제어한다. 구체적으로는, 표시 제어부(51)는, 공간 내를 이동하는 이동체에 장착된 촬상 장치의 촬상에 의해 생성되는 화상 정보와, 당해 촬상 장치의 자세에 관한 정보인 촬상 장치 자세 정보와, 유저가 조작하는 유저 조작 기기로부터 얻어지는, 유저가 시인하고자 하는 영역을 특정하는 유저 시인 정보에 기초해서 생성되는 표시 화상을, 유저가 시인하는 표시 영역에 표시시키는 제어를 행한다. 또한, 표시 제어부(51)는, 유저 조작 기기의 표시 화면의 표시 제어를 행함으로써, 예를 들어 유저 시인용 화상 중에, 촬상 장치의 시선 방향이나 시계를 나타낸 오브젝트를 표시시킬 수 있다. 이에 의해, 유저는, 이동체(30)와는 독립적으로 시선 방향을 선택하면서도, 이동체(30)의 시선 방향을 수시 파악하는 것이 가능하게 된다.
또한, 표시 제어부(51)는, 화상 보정부(63)에 의한 판별 결과에 따라, 결손 정보의 표시나 결손 보완을 행할지의 여부를 선택하기 위한 화면 표시 등을 제어한다. 그 때, 메타데이터에 의해, 각 영역이 소정의 영역보다 큰 경우에는 색을 바꾸어서 표시하거나, 결손 영역 모든 비율이, 소정의 비율보다 많은 경우에 색을 바꾸어서 표시하도록 해도 된다.
데이터 취득부(65)는, 이동체(30)에 장착된 촬상 기기로부터 출력되는 촬상 화상 데이터나, 촬상 장치의 시선 방향에 관한 센서 출력(즉, 촬상 장치 자세 정보) 등을 포함하는 시선 관련 데이터를 취득한다. 또한, 데이터 취득부(65)는, 유저 조작 기기로부터 출력되는 유저 조작에 관한 데이터를 취득한다. 데이터 취득부(65)에 의해 각종 기기로부터 취득된 각종 데이터는, 정보 처리 장치(50)가 갖는 각 처리부가 적절히 이용하는 것이 가능하다.
데이터 제공부(66)는, 정보 처리 장치(50)에서 생성된 각종 데이터(예를 들어, 주변 촬상 화상이나 유저 시인용 화상 등의 촬상 화상 데이터나, 촬상 장치의 시선 방향 등의 시선 관련 데이터)를, 정보 처리 장치(50)의 외부에 마련된 장치에 제공한다. 이에 의해, 정보 처리 장치(50)의 외부에 마련된 장치에 있어서도, 정보 처리 장치(50)에서 생성된 각종 정보를 이용하는 것이 가능하게 된다.
기억부(67)에는, 화상 생성부(61), 화상 선택부(62), 화상 보정부(63), 이동체 시선 정보 생성부(64), 표시 제어부(51), 데이터 취득부(65), 데이터 제공부(66)에 있어서의 처리에 이용되는 각종 데이터베이스가 적절히 기록된다. 또한, 기억부(67)에는, 이들 처리부가 실행하는 각종 연산 처리에 사용되는 어플리케이션을 포함하는 각종 프로그램이나, 어떠한 처리를 행할 때에 보존할 필요가 발생한 여러가지 파라미터나 처리의 도중 경과 등이, 적절히 기록되어도 된다.
이 기억부(67)는, 화상 생성부(61), 화상 선택부(62), 화상 보정부(63), 이동체 시선 정보 생성부(64), 표시 제어부(51), 데이터 취득부(65), 데이터 제공부(66) 등의 각 처리부가, 자유롭게 액세스하여, 데이터를 기입하거나 판독하거나 할 수 있다.
이상, 본 실시 형태에 관한 정보 처리 장치(50)의 기능 일례를 나타내었다. 상기의 각 구성 요소는, 범용적인 부재나 회로를 사용해서 구성되어 있어도 되고, 각 구성 요소의 기능에 특화한 하드웨어에 의해 구성되어 있어도 된다. 또한, 각 구성 요소의 기능을, CPU 등이 모두 행해도 된다. 따라서, 본 실시 형태를 실시하는 그때그때의 기술 레벨에 따라, 적절히, 이용하는 구성을 변경하는 것이 가능하다.
또한, 상술한 바와 같은 본 실시 형태에 관한 정보 처리 장치의 각 기능을 실현하기 위한 컴퓨터 프로그램을 제작하고, 퍼스널 컴퓨터 등에 실장하는 것이 가능하다. 또한, 이러한 컴퓨터 프로그램이 저장된, 컴퓨터로 판독 가능한 기록 매체도 제공할 수 있다. 기록 매체는, 예를 들어 자기 디스크, 광 디스크, 광자기 디스크, 플래시 메모리 등이다. 또한, 상기의 컴퓨터 프로그램은, 기록 매체를 사용하지 않고, 예를 들어 네트워크를 통해서 배신해도 된다.
또한, 도 5에 도시한 화상 생성부(61), 화상 선택부(62), 화상 보정부(63), 이동체 시선 정보 생성부(64), 데이터 취득부(65), 데이터 제공부(66), 기억부(67)는, 정보 처리 장치(50)와 서로 통신이 가능한 컴퓨터 등의 다른 장치에 실장되어 있고, 정보 처리 장치(50)와 다른 장치가 협동함으로써, 상기와 같은 기능이 실현되어도 된다.
이어서, 본 기술에 대해서 구체적으로 설명해 간다.
복수 카메라를 사용하여, 전천구 화상을 촬영하는 경우, 카메라의 상대 위치 관계의 변화 등으로, 각 카메라 화상의 촬영 커버 범위가 변화되고, 미촬영의 장소가 발생하는 경우가 있다. 특히, 후술하는 카메라 부착 헤드기어(101)와 같은, 신체에 장착 가능한 카메라(웨어러블 카메라)나, 적은 카메라 대수로 전천구를 촬영하는 경우에, 일어날 수 있다. 이 화상 결손 상태는, 전천구가 촬영된 영상으로서 불완전한 화상이 되기 때문에, 피할 필요가 있다.
그래서, 본 기술에 있어서는,
1. 촬영, 배신을 행하기 전에 결손이 있는 것이 통지된다.
또한, 그 통지는, 촬영하고 있는 유저, 서버(11)(의 관리자), 열람하고 있는 유저 등으로 이루어진다.
2. 어떤 이유에서, 1.의 통지를 행할 수 없었을 경우, 또한, 촬영 도중에 위치 관계가 변화하고, 결손이 발생한 경우, 또는, 상기 어느 유저의 요구에 따라, 화상 안정화나 과거의 영상 프레임의 합성으로부터 화상 결손의 보완이 행하여진다.
<구체적인 구성예>
도 8은, 실공간을 촬상하기 위한 전주위 화상 카메라가 2개의 어안 렌즈를 포함하는 웨어러블 단말기(12)에서 실현되는 경우의 구체적인 구성예를 도시하는 블록도이다.
도 8의 예에 있어서, 웨어러블 단말기(12)는, 카메라 부착 헤드기어(101) 및 정보 처리 장치(102)로 구성되어 있다.
카메라 부착 헤드기어(101)는, 이동체(30)의 일례인 인간의 헤드부에 장착되고, 좌우의 귀에 대응하는 위치의 외측에, 촬상부(26)로서의 카메라(121L 및 121R)를 갖고 있다. 카메라(121L 및 121R)에는, 각각, 광각(예를 들어, 250도)의 어안 렌즈가 마련되어 있다. 카메라(121L 및 121R)는, 정보 처리 장치(102)의 대응하는 화상 취득부(65a-1 내지 65a-5)의 각각에, HDMI 케이블을 통해서 접속되어 있고, 촬상한 화상을 각각 공급한다.
정보 처리 장치(102)는, 도 5의 정보 처리 장치(50)와 기본적으로 동일하게 구성되지만, 도 8의 예에 있어서는, 직접적으로 관계가 없는 것에 대해서는 그 도시는 생략되어 있다. 즉, 정보 처리 장치(102)는, 화상 생성부(61), 데이터 취득부(65)의 일부인 화상 취득부(65a-1 내지 65a-6) 및 조작 정보 취득부(65b), 화상 보정부(63), 데이터 제공부(66), 그리고 표시 제어부(51)를 포함하도록 구성되어 있다. 또한, 도 8의 예에 있어서는, 점선에 도시된 바와 같이, 카메라 부착 헤드기어(101)에 있어서 마련되어 있는 카메라(121L 및 121R)의 분만큼의 화상 취득부(65a-1 및 65a-2)가 사용되고 있고, 나머지는 사용되고 있지 않다. 즉, 화상 취득부(65a-1 내지 65a-6)는, 카메라의 수에 따라서 사용된다. 또한, 카메라의 수는 2개에도 6개에도 한정되지 않고, 전주위가 촬상 가능한 복수개이면 된다.
그리고, 예를 들어 도 9에 도시된 바와 같이, 카메라(121R)에 있어서는, 어안 렌즈가 종횡의 비가 9대 16인 가로로 길게 배치되어 있고, 카메라(121R)로부터는, 촬상에 의해, 종횡의 비가 9대 16인 가로로 긴 화상(131R)이 입력된다. 한편, 카메라(121L)에 있어서는, 어안 렌즈가 종횡의 비가 16대 9의 세로로 길게 배치되어 있고, 카메라(121L)로부터는, 촬상에 의해, 종횡의 비가 16대 9의 세로로 긴 화상(131L)이 입력된다. 즉, 화상(131R)의 긴 변 방향과 화상(131L)의 긴 변 방향은 교차하고 있다. 또한, 어안 렌즈의 설치의 종횡비는, 도 9의 예의 좌우 반대여도 되고, 예를 들어 카메라(121R)로부터 세로로 긴 화상(131L)이 입력되고, 카메라(121L)로부터 가로로 긴 화상(131R)이 입력되어도 된다.
화상 취득부(65a-1)는, 카메라(121R)로부터의 가로로 긴 화상(131R)을 취득하고, 취득된 화상(131R)의 데이터를 화상 생성부(61)에 공급한다. 화상 취득부(65a-2)는, 카메라(121L)로부터의 세로로 긴 화상(131L)을 취득하고, 취득된 화상(131L)의 데이터를 화상 생성부(61)에 공급한다. 조작 정보 취득부(65b)는, 표시 제어부(51) 등에 의해 제어된 표시에 대응하여, 터치 패널이나 조작부(24) 등의 유저, 서버(11)의 관리자(유저), 또는 이동체(30)와는 다른 웨어러블 단말기(12)의 유저(82)의 조작 등에 따라 입력되는 조작 정보를 취득한다. 조작 정보 취득부(65b)는, 취득한 조작 정보를, 화상 보정부(63)의 후술하는 결손 보완 처리부(114)에 공급한다.
화상 생성부(61)는, 가로로 긴 화상(131R)(도 10)과 세로로 긴 화상(131L)(도 10)을 사용해서, 예를 들어 도 11에 도시된 바와 같이, 야구나 테니스의 볼 재봉 방법(도 11의 직사각형 화상(141))과 같이 합성하여, 도 12에 나타낸 바와 같은 전천구 화상과 등가인 직사각형 화상(주위 촬상 화상)(151)을 생성한다. 즉, 가로로 긴 화상(131R)과 세로로 긴 화상(131L)이, 화상(131R)의 긴 변 방향의 양단부와, 화상(131L)의 긴 변 방향을 따라서 연장되는 화상(131L)의 양단부와 각각 접속되어 있다. 또한, 도 11 및 도 12의 예에 있어서는, 점선의 교차 부분은 직사각형 화상(141 및 151)을 표시하는 표시부의 중심이며, 실제로는, 직사각형 화상(141 및 151)의 재봉 부분은 그 표시부의 중심으로부터 어긋나 있다. 이것은, 표시부의 중심에 시선이 있는 경우가 많고, 표시부의 중심에 화상의 재봉 부분이 들어와 버릴 위화감이 있어, 그것을 피하기 위해서이다. 화상 생성부(61)는, 생성된 직사각형 화상을 화상 보정부(63) 및 데이터 제공부(66)에 공급한다.
화상 보정부(63)는, 회전 연산부(111), 안정화 화상 생성부(112), 결손 판별부(113), 결손 보완 처리부(114)를 포함하도록 구성된다. 화상 생성부(61)에 의해 생성된 직사각형 화상은, 회전 연산부(111)와 안정화 화상 생성부(112)에 공급된다.
회전 연산부(111)는, 카메라 부착 헤드기어(101)의 회전 운동에 수반하는 화상의 변화를 보정하는 연산을 행하고, 그 연산값을 안정화 화상 생성부(112)에 공급한다. 안정화 화상 생성부(112)는, 회전 연산부(111)로부터의 연산값을 사용하여, 회전을 억제하기 위한 안정화 처리를 행하고, 안정화 화상을 생성한다. 즉, 회전 연산부(111) 및 안정화 화상 생성부(112)는, 카메라 부착 헤드기어(101)에 회전 운동이 발생한 경우에, 주위 촬상 화상에 대하여, 카메라 부착 헤드기어(101)의 시선 방향의 변화에 수반하는 주위 촬상 화상의 변화를 억제하는 보정을 실시한다. 카메라 부착 헤드기어(101)에 회전 운동이 발생한 경우란, 카메라 부착 헤드기어(101)의 위치가 변화하지 않고, 카메라 부착 헤드기어(101)의 시선 방향이 변화한 것 등이다. 안정화 화상 생성부(112)는, 생성된 안정화 화상을, 결손 판별부(113) 및 데이터 제공부(66)에 공급한다.
결손 판별부(113)는, 안정화 화상 생성부(112)로부터의 안정화 화상(도 13의 화상(171))에, 안정화 처리가 행하여진 후에 발생하는 결손 부분(도 13의 결손 부분(181))이 있는지의 여부를 판별한다. 결손 판별부(113)는, 안정화 화상의 결손 유무의 판별 결과와 결손 부분이 있는 경우에는, 그 결손 부분의 위치를 나타내는 등의 결손에 관한 정보를, 결손 보완 처리부(114) 및 표시 제어부(51)에 공급한다. 또한, 도 13의 화상(171)에 있어서는, 도 11 및 도 12의 예와 상이하게, 예를 들어 원 영역으로 나타나는 한쪽의 화상(세로로 긴 화상(131R))의 중앙 영역이, 장착하는 유저의 시선 방향에 대응하고 있다. 화상의 합성 방법은, 도 11 및 도 12의 방법에 한하지 않고, 도 13과 같이 화상을 합성해도 된다.
결손 보완 처리부(114)는, 조작 정보 취득부(65b)로부터의, 표시 제어부(51) 등에 의해 제어된 표시에 대응하여, 터치 패널이나 조작부 등의 유저, 서버(11)의 관리자(유저), 또는 이동체(30)와는 다른 웨어러블 단말기(12)의 유저(82)의 조작 등에 따라 입력되는 조작 정보를 취득한다. 결손 보완 처리부(114)는, 취득한 조작 정보에 따라, 안정화 화상 생성부(112)로부터 결손이 있다고 판별된 안정화 화상에 대하여, 결손 보완 처리를 행한다. 결손 보완 처리부(114)는, 결손 보완된 화상을, 데이터 제공부(66)에 공급한다.
표시 제어부(51)는, 안정화 화상의 결손 유무의 판별 결과와, 결손 부분이 있는 경우에는, 그 결손 부분의 크기, 형상, 수, 위치를 나타내는 등의 결손에 관한 결손 정보의 표시를 제어한다. 또한, 표시 제어부(51)에 있어서는, 결손 보완을 행할지의 여부를 선택하기 위한 화면 표시 등도 제어된다.
데이터 제공부(66)는, 안정화 화상과, 필요에 따라 회전 연산부(111)로부터의 연산값을, 서버(11)에 송신하고, 본 정보 처리 시스템(10)의 유저에 제공한다. 또한, 안정화 화상과 함께, 결손 부분의 크기, 형상, 수, 위치를 나타내는 등의 결손에 관한 결손 정보를 메타데이터로서 보내거나, 혹은, 결손 부분을 하이라이트 표시시키거나, 또한, 하이라이트 표시시킨 결손 부분을, 중첩 데이터로서 보내도록 해도 된다.
<동작예>
이어서, 도 16의 흐름도를 참조하여, 웨어러블 단말기(12)의 화상 처리에 대해서 설명한다.
스텝 S11에 있어서, 화상 취득부(65a-1)는, 카메라(121R)로부터의 가로로 긴 화상(131R)을 취득하고, 취득된 화상(131R)의 데이터를 화상 생성부(61)에 공급한다. 화상 취득부(65a-2)는, 카메라(121L)로부터의 세로로 긴 화상(131L)을 취득하고, 취득된 화상(131L)의 데이터를 화상 생성부(61)에 공급한다.
스텝 S12에 있어서, 화상 생성부(61)는, 화상 취득부(65a-1 및 65a-2)로부터 취득된, 각각의 화상으로부터, 전천구 화상(과 등가인 직사각형 화상)을 생성한다. 화상 생성부(61)는, 생성된 전천구 화상을 화상 보정부(63) 및 데이터 제공부(66)에 공급한다.
스텝 S13에 있어서, 회전 연산부(111) 및 안정화 화상 생성부(112)는, 화상 생성부(61)에 의해 생성된 전천구 화상에 대하여, 안정화 처리를 행한다. 즉, 회전 연산부(111)는, 카메라 부착 헤드기어(101)의 회전 운동에 수반하는 화상의 변화를 보정하는 연산을 행하고, 그 연산값을 안정화 화상 생성부(112)에 공급한다. 안정화 화상 생성부(112)는, 회전 연산부(111)로부터의 연산값을 사용하여, 회전을 억제하기 위한 안정화 처리를 행하고, 안정화 화상을 생성한다. 안정화 화상 생성부(112)는, 생성된 안정화 화상을, 결손 판별부(113) 및 데이터 제공부(66)에 공급한다.
결손 판별부(113)는, 안정화 화상 생성부(112)로부터의 안정화 화상(도 13의 화상(171))에 결손이 있는지의 여부를 판정한다. 여기서, 결손의 검출에 대해서 구체적으로 설명한다. 또한, 카메라 부착 헤드기어(101)에 있어서는, 2개이지만, 예로서, N개의 카메라 화상을 스티칭(재봉 합성)하는 경우를 생각한다.
화상 생성부(61)는, 각 카메라 화상으로부터, N개의 파라미터(각각의 카메라의 공간적인 위치와 방향)를 추정하고, 각각의 카메라 화상으로부터, 전천구 상의 화상으로 변환, 합성을 행한다. 이때에, 카메라 파라미터의 추정은, 촬영 전에 한번 행한 카메라 파라미터를 이후 참조하여 합성을 행하는 방법과, 실시간으로 카메라 파라미터를 추정하는 방법을 들 수 있다.
결손 판별부(113)는, 그것들의 카메라 파라미터 계열 C(n)의 각각의 위치 관계가 결정되면, 그 카메라로부터 커버 가능한 범위를 규정할 수 있으므로, 그 카메라 파라미터 계열 C(1…N)로부터 결손의 유무를 판별한다.
혹은, 결손 판별부(113)는, 전천구 화상으로 합성, 변환한 후에, 그 전천구 화상에 있어서의 픽셀의 변화를 시간 방향으로 검사해 간다. 결손이 발생하는 경우, 카메라 화상으로부터의 픽셀 데이터가 제공되어 있지 않으므로, 전천구 화상 중의 픽셀은 초기 컬러 상태에서 변화하지 않는다. 결손 판별부(113)는, 그 부분을 결손 영역(결손 부분)으로서 검출한다.
상기의 어느 방법이 사용되어, 결손 영역이 검출된다.
스텝 S14에 있어서 결손이 있다고 판정된 경우, 처리는, 스텝 S15로 진행한다. 이때, 결손 판별부(113)는, 안정화 화상의 결손 유무의 판별 결과와, 그 결손 부분의 위치를 나타내는 등의 결손에 관한 정보를, 결손 보완 처리부(114) 및 표시 제어부(51)에 공급한다.
표시 제어부(51)는, 스텝 S15에 있어서, 결손에 관한 결손 정보의 표시를 제어하고, 결손 정보를 유저에 통지한다. 예를 들어, 도시되어 있지 않으나, 웨어러블 단말기(12)는, 손목 시계형의 표시부(23)와 조작부(24)를 갖고 있고, 이동체(30)인 유저의 팔에 장착되어 있다. 이때, 표시부(23)에는, 결손 정보와 함께, 결손 보완 처리의 시사 표시도 제어되고, 유저가 조작하는 조작부(24)로부터의 조작 정보를, 조작 정보 취득부(65b)를 통해 입력된다.
스텝 S16에 있어서, 결손 보완 처리부(114)는, 결손을 보완할지의 여부를 판정한다. 스텝 S16에 있어서, 결손을 보완할 것으로 판정된 경우, 처리는, 스텝 S17로 진행한다.
스텝 S17에 있어서, 결손 보완 처리부(114)는, 결손 보완 처리를 행한다. 여기서, 안정화 처리된 화상은, 다음과 같은 특징을 가진다.
도 14의 예에 있어서는, 결손 부분(181)을 갖는 안정화 화상(191)이 나타나 있고, 도 15의 예에 있어서는, 결손 부분(181)을 갖는 안정화 화상(201)이 나타나 있다. 도 14 및 도 15을 비교해 보면, 공간 물체는 이동하지 않고 있지만, 결손 부분(181)이 이동하고 있다.
즉, 안정화 처리된 화상은, 정지 상태에서 구성되는 환경에 대하여 고정된 화상이 된다. 즉, 카메라가 물리적인 자세에 따라서 변화해도 화상 자체는 변화하지 않는다. 한편, 화상 결손이 발생한 경우, 안정화되기 전의 화상에 있어서는, 결손 부분은 이동하지 않는다. 그러나, 안정화 처리가 행하여진 후에는, 그 결손 부분은 카메라의 물리적인 자세에 따라서 이동한다.
결손 보완 처리부(114)는, 이러한 성질을 이용해서 결손 보완 처리를 행한다. 구체적으로는, 내장한 메모리(도 5의 기억부(67))에, 전천구 화상의 포맷(예로서는 등장방형 도법) 화상의 과거 프레임 화상의 평균화 화상이 유지되고 있다. 결손 보완 처리부(114)는, 결손 보완 처리에 있어서, 대응하는 픽셀은 결손 영역인 경우에, 과거 프레임으로 유지해 둔 픽셀 정보를 참조하여 이용한다.
또한, 그 과거 프레임 이용에 의한 보완용의 프레임은, 단순한 평균 화상이나, 텍스처의 보완, 물체 화상의 보완, 화상 중의 옵티컬 플로우에 의해 생성되어도 된다.
또한, 결손 영역의 추정을 행한 경우, 그 영역 자체를 영역 계면으로서 합성해버리면, 이음매가 분명해져 버린다. 그래서, 결손 영역에 대하여, 예로서, 화상에 지체(지연) 처리를 실시한 뒤에, 그 영역 경계에 있어서 보완용 픽셀과 원래 픽셀을 α 블렌드함으로써 이음매를 매끄럽게 할 수 있다.
이상의 결손 보완 처리에 대해서는, 도 17을 참조하여 후술되지만, 스텝 S17의 처리에 의해, 결손 보완 후의 화상이 생성된다. 결손 보완 처리부(114)는, 결손 보완된 화상을, 데이터 제공부(66)에 공급한다. 이상에 의해, 화상 처리는 종료된다.
한편, 스텝 S14에 있어서, 결손이 없다고 판정된 경우, 판별 결과(결손없음)를, 결손 보완 처리부(114) 및 표시 제어부(51)에 공급하고, 화상 처리를 종료한다. 이 경우, 안정화 화상 생성부(112)로부터의 안정화 화상이 데이터 제공부(66)로부터 송신된다.
스텝 S16에 있어서, 결손을 보완하지 않을 것으로 판정된 경우, 화상 처리를 종료한다. 이 경우, 예를 들어 안정화 화상 생성부(112)로부터의 안정화 화상과 결손 정보가 데이터 제공부(66)로부터 송신된다.
이어서, 도 17의 흐름도를 참조하여, 결손 보완 처리에 대해서 설명한다. 결손 보완 처리부(114)는, 스텝 S31에 있어서, 결손 영역 추정을 행한다. 결손 영역 추정에 있어서는, 예를 들어 상술한 결손 검출과 동일한 방법이 사용된다.
결손 보완 처리부(114)는, 스텝 S32에 있어서, 추정한 결손 영역의 과거 화상 평균 처리를 행한다. 스텝 S33에 있어서, 결손 보완 처리부(114)는, 추정한 결손 영역에 대하여, 스텝 S32에서 평균화된 평균화 화상을 사용해서 합성 처리를 행한다.
여기서, 도 18의 예에 있어서는, 결손 부분(221 및 222)을 갖는 안정화 화상(211)이 나타나 있고, 도 19의 예에 있어서는, 결손 부분이 보완된 안정화 화상(231)이 나타나 있다.
이상과 같이, 도 18에 나타내는 바와 같은 결손 부분(221 및 222)을 갖는 안정화 화상(211)으로부터, 결손 영역이 추정되고, 추정된 결손 영역에 대하여, 결손 보완이 행하여져, 도 19에 도시된 바와 같이 결손이 없는 안정화 화상(231)이 얻어진다.
또한, 결손 보완 데이터를, 중첩(레이어) 데이터로서, 안정화 화상과 함께 배신하고, 열람측에서, 보완 후의 화상을 볼지, 보완되어 있지 않은 화상을 볼지 선택할 수 있도록 해도 된다.
상술한 결손 보완 처리는, 결손 부분의 크기, 형상, 수에 의해 행할지의 여부를 제어하도록 해도 된다. 예를 들어, 결손 부분의 크기가 소정의 크기보다 큰 경우, 형상이 소정의 형상 이외의 경우, 또는 수가 소정의 수보다 많은 경우, 결손 보완 처리를 행하는, 혹은, 행할 때의 처리 파라미터를 변경하는 등의 예가 생각된다.
또한, 결손 보완 처리의 유무를, 네트워크 너머로 행하게 해도 된다. 즉, 결손 정보나 결손 보완 처리를 행할지의 여부의 선택 화면을, 서버(11)나 다른 웨어러블 단말기(12)의 표시부(23)에 표시시켜서 통지를 행하고, 그곳으로부터의 지시에 따라, 결손 보완 처리를 행하게 해도 된다. 또한, 상술한 결손 보완 처리는, 촬영측, 서버, 다른 유저측에서 행하게 해도 된다.
이상과 같이, 본 기술에 의하면, 배신 전에, 화상의 결손을 파악할 수 있다. 그리고 나서, 결손 보완을 행할지 행하지 않을지를 정할 수 있으므로, 화상의 결손에 대해서, 유저의 기호에 맞춘 처치를 행할 수 있다.
또한, 상기 설명에 있어서, 유저로의 통지로서, 화상의 결손 정보나 결손 보완 처리의 시사를 표시 제어하는 예를 설명했지만, 통지의 방법은, 표시만으로 한하지 않고, 결손 정보나 결손 보완 처리의 시사를 음성 제어하도록 해도 된다. 혹은, 유저의 조작에 따라, 결손 부분뿐만 아니라, 추가로, 보완 처리를 행한 영역이 하이라이트 되도록, 당해 영역의 표시를 동적으로 변화시켜도 된다.
또한, 상술한 결손 보완 처리는, 화상 중의 물체가 동물체의 경우에는 바람직한 결과가 얻어지지 않는다. 따라서, 동물체 또는 정지 물체인가를 검출하고 나서 행할지의 여부를 정하고 나서, 정지 물체일 때만 결손 보완 처리를 행하고, 동물체일 때에는 결손 보완 처리를 금지하게 해도 된다.
또한, 카메라가 격렬하게 움직이고 있는 경우에도, 결손 보완 처리에 대하여 바람직한 결과가 얻어지지 않는다. 따라서, 예를 들어 카메라가 소정의 이동 속도보다도 빠르게 평행 이동하고 있는지의 여부를 판정하고, 소정의 이동 속도보다도 빠르게 평행 이동하고 있을 때에는, 결손 보완 처리를 금지하고, 소정의 이동 속도보다 늦은 이동일 때에는, 결손 보완 처리를 행하게 해도 된다. 또한, 카메라의 움직임은, 회전만이라면, 결손 보완 처리를 행해도 된다. 본 기술의 결손 보완 처리는, 외부의 환경 변화와 병진 운동에 약한 경향이 있다.
또한, 본 기술은, 상술한 바와 같이 복수의 화상을 맞대서 안정화시킨 전주위 촬상 화상의 결손 부분에 적용되지만, 예를 들어 카메라의 촬영 범위에서 커버 가능하지 않은 것에 의한 결손 부분에도 적용할 수 있다.
또한, 본 기술은, 복수의 카메라 중, 어느 것의 카메라가 고장 등에 의해 화상을 취득할 수 없게 되었을 경우에도 그것을 결손으로 함으로써, 적용할 수 있다.
또한, 본 기술은, 상술한 카메라 부착 헤드기어(101)와 같이, 일부의 고정 기구(Rigit Body)를 갖는 카메라나, 각각의 카메라의 위치 관계가 플렉시블하지만, 실시간으로 스티칭 파라미터를 변화시켜, 카메라 화상 합성을 행하는 카메라에 적용된다.
또한, 본 기술은, 그것들 이외에도, 예를 들어 어라운드 뷰가 얻어지는 차량에 배치된 복수 카메라나 볼형의 케이스에 복수 카메라가 배치되고, 회전시키면서 위로 던짐으로써 촬영 가능한 볼 카메라 등에도 적용하는 것이 가능하다. 또한, 차량에 마련된 사이드 카메라, 프론트 카메라, 리어 카메라 중 적어도 2개가 조합되어도 된다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라서 시계열로 처리가 행하여지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행하여졌을 때 등의 필요한 단계에서 처리가 행하여지는 프로그램이어도 된다.
또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서에 따라서 시계열적으로 행하여지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 디바이스(장치)에 의해 구성되는 장치 전체를 나타내는 것이다.
예를 들어, 본 개시는, 하나의 기능을, 네트워크를 통해서 복수의 장치에서 분담, 공동해서 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라서 시계열로 처리가 행하여지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행하여졌을 때 등의 필요한 단계에서 처리가 행하여지는 프로그램이어도 된다.
또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서에 따라서 시계열적으로 행하여지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 디바이스(장치)에 의해 구성되는 장치 전체를 나타내는 것이다.
예를 들어, 본 개시는, 하나의 기능을, 네트워크를 통해서 복수의 장치에서 분담, 공동해서 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 이상에 있어서, 하나의 장치(또는 처리부)로서 설명한 구성을 분할하고, 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합해서 하나의 장치(또는 처리부)로서 구성되게 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 것 이외의 구성을 부가하도록 해도 물론 된다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함되게 해도 된다. 즉, 본 기술은, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대해서 상세하게 설명했지만, 본 개시는 이러한 예에 한정되지 않는다. 본 개시가 속하는 기술의 분야에 있어서의 통상의 지식을 갖는 사람이라면, 청구 범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명확하고, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 복수의 촬상 장치의 촬상에 의해 생성되는 화상의 결손 유무를 판별하는 결손 판별부와,
상기 결손 판별부에 의한 상기 결손 유무의 판별 결과에 따른 통지를 제어하는 통지 제어부
를 구비하는 정보 처리 장치.
(2) 상기 통지 제어부는, 상기 결손 유무의 판별 결과의 상기 통지 표시를 제어하는
상기 (1)에 기재된 정보 처리 장치.
(3) 상기 통지 제어부는, 상기 결손이 있다고 판별된 경우, 상기 결손을 하이라이트 표시시키는
상기 (2)에 기재된 정보 처리 장치.
(4) 상기 결손 판별부는, 상기 촬상 장치의 자세 변화에 따른 상기 화상의 변화를 억제한 안정화 화상을 취득하고,
상기 통지 제어부는, 상기 결손의 하이라이트 표시의 위치를 상기 안정화 화상 내에서 동적으로 변화시키는
상기 (3)에 기재된 정보 처리 장치.
(5) 상기 통지 제어부는, 상기 결손이 있다고 판별된 경우, 상기 결손의 크기, 형상 및 수의 적어도 하나의 상기 통지를 제어하는
상기 (1)에 기재된 정보 처리 장치.
(6) 상기 통지 제어부는, 상기 결손이 있다고 판별된 경우, 상기 결손을 보완할지의 여부를 선택하기 위한 상기 통지를 제어하는
상기 (1) 또는 (5)에 기재된 정보 처리 장치.
(7) 상기 복수의 촬상 장치는, 제1 웨어러블 카메라 및 제2 웨어러블 카메라인
상기 (1) 내지 (6) 중 어느 것에 기재된 정보 처리 장치.
(8) 상기 제1 웨어러블 카메라에 의해 취득되는 제1 화상의 긴 변 방향과 상기 제2 웨어러블 카메라에 의해 취득되는 제2 화상의 긴 변 방향은 교차하고 있는
상기 (7)에 기재된 정보 처리 장치.
(9) 상기 제1 화상의 중앙 영역은, 상기 정보 처리 장치를 장착하는 유저의 시선 방향에 대응해서 배치되는
상기 (8)에 기재된 정보 처리 장치.
(10) 상기 제1 화상의 긴 변 방향의 양단부는, 상기 제2 화상의 긴 변 방향을 따라서 연장되는 상기 제2 화상의 양단부와 각각 접속되는
상기 (8)에 기재된 정보 처리 장치.
(11) 유저의 조작에 따라, 상기 결손이 있다고 판별된 경우, 상기 결손의 보완 처리를 행하는 결손 보완 처리부를
더 구비하는 상기 (1) 내지 (10) 중 어느 것에 기재된 정보 처리 장치.
(12) 상기 통지 제어부는, 상기 결손의 보완 처리가 행하여진 화상의 영역을 상기 유저의 조작에 따라, 하이라이트 표시시키는
상기 (8)에 기재된 정보 처리 장치.
(13) 상기 유저는, 네트워크를 통해서 접속되는 다른 정보 처리 장치의 유저인
상기 (11)에 기재된 정보 처리 장치.
(14) 상기 결손 유무의 판별 결과를, 네트워크를 통해서 송신하는 송신부를
더 구비하는 상기 (1) 내지 (13) 중 어느 것에 기재된 정보 처리 장치.
(15) 상기 송신부는, 상기 결손이 있다고 판별된 경우, 상기 결손의 크기, 형상 및 수의 적어도 하나의 결손 정보를, 메타데이터로서, 상기 네트워크를 통해서 송신하는
상기 (14)에 기재된 정보 처리 장치.
(16) 정보 처리 장치가,
복수의 촬상 장치의 촬상에 의해 생성되는 화상의 결손 유무를 판별하고,
상기 결손 유무의 판별 결과에 따른 통지를 제어하는
정보 처리 방법.
(17) 복수의 촬상 장치의 촬상에 의해 생성되는 화상의 결손 유무를 판별하는 결손 판별부와,
상기 결손 판별부에 의한 상기 결손 유무의 판별 결과에 따른 통지를 제어하는 통지 제어부
로서, 컴퓨터를 기능시키는 프로그램.
10: 시스템, 11: 서버, 12: 웨어러블 단말기(클라이언트 기기), 20: 장치, 26: 촬상부, 27: 센서, 30: 이동체, 50: 정보 처리 장치, 51: 표시 제어부, 61: 화상 생성부, 63: 화상 보정부, 65: 데이터 취득부, 65a-1 내지 65a-5: 화상 취득부, 65b: 조작 정보 취득부, 66: 데이터 제공부, 82: 유저, 101: 카메라 헤드 부착 기어, 102: 정보 처리 장치, 111: 회전 연산부, 112: 안정화 화상 생성부, 113: 결손 판별부, 114: 결손 보완 처리부, 121L, 121R: 카메라

Claims (17)

  1. 복수의 촬상 장치의 촬상에 의해 생성되는 화상의 결손 부분 유무를 판별하도록 구성되는 결손 부분 판별부와,
    상기 결손 부분 판별부에 의한 상기 결손 부분 유무의 판별 결과에 따른 통지를 제어하도록 구성되는 통지 제어부를 구비하고,
    상기 통지 제어부는 상기 결손 부분이 있다고 판별되는 경우, 상기 결손 부분을 중첩된 레이어 데이터로서 송신함으로써 상기 통지를 제어하고,
    상기 통지는 상기 중첩된 레이어 데이터가 상기 화상과 함께 표시되는지 여부를 선택하기 위한 선택 화면을 포함하고,
    상기 결손 부분 판별부 및 상기 통지 제어부는 각각 적어도 하나의 프로세서를 통해 구현되는
    정보 처리 장치.
  2. 제1항에 있어서, 상기 통지 제어부는, 상기 결손 부분 유무의 판별 결과의 상기 통지 표시를 제어하는
    정보 처리 장치.
  3. 제2항에 있어서, 상기 통지 제어부는, 상기 결손 부분이 있다고 판별된 경우, 상기 결손 부분을 하이라이트 표시시키는
    정보 처리 장치.
  4. 제3항에 있어서, 상기 결손 부분 판별부는, 상기 촬상 장치의 자세 변화에 따른 상기 화상의 변화를 억제한 안정화 화상을 취득하고,
    상기 통지 제어부는, 상기 결손 부분의 하이라이트 표시의 위치를 상기 안정화 화상 내에서 동적으로 변화시키는
    정보 처리 장치.
  5. 제1항에 있어서, 상기 통지 제어부는, 상기 결손 부분이 있다고 판별된 경우, 상기 결손 부분의 크기, 형상 및 수의 적어도 하나의 상기 통지를 제어하는
    정보 처리 장치.
  6. 제1항에 있어서, 상기 통지 제어부는, 상기 결손 부분이 있다고 판별된 경우, 상기 결손 부분을 보완할지의 여부를 선택하기 위한 상기 통지를 제어하는
    정보 처리 장치.
  7. 제1항에 있어서, 상기 복수의 촬상 장치는, 제1 웨어러블 카메라 및 제2 웨어러블 카메라를 포함하는
    정보 처리 장치.
  8. 제7항에 있어서, 상기 제1 웨어러블 카메라에 의해 취득되는 제1 화상의 긴 변 방향과 상기 제2 웨어러블 카메라에 의해 취득되는 제2 화상의 긴 변 방향은 교차하고 있는
    정보 처리 장치.
  9. 제8항에 있어서, 상기 제1 화상의 중앙 영역은, 상기 정보 처리 장치를 장착하는 유저의 시선 방향에 대응해서 배치되는
    정보 처리 장치.
  10. 제8항에 있어서, 상기 제1 화상의 긴 변 방향의 양단부는, 상기 제2 화상의 긴 변 방향을 따라서 연장되는 상기 제2 화상의 양단부와 각각 접속되는
    정보 처리 장치.
  11. 제1항에 있어서, 유저의 조작에 따라, 상기 결손 부분이 있다고 판별된 경우, 상기 결손 부분의 보완 처리를 행하도록 구성되는 결손 부분 보완 처리부를 더 구비하고,
    상기 결손 부분 보완 처리부는 적어도 하나의 프로세서를 통해 구현되는 정보 처리 장치.
  12. 제11항에 있어서, 상기 통지 제어부는, 상기 결손 부분의 보완 처리가 행하여진 화상의 영역을 상기 유저의 조작에 따라, 하이라이트 표시시키는
    정보 처리 장치.
  13. 제11항에 있어서, 상기 유저는, 네트워크를 통해서 접속되는 다른 정보 처리 장치를 사용하는
    정보 처리 장치.
  14. 제1항에 있어서, 상기 결손 부분 유무의 판별 결과를, 네트워크를 통해서 송신하도록 구성되는 송신부를 더 구비하고,
    상기 송신부는 적어도 하나의 프로세서를 통해 구현되는
    정보 처리 장치.
  15. 제14항에 있어서, 상기 송신부는, 상기 결손 부분이 있다고 판별된 경우, 상기 결손 부분의 크기, 형상 및 수의 적어도 하나의 결손 정보를, 메타데이터로서, 상기 네트워크를 통해서 송신하는
    정보 처리 장치.
  16. 정보 처리 장치에 의해 실행되는 정보 처리 방법으로써,
    복수의 촬상 장치의 촬상에 의해 생성되는 화상의 결손 부분 유무를 판별하는 단계; 및
    상기 결손 부분 유무의 판별 결과에 따른 통지를 제어하는 단계를 포함하고,
    상기 결손 부분이 있다고 판별되는 경우, 상기 결손 부분을 중첩된 레이어 데이터로서 송신함으로써 상기 통지가 제어되고,
    상기 통지는 상기 중첩된 레이어 데이터가 상기 화상과 함께 표시되는지 여부를 선택하기 위한 선택 화면을 포함하는
    정보 처리 방법.
  17. 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 방법을 실행하게 하는 프로그램이 구현된 비일시적 판독 가능한 기록 매체로서, 상기 방법은,
    복수의 촬상 장치의 촬상에 의해 생성되는 화상의 결손 부분 유무를 판별하는 단계; 및
    상기 결손 부분 유무의 판별 결과에 따른 통지를 제어하는 단계를 포함하고,
    상기 결손 부분이 있다고 판별되는 경우, 상기 결손 부분을 중첩된 레이어 데이터로서 송신함으로써 상기 통지가 제어되고,
    상기 통지는 상기 중첩된 레이어 데이터가 상기 화상과 함께 표시되는지 여부를 선택하기 위한 선택 화면을 포함하는
    비일시적 판독 가능한 기록 매체.
KR1020197006801A 2016-09-15 2017-09-01 정보 처리 장치 및 방법, 그리고 프로그램 KR102502404B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016180207A JP2018046430A (ja) 2016-09-15 2016-09-15 情報処理装置および方法、並びにプログラム
JPJP-P-2016-180207 2016-09-15
PCT/JP2017/031587 WO2018051815A1 (ja) 2016-09-15 2017-09-01 情報処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
KR20190046845A KR20190046845A (ko) 2019-05-07
KR102502404B1 true KR102502404B1 (ko) 2023-02-22

Family

ID=61619426

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197006801A KR102502404B1 (ko) 2016-09-15 2017-09-01 정보 처리 장치 및 방법, 그리고 프로그램

Country Status (6)

Country Link
US (1) US11189055B2 (ko)
JP (1) JP2018046430A (ko)
KR (1) KR102502404B1 (ko)
CN (1) CN109691084A (ko)
DE (1) DE112017004647T5 (ko)
WO (1) WO2018051815A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US12034015B2 (en) 2018-05-25 2024-07-09 Meta Platforms Technologies, Llc Programmable pixel array
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
WO2020013313A1 (ja) * 2018-07-12 2020-01-16 株式会社東芝 全方位撮影システムおよび全方位撮影方法
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
WO2020185201A1 (en) * 2019-03-10 2020-09-17 Google Llc 360 degree wide-angle camera with baseball stitch
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
JP7395953B2 (ja) * 2019-10-23 2023-12-12 株式会社リコー 撮像装置
US11935291B2 (en) * 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194636A1 (en) * 2011-01-31 2012-08-02 Sony Corporation Information processing apparatus, information processing method, program, and imaging apparatus
US20150254882A1 (en) * 2014-03-06 2015-09-10 Ram Industrial Design, Inc. Wireless immersive experience capture and viewing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4403421B2 (ja) 2006-08-17 2010-01-27 ソニー株式会社 画像処理装置及び画像処理方法
CA2714492C (en) * 2008-02-08 2014-07-15 Google, Inc. Panoramic camera with multiple image sensors using timed shutters
US8160391B1 (en) * 2008-06-04 2012-04-17 Google Inc. Panoramic image fill
US8245933B2 (en) * 2008-10-24 2012-08-21 Bell And Howell, Llc Method and system for applying a postal authority barcode on a document processing system
JP4715913B2 (ja) * 2008-12-17 2011-07-06 ソニー株式会社 撮像装置、画像処理装置、ズーム制御方法およびズーム制御プログラム
FR2962291B1 (fr) * 2010-07-01 2012-08-24 St Microelectronics Grenoble 2 Procede de traitement d'images 3d, et systeme correspondant
JP2012138500A (ja) 2010-12-27 2012-07-19 Tokyo Electron Ltd タングステン膜又は酸化タングステン膜上への酸化シリコン膜の成膜方法及び成膜装置
JP6065474B2 (ja) 2012-09-11 2017-01-25 株式会社リコー 撮像制御装置、撮像制御方法およびプログラム
US9265412B2 (en) * 2013-08-27 2016-02-23 Johnson & Johnson Vision Care, Inc. Means and method for demonstrating the effects of low cylinder astigmatism correction
JP6562289B2 (ja) * 2013-12-26 2019-08-21 パナソニックＩｐマネジメント株式会社 映像編集装置
JP6515813B2 (ja) * 2014-02-17 2019-05-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194636A1 (en) * 2011-01-31 2012-08-02 Sony Corporation Information processing apparatus, information processing method, program, and imaging apparatus
US20150254882A1 (en) * 2014-03-06 2015-09-10 Ram Industrial Design, Inc. Wireless immersive experience capture and viewing

Also Published As

Publication number Publication date
CN109691084A (zh) 2019-04-26
US20190172227A1 (en) 2019-06-06
WO2018051815A1 (ja) 2018-03-22
JP2018046430A (ja) 2018-03-22
DE112017004647T5 (de) 2019-07-11
US11189055B2 (en) 2021-11-30
KR20190046845A (ko) 2019-05-07

Similar Documents

Publication Publication Date Title
KR102502404B1 (ko) 정보 처리 장치 및 방법, 그리고 프로그램
US10574889B2 (en) Information processing device, information processing method, and program
JP6899875B2 (ja) 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム
JP2016062486A (ja) 画像生成装置および画像生成方法
JP2013258614A (ja) 画像生成装置および画像生成方法
WO2016163183A1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
JPWO2018225804A1 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
JP6649010B2 (ja) 情報処理装置
US9143763B2 (en) Imaging apparatus, imaging method, and computer-readable recording medium
JP6518645B2 (ja) 情報処理装置および画像生成方法
US20230071690A1 (en) Remote control system, remote operation apparatus, video image processing apparatus, and computer-readable medium
JPWO2021020150A5 (ko)
CN108476290B (zh) 用于提供全景图像的电子装置及其控制方法
US11831976B2 (en) Display apparatus
WO2022255058A1 (ja) 情報処理装置および画像生成方法
US20240163391A1 (en) Information processing apparatus
JPWO2019038885A1 (ja) 情報処理装置および画像出力方法
US20240073520A1 (en) Dual camera tracking system
US20220252884A1 (en) Imaging system, display device, imaging device, and control method for imaging system
JP2022140328A (ja) 撮像装置、携帯機器、キャリブレータ、及びこれらの制御方法並びにプログラム
JP2024031113A (ja) 情報処理装置および画像生成方法
JP2023065313A (ja) 撮像装置、画像処理装置、および方法
JP2019029868A (ja) 画像処理装置と、その処理方法、プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right