KR20010072917A - 전방위 영상출력방법과 장치 - Google Patents

전방위 영상출력방법과 장치 Download PDF

Info

Publication number
KR20010072917A
KR20010072917A KR1020017002335A KR20017002335A KR20010072917A KR 20010072917 A KR20010072917 A KR 20010072917A KR 1020017002335 A KR1020017002335 A KR 1020017002335A KR 20017002335 A KR20017002335 A KR 20017002335A KR 20010072917 A KR20010072917 A KR 20010072917A
Authority
KR
South Korea
Prior art keywords
image
supply center
terminal device
omnidirectional
data
Prior art date
Application number
KR1020017002335A
Other languages
English (en)
Inventor
소가베야수시
히로시 이시구로
무라타시게키
하야시켄이찌
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
히로시 이시구로
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤, 히로시 이시구로 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR20010072917A publication Critical patent/KR20010072917A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

전방위 화상으로부터 임의의 시점의 화상을 잘나내서 재생하는 경우에, 전방위가 다른 장치에 기억되어 있는 경우의 정보전송량을 가능한한 감소시키는 전방위 영상장치를 제공한다. 전방위 화상위치 기억수단(3)으로부터 위치정보만을 쌍방향 통신수단(10)을 통해서 단말장치의 촬상위치 표시수단(4)에 표시하고, 시점위치 지시수단(5)에 의해 필요한 시점위치를 지정하고, 공급센터의 화상변환수단(6)에서는 시점위치 지시수단(5)으로부터 지시된 시점위치에 따라 전방위 화상위치 기억수단 (3)으로부터 필요한 화상을 추출하여 쌍방향 통신수단(10)을 통해서 단말장치로 보내서 화상표시된다.

Description

전방위 영상출력방법과 장치{ALL-AROUND VIDEO OUTPUT METHOD AND DEVICE}
어느 시점에서의 주위의 환경을, 마치 그 장소에 있는 것처럼 관측하고 싶다라는 요망이 강하다. 구체적으로는, 행선지의 풍경의 화상에 대해서 시선방향을 자유롭게 바꾸어서 그 시선방향으로 넓어지는 풍경을 표시가능하게 되면, 마치 그 장소에 가만히 있으면서 주변를 돌아보는 감각에 잠길 수 있다.
어안렌즈에 의한 화상이나, 반사밀러를 이용하여 전방위(全方位)의 화상을 촬상한 화상과 같이, 통상의 카메라렌즈로 촬상한 경우에 비해서 현격하게 큰 시야를 가지는 화상에 대해서, 시선방향을 자유롭게 바꾸면, 그 임장감도 더욱 증대한다.
일본 특개평 9-62861호 공보에는, 공간을 이동하면서 이동하는 시점을 중심으로 하여, 그 주위를 촬상한 파노라마화상과 지점으로부터의 상대이동위치를 기억하는 장치가 나타내져 있다.
이것은, 화상재생시에는, 장치에 기억된 상기 파노라마화상으로부터, 지정한 시선방향의 화상을 합성하여 표시하고, 유저가 다음의 시점이나 시선을 지시하면,이것에 따라서 다음의 화상을 호출하여 계산하고, 표시하는 것을 반복한다.
또한, 시점이란 촬상한 위치이고, 시선이란 시점위치에서부터의 바라보고있는 방향을 나타낸다.
도 21은 이 종래기술에 있어서의 화상재생시의 처리루프이다.
이하, 이 처리루프에 따라서 설명한다.
S201은 화상의 합성과 표시를 반복하여 행하는 루프이다.
S202는 개시시는 이동경로의 시점과 시선방향을 계산한다. 개시루프 이후는, 현재의 시점ㆍ시선위치에 대해서, S206에서 입력한 상대적인 이동량으로부터 다음에 표시하는 시점위치, 시선방향을 계산하여 결정한다.
S203에서는 S202에서 결정한 시점위치에 대응하는 파노라마 화상데이터를 판독한다.
S204에서는 파노라마 화상데이터로부터, S202에서 결정한 시선방향의 화상을 합성한다.
S205에서는 S204에서 합성한 화상을 표시한다.
S206에서는 S205에서 표시된 표시화상을 보여주고, 유저가 시점이동과 시각이동의 방향을 지시한다.
S207에서는 S201로 처리를 되돌리고, S202에서부터 S206까지의 처리를 반복한다.
여기서, S206에 지시가능한 항목은, 전진, 후진, 정지, 우회전, 좌회전, 상회전, 하회전, 확대, 축소, 종료이다.
또한, 이 종래장치는, 표시화상의 시점위치ㆍ시선방향의 이력을 저장하므로써, 다음에 유저가 지시할 시점위치ㆍ시선방향을 예측하고, 미리 필요한 화상을 판독하여 두는 것이므로 고속의 표시를 행할 수도 있다.
이와 같이 종래장치는, 이동하면서 전방위를 촬상한 동화상에 대해서, 재생시에는 유저의 지시에 따른 시점위치, 시선방향의 화상을, 그때마다 호출하여 합성표시하는 반복하므로써, 임장감이 높은 영상을 유저에 제공하고 있다.
그러나, 상기 종래장치에서는, 다음과 같은 문제점이 남아 있다.
① 공간을 이동하면서 촬영한 화상을 저장하여 두고, 재생한 화상을 유저가 확인하고, 화상 상에서의 상대적인 시점 및 시선방향을 지시한 결과를 얻고나서, 다음에 표시하는 화상을 합성한다. 따라서, 시점 및 시선의 정보를 주어지고나서, 기억한 전화상으로부터 필요한 화상을 호출하고, 또한 화상합성처리를 경유하고나서 표시를 행하기 때문에 재생이 느려짐이 더욱 현저하게 된다.
특히, 인터넷 상의 다른 사이트에 파노라마화상과 상대이동위치화상이 기억되어 있고, 데이터의 교환이 비교적 저속인 통신수단을 이용하여 재생을 행하는 경우에는, 재생의 느림이 더욱 현저하게 된다.
② 표시화상의 시점위치ㆍ시선방향의 이력을 저장하므로써, 다음에 유저가 지시할 시점위치ㆍ시선방향을 예측하는 경우에는, 어느 정도의 재생의 고속화가 요망되는 것인, 시점의 위치가 예측가능하지 않은 방향으로 이동하는 경우에는, 새로운 화상호출이나 연산이 필요하게 되어, 재생속도의 열화가 생기고, 반대로 재생화상의 시간의 매끄러움이 손실되어 임장감이 손실된다.
③ 시점의 이동위치는, 이동한 경로에 따른 상대위치에 의한 지정이기 때문에, 공간을 이동하면서 촬영한 화상의 순서에 따라서 전진ㆍ후진을 반복할뿐이며, 불필요한 경로의 화상의 표시를 삭제하는 것이 불가능하다.
④ 시점의 이동위치는, 이동한 경로에 따른 상대위치에 의한 지정이기 때문에, 처음으로 방문한 장소에서 촬영된 화상에 있어서, 유저는 다음에 어느 쪽으로 향하여 가면 좋은 것이지를 알 수 없고, 전진후퇴를 적당하게 반복하여 목표에 겨우겨우 다다라야만 한다.
본 발명은 전방향(全方向)을 촬영한 파노라마화상 등의 처리장치에 관한 것이다.
도 1은, 본 발명의 실시형태1의 전방위 영상장치의 블럭도이다.
도 2는, 동 실시형태의 전방위 영상장치의 시스템구성의 모식도이다.
도 3은, 동 실시형태의 전방위 화상의 촬상원리 설명도이다.
도 4는, 동 실시형태의 전방위 화상의 모식도이다.
도 5는, 동 실시형태의 영상센서의 이동경로의 설명도이다.
도 6은, 동 실시형태의 전방위 화상위치화일의 설명도이다.
도 7은, 동 실시형태의 전촬상위치의 표시결과의 설명도이다.
도 8은, 동실시형태의 관측경로의 지시결과의 설명도이다.
도 9는, 동 실시형태의 전개화상의 모식도이다.
도 10은, 동 실시형태의 전개화상화일의 설명도이다.
도 11은, 동 실시형태의 윈도우 화상의 설명도이다.
도 12는, 동 실시형태의 시선지시수단의 설명도이다.
도 13은, 본 발명의 실시형태2의 전방위 영상장치의 블럭도이다.
도 14는, 동 실시형태의 관측경로의 지시결과의 설명도이다.
도 15는, 본 발명의 실시형태3의 전방위 영상장치의 블럭도이다.
도 16은, 동 실시형태의 전촬상위치의 표시결과의 설명도이다.
도 17은, 동 실시형태의 관측경로의 지시결과의 설명도이다.
도 18은, 본 발명의 실시형태4의 전방위 영상장치의 블럭도이다.
도 19는, 동 실시형태의 대상물 지시결과의 설명도이다.
도 20은, 동 실시형태의 관측경로의 연산결과의 설명도이다.
도 21은, 종래장치의 동작순서를 나타내는 블럭도이다.
본 발명은, 재생이 빠르고, 임장감이 얻어지는 전방위 영상출력방법을 제공하는 것을 목적으로 한다.
또한 본 발명은, 단말장치에 있어서의 희망하는 이동경로, 시선의 입력조작이 하기 쉽고, 필요한 경로의 화상만큼의 표시를 받는 것이 가능한 전방위 영상출력방법을 제공하는 것을 목적으로 한다.
본 발명의 전방위 영상출력방법은, 공급센타로부터 단말장치측으로 전방위 화상을 보유하고 있는 서비스영역를 표시하는 촬상위치데이터를 송신하고, 단말장치로부터 공급센터측으로 희망하는 시점정보와 시선정보 중 적어도 시점점보를 송신한다. 단말장치로부터 공급센터측으로 시점정보만을 송신한 경우에는, 단말장치로부터 수신한 시점정보에 기초하여 단말장치가 희망하는 이동경로의 화상정보만을 공급센터로부터 단말장치측으로 송신하고, 단말장치측에서 희망하는 시점에 따라 처리하여 출력한다. 단말장치로부터 공급센터측으로 시점정보와 시선정보를 송신하는 경우에는, 단말장치로부터 수신한 시점정보와 시선정보에 기초하여 단말장치가 희망하는 이동경로의 화상정보만을 희망하는 시선에 따라 처리하고나서 공급센터로부터 단말장치측으로 송신하고, 단말장치측에서 출력한다.
이 본 발명의 구성에 의하면, 공급센터와 단말장치의 사이의 정보의 데이터량을 삭감하는 것이므로 재생이 빠르고, 임장감이 얻어진다.
또한, 단말장치에 있어서의 입력방법을 개선하여, 희망하는 이동경로, 시선의 입력조작이 하기 쉽다.
또한, 단말장치로부터 공급센터로의 희망하는 시점의 지시에 있어서는, 공급센터로부터 단말장치측에 전방위의 화상을 촬영한 촬상위치데이터를 지시하여, 이것에 기초하여 단말장치가 공급센터로 희망한 시점에 의해서 결정되는 희망하는 이동경로의 화상정보를 수신하는 것이므로, 희망하는 이동경로의 입력의 조작성이 양호하고, 희망하는 이동경로의 화상만을 연속하여 재생시간이 매끄러운 상태로 감각할 수 있다.
또한, 단말장치로부터 공급센터측으로 시점정보뿐만 아니라 시선정보를 송신한 경우에는, 공급센터측에서 전방위 화상위치화일로부터 시점정보에 기초하여 전방위 화상을 추출한 후에, 이것을 시선정보에 기초하여 화상처리하고나서, 필요로 하고 있는 화상만큼을 단말장치측으로 보내서 표시시킬 수 있고, 단말장치의 연산처리속도 등에 좌우됨이 없이, 임장감이 얻어지는 전화상 표시를 즐길수 있다.
이하, 본 발명의 각 실시형태를 도 1 내지 도 20에 기초하여 설명한다.
(실시형태1)
도 1 내지 도 12는 실시형태1을 나타낸다.
도 1은 실시형태1의 전방위 영상장치를 나타낸다.
전방위 화상촬상수단(1)은, 시점위치에 있어서의 전방위의 화상을 촬영하여 화상데이터를 출력한다. 촬상위치 취득수단(2)은, 전방위 화상촬상수단(1)이 화상을 촬상하였을 때의 위치를 취득한다. 전방위 촬상수단(1)에 의해 촬상한 화상과 촬상위치 취득수단(2)에 의해 취득된 촬상위치는, 전방위 화상위치 기억수단(3)에 기억된다.
전방위 화상위치 기억수단(3)과 촬상위치 표시수단(4)은, 쌍방향 통신수단 (10)을 통해서 접속되어 있고, 전방위 화상위치 기억수단(3)에 기억된 촬상위치는 촬상위치 표시수단(4)에 표시된다.
촬상위치 표시수단(4)에 의해 표시된 촬상위치에 대해서 유저가 보고싶은 시점의 위치는, 시점위치 지시수단(5)에 유저가 입력하여 지정한다. 시점위치 지시수단(5)은 쌍방향 통신수단(10)을 통해서 화상변환수단(6)에 접속되어 있고, 화상변환수단(6)은 시점위치 지시수단(5)에 의해 지시된 위치에 있어서 기억된 화상을 전방위 화상위치 기억수단(3)으로부터 호출하여, 전방위를 촬상한 화상의 기하변환 및 재정렬을 행한다.
화상변환수단(6)은 쌍방향 통신수단(10)을 통해서 화상처리수단(8)에 접속되어 있고, 화상처리수단(8)에는, 화상변환수단(6)에 의해 얻어진 화상에 대해서 시선방향 및 화면각을 지시하는 시선지시수단(7)이 접속되어 있다.
화상처리수단(8)은, 시선지시수단(7)에 의해 지정된 시선방향 및 화면각에 따라서, 화상변환수단(6)으로부터 얻어진 화상으로부터 일부화상을 잘라낸다. 화상처리수단(8)에 의해서 잘려진 화상은 화상표시수단(9)에 의해서 표시된다.
구체적으로는, 전방위 화상촬상수단(1)과 촬상위치 취득수단(2)은, 도 2에 나타내는 시스템 전체의 배치도에 있어서의 영상센서장치(11)에 설치되어 있다. 전방위 화상위치 기억수단(3)과 화상변환수단(6)은 공급센터(12)에 설치되어 있다. 촬상위치 표시수단(4)과 시점위치 지시수단(5), 시선지시수단(7), 화상처리수단 (8), 화상표시수단(9)은 단말장치(13)에 설치되어 있다. 공급센터(12)와 단말장치 (13)가 쌍방향 통신수단(10)을 통해서 접속되어서 쌍방향의 정보전달이 가능하다.
또한, 도 2에서는 공급센터(12) 및 단말장치(13)를 각각 1대 표시하고 있지만, 복수대가 쌍방향 통신수단(10)에 접속하여도 상관없다.
영상센서장치(11)는, 밀러(14)와 텔레비젼카메라(15)를 이동장치(17)에 탑재하여 텔레비젼카메라(15)의 광축방향에 수직한 방향으로 이동할 수 있도록 구성되어 있다. 여기서는, 이동장치(17)가 수평면 상을 이동하는 것으로서 설명한다.
텔레비젼카메라(15)는, 광축이 연직방향으로 설치되어 있고, 밀러(14)에서 반사된 상을 촬상한다. 텔레비젼카메라(15)의 광축 상과 밀러(14)의 축이 일치하도록 설치되어 있고, 밀러(14)에서 반사된 상을 촬상하므로써, 텔레비젼카메라(15)의 광축주변의 전방위의 화상을 한번에 촬상할 수 있다.
또한, 상기 밀러(14)는, 구체적으로는 축대칭곡면이다. 원추나 구면형상으로 괜찬지만, 여기서는 쌍곡면형상으로서 설명한다. 14a는 밀러(14)를 목적위치에 지지하기 위한 통형상의 투광체이다. 단, 이 실시형태에서는 밀러(14)를 이용하여 시점위치에 있어서의 시점주변의 360도의 화상을 한번에 촬상하는 방법에 관해서 설명하지만, 시점위치의 주변360도의 화상을 구성할 수 있으면, 예컨대 어안렌즈를 이용하여 촬영하거나, 카메라를 회전하여 촬영한 화상을 합성하므로써 구성하여도 좋다.
또한, 영상센서장치(11)를 옥외에서 이용하는 경우를 예를 들어서 설명한다.
옥외에서의 촬영시에는, 전방위의 명도가 균일하다고 한정하지 않고, 일정노출의 촬영에서는 전방위 화상이 양호하게 촬상가능하지 않은 경우가 많다. 그 때문에, 텔레비젼카메라(15)로서는, 통상의 카메라보다 넓은 다이나믹 렌즈의 화상을 얻는 것이 요망되고, 통상 노광과 단시간 노광에 의한 화상을 1필드로 합성하는 텔레비젼카메라 등이 좋다.
화상센서장치(11)에는 촬상위치 취득수단(2)으로서의 GPS장치(16)가 탑재되어 있고, 영상센서장치(11)의 글로벌위치를 취득할 수 있다. GPS장치(16)는, 자신의 지구 상에서의 위치(위도, 경도)를 위성(도시하지 않음)을 통해서 취득하는 장치이다. 또한, 위도와 경도가 이미 알려져 있는 지점과의 상대위치를 검출하므로써, 자신의 위치를 얻는 것이 가능한 디펄런셜GPS장치이면 또한 좋다.
우선, 영상센서장치(11)에 의해 촬상되는 전방위화상에 관해서, 도 3과 도 4를 통해서 설명한다.
도 3은 전방위 화상의 촬상원리 설명도로, 18은 촬영대상점이다. 19는 텔레비젼카메라(15)의 결상면이다. 20은 텔레비젼카메라(15)의 집점이다. 21은 결상면 (19) 상의 촬상대상점(18)의 결상위치를 나타내고 있다. 22는 전방위의 촬상에 의해 얻어진 결상화상의 영역을 나타내고 있다.
좌표축X, Y은, 텔레비젼카메라의 집점(20)을 원점으로 하여, 결상면(19)에 평행한 평면 상에 설정된다. 또한, Z축은 텔레비젼카메라(15)의 집점(20)을 원점으로 하고, 결상면(19)에 수직인 방향으로 설정된다. 또한, 밀러(14)의 회전축과 Z축은 일치한다. 여기서, 촬상대상점(18)의 상은 밀러(14)로부터 방향을 바꿔, 텔레비젼카메라의 집점(20)을 통하고, 결상면(19) 상의 결상위치(21)에 결상한다.
밀러(14)의 형상은 축대칭의 쌍곡면이기 때문에, 촬상대상점(18)으로부터 밀러(14)로 향하는 광선의 연장선은, 촬상대칭점의 위치가 변화하여도 항상 Z축의 점(23)을 통과한다. 23은 가상집점이라 한다.
따라서, 결상면상(22)은, 가상집점(23)으로부터 Z축주변에 360도의 방위각으로 관측한 화상을 나타내게 된다. 또한, 가상집점(23)에 있어서의 XY평면으로부터의 앙각방향에 관해서는, 텔레비젼카메라(15)의 화면각에 따라서 변화한다.
이와 같이, Z축주변의 방위각방향 360도와 소정의 앙각방향의 화상이, 한번에 결상면상의 영역(22)에 결상하게 된다. 이와 같이 얻어진 원형의 결상화상을 전방위 화상이라 한다.
전방위 화상의 예를 도 4에 나타낸다.
24가 전방위 화상인 원형의 화상으로 된다. 여기서, 전방위 화상(24)의 반경방향을 R, 원주방향을 θ로 하면, 반경방향R이 도 3의 가상집점(23)으로부터의 시선의 앙각의 방향에 대응하고, 또한, 원주방향θ이 도 3의 가상집점(23)으로부터의 시선의 방위각의 방향에 대응한다.
다음에, 도 5와 도 6을 이용하여 전방위 화상위치기억수단(3)에 기억되는 화상 및 위치정보의 취득방법 및 기억상태에 관해서 설명한다.
도 5는 영상센서장치(11)의 이동경로를 표시한 화상이다. 화살표가 이동방향을 나타내고 있고, 출발지점을 A로 하고, A→B→C→D→E→F→C→D→A의 순서로 이동하는 것을 나타내고 있다. 또한, 25a, 25b, 25c는 경로 상에 있는 건물의 위치를 나타내고 있다.
영상센서장치(11)가 도 5에 나타낸 이동경로를 이동하면서, 탑재한 텔레비젼카메라(15)와 GPS장치(16)에 의해, 전방위 화상과 위치정보를 취득하고, 공급센터(12)로 보낸다. 또한, 영상센서장치(11)로부터 공급센터(12)로의 전방위 화상 및 위치정보의 전달은, 무선통신, 유선통신 또는, DVD 등의 기록미디어에 기록하여 전달하는 등으로 실현가능하다.
이상과 같이 하여 공급센터(12)에 기록된 전방위 화상과 위치의 기록상태의 모식도를 도 6에 나타낸다.
도 6에 있어서, 26은, 각각 동일 시각에 촬영된 전방위 화상과 위치가, 기록 순의 번호를 할당되어서 기록된 전방위 화상위치화일이다. 또한, 설명을 위하여, 전방위 화상과 위치정보를 동일하게 기록하는 경우에 관해서 나타내었지만, 전방위 화상과 위치정보를 개별적으로 기록하고, 동일한 기록번호를 첨부하여도 상관없다.
전방위 화상위치 기억수단(3)에 전방위 화상 및 위치정보를 기록된 후의 임의의 시간으로부터, 단말장치(13)로부터의 사령에서 공급센터(12)와 단말장치(13) 사이에서 쌍방향 통신수단(10)에 의해 통신이 개시된다.
이하에, 통신개시후의 전방위 영상장치의 동작스텝을 도 7 내지 도 12에 기초하여 설명한다.
(스텝1-1)
전방위 화상위치 기억수단(3)에는, 도 6에 나타낸 바와 같은 전방위 화상위치화일(26)이 기록되어 있다. 우선, 위치정보와 기록번호를 꺼내서, 쌍방향 통신수단(10)을 통해서 단말장치(13)의 촬상위치 표시수단(4)에 전촬상위치를 표시한다.
도 7에 촬상위치 표시수단(4)에 표시된 전촬상위치를 나타낸다. 도 7의 점선이 촬상위치를 나타내고 있다.
위치정보는, GPS장치(16)에 의해 취득된 위도경도의 정보로서 주어지기 때문에, 촬상위치 표시수단(4)은 위도경도정보를 축척하여 표시한다. 또한, 도 7의 위치를 나타내는 문자A, B, C, D, E, F는 설명을 위하여 기록한 것이고, 촬상위치 표시수단(4)에서는 표시되지 않는다.
(스텝1-2)
(스텝1-1)에 있어서 촬상위치 표시수단(4)에 표시된 전촬상위치를 확인한 유저는, 시점위치 지시수단(5)에 의해 전촬상위치 중, 유저가 관측하고 싶은 관측경로만을 지정한다. 도 8이, 시점위치 지시수단(5)에 의해 관측경로를 지시한 결과이다. 도 8에 있어서는, 예컨대, A, B, C, D의 지점을 통하는 경로를 지시한 결과를나타낸다. 또한, 이 실시형태에서는, 시점위치 지시수단(5)에 의해 연속하는 관측경로를 선택하였지만, A-B와 E-F 등의 불연속의 경로를 선택하여도 상관없다.
촬상위치 표시수단(4)과 시점위치 지시수단(5)의 구체예로서는, 단말장치 (13)에서 전촬상위치를 인식하여 도 7에 나타낸 포맷에서 단말장치(13)의 디스플레이 화면에 표시하고, 이 디스플레이 화면에 중복하여 설치된 터치패널을 입력장치로하여, 전촬상위치의 표시화면 내의 관측경로의 지시개소를 유저가 터치패널을 통해서 디스플레이 화면에 터치하고, 이 지시개소를 인식하여 입력하거나, 또는, 단말장치(13)의 키보드로부터 입력한다.
(스텝1-3)
(스텝1-2)에 있어서 시점위치 지시수단(5)에 의해 지시된 관측경로의 위치에 대응하는 기록번호를 관측순으로 하고, 쌍방향 통신수단(10)을 통해서 화상변환수단(6)에 보낸다.
(스텝1-4)
(스텝1-3)에 있어서 시점위치 지시수단(5)으로부터 보내진 기록번호에 대응하는 전방위화상을 전방위 화상위치 기억수단(3)으로부터 호출하여 화상변환수단 (6)에 보낸다.
(스텝1-5)
(스텝1-4)에서 화상변환수단(6)에 보내진 전방위 화상에 대해서, 변환처리를 실행한다. 화상변환수단(6)에서의 처리방법에 관해서, 도 3과 도 4, 도 9와 도 10을 이용하여 설명한다.
도 9는 도 4의 전방위 화상(24)을 도 3에 나타낸 가상집점(23)으로부터 관측하였다라고 가정한 화상으로 변환한 화상이다. 이하, 이 화상을 전개화상(27)이라 한다.
전개화상(27)의 X방향이 가상집점(23)으로부터 관측한 Z축주변의 방위각방향θ에 대응하고 있고, 360도의 방위각의 방향의 화상이 얻어진다. 또한 화상의 Y방향은, 가상집점(23)으로부터 관측한 앙각방향R에 대응한다.
따라서, 도 4의 전방위 화상(24)의 임의의 점(r1, θ1)이 전개화상(27)의 좌표(x1, y1)의 위치로 변환된다라고 하면,
(x1, y1)=F(r1, θ1) (1)
이 성립한다. 관수F는 좌표변환관수이고, 공지이기 때문에 여기서는 상세한 설명을 생략한다.
화상변환수단(6)에서는, (스텝1-4)에 있어서, 시점위치 지시수단(5)으로부터 보내진 기록번호에 대응하는 전방위 화상(24)을 호출하여 전개화상(27)으로 변환함과 아울러, 각각의 전개화상(27)에 시점위치 지시수단(5)에 의해 지정된 관측경로순으로 데이터를 재정렬한다.
이와 같이 하여 얻어진 전개화상(27)의 열을 도 10에 나타낸다. 도 10에 나타내는 바와 같이, 전개화상(27)이 관측순으로 열거된 전개화상 화일(28)이 작성되고, 쌍방향 통신수단(10)을 통해서 화상처리수단(8)에 보낸다.
(스텝1-6)
시선지시수단(7) 및, 화상처리수단(8)에 의해 처리방법에 관해서, 도 10, 도11, 도 12를 이용하여 설명한다.
도 11이, 화상처리수단(8)에 의해 도 9의 전개화상(27)으로부터 일부영역을 잘라내어 처리하여 얻어진 화상의 열이다. 이하, 윈도우 화상(29)이라 한다.
도 11의 윈도우 화상(29)은, 도 9의 전개화상(27)으로부터, 시선방향 즉 앙각과 방위각을 지정하고, 일부영역을 잘라내어 처리하므로써 얻는다. 또한, 잘라내서 하는 영역의 크기는, 관측점으로부터의 화면각에 상당한다.
이하에 (스텝1-6)에 관해서 상세하게 설명한다.
(스텝1-6-(1))
우선, (스텝1-5)에 있어서 쌍방향 통신수단(10)을 통해서 보내진 도 10의 전개화상 화일(28)에 대해서, 화상처리수단(8)은, 미리 설정되어 있는 소정의 앙각과 방위각과 화면각을 이용하여, 최초의 윈도우 화상(29)을 작성하여 화상표시수단(9)에 표시한다.
(스텝1-6-(2))
다음에, 유저는 화상표시수단(9)에 표시된 화상에 대해서, 시선지시수단(7)에 의해, 시선방향과 화면각을 변경한다. 도 12가 시선지시수단(7)의 모식도이다.
도 12에 있어서, 30a, 30b가 앙각지시버튼, 31a, 31b가 방위각 지시버튼, 32a, 32b가 화면각 지시버튼이다. 이것은, 화상표시수단(9)에 표시되고, 유저가 마우스조작 등으로 표시된다. 또한, 키보드의 텐키에 기능을 할당하여 실시하여도 좋다.
(스텝1-6-(3))
다음에, 시선지시수단(7)에 의해 변경된 시선방향과 화면각은, 화상처리수단 (8)에 보내지고, 다음의 전개화상에 있어서의 잘라냄처리의 영역을 변경하여 윈도우화상(29)을 작성하고, 화상표시수단(9)에 표시한다. 이하, 전개화상화일(28)의 모든 전개화상(27)에 대해서 처리가 완료하기까지, (스텝1-6-(2)), (스텝1-6-(3))을 반복하여 행한다.
이상과 같이, 본 실시형태에 의하면, 전방위 화상(24)을 촬상한 위치를 미리 유저에 지시하고, 불필요한 경로의 정보를 제거한 필요한 시점위치만의 화상을 작성하고, 송신가능한 것이므로, 촬상한 전영역의 화상을 송신할 필요는 없고 통신하는 데이터의 양을 적게 하므로써, 통신비용을 내릴 수 있다. 또한 유저에 재빠르게 화상을 표시할 수 있고, 기다리는 시간을 줄일 수 있다.
(실시형태2)
도 13과 도 14는 실시형태2를 나타낸다.
도 13은 실시형태2의 전방위 영상장치를 나타내고, 전방위 화상촬상수단(1), 촬상위치 취득수단(2), 전방위 화상위치 기억수단(3), 촬상위치 표시수단(4)은 실시형태1과 동일하다.
실시형태1에서는 단말장치(13)측에서 희망하는 시점을 입력하고, 그 후에 공급센터(12)로부터 수신한 데이터를 단말장치(13)측에서 희망하는 시선을 따라 두번째의 데이터처리를 실행하여 목적의 표시화상을 얻었지만, 이 실시형태2에서는 최초에 희망하는 시점뿐만 아니라, 시선방향도 지정하여 공급센터(12)에 연락하고, 공급센터(12)로부터 단말장치(13)에 반복해서 보내온 데이터를 재처리하지 않아도목적의 표시화상이 얻어지는 점이 다르다.
촬상위치 표시수단(4) 등과 동일하게 단말장치(13)에 설치된 시선벡터 지시수단(33)은, 촬상위치 표시수단(4)에 의해 표시된 촬상위치에 대해서, 유저가 보고싶은 시점의 위치와 시선의 방향을 지정하는 것이다. 시선벡터 지시수단(33)이 출력은, 쌍방향 통신수단(10)을 통해서 화상추출 변환수단(34)에 입력된다.
공급센터(12)측에 설치된 화상추출 변환수단(34)은, 전방위 화상위치 기억수단(3)의 전방위 화상위치화일(26)의 중으로부터 시선벡터 지시수단(33)에 의해 지시된 시점위치에 있어서 기록된 전방위 화상(24)을 전방위 화상위치 기억수단(3)으로부터 호출하고, 게다가, 시선벡터 지시수단(33)에 의해 지시된 시선방향의 윈도우 화상(29)을 생성한다.
화상추출 변환수단(34)으로 작성된 윈도우 화상(29)의 열은, 화상압축수단 (35)으로 신호압축되고, 쌍방향 통신수단(10)을 통해서 단말장치(13)측에 전송되어서, 단말장치(13)측에 설치된 화상복원수단(36)에 의해서 상기 화상압축수단(35)으로부터 보내진 신호가 복원된다.
화상복원수단(36)에 복원된 화상의 열은 화상표시수단(9)에 의해서 표시된다.
실시형태2와 실시형태1과의 차이점은, 실시형태2에서는 공급센터(12)가, 전방위 화상위치 기억수단(3)과 화상추출 변환수단(34)과 화상압축수단(35)을 보유하고, 단말장치(13)가, 촬상위치 표시수단(4)과 시선벡터 지시수단(33)과 화상복원수단(36)과 화상표시수단(9)을 보유하는 점이다.
통신개시후의 전방위 영상장치의 동작스텝을 설명한다.
(스텝2-1)
전방위 화상위치 기억수단(3)에는, 도 6에서 나타낸 전방위 화상위치화일 (26)이 기록되어 있다. 우선, 위치정보와 기록번호를 꺼내어서, 쌍방향 통신수단 (10)을 통해서, 단말장치(13)의 촬상위치 표시수단(4)에 촬상위치를 표시한다. 촬상위치 표시수단(4)에 의해 표시된 촬상위치는 도 7과 마찬가지이다.
(스텝2-2)
(스텝2-1)에 있어서 촬상위치 표시수단(4)에 표시된 촬상위치를 확인한 유저는, 시선벡터 지시수단(33)에 의해 전촬상위치 중, 유저가 관측하기 원하는 관측경로와 각 관측경로에 있어서의 시선방향을 지정한다. 도 14가 시선벡터 지시수단 (33)에 의해 지시된 관측경로와 시선방향을 표시하고 있다. 관측경로가 실선화살표 (41), 시선방향으로 박스형 화살표(42)로 표시하고 있다. 관측경로의 지시입력은, 구체적으로는, 단말장치(13)의 표시화면이나 키보드(도시하지 않음)로부터 실시형태1과 동일하도록 입력한다.
(스텝2-3)
시선벡터 지시수단(33)에 의해 지시된 관측경로와 시선방향 즉 앙각과 방위각을, 쌍방향 통신수단(10)을 통해서 화상추출 변환수단(34)에 보낸다.
(스텝2-4)
화상추출 변환수단(34)은, 전방위 화상위치 기억수단(3)으로부터, 시선벡터 지시수단(33)으로부터 보내진 관측경로에 대응하는 전방위 화상(24)을 호출한다.
(스텝2-5)
화상추출 변환수단(34)은, (스텝2-4)에서 얻어진 전방위 화상(24)과 (스텝2-3)에서 얻어진 시선방향을 이용하여, 도 11에 나타낸 윈도우화상(29)을 작성한다. 여기서는, 도 9에 나타낸 전개화상(27)을 반듯이 작성할 필요는 없고 전방위 화상 (24)으로부터 직접 윈도우화상(29)을 작성하는 것이 요망된다.
작성된 윈도우화상(29)은, 관측경로의 순서에 따라서 재정렬되고, 화상압축수단(35)에 보내진다.
(스텝2-6)
화상압축수단(35)에서는, (스텝2-5)에서 얻어진 윈도우화상(29)의 열에 대해서, 화상압축을 행하므로써 신호양을 삭감을 행한다. 윈도우화상(29)은 관측경로 순 즉 표시순으로 재정렬되어 있기 때문에, 화상압축은 동화상압축을 행하는 것이 가능하고, 예컨대, MPEG에 의한 동화상압축을 행한다. 압축 후의 신호을 쌍방향 통신수단(10)을 통해서 단말장치(13)측의 화상복원수단(36)에 보낸다.
(스텝2-7)
화상복원수단(36)에서는, 화상압축수단(35)으로부터 보내진 화상을 일차 백업(도시하지 않음)에 축적하여 복원하고, 화상표시수단(9)에 보내서 화상표시를 행한다.
이와 같이 실시형태2에 의하면, 전방위 화상(24)을 촬상한 위치를 미리 유저에 지시하고, 불필요한 경로의 정보를 제거한 필요한 시점위치와 시선방향을 지정하므로써, 표시에 필요한 화상만을 송신할 수 있다.
게다가, 화상을 압축하여 송신하기 때문에, 통신하는 데이터의 양을 더욱 적게 할 수 있다.
또한, 유저측(단말장치(13)측)에서는, 화상복원의 처리만큼으로 화상의 변환처리에 의한 연산이 발생하지 않으므로, 균일한 시간간격으로 화상의 표시가 행해지고, 표시재생의 매끄러움이 손실되지 않고 높은 임장감이 얻어진다.
(실시형태3)
도 15 내지 도 17은 실시형태3을 나타낸다.
도 15는 실시형태3의 전방위 영상장치를 나타낸다.
이 실시형태3은 실시형태2의 단말장치(13)측의 촬상위치 표시수단(4)을 대신하여 지도데이터 기억수단(37)과 합성위치 표시수단(38)이 설치되어 있는 점만이 다르고, 그 외는 실시형태2와 동일하다.
실시형태3의 지도데이터 기억수단(37)에는, 전방위 화상촬상수단에 의해 촬상된 지역의 지도데이터가 미리 입력되어 있다. 합성위치 표시수단(38)은, 쌍방향 통신수단(10)을 통해서 공급센터(12)측의 전방위 화상위치 기억수단(3)과 접속되어 있고, 실시형태1 실시형태2와 동일하도록 전방위 화상위치 기억수단(3)에 기억된 촬상위치를 단말장치(13)측에서 표시함과 아울러, 그 동일한 화면 상에 상기 지도데이터 기억수단(37)에 기억된 지도정보를 합성하여 표시한다.
도 16은 합성위치 표시수단(38)에서의 표시포맷을 표시한다. 도 5에도 나타내는 바와 같이, 25a, 25b, 25c는 경로 상에 있는 건축물의 위치를 나타내고 있다. 이와 같이, 이동경로뿐만 아니라, 지도데이터를 원래 건축물의 소재위치 등의 지도정보가 부가되어 표시된다.
도 17은 시점벡터 지시수단(33)에 의해 지시된 관측경로와 시선방향을 나타낸다. 도 17의 화살표(41)가 관측경로이고, 박스형 화살표(42)가 시선방향이다. 예컨대, 유저가 건축물(25a, 25b, 25c)을 관측하고 싶은 경우, 미리 위치가 확인가능하므로, A, B, C, F의 지점을 통하는 관측경로를 선택하고, 건축물(25a, 25b, 25c)의 방향을 향한 시선방향을 지시한다.
이 실시형태3에 의하면, 전방위 화상을 촬상한 위치를 지도정보와 합성하여 표시하므로써, 촬상위치의 환경을 미리 인식할 수 있고, 유저의 기호에 따른 관측경로와 시선방향을 정확하게 지시할 수 있다.
또한, 지도데이터 기억수단(37)은 단말장치(13)의 내부에 있는 것으로 하였지만, 공급센터(12)의 내부, 또는, 쌍방향 통신장치에 접속한 다른 장치(도시않음)로부터 호출하여 사용하여도, 마찬가지의 효과가 얻어지는 것은 명백하다.
(실시형태4)
도 18 내지 도 20은 실시형태4를 나타낸다.
이 실시형태4에서는, 도 1에 나타낸 실시형태1의 촬상위치 표시수단(4)을 대시하여 지도데이터 기억수단(37)과 합성위치 표시수단(38)이 설치되고, 시점위치 지시수단(5)을 대신하여 대상물 지정수단(39)과 시점위치 연산수단(40)이 설치되어 있고, 그 외는 실시형태1과 동일하다. 지도데이터 기억수단(37)과 합성위치 표시수단(38)은 실시형태3과 동일하다.
대상물 지정수단(39)는, 합성위치 표시수단(38)에 의해 표시된 전촬상경로상에 있는 대상물(43)로부터, 관측하고 싶은 대상물(43)만을 지정하는 입력장치이다.
시점위치 연산수단(40)은, 대상물 지정수단(39)에 의해 지정된 대상물(43)의 위치로부터 최적의 경로를 연산하는 연산수단이다.
(스텝4-1)
전방위 화상위치 기억수단(3)으로부터 쌍방향 통신수단(10)을 통해서 위치정보와 기록번호를 수신한 합성위치 표시수단(38)은, 전방위 화상촬상수단(1)이 촬상한 지역의 지도데이터를 지도데이터 기억수단(37)으로부터 호출하고, 합성하여 표시한다.
합성위치 표시수단(38)에 의해 표시된 지도데이터를 부가한 경로도는, 도 16과 마찬가지이다. 도 5에 표시한 바와 같이, 25a, 25b, 25c는 경로 상에 있는 건축물의 위치를 표시하고 있다. 이와 같이, 이동경로뿐만 아니라, 지도데이터를 원래 건축물의 소재위치 등의 지도정보가 부가되어 표시된다.
(스텝4-2-(1))
(스텝4-1)에 있어서 합성위치 표시수단(38)에 표시된 전촬상위치를 확인한 유저는, 대상물 지정수단(39)에 의해, 합성위치 표시수단(38)에 표시된 촬상위치의 경로 도중의 관측하고 싶은 대상물(43)만을 지정한다.
대상물 지정수단(39)에 의해 복수의 대상물(43)을 지정한 결과를 도 19에 나타낸다. 박스형 화살표(43)가 지정한 대상물(43)을 표시하고 있고, 도 19에서는 건축물(25a, 25c)이 지정된 경우를 표시한다.
(스텝4-2-(2))
도 18의 시점위치 연산수단(40)은, 도 19과 같이 지정된 건축물(25a, 25c)을 관측하는 경로를 자동으로 연산한다.
도 20이 관측경로의 연산결과를 표시한 결과이다. 경로를 화살표(44)로 표시한다. 경로의 연산은, 예컨대, 도 19의 건축물(25a)과 건축물(25c)을 이어서 모든 경로를 연산하고, 그 중에서 가장 거리가 가까운 경로를 관측경로로서 결정한다. 경로의 연산은, 복수대상물 간의 경로를 연산가능한 방법이면, 다른 방법으로도 상관없다.
(스텝4-2-(2))에서 관측경로가 확정하였기 때문에, 이하의 스텝은, 실시형태1의 스텝(1-3)으로부터 스텝(1-6)과 마찬가지이다.
이 실시형태4에 의하면, 전방위 화상(24)을 촬상한 위치를 지도정보와 합성하여 표시하므로써, 촬상위치의 환경을 미리 인식할 수 있기 때문에, 유저의 기호에 따른 관측경로를 정확하게 지시할 수 있는 것에 추가로, 유저가 보고싶은 장소를 지정하는 것만으로 자동으로 경로가 작성가능하기 때문에, 시점위치를 입력함이 없이 간편하게 보고 싶은 장소의 화상이 재생가능하다.
또한, 관측경로를 자동으로 연산하여 시선방향은 유저가 지시하였지만, 관측경로로부터 바라본 대상물(43)의 방향도, 관측경로로부터 용이하게 추정할 수 있다. 따라서, 시점위치 연산수단(40)에 의해 관측경로와 시선방향을 계산에 의해 얻는 것도 가능하다. 그 경우에는, 실시형태2의 스텝(2-3)으로부터 스텝(2-7)의 처리와 마찬가지이다.
구체적으로는, 단말장치(13)에는, 대상물 지정수단(39)이 지정한 대상물(43)의 위치로부터 각 시점을 이어서 최적의 관측경로를 연산하여 시점정보를 출력함과 아울러 상기 관측경로로부터 바라본 대상물(43)의 방향을 추정하여 시선정보를 출력하는 연산수단을 설치하고, 공급센터(12)에는, 쌍방향 통신수단(10)을 통해서 상기 연산수단으로부터 지시된 시점정보와 시선정보에 기초하여 전방위 화상위치 기억수단(3)으로부터 필요한 화상데이터를 호출하여 전개화상에 데이터변환함과 아울러 전개화상(27)을 상기 시선정보에 따라 처리하는 화상추출 변환수단(34)을 설치하고, 단말장치(13)에는, 쌍방향 통신수단(10)을 통해서 화상추출 변환수단(34)으로부터 수신한 신호를 화상으로서 표시하는 화상표시수단(9)을 설치하여 구성한다.

Claims (11)

  1. 서비스영역 내를 이동하는 시점위치에 있어서 상기 시점위치의 주위의 화상을 촬영하고, 촬상한 촬상위치데이터와 대응시켜서 전방위 화상위치화일(26)로서 기록하고,
    전방위의 화상을 기록한 촬상위치데이터를 유저에 지시하고,
    유저가 지정한 상기 서비스영역 내의 시점정보에 기초하여 상기 전방위 화상위치화일(26)로부터 필요한 화상데이터를 호출하고,
    호출한 각 화상데이터를 유저가 지정하는 시선방향(42)에 기초하여 처리하여 화상을 출력하는 것을 특징으로 하는 전방위 영상출력방법.
  2. 공급센터(12)와 단말장치(13)가 통신하여, 상기 공급센터(12)로부터 필요한 화상데이터를 수신하여 화상을 출력함에 있어서,
    서비스영역 내를 이동하여 촬영한 시점위치에 있어서의 전방위의 화상과 이 화상을 촬영한 촬상위치데이터로 이루어지는 전방위 화상위치화일(26)을 보유하는 공급센터(12)로부터 상기 단말장치(13)에, 전방향의 화상을 촬영한 촬상위치데이터를 지시하고,
    이 지시된 이동경로에 있어서의 희망하는 시점정보를 공급센터(12)로 송신하고,
    단말장치(13)가 지정한 시점정보에 기초하여 공급센터(12)에서는, 전방위 화상위치화일(26)로부터 필요한 화상데이터를 호출하여 전개화상(27)에 데이터변환하여 단말장치(13)에 송신하고,
    단말장치(13)에서는 수신한 전개화상(27)을 희망하는 시선방향(42)에 따라서 처리하여 화상을 출력하는 것을 특징으로 하는 전방위 영상출력방법.
  3. 공급센터(12)와 단말장치(13)가 통신하여, 상기 공급센터(12)로부터 필요한 화상데이터를 수신하여 화상을 출력함에 있어서,
    서비스영역 내를 이동하여 촬상한 시점위치에 있어서의 전방위의 화상과 이 화상을 촬영한 촬상위치데이터로 이루어지는 전방위 화상위치화일(26)을 보유하는 공급센터(12)로부터 상기 단말장치(13)에, 전방향의 화상을 촬영한 촬상위치데이터를 단말장치(13)에 지시하고,
    이 지시된 이동경로에 있어서의 희망하는 시점정보와 시선정보를 공급센터 (12)로 송신하고,
    공급센터(12)에서는, 수신한 시점정보에 기초하여 전방위 화상위치화일(26)로부터 필요한 화상데이터를 호출하여 이것을 단말장치(13)가 지정한 상기 시선정보에 기초하여 화상처리하여 윈도우화상(29)에 변환하여 단말장치(13)에 송신하고, 단말장치(13)에서 화상을 출력하는 것을 특징으로 하는 전방위 영상출력방법.
  4. 제 3항에 있어서, 공급센터(12)로부터 단말장치(13)에, 전방향의 화상을 기록한 촬상위치데이터를 지시하는 경우에, 서비스영역의 지도와 상기 촬영위치데이터를 합성하여 표시하는 것을 특징으로 하는 전방위 영상출력방법.
  5. 제 2항에 있어서, 공급센터(12)로부터 상기 단말장치(13)에, 전방향의 화상을 기록한 촬상위치데이터를 지시하는 경우에, 단말장치에서는 서비스영역의 지도와 상기 촬영위치데이터를 합성하여 표시하고,
    단말장치(13)에서는 이 표시된 전촬상경로 상에 있는 대상물(43) 중에서 지정된 대상물(43)의 위치로부터 각 시점을 이어서 최적의 경로를 연산하고,
    이 연산결과에 기초하여 공급센터(12)에서는, 전방위 화상위치화일(26)로부터 필요한 화상데이터를 호출하여 전개화상(27)에 데이터변환하여 단말장치(13)에 송신하고,
    희망하는 시점위치의 전개화상(27)을 수신한 단말장치(13)에서는 희망하는 시선방향(42)을 따라 전개화상(27)을 처리하여 화상을 출력하는 것을 특징으로 하는 전방위 영상출력방법.
  6. 제 2항에 있어서, 공급센터(12)로부터 단말장치(13)에, 전방향의 화상을 기록한 촬상위치데이터를 지시하는 경우에, 단말장치에서는 서비스영역의 지도와 상기 촬영위치데이터를 합성하여 표시하고,
    단말장치(13)에서는 이 표시된 전촬상경로 상에 있는 대상물(43) 중에서 지정된 대상물(43)의 위치로부터 각 시점을 이어서 최적의 경로와, 그 관측경로(41)로부터 바라본 대상물(43)의 시선방향(42)을 연산하여 공급센터(12)에 송신하고,
    이 연산결과의 관측경로(41)에 기초하여 공급센터(12)에서는, 전방위 화상위치화일로부터 필요한 화상데이터를 호출하여, 이것을 상기 연산결과의 시선정보에 기초해서 화상처리하여 윈도우화상(29)에 변환하여 단말장치(13)에 송신하고, 단말장치(13)에서 화상을 출력하는 것을 특징으로 하는 전방위 영상출력방법.
  7. 공급센터(12)와 단말장치(13)가 통신하여, 상기 공급센터(12)로부터 필요한 화상데이터를 수신하여 화상을 출력하는 전방위 영상출력장치로서,
    공급센터(12)에는, 서비스영역 내를 이동하여 촬영한 시점위치에 있어서의 전방위의 화상과 이 화상을 촬영한 촬상위치데이터로 이루어지는 전방위 화상위치화일(26)을 보유하는 전방위 화상위치 기억수단(3)을 설치하고,
    공급센터(12)와 단말장치(13) 간의 정보의 송수신을 실행하는 쌍방향 통신수단(10)과,
    단말장치(13)에는, 상기 쌍방향 통신수단(10)을 통해서 상기 전방위 화상위치 기억수단(3)으로부터 판독한 전방향의 화상을 촬영한 촬상위치데이터를 표시하는 촬상위치 표시수단(4)을 설치하고,
    단말장치(13)에는, 상기 촬상위치 표시수단(4)의 표시에 기초하여 이동경로에 있어서의 희망하는 시점정보를 출력하는 시점위치 지시수단(5)을 설치하고,
    공급센터(12)에는, 상기 쌍방향 통신수단(10)을 통해서 상기 시점위치 지시수단(5)으로부터 지시된 시점정보에 기초하여 상기 전방위 화상위치 기억수단(3)으로부터 필요한 화상데이터를 호출하여 전개화상(27)에 데이터변환하는 화상변환수단(6)을 설치하고,
    단말장치(13)에는, 상기 쌍방향 통신수단(10)을 통해서 화상변환수단(6)으로부터 수신한 전개화상(27)을 희망하는 시선방향(42)을 따라 처리하는 화상처리수단 (8)과, 화상처리수단(8)을 출력하는 윈도우화상(29)을 표시하는 화상표시수단(9)을 설치한 것을 특징으로 하는 전방위 영상출력장치.
  8. 공급센터(12)와 단말장치(13)가 통신하여, 상기 공급센터(12)로부터 필요한 화상데이터를 수신하여 화상을 출력하는 전방위 영상출력장치로서,
    공급센터(12)에는, 서비스영역 내를 이동하여 촬영한 시점위치에 있어서의 전방위의 화상과 이 화상을 촬영한 촬상위치데이터로 이루어지는 전방위 화상위치화일(26)을 보유하는 전방위 화상위치 기억수단(3)을 설치하고,
    공급센터(12)와 단말장치(13) 간의 정보의 송수신을 실행하는 쌍방향 통신수단(10)과,
    단말장치(13)에는, 상기 쌍방향 통신수단(10)을 통해서 상기 전방위 화상위치 기억수단(3)으로부터 판독한 전방향의 화상을 촬영한 촬상위치데이터를 표시하는 촬상위치 표시수단(4)을 설치하고,
    단말장치(13)에는, 상기 촬상위치 표시수단(4)의 표시에 기초하여 이동경로에 있어서의 희망하는 시점정보와 시선정보를 출력하는 시선벡터 지시수단(33)을 설치하고,
    공급센터(12)에는, 상기 쌍방향 통신수단(10)을 통해서 상기 시선벡터 지시수단(33)으로부터 수신한 시점정보에 기초하여 상기 전방위 화상위치 기억수단(3)으로부터 필요한 화상데이터를 호출하여 이것을 상기 시선벡터 지시수단(33)으로부터 수신한 시선정보에 기초해서 화상처리하여 출력하는 화상추출 변환수단(34)을 설치하고,
    단말장치(13)에는, 상기 쌍방향 통신수단(10)을 통해서 공급센터(12)측으로부터 수신한 신호를 화상으로서 표시하는 화상표시수단(9)을 설치한 것을 특징으로 하는 전방위 영상출력장치.
  9. 공급센터(12)와 단말장치(13)가 통신하여, 상기 공급센터(12)로부터 필요한 화상데이터를 수신하여 화상을 출력하는 전방위 영상출력장치로서,
    공급센터(12)에는, 서비스영역 내를 이동하여 촬영한 시점위치에 있어서의 전방위의 화상과 이 화상을 촬영한 촬상위치데이터로 이루어지는 전방위 화상위치화일(26)을 보유하는 전방위 화상위치 기억수단(3)을 설치하고,
    공급센터(12)와 단말장치(13) 간의 정보의 송수신을 실행하는 쌍방향 통신수단(10)과,
    단말장치(13)에는, 서비스영역의 지도가 등록된 지도데이터 기억수단(37)을 설치하고,
    단말장치(13)에는, 상기 지도데이터 기억수단(37)으로부터 판독한 지도와 상기 쌍방향 통신수단(10)을 통해서 상기 전방위 화상위치 기억수단(3)으로부터 판독한 전방향의 화상을 촬영한 촬상위치데이터를 중복해서 표시하는 합성위치 표시수단(38)을 설치하고,
    단말장치(13)에는, 상기 합성위치 표시수단(38)의 표시에 기초하여 이동경로에 있어서의 희망하는 시점정보와 시선정보를 출력하는 시선벡터 지시수단(33)을 설치하고,
    공급센터(12)에는, 상기 쌍방향 통신수단(10)을 통해서 상기 시선벡터 지시수단(33)으로부터 수신한 시점정보에 기초하여 상기 전방위 화상위치 기억수단(3)으로부터 필요한 화상데이터를 호출하여 이것을 상기 시선벡터 지시수단(33)으로부터 수신한 시선정보에 기초해서 화상처리하여 윈도우화상(29)에 변환하는 화상추출 변환수단(34)을 설치하고,
    단말장치(13)에는, 상기 쌍방향 통신수단(10)을 통해서 공급센터(12)측으로부터 수신한 윈도우화상(29)을 표시하는 화상표시수단(9)을 설치한 것을 특징으로 하는 전방위 영상출력장치.
  10. 공급센터(12)와 단말장치(13)가 통신하여, 상기 공급센터(12)로부터 필요한 화상데이터를 수신하여 화상을 출력하는 전방위 영상출력장치로서,
    공급센터(12)에는, 서비스영역 내를 이동하여 촬영한 시점위치에 있어서의 전방위의 화상과 이 화상을 촬영한 촬상위치데이터로 이루어지는 전방위 화상위치화일(26)을 보유하는 전방위 화상위치 기억수단(3)을 설치하고,
    공급센터(12)와 단말장치(13) 간의 정보의 송수신을 실행하는 쌍방향 통신수단(10)과,
    단말장치(13)에는, 서비스영역의 지도가 등록된 지도데이터 기억수단(37)을 설치하고,
    단말장치(13)에는, 상기 지도데이터 기억수단(37)으로부터 판독한 지도와 상기 쌍방향 통신수단(10)을 통해서 상기 전방위 화상위치 기억수단(3)으로부터 판독한 전방위의 화상을 촬영한 촬상위치데이터를 중복하여 표시하는 합성위치 표시수단(38)을 설치하고,
    단말장치(13)에는, 합성위치 표시수단(38)에 표시된 전촬상 경로 상에 있는 대상물(43) 중에서 지정된 대상물(43)을 지정하는 대상물 지정수단(39)을 설치하고,
    단말장치(13)에는, 상기 대상물 지성수단(39)이 지정한 대상물(39)의 위치로부터 각 시점을 이어서 최적의 경로를 연산하는 시점위치 연산수단(40)을 설치하고,
    공급센터(12)에는, 상기 쌍방향 통신수단(10)을 통해서 상기 시점위치 연산수단(40)으로부터 지시된 시점정보에 기초하여 상기 전방위 화상위치 기억수단(3)으로부터 필요한 화상데이터를 호출하여 전개화상(27)에 데이터변환하는 화상변환수단(6)을 설치하고, 단말장치(13)에는, 상기 쌍방향 통신수단(10)을 통해서 화상변환수단(6)으로부터 수신한 전개화상(27)을 희망하는 시선방향을 따라 처리하는 화상처리수단(8)고, 화상처리수단(8)을 출력하는 윈도우화상(29)을 표시하는 화상표시수단(9)을 설치한 것을 특징으로 하는 전방위 영상출력장치.
  11. 공급센터(12)와 단말장치(13)가 통신하여, 상기 공급센터(12)로부터 필요한 화상데이터를 수신하여 화상을 출력하는 전방위 영상출력장치로서,
    공급센터(12)에는, 서비스영역 내를 이동하여 촬영한 시점위치에 있어서의 전방위의 화상과 이 화상을 촬영한 촬상위치데이터로 이루어지는 전방위 화상위치화일(26)을 보유하는 전방위 화상위치 기억수단(3)을 설치하고,
    공급센터(12)와 단말장치(13) 간의 정보의 송수신을 실행하는 쌍방향 통신수단(10)과,
    단말장치(13)에는, 서비스영역의 지도가 등록된 지도데이터 기억수단(37)을 설치하고,
    단말장치(13)에는, 상기 지도데이터 기억수단(37)으로부터 판독한 지도와 상기 쌍방향 통신수단을 통해서 상기 전방위 화상위치 기억수단(3)으로부터 판독한 전방위의 화상을 촬영한 촬상데이터를 중복하여 표시하는 합성위치 표시수단(38)을 설치하고,
    단말장치(13)에는, 합성위치 표시수단(38)에 표시된 전촬상경로 상에 있는 대상물(43) 중에서 지정된 대상물(43)을 지정하는 대상물 지정수단(39)을 설치하고,
    단말장치(13)에는, 상기 대상물 지정수단(39)이 지정한 대상물(43)의 위치로부터 각 시점을 이어서 최적의 관측경로(44)를 연산하여 시점정보를 출력함과 아울러 상기 관측경로(44)로부터 바라본 대상물(43)의 방향을 추정하여 시선정보를 출력하는 연산수단을 설치하고,
    공급센터(12)에는, 상기 쌍방향 통신수단(10)을 통해서 상기 연산수단으로부터 지시된 시점정보와 시선정보에 기초하여 상기 전방위 화상위치 기억수단(3)으로부터 필요한 화상데이터를 호출하여 전개화상(27)에 데이터변환함과 아울러 전개화상(27)을 상기 시선정보에 따라 처리하는 화상변환수단(6)을 설치하고,
    단말장치(13)에는, 상기 쌍방향 통신수단(10)을 통해서 화상변환수단(6)으로부터 수신한 신호를 화상으로서 표시하는 화상표시수단(9)을 설치한 것을 특징으로 하는 전방위 영상출력장치.
KR1020017002335A 1999-06-25 2000-06-19 전방위 영상출력방법과 장치 KR20010072917A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP99-179106 1999-06-25
JP11179106A JP2001008232A (ja) 1999-06-25 1999-06-25 全方位映像出力方法と装置
PCT/JP2000/004002 WO2001005154A1 (fr) 1999-06-25 2000-06-19 Procede de sortie video tous azimuts et dispositif associe

Publications (1)

Publication Number Publication Date
KR20010072917A true KR20010072917A (ko) 2001-07-31

Family

ID=16060138

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017002335A KR20010072917A (ko) 1999-06-25 2000-06-19 전방위 영상출력방법과 장치

Country Status (6)

Country Link
US (1) US6762789B1 (ko)
EP (1) EP1117256A4 (ko)
JP (1) JP2001008232A (ko)
KR (1) KR20010072917A (ko)
CN (1) CN1219402C (ko)
WO (1) WO2001005154A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100739686B1 (ko) * 2004-08-13 2007-07-13 경희대학교 산학협력단 영상 코딩 방법, 코딩 장치, 영상 디코딩 방법 및 디코딩장치

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1500352A (zh) * 2001-03-26 2004-05-26 株式会社迈希尔 响应用户动作处理运动图像的方法
JP2003069990A (ja) * 2001-06-13 2003-03-07 Usc Corp 遠隔映像認識システム
JP3951695B2 (ja) 2001-12-11 2007-08-01 ソニー株式会社 画像配信システムおよび方法、画像配信装置および方法、画像受信装置および方法、記録媒体、並びにプログラム
JP4010444B2 (ja) * 2002-02-28 2007-11-21 シャープ株式会社 全方位監視制御システム、全方位監視制御方法および全方位監視制御プログラム
JP4012749B2 (ja) * 2002-03-14 2007-11-21 国立大学法人 奈良先端科学技術大学院大学 遠隔操縦システム
JP4055201B2 (ja) * 2002-04-12 2008-03-05 ソニー株式会社 サービス提供システム、情報処理装置および方法、記録媒体、並びにプログラム
JP4211292B2 (ja) 2002-06-03 2009-01-21 ソニー株式会社 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体
JPWO2004004363A1 (ja) * 2002-06-28 2005-11-04 シャープ株式会社 画像符号化装置、画像送信装置および画像撮影装置
AU2003244156A1 (en) * 2002-06-28 2004-01-19 Sharp Kabushiki Kaisha Image data delivery system, image data transmitting device thereof, and image data receiving device thereof
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
AU2003236050A1 (en) * 2003-03-20 2004-10-11 Seijiro Tomita Panoramic picture creating method and device, and monitor system using the method and device
JP4141986B2 (ja) * 2003-07-17 2008-08-27 セイコーエプソン株式会社 視線誘導情報表示装置および視線誘導情報表示プログラム
CN100353748C (zh) * 2004-01-05 2007-12-05 仁宝电脑工业股份有限公司 利用实时影像为背景撷取对象的方法
TWI253292B (en) * 2004-03-23 2006-04-11 Yu-Lin Chiang Pano camera monitoring and tracking system and method thereof
JP4207883B2 (ja) * 2004-03-24 2009-01-14 セイコーエプソン株式会社 視線誘導度算出システム
JP2005327220A (ja) * 2004-05-17 2005-11-24 Sharp Corp イラスト図作成装置、イラスト図作成方法、制御プログラムおよび可読記録媒体
KR100679740B1 (ko) 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
JP2006262253A (ja) * 2005-03-18 2006-09-28 Sanyo Electric Co Ltd 画像転送装置
JP2006333132A (ja) * 2005-05-26 2006-12-07 Sony Corp 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム
JP4841864B2 (ja) * 2005-05-27 2011-12-21 寺田軌道株式会社 作業計画立案システム、画像表示装置およびプログラム
CN101472190B (zh) * 2007-12-28 2013-01-23 华为终端有限公司 多视角摄像及图像处理装置、***
WO2009131287A1 (en) * 2008-04-23 2009-10-29 Lg Electronics Inc. Method for encoding and decoding image of ftv
JP4787292B2 (ja) * 2008-06-16 2011-10-05 富士フイルム株式会社 全方位撮像装置
JP5031016B2 (ja) * 2009-12-07 2012-09-19 株式会社リコー 画像処理装置、画像処理方法およびプログラム
CN102395994B (zh) * 2010-03-18 2015-06-10 松下电器产业株式会社 全景图像处理装置及全景图像处理方法
US20120208168A1 (en) * 2010-10-11 2012-08-16 Teachscape, Inc. Methods and systems relating to coding and/or scoring of observations of and content observed persons performing a task to be evaluated
JP5742210B2 (ja) * 2010-12-22 2015-07-01 ソニー株式会社 撮像装置、画像処理装置、画像処理方法およびプログラム
USD698363S1 (en) 2010-12-28 2014-01-28 Sony Corporation Display screen with a graphical user interface
KR101449748B1 (ko) * 2011-08-18 2014-10-13 엘지디스플레이 주식회사 입체영상 디스플레이장치 및 그 구동 방법
JP5868507B2 (ja) * 2011-09-08 2016-02-24 インテル・コーポレーション 視線に基づくオーディオビジュアル再生の位置選択
JP5870618B2 (ja) * 2011-10-21 2016-03-01 大日本印刷株式会社 自由視点映像表示装置
JP5845819B2 (ja) * 2011-11-02 2016-01-20 大日本印刷株式会社 動画提示装置
JP5920708B2 (ja) * 2012-02-29 2016-05-18 国立大学法人名古屋大学 多視点映像ストリーム視聴システムおよび方法
JP5861499B2 (ja) * 2012-03-01 2016-02-16 大日本印刷株式会社 動画提示装置
KR102045413B1 (ko) * 2013-01-16 2019-11-15 미츠오 하야시 영상 생성 장치, 영상 생성 프로그램이 저장된 매체, 및 영상 생성 방법
EP2779114A1 (en) 2013-03-11 2014-09-17 Dai Nippon Printing Co., Ltd. Apparatus for interactive virtual walkthrough
JP6060817B2 (ja) * 2013-05-31 2017-01-18 株式会社Ｊｖｃケンウッド 経路決定装置、経路決定方法、及び経路決定プログラム
US10616642B2 (en) * 2013-06-07 2020-04-07 Dap Realize Inc. Live video distribution system
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US20160182822A1 (en) * 2014-12-19 2016-06-23 Sony Corporation System, method, and computer program product for determiing a front facing view of and centering an omnidirectional image
WO2018004933A1 (en) * 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Apparatus and method for gaze tracking
US20180007422A1 (en) 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Apparatus and method for providing and displaying content
JP6977725B2 (ja) * 2016-08-03 2021-12-08 ソニーグループ株式会社 画像処理装置および画像処理方法
CN106445129A (zh) * 2016-09-14 2017-02-22 乐视控股（北京）有限公司 全景图像信息显示方法、装置及***
GB2556344A (en) * 2016-10-17 2018-05-30 Nctech Ltd Camera controller
KR102561860B1 (ko) * 2016-10-25 2023-08-02 삼성전자주식회사 전자장치 및 그 제어방법
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
CN108882018B (zh) * 2017-05-09 2020-10-20 阿里巴巴（中国）有限公司 虚拟场景中的视频播放、数据提供方法、客户端及服务器
US11093752B2 (en) * 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
CN107396085A (zh) * 2017-08-24 2017-11-24 三星电子（中国）研发中心 一种全视点视频图像的处理方法及***
JP7132730B2 (ja) * 2018-03-14 2022-09-07 キヤノン株式会社 情報処理装置および情報処理方法
US11284054B1 (en) * 2018-08-30 2022-03-22 Largo Technology Group, Llc Systems and method for capturing, processing and displaying a 360° video
WO2020184188A1 (ja) * 2019-03-08 2020-09-17 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP7423251B2 (ja) * 2019-10-25 2024-01-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3352475B2 (ja) 1992-10-13 2002-12-03 有限会社ジーティービー 画像表示装置
US5396583A (en) * 1992-10-13 1995-03-07 Apple Computer, Inc. Cylindrical to planar image mapping using scanline coherence
US5611025A (en) * 1994-11-23 1997-03-11 General Electric Company Virtual internal cavity inspection system
US5920337A (en) * 1994-12-27 1999-07-06 Siemens Corporate Research, Inc. Omnidirectional visual image detector and processor
JPH0962861A (ja) 1995-08-21 1997-03-07 Matsushita Electric Ind Co Ltd パノラマ映像装置
JPH09161096A (ja) 1995-12-06 1997-06-20 Matsushita Electric Ind Co Ltd ３次元画像表示制御装置
EP0797171B1 (en) * 1996-03-22 2005-11-30 Canon Kabushiki Kaisha Image processing method and apparatus
US5760826A (en) * 1996-05-10 1998-06-02 The Trustees Of Columbia University Omnidirectional imaging apparatus
JP3566530B2 (ja) 1998-01-08 2004-09-15 日本電信電話株式会社 空間散策映像表示方法及び空間内オブジェクト検索方法及び空間内オブジェクト抽出方法及びそれらの装置及びそれらの方法を記録した記録媒体
US6304285B1 (en) * 1998-06-16 2001-10-16 Zheng Jason Geng Method and apparatus for omnidirectional imaging

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100739686B1 (ko) * 2004-08-13 2007-07-13 경희대학교 산학협력단 영상 코딩 방법, 코딩 장치, 영상 디코딩 방법 및 디코딩장치

Also Published As

Publication number Publication date
US6762789B1 (en) 2004-07-13
CN1315114A (zh) 2001-09-26
WO2001005154A8 (fr) 2001-03-29
EP1117256A4 (en) 2005-12-28
CN1219402C (zh) 2005-09-14
EP1117256A1 (en) 2001-07-18
WO2001005154A1 (fr) 2001-01-18
JP2001008232A (ja) 2001-01-12

Similar Documents

Publication Publication Date Title
KR20010072917A (ko) 전방위 영상출력방법과 장치
JP6587113B2 (ja) 画像処理装置及び画像処理方法
KR101270893B1 (ko) 화상 처리 장치, 화상 처리 방법, 그 프로그램 및 그프로그램을 기록한 기록 매체와 촬상 장치
JP4098808B2 (ja) 遠隔映像表示方法、映像取得装置及びその方法とそのプログラム
JP4195991B2 (ja) 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
JP7192592B2 (ja) 撮像装置、画像通信システム、画像処理方法、プログラム
US11991477B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
US11310459B2 (en) Image capturing device, image capturing system, image processing method, and recording medium
JP2006333132A (ja) 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム
CN104321803A (zh) 图像处理装置、图像处理方法和程序
AU2014396467B2 (en) System and method for remote monitoring at least one observation area
JP4124995B2 (ja) 映像合成装置および情報処理方法
JP2008152374A (ja) 画像システム、撮影方位特定装置、撮影方位特定方法、プログラム
JP2000358240A (ja) 監視カメラ制御装置
JP3066594U (ja) 画像変換装置
JP2019024206A (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
US20240087157A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system
WO2024070763A1 (ja) 情報処理装置、撮影システム、情報処理方法、プログラム
JP2024064155A (ja) 映像合成用フレーム生成装置、映像合成装置及びプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid