KR20230028248A - 제어 장치, 투영 시스템, 제어 방법 및 프로그램 - Google Patents

제어 장치, 투영 시스템, 제어 방법 및 프로그램 Download PDF

Info

Publication number
KR20230028248A
KR20230028248A KR1020227041437A KR20227041437A KR20230028248A KR 20230028248 A KR20230028248 A KR 20230028248A KR 1020227041437 A KR1020227041437 A KR 1020227041437A KR 20227041437 A KR20227041437 A KR 20227041437A KR 20230028248 A KR20230028248 A KR 20230028248A
Authority
KR
South Korea
Prior art keywords
unit
projection
control
image
occupant
Prior art date
Application number
KR1020227041437A
Other languages
English (en)
Inventor
다카시 다카마츠
히로시 이마무라
세이시 도모나가
고지 나가타
도루 나가라
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20230028248A publication Critical patent/KR20230028248A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/40—Instruments specially adapted for improving the visibility thereof to the user, e.g. fogging prevention or anti-reflection arrangements
    • B60K35/405—Fogging prevention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2053—Intensity control of illuminating light
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/53—Means for automatic focusing, e.g. to compensate thermal effects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G03B21/60—Projection screens characterised by the nature of the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40—Hardware adaptations for dashboards or instruments
    • B60K2360/48—Sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741—Instruments adapted for user detection
    • B60K2370/21—
    • B60K2370/48—
    • B60K2370/741—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

제어 장치(50)는, 이동체(10) 내의 공간 상황을 검출하는 센서로부터 입력되는 공간 상황 정보에 기초하여, 이동체(10) 내의 공간에 마련된 프로젝터(20)가 소정의 투영면에 투영하는 영상의 상태를 제어하는 제어부(52)를 구비한다.

Description

제어 장치, 투영 시스템, 제어 방법 및 프로그램
본 개시는, 제어 장치, 투영 시스템, 제어 방법 및 프로그램에 관한 것이다.
자동차내에 있어서의 탑승자의 착좌 위치에 관계없이 적절한 재생음장을 자동적으로 제공하는 기술이 알려져 있다. 예를 들어, 하기 특허문헌 1에서는, 자동차내에 마련된 복수의 디스플레이의 각각의 전원의 온/오프 상태를 검출하고, 이 검출 결과에 따라서, 복수의 스피커의 재생음이 온 상태의 디스플레이를 이용하는 위치에서 적절해지도록 오디오 신호를 보정한다.
또한, 투영면에 영상을 투영하는 프로젝터에 있어서, 투영면과 프로젝터 사이의 인간 소재에 의해, 프로젝터의 투영 렌즈의 초점 거리를 조정하는 기술이 알려져 있다. 예를 들어, 하기 특허문헌 2에서는, 투영면과 프로젝터 사이에 인간의 소재를 감지한 경우, 인간의 소재가 감지되고 있는 동안, 투영 렌즈의 초점 거리가 직전의 상태로 고정되도록 포커스 조정을 행한다.
일본 특허 공개 제2005-88864호 공보 특허 제4955309호 공보
그런데, 근년, 이동체 내에 프로젝터 등의 투영 장치를 마련하고, 이동체 내에 영상을 투영함으로써 엔터테인먼트성을 높일 수 있는 기술이 요망되고 있다.
그러나, 상술한 특허문헌 1, 2에서는, 이동체 내에 탑승하는 탑승자에게 최적인 영상을 제공하는 것까지 생각되어 있지 않았다.
그래서, 본 개시에서는, 이동체 내의 탑승자에게 최적인 영상을 제공할 수 있는 제어 장치, 투영 시스템, 제어 방법 및 프로그램을 제안한다.
상기의 과제를 해결하기 위해, 본 개시에 관한 일 형태의 제어 장치는, 이동체 내의 공간 상황을 검출하는 센서로부터 입력되는 공간 상황 정보에 기초하여, 상기 이동체 내의 공간에 마련된 투영 장치가 소정의 투영면에 투영하는 영상의 상태를 제어하는 제어부를 구비한다.
도 1은 본 개시의 각 실시 형태에 적용되는 투영 시스템의 개략적인 측면도이다.
도 2는 본 개시의 각 실시 형태에 적용되는 투영 시스템의 개략적인 상면도이다.
도 3은 제1 실시 형태에 관한 투영 시스템의 기능 구성을 도시하는 블록도이다.
도 4는 제1 실시 형태에 관한 제어부의 상세한 기능 구성을 도시하는 블록도이다.
도 5는 제1 실시 형태에 관한 투영 시스템이 실행하는 처리의 개요를 나타내는 흐름도이다.
도 6은 이동체 내에 탑승자가 4명인 경우에 있어서의 프로젝터의 포커스 위치를 모식적으로 도시하는 도면이다.
도 7은 이동체 내의 전방석에 탑승자가 2명인 경우에 있어서의 프로젝터의 포커스 위치를 모식적으로 도시하는 도면이다.
도 8은 이동체 내의 전방석에 1명인 경우에 있어서의 프로젝터의 포커스 위치를 모식적으로 도시하는 도면이다.
도 9는 이동체 내의 후방석에 2명인 경우에 있어서의 프로젝터의 포커스 위치를 모식적으로 도시하는 도면이다.
도 10은 이동체 내의 전후에 2명인 경우에 있어서의 프로젝터의 포커스 위치를 모식적으로 도시하는 도면이다.
도 11은 이동체 내의 후방석에 1명인 경우에 있어서의 프로젝터의 포커스 위치를 모식적으로 도시하는 도면이다.
도 12는 제2 실시 형태에 관한 투영 시스템의 기능 구성을 도시하는 블록도이다.
도 13은 제2 실시 형태에 관한 제어부의 상세한 기능 구성을 도시하는 블록도이다.
도 14는 제2 실시 형태에 관한 투영 시스템이 실행하는 처리의 개요를 나타내는 흐름도이다.
도 15는 제3 실시 형태에 관한 투영 시스템의 기능 구성을 도시하는 블록도이다.
도 16은 제3 실시 형태에 관한 제어부의 상세한 기능 구성을 도시하는 블록도이다.
도 17은 제3 실시 형태에 관한 투영 시스템이 실행하는 처리의 개요를 나타내는 흐름도이다.
도 18은 제4 실시 형태에 관한 투영 시스템의 기능 구성을 도시하는 블록도이다.
도 19는 제4 실시 형태에 관한 제어부의 기능 구성을 도시하는 블록도이다.
도 20은 제4 실시 형태에 관한 투영 시스템이 실행하는 처리의 개요를 나타내는 흐름도이다.
도 21은 생성부가 생성하는 제어 신호에 기초하는 프로젝터가 투영하는 영상의 포커스 상태를 모식적으로 도시하는 도면이다.
도 22는 제5 실시 형태에 관한 투영 시스템의 기능 구성을 도시하는 블록도이다.
도 23은 제5 실시 형태에 관한 제어부의 기능 구성을 도시하는 블록도이다.
도 24는 제5 실시 형태에 관한 투영 시스템이 실행하는 처리의 개요를 나타내는 흐름도이다.
도 25는 제6 실시 형태에 관한 투영 시스템의 기능 구성을 도시하는 블록도이다.
도 26은 제6 실시 형태에 관한 제어부의 기능 구성을 도시하는 블록도이다.
도 27은 제6 실시 형태에 관한 투영 시스템이 실행하는 처리의 개요를 나타내는 흐름도이다.
도 28은 본 개시에 관한 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 도시하는 블록도이다.
도 29는 촬상부 및 차외 정보 검출부의 설치 위치의 예를 나타내는 도면이다.
이하에, 본 개시의 실시 형태에 대하여 도면에 기초하여 상세하게 설명한다. 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
또한, 설명은, 이하의 순서로 행하는 것으로 한다.
1. 투영 시스템의 구성
1-1. 투영 시스템의 개략 구성
1-2. 프로젝터의 구성
1-3. 센서 유닛의 구성
1-4. 콘텐츠 재생 장치의 구성
1-5. 제어 장치의 구성
1-6. 종래의 이동체 내에 마련된 프로젝터의 문제점
2. 제1 실시 형태
2-1. 투영 시스템의 기능 구성
2-2. 프로젝터의 구성
2-3. 센서 유닛의 구성
2-4. 제어 장치의 구성
2-4-1. 제어부의 기능 구성
2-5. 투영 시스템의 처리
2-6. 작용ㆍ효과
3. 제2 실시 형태
3-1. 투영 시스템의 기능 구성
3-2. 센서 유닛의 구성
3-3. 제어 장치의 구성
3-3-1. 제어부의 기능 구성
3-4. 투영 시스템의 처리
3-5. 작용ㆍ효과
4. 제3 실시 형태
4-1. 투영 시스템의 기능 구성
4-2. 센서 유닛의 구성
4-3. 제어 장치의 구성
4-3-1. 제어부의 기능 구성
4-4. 투영 시스템의 처리
4-5. 작용ㆍ효과
5. 제4 실시 형태
5-1. 투영 시스템의 기능 구성
5-2. 제어부의 기능 구성
5-3. 투영 시스템의 처리
5-4. 작용ㆍ효과
6. 제5 실시 형태
6-1. 투영 시스템의 기능 구성
6-2. 센서 유닛의 구성
6-3. 제어 장치의 구성
6-3-1. 제어부의 기능 구성
6-4. 투영 시스템의 처리
6-5. 작용ㆍ효과
7.제6 실시 형태
7-1. 투영 시스템의 기능 구성
7-2. 센서 유닛의 구성
7-3. 제어 장치의 구성
7-3-1. 제어부의 기능 구성
7-4. 투영 시스템의 처리
7-5. 작용ㆍ효과
8. 이동체에의 응용예
9. 결말
<1. 투영 시스템의 구성>
〔1-1. 투영 시스템의 개략 구성〕
도 1은, 본 개시의 각 실시 형태에 적용되는 투영 시스템의 개략적인 측면도이다. 도 2는, 본 개시의 각 실시 형태에 적용되는 투영 시스템의 개략적인 상면도이다.
도 1 및 도 2에 도시하는 투영 시스템(1)은 이동체(10)에 마련되고, 이동체(10) 내에 탑승한 탑승자에 대하여 영상을 제공하는 시스템이다. 여기서, 이동체(10)로서는, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇, 건설 기계, 농업 기계(트랙터) 등을 들 수 있다. 이하에 있어서는, 이동체(10)로서, 자동차를 예로 들어 설명한다. 또한, 도 1 및 도 2에서는, 이동체(10)에 탑승 가능한 인원수를 6명(6석)으로서 설명하지만, 이것에 한정되지 않고, 예를 들어, 2명(2석)이나 4명(4석)이어도 적용할 수 있다.
도 1 및 도 2에 도시하는 투영 시스템(1)은, 프로젝터(20)와, 센서 유닛(30)과, 콘텐츠 재생 장치(40)와, 제어 장치(50)를 구비한다.
〔1-2. 프로젝터의 구성〕
먼저, 프로젝터(20)의 구성에 대하여 설명한다.
프로젝터(20)는, 제어 장치(50)의 제어 하에, 이동체(10) 내에 있어서, 탑승자 전원에게 시인 가능하도록 이동체(10)의 자유 곡면을 갖는 천장(11) 및 백미러부(15)(선바이저)인 투영면을 향하여 영상을 투영한다. 프로젝터(20)는 이동체(10)에 있어서, 탑승자의 동선 상에 걸리지 않는 위치인 뒷좌석(13)의 후방, 또한 상측에 배치되어 이루어진다. 구체적으로는, 도 1 및 도 2에 도시한 바와 같이, 프로젝터(20)는 뒷좌석(13)의 후방, 또한, 뒷좌석(13)의 견부(131)보다 상측에 배치되어 이루어진다. 또한, 프로젝터(20)는 이동체(10)의 전방 상측 방향의 천장(11)에 영상을 투영 가능하도록 이동체(10) 내에 배치되어 이루어진다. 또한, 본 개시의 각 실시 형태에서는, 프로젝터(20)가 투영 장치로서 기능한다. 또한, 도 1 및 도 2에서는, 프로젝터(20)는 이동체(10)에 대하여 착탈 자재여도 된다. 또한, 도 1 및 도 2에서는, 프로젝터(20)는 이동체(10)의 긴 방향을 향하여 영상을 투영하고 있지만, 이것에 한정되지 않고, 이동체(10)의 짧은 방향을 향하여 영상을 투영하는 구성이어도 된다. 또한, 도 1 및 도 2에서는, 프로젝터(20)는 이동체(10)에 1개만 마련되어 있지만, 예를 들어, 이동체(10) 내에 복수 마련해도 되고, 이동체(10) 외부에 마련하고, 이동체(10) 내에 영상을 투영하도록 해도 된다. 또한, 프로젝터(20)의 설치 장소는, 뒷좌석(13)의 후방에 한정되지 않고, 예를 들어, 이동체(10)의 천장이어도 되고, 적절히 변경할 수 있다. 또한, 프로젝터(20)의 상세한 구성에 대해서는, 후술한다.
〔1-3. 센서 유닛의 구성〕
다음에, 센서 유닛(30)의 구성에 대하여 설명한다.
센서 유닛(30)은 이동체(10) 내의 탑승자의 인원수 및 착좌 위치의 각각을 검출하고, 이 검출 결과를 제어 장치(50)로 출력한다. 센서 유닛(30)은 이동체(10) 내에 복수 배치되어 이루어진다. 구체적으로는, 센서 유닛(30)은 이동체(10)의 A 필러부(14), 백미러부(15), B 필러부(16) 및 센터 콘솔(17)에 배치되어 이루어진다. A 필러부(14) 및 백미러부(15)에 배치되어 이루어지는 센서 유닛(30)은 이동체(10)의 앞좌석(12)의 탑승자 및 착좌 위치를 검출한다. 또한, B 필러부(16) 및 센터 콘솔(17)에 배치되어 이루어지는 센서 유닛(30)은 뒷좌석(13)의 탑승자 및 착좌 위치를 검출한다. 센서 유닛(30)은 컬러 화상 데이터를 촬상 가능한 카메라, 시차를 갖는 시차 화상 데이터를 스테레오 카메라, 깊이 정보를 갖는 거리 화상 데이터를 촬상 가능한 TOF(Time of Flight) 카메라(센서), 탑승자의 시선을 검출 가능한 시선 검출 센서 등을 사용하여 실현된다. 또한, 센서 유닛(30)은 이동체(10)의 뒷좌석(13)의 후방에 마련되고, 이동체(10)의 내부 공간의 형상을 검출 가능한 스테레오 카메라나 TOF 카메라 등을 더 마련해도 된다. 또한, 센서 유닛(30)의 구성에 대해서는, 후술한다.
〔1-4. 콘텐츠 재생 장치의 구성〕
다음에, 콘텐츠 재생 장치(40)의 구성에 대하여 설명한다.
콘텐츠 재생 장치(40)는, 제어 장치(50)의 제어 하에, 프로젝터(20)에 콘텐츠 데이터를 포함하는 각종 정보를 출력한다. 콘텐츠 재생 장치(40)는, 예를 들어, HDD(Hard Disk Drive), SSD(Solid State Drive), 메모리 카드, DVD 등에 저장된 영상 데이터 등의 콘텐츠 데이터를 판독하고, 판독한 콘텐츠 데이터를 소정의 포맷으로 변환하여 프로젝터(20)로 출력한다. 여기서, 콘텐츠 데이터는, 영상 데이터 이외에도, 지도 데이터, 텍스트 데이터 및 도형 데이터 등이 포함된다. 또한, 콘텐츠 재생 장치(40)는 네트워크를 통하여 외부의 서버로부터 콘텐츠 데이터를 취득하고, 취득한 콘텐츠 데이터를 프로젝터(20)에 출력하도록 해도 된다. 물론, 콘텐츠 재생 장치(40)는 휴대 전화를 통해 입력된 콘텐츠 데이터를 프로젝터(20)에 출력해도 된다. 또한, 콘텐츠 재생 장치(40)는 이동체(10)의 위치 정보를 표시하는 내비게이션 시스템 등을 사용하여 실현해도 된다.
〔1-5. 제어 장치의 구성〕
다음에, 제어 장치(50)의 구성에 대하여 설명한다.
제어 장치(50)는 이동체(10)를 포함하는 투영 시스템(1)을 구성하는 각 부를 제어한다. 제어 장치(50)는, 예를 들어, 이동체(10)의 ECU(Electronic Control Unit)의 일부로서 기능한다. 구체적으로는, 제어 장치(50)는 이동체(10) 내에 있어서의 각종 센서로부터 각종 정보를 취득하고, 다른 ECU와 연계함으로써 이동체(10)를 포함하는 투영 시스템(1)을 통괄적으로 제어한다. 제어 장치(50)는 센서 유닛(30)이 검출한 이동체(10)의 공간 상황을 나타내는 공간 상황 정보에 기초하여, 프로젝터(20)가 투영하는 영상의 상태를 제어한다. 구체적으로는, 제어 장치(50)는 센서 유닛(30)이 검출한 이동체(10)의 공간 상황을 나타내는 공간 상황 정보에 기초하여, 프로젝터(20)가 투영면에 투영하는 영상의 포커스 상태를 제어한다. 또한, 제어 장치(50)의 상세한 구성은, 후술한다.
〔1-6. 종래의 이동체 내에 마련된 프로젝터의 문제점〕
프로젝터(20)를 포함하는 종래의 투영 장치는, 투영면이 평면을 상정하고 있다. 이 때문에, 종래의 투영 장치는, 자유 국면을 이루는 이동체(10)의 천장(11)을 향하여 대화면 투영을 상정하지 않는 데다가, 후방으로부터 전방을 향한 경사 투영을 상정하고 있지 않다. 이 결과, 종래의 투영 장치는, 이동체(10)에 설치한 경우, 투영된 영상(화상)이 탑승자의 착좌 위치, 예를 들어, 탑승자의 전후의 위치에 의해 화질이 바뀌어 버린다.
또한, 종래의 투영 장치에서는, 탑승자가 투영면으로부터 소정의 거리 이격되어 시청하고 있다. 그러나, 종래의 투영 장치는, 이동체(10) 내에 설치한 경우, 탑승자가 영상을 시인하는 거리도 다가오므로, 영상의 차이, 좋고 나쁨이 파악되기 쉬워진다.
또한, 이동체(10)에 탑승하는 탑승자는, 이동체(10)를 이용하는 장면에서, 인원수 및 착좌 위치도 바뀐다. 이 때문에, 종래의 투영 장치는, 이동체(10) 내에 있어서의 탑승자의 인원수 및 착좌 위치에 대응시켜서 영상을 투영할 필요가 있다. 그러나, 종래의 투영 장치에서는, 이동체(10) 내에 있어서의 탑승자의 인원수 및 착좌 위치에 대하여 전혀 고려되어 있지 않다.
이와 같이, 종래의 투영 장치에서는, 이동체(10) 내에 설치한 경우, 이동체(10) 내의 탑승자에게 최적인 영상을 제공하는 것까지 생각되어 있지 않았다.
<2. 제1 실시 형태>
〔2-1. 투영 시스템의 기능 구성〕
다음에, 제1 실시 형태에 관한 투영 시스템(1)의 기능 구성에 대하여 설명한다. 도 3은, 제1 실시 형태에 관한 투영 시스템(1)의 기능 구성을 도시하는 블록도이다.
도 3에 도시한 바와 같이, 투영 시스템(1)은 프로젝터(20)와, 센서 유닛(30)과, 콘텐츠 재생 장치(40)와, 제어 장치(50)를 구비한다.
〔2-2. 프로젝터의 구성〕
먼저, 프로젝터(20)의 구성에 대하여 설명한다.
프로젝터(20)는 표시용 드라이버(21)와, 표시용 디바이스(22)와, 광원부(23)와, 투영 렌즈(24)와, 구동용 드라이버(25)와, 광학 디바이스 구동부(26)와, 프로젝터 제어부(27)를 구비한다.
표시용 드라이버(21)는 프로젝터 제어부(27)의 제어 하에, 콘텐츠 재생 장치(40)로부터 입력되는 콘텐츠 데이터에 대하여 소정의 화상 처리를 행하여 표시용 디바이스(22)로 출력한다. 여기서, 소정의 화상 처리란, 게인 처리, 화이트 밸런스 처리, 포맷 변환 처리 등이다. 표시용 드라이버(21)는 메모리와, CPU(Central Processing Unit), FPGA(Field-Programmable Gate Array) 또는 DSP(Digital Signal Processor) 등의 하드웨어를 갖는 프로세서를 사용하여 실현된다.
표시용 디바이스(22)는 표시용 드라이버(21)로부터 입력된 콘텐츠 데이터에 대응하는 영상 또는 화상을 표시한다. 표시용 디바이스(22)는 액정이나 유기 EL(Electro Luminescence) 등의 표시 패널을 사용하여 실현된다.
광원부(23)는 프로젝터 제어부(27)의 제어 하에, 표시용 디바이스(22)의 표시면을 향하여 조명광을 조사한다. 광원부(23)는 크세논 램프나 LED(Light Emitting Diode) 램프 및 하나 또는 복수의 렌즈, 프리즘 및 미러 등을 사용하여 실현된다.
투영 렌즈(24)는 표시용 디바이스(22)의 표시면에서 반사한 반사광을 투영면을 향하여 투영(출사)한다. 투영 렌즈(24)는 하나 또는 복수의 렌즈 및 프리즘 등을 사용하여 실현된다. 또한, 투영 렌즈(24)는 광로 L1을 따라서 이동 가능하게 마련된다.
구동용 드라이버(25)는 프로젝터 제어부(27)의 제어 하, 광학 디바이스 구동부(26)를 구동하기 위한 구동 신호를 생성하고, 이 생성한 구동 신호를 광학 디바이스 구동부(26)로 출력한다. 구동용 드라이버(25)는, 예를 들어, PWM 펄스 회로 등을 사용하여 실현된다.
광학 디바이스 구동부(26)는 구동용 드라이버(25)로부터 입력되는 구동 신호에 따라서, 투영 렌즈(24)를 광로 L1을 따라서 이동시킴으로써, 프로젝터(20)의 포커스 상태 및 영상의 투영 면적을 조정한다. 구체적으로는, 광학 디바이스 구동부(26)는 투영 렌즈(24)의 핀트 렌즈를 광로 L1을 따라서 이동시킴으로써 프로젝터(20)가 투영하는 영상의 핀트 위치를 조정한다. 광학 디바이스 구동부(26)는 펄스 모터, 보이스 코일 모터 및 DC 모터 등을 사용하여 실현된다. 또한, 광학 디바이스 구동부(26)는 투영 렌즈(24)가 틸트 렌즈(초점 맞춤이 가능한 틸트 시프트 렌즈)를 사용하여 구성되어 있는 경우, 투영 렌즈(24)의 광축을 틸트 방향, 틸트 방향 및 시프트 방향 중 어느 것을 향함으로써 프로젝터(20)가 투영하는 영상의 핀트 위치를 조정하도록 하면 된다.
프로젝터 제어부(27)는, 후술하는 제어 장치(50)로부터 입력되는 제어 신호에 기초하여, 구동용 드라이버(25)를 제어하고, 투영 렌즈(24)를 광로 L1을 따라서 이동시킴으로써, 프로젝터(20)가 투영면에 투영하는 영상의 포커스 상태를 제어한다. 프로젝터 제어부(27)는 메모리와, CPU, FPGA 또는 DSP 등의 하드웨어를 갖는 프로세서를 사용하여 실현된다.
〔2-3. 센서 유닛의 구성〕
다음에, 센서 유닛(30)의 기능 구성에 대하여 설명한다.
센서 유닛(30)은, 적어도 카메라(31)를 구비한다.
카메라(31)는 하나 또는 복수의 렌즈를 갖는 광학계와, 이 광학계가 결상한 피사체상을 수광함으로써 컬러의 화상 데이터를 생성하는 CCD(Charge Coupled Device) 센서나 CMOS(Complementary Metal Oxide Semiconductor) 센서 등의 촬상 소자를 갖는다. 또한, 촬상 소자의 수광면에는, 베이어 배열의 컬러 필터가 배치되어 이루어진다. 카메라(31)는, 제어 장치(50)의 제어 하에, 이동체(10) 내를 소정의 프레임 레이트에 따라서 촬상함으로써 컬러의 화상 데이터를 제어 장치(50)로 순차 출력한다.
〔2-4. 제어 장치의 구성〕
다음에, 제어 장치(50)의 기능 구성에 대하여 설명한다.
제어 장치(50)는 입력부(51)와, 제어부(52)와, 출력부(53)를 구비한다.
입력부(51)는 센서 유닛(30)으로부터 입력된 공간 상황 정보를 제어부(52)로 출력한다. 구체적으로는, 입력부(51)는 센서 유닛(30)의 카메라(31)로부터 입력된 화상 데이터 및 각종 정보가 입력되고, 입력된 화상 데이터 및 각종 정보를 제어부(52)로 출력한다. 입력부(51)는, 예를 들어, 입력 I/F 회로나 HDMI(등록 상표) 입력 단자 등을 사용하여 실현된다.
제어부(52)는 입력부(51)로부터 입력된 공간 상황 정보에 기초하여, 프로젝터(20)가 투영하는 영상의 상태를 제어하기 위한 제어 신호를 생성하고, 이 제어 신호를 출력부(53)로 출력한다. 제어부(52)는 메모리와, CPU, FPGA 또는 DSP 등의 하드웨어를 구비하는 프로세서를 사용하여 실현된다. 또한, 제어부(52)의 상세한 구성에 대해서는, 후술한다.
출력부(53)는, 제어부(52)로부터 입력된 제어 신호를 프로젝터(20)로 출력한다. 출력부(53)는, 예를 들어, 출력 I/F 회로나 HDMI 출력 단자 등을 사용하여 실현된다.
〔2-4-1. 제어부의 기능 구성〕
다음에, 제어부(52)의 상세한 기능 구성에 대하여 설명한다.
도 4는, 제어부(52)의 상세한 기능 구성을 도시하는 블록도이다.
도 4에 도시한 바와 같이, 제어부(52)는 인식부(521)와, 메모리(522)와, 산출부(523)와, 생성부(524)를 갖는다.
인식부(521)는 입력부(51)로부터 입력된 공간 상황 정보에 기초하여, 이동체(10) 내에 있어서의 탑승자의 인원수 및 착좌 위치를 인식한다. 구체적으로는, 인식부(521)는 카메라(31)로부터 입력된 컬러 화상 데이터와, 메모리(522)에 기억된 이동체(10)의 이동체 정보에 기초하여, 주지의 템플릿 매칭 등을 행함으로써, 이동체(10) 내에 있어서의 탑승자의 인원수 및 착좌 위치를 인식한다. 여기서, 이동체 정보란, 이동체(10) 내가 무인 상태의 내부 공간을 나타내는 화상 데이터 및 이동체(10) 내의 내부 공간을 나타내는 공간 데이터(CAD 데이터) 등이다. 인식부(521)는 인식 결과를 산출부(523) 및 생성부(524)로 출력한다. 또한, 인식부(521)는 입력부(51)로부터 입력된 공간 상황 정보인 화상 데이터에 기초하여, 적어도 이동체(10)의 탑승자의 헤드의 위치 및 눈의 위치의 한쪽을 인식하고, 이 인식 결과를 산출부(523) 및 생성부(524)로 출력한다. 또한, 인식부(521)는 템플릿 매칭 등에 의해 이동체(10) 내에 있어서의 탑승자의 인원수, 착좌 위치, 헤드의 위치 및 눈의 위치 등을 인식(검출)하고 있지만, 예를 들어, 기계 학습된 학습 결과를 사용하여 탑승자의 인원수, 착좌 위치, 헤드의 위치 및 눈의 위치를 인식하도록 해도 된다.
메모리(522)는 이동체(10) 내의 공간 상황, 프로젝터(20)가 영상을 투영하는 투영면의 위치, 투영 영역 및 이동체(10)에 관한 이동체 정보를 기억한다. 메모리(522)는 휘발성 메모리 및 불휘발성 메모리 등을 사용하여 실현된다.
산출부(523)는 인식부(521)가 인식한 탑승자의 착좌 위치와 메모리(522)가 기억하는 프로젝터(20)가 투영하는 영상의 투영면과의 거리를, 탑승자원마다 산출하고, 이 산출 결과를 생성부(524)로 출력한다. 구체적으로는, 산출부(523)는 인식부(521)가 인식한 착좌하는 탑승자의 시점 위치(헤드의 중심 또는 눈의 위치)와, 프로젝터(20)가 투영하는 영상의 투영면과의 거리를 탑승자마다 산출하고, 이 산출 결과를 생성부(524)로 출력한다.
생성부(524)는 인식부(521)로부터 입력된 인식 결과와, 산출부(523)로부터 입력된 산출 결과에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 제어하는 제어 신호를 생성하고, 이 제어 신호를 프로젝터(20)로 출력한다. 구체적으로는, 생성부(524)는 인식부(521)가 인식한 탑승자의 인원수와, 탑승자의 착좌 위치에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 제어하기 위한 제어 신호를 생성한다. 보다 구체적으로는, 생성부(524)는 인식부(521)가 인식한 탑승자의 인원수와, 탑승자의 착좌 위치와, 산출부(523)가 산출한 탑승자원마다의 거리에 기초하여, 프로젝터(20)의 투영 렌즈(24)의 포커스 위치를 조정하는 제어 신호를 생성하고, 이 제어 신호를 프로젝터(20)로 출력한다. 또한, 생성부(524)는 인식부(521)가 인식한 탑승자의 인원수와, 탑승자의 착좌 위치와, 산출부(523)가 산출한 탑승자원마다의 거리에 기초하여, 프로젝터(20)가 투영하는 영상에 있어서 특정한 영역의 품질을 향상시키는 제어 신호를 생성하고, 이 제어 신호를 프로젝터(20)로 출력한다. 여기서, 영상의 품질이란, 영상의 균일성, 휘도(밝기의 조정) 및 해상도 등이다.
〔2-5. 투영 시스템의 처리〕
다음에, 투영 시스템(1)이 실행하는 처리에 대하여 설명한다.
도 5는, 투영 시스템(1)이 실행하는 처리의 개요를 나타내는 흐름도이다.
도 5에 도시한 바와 같이, 먼저, 입력부(51)는 카메라(31)로부터 컬러의 화상 데이터(RGB 컬러의 화상 데이터)를 취득한다(스텝 S101).
계속해서, 인식부(521)는 입력부(51)로부터 입력된 화상 데이터에 대하여 이동체(10)의 탑승자를 검출하는 탑승자 검출 처리를 행하고(스텝 S102), 이동체(10) 내에 탑승자가 있는 경우(스텝 S103: "예"), 투영 시스템(1)은, 후술하는 스텝 S104로 이행한다. 이에 반해, 이동체(10) 내에 탑승자가 없는 경우(스텝 S103: "아니오"), 투영 시스템(1)은, 본 처리를 종료한다.
스텝 S104에 있어서, 인식부(521)는 입력부(51)로부터 입력된 화상 데이터에 대하여 이동체(10)의 탑승자를 검출하는 탑승자 검출 처리를 행한 검출 결과에 기초하여, 이동체(10)의 탑승자의 인원수를 검출하는 인원수 검출 처리를 행한다. 이 경우, 인식부(521)는 탑승자의 인원수 이외에도, 이동체(10) 내에 있어서의 탑승자의 착좌 위치(탑승자의 절대 위치 또는 각 탑승자의 좌석마다 상대적인 위치) 및 각 탑승자의 시점 위치(헤드의 중심 위치 또는 눈의 위치)를 검출한다.
계속해서, 산출부(523)는 인식부(521)가 인식한 탑승자의 착좌 위치와 메모리(522)가 기억하는 프로젝터(20)가 투영하는 영상의 투영면과의 거리를, 탑승자원마다 산출하는 거리 산출 처리를 행한다(스텝 S105).
그 후, 생성부(524)는 인식부(521)로부터 입력된 인식 결과와, 산출부(523)로부터 입력된 산출 결과에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 제어하는 제어 신호를 생성한다(스텝 S106).
계속해서, 프로젝터 제어부(27)는, 제어 장치(50)로부터 입력된 제어 신호에 기초하여, 구동용 드라이버(25)를 제어하고, 광학 디바이스 구동부(26)를 구동함으로써, 투영 렌즈(24)를 광로 L1 상으로 이동시킴으로써, 프로젝터(20)가 투영면에 투영하는 영상의 포커스 위치를 조정한다(스텝 S107).
도 6은, 이동체(10) 내에 탑승자가 4명인 경우에 있어서의 프로젝터(20)의 포커스 위치를 모식적으로 도시하는 도면이다.
도 6에 도시한 바와 같이, 프로젝터 제어부(27)는, 제어 장치(50)로부터 입력된 제어 신호에 기초하여, 구동용 드라이버(25)를 제어하고, 광학 디바이스 구동부(26)를 구동함으로써, 4명의 탑승자 U1 내지 U4의 시선이 쏠리는 영역이며, 프로젝터(20)가 투영하는 투영면 W1(투영 범위)의 중앙부의 영역에 포커스 위치 P1(핀트 위치)이 맞도록, 투영 렌즈(24)를 광로 L1 상으로 이동시킨다. 또한, 프로젝터 제어부(27)는, 제어 장치(50)로부터 입력된 제어 신호에 기초하여, 표시용 드라이버(21)를 제어하고, 표시용 디바이스(22)를 구동함으로써, 투영면 W1 내에 있어서, 4명의 탑승자 U1 내지 U4의 시선이 더 쏠리는 영역 W2의 영상 품질을 향상시킨다. 이에 의해, 4명의 탑승자 U1 내지 U4는, 포커스가 있었던 영상을 시청할 수 있다.
도 7은, 이동체(10) 내의 앞좌석(12)에 탑승자가 2명인 경우에 있어서의 프로젝터(20)의 포커스 위치를 모식적으로 도시하는 도면이다.
도 7에 도시한 바와 같이, 프로젝터 제어부(27)는, 제어 장치(50)로부터 입력된 제어 신호에 기초하여, 구동용 드라이버(25)를 제어하고, 광학 디바이스 구동부(26)를 구동함으로써, 앞좌석(12)에 착좌하는 2명의 탑승자 U1, U2의 시선이 쏠리는 영역이며, 프로젝터(20)가 투영하는 투영면 W1(투영 범위)의 전방측의 중앙 영역에 포커스 위치 P1이 맞도록, 투영 렌즈(24)를 광로 L1 상으로 이동시킨다. 또한, 프로젝터 제어부(27)는, 제어 장치(50)로부터 입력된 제어 신호에 기초하여, 표시용 드라이버(21)를 제어하고, 표시용 디바이스(22)를 구동함으로써, 투영면 W1 내에 있어서, 2명의 탑승자 U1, U2의 시선이 더 쏠리는 영역 W2의 영상 품질을 향상시킨다. 이에 의해, 2명의 탑승자 U1, U2는, 포커스가 있었던 영상을 시청할 수 있다.
도 8은, 이동체(10) 내의 앞좌석(12)에 1명인 경우에 있어서의 프로젝터(20)의 포커스 위치를 모식적으로 도시하는 도면이다.
도 8에 도시한 바와 같이, 프로젝터 제어부(27)는, 제어 장치(50)로부터 입력된 제어 신호에 기초하여, 구동용 드라이버(25)를 제어하고, 광학 디바이스 구동부(26)를 구동함으로써, 앞좌석(12)에 착좌하는 탑승자 U1의 시선 영역이며, 프로젝터(20)가 투영하는 투영면 W1(투영 범위)의 중앙부로부터 전방측의 우측 영역에 포커스 위치 P1이 맞도록, 투영 렌즈(24)를 광로 L1 상으로 이동시킨다. 또한, 프로젝터 제어부(27)는, 제어 장치(50)로부터 입력된 제어 신호에 기초하여, 표시용 드라이버(21)를 제어하고, 표시용 디바이스(22)를 구동함으로써, 투영면 W1 내에 있어서, 탑승자 U1의 시선이 더 쏠리는 영역 W2의 영상 품질을 향상시킨다. 이에 의해, 탑승자 U1은, 포커스가 있었던 영상을 시청할 수 있다.
도 9는, 이동체(10) 내의 뒷좌석(13)에 2명인 경우에 있어서의 프로젝터(20)의 포커스 위치를 모식적으로 도시하는 도면이다.
도 9에 도시한 바와 같이, 프로젝터 제어부(27)는, 제어 장치(50)로부터 입력된 제어 신호에 기초하여, 구동용 드라이버(25)를 제어하고, 광학 디바이스 구동부(26)를 구동함으로써, 뒷좌석(13)에 착좌하는 2명의 탑승자 U1, U2의 시선이 쏠리는 영역이며, 프로젝터(20)가 투영하는 투영면 W1(투영 범위)의 중앙부로부터 후방측의 영역에 포커스 위치 P1이 맞도록, 투영 렌즈(24)를 광로 L1 상으로 이동시킨다. 또한, 프로젝터 제어부(27)는, 제어 장치(50)로부터 입력된 제어 신호에 기초하여, 표시용 드라이버(21)를 제어하고, 표시용 디바이스(22)를 구동함으로써, 투영면 W1 내에 있어서, 뒷좌석(13)에 2명의 탑승자 U1, U2의 시선이 더 쏠리는 영역 W2의 영상 품질을 향상시킨다. 이에 의해, 탑승자는, 포커스가 있었던 영상을 시청할 수 있다.
도 10은, 이동체(10) 내의 전후에 2명인 경우에 있어서의 프로젝터(20)의 포커스 위치를 모식적으로 도시하는 도면이다.
도 10에 도시한 바와 같이, 프로젝터 제어부(27)는, 제어 장치(50)로부터 입력된 제어 신호에 기초하여, 구동용 드라이버(25)를 제어하고, 광학 디바이스 구동부(26)를 구동함으로써, 앞좌석(12) 및 뒷좌석(13)에 착좌하는 2명의 탑승자 U1, U2의 시선이 쏠리는 영역이며, 프로젝터(20)가 투영하는 투영면 W1(투영 범위)의 후방측 또는 전방측의 영역에 포커스 위치 P1이 맞도록, 투영 렌즈(24)를 광로 L1 상으로 이동시킨다. 또한, 프로젝터 제어부(27)는, 제어 장치(50)로부터 입력된 제어 신호에 기초하여, 표시용 드라이버(21)를 제어하고, 표시용 디바이스(22)를 구동함으로써, 투영면 W1 내에 있어서, 앞좌석(12), 뒷좌석(13)에 전후의 2명의 탑승자 U1, U2의 시선이 더 쏠리는 영역 W2의 영상 품질을 향상시킨다. 이에 의해, 2명의 탑승자는, 포커스가 있었던 영상을 시청할 수 있다. 또한, 프로젝터 제어부(27)는 투영 렌즈(24)가 틸트 렌즈(초점 맞춤이 가능한 틸트 시프트 렌즈)를 사용하여 구성되어 있는 경우, 광학 디바이스 구동부(26)를 구동함으로써, 투영 렌즈(24)의 광축을 틸트 방향, 틸트 방향 및 시프트 방향 중 어느 것을 향함으로써 프로젝터(20)가 투영하는 영상의 핀트 위치를 조정하도록 하면 된다.
도 11은, 이동체(10) 내의 뒷좌석(13)에 1명인 경우에 있어서의 프로젝터(20)의 포커스 위치를 모식적으로 도시하는 도면이다.
도 11에 도시한 바와 같이, 프로젝터 제어부(27)는, 제어 장치(50)로부터 입력된 제어 신호에 기초하여, 구동용 드라이버(25)를 제어하고, 광학 디바이스 구동부(26)를 구동함으로써, 뒷좌석(13)에 착좌하는 탑승자 U1의 시선이 쏠리는 영역이며, 프로젝터(20)가 투영하는 투영면 W1(투영 범위)의 중앙부로부터 후방측의 중앙부의 영역에 포커스 위치 P1이 맞도록, 투영 렌즈(24)를 광로 L1 상으로 이동시킨다. 또한, 프로젝터 제어부(27)는, 제어 장치(50)로부터 입력된 제어 신호에 기초하여, 표시용 드라이버(21)를 제어하고, 표시용 디바이스(22)를 구동함으로써, 투영면 W1 내에 있어서, 탑승자 U1의 시선이 더 쏠리는 영역 W2의 영상 품질을 향상시킨다. 이에 의해, 탑승자 U1은, 포커스가 있었던 영상을 시청할 수 있다.
도 5로 되돌아가서, 스텝 S108 이후의 설명을 계속한다.
스텝 S108에 있어서, 프로젝터 제어부(27)는 콘텐츠 재생 장치(40)로부터 입력된 콘텐츠 데이터에 기초하여, 표시용 드라이버(21)를 제어하고, 표시용 디바이스(22)에 콘텐츠 데이터에 대응하는 영상을 투영시킨다. 스텝 S108의 후, 투영 시스템(1)은, 본 처리를 종료한다.
〔2-6. 작용ㆍ효과〕
이상 설명한 제1 실시 형태에 의하면, 제어부(52)가 이동체(10) 내의 공간 상황을 검출하는 센서 유닛(30)으로부터 입력되는 공간 상황 정보에 기초하여, 이동체(10) 내의 공간에 마련된 프로젝터(20)가 소정의 투영면에 투영하는 영상의 상태를 제어한다. 이 때문에, 이동체(10) 내의 탑승자는, 최적의 영상을 시인할 수 있다.
또한, 제1 실시 형태에 의하면, 인식부(521)가 공간 상황 정보에 기초하여, 이동체(10) 내에 있어서의 탑승자의 인원수 및 착좌 위치를 인식하고, 생성부(524)가 인식부(521)에 의해 인식된 인원수와, 착좌 위치에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 제어하는 제어 신호를 생성하므로, 이동체(10) 내의 탑승자에게 포커스가 있었던 영상을 제공할 수 있다.
또한, 제1 실시 형태에 의하면, 생성부(524)가 인식부(521)에 의해 인식된 인원수와, 착좌 위치와, 산출부(523)에 의해 산출된 탑승원마다의 거리에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 제어하는 제어 신호를 생성하므로, 이동체(10) 내의 탑승자에게 포커스가 있었던 영상을 제공할 수 있다.
또한, 제1 실시 형태에 의하면, 산출부(523)가 적어도 탑승자의 헤드의 위치 및 눈의 위치의 한쪽과, 착좌 위치에 기초하여, 탑승자마다의 거리를 산출하므로, 탑승자에게 적합한 정확한 포커스 위치까지의 거리를 산출할 수 있다.
또한, 제1 실시 형태에 의하면, 생성부(524)가 프로젝터(20)의 포커스 위치를 제어하는 제어 신호를 생성하여 프로젝터(20)에 출력하므로, 이동체(10) 내의 탑승자에게 포커스가 있었던 영상을 제공할 수 있다.
또한, 제1 실시 형태에 의하면, 생성부(524)가 프로젝터(20)에 의해 투영되는 영상의 밝기를 조정하는 제어 신호를 생성하여 프로젝터(20)에 출력하므로, 이동체(10) 내의 탑승자에게 최적의 영상을 제공할 수 있다.
<3. 제2 실시 형태>
다음에, 제2 실시 형태에 대하여 설명한다. 제2 실시 형태에 관한 투영 시스템은, 상술한 제1 실시 형태에 관한 투영 시스템(1)의 센서 유닛(30) 및 제어 장치(50)의 구성이 다르다. 이하에 있어서는, 제2 실시 형태에 관한 투영 시스템에 대하여 설명한다. 또한, 상술한 제1 실시 형태와 동일한 구성에는 동일한 부호를 부여하여 상세한 설명을 생략한다.
〔3-1. 투영 시스템의 기능 구성〕
도 12는, 제2 실시 형태에 관한 투영 시스템의 기능 구성을 도시하는 블록도이다.
도 12에 도시하는 투영 시스템(1A)은, 상술한 제1 실시 형태에 관한 센서 유닛(30) 및 제어 장치(50) 대신에, 센서 유닛(30A) 및 제어 장치(50A)를 구비한다.
〔3-2. 센서 유닛의 구성〕
먼저, 센서 유닛(30A)의 구성에 대하여 설명한다.
센서 유닛(30A)은, 상술한 제1 실시 형태에 관한 센서 유닛(30)의 구성에 추가하여, 가속도 센서(32)를 더 구비한다.
가속도 센서(32)는 이동체(10)에서 발생되는 가속도 정보를 검출하고, 이 가속도 정보를 제어 장치(50A)로 출력한다. 구체적으로는, 가속도 센서(32)는 이동체(10)의 3축(X축, Y축 및 Z축)의 가속도를 이동체(10)에 발생하는 흔들림으로서 검출한다. 또한, 가속도 센서(32)에 추가하여, 자이로 센서(각속도 센서)를 더 마련해도 된다.
〔3-3. 제어 장치의 구성〕
다음에, 제어 장치(50A)의 구성에 대하여 설명한다.
제어 장치(50A)는, 상술한 제1 실시 형태에 관한 제어부(52) 대신에, 제어부(52A)를 구비한다.
제어부(52A)는 카메라(31)로부터의 화상 데이터 및 가속도 센서(32)로부터의 가속도 정보에 기초하여, 프로젝터(20)가 투영하는 영상의 상태를 제어하기 위한 제어 신호를 생성하고, 이 제어 신호를 출력부(53)로 출력한다.
〔3-3-1. 제어부의 기능 구성〕
다음에, 제어부(52A)의 상세한 기능 구성에 대하여 설명한다.
도 13은, 제어부(52A)의 상세한 기능 구성을 도시하는 블록도이다.
도 13에 도시하는 제어부(52A)는, 상술한 제1 실시 형태에 관한 제어부(52)의 구성에 추가하여, 흔들림 산출부(525)를 더 갖는다. 또한, 제어부(52A)는, 상술한 제1 실시 형태에 관한 생성부(524) 대신에, 생성부(524A)를 갖는다.
흔들림 산출부(525)는 입력부(51)를 통해 가속도 센서(32)로부터 입력된 가속도 정보에 기초하여, 이동체(10)에서 발생되는 흔들림을 산출하고, 이 산출 결과를 생성부(524A)로 출력한다.
생성부(524A)는 인식부(521)의 인식 결과, 산출부(523)의 산출 결과 및 흔들림 산출부(525)의 산출 결과에 기초하여, 프로젝터(20)의 포커스 상태를 제어하는 제어 신호를 생성한다. 생성부(524A)는 출력부(53)를 통해 제어 신호를 프로젝터(20)로 출력한다.
〔3-4. 투영 시스템의 처리〕
다음에, 투영 시스템(1A)이 실행하는 처리에 대하여 설명한다.
도 14는, 투영 시스템(1A)이 실행하는 처리의 개요를 나타내는 흐름도이다.
도 14에 도시한 바와 같이, 먼저, 입력부(51)는 카메라(31)로부터 화상 데이터 및 가속도 센서(32)로부터 가속도 정보를 취득한다(스텝 S201).
스텝 S202 내지 스텝 S205는, 상술한 스텝 S102 내지 스텝 S105 각각에 대응한다.
스텝 S206에 있어서, 흔들림 산출부(525)는 입력부(51)를 통해 가속도 센서(32)로부터 입력된 가속도 정보에 기초하여, 이동체(10)에서 발생되는 흔들림을 산출한다.
계속해서, 생성부(524A)는 인식부(521)의 인식 결과, 산출부(523)의 산출 결과 및 흔들림 산출부(525)의 산출 결과에 기초하여, 프로젝터(20)의 포커스 상태를 제어하는 제어 신호를 생성한다(스텝 S207).
스텝 S208 및 스텝 S209는, 상술한 스텝 S207 및 스텝 S208 각각에 대응한다. 스텝 S208의 후, 투영 시스템(1A)은, 본 처리를 종료한다.
〔3-5. 작용ㆍ효과〕
이상 설명한 제2 실시 형태에 의하면, 생성부(524A)가 인식부(521)에 의해 인식된 인원수와, 착좌 위치와, 흔들림 산출부(525)에 의해 산출된 이동체(10)에 서 발생되는 흔들림에 기초하여, 제어 신호를 생성하여 프로젝터(20)로 출력한다. 이 때문에, 이동체(10)의 흔들림 및 탑승자의 흔들림에 추종하여 영상의 투영 상태를 조정할 수 있으므로, 환경이나 상태가 변화해도, 이동체(10) 내의 탑승자에게 포커스가 있었던 영상을 제공할 수 있다.
<4. 제3 실시 형태>
다음에, 제3 실시 형태에 대하여 설명한다. 제3 실시 형태는, 상술한 제1 실시 형태에 관한 센서 유닛(30) 및 제어 장치(50)의 구성이 다르다. 이하에 있어서는, 제3 실시 형태에 관한 투영 시스템에 대하여 설명한다. 또한, 상술한 제1 실시 형태와 동일한 구성에는 동일한 부호를 부여하여 상세한 설명을 생략한다.
〔4-1. 투영 시스템의 기능 구성〕
도 15는, 제3 실시 형태에 관한 투영 시스템의 기능 구성을 도시하는 블록도이다.
도 15에 도시하는 투영 시스템(1B)은, 상술한 제1 실시 형태에 관한 센서 유닛(30) 및 제어 장치(50) 대신에, 센서 유닛(30B) 및 제어 장치(50B)를 구비한다.
〔4-2. 센서 유닛의 구성〕
먼저, 센서 유닛(30B)에 대하여 설명한다.
센서 유닛(30B)은, 상술한 제1 실시 형태에 관한 센서 유닛(30)의 구성에 추가하여, 스테레오 카메라(33)와, TOF 카메라(34)를 더 갖는다.
스테레오 카메라(33)는 시차를 갖는 스테레오 화상 데이터를 생성하고, 이 스테레오 화상 데이터를 제어 장치(50B)로 출력한다. 스테레오 카메라(33)는 시차를 갖는 2개의 광학계와, 2개의 광학계의 각각이 결상한 피사체 상을 수광하는 2개의 CCD 또는 CMOS 등의 이미지 센서를 사용하여 실현된다.
TOF 카메라(34)는 이동체(10) 내를 촬상함으로써 깊이 정보를 화소마다 농담값으로 나타낸 거리 정보를 갖는 거리 화상 데이터(Depth 화상)를 생성한다. TOF 카메라(34)는 적외광을 조사 가능한 광원과, 대상물에서 반사한 적외광을 촬상 가능한 CCD나 CMOS 등의 촬상 소자 등을 사용하여 실현된다.
〔4-3. 제어 장치의 구성〕
다음에, 제어 장치(50B)의 구성에 대하여 설명한다.
제어 장치(50B)는, 상술한 제1 실시 형태에 관한 제어부(52) 대신에, 제어부(52B)를 구비한다.
제어부(52B)는 입력부(51)를 통해 화상 데이터, 스테레오 화상 데이터 및 깊이 정보 화상 데이터에 기초하여, 프로젝터(20)가 투영하는 영상의 상태를 제어하기 위한 제어 신호를 생성하고, 이 제어 신호를 출력부(53)로 출력한다.
〔4-3-1. 제어부의 기능 구성〕
다음에, 제어부(52B)의 상세한 기능 구성에 대하여 설명한다.
도 16은, 제어부(52B)의 상세한 기능 구성을 도시하는 블록도이다.
제어부(52B)는, 상술한 제1 실시 형태의 산출부(523) 대신에, 산출부(523B)를 갖는다.
산출부(523B)는, 제1 거리 산출부(5231)와, 제2 거리 산출부(5232)를 갖는다.
제1 거리 산출부(5231)는, 입력부(51)를 통해 입력되는 스테레오 화상 데이터에 기초하여, 근거리에 착좌하는 탑승자와 프로젝터(20)가 투영하는 영상의 투영면과의 거리를 산출하고, 이 산출 결과를 생성부(524B)로 출력한다. 또한, 제1 거리 산출부(5231)는, 프로젝터(20)가 영상을 투영하는 투영면의 형상을 소정의 영역마다의 거리를 산출하고, 이 산출 결과를 생성부(524B)로 출력한다.
제2 거리 산출부(5232)는, 입력부(51)를 통해서 입력된 거리 화상 데이터에 기초하여, 원거리에 착좌하는 탑승자와 프로젝터(20)가 투영하는 영상의 투영면과의 거리를 산출하고, 이 산출 결과를 생성부(524B)로 출력한다. 또한, 제2 거리 산출부(5232)는, 프로젝터(20)가 영상을 투영하는 투영면의 형상을 소정의 영역마다의 거리를 산출하고, 이 산출 결과를 생성부(524B)로 출력한다.
생성부(524B)는 인식부(521)로부터 입력된 인식 결과와, 제1 거리 산출부(5231) 및 제2 거리 산출부(5232)의 각각으로부터 입력된 산출 결과에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 제어하는 제어 신호를 생성하고, 이 제어 신호를 프로젝터(20)로 출력한다. 구체적으로는, 생성부(524B)는, 제1 거리 산출부(5231) 및 제2 거리 산출부(5232)의 각각으로부터 입력된 프로젝터(20)가 투영하는 투영면에 있어서의 각 영역의 거리와, 인식부(521)로부터 입력된 인식 결과에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 제어하는 제어 신호를 생성한다.
〔4-4. 투영 시스템의 처리〕
다음에, 투영 시스템(1B)이 실행하는 처리에 대하여 설명한다. 도 17은, 투영 시스템(1B)이 실행하는 처리의 개요를 나타내는 흐름도이다.
도 17에 도시한 바와 같이, 먼저, 입력부(51)는 센서 유닛(30B)으로부터 화상 데이터, 스테레오 화상 데이터 및 깊이 정보 화상 데이터를 취득한다(스텝 S301).
스텝 S302 내지 스텝 S304는, 상술한 스텝 S102로부터 스텝 S104 각각에 대응한다.
스텝 S305에 있어서, 제1 거리 산출부(5231)는, 입력부(51)를 통해 입력되는 스테레오 화상 데이터에 기초하여, 근거리에 착좌하는 탑승자와 프로젝터(20)가 투영하는 영상의 투영면과의 거리를 산출하는 제1 거리 산출 처리를 행한다.
계속해서, 제2 거리 산출부(5232)는, 입력부(51)를 통해서 입력된 거리 화상 데이터에 기초하여, 원거리에 착좌하는 탑승자와 프로젝터(20)가 투영하는 영상의 투영면과의 거리를 산출하는 제2 거리 산출 처리를 행한다(스텝 S306).
그 후, 생성부(524B)는 인식부(521)로부터 입력된 인식 결과와, 제1 거리 산출부(5231) 및 제2 거리 산출부(5232)의 각각으로부터 입력된 산출 결과에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 제어하는 제어 신호를 생성한다(스텝 S307).
스텝 S308 및 스텝 S309는, 상술한 스텝 S107 및 스텝 S108 각각에 대응한다.
〔4-5. 작용ㆍ효과〕
이상 설명한 제3 실시 형태에 의하면, 생성부(524B)가 인식부(521)로부터 입력된 인식 결과와, 제1 거리 산출부(5231) 및 제2 거리 산출부(5232)의 각각으로부터 입력된 산출 결과에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 제어하는 제어 신호를 생성한다. 이에 의해, 이동체(10) 내의 탑승자는, 포커스가 있었던 영상을 시인할 수 있다.
<5. 제4 실시 형태>
다음에, 제4 실시 형태에 대하여 설명한다. 제4 실시 형태에 관한 투영 시스템은, 상술한 제1 실시 형태에 관한 제어 장치(50)의 구성이 다르다. 이하에 있어서는, 제4 실시 형태에 관한 투영 시스템에 대하여 설명한다. 또한, 상술한 제1 실시 형태와 동일한 구성에는 동일한 부호를 부여하여 상세한 설명을 생략한다.
〔5-1. 투영 시스템의 기능 구성〕
도 18은, 제4 실시 형태에 관한 투영 시스템의 기능 구성을 도시하는 블록도이다.
도 18에 도시하는 투영 시스템(1C)은, 상술한 제1 실시 형태에 관한 제어 장치(50) 대신에, 제어 장치(50C)를 구비한다.
제어 장치(50C)는, 상술한 제1 실시 형태에 관한 제어 장치(50)의 제어부(52) 대신에, 제어부(52C)를 구비한다. 제어부(52C)는 콘텐츠 재생 장치(40)로부터 입력되는 콘텐츠 데이터에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 제어한다.
〔5-2. 제어부의 기능 구성〕
도 19는, 제어부(52C)의 기능 구성을 도시하는 블록도이다.
도 19에 도시하는 제어부(52C)는, 상술한 제1 실시 형태에 관한 제어부(52)의 산출부(523) 대신에, 특정부(526)를 갖는다. 또한, 제어부(52C)는 생성부(524) 대신에, 생성부(524C)를 갖는다.
특정부(526)는 입력부(51)를 통해 콘텐츠 데이터에 기초하여, 프로젝터(20)가 투영하는 영상 내에 있어서 강조하는 강조 위치를 특정하고, 이 특정 결과를 생성부(524C)로 출력한다.
생성부(524C)는 인식부(521)로부터 입력된 인식 결과와, 특정부(526)로부터 입력된 특정 결과에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 제어하는 제어 신호를 생성한다. 생성부(524C)는 출력부(53)를 통해 제어 신호를 프로젝터(20)로 출력한다.
〔5-3. 투영 시스템의 처리〕
다음에, 투영 시스템(1C)이 실행하는 처리에 대하여 설명한다.
도 20은, 투영 시스템(1C)이 실행하는 처리의 개요를 나타내는 흐름도이다.
도 20에 있어서, 먼저, 입력부(51)는 카메라(31)로부터 화상 데이터 및 콘텐츠 재생 장치(40)로부터 콘텐츠 데이터를 취득한다(스텝 S401).
스텝 S402 내지 스텝 S404는, 상술한 스텝 S102 내지 스텝 S104 각각에 대응한다.
스텝 S405에 있어서, 특정부(526)는 입력부(51)를 통해 콘텐츠 데이터에 기초하여, 프로젝터(20)가 투영하는 영상 내에 있어서 강조하는 강조 위치를 특정하고, 이 특정 결과를 생성부(524C)에 출력하는 강조 위치 특정 처리를 행한다.
계속해서, 생성부(524C)는 인식부(521)로부터 입력된 인식 결과와, 특정부(526)로부터 입력된 특정 결과에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 제어하는 제어 신호를 생성한다(스텝 S406).
도 21은, 생성부(524)가 생성하는 제어 신호에 기초하는 프로젝터(20)가 투영하는 영상의 포커스 상태를 모식적으로 도시하는 도면이다.
제4 실시 형태에서는, 프로젝터(20)가 이동체(10)의 천장(11)에 영상(예를 들어 내비게이션 화상)을 근거리, 또한 대화면으로 투영하고 있는 경우, 탑승자 전원에 동일한 것을 공용시키기 위해, 탑승자가 동일한 시선일 필요가 있다. 그 때문에, 제4 실시 형태에서는, 탑승자가 보는 포인트를 유도함으로써, 빨리 탑승자 전원이 동일한 포인트를 보는 것이 요구된다. 또한, 이동체(10)는 항상 이동하고 있으므로, 그때의 타이밍에 빠르게 탑승자간에 공용시키는 것이 요구된다.
이 때문에, 도 21에 도시한 바와 같이, 생성부(524C)는 특정부(526)에 의해 특정된 투영면 W1의 영상 내에 있어서 강조하는 강조 위치를 포함하는 영역 W10에 포커스 상태가 맞는 제어 신호를 생성하고, 이 제어 신호를 프로젝터(20)로 출력한다. 이 경우, 생성부(524C)는 특정부(526)에 의해 특정된 영상 내에 있어서 강조하는 강조 위치에 프로젝터(20)의 포커스 위치(핀트 위치)가 맞고, 또한, 포커스 위치로부터 소정의 영역 W10까지 포커스가 맞는 제어 신호를 생성한다. 이에 의해, 이동체(10) 내의 탑승자 전원은, 자연과 동일한 영상의 영역 W10을 시인할 수 있다.
또한, 생성부(524C)는 포커스 위치 이외에, 영역 W10에 있어서의 해상도, 콘트라스트, 밝기 등을 다른 영역보다도 강조시키는 제어 신호를 생성하고, 이 제어 신호를 프로젝터(20)로 출력해도 된다. 또한, 도 21에서는, 영상으로서 지도 등의 내비게이션 화상이었지만, 이것에 한정되지 않고, 예를 들어, 이동체(10)의 주변 정보 및 긴급 정보 등이어도 된다. 이 경우, 생성부(524C)는 이동체(10)의 위치 정보에 기초하여, 이동체(10)의 주변 정보 및 긴급 정보가 영상에 중첩된 중첩 화상에 있어서, 주변 정보 및 긴급 정보에 포커스 위치가 맞는 제어 신호를 생성해도 된다. 물론, 도 21에서는, 지도 등의 내비게이션 화상을 예로 들어 설명했지만, 이것에 한정되지 않고, 예를 들어, 문자 및 도형이어도 된다.
스텝 S407 및 S408은, 상술한 스텝 S107 및 스텝 S108 각각에 대응한다.
〔5-4. 작용ㆍ효과〕
이상 설명한 제4 실시 형태에 의하면, 생성부(524C)가 인식부(521)로부터 입력된 인식 결과와, 특정부(526)로부터 입력된 특정 결과에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 제어하는 제어 신호를 생성한다. 이에 의해, 영상에 있어서 중요한 영역에 탑승자의 시선을 재빨리 유도할 수 있는 동시에, 대화면으로 주시 포인트로 용이하게 유도할 수 있다.
<6. 제5 실시 형태>
다음에, 제5 실시 형태에 대하여 설명한다. 제5 실시 형태에 관한 투영 시스템은, 상술한 제1 실시 형태에 관한 투영 시스템(1)의 센서 유닛(30) 및 제어 장치(50)와 구성이 다르다. 이하에 있어서는, 제5 실시 형태에 관한 투영 시스템에 대하여 설명한다. 또한, 상술한 제1 실시 형태와 동일한 구성에는 동일한 부호를 부여하여 상세한 설명을 생략한다.
〔6-1. 투영 시스템의 기능 구성〕
도 22는, 제5 실시 형태에 관한 투영 시스템의 기능 구성을 도시하는 블록도이다.
도 22에 도시하는 투영 시스템(1D)은, 상술한 제1 실시 형태에 관한 센서 유닛(30) 및 제어 장치(50) 대신에, 센서 유닛(30D) 및 제어 장치(50D)를 구비한다.
〔6-2.센서 유닛의 구성〕
먼저, 센서 유닛(30D)의 구성에 대하여 설명한다.
센서 유닛(30D)은 카메라(31)와, 인터랙션 디바이스(35)를 구비한다.
인터랙션 디바이스(35)는 TOF 카메라 등을 사용하여 실현되고, 탑승자의 제스처를 검출하고, 이 검출 결과를 제어 장치(50D)로 출력한다. 예를 들어, 인터랙션 디바이스(35)는 탑승자가 손가락으로 지시하는 방향 및 위치를 검출하고, 이 검출 결과를 제어 장치(50D)로 출력한다. 또한, 인터랙션 디바이스(35)는 TOF 카메라 이외에도, 예를 들어, 스테레오 카메라 등을 사용하여 실현해도 된다.
〔6-3. 제어 장치의 구성〕
다음에, 제어 장치(50D)의 구성에 대하여 설명한다.
제어 장치(50D)는, 상술한 제1 실시 형태에 관한 제어 장치(50)의 제어부(52) 대신에, 제어부(52D)를 구비한다.
제어부(52D)는 입력부(51)를 통해 카메라(31)로부터 입력되는 화상 데이터 및 TOF 카메라(34)로부터 입력되는 깊이 정보 화상 데이터에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 조정하는 제어 신호를 생성하고, 이 제어 신호를 프로젝터(20)로 출력한다.
〔6-3-1. 제어부의 기능 구성〕
다음에, 제어부(52D)의 기능 구성에 대하여 설명한다.
도 23은, 제어부(52D)의 기능 구성을 도시하는 블록도이다.
제어부(52D)는, 상술한 제1 실시 형태에 관한 제어부(52)의 산출부(523) 대신에, 제스처 판정부(527)를 구비한다. 또한, 제어부(52D)는, 상술한 제1 실시 형태에 관한 제어부(52)의 메모리(522) 및 생성부(524) 대신에, 메모리(522D) 및 생성부(524D)를 구비한다.
메모리(522D)는 이동체(10)의 차실에 관한 차실 정보를 기억한다. 여기서, 차실 정보란, 이동체(10)의 차실 공간을 나타내는 3D 데이터 및 각종 부재, 예를 들어, A 필러나 B 필러 등의 위치를 나타내는 위치 정보이다.
제스처 판정부(527)는 입력부(51)를 통해 입력되는 깊이 정보 화상 데이터와, 인식부(521)가 인식한 인식 결과에 기초하여, 이동체(10)의 탑승자의 제스처(동작)를 판정하고, 이 판정 결과를 생성부(524D)로 출력한다. 여기서, 제스처란, 탑승자가 손가락 등으로 지시한 위치 및 방향, 탑승자의 시선, 탑승자의 몸짓 및 동작 등이다.
생성부(524D)는 인식부(521)가 인식한 인식 결과와, 제스처 판정부(527)가 판정한 판정 결과에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 조정하는 제어 신호를 생성한다. 생성부(524D)는 출력부(53)를 통해 제어 신호를 프로젝터(20)로 출력한다.
〔6-4. 투영 시스템의 처리〕
다음에, 투영 시스템(1D)가 실행하는 처리에 대하여 설명한다.
도 24는, 투영 시스템(1D)가 실행하는 처리의 개요를 나타내는 흐름도이다.
도 24에 도시한 바와 같이, 먼저, 입력부(51)는 카메라(31)로부터 화상 데이터 및 TOF 카메라로부터 깊이 정보 화상 데이터를 취득한다(스텝 S501).
스텝 S502 내지 스텝 S503은, 상술한 스텝 S102 내지 스텝 S103 각각에 대응한다.
스텝 S504에 있어서, 제스처 판정부(527)는 입력부(51)를 통해 입력되는 깊이 정보 화상 데이터와, 인식부(521)가 인식한 인식 결과에 기초하여, 이동체(10)의 탑승자의 제스처(동작)를 판정한다.
계속해서, 생성부(524D)는 인식부(521)가 인식한 인식 결과와, 제스처 판정부(527)가 판정한 판정 결과에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 조정하는 제어 신호를 생성한다(스텝 S505). 탑승자는, 전후의 좌석에 착좌하여 커뮤니케이션을 하기 위해, 뒷좌석(13)에 착좌하고 있는 탑승자가 주시하고 있는 것(시선의 위치)을 앞좌석(12)에 착좌하는 탑승자에게 알리고자 한다. 또한, 일반적인 포인터에서는, 자신의 포인터에 의해 주시하고 있는 정보가 숨어 버리므로, 필요한 정보가 부족하다. 이 때문에, 생성부(524D)는 인식부(521)가 인식한 인식 결과와, 제스처 판정부(527)가 판정한 판정 결과에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 조정하는 제어 신호를 생성한다. 이에 의해, 탑승자는, 다른 탑승자의 제스처, 예를 들어, 다른 탑승자가 지시한 위치를 포함하는 영역에 포커스 위치가 있었던 영상이 투영된다. 이 결과, 탑승자 전원은, 원활한 커뮤니케이션을 행할 수 있다.
스텝 S506 및 스텝 S507은, 상술한 스텝 S107 및 스텝 S108 각각에 대응한다.
〔6-5. 작용ㆍ효과〕
이상 설명한 제5 실시 형태에 의하면, 생성부(524D)는 인식부(521)가 인식한 인식 결과와, 제스처 판정부(527)가 판정한 판정 결과에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 조정하는 제어 신호를 생성하므로, 탑승자의 의사에 따른 위치에 프로젝터(20)가 투영하는 영상의 포커스 위치를 맞출 수 있다.
<7. 제6 실시 형태>
다음에, 제6 실시 형태에 대하여 설명한다. 제6 실시 형태에 관한 투영 시스템은, 상술한 제1 실시 형태에 관한 투영 시스템(1)의 센서 유닛(30) 및 제어 장치(50)와 구성이 다르다. 이하에 있어서는, 제6 실시 형태에 관한 투영 시스템에 대하여 설명한다. 또한, 상술한 제1 실시 형태에 관한 투영 시스템(1)과 동일한 구성에는 동일한 부호를 부여하여 상세한 설명을 생략한다.
〔7-1. 투영 시스템의 기능 구성〕
도 25는, 제6 실시 형태에 관한 투영 시스템의 기능 구성을 도시하는 블록도이다.
도 25에 도시하는 투영 시스템(1E)은, 상술한 제1 실시 형태에 관한 투영 시스템(1)의 센서 유닛(30) 및 제어 장치(50) 대신에, 센서 유닛(30E) 및 제어 장치(50E)를 구비한다.
〔7-2.센서 유닛의 구성〕
먼저, 센서 유닛(30E)의 구성에 대하여 설명한다.
센서 유닛(30E)은 카메라(31)와, 가속도 센서(32)와, 스테레오 카메라(33)와, TOF 카메라(34)와, 입력 장치(36)를 구비한다.
입력 장치(36)는 탑승자의 입력 조작을 접수하고, 접수한 조작에 따른 입력 정보를 제어 장치(50E)로 출력한다. 입력 장치(36)는 버튼, 스위치, 터치 패널, 조그다이얼 등을 사용하여 실현된다.
〔7-3. 제어 장치의 구성〕
다음에, 제어 장치(50E)의 구성에 대하여 설명한다.
제어 장치(50E)는, 상술한 실시 형태 1에 관한 제어부(52) 대신에, 제어부(52E)를 구비한다.
제어부(52E)는 입력부(51)를 통해 센서 유닛(30E)으로부터 입력되는 각종 정보에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 조정하는 제어 신호를 생성하고, 이 제어 신호를 프로젝터(20)로 출력한다.
〔7-3-1. 제어부의 기능 구성〕
도 26은, 제어부(52E)의 기능 구성을 도시하는 블록도이다. 도 26에 도시하는 제어부(52E)는, 상술한 제1 실시 형태 내지 제5 실시 형태에서 설명한 인식부(521), 메모리(522), 산출부(523A), 흔들림 산출부(525), 특정부(526) 및 제스처 판정부(527)를 구비한다. 또한, 제어부(52E)는, 상술한 제1 실시 형태에 관한 생성부(524) 대신에, 생성부(524E)를 구비한다.
생성부(524E)는 인식부(521)의 인식 결과, 산출부(523A)의 산출 결과, 흔들림 산출부(525)의 산출 결과, 특정부(526)의 특정 결과 및 제스처 판정부(527)의 판정 결과 중 적어도 하나에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 조정하는 제어 신호를 생성한다.
〔7-4. 투영 시스템의 처리〕
다음에, 투영 시스템(1E)이 실행하는 처리에 대하여 설명한다.
도 27은, 투영 시스템(1E)이 실행하는 처리의 개요를 나타내는 흐름도이다.
도 27에 도시한 바와 같이, 먼저, 입력부(51)는 입력 장치(36)로부터 입력된 모드 선택 신호를 취득한다(스텝 S601).
계속해서, 제어부(52E)는 모드 선택 신호가 탑승자 모드인지 여부를 판정한다(스텝 S602). 제어부(52E)에 의해 모드 선택 신호가 탑승자 모드라고 판정된 경우(스텝 S602: "예"), 투영 시스템(1E)은, 후술하는 스텝 S603으로 이행한다. 이에 반해, 제어부(52E)에 의해 모드 선택 신호가 탑승자 모드가 아니라고 판정된(스텝 S602: "아니오"), 투영 시스템(1E)은, 후술하는 스텝 S605로 이행한다.
스텝 S603에 있어서, 투영 시스템(1E)은 이동체(10)의 탑승자의 인원수, 착좌 위치 및 이동체(10)의 흔들림에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 조정하는 제어 신호를 생성하여 프로젝터(20)에 출력하는 탑승자 모드 처리를 실행한다. 탑승자 모드 처리의 상세는, 상술한 도 5의 스텝 S101 내지 스텝 S108, 도 14의 스텝 S201 내지 스텝 S209 및 도 17의 스텝 S301 내지 스텝 S309 중 어느 1개의 처리와 마찬가지의 처리이므로, 상세한 설명을 생략한다. 스텝 S603의 후, 투영 시스템(1E)은, 후술하는 스텝 S604로 이행한다.
스텝 S604에 있어서, 제어부(52E)는 입력 장치(36)로부터 종료하는 지시 신호가 입력되었는지 여부를 판정한다. 제어부(52E)에 의해 입력 장치(36)로부터 종료하는 지시 신호가 입력되었다고 판정된 경우(스텝 S604: "예"), 투영 시스템(1E)은, 본 처리를 종료한다. 이에 반해, 제어부(52E)에 의해 입력 장치(36)로부터 종료하는 지시 신호가 입력되어 있지 않다고 판정된 경우(스텝 S604: "아니오"), 투영 시스템(1E)은, 상술한 스텝 S601로 되돌아간다.
스텝 S605에 있어서, 제어부(52E)는 모드 선택 신호가 콘텐츠 모드인지 여부를 판정한다. 제어부(52E)에 의해 모드 선택 신호가 콘텐츠 모드라고 판정된 경우(스텝 S605: "예"), 투영 시스템(1E)은, 후술하는 스텝 S606으로 이행한다. 이에 반해, 제어부(52E)에 의해 모드 선택 신호가 콘텐츠 모드가 아니라고 판정된 경우(스텝 S605: "아니오"), 투영 시스템(1E)은, 후술하는 스텝 S607로 이행한다.
스텝 S606에 있어서, 투영 시스템(1E)은 콘텐츠 데이터에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 조정하는 콘텐츠 모드 처리를 실행한다. 콘텐츠 모드 처리의 상세는, 상술한 도 20의 스텝 S401 내지 스텝 S408과 마찬가지의 처리이므로, 상세한 설명을 생략한다. 스텝 S606의 후, 투영 시스템(1E)은, 스텝 S604로 이행한다.
스텝 S607에 있어서, 제어부(52E)는, 모드 선택 신호가 제스처 모드인지 여부를 판정한다. 제어부(52E)에 의해 모드 선택 신호가 제스처 모드라고 판정된 경우(스텝 S607: "예"), 투영 시스템(1E)은, 후술하는 스텝 S608로 이행한다. 이에 반해, 제어부(52E)에 의해 모드 선택 신호가 제스처 모드가 아니라고 판정된 경우(스텝 S607: "아니오"), 투영 시스템(1E)은, 상술한 스텝 S601로 되돌아간다.
스텝 S608에 있어서, 투영 시스템(1E)은 탑승자의 제스처에 기초하여, 프로젝터(20)가 투영하는 영상의 포커스 상태를 조정하는 제어 신호를 생성하는 제스처 모드 처리를 실행한다. 제스처 모드 처리의 상세는, 상술한 도 24의 스텝 S501 내지 스텝 S507과 마찬가지의 처리이므로, 상세한 설명을 생략한다. 스텝 S608의 후, 투영 시스템(1E)은, 후술하는 스텝 S604로 이행한다.
〔7-5. 작용ㆍ효과〕
이상 설명한 제6 실시 형태에 따르면, 제어부(52E)가 입력 장치(36)로부터 입력되는 모드 선택 신호에 따른 처리를 행하므로, 탑승자가 원하는 모드에 따라서, 최적의 영상을 제공할 수 있다.
<8. 이동체에의 응용예>
본 개시에 관한 기술은, 다양한 제품에 응용할 수 있다. 예를 들어, 본 개시에 관한 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇, 건설 기계, 농업 기계(트랙터) 등의 어느 것의 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
도 28은, 본 개시에 관한 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템(7000)의 개략적인 구성예를 도시하는 블록도이다.
차량 제어 시스템(7000)은 통신 네트워크(7010)를 통해 접속된 복수의 전자 제어 유닛을 구비한다. 도 28에 도시한 예에서는, 차량 제어 시스템(7000)은 구동계 제어 유닛(7100), 보디계 제어 유닛(7200), 배터리 제어 유닛(7300), 차외 정보 검출 유닛(7400), 차내 정보 검출 유닛(7500) 및 통합 제어 유닛(7600)을 구비한다. 이들의 복수의 제어 유닛을 접속하는 통신 네트워크(7010)는, 예를 들어, CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network) 또는 FlexRay(등록 상표) 등의 임의의 규격에 준거한 차량 탑재 통신 네트워크여도 된다.
각 제어 유닛은, 각종 프로그램에 따라서 연산 처리를 행하는 마이크로 컴퓨터와, 마이크로 컴퓨터에 의해 실행되는 프로그램 또는 각종 연산에 사용되는 파라미터 등을 기억하는 기억부와, 각종 제어 대상의 장치를 구동하는 구동 회로를 구비한다. 각 제어 유닛은, 통신 네트워크(7010)를 통해 다른 제어 유닛과의 사이에서 통신을 행하기 위한 네트워크 I/F를 구비함과 함께, 차내외의 장치 또는 센서 등과의 사이에서, 유선 통신 또는 무선 통신에 의해 통신을 행하기 위한 통신 I/F를 구비한다. 도 28에서는, 통합 제어 유닛(7600)의 기능 구성으로서, 마이크로 컴퓨터(7610), 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660), 음성 화상 출력부(7670), 차량 탑재 네트워크 I/F(7680) 및 기억부(7690)가 도시되어 있다. 다른 제어 유닛도 마찬가지로, 마이크로 컴퓨터, 통신 I/F 및 기억부 등을 구비한다.
구동계 제어 유닛(7100)은, 각종 프로그램에 따라서 차량의 구동계에 관련된 장치의 동작을 제어한다. 예를 들어, 구동계 제어 유닛(7100)은, 내연 기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다. 구동계 제어 유닛(7100)은, ABS(Antilock Brake System) 또는 ESC(Electronic Stability Control) 등의 제어 장치로서의 기능을 가져도 된다.
구동계 제어 유닛(7100)에는, 차량 상태 검출부(7110)가 접속된다. 차량 상태 검출부(7110)에는, 예를 들어, 차체의 축 회전 운동의 각속도를 검출하는 자이로 센서, 차량의 가속도를 검출하는 가속도 센서, 혹은, 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수 또는 차륜의 회전 속도 등을 검출하기 위한 센서 중 적어도 1개가 포함된다. 구동계 제어 유닛(7100)은, 차량 상태 검출부(7110)로부터 입력되는 신호를 사용하여 연산 처리를 행하고, 내연 기관, 구동용 모터, 전동 파워 스티어링 장치 또는 브레이크 장치 등을 제어한다.
보디계 제어 유닛(7200)은, 각종 프로그램에 따라서 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들어, 보디계 제어 유닛(7200)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 혹은, 헤드 램프, 백 램프, 브레이크 램프, 윙커 또는 포그 램프 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 보디계 제어 유닛(7200)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(7200)은, 이들의 전파 또는 신호의 입력을 접수하고, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
배터리 제어 유닛(7300)은, 각종 프로그램에 따라서 구동용 모터의 전력 공급원인 이차 전지(7310)를 제어한다. 예를 들어, 배터리 제어 유닛(7300)에는, 이차 전지(7310)를 구비한 배터리 장치로부터, 배터리 온도, 배터리 출력 전압 또는 배터리의 잔존 용량 등의 정보가 입력된다. 배터리 제어 유닛(7300)은, 이들의 신호를 사용하여 연산 처리를 행하고, 이차 전지(7310)의 온도 조절 제어 또는 배터리 장치에 구비된 냉각 장치 등의 제어를 행한다.
차외 정보 검출 유닛(7400)은 차량 제어 시스템(7000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들어, 차외 정보 검출 유닛(7400)에는, 촬상부(7410) 및 차외 정보 검출부(7420) 중 적어도 한쪽이 접속된다. 촬상부(7410)에는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라 및 그 밖의 카메라 중 적어도 1개가 포함된다. 차외 정보 검출부(7420)에는, 예를 들어, 현재의 천후 또는 기상을 검출하기 위한 환경 센서, 혹은, 차량 제어 시스템(7000)을 탑재한 차량의 주위 다른 차량, 장해물 또는 보행자 등을 검출하기 위한 주위 정보 검출 센서 중 적어도 1개가 포함된다.
환경 센서는, 예를 들어, 우천을 검출하는 빗방울 센서, 안개를 검출하는 안개 센서, 일조 정도를 검출하는 일조 센서 및 강설을 검출하는 눈 센서 중 적어도 1개여도 된다. 주위 정보 검출 센서는, 초음파 센서, 레이더 장치 및 LIDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging) 장치 중 적어도 1개여도 된다. 이들의 촬상부(7410) 및 차외 정보 검출부(7420)는, 각각 독립된 센서 내지 장치로서 구비되어도 되고, 복수의 센서 내지 장치가 통합된 장치로서 구비되어도 된다.
여기서, 도 29는, 촬상부(7410) 및 차외 정보 검출부(7420)의 설치 위치의 예를 나타낸다. 촬상부(7910, 7912, 7914, 7916, 7918)는, 예를 들어, 차량(7900)의 프론트 노즈, 사이드 미러, 리어 범퍼, 백 도어 및 차실내의 프론트 글래스의 상부 중 적어도 1개의 위치에 마련된다. 프론트 노즈에 구비되는 촬상부(7910) 및 차실내의 프론트 글래스의 상부에 구비되는 촬상부(7918)는, 주로 차량(7900)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(7912, 7914)는, 주로 차량(7900)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비되는 촬상부(7916)는, 주로 차량(7900)의 후방 화상을 취득한다. 차실내의 프론트 글래스의 상부에 구비되는 촬상부(7918)는, 주로 선행 차량 또는, 보행자, 장해물, 신호기, 교통 표지 또는 차선 등의 검출에 사용된다.
또한, 도 29에는, 각각의 촬상부(7910, 7912, 7914, 7916)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위 a는, 프론트 노즈에 마련된 촬상부(7910)의 촬상 범위를 나타내고, 촬상 범위 b, c는, 각각 사이드 미러에 마련된 촬상부(7912, 7914)의 촬상 범위를 나타내고, 촬상 범위 d는, 리어 범퍼 또는 백 도어에 마련된 촬상부(7916)의 촬상 범위를 나타낸다. 예를 들어, 촬상부(7910, 7912, 7914, 7916)에 의해 촬상된 화상 데이터를 중첩함으로써, 차량(7900)을 상방으로부터 본 부감 화상이 얻어진다.
차량(7900)의 프론트, 리어, 사이드, 코너 및 차실내의 프론트 글래스의 상부에 마련되는 차외 정보 검출부(7920, 7922, 7924, 7926, 7928, 7930)는, 예를 들어 초음파 센서 또는 레이더 장치여도 된다. 차량(7900)의 프론트 노즈, 리어 범퍼, 백 도어 및 차실내의 프론트 글래스의 상부에 마련되는 차외 정보 검출부(7920, 7926, 7930)는, 예를 들어 LIDAR 장치여도 된다. 이들의 차외 정보 검출부(7920 내지 7930)는, 주로 선행 차량, 보행자 또는 장해물 등의 검출에 사용된다.
도 28로 되돌아가서 설명을 계속한다.
차외 정보 검출 유닛(7400)은 촬상부(7410)에 차외의 화상을 촬상시킴과 함께, 촬상된 화상 데이터를 수신한다. 또한, 차외 정보 검출 유닛(7400)은 접속되어 있는 차외 정보 검출부(7420)로부터 검출 정보를 수신한다. 차외 정보 검출부(7420)가 초음파 센서, 레이더 장치 또는 LIDAR 장치인 경우에는, 차외 정보 검출 유닛(7400)은 초음파 또는 전자파 등을 발신시킴과 함께, 수신된 반사파의 정보를 수신한다. 차외 정보 검출 유닛(7400)은 수신한 정보에 기초하여, 사람, 차, 장해물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은 수신한 정보에 기초하여, 강우, 안개 또는 노면 상황 등을 인식하는 환경 인식 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은 수신한 정보에 기초하여, 차외의 물체까지의 거리를 산출해도 된다.
또한, 차외 정보 검출 유닛(7400)은 수신한 화상 데이터에 기초하여, 사람, 차, 장해물, 표지 또는 노면 상의 문자 등을 인식하는 화상 인식 처리 또는 거리 검출 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은 수신한 화상 데이터에 대하여 왜곡 보정 또는 위치 정렬 등의 처리를 행함과 함께, 다른 촬상부(7410)에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상을 생성해도 된다. 차외 정보 검출 유닛(7400)은, 다른 촬상부(7410)에 의해 촬상된 화상 데이터를 사용하여, 시점 변환 처리를 행해도 된다.
차내 정보 검출 유닛(7500)은 차내의 정보를 검출한다. 차내 정보 검출 유닛(7500)에는, 예를 들어, 운전자의 상태를 검출하는 운전자 상태 검출부(7510)가 접속된다. 운전자 상태 검출부(7510)는, 운전자를 촬상하는 카메라, 운전자의 생체 정보를 검출하는 생체 센서 또는 차실내의 음성을 집음하는 마이크 등을 포함해도 된다. 생체 센서는, 예를 들어, 시트면 또는 스티어링 휠 등에 마련되고, 좌석에 앉은 탑승자 또는 스티어링 휠을 잡는 운전자의 생체 정보를 검출한다. 차내 정보 검출 유닛(7500)은 운전자 상태 검출부(7510)로부터 입력되는 검출 정보에 기초하여, 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸지 않고 있을지를 판별해도 된다. 차내 정보 검출 유닛(7500)은 집음된 음성 신호에 대하여 노이즈 캔슬링 처리 등의 처리를 행해도 된다.
통합 제어 유닛(7600)은, 각종 프로그램에 따라서 차량 제어 시스템(7000) 내의 동작 전반을 제어한다. 통합 제어 유닛(7600)에는, 입력부(7800)가 접속되어 있다. 입력부(7800)는, 예를 들어, 터치 패널, 버튼, 마이크로폰, 스위치 또는 레버 등, 탑승자에 의해 입력 조작될 수 있는 장치에 의해 실현된다. 통합 제어 유닛(7600)에는, 마이크로폰에 의해 입력되는 음성을 음성 인식함으로써 얻은 데이터가 입력되어도 된다. 입력부(7800)는, 예를 들어, 적외선 또는 그 밖의 전파를 이용한 리모트 컨트롤 장치여도 되고, 차량 제어 시스템(7000)의 조작에 대응한 휴대 전화 또는 PDA(Personal Digital Assistant) 등의 외부 접속 기기여도 된다. 입력부(7800)는, 예를 들어, 카메라여도 되고, 그 경우 탑승자는 제스처에 의해 정보를 입력할 수 있다. 혹은, 탑승자가 장착한 웨어러블 장치의 움직임을 검출함으로써 얻어진 데이터가 입력되어도 된다. 또한, 입력부(7800)는, 예를 들어, 상기의 입력부(7800)를 사용하여 탑승자 등에 의해 입력된 정보에 기초하여 입력 신호를 생성하고, 통합 제어 유닛(7600)에 출력하는 입력 제어 회로 등을 포함해도 된다. 탑승자 등은, 이 입력부(7800)를 조작함으로써, 차량 제어 시스템(7000)에 대하여 각종 데이터를 입력하거나 처리 동작을 지시하거나 한다.
기억부(7690)는, 마이크로 컴퓨터에 의해 실행되는 각종 프로그램을 기억하는 ROM(Read Only Memory) 및 각종 파라미터, 연산 결과 또는 센서값 등을 기억하는 RAM(Random Access Memory)을 포함하고 있어도 된다. 또한, 기억부(7690)는, HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스 또는 광자기 기억 디바이스 등에 의해 실현해도 된다.
범용 통신 I/F(7620)는, 외부 환경(7750)에 존재하는 다양한 기기와의 사이의 통신을 중개하는 범용적인 통신 I/F이다. 범용 통신 I/F(7620)는, GSM(등록 상표)(Global System of Mobile communications), WiMAX(등록 상표), LTE(등록 상표)(Long Term Evolution) 혹은 LTE-A(LTE-Advanced) 등의 셀룰러 통신 프로토콜, 또는 무선 LAN(Wi-Fi(등록 상표)라고도 함), Bluetooth(등록 상표) 등의 그 밖의 무선 통신 프로토콜을 실장해도 된다. 범용 통신 I/F(7620)는, 예를 들어, 기지국 또는 액세스 포인트를 통해, 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)에 접속해도 된다. 또한, 범용 통신 I/F(7620)는, 예를 들어, P2P(Peer To Peer) 기술을 사용하여, 차량의 근방에 존재하는 단말기(예를 들어, 운전자, 보행자 혹은 점포의 단말기, 또는 MTC(Machine Type Communication) 단말기)와 접속해도 된다.
전용 통신 I/F(7630)는, 차량에 있어서의 사용을 목적으로 하여 책정된 통신 프로토콜을 서포트하는 통신 I/F이다. 전용 통신 I/F(7630)는, 예를 들어, 하위 레이어의 IEEE802.11p와 상위 레이어의 IEEE1609의 조합인 WAVE(Wireless Access in Vehicle Environment), DSRC(Dedicated Short Range Communications), 또는 셀룰러 통신 프로토콜과 같은 표준 프로토콜을 실장해도 된다. 전용 통신 I/F(7630)는, 전형적으로는, 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 차량과 집 사이(Vehicle to Home)의 통신 및 보차간(Vehicle to Pedestrian) 통신 중 1개 이상을 포함하는 개념인 V2X 통신을 수행한다.
측위부(7640)는, 예를 들어, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호(예를 들어, GPS(Global Positioning System) 위성으로부터의 GPS 신호)를 수신하여 측위를 실행하고, 차량의 위도, 경도 및 고도를 포함하는 위치 정보를 생성한다. 또한, 측위부(7640)는, 무선 액세스 포인트와의 신호의 교환에 의해 현재 위치를 특정해도 되고, 또는 측위 기능을 갖는 휴대 전화, PHS 혹은 스마트폰과 같은 단말기로부터 위치 정보를 취득해도 된다.
비콘 수신부(7650)는, 예를 들어, 도로 위에 설치된 무선국 등으로부터 발신되는 전파 또는 전자파를 수신하고, 현재 위치, 정체, 통행 금지 또는 소요 시간 등의 정보를 취득한다. 또한, 비콘 수신부(7650)의 기능은, 상술한 전용 통신 I/F(7630)에 포함되어도 된다.
차내 기기 I/F(7660)는, 마이크로 컴퓨터(7610)와 차내에 존재하는 다양한 차내 기기(7760)와의 사이의 접속을 중개하는 통신 인터페이스이다. 차내 기기 I/F(7660)는, 무선 LAN, Bluetooth(등록 상표), NFC(Near Field Communication) 또는 WUSB(Wireless USB) 등의 무선 통신 프로토콜을 사용하여 무선 접속을 확립해도 된다. 또한, 차내 기기 I/F(7660)는, 도시하지 않은 접속 단자(및, 필요하면 케이블)를 통해, USB(Universal Serial Bus), HDMI(등록 상표)(High-Definition Multimedia Interface, 또는 MHL(Mobile High-definition Link) 등의 유선 접속을 확립해도 된다. 차내 기기(7760)는, 예를 들어, 탑승자가 갖는 모바일 기기 혹은 웨어러블 기기, 또는 차량에 반입되고 혹은 설치되는 정보 기기 중 적어도 하나를 포함하고 있어도 된다. 또한, 차내 기기(7760)는, 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치를 포함하고 있어도 된다. 차내 기기 I/F(7660)는, 이들의 차내 기기(7760)와의 사이에서, 제어 신호 또는 데이터 신호를 교환한다.
차량 탑재 네트워크 I/F(7680)는, 마이크로 컴퓨터(7610)와 통신 네트워크(7010) 사이의 통신을 중개하는 인터페이스이다. 차량 탑재 네트워크 I/F(7680)는, 통신 네트워크(7010)에 의해 서포트되는 소정의 프로토콜에 의거하여, 신호 등을 송수신한다.
통합 제어 유닛(7600)의 마이크로 컴퓨터(7610)는 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660) 및 차량 탑재 네트워크 I/F(7680) 중 적어도 1개를 통해 취득되는 정보에 기초하여, 각종 프로그램에 따라서, 차량 제어 시스템(7000)을 제어한다. 예를 들어, 마이크로 컴퓨터(7610)는 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하고, 구동계 제어 유닛(7100)에 대하여 제어 지령을 출력해도 된다. 예를 들어, 마이크로 컴퓨터(7610)는 차량의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행해도 된다. 또한, 마이크로 컴퓨터(7610)는, 취득되는 차량의 주위 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 따르지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행해도 된다.
마이크로 컴퓨터(7610)는 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660) 및 차량 탑재 네트워크 I/F(7680) 중 적어도 1개를 통해 취득되는 정보에 기초하여, 차량과 주변의 구조물이나 인물 등의 물체와의 사이에 3차원 거리 정보를 생성하고, 차량의 현재 위치의 주변 정보를 포함하는 로컬 지도 정보를 제작해도 된다. 또한, 마이크로 컴퓨터(7610)는 취득되는 정보에 기초하여, 차량의 충돌, 보행자 등의 근접 또는 통행 금지의 도로에의 진입 등의 위험을 예측하고, 경고용 신호를 생성해도 된다. 경고용 신호는, 예를 들어, 경고음을 발생시키거나, 경고 램프를 점등시키거나 하기 위한 신호여도 된다.
음성 화상 출력부(7670)는, 차량의 탑승자 또는 차밖에 대하여, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치에 음성 및 화상 중 적어도 한쪽의 출력 신호를 송신한다. 도 28의 예에서는, 출력 장치로서, 오디오 스피커(7710), 표시부(7720) 및 인스트루먼트 패널(7730)이 예시되어 있다. 표시부(7720)는, 예를 들어, 온보드 디스플레이 및 헤드업 디스플레이 중 적어도 하나를 포함하고 있어도 된다. 표시부(7720)는, AR(Augmented Reality) 표시 기능을 갖고 있어도 된다. 출력 장치는, 이들의 장치 이외의, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터 또는 램프 등의 다른 장치여도 된다. 출력 장치가 표시 장치인 경우, 표시 장치는, 마이크로 컴퓨터(7610)가 행한 각종 처리에 의해 얻어진 결과 또는 다른 제어 유닛으로부터 수신된 정보를, 텍스트, 이미지, 표, 그래프 등, 다양한 형식으로 시각적으로 표시한다. 또한, 출력 장치가 음성 출력 장치인 경우, 음성 출력 장치는 재생된 음성 데이터 또는 음향 데이터 등으로 이루어지는 오디오 신호를 아날로그 신호로 변환하여 청각적으로 출력한다.
또한, 도 28에 도시한 예에 있어서, 통신 네트워크(7010)를 통해 접속된 적어도 2개의 제어 유닛이 하나의 제어 유닛으로서 일체화되어도 된다. 혹은, 개개의 제어 유닛이, 복수의 제어 유닛에 의해 구성되어도 된다. 또한, 차량 제어 시스템(7000)이 도시되어 있지 않은 다른 제어 유닛을 구비해도 된다. 또한, 상기의 설명에 있어서, 어느 것의 제어 유닛이 담당하는 기능의 일부 또는 전부를, 다른 제어 유닛에 갖게 해도 된다. 즉, 통신 네트워크(7010)를 통해 정보의 송수신이 되도록 되어 있으면, 소정의 연산 처리가, 어느 것의 제어 유닛에서 행해지도록 되어도 된다. 마찬가지로, 어느 것의 제어 유닛에 접속되어 있는 센서 또는 장치가, 다른 제어 유닛에 접속됨과 함께, 복수의 제어 유닛이, 통신 네트워크(7010)를 통해 서로 검출 정보를 송수신해도 된다.
또한, 도 1을 사용하여 설명한 본 실시 형태에 관한 투영 시스템(1)의 각 기능을 실현하기 위한 컴퓨터 프로그램을, 어느 것의 제어 유닛 등에 실장할 수 있다. 또한, 이러한 컴퓨터 프로그램이 저장된, 컴퓨터로 판독 가능한 기록 매체를 제공할 수도 있다. 기록 매체는, 예를 들어, 자기 디스크, 광 디스크, 광자기 디스크, 플래시 메모리 등이다. 또한, 상기의 컴퓨터 프로그램은, 기록 매체를 사용하지 않고, 예를 들어, 네트워크를 통해 배신되어도 된다.
이상 설명한 차량 제어 시스템(7000)에 있어서, 도 1을 사용하여 설명한 본 실시 형태에 관한 투영 시스템(1)은, 도 28에 도시한 응용예의 통합 제어 유닛(7600)에 적용할 수 있다. 예를 들어, 투영 시스템(1)의 센서 유닛(30) 및 제어 장치(50)는 통합 제어 유닛(7600)의 마이크로 컴퓨터(7610), 촬상부(7410), 운전자 상태 검출부(7510)에 상당한다. 단, 이것에 한정되지 않고, 차량 제어 시스템(7000)이 도 1에 있어서의 제어 장치(50)에 상당해도 된다.
또한, 도 1을 사용하여 설명한 본 실시 형태에 관한 투영 시스템(1)의 적어도 일부의 구성 요소는, 도 28에 도시한 통합 제어 유닛(7600)을 위한 모듈(예를 들어, 하나의 다이로 구성되는 집적 회로 모듈)에 있어서 실현되어도 된다. 혹은, 도 1을 사용하여 설명한 본 실시 형태에 관한 투영 시스템(1)이 도 28에 도시한 차량 제어 시스템(7000)의 복수의 제어 유닛에 의해 실현되어도 된다.
<9. 결말>
상술한 본 개시의 제1 실시 형태 내지 제6 실시 형태에 관한 투영 시스템의 각각에 개시되어 있는 복수의 구성 요소를 적절히 조합함으로써, 다양한 형태를 형성할 수 있다. 예를 들어, 상술한 본 개시의 제1 실시 형태 내지 제6 실시 형태에 관한 투영 시스템에 기재한 전체 구성 요소로부터 몇 가지의 구성 요소를 삭제해도 된다. 또한, 상술한 본 개시의 제1 실시 형태 내지 제6 실시 형태에 관한 투영 시스템으로 설명한 구성 요소를 적절히 조합해도 된다.
또한, 본 개시의 제1 실시 형태 내지 제6 실시 형태에 관한 투영 시스템에서는, 상술해 온 「부」는, 「수단」이나 「회로」 등으로 대체할 수 있다. 예를 들어, 제어부는, 제어 수단이나 제어 회로에 다른 음으로 읽을 수 있다.
또한, 본 개시의 제1 실시 형태 내지 제6 실시 형태에 관한 투영 시스템에 실행시키는 프로그램은, 인스톨 가능한 형식 또는 실행 가능한 형식의 파일 데이터로 CD-ROM, 플렉시블 디스크(FD), CD-R, DVD(Digital Versatile Disk), USB 매체, 플래시 메모리 등의 컴퓨터로 판독 가능한 기록 매체에 기록되어 제공된다.
또한, 본 개시의 제1 실시 형태 내지 제4 실시 형태에 관한 투영 시스템에 실행시키는 프로그램은, 인터넷 등의 네트워크에 접속된 컴퓨터 상에 저장하고, 네트워크 경유로 다운로드시킴으로써 제공하도록 구성해도 된다.
또한, 본 명세서에 있어서의 타이밍 차트의 설명에서는, 「먼저」, 「그 후」, 「계속해서」 등의 표현을 사용하여 타이밍간의 처리의 전후 관계를 명시하고 있었지만, 본 개시를 실시하기 위해 필요한 처리의 순서는, 그들의 표현에 의해 일의적으로 정해지는 것은 아니다. 즉, 본 명세서에서 기재한 타이밍 차트에 있어서의 처리의 순서는, 모순이 없는 범위에서 변경할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니며, 또 다른 효과가 있어도 된다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
이동체 내의 공간 상황을 검출하는 센서로부터 입력되는 공간 상황 정보에 기초하여, 상기 이동체 내의 공간에 마련된 투영 장치가 소정의 투영면에 투영하는 영상의 상태를 제어하는 제어부를 구비하는,
제어 장치.
(2)
(1)에 기재된 제어 장치이며,
상기 제어부는,
상기 공간 상황 정보에 기초하여, 상기 이동체 내에 있어서의 탑승자의 인원수 및 착좌 위치를 인식하는 인식부와,
상기 인원수와, 상기 착좌 위치에 기초하여, 상기 투영 장치가 투영하는 상기 영상의 포커스 상태를 제어하는 제어 신호를 생성하는 생성부
를 구비하는,
제어 장치.
(3)
(2)에 기재된 제어 장치이며,
상기 인식부가 인식한 상기 탑승자의 상기 착좌 위치와 상기 투영 장치가 투영하는 상기 영상의 투영면과의 거리를, 상기 인식부가 인식한 상기 탑승자마다 산출하는 산출부를 더 구비하고,
상기 생성부는,
상기 인원수, 상기 착좌 위치, 상기 탑승자원마다의 상기 거리에 기초하여, 상기 제어 신호를 생성하는,
제어 장치.
(4)
(3)에 기재된 제어 장치이며,
상기 인식부는,
상기 공간 상황 정보에 기초하여, 적어도 상기 탑승자의 헤드의 위치 및 눈의 위치의 한쪽을 인식하고,
상기 산출부는,
적어도 상기 탑승자의 헤드의 위치 및 눈의 위치의 한쪽과, 상기 착좌 위치에 기초하여, 상기 탑승자마다의 상기 거리를 산출하는,
제어 장치.
(5)
(2)에 기재된 제어 장치이며,
상기 생성부는,
상기 인원수와, 상기 착좌 위치와, 상기 이동체에서 발생되는 흔들림을 검출하는 가속도 센서에 의해 취득되는 가속도 정보에 기초하여, 상기 제어 신호를 생성하는,
제어 장치.
(6)
(2) 내지 (5) 중 어느 하나에 기재된 제어 장치이며,
상기 센서는,
상기 이동체 내를 촬상함으로써 컬러의 화상 데이터를 생성하는 카메라,
상기 이동체 내를 촬상함으로써 시차를 갖는 시차 화상 데이터를 생성하는 스테레오 카메라,
상기 이동체 내를 촬상함으로써 화소마다 거리 정보를 검출 가능한 거리 화상 데이터를 생성하는 TOF 카메라 중 어느 하나 이상이며,
상기 공간 상황 정보는,
상기 컬러의 화상 데이터, 상기 시차 화상 데이터, 상기 거리 화상 데이터 중 어느 하나 이상인,
제어 장치.
(7)
(6)에 기재된 제어 장치이며,
상기 인식부는,
상기 화상 데이터, 상기 시차 화상 데이터 및 상기 거리 화상 데이터 중 어느 하나 이상에 기초하여, 상기 인원수와, 상기 착좌 위치를 인식하는,
제어 장치.
(8)
(2) 내지 (7) 중 어느 하나에 기재된 제어 장치이며,
상기 생성부는,
상기 투영 장치가 투영하는 상기 영상으로서의 콘텐츠 데이터에 기초하여, 상기 제어 신호를 생성하는,
제어 장치.
(9)
(8)에 기재된 제어 장치이며,
상기 콘텐츠 데이터에 기초하여, 상기 영상 내에 있어서 강조하는 강조 위치를 특정하는 특정부를 더 구비하고,
상기 생성부는,
상기 강조 위치에 기초하여, 상기 제어 신호를 생성하는,
제어 장치.
(10)
(2) 내지 (9) 중 어느 하나에 기재된 제어 장치이며,
상기 센서는,
상기 이동체 내에 있어서의 상기 탑승자의 동작을 검출하는 인터랙션 디바이스이며,
상기 공간 상황 정보는,
상기 탑승자의 동작이며
상기 생성부는,
상기 탑승자의 동작에 기초하여, 상기 제어 신호를 생성하는,
제어 장치.
(11)
(2) 내지 (10) 중 어느 하나에 기재된 제어 장치이며,
상기 제어 신호는,
상기 투영 장치의 포커스 위치를 제어하는 신호인,
제어 장치.
(12)
(2) 내지 (10) 중 어느 하나에 기재된 제어 장치이며,
상기 제어 신호는,
상기 투영 장치가 투영하는 상기 영상의 밝기를 조정하는 신호인,
제어 장치.
(13)
(1) 내지 (12) 중 어느 하나에 기재된 제어 장치이며,
상기 투영면은,
자유 곡면인,
제어 장치.
(14)
이동체 내에 있어서의 소정의 투영면에 영상을 투영하는 투영 장치와,
상기 이동체 내의 공간 상황을 검출하는 센서와,
상기 센서가 검출한 공간 상황에 관한 공간 상황 정보에 기초하여, 상기 영상의 상태를 제어하는 제어 장치
를 구비하는,
투영 시스템.
(15)
(14)에 기재된 투영 시스템이며,
상기 투영 장치는,
상기 영상을 상기 소정의 투영면에 투영하는 투영 렌즈와,
상기 투영 렌즈를 광로 상을 따라서 이동시킴으로써, 상기 영상의 포커스 위치를 조정하는 구동부
를 구비하고,
상기 제어 장치는,
상기 공간 상황 정보에 기초하여, 상기 이동체 내에 있어서의 탑승자의 인원수 및 착좌 위치를 인식하는 인식부와,
상기 인원수와, 상기 착좌 위치에 기초하여, 상기 투영 장치가 투영하는 상기 영상의 포커스 상태를 제어하는 제어 신호를 생성하는 생성부
를 구비하는,
투영 시스템.
(16)
(15)에 기재된 투영 시스템이며,
상기 제어 장치는,
상기 인식부가 인식한 상기 탑승자의 상기 착좌 위치와 상기 투영 장치가 투영하는 상기 영상의 투영면과의 거리를, 상기 인식부가 인식한 상기 탑승자마다 산출하는 산출부를 더 구비하고,
상기 생성부는,
상기 인원수, 상기 착좌 위치, 상기 탑승자원마다의 상기 거리에 기초하여, 상기 제어 신호를 생성하는,
투영 시스템.
(17)
(16)에 기재된 투영 시스템이며,
상기 인식부는,
상기 공간 상황 정보에 기초하여, 적어도 상기 탑승자의 헤드의 위치 및 눈의 위치의 한쪽을 인식하고,
상기 산출부는,
적어도 상기 탑승자의 헤드의 위치 및 눈의 위치의 한쪽과, 상기 착좌 위치에 기초하여, 상기 탑승자마다의 상기 거리를 산출하는,
투영 시스템.
(18)
(15)에 기재된 투영 시스템이며,
상기 생성부는,
상기 인원수와, 상기 착좌 위치와, 상기 이동체에서 발생되는 흔들림을 검출하는 가속도 센서에 의해 취득되는 가속도 정보에 기초하여, 상기 제어 신호를 생성하는,
투영 시스템.
(19)
이동체 내의 공간에 마련된 투영 장치를 제어하는 제어 방법이며,
상기 이동체 내의 공간 상황을 검출하는 센서로부터 입력되는 공간 상황 정보에 기초하여, 상기 투영 장치가 소정의 투영면에 투영하는 영상의 상태를 제어하는,
제어 방법.
(20)
이동체 내의 공간에 마련된 투영 장치를 제어하는 제어 장치에,
상기 이동체 내의 공간 상황을 검출하는 센서로부터 입력되는 공간 상황 정보에 기초하여, 상기 투영 장치가 소정의 투영면에 투영하는 영상의 상태를 제어하는,
것을 실행시키는 프로그램.
1, 1A, 1B, 1C, 1D, 1E: 투영 시스템
10: 이동체
20: 프로젝터
24: 투영 렌즈
26: 광학 디바이스 구동부
30, 30A, 30B, 30D, 30E: 센서 유닛
31: 카메라
32: 가속도 센서
33: 스테레오 카메라
34: TOF 카메라
35: 인터랙션 디바이스
36: 입력 장치
40: 콘텐츠 재생 장치
50, 50A, 50B, 50C, 50D, 50E: 제어 장치
51: 입력부
52, 52A, 52B, 52C, 52D, 52E: 제어부
53: 출력부
521: 인식부
522, 522: 메모리
523, 523A, 523B: 산출부
524, 524A, 524B, 524C, 524D, 524E: 생성부
525: 흔들림 산출부
526: 특정부
527: 제스처 판정부
5231: 제1 거리 산출부
5232: 제2 거리 산출부

Claims (20)

  1. 이동체 내의 공간 상황을 검출하는 센서로부터 입력되는 공간 상황 정보에 기초하여, 상기 이동체 내의 공간에 마련된 투영 장치가 소정의 투영면에 투영하는 영상의 상태를 제어하는 제어부를 구비하는
    제어 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 공간 상황 정보에 기초하여, 상기 이동체 내에 있어서의 탑승자의 인원수 및 착좌 위치를 인식하는 인식부와,
    상기 인원수와, 상기 착좌 위치에 기초하여, 상기 투영 장치가 투영하는 상기 영상의 포커스 상태를 제어하는 제어 신호를 생성하는 생성부
    를 구비하는 제어 장치.
  3. 제2항에 있어서,
    상기 인식부가 인식한 상기 탑승자의 상기 착좌 위치와 상기 투영 장치가 투영하는 상기 영상의 투영면과의 거리를, 상기 인식부가 인식한 상기 탑승자마다 산출하는 산출부를 더 구비하고,
    상기 생성부는,
    상기 인원수, 상기 착좌 위치, 상기 탑승자원마다의 상기 거리에 기초하여, 상기 제어 신호를 생성하는 제어 장치.
  4. 제3항에 있어서,
    상기 인식부는,
    상기 공간 상황 정보에 기초하여, 적어도 상기 탑승자의 헤드의 위치 및 눈의 위치의 한쪽을 인식하고,
    상기 산출부는,
    적어도 상기 탑승자의 헤드의 위치 및 눈의 위치의 한쪽과, 상기 착좌 위치에 기초하여, 상기 탑승자마다의 상기 거리를 산출하는 제어 장치.
  5. 제2항에 있어서,
    상기 생성부는,
    상기 인원수와, 상기 착좌 위치와, 상기 이동체에서 발생되는 흔들림을 검출하는 가속도 센서에 의해 취득되는 가속도 정보에 기초하여, 상기 제어 신호를 생성하는 제어 장치.
  6. 제2항에 있어서,
    상기 센서는,
    상기 이동체 내를 촬상함으로써 컬러의 화상 데이터를 생성하는 카메라,
    상기 이동체 내를 촬상함으로써 시차를 갖는 시차 화상 데이터를 생성하는 스테레오 카메라,
    상기 이동체 내를 촬상함으로써 화소마다 거리 정보를 검출 가능한 거리 화상 데이터를 생성하는 TOF 카메라 중 어느 하나 이상이며,
    상기 공간 상황 정보는,
    상기 컬러의 화상 데이터, 상기 시차 화상 데이터, 상기 거리 화상 데이터 중 어느 하나 이상인 제어 장치.
  7. 제6항에 있어서,
    상기 인식부는,
    상기 화상 데이터, 상기 시차 화상 데이터 및 상기 거리 화상 데이터 중 어느 하나 이상에 기초하여, 상기 인원수와, 상기 착좌 위치를 인식하는 제어 장치.
  8. 제2항에 있어서,
    상기 생성부는,
    상기 투영 장치가 투영하는 상기 영상으로서의 콘텐츠 데이터에 기초하여, 상기 제어 신호를 생성하는 제어 장치.
  9. 제8항에 있어서,
    상기 콘텐츠 데이터에 기초하여, 상기 영상 내에 있어서 강조하는 강조 위치를 특정하는 특정부를 더 구비하고,
    상기 생성부는,
    상기 강조 위치에 기초하여, 상기 제어 신호를 생성하는 제어 장치.
  10. 제2항에 있어서,
    상기 센서는,
    상기 이동체 내에 있어서의 상기 탑승자의 동작을 검출하는 인터랙션 디바이스이며,
    상기 공간 상황 정보는,
    상기 탑승자의 동작이며,
    상기 생성부는,
    상기 탑승자의 동작에 기초하여, 상기 제어 신호를 생성하는 제어 장치.
  11. 제2항에 있어서,
    상기 제어 신호는,
    상기 투영 장치의 포커스 위치를 제어하는 신호인 제어 장치.
  12. 제2항에 있어서,
    상기 제어 신호는,
    상기 투영 장치가 투영하는 상기 영상의 밝기를 조정하는 신호인 제어 장치.
  13. 제1항에 있어서,
    상기 투영면은,
    자유 곡면인 제어 장치.
  14. 이동체 내에 있어서의 소정의 투영면에 영상을 투영하는 투영 장치와,
    상기 이동체 내의 공간 상황을 검출하는 센서와,
    상기 센서가 검출한 공간 상황에 관한 공간 상황 정보에 기초하여, 상기 영상의 상태를 제어하는 제어 장치
    를 구비하는
    투영 시스템.
  15. 제14항에 있어서,
    상기 투영 장치는,
    상기 영상을 상기 소정의 투영면에 투영하는 투영 렌즈와,
    상기 투영 렌즈를 광로 상을 따라서 이동시킴으로써, 상기 영상의 포커스 위치를 조정하는 구동부
    를 구비하고,
    상기 제어 장치는,
    상기 공간 상황 정보에 기초하여, 상기 이동체 내에 있어서의 탑승자의 인원수 및 착좌 위치를 인식하는 인식부와,
    상기 인원수와, 상기 착좌 위치에 기초하여, 상기 투영 장치가 투영하는 상기 영상의 포커스 상태를 제어하는 제어 신호를 생성하는 생성부
    를 구비하는 투영 시스템.
  16. 제15항에 있어서,
    상기 제어 장치는,
    상기 인식부가 인식한 상기 탑승자의 상기 착좌 위치와 상기 투영 장치가 투영하는 상기 영상의 투영면과의 거리를, 상기 인식부가 인식한 상기 탑승자마다 산출하는 산출부를 더 구비하고,
    상기 생성부는,
    상기 인원수, 상기 착좌 위치, 상기 탑승자원마다의 상기 거리에 기초하여, 상기 제어 신호를 생성하는 투영 시스템.
  17. 제16항에 있어서,
    상기 인식부는,
    상기 공간 상황 정보에 기초하여, 적어도 상기 탑승자의 헤드의 위치 및 눈의 위치의 한쪽을 인식하고,
    상기 산출부는,
    적어도 상기 탑승자의 헤드의 위치 및 눈의 위치의 한쪽과, 상기 착좌 위치에 기초하여, 상기 탑승자마다의 상기 거리를 산출하는 투영 시스템.
  18. 제15항에 있어서,
    상기 생성부는,
    상기 인원수와, 상기 착좌 위치와, 상기 이동체에서 발생되는 흔들림을 검출하는 가속도 센서에 의해 취득되는 가속도 정보에 기초하여, 상기 제어 신호를 생성하는 투영 시스템.
  19. 이동체 내의 공간에 마련된 투영 장치를 제어하는 제어 방법이며,
    상기 이동체 내의 공간 상황을 검출하는 센서로부터 입력되는 공간 상황 정보에 기초하여, 상기 투영 장치가 소정의 투영면에 투영하는 영상의 상태를 제어하는
    제어 방법.
  20. 이동체 내의 공간에 마련된 투영 장치를 제어하는 제어 장치에,
    상기 이동체 내의 공간 상황을 검출하는 센서로부터 입력되는 공간 상황 정보에 기초하여, 상기 투영 장치가 소정의 투영면에 투영하는 영상의 상태를 제어하는
    것을 실행시키는 프로그램.
KR1020227041437A 2020-06-19 2021-06-16 제어 장치, 투영 시스템, 제어 방법 및 프로그램 KR20230028248A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2020-105856 2020-06-19
JP2020105856 2020-06-19
PCT/JP2021/022802 WO2021256483A1 (ja) 2020-06-19 2021-06-16 制御装置、投影システム、制御方法及びプログラム

Publications (1)

Publication Number Publication Date
KR20230028248A true KR20230028248A (ko) 2023-02-28

Family

ID=79268077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227041437A KR20230028248A (ko) 2020-06-19 2021-06-16 제어 장치, 투영 시스템, 제어 방법 및 프로그램

Country Status (6)

Country Link
US (1) US20230186651A1 (ko)
EP (1) EP4171021A4 (ko)
JP (1) JPWO2021256483A1 (ko)
KR (1) KR20230028248A (ko)
CN (1) CN115868155A (ko)
WO (1) WO2021256483A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024084951A1 (ja) * 2022-10-19 2024-04-25 ソニーグループ株式会社 プロジェクションシステム、制御装置、および制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005088864A (ja) 2003-09-12 2005-04-07 Fumiyoshi Nagano 平面鏡及び曲面鏡を備えるハイブリッド型ルームミラー
JP4955309B2 (ja) 2006-06-01 2012-06-20 Ｎｅｃディスプレイソリューションズ株式会社 オートフォーカス調整機能を有するプロジェクタ装置と自動焦点調整方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6083338B2 (ja) * 2013-07-08 2017-02-22 株式会社デンソー 投射型表示装置
US9360668B2 (en) * 2014-08-07 2016-06-07 Continental Automotive Systems, Inc. Dynamically calibrated head-up display
US10242457B1 (en) * 2017-03-20 2019-03-26 Zoox, Inc. Augmented reality passenger experience
US11645840B2 (en) * 2017-08-31 2023-05-09 Sony Corporation Information processing apparatus, information processing method, program, and moving body
CN111480194B (zh) * 2017-12-19 2023-08-04 索尼公司 信息处理装置、信息处理方法、程序、显示***和移动物体
CN111837175B (zh) * 2018-03-19 2023-11-14 索尼公司 图像显示***、信息处理装置、信息处理方法、程序和移动体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005088864A (ja) 2003-09-12 2005-04-07 Fumiyoshi Nagano 平面鏡及び曲面鏡を備えるハイブリッド型ルームミラー
JP4955309B2 (ja) 2006-06-01 2012-06-20 Ｎｅｃディスプレイソリューションズ株式会社 オートフォーカス調整機能を有するプロジェクタ装置と自動焦点調整方法

Also Published As

Publication number Publication date
EP4171021A1 (en) 2023-04-26
EP4171021A4 (en) 2023-11-22
JPWO2021256483A1 (ko) 2021-12-23
US20230186651A1 (en) 2023-06-15
WO2021256483A1 (ja) 2021-12-23
CN115868155A (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
US20200344421A1 (en) Image pickup apparatus, image pickup control method, and program
US10957029B2 (en) Image processing device and image processing method
WO2018180579A1 (ja) 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
JP6977722B2 (ja) 撮像装置、および画像処理システム
US20240075866A1 (en) Information processing apparatus, information processing method, photographing apparatus, lighting apparatus, and mobile body
WO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
US11585898B2 (en) Signal processing device, signal processing method, and program
US11689797B2 (en) Camera, method, non-transitory computer-readable medium, and system
WO2021256483A1 (ja) 制御装置、投影システム、制御方法及びプログラム
JP2019036862A (ja) サーバ装置、記録方法、およびプログラム、並びに情報処理装置
WO2020085101A1 (ja) 画像処理装置と画像処理方法およびプログラム
JPWO2018155242A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2019087577A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11438517B2 (en) Recognition device, a recognition method, and a program that easily and accurately recognize a subject included in a captured image
US10791287B2 (en) Imaging control apparatus and method, and vehicle
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2019106995A1 (ja) 撮影装置、撮影方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination