CN111357281B - 影像生成装置以及影像生成方法 - Google Patents

影像生成装置以及影像生成方法 Download PDF

Info

Publication number
CN111357281B
CN111357281B CN201880074715.8A CN201880074715A CN111357281B CN 111357281 B CN111357281 B CN 111357281B CN 201880074715 A CN201880074715 A CN 201880074715A CN 111357281 B CN111357281 B CN 111357281B
Authority
CN
China
Prior art keywords
image
display data
ship
distance
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880074715.8A
Other languages
English (en)
Other versions
CN111357281A (zh
Inventor
西山浩二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Publication of CN111357281A publication Critical patent/CN111357281A/zh
Application granted granted Critical
Publication of CN111357281B publication Critical patent/CN111357281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00—Monitoring properties or operating parameters of vessels in operation
    • B63B79/10—Monitoring properties or operating parameters of vessels in operation using sensors, e.g. pressure sensors, strain gauges or accelerometers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00—Monitoring properties or operating parameters of vessels in operation
    • B63B79/40—Monitoring properties or operating parameters of vessels in operation for controlling the operation of vessels, e.g. monitoring their speed, routing or maintenance schedules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/203—Specially adapted for sailing ships
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/22—Plotting boards
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53—Determining attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B2213/00—Navigational aids and use thereof, not otherwise provided for in this class
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2201/00—Indexing scheme relating to beacons or beacon systems transmitting signals capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters
    • G01S2201/01—Indexing scheme relating to beacons or beacon systems transmitting signals capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters adapted for specific applications or environments
    • G01S2201/08—Marine or water borne applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Ocean & Marine Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种影像生成装置，其生成能够直观地掌握影像与水上移动体的航行位置之间的关系的合成影像。影像生成装置(1)具有姿态获取部(16)、行进航线获取部(17a)、行进航线显示数据生成部(22b)以及数据合成部(25)，进行以下的影像生成方法。姿态获取部(16)获取表示照相机(3)或设置有照相机(3)的本船的姿态的姿态信息。行进航线获取部(17a)基于本船的位置以及方位中的至少一个的检测结果，获取该本船的行进航线。行进航线显示数据生成部(22b)根据姿态信息以及行进航线，生成行进航线显示数据。数据合成部(25)生成将行进航线显示数据和照相机(3)输出的影像合成后的合成影像。

Description

影像生成装置以及影像生成方法
技术领域
本发明主要涉及生成显示水上移动体的周围情况的影像的影像生成装置。
背景技术
例如，在专利文献1中公开了这种影像生成装置。该专利文献1的影像生成装置具有照相机、拍摄数据接收部、位置获取部、影像生成部、物标显示物生成部、显示器，该影像生成装置为对来自照相机的图像流进行地理参照的结构。
在专利文献1中，拍摄数据接收部接收船舶的照相机所拍摄的图像数据流。位置获取部获取该船舶的周围的物标(其他船等)的位置。影像生成部基于图像数据流的图像，生成显示于显示器的影像。该影像与照相机的位置及视野对应。物标显示物生成部在所述影像上的点处生成表示物标的物标显示物。而且，构成为在显示器上显示所述影像和配置在所述影像上的点的所述物标显示物。
上述的影像生成部通过在各点与所述影像上的点对应且表示水上移动体的周围的环境的三维虚拟空间投影上述影像来生成上述影像。并且，上述的物标显示物生成部基于物标的位置信息和三维虚拟空间的各个点，生成上述物标显示物。
现有技术文献
专利文献
专利文献1：美国专利申请公开第2015/0350552号说明书
发明内容
发明要解决的技术问题
但是，在专利文献1中公开了将物标显示物投影于影像的方法，但并未公开直观地掌握影像与水上移动体的航行位置之间的关系的方法。
本发明鉴于上述情况而提出，其主要目的在于，提供一种生成能够直观地掌握影像与水上移动体的航行位置之间的关系的合成影像的影像生成装置。
用于解决技术问题的技术方案以及效果
本发明要解决的课题如上，下面对用于解决该课题的方法和其效果进行说明。
根据本发明的第一观点，提供以下结构的影像生成装置。即，该影像生成装置具有姿态获取部、行进航线获取部、行进航线显示数据生成部、以及数据合成部。所述姿态获取部获取表示拍摄装置或设置有拍摄装置的水上移动体的姿态的姿态信息。所述行进航线获取部基于所述水上移动体的位置和方位中的至少一个的检测结果，获取该水上移动体的行进航线。所述行进航线显示数据生成部基于所述姿态信息和所述行进航线，生成行进航线显示数据。所述数据合成部生成将所述行进航线显示数据和所述拍摄装置输出的影像合成后的合成影像。
根据本发明的第二观点，提供一种进行以下处理的影像生成方法。获取表示拍摄装置或设置有拍摄装置的水上移动体的姿态的姿态信息。根据所述水上移动体的位置及方位中的至少一个的检测结果，获取该水上移动体的行进航线。基于所述姿态信息以及所述行进航线，生成行进航线显示数据。生成将所述行进航线显示数据和所述拍摄装置输出的影像合成后的合成影像。
由此，由于在合成影像上显示周围的影像和水上移动体的行进航线，因此，能够直观地掌握行进航线。
附图说明
图1是表示本发明的一实施方式的影像生成装置的整体结构的框图。
图2是表示船舶所具有的各种设备的侧视图。
图3是说明影像生成装置显示为虚拟现实对象物的航路点、设定航线、以及行进航线的概念图。
图4是表示行进航线的生成方法的例子的图。
图5是说明在三维虚拟空间中配置虚拟现实对象物而生成的三维场景数据和配置在该三维虚拟空间中的投影屏幕的概念图。
图6是表示数据合成部输出的合成影像的图。
图7是表示数据合成部输出的其他合成影像的图。
图8是表示距离基准位置的距离的计算方法的例子的图。
图9是表示判断行进航线显示数据的显示/不显示的处理的流程图。
具体实施方式
接着，参照附图对本发明的实施方式进行说明。图1是表示本发明的一实施方式的影像生成装置1的整体结构的框图。图2是表示船舶4所具有的各种设备的侧视图。
图1所示的影像生成装置1搭载于例如图2所示的船舶(水上移动体)4，是用于以由照相机(拍摄装置)3拍摄到的影像为基础，生成以虚拟现实的方式表现该船舶4的周围的情况的影像的装置。影像生成装置1生成的影像显示于显示器2。
显示器2例如能够构成为供在该船舶4(本船)上进行驾船的操作员参照的驾船辅助装置的显示器。但是，显示器2并不限定于上述，例如，也可以是从本船4对周围的状况进行监视的驾船辅助者所携带的便携式计算机的显示器、用于乘客在本船4的客房中观看的显示器、乘船者所佩戴的可穿戴眼镜等头戴式显示器、或者配置于从与本船4分离的位置管理运行状况的管理站的显示器的显示部。
影像生成装置1通过合成由设置于本船4的照相机3拍摄到的本船4的周围的影像和以虚拟现实的方式表现本船4的周围的附加显示信息(后面详述)的显示数据，来生成作为向显示器2输出的输出影像的合成影像。
接着，主要参照图1，对与影像生成装置1电连接的照相机3以及各种船舶设备进行说明。
照相机3构成为对本船4的周围进行拍摄的广角型的视频照相机。该照相机3具有实时输出功能，能够实时地生成作为拍摄结果的动态图像数据(影像数据)并向影像生成装置1输出。如图2所示，照相机3以拍摄方向相对于船体成为水平前方的方式设置于船舶4。
照相机3经由省略图示的旋转机构安装于船舶4，通过从影像生成装置1输入指示摇摄/倾斜动作的信号，能够将其拍摄方向以船舶4的船体为基准在规定的角度范围内变更。另外，本船4的高度及姿态因波浪等而发生各种变化，因此，随着照相机3的高度发生变化，姿态(拍摄方向)也三维地变化。
除了上述的照相机3之外，本实施方式的影像生成装置1还与作为船舶设备的GNSS(全球导航卫星***)罗盘(方位传感器、姿态传感器)5、角速度传感器6、GNSS接收器7、加速度传感器8、AIS(船舶自动识别***)接收器9、ECDIS(电子海图)10、标绘器11、雷达装置12以及声纳13等电连接。
GNSS罗盘5具有固定于本船4的多个GNSS天线(定位用天线)。GNSS罗盘5基于从定位卫星接收到的电波来计算各个GNSS天线的位置关系。特别地，本实施方式的GNSS罗盘5构成为，基于各GNSS天线接收到的电波的载波相位的相位差来求出GNSS天线的位置关系(该处理是公知的，因此省略详细的说明)。由此，能够高精度地获取本船4的船头方位。
GNSS罗盘5能够三维地获取船舶4的姿态。换言之，GNSS罗盘5不仅能够检测船头方位(即，船舶4的偏航角)，还能够检测船舶4的侧倾角以及俯仰角。由GNSS罗盘5获取的本船4的姿态信息被输出到影像生成装置1的姿态获取部16、利用该姿态信息的其他船舶设备。
角速度传感器6例如由公知的振动陀螺仪传感器构成，能够以比GNSS罗盘5的姿态检测间隔(例如，1秒)短的周期来检测船舶4的偏航角速度、侧倾角速度以及俯仰角速度。通过并用GNSS罗盘5检测出的角度和角速度传感器6检测出的角速度的积分值，能够以比仅使用GNSS罗盘5的情况短的时间间隔获取船舶4的姿态。另外，在来自上述的定位卫星的电波被例如桥等障碍物遮挡而不能基于GNSS罗盘5进行姿态的检测的情况下，角速度传感器6作为用于获取姿态信息的代替手段而发挥功能。
GNSS接收器7基于上述GNSS天线从测位卫星接收到的电波，求出本船4的位置(详细而言，GNSS天线的纬度、经度以及高度)。GNSS接收器7将所得到的位置信息输出到影像生成装置1的位置获取部15、利用该位置信息的其他船舶设备。
加速度传感器8例如构成为公知的静电电容检测型的传感器，能够以比GNSS接收器7的位置检测间隔(例如，1秒)短的周期检测船舶4的偏航轴、侧倾轴以及俯仰轴上的加速度。通过并用GNSS接收器7检测出的位置和加速度传感器8检测出的加速度的双重积分值，能够以比仅使用GNSS接收器7的情况短的时间间隔获取本船4的位置。另外，在来自上述的定位卫星的电波被遮挡而不能基于GNSS接收器7进行位置的检测的情况下，加速度传感器8作为用于获取位置信息的代替手段而发挥功能。
在本实施方式中，如图2所示，角速度传感器6、GNSS接收器7以及加速度传感器8被内置于GNSS罗盘5中。但是，角速度传感器6、GNSS接收器7以及加速度传感器8中的全部或者一部分也可以与GNSS罗盘5独立地设置。
AIS接收器9接收从其他船或基地台等发送的AIS信息。在AIS信息中包含有在本船4的周围航行的其他船的位置(纬度、经度)、该其他船的长度及宽度、该其他船的种类及识别信息、该其他船的船速、航向及目的地、以及地标的位置及识别信息等各种信息。
ECDIS10从GNSS接收器7获取本船4的位置信息，并且基于预先存储的电子海图信息，将本船4的周围的信息输出到影像生成装置1。
标绘器11通过从GNSS接收器7持续地获取本船4的位置，能够生成本船4的航行轨迹的信息。另外，标绘器11通过使用户设定多个航路点(本船4所通过的预定的地点)，能够以依次连接这些航路点的方式生成设定航线。
雷达装置12能够探测存在于本船4的周围的其他船等的物标。另外，该雷达装置12具有能够捕捉以及跟踪物标的公知的目标跟踪功能(Target Tracking、TT：目标跟踪)，能够求出该物标的位置以及速度矢量(TT信息)。
声纳13向水中发送超声波，并且接收该超声波被鱼群等反射的反射波，由此探测鱼群等。
影像生成装置1与用户操作的键盘31以及鼠标32连接。用户能够通过操作键盘31以及鼠标32来进行与影像的生成相关的各种指示。该指示包括照相机3的摇摄/倾斜动作、合成影像的视点的设定等。
接着，主要参照图1对影像生成装置1的结构进行详细说明。
如图1所示，影像生成装置1具有拍摄影像输入部21、位置获取部15、姿态获取部16、附加显示信息获取部17、存储部18、拍摄位置设定部26、天线位置设定部27、显示切换部28、警告部29以及合成影像生成部20。
具体而言，影像生成装置1构成为公知的计算机，虽未图示，但具有CPU、ROM、RAM以及HDD等。而且，影像生成装置1具有用于高速地进行后述的三维图像处理的GPU。并且，例如，在HDD中存储有用于执行本发明的影像合成处理的软件。通过该硬件与软件的协作，能够使影像生成装置1作为上述的拍摄影像输入部21等发挥功能。
拍摄影像输入部21例如能够以每秒30帧输入照相机3输出的影像数据。拍摄影像输入部21将输入的影像数据输出到合成影像生成部20(后述的数据合成部25)。
位置获取部15基于GNSS接收器7以及加速度传感器8的检测结果，实时地获取本船4的当前的位置。
姿态获取部16基于GNSS罗盘5以及角速度传感器6的检测结果实时地获取本船4的当前的姿态。另外，姿态获取部16基于本船4的当前的姿态和对照相机3的摇摄/倾斜动作的指示，实时地获取照相机3的当前的姿态(不是相对于本船4的姿态，而是相对于水面等船外的姿态)。
此外，也可以是通过在照相机3(详细地说是随着摇摄/倾斜动作而姿态发生变化的部分)安装GNSS罗盘5等姿态检测传感器来直接检测照相机3的姿态的结构。或者，也可以是基于照相机3拍摄到的影像来检测该照相机3的姿态的结构。具体而言，基于照相机3拍摄到的影像的水面的位置或其变化等来检测照相机3的姿态。
附加显示信息获取部17基于由AIS接收器9、ECDIS10、标绘器11、雷达装置12以及声纳13等输出至影像生成装置1的信息，获取对由照相机3拍摄到的影像附加地显示的信息(附加显示信息)。具体而言，附加显示信息获取部17作为获取本船4由此出发行进的航线即行进航线的行进航线获取部17a、获取距预先设定的设定航线等基准位置的距离的距离获取部17b、获取设定航线的方位与本船的行进方向之差(方位差)的方位差获取部17c发挥功能。此外，这些附加显示信息的详细情况在后面描述。
另外，位置获取部15、姿态获取部16以及附加显示信息获取部17可以是获取由影像生成装置1的外部(例如，各种传感器)计算出的信息的结构，也可以是获取由影像生成装置1的内部(基于检测值计算信息的部分)计算出的信息的结构。
图1的存储部18构成为存储各种信息的存储器。该存储部18存储用于生成虚拟现实对象物的设定值等。
拍摄位置设定部26能够设定本船4中的照相机3的位置(拍摄位置)、具体而言是船的长度方向以及宽度方向上的照相机3的位置和上下方向上的照相机的位置(照相机3的高度)。照相机3的高度可以设为距本船4中通常设想的吃水线的高度，但并不限定于此，例如，能够设为距船底的高度。该拍摄位置的设定例如能够通过用户操作键盘31以及鼠标32等来输入对照相机3的位置实际测量的结果来进行。
天线位置设定部27能够设定本船4中的GNSS天线的位置(天线位置)。该天线位置例如能够设为以控制的标准的位置即控制标准点4a为基准的、船的长度方向、宽度方向、以及上下方向上的位置。该控制标准点4a能够进行各种确定，但在本实施方式中，设定在本船4的船体的中央且与通常设想的吃水线相同的高度的位置。天线位置的设定与上述的拍摄位置同样，例如能够通过输入实际的测量值来进行。
显示切换部28进行对显示器2所显示的虚拟现实对象物的显示/非显示以及显示方式进行切换的处理(详情后述)。
警告部29在满足预先设定的条件的情况下，对用户进行警告。警告部29可以是自己发出警告音的结构，也可以是通过向外部的警告音产生装置发送规定的信号来产生警告音的结构。另外，作为警告，不限于警告音。例如，警告部29也可以是通过向显示器2发送规定的信号而使画面显示警告的结构。此外，关于警告部29产生警告的条件，将在后面叙述。
将位置获取部15、姿态获取部16、附加显示信息获取部17、存储部18、拍摄位置设定部26、以及天线位置设定部27将获取、存储或设定的信息输出到合成影像生成部20。
合成影像生成部20生成显示在显示器2的合成影像。该合成影像生成部20具有三维场景生成部22、距离显示数据生成部23、方位显示数据生成部24以及数据合成部25。
如图5所示，三维场景生成部22通过在三维虚拟空间40中配置与附加显示信息对应的虚拟现实对象物41v、42v、43v来构建虚拟现实的三维场景。由此，生成作为三维场景的数据的三维场景数据(三维显示用数据)48。此外，后面将描述三维场景的细节。另外，三维场景生成部22具有：设定航线显示数据生成部22a，生成用于显示设定航线的虚拟现实对象物(设定航线显示数据)；行进航线显示数据生成部22b，生成用于显示行进航线的虚拟现实对象物(行进航线显示数据)。
距离显示数据生成部23生成显示从设定航线等基准位置到本船4为止的距离的距离显示数据。方位显示数据生成部24生成显示本船的方位、设定航线和行进航线的行进方向的差异(方位差)等的方位显示数据。
数据合成部25进行生成并输出将由三维场景生成部22、距离显示数据生成部23以及方位显示数据生成部24生成的各显示数据与照相机3的拍摄影像合成后的影像(合成影像)的处理。此外，显示数据的生成处理以及数据合成处理的详细内容将在后面叙述。
接着，对由上述附加显示信息获取部17获取的附加显示信息进行详细说明。图3是说明在影像生成装置1中成为显示对象的附加显示信息的例子的概念图。
附加显示信息是对由照相机3拍摄到的影像附加地显示的信息，根据与影像生成装置1连接的船舶设备的目的及功能，可考虑各种信息。作为例示，关于检测位置或姿态的GNSS罗盘5等传感器，能够将基于这些检测值而生成的行进航线(生成方法在后面叙述)作为附加显示信息，关于AIS接收器9，能够将接收到的上述AIS信息(例如，其他船的位置及朝向、浮标的位置、虚拟浮标的位置等)作为附加显示信息。关于ECDIS10，能够将电子海图中所包含的危险海域、航海禁止区域、灯台、浮标等的位置作为附加显示信息。关于标绘器11，能够将所记录的本船4的轨迹、所设定的设定航线、航路点、到达区域(表示到达地的区域)、中途停靠区域(表示中途停靠点的区域)的位置等作为附加显示信息。关于雷达装置12，能够将探测到的物标的位置以及速度等作为附加显示信息。关于声纳13，能够将探测到的鱼群的位置作为附加显示信息。这些信息从船舶设备实时地输入到影像生成装置1。附加显示信息获取部17对输入的各个附加显示信息赋予用于唯一地确定并管理该附加显示信息的识别信息(例如，识别编号)。
在图3中示出了位于本船4的周围的附加显示信息的例子。在图3中，在海面上(水面上)规定有表示目的地的航路点41、表示到目的地为止的设定航线的折线状的设定航线42、与设定航线同样地表示折线状的行进航线的行进航线43。
各个附加显示信息中至少包含表示配置有该附加显示信息的海面(水面)上的一个或多个地点的位置(纬度以及经度)的信息。例如，在表示设定航线42以及行进航线43的附加显示信息中包含有成为折线的弯曲部的两处地点的位置的信息。此外，距离显示数据生成部23以及方位显示数据生成部24所处理的上述信息不包含表示位置的信息。
接下来，参照图4对行进航线43的生成方法进行说明。图4是表示行进航线43的生成方法的例子的图。
行进航线43是基于本船4的位置以及方位中的至少一个的检测结果，在检测时机以后推测为本船4行进的航线。设定航线42的位置被预先设定，只要用户不变更设定，设定航线42的位置就不会被变更。与此相对，行进航线43基于检测时机(通常为当前)的位置以及方位等而被推测，每当更新检测值时，行进航线43也随时生成并被更新。行进航线43是为了掌握从设定航线42、航行禁止区域(或不希望航行的区域)以及希望航行的区域等到本船4为止的距离而生成的。生成行进航线43的方法各种各样。在图4中记载了其中的三个例子。
在图4的左侧的记载为“设定航线的偏移”的方法中，影像生成装置1首先计算从设定航线42到当前的本船4(例如，本船4的宽度方向的中央)为止的距离L1。接着，影像生成装置1通过使设定航线42向本船4侧偏移距离L1来生成行进航线43。换言之，生成通过当前的本船4的位置并将距设定航线42的距离维持为相同值而行进的行进航线43。
在图4的中央的记载为“根据船头方位和潮流生成”的方法中，影像生成装置1首先基于GNSS罗盘5等，检测本船4的船头方位。接着，影像生成装置1使用本船4所具有的省略图示的潮流传感器来检测潮流信息(潮流的方向以及速度)。此外，影像生成装置1也可以是从本船4的外部获取潮流信息的结构。并且，影像生成装置1考虑船头方位和本船4因潮流所受到的影响(流动的方向及其程度)来推测本船4的行进方向。表示该行进方向的线成为行进航线43。
在图4的右侧的记载为“根据过去的移动轨迹生成”的方法中，影像生成装置1首先基于过去的GNSS接收器7的检测结果来检测过去的规定时间的移动轨迹。此外，在标绘器11存储本船4的移动轨迹的情况下，也可以从标绘器11获取移动轨迹。接着，影像生成装置1基于过去的移动轨迹，例如延长最近的移动方向等，来推测本船4的行进方向。表示该行进方向的线成为行进航线43。
此外，上述的行进航线43的生成方法是一个例子，也可以以不同的方法生成。例如，影像生成装置1能够不使用潮流信息而通过延长船头方位来生成行进航线43。或者，除了船头方位以及潮流信息以外，影像生成装置1还能够考虑本船4的速度来推测行进方向。另外，也能够生成具有宽度方向的长度(例如本船宽)而非本船4的1点的行进航线43。
接着，参照图5详细说明由三维场景生成部22进行的三维场景的构建以及由数据合成部25进行的影像的合成。图5是说明在三维虚拟空间40配置虚拟现实对象物41v、42v、43v而生成的三维场景数据48和配置于该三维虚拟空间40的投影屏幕51的概念图。
如图5所示，由三维场景生成部22配置虚拟现实对象物41v、42v、43v的三维虚拟空间40由以本船4的适当的基准位置(例如，上述的控制标准点4a)为原点的正交坐标系构成，以水平的面即xz平面模拟海面(水面)的方式设定。在图5的例子中，坐标轴被设定为，+z方向始终与船头方位一致，+x方向为右方向，+y方向为上方向。该三维虚拟空间40内的各地点(坐标)被设定为与本船4的周围的现实的位置对应。
在图5中，为了表现图3所示的本船4的周围的状况，示出了将虚拟现实对象物41v、42v、43v配置在三维虚拟空间40内的例子。各虚拟现实对象物41v、42v、43v配置为，以船头方位为基准，以反映该船头方位所表示的附加显示信息相对于本船4的相对位置的方式与xz平面相接。在确定配置这些虚拟现实对象物41v、42v、43v的位置时，进行使用了由图1所示的天线位置设定部27所设定的GNSS天线的位置的计算。
航路点41的虚拟现实对象物41v由薄的圆板状的三维形状表现。设定航线42以及行进航线43的虚拟现实对象物42v以将具有一定的厚度以及宽度的细长的板弯曲成折线状的三维形状来表现。
如上所述，三维场景生成部22生成三维场景数据48。在图5的例子中，虚拟现实对象物41v、42v、43v以将本船4的位置作为原点的方位基准配置，因此，若本船4的位置(东西方向以及南北方向上的位置)从图3的状态变化或者由于调头等而船头方位变化，则构建将该虚拟现实对象物41v、42v、43v重新配置的新的三维场景，并更新三维场景数据48。另外，例如果本船4从图3的状态移动等而变更相对本船4的航路点41、设定航线42、以及行进航线43等的位置，或者变更行进航线43的方向等，则以反映最新的附加显示信息的方式更新三维场景数据48。
然后，数据合成部25在三维虚拟空间40中配置确定投影照相机3的拍摄影像的位置及范围的投影屏幕51。设定后述的视点照相机55的位置和朝向，以使该投影屏幕51和虚拟现实对象物41v、42v、43v都包含在视野中，由此能够实现影像的合成。
数据合成部25在三维虚拟空间40中模拟搭载于本船4的照相机3的位置以及朝向，并且将投影屏幕51配置成与该照相机3正对。关于照相机3的位置的模拟，以船体为基准的照相机3的位置能够基于图1所示的拍摄位置设定部26的设定值得到。
在照相机3的位置和朝向的模拟时，考虑由上述照相机3的摇摄/倾斜动作引起的朝向的变化。进而，该模拟以基于由位置获取部15以及姿态获取部16获取的位置信息以及姿态信息，反映由船舶4的姿态的变化以及高度的变化引起的照相机3的位置以及朝向的变动的方式进行。数据合成部25与照相机3的位置以及朝向的变化连动地使配置于三维虚拟空间40的投影屏幕51的位置以及朝向变化。
然后，数据合成部25通过对三维场景数据48以及投影屏幕51实施公知的渲染处理来生成二维的图像。更具体而言，数据合成部25将视点照相机55配置于三维虚拟空间40，并且将决定成为渲染处理的对象的范围的视锥台56定义为，以该视点照相机55为顶点，其视线方向成为中心轴。接着，数据合成部25通过透视投影，将构成各对象物(虚拟现实对象物41v、42v、43v以及投影屏幕51)的多边形中的、位于该视锥台56的内部的多边形的顶点坐标变换为相当于在显示器2中的合成影像的显示区域的二维的虚拟屏幕的坐标。然后，基于配置在该虚拟屏幕上的顶点，以规定的分辨率进行像素的生成/加工处理，由此生成二维的图像。
在这样生成的二维图像中，包含通过进行三维场景数据48的描绘所得的显示数据(换言之，作为虚拟现实对象物41v、42v、43v的渲染结果的图形)。具体而言，在该二维图像中包含表示航路点41的航路点显示数据41d、表示设定航线42的设定航线显示数据42d、以及表示行进航线43的行进航线显示数据43d。另外，在二维图像的生成过程中，在相当于投影屏幕51的位置，以粘贴照相机3的拍摄影像的方式配置。由此，实现由数据合成部25进行的影像的合成。投影屏幕51成为以沿着以照相机3为中心的球壳的方式弯曲的形状，因此能够防止透视投影引起的拍摄影像的失真。
视点照相机55确定合成影像的视点，其位置及朝向可由用户使用键盘31及鼠标32等来设定。但是，作为生成合成影像时的模式，数据合成部25能够设为视点照相机55的位置及朝向自动地变化，以与照相机3的位置及朝向一致的模式(视点跟踪模式)。在该视点跟踪模式中，视点照相机55的整个视野始终被投影屏幕51(即，照相机3的拍摄影像)覆盖，因此，能够实现具有临场感的合成影像。
接着，参照图6以及图7对将由照相机3拍摄到的影像和基于三维场景数据48的二维的图像合成后的合成影像进行说明。图6和图7是表示数据合成部25输出的合成影像的图。
在图6中，在图3所示的状况中，包含本船4的照相机3拍摄到的拍摄影像。具体而言，作为拍摄影像，显示有海面，并且在拍摄影像的下部中央显示本船4的船头部分。在图6的合成影像中，以与拍摄影像重叠的方式配置有表现附加显示信息的显示数据41d、42d、43d。
上述的显示数据41d、42d、43d作为将构成图5所示的三维场景数据48的虚拟现实对象物41v、42v、43v的三维形状以与照相机3相同的位置以及朝向的视点进行描绘的结果而生成。因此，即使在对照相机3的写实的影像重叠了显示数据41d、42d、43d的情况下，也几乎不会产生视觉上的不协调感。
此外，在本实施方式中，将考虑照相机3的姿态而制作的虚拟现实对象物(三维场景数据48)制作为与拍摄影像不同的层，并通过合并这些层而生成合成影像。也可以取而代之地将虚拟现实对象物不作为考虑了姿态的图像，而是作为由像素的位置(坐标)和该位置处的颜色构成的数据列进行制作，并与拍摄影像匹配来进行合成。或者，也可以以不考虑照相机3的姿态的方式制作虚拟现实对象物作为图像，并在与拍摄影像合成时一边考虑照相机3的姿态一边进行合成。无论是哪种方法，虚拟现实对象物都是考虑照相机3的姿态而描绘的。
如图6所示，虚拟现实地表现附加显示信息的显示数据41d、42d、43d以仿佛被放置在拍摄影像的海面上的方式被配置在合成影像上。换言之，虚拟现实地表现附加显示信息的显示数据41d、42d、43d以与根据拍摄影像中出现的水面所掌握的三维的面的倾斜度一致的朝向来显示。特别地，表示航路点41、设定航线42以及行进航线43的显示数据41d、42d、43d配置为仿佛薄的板粘贴在海面上。这是通过以如下方式实现的：将图5所示的虚拟现实对象物41v、42v、43v配置为与xz平面相接，并且考虑照相机3的位置以及朝向而正确地配置投影屏幕51的位置，其中，该xz平面相对于照相机3隔开距离位于下方，该距离是基于由拍摄位置设定部26(参照图1)所设定的高度计算出的距离。
此外，设定航线显示数据42d以及行进航线显示数据43d的显示宽度能够通过设定来切换。在图6所示的例子中，设定航线显示数据42d以与本船4相同的宽度显示，行进航线显示数据43d以细长的线状(比设定航线显示数据42d细的宽度)显示。另外，行进显示数据43d也可以以比设定航线显示数据42d粗的宽度来显示。
在图7所示的例子中，设定航线显示数据42d是以比本船4宽且优选为本船4的宽度方向的整体不超出的宽度(换言之，允许本船4的位置偏移的宽度)进行显示。另一方面，行进航线显示数据43d以本船宽度显示。因此，在图7所示的例子中，只要以行进航线显示数据43d不超出设定航线显示数据42d的方式进行航行即可，因此，操作人员能够直观地掌握当前的位置偏移的程度以及距不允许的位置偏移的距离等。
此外，图6和图7所示的显示宽度是一个例子。例如，设定航线显示数据42d以及行进航线显示数据43d例如能够以线状、在本船宽度以下、与本船宽度相同程度、或者在本船宽度以上的任意宽度来显示。
另外，行进航线43由位置以及方位等推测，但并不对用户的驾船进行预测。因此，例如在用户使本船4转弯的情况下，本船4从行进航线43离开。即，即使显示太远的行进航线43，对于用户而言也有可能是没用的。因此，在本实施方式中，如图6所示，行进航线显示数据43d的沿着行进方向的长度比设定航线显示数据42d短且显示为在画面内能够确认前端。
另外，在图6或图7中，显示有距离显示数据44d以及方位显示数据45d1～45d3。距离显示数据44d以及方位显示数据45d1～45d3不是与位置建立了对应关系的数据，也不具有形状，因此不包含在三维场景数据48中。
距离显示数据44d是显示从用户设定的基准位置到本船4或行进航线43为止的距离的数据。如图6所示，距离显示数据44d包括具体地表示距基准位置的距离的数值和连结该距离的测量点彼此的箭头。在图6所示的例子中，设定航线42和画面外的航行禁止区域设定为基准位置。距离显示数据44d被显示在与行进航线43相关联的位置(例如，行进航线43的附近、行进航线43与基准位置之间)。此外，表示该距离的数值的计算方法在后面叙述。
方位显示数据45d1～45d3是计算与方位相关的信息的显示数据。具体而言，在图6的合成影像中显示方位刻度45d1和视野显示图形45d2。方位刻度45d1显示在画面上部，以连接左端和右端的方式形成为圆弧状。在方位刻度45d1中记载有表示与影像对应的方位的数值。视野显示图形45d2是示意性地表示本船4的全周中合成影像所显示的范围的图形。另外，在图7中还显示有方位差显示物45d3。方位差显示物45d3是表示设定航线42与行进航线43的行进方向之差即方位差的显示物。此外，该方位差由方位差获取部17c获取。具体而言，方位差获取部17c通过检测通过图4所示的方法获取的本船4或行进航线43的方位与设定航线42的方位的差异来获取方位差。在方位差显示物45d3中包含表示方位差的数值和表示方位差的方向的箭头。另外，在图7所示的例子中，在方位刻度45d1上记载有表示设定航线42的方位的箭头和表示行进航线43的方位的箭头。
以下，参照图8，对从基准位置到行进航线43为止的距离的计算方法进行说明。此外，该处理由距离获取部17b进行。图8是表示距基准位置的距离的计算方法的例子的图。图8中记载了三种基准位置的例子。
在图8的左侧的记载为“距设定航线的距离”的图中，示出了将设定航线42作为基准位置(具体而言为基准线)时的距离的算出方法。具体而言，影像生成装置1计算从本船4的宽度方向的中央沿着行进航线43从当前位置向前方前进了规定距离的点P1。接着，影像生成装置1从点P1向设定航线42(在包含宽度方向的长度的情况下为宽度方向的中央的位置)，对线的长度最短的点(点Q1)引出线，将该线的长度作为距离A来计算。在此，通过计算本船4的宽度方向的中央和设定航线42的宽度方向的中央，不管本船宽度以及设定航线42的宽度如何，都能够检测准确的航线偏移。
此外，如图7所示，在设定航线42表示允许位置偏移的宽度的情况下，也可以计算从设定航线42的宽度方向的端部到本船宽度的端部为止的距离。另外，在计算点P1与设定航线42之间的距离的情况下，不仅从点P1到设定航线42为止的距离变短，还可以优先选择到设定航线42的目的地位置的距离近的点(例如，点Q2)。另外，也可以优先选择本船4的行进方向与设定航线42的行进方向接近那样的设定航线42上的点。
在图8的中央的记载为“距设定水深的距离”的图中，示出了距设定水深的距离的计算方法。操作者例如考虑本船4的吃水而将具有触礁的危险性的水深预先设定为设定水深。影像生成装置1基于海图数据的等深线计算设定水深的位置。在本实施方式中，由于设定水深为15m，所以表示水深为15m的等深线成为基准位置(具体而言为基准线)。在此，即使仅是本船4的船体的一部分，也不优选在设定水深以下。因此，影像生成装置1计算从本船4的宽度方向的端部(详细而言为接近等深线的一侧的端部)沿着行进航线43行进了规定测距离的点P2。然后，影像生成装置1从点P2向相对于表示设定水深的等深线而言线的长度最短的点(点Q3)引出线，并根据该线的长度来计算距离B。
在图8的右侧的记载为“距航行禁止区域的距离”的图中，示出了将航行禁止区域设为基准位置(具体而言为基准范围)时的距离的计算方法。航行禁止区域是指通过举办活动或法律上的限制而禁止本船4航行的区域。因此，即使仅是本船4的船体的一部分位于航行禁止区域也是不优选的。另外，航行禁止区域是具有面积的区域，但与不禁止航行的区域的边界成为线。因此，与航行禁止区域之间的距离C通过与设定水深同样的方法来计算。
在上述说明的例子中，均不是计测本船4到基准位置的距离，而是计测本船4的前方的行进航线43上的点P1、P2、P3到基准位置的距离。这是因为，由于在通常情况下船舶不能够紧急停止以及急转弯，所以无法避免本船4通过上述的点P1、P2、P3的附近。此外，也可以计算出本船4到基准位置的距离。另外，在图8中，作为基准位置的例子，列举了基准线(设定航线42、等深线)以及基准范围，但也可以设定仅有一个位置信息的基准点。作为基准点，可以举出仅有一个位置信息的障碍物或用户设定的点(例如钓鱼成果良好的位置)等。
接着，参照图9对根据行进航线的显示/非显示的切换以及状况来变更显示方式的处理进行说明。图9是表示判断行进航线显示数据的显示/不显示的处理的流程图。
行进航线显示数据43d对于用户而言是有用的，另一方面，例如在显示多种类的虚拟现实对象物的情况下，为了防止画面变得繁杂，有时仅在需要的情况下显示行进航线显示数据43d。考虑到这一点，本实施方式的影像生成装置1(详细而言为显示切换部28)进行以下的控制，以使仅在需要的情况下显示行进航线显示数据43d。另外，以下，假定以计算距在图8中说明的三种(设定航线、设定水深及航行禁止区域)的距离的方式设定影像生成装置1的情况进行说明。
首先，显示切换部28获取从设定航线42到本船4或行进航线43为止的距离A(S101)。接着，显示切换部28获取从设定水深到本船4或行进航线43为止的距离B(S102)。接着，显示切换部28获取从不可航行区域到本船4或行进航线43为止的距离C(S103)。
接着，显示切换部28针对所获取的3个距离，判定距离A≥阈值α、距离B≤阈值β、距离C≤阈值γ中的至少任意一个是否成立(S104)。在此，距离A表示相对于设定航线42的位置偏移，因此优选为较小的值。另一方面，距离B以及距离C是距想要避免接近的位置的距离，因此优选为较大的值。因此，通过进行上述判定，判定当前是否应该使本船4的位置紧急地移动的紧急度。
显示切换部28在步骤S104中为“是”的情况下(即，在相对于设定航线42的位置偏移大，或者接近想要避免接近的位置，紧急度高的情况下)，显示行进航线显示数据43d(S105)。另外，在步骤S104中为“是”的情况下，警告部29以上述的方式进行警告。并且，显示切换部28以和与阈值之差对应的显示方式显示行进航线显示数据43d。例如，以距离A越大于阈值α，距离B(距离C)越小于阈值β(阈值γ)，则越清楚地告知紧急度的高低的显示方式显示行进航线显示数据43d。具体而言，通过提高颜色的浓度，或者使颜色接近黄色或红色等警告色，或者使显示闪烁，能够使用户掌握紧急度的高低。
另一方面，显示切换部28在步骤S104中为“否”的情况下(即，紧急度较低的情况下)，不显示行进航线显示数据43d(S106)。此外，由于随时进行图9的处理，因此，根据紧急程度自动地切换行进航线显示数据43d的显示/非显示。
此外，在本实施方式中，基于全部的3个距离来判定紧急度，但在设定了一个距离的测量的情况下，仅针对该一个距离判定紧急度。另外，也可以是如下结构：即使在设定了多个距离的测量的情况下，也仅基于优先顺序高的距离来进行行进航线显示数据43d的显示/非显示的切换以及与紧急度对应的显示方式的变更。
接着，简单说明伴随本船4的摇晃的合成影像的变化。如上所述，照相机3安装于本船4，因此，随着本船4的姿态因波浪等而倾斜或者本船4乘风破浪，照相机3位置以及朝向发生变化。在本实施方式中，数据合成部25在本船4产生摇晃(俯仰、侧倾以及颠簸等)的情况下，以模拟姿态获取部16获取的本船4的姿态的变化、以及位置获取部15获取的本船4的位置的上下方向的变化的方式，变更三维虚拟空间40中的照相机3的位置以及朝向，并随之变更投影屏幕51的位置。
具体而言，在上述的视点跟踪模式中，每当因本船4的摇晃而俯仰角或侧倾角变化在规定值以上时，另外，每当本船4的高度变化在规定值以上时，数据合成部25中的三维场景数据48的描绘被更新，生成基于最新的视点的显示数据41d、42d、43d。因此，对于因本船4的摇晃而海面出现的位置以及朝向发生变化的照相机3的拍摄影像，能够使显示数据41d、42d、43d的显示适当地变化，以维持置于该海面上的状态。由此，虚拟的物体看起来好像漂浮在海面上。因此，设定航线42所示的位置与行进航线43所示的位置的比较变得容易，因此，能够直观地掌握相对于设定航线42的偏移。
如以上说明的那样，本实施方式的影像生成装置1具有姿态获取部16、行进航线获取部17a、行进航线显示数据生成部22b以及数据合成部25，进行以下的影像生成方法。姿态获取部16获取表示照相机3或设置有照相机3的本船4的姿态的姿态信息。行进航线获取部17a基于本船4的位置以及方位中的至少一个的检测结果，获取该本船4的行进航线43。行进航线显示数据生成部22b基于姿态信息以及行进航线43，生成行进显示数据43d。数据合成部25生成将行进航线显示数据43d与照相机3输出的影像合成后的合成影像。
由此，在合成影像上显示周围的影像和本船4的行进航线43，因此，能够直观地掌握行进航线43。
另外，本实施方式的影像生成装置1具有距离获取部17b，该距离获取部17b获取从预先设定的基准位置(基准点、基准线或者基准范围)起到本船4或行进航线43为止的距离。
由此，能够掌握与基准点、基准线或者基准范围等基准位置进行比较的本船4的行进状况。
另外，本实施方式的影像生成装置1具有距离显示数据生成部23，该距离显示数据生成部23基于距离获取部17b所获取的距离，生成距离显示数据44d。数据合成部25生成将距离显示数据44d和与行进航线43相关联的位置进一步合成后的合成影像。
由此，能够具体地掌握到规定的基准位置为止的距离。
另外，本实施方式的影像生成装置1具有显示切换部28，该显示切换部28根据由距离获取部17b获取的距离来切换行进航线显示数据43d的显示和非显示。
由此，能够在不需要显示行进航线显示数据43d的情况下防止影像变得繁杂，并且在需要的情况下自动地显示行进航线显示数据43d。
另外，在本实施方式的影像生成装置1中，距离获取部17b获取从在行进航线43上且位于距离本船4的位置在规定长度的前方的点起到基准位置为止的距离。
由此，船舶由于无法突然变更航向，所以通过获取稍微前方的点的距离，能够获取妥当性更高的值。
另外，本实施方式的影像生成装置1具有方位差获取部17c，该方位差获取部17c获取由用户设定的设定航线42和行进航线43的行进方向的差异。
由此，由于根据状况的不同与到设定航线42为止的距离相比行进方向的差异更重要(例如，设定航线42在长距离范围内为直线的情况等)，因此，能够获取对于用户而言更有用的信息。
另外，本实施方式的影像生成装置1具有基于由用户设定的设定航线42和姿态信息来生成设定航线显示数据42d的设定航线显示数据生成部22a。数据合成部25生成进一步合成设定航线显示数据42d后的合成影像。
由此，由于同时显示设定航线显示数据42d和行进航线显示数据43d，因此，能够直观地掌握行进航线43相对于设定航线42的偏移。
以上，对本发明的优选的实施方式进行了说明，但上述结构例如能够以如下方式进行变更。
在照相机3中，也可以构成为省略上述摇摄/倾斜功能，例如拍摄方向固定在前方。在该情况下，不获取照相机3的姿态，仅获取本船4的姿态就能够生成合成影像。另外，也可以配置为照相机3对前方以外的方向(例如，后方)进行拍摄。
也可以构成为能够使照相机3在整个360度的全方位同时拍摄本船4的周围。另外，在用户进行了变更合成影像的视点的操作时，也可以以追随该操作的方式自动进行照相机3的摇摄/倾斜动作。
在由三维场景生成部22生成三维场景数据48时，在上述的实施方式中，如图5所说明的那样，虚拟现实对象物41v、42v、43v以将本船4的位置作为原点的船头基准进行配置。但是，也可以使虚拟现实对象物41v、42v、43v不以船头基准进行配置，而是以+z方向始终为正北的正北基准进行配置。在该情况下，当本船4的船头方位因调头等而变化时，使三维虚拟空间40中的本船4的朝向向偏航方向变化，以代替重新配置虚拟现实对象物41v、42v、43v。并且，通过在三维虚拟空间40中模拟此时的照相机3的位置以及朝向的变化，并且与此联动地变更视点照相机55的位置以及朝向来进行渲染，能够得到与上述的船头基准的情况完全相同的渲染结果。
另外，三维虚拟空间40的坐标系也可以设定为，将在地球上适当确定的固定点作为原点，例如，将+z方向作为正北、将+x方向作为正东，以代替将本船4的位置作为原点。在该情况下，在固定于地球的坐标系的三维虚拟空间40中，本船4所配置的位置以及朝向根据位置信息以及姿态信息而变化，并随之在三维虚拟空间40中模拟照相机3的位置以及朝向的变化。
在影像生成装置1中，也可以进行减轻伴随本船4的摇晃的合成影像的摇晃的处理。例如，考虑在三维场景生成部22中，即使本船4摇晃也能够抑制视点照相机55的位置以及朝向的变动。
数据合成部25输出的显示数据(构成合成影像的一部分的图形)41d、42d、43d可以是薄地贴在水面的平面形状，也可以是以一定高度从水面突出的立体形状。
拍摄位置设定部26也可以构成为，能够将本船4中的照相机3的位置设定为相对于GNSS天线的相对位置。
与影像生成装置1连接的船舶设备(附加显示信息的信息源)不限于图1中说明的船舶设备，也可以包含其他船舶设备。
本发明不限于在海上航行的船舶，例如，也能够适用于能够在海、湖、或者河川等航行的任意的水上移动体。
附图标记的说明：
1 影像生成装置
3 照相机(拍摄装置)
4 船舶(水上移动体)
15 位置获取部
16 姿态获取部
17 附加显示信息获取部
17a 行进航线获取部
17b 距离获取部
17c 方位差获取部
22 三维场景生成部
22a 行进航线显示数据生成部
22b 设定航线显示数据生成部
23 距离显示数据生成部
24 方位显示数据生成部
25 数据合成部
42 设定航线
42d 设定航线显示数据
43 行进航线
43d 行进航线显示数据
并非必须根据本说明书中记载的任意的特定的实施方式来实现所有的目的或效果、优点。因此，例如本领域技术人员能够想到，特定的实施方式能够构成为以实现或优化在本说明书中被教示的一个或多个效果、优点的方式实施，而不一定实现在本说明书中所教示或暗示的其他目的或效果、优点。
本说明书中记载的全部处理通过由包含一个或多个计算机或处理器的计算***执行的软件代码模块来具体实现，并能够完全自动化。代码模块能够存储在任意类型的非暂时性计算机可读介质或其他计算机存储装置中。一部分或全部的方法能够通过专用的计算机硬件来实现。
根据本公开，除了本说明书中记载的内容以外，显然存在许多其他变形例。例如，根据实施方式，本说明书中描述的算法中任一个的特定动作、事件或功能可以以不同的序列执行，并且可以追加、合并或完全排除(例如，并非所记述的全部行为或事件都需要执行算法)。进而，在特定的实施方式中，动作或事件例如能够经由多线程处理、中断处理、或者多个处理器或处理器核心，或者在其他的并行架构上并行执行，而非逐次执行。进而，不同的任务或进程也能够通过能够一起发挥功能的不同的机器和/或计算***来执行。
与本说明书中公开的实施方式相关联地说明的各种例示的逻辑块以及模块能够通过处理器等机器来实施或者执行。处理器也可以是微处理器，但取而代之，处理器也可以是控制器、微控制器、或者状态机、或者它们的组合等。处理器可以包括被配置为处理计算机可执行指令的电路。在另一实施方式中，处理器包括面向特定用途的集成电路(ASIC)、现场可编程门阵列(FPGA)、或者不处理计算机可执行命令而执行逻辑运算的其他可编程设备。处理器也能够作为计算设备的组合、例如数字信号处理器(数字信号处理装置)与微处理器的组合、多个微处理器、与DSP芯组合的一个以上的微处理器、或者任意的其他那样的结构来安装。在本说明书中，主要对数字技术进行说明，但处理器也可以主要包含模拟元件。例如，本说明书中记载的信号处理算法的一部分或全部能够通过模拟电路或模拟与数字的混合电路来安装。计算环境包括微处理器、主帧计算机、数字信号处理器、便携式计算设备、设备控制器、或者基于装置内的计算引擎的计算机***，但也可以包含不限定于这些的任意类型的计算机***。
只要没有特别明记，则“可以”、“能够”、“可能”或“有可能”等带条件的语言被理解为，特定的实施方式包含特定的特征、要素和/或步骤，但在为了传达不包含其他实施方式而通常使用的上下文内的意思。因此，这种带条件语言通常并不意味着，特征、要素和/或步骤为一个以上的实施方式所需要的任意的方法，或一个以上的实施方式必然地包括用于决定这些特征、要素和/或步骤是否包含于任意的特定的实施方式或是否被执行的逻辑。
语句“X、Y、Z中的至少一个”这样的选择性的语言，除非另有特别描述，否则项目、用语等就表示可以是X、Y、Z中的任一个、或它们的任意的组合，因此，由一般所使用的上下文来理解(例如X、Y、Z)。因此，这样的选择性的语言一般并不意味着需要特定的实施方式分别存在的X中的至少一个、Y中的至少一个、或Z中的至少一个。
应理解为，本说明书中记载和/或附图所示的流程图中的任意的过程描述、要素或块包含用于实现工序中的特定的逻辑功能或要素的一个以上的可执行命令的，潜在地表示模块、段、或码的一部分。可替换的实施方式包含在本说明书中记载的实施方式的范围内，其中，可根据所属领域的技术人员所理解的相关功能性而以大体上同时或相反顺序从图示或描述中删除或以不同的顺序执行元素或功能。
除非特别明确，否则应该将诸如“一个”这样的数词一般应解释为，包括一个以上的所描述的项目。因此，术语“～那样设定的一个设备”等语句意在包括一个以上的所列举的设备。这样的一个或多个所列举的设备也可以被共同配置来执行所描述的引用。例如，“构成为执行以下A、B和C的处理器”能够包括，执行A的第一处理器、执行B和C的第二处理器。此外，即使明确地列举了所导入的实施方式的具体的数量，本领域技术人员也应解释为，这样的列举为典型地至少列举的数量(例如，不使用其他修饰语的“两个列举”的简单列举，通常是指至少两个列举、或者两个以上的列举)。
通常，本说明书中使用的用语一般意味着，“非限定”用语(例如，“包括…”这样的用语应解释为“不只于此，至少包括…”，“具有…”这样的用语应解释为“至少具有…”，“包括”这样的用语应解释为“包括以下，但不限于此”等。)，由本领域技术人员进行判断。
为了说明的目的，本说明书中使用的“水平”这一用语与其方向无关，定义为与所说明的使用***的区域的地板的平面或表面平行的平面、或实施所说明的方法的平面。“地板”这一用语能够置换为“地面”或者“水面”。“垂直/铅垂”这一用语是指与所定义的水平线垂直/铅垂的方向。“上侧”、“下侧”、“下”、“上”、“侧面”、“更高”、“更低”、“在上方”、“越过”、“下的”等用语是相对于水平面进行定义的。
在本说明书中使用的用语的“附着”、“连接”、“成对”以及其他关联用语，只要没有其他的注释，应解释为包括可拆卸、可移动、固定、可调节和/或可拆卸地连接或连结。连接/连结包括直接连接和/或具有说明的两个结构要素间的中间结构的连接。
只要没有特别明示，本说明书中使用的“大致”、“约”、以及“实质上”这样的用语所限定的数量包含列举的数量，另外，还表示执行所希望的功能、或者达到所希望的结果的接近所记载的量的量。例如，只要没有特别明示，“大致”、“约”及“实质上”是指小于所记载的数值的10％的值。如在本说明书中使用的那样，“大致”、“约”以及“实质上”等用语所限定并公开的实施方式的特征还表示具有执行所希望的功能、或者对于其特征实现所希望的结果的多个可变性。
在上述的实施方式中，能够附加多种变形例及修正例，这些要素应理解为在其他可容许的例子中。这样修正和变形旨在全部包含在本公开的范围内，并由以下的权利要求书保护。

Claims (15)

1.一种影像生成装置，其特征在于，
具有：
姿态获取部，获取表示拍摄装置或设置有拍摄装置的水上移动体的姿态的姿态信息；
行进航线获取部，基于所述水上移动体的位置和方位中的至少一个的检测结果，获取该水上移动体的行进航线；
行进航线显示数据生成部，基于所述姿态信息和所述行进航线，生成行进航线显示数据；以及
数据合成部，生成将所述行进航线显示数据和所述拍摄装置输出的影像合成后的合成影像，
显示器，向所述显示器输出所述合成影像。
2.根据权利要求1所述的影像生成装置，其特征在于，
所述影像生成装置具有距离获取部，该距离获取部获取从预先设定的基准位置到所述水上移动体或所述行进航线为止的距离。
3.根据权利要求2所述的影像生成装置，其特征在于，
所述基准位置是基准点、基准线或基准范围。
4.根据权利要求3所述的影像生成装置，其特征在于，
所述影像生成装置具有距离显示数据生成部，该距离显示数据生成部基于所述距离获取部所获取的所述距离来生成距离显示数据，
所述数据合成部生成将所述距离显示数据进一步和与所述行进航线相关联的位置合成后的所述合成影像。
5.根据权利要求3或4所述的影像生成装置，其特征在于，
所述影像生成装置具有显示切换部，该显示切换部根据所述距离获取部获取的所述距离，对所述行进航线显示数据的显示和非显示进行切换。
6.根据权利要求2至4中任一项所述的影像生成装置，其特征在于，
所述距离获取部获取从在所述行进航线上且位于距所述水上移动体的位置规定长度的前方的点起到所述基准位置为止的距离。
7.根据权利要求1至4中任一项所述的影像生成装置，其特征在于，
所述影像生成装置具有方位差获取部，该方位差获取部获取由用户设定的设定航线与所述行进航线的行进方向上的差异。
8.根据权利要求1所述的影像生成装置，其特征在于，
所述影像生成装置具有设定航线显示数据生成部，该设定航线显示数据生成部基于由用户设定的设定航线和所述姿态信息，生成设定航线显示数据，
所述数据合成部生成将所述设定航线显示数据进一步合成后的所述合成影像。
9.根据权利要求8所述的影像生成装置，其特征在于，
所述合成影像所包含的所述行进航线显示数据的行进方向上的长度比所述合成影像所包含的所述设定航线显示数据的行进方向上的长度短。
10.根据权利要求8或9所述的影像生成装置，其特征在于，
所述数据合成部生成使所述设定航线偏移后的航线被描绘为所述行进航线显示数据的所述合成影像。
11.根据权利要求1至4中任一项所述的影像生成装置，其特征在于，
所述数据合成部生成将基于所述水上移动体的船头方位或该水上移动体的移动轨迹计算出的行进方向延长后的所述行进航线显示数据描绘出的所述合成影像。
12.根据权利要求1至4中任一项所述的影像生成装置，其特征在于，
所述姿态获取部基于所述拍摄装置拍摄到的影像，获取所述姿态信息。
13.根据权利要求1至4中任一项所述的影像生成装置，其特征在于，
所述姿态获取部使用GNSS罗盘来获取所述姿态信息。
14.根据权利要求2至4中任一项所述的影像生成装置，其特征在于，
所述影像生成装置还具有警告部，该警告部在所述距离获取部获取的所述距离超过规定的阈值的情况下进行警告。
15.一种影像生成方法，其特征在于，
获取表示拍摄装置或设置有拍摄装置的水上移动体的姿态的姿态信息，
根据所述水上移动体的位置及方位中的至少一个的检测结果，获取该水上移动体的行进航线，
基于所述姿态信息以及所述行进航线，生成行进航线显示数据，
生成将所述行进航线显示数据和所述拍摄装置输出的影像合成后的合成影像，
向显示器输出所述合成影像。
CN201880074715.8A 2017-12-25 2018-11-27 影像生成装置以及影像生成方法 Active CN111357281B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017247674 2017-12-25
JP2017-247674 2017-12-25
PCT/JP2018/043460 WO2019130940A1 (ja) 2017-12-25 2018-11-27 映像生成装置及び映像生成方法

Publications (2)

Publication Number Publication Date
CN111357281A CN111357281A (zh) 2020-06-30
CN111357281B true CN111357281B (zh) 2023-05-30

Family

ID=67067087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880074715.8A Active CN111357281B (zh) 2017-12-25 2018-11-27 影像生成装置以及影像生成方法

Country Status (5)

Country Link
US (1) US11548598B2 (zh)
EP (1) EP3734968A4 (zh)
JP (1) JP7021259B2 (zh)
CN (1) CN111357281B (zh)
WO (1) WO2019130940A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4030390A4 (en) * 2019-09-09 2023-10-18 Furuno Electric Co., Ltd. SHIP INFORMATION DISPLAY SYSTEM, SHIP INFORMATION DISPLAY METHOD, IMAGE GENERATION DEVICE AND PROGRAM
WO2021076989A1 (en) * 2019-10-16 2021-04-22 The Board Of Trustees Of The California State University Augmented reality marine navigation
JP7518890B2 (ja) * 2020-02-12 2024-07-18 古野電気株式会社 航路計画装置、航路計画方法、及びプログラム
EP4148387A1 (en) * 2021-09-10 2023-03-15 Furuno Electric Co., Ltd. Predicted course display device and method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301897A (ja) * 1993-04-16 1994-10-28 Kawasaki Heavy Ind Ltd 船舶の航行支援装置
JPH09229710A (ja) * 1996-02-26 1997-09-05 Furuno Electric Co Ltd ナビゲーション装置における画面表示方法およびナビゲーション装置
KR101072395B1 (ko) * 2011-07-21 2011-10-11 한국해양연구원 천정 이동형 투명 디스플레이를 이용한 선박용 증강현실 시스템 및 그 구현 방법
WO2012127189A1 (en) * 2011-03-21 2012-09-27 C2Uk Limited Image acquisition apparatus and system
US8296001B1 (en) * 2006-11-13 2012-10-23 Garmin Switzerland Gmbh Marine vessel navigation device, system and method
WO2013012277A2 (ko) * 2011-07-21 2013-01-24 한국해양연구원 투명디스플레이를 이용한 선박용 증강 현실 시스템 및 그 구현 방법
WO2013012280A2 (ko) * 2011-07-21 2013-01-24 한국해양연구원 모니터를 이용한 선박용 증강 현실 시스템 및 그 구현 방법
CN106814735A (zh) * 2016-12-06 2017-06-09 北京臻迪科技股份有限公司 一种无人船的控制***

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181302B1 (en) * 1996-04-24 2001-01-30 C. Macgill Lynde Marine navigation binoculars with virtual display superimposing real world image
US7917259B2 (en) * 1997-05-16 2011-03-29 Snap-On Technologies, Inc. Distributed vehicle service method and system
US20020007237A1 (en) * 2000-06-14 2002-01-17 Phung Tam A. Method and system for the diagnosis of vehicles
GB2441802A (en) * 2006-09-13 2008-03-19 Marine & Remote Sensing Soluti Safety system for a vehicle
JP5207177B2 (ja) * 2008-06-23 2013-06-12 独立行政法人海上技術安全研究所 目視認識支援装置及び目視認識支援方法
US8358224B2 (en) * 2009-04-02 2013-01-22 GM Global Technology Operations LLC Point of interest location marking on full windshield head-up display
TWI431250B (zh) * 2011-03-01 2014-03-21 Navigation device for integrating traffic image recording and navigation information
US9274595B2 (en) * 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
JP6178592B2 (ja) * 2013-03-07 2017-08-09 古野電気株式会社 状況表示装置、状況表示プログラム及び状況表示方法
JP6425913B2 (ja) * 2014-05-13 2018-11-21 古野電気株式会社 情報表示装置
US9826164B2 (en) 2014-05-30 2017-11-21 Furuno Electric Co., Ltd. Marine environment display device
US10931934B2 (en) * 2014-09-02 2021-02-23 FLIR Belgium BVBA Watercraft thermal monitoring systems and methods
WO2017208422A1 (ja) * 2016-06-02 2017-12-07 日本郵船株式会社 船舶航行支援装置
CN110574366B (zh) * 2017-05-24 2021-05-28 古野电气株式会社 影像生成装置
CN110520692B (zh) * 2017-05-24 2024-03-26 古野电气株式会社 影像生成装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301897A (ja) * 1993-04-16 1994-10-28 Kawasaki Heavy Ind Ltd 船舶の航行支援装置
JPH09229710A (ja) * 1996-02-26 1997-09-05 Furuno Electric Co Ltd ナビゲーション装置における画面表示方法およびナビゲーション装置
US8296001B1 (en) * 2006-11-13 2012-10-23 Garmin Switzerland Gmbh Marine vessel navigation device, system and method
WO2012127189A1 (en) * 2011-03-21 2012-09-27 C2Uk Limited Image acquisition apparatus and system
KR101072395B1 (ko) * 2011-07-21 2011-10-11 한국해양연구원 천정 이동형 투명 디스플레이를 이용한 선박용 증강현실 시스템 및 그 구현 방법
WO2013012277A2 (ko) * 2011-07-21 2013-01-24 한국해양연구원 투명디스플레이를 이용한 선박용 증강 현실 시스템 및 그 구현 방법
WO2013012280A2 (ko) * 2011-07-21 2013-01-24 한국해양연구원 모니터를 이용한 선박용 증강 현실 시스템 및 그 구현 방법
CN103975576A (zh) * 2011-07-21 2014-08-06 韩国海洋研究院 利用天花板移动式透明显示器的船舶用增强现实***及其实现方法
CN106814735A (zh) * 2016-12-06 2017-06-09 北京臻迪科技股份有限公司 一种无人船的控制***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于AIS的船舶三维显示与避碰***研究;张大勇等;《集美大学学报(自然科学版)》;20070115(第01期);全文 *

Also Published As

Publication number Publication date
JP7021259B2 (ja) 2022-02-16
WO2019130940A1 (ja) 2019-07-04
JPWO2019130940A1 (ja) 2021-01-14
EP3734968A4 (en) 2021-05-05
CN111357281A (zh) 2020-06-30
US20210009240A1 (en) 2021-01-14
EP3734968A1 (en) 2020-11-04
US11548598B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
US10989537B2 (en) Sonar sensor fusion and model based virtual and augmented reality systems and methods
JP7225324B2 (ja) 映像生成装置、および、映像生成方法
US11270458B2 (en) Image generating device
CN111357281B (zh) 影像生成装置以及影像生成方法
CN110998672B (zh) 影像生成装置以及影像生成方法
CN112640445B (zh) 影像生成装置及影像生成方法
GB2611003A (en) Video sensor fusion and model based virtual and augmented reality systems and methods
JP5102886B2 (ja) 画像表示システム及び画像表示方法及びプログラム
JP6720409B2 (ja) 映像生成装置
WO2018140645A1 (en) Three dimensional target selection systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant