CN113660452A - ***、移动体以及信息处理装置 - Google Patents

***、移动体以及信息处理装置 Download PDF

Info

Publication number
CN113660452A
CN113660452A CN202110508063.8A CN202110508063A CN113660452A CN 113660452 A CN113660452 A CN 113660452A CN 202110508063 A CN202110508063 A CN 202110508063A CN 113660452 A CN113660452 A CN 113660452A
Authority
CN
China
Prior art keywords
image
information
disaster
imaging
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110508063.8A
Other languages
English (en)
Inventor
京近涉
松尾莉歩
宫原谦太
柿原良太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN113660452A publication Critical patent/CN113660452A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开***、移动体以及信息处理装置。提供在灾害时能够进一步活用自主移动体的技术。包括：自主移动的移动体；以及服务器，根据接收到的第一图像，判定预定区域中的受害的状况，该移动体包括：摄影装置，对自主移动的移动体的周边进行摄影；存储部，存储基准图像，该基准图像是在预定区域内的摄影位置摄影的图像；以及控制部，将第一图像和与第一图像被摄影的位置有关的信息发送给服务器，所述第一图像是在摄影位置通过摄影装置摄影且与基准图像的差是预定值以上的图像。

Description

***、移动体以及信息处理装置
技术领域
本公开涉及***、移动体以及信息处理装置。
背景技术
已知使用无人机掌握农作物的培育状况的技术(参照例如专利文献1)。
现有技术文献
专利文献
专利文献1：国际公开第2018/168565号
发明内容
本公开的目的在于提供一种在灾害时能够进一步活用自主移动体的技术。
本公开的一个方式提供一种***，包括：
自主移动的移动体；以及
服务器，根据接收到的第一图像，判定预定区域中的受害的状况，
该移动体包括：
摄影装置，对自主移动的移动体的周边进行摄影；
存储部，存储基准图像，该基准图像是在预定区域内的摄影位置摄影的图像；以及
控制部，将所述第一图像和与所述第一图像被摄影的位置有关的信息发送给所述服务器，所述第一图像是在所述摄影位置通过所述摄影装置摄影且与所述基准图像的差是预定值以上的图像。
本公开的一个方式提供一种移动体，包括：
摄影装置，对自主移动的移动体的周边进行摄影；
存储部，存储基准图像，该基准图像是在预定区域内的摄影位置摄影的图像；以及
控制部，将第一图像和与所述第一图像被摄影的位置有关的信息发送给服务器，所述第一图像是在所述摄影位置通过所述摄影装置摄影且与所述基准图像的差是预定值以上的图像。
本公开的一个方式提供一种信息处理装置，具备控制部，该控制部执行：
接收第一图像和与所述第一图像被摄影的位置有关的信息，所述第一图像是自主移动的移动体在与基准图像相同的位置摄影且与所述基准图像的差是预定值以上的图像，所述基准图像是在预定区域内的摄影位置摄影的图像；以及
根据接收到的所述第一图像，判定所述预定区域中的受害的状况。
另外，本公开的其他方式是使计算机执行上述***、移动体或者信息处理装置中的处理的信息处理方法。另外，本公开的其他方式是计算机执行上述***、移动体或者信息处理装置中的处理的程序或者非临时地存储有该程序的存储介质。
根据本公开，能够提供在灾害时能够进一步活用自主移动体的技术。
附图说明
图1是示出实施方式所涉及的***的概略结构的图。
图2是概略地示出构成实施方式所涉及的***的无人机、用户终端以及中心服务器各自的结构的一个例子的框图。
图3是示出无人机的功能结构的图。
图4是例示基准图像信息的表格结构的图。
图5是例示中心服务器的功能结构的图。
图6是例示受灾地DB的表格结构的图。
图7是例示用户终端的功能结构的图。
图8是***的处理的时序图。
图9是实施方式所涉及的摄影处理的流程图。
图10是实施方式所涉及的指令生成处理的流程图。
图11是实施方式所涉及的判定处理的流程图。
(符号说明)
1：***；10：无人机；11：处理器；13：辅助存储部；20：用户终端；30：中心服务器；31：处理器；33：辅助存储部。
具体实施方式
作为本公开的一个方式的***具备的移动体是自主地移动的移动体。移动体例如是车辆或者无人机。移动体具备对周边进行摄影的摄影装置。通过摄影装置进行的摄影是以能够掌握由于灾害的发生而受害的状况的方式进行。另外，在移动体中具备存储基准图像的存储部。基准图像是所摄影的、发生灾害前的图像。基准图像可能与多个位置对应地存在多个。基准图像例如是在摄影位置过去摄影的图像。移动体也可以预先利用摄影装置进行摄影来取得基准图像。
另外，移动体具备控制部。控制部将第一图像以及摄影位置发送到服务器。第一图像是与基准图像相比有预定值以上的差的图像。在此，在摄影的基准图像与新摄影的图像之差是预定值以上的情况下，能够判定为在新摄影的图像中拍摄到的场所发生灾害。与基准图像进行比较的图像例如是以与基准图像被摄影的位置相同的位置以及相同的朝向新摄影的图像。通过将第一图像和摄影位置发送给服务器，服务器能够掌握灾害的发生。移动体例如自主地移动而对多个摄影位置进行摄影，与对应于各摄影位置的基准图像进行比较。摄影位置也可以是与过去发生灾害的地方关联起来的位置。另外，通过移动体进行摄影也可以是通过移动体或者服务器检测到发生灾害的状况时。
服务器根据第一图像，判定由于在预定区域中发生的灾害而受害的状况。此时，服务器也可以判定受害的程度、或者对受害的类别进行分类。服务器例如通过进行第一图像的图像解析，判定预定区域中的受害状况。服务器也可以根据判定的受害状况，例如向用户终端发送其信息。
以下，根据附图，说明本公开的实施方式。以下的实施方式的结构是例示，本公开不限定于实施方式的结构。另外，以下的实施方式尽可能可以组合。
<第1实施方式>
图1是示出本实施方式所涉及的***1的概略结构的图。***1是根据在发生灾害后在预定区域中无人机10摄影的图像对用户提供与受害状况有关的信息的***。无人机10是移动体的一个例子。
在图1的例子中，***1包括无人机10、用户终端20以及中心服务器30。无人机10、用户终端20以及中心服务器30通过网络N1相互连接。无人机10可自主地移动。用户终端20是用户利用的终端。
网络N1例如是因特网等世界规模的公共通信网，可以采用WAN(Wide AreaNetwork，广域网)、其他通信网。另外，网络N1可以包括便携电话等电话通信网、或者、Wi-Fi(注册商标)等无线通信网。此外，在图1中，例示性地图示1个无人机10以及1个用户终端20，但这些可能存在多个。
根据图2，说明无人机10、用户终端20以及中心服务器30的硬件结构以及功能结构。图2是概略地示出构成本实施方式所涉及的***1的无人机10、用户终端20以及中心服务器30各自的结构的一个例子的框图。
中心服务器30具有一般的计算机的结构。中心服务器30具有处理器31、主存储部32、辅助存储部33以及通信部34。它们通过总线相互连接。处理器31是控制部的一个例子。
处理器31是CPU(Central Processing Unit，中央处理单元)、DSP(DigitalSignal Processor，数字信号处理器)等。处理器31控制中心服务器30，进行各种信息处理的运算。主存储部32是RAM(Random Access Memory，随机存取存储器)、ROM(Read OnlyMemory，只读存储器)等。辅助存储部33是EPROM(Erasable Programmable ROM，可擦可编程ROM)、硬盘驱动器(HDD、Hard Disk Drive)、可移动介质等。在辅助存储部33中，保存操作***(Operating System：OS)、各种程序、各种表格等。处理器31将保存于辅助存储部33的程序载入到主存储部32的作业区域并执行，经由该程序的执行，控制各结构部等。由此，中心服务器30实现与预定的目的符合的功能。主存储部32以及辅助存储部33是可由计算机读取的记录介质。此外，中心服务器30既可以是单一的计算机，也可以是多台计算机协作而成的。另外，保存于辅助存储部33的信息也可以保存到主存储部32。另外，保存于主存储部32的信息也可以保存到辅助存储部33。
通信部34是经由网络N1而与无人机10以及用户终端20进行通信的单元。通信部34例如是LAN(Local Area Network，局域网)接口板、用于无线通信的无线通信电路。LAN接口板、无线通信电路与网络N1连接。
接下来，无人机10是可自主地飞行的移动体，具有计算机。无人机10是例如多旋翼机。无人机10具有处理器11、主存储部12、辅助存储部13、通信部14、摄影机15、位置信息传感器16、环境信息传感器17以及驱动部18。它们通过总线相互连接。处理器11、主存储部12以及辅助存储部13与中心服务器30的处理器31、主存储部32以及辅助存储部33相同，所以省略说明。处理器11是控制部的一个例子。另外，摄影机15是摄影装置的一个例子。
通信部14是用于将无人机10连接到网络N1的通信单元。通信部14例如是用于利用移动体通信服务(例如5G(5th Generation，第5代)、4G(4th Generation，第4代)、3G(3rdGeneration，第3代)、LTE(Long Term Evolution，长期演进)等电话通信网)、Wi-Fi(注册商标)、或者、Bluetooth(注册商标)等无线通信，经由网络N1与其他装置(例如用户终端20或者中心服务器30等)进行通信的电路。
摄影机15是对无人机10的周边进行摄影的装置。摄影机15使用例如CCD(ChargeCoupled Device，电荷耦合器件)影像传感器或者CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)影像传感器等摄像元件进行摄影。通过摄影得到的图像可以是静止图像或者动画中的任意一个。
位置信息传感器16以预定的周期取得无人机10的位置信息(例如纬度、经度)。位置信息传感器16例如是GPS(Global Positioning System，全球定位***)接收部、无线通信部等。由位置信息传感器16取得的信息例如记录到辅助存储部13等，被发送到中心服务器30。
环境信息传感器17是感测无人机10的状态或者感测无人机10的周边的单元。作为用于感测无人机10的状态的传感器，可以举出陀螺传感器、加速度传感器或者方位角传感器。作为用于感测无人机10的周边的传感器，可以举出立体摄影机、激光扫描仪、LIDAR或者雷达等。还能够将上述摄影机15用作环境信息传感器17。以下，将通过环境信息传感器17得到的数据还称为“环境数据”。
驱动部18是用于根据处理器11生成的控制指令使无人机10飞行的装置。驱动部18例如构成为包括用于驱动无人机10具备的转子的多个马达等，依照控制指令驱动多个马达等，从而实现无人机10的自主飞行。
接下来，说明用户终端20。用户终端20例如是智能手机、便携电话、平板终端、个人信息终端、可穿戴计算机(智能手表等)、个人计算机(Personal Computer、PC)这样的小型的计算机。用户终端20具有处理器21、主存储部22、辅助存储部23、输入部24、显示器25以及通信部26。它们通过总线相互连接。处理器21、主存储部22以及辅助存储部23与中心服务器30的处理器31、主存储部32以及辅助存储部33相同，所以省略说明。
输入部24是受理用户进行的输入操作的单元，例如是触摸面板、鼠标、键盘或者按压按钮等。显示器25是针对用户提示信息的单元，例如是LCD(Liquid Crystal Display，液晶显示器)或者EL(Electroluminescence，电致发光)面板等。输入部24以及显示器25也可以构成为1个触摸面板显示器。通信部26是用于将用户终端20连接到网络N1的通信单元。通信部26例如是用于利用移动体通信服务(例如5G(5th Generation)、4G(4th Generation)、3G(3rd Generation)、LTE(Long Term Evolution，长期演进)等电话通信网)、Wi-Fi(注册商标)、Bluetooth(注册商标)等无线通信网，经由网络N1与其他装置(例如无人机10或者中心服务器30等)进行通信的电路。
接下来，说明无人机10的功能。图3是示出无人机10的功能结构的图。在无人机10中，作为功能构成要素具有飞行控制部101、摄影部102、判定部103以及基准图像DB111。无人机10的处理器11通过主存储部12上的计算机程序，执行飞行控制部101、摄影部102以及判定部103的处理。但是，各功能构成要素的任意一个或者该处理的一部分也可以通过硬件电路执行。
基准图像DB111通过由处理器11执行的数据库管理***(Database ManagementSystem、DBMS)的程序管理存储于辅助存储部13的数据而构筑。基准图像DB111例如是关系型数据库。
此外，无人机10的各功能构成要素的任意一个或者该处理的一部分也可以通过与网络N1连接的其他计算机执行。
飞行控制部101在无人机10的自主飞行时控制无人机10。飞行控制部101使用由环境信息传感器17检测的环境数据，生成用于控制驱动部18的控制指令。飞行控制部101例如通过控制多个马达使多个转子的转速发生差，从而控制无人机10的上升、下降、前进、后退以及盘旋等。
飞行控制部101例如根据环境数据生成无人机10的飞行轨迹，以沿着该飞行轨迹飞行的方式控制驱动部18。此外，关于使无人机10自主飞行的方法，能够采用公知的方法。飞行控制部101也可以在自主飞行时实施基于环境信息传感器17的检测值的反馈控制。飞行控制部101以巡游预先决定的多个摄影位置的方式自主飞行。摄影位置是根据保存于后述基准图像DB111的位置字段的与位置有关的信息而决定的。摄影位置例如也可以从用户终端20或者中心服务器30发送。此外，虽然也可以由飞行控制部101根据摄影位置生成飞行路径，但作为其他方法，也可以由用户终端20或者中心服务器30生成飞行路径。而且，也可以以使无人机10依照生成的飞行路径飞行的方式，飞行控制部101控制驱动部18。
摄影部102在预定的定时通过摄影机15进行摄影。摄影部102例如在无人机10到达各摄影位置时，通过摄影机15进行摄影，将图像存储到辅助存储部13。在本实施方式中，进行摄影的对象区域(预定区域)被预先分割成多个网格。对象区域被设定为可能发生灾害的区域。例如，以在利用摄影机15的摄影中进入到1个图像的方式决定网格。而且，例如，关于包含于对象区域的多个网格的各个网格，进行摄影。此外，对象区域也可以预先决定为无人机10摄影的区域。另外，摄影位置也可以预先决定。另外，摄影位置也可以是过去发生灾害的场所。另外，摄影位置也可以限于有住宅或者道路的场所。能够在与摄影位置有关的信息中包括进行摄影时的与无人机10的高度以及摄影机15的朝向有关的信息。此外，摄影时的摄影机15的朝向也可以始终相同。
另外，摄影部102进行基准图像的摄影。基准图像在未发生灾害时被摄影。摄影部102在未发生灾害时在摄影位置进行摄影的情况下，将摄影的图像作为基准图像保存到基准图像DB111。基准图像也可以以预定的周期进行更新。
判定部103将在摄影位置通过摄影部102摄影的图像与过去(也可以在发生灾害前)在相同的摄影位置摄影的基准图像进行比较，在两个图像中有预定值以上的差的情况下，将该图像与位置信息一起发送给中心服务器30。该预定值被设定为由于灾害而受害的情况的差。例如，通过比较图像的特征量(颜色等)，能够进行图像的比较，但不限于此。此外，判定部103也可以在两个图像中没有预定的差的情况下，将通过摄影部102摄影的图像作为基准图像保存到基准图像DB111。
根据图4，说明保存于基准图像DB111的基准图像信息的结构。图4是例示基准图像信息的表格结构的图。基准图像信息表格具有位置以及基准图像的各字段。在位置字段中，输入与图像被摄影的位置有关的信息。在位置字段中，例如输入坐标或者网格代码。另外，也可以在位置字段中例如包括摄影时的与摄影机15的朝向有关的信息。输入到位置字段的信息例如也可以从用户终端20或者中心服务器30接收。在基准图像字段中，输入与基准图像有关的信息。也可以在基准图像字段中，例如输入与基准图像的特征量有关的信息或者与基准图像的保存场所有关的信息。
接下来，说明中心服务器30的功能。图5是例示中心服务器30的功能结构的图。在中心服务器30中，作为功能构成要素具备指令部301、判定部302、提供部303以及受灾地DB311。中心服务器30的处理器31通过主存储部32上的计算机程序，执行指令部301、判定部302以及提供部303的处理。但是，各功能构成要素的任意一个或者该处理的一部分也可以通过硬件电路执行。
受灾地DB311通过由处理器31执行的数据库管理***(Database ManagementSystem、DBMS)的程序管理存储于辅助存储部33的数据而构筑。受灾地DB311例如是关系型数据库。
此外，中心服务器30的各功能构成要素的任意一个或者该处理的一部分也可以通过与网络N1连接的其他计算机执行。
指令部301在是可能发生灾害的状况的情况(例如发生了预定震度以上的地震的情况、下了预定量以上的雨的情况、刮了预定风速以上的风的情况、或者、台风接近到预定距离以内的情况)下，生成飞行指令。将可能发生灾害的区域设定为预定区域，以使无人机10在该预定区域内经由各摄影位置而飞行的方式生成飞行指令。例如，根据从提供气象信息的服务器取得的信息，判定是否为可能发生灾害的状况。
判定部302根据从无人机10接收到的图像，判定受灾的程度。判定部302例如使用图像解析来判定受灾的程度。受灾的程度例如也可以分类为10个阶段。另外，住宅的情况的受灾的程度也可以以半坏或者全坏等进行分类。另外，道路的情况的受灾的程度也可以以单侧行车道不可通行或者两侧行车道不可通行等进行分类。另外，判定部302例如也可以判定是否发生了滑坡或者是否发生了洪水。判定部302将判定出的受灾的程度、受灾地的位置以及受灾地的图像保存到后述受灾地DB311。此外，受灾地的位置既可以为图像的摄影位置，也可以为根据图像判断的住址、坐标或者网格代码等。判定部302也可以根据摄影位置和摄影机15的画角，判定图像内的各地点的位置。保存于受灾地DB311的受灾地的图像既可以是从无人机10发送的图像，也可以是将在该图像内判断为受灾的地方切出的图像。
提供部303将与受灾地有关的信息发送给用户终端20。能够在与受灾地有关的信息中包括受灾的程度、受灾地的位置以及受灾地的图像。用户终端20例如是预先登记到中心服务器30的终端。提供部303发送与受灾地有关的信息的定时既可以是有来自用户终端20的请求时，也可以是由判定部302更新受灾地DB311时。
接下来，根据图6，说明保存于受灾地DB311的受灾地信息的结构。图6是例示受灾地DB311的表格结构的图。受灾地信息表格具有位置、图像以及受灾的程度的各字段。在位置字段中，输入与受灾地的位置有关的信息(例如坐标或者网格代码)。该位置既可以为摄影位置，也可以为与图像内的发生灾害的地点对应的位置。在图像字段中，输入与对受灾地进行摄影而得到的图像有关的信息。在受灾的程度字段中，输入由判定部302判定的与受灾的程度有关的信息。
接下来，说明用户终端20的功能。图7是例示用户终端20的功能结构的图。在用户终端20中，作为功能构成要素具备控制部201。用户终端20的处理器21通过主存储部22上的计算机程序，执行控制部201的处理。控制部201例如使从中心服务器30接收到的与受灾地有关的信息显示于显示器25。此外，控制部201还能够向中心服务器30请求与受灾地有关的信息。
接下来，说明***1整体的处理。图8是***1的处理的时序图。此外，以在基准图像DB311中已经保存有基准图像为前提进行说明。中心服务器30生成无人机10的飞行指令(S11)。例如，以使无人机10在检测到可能发生灾害的状态的预定区域中进行摄影的方式，生成该飞行指令。预定区域例如是发生了地震的区域或者下了预定量以上的雨的区域。在飞行指令中，包括与预定区域有关的信息或者与摄影位置有关的信息。另外，也可以在飞行指令中包括与飞行路径有关的信息。在中心服务器30生成飞行指令时，将该飞行指令发送给无人机10(S12)。
接收到飞行指令的无人机10根据飞行指令生成用于控制驱动部18的控制指令(S13)。此外，在图8所示的例子中，从中心服务器30向无人机10发送飞行指令后，无人机10开始飞行控制，但也可以代替其，在无人机10的飞行控制部101检测到可能发生灾害的状态的情况(例如发生了地震的情况或者下了预定量以上的雨的情况)下，开始自主飞行。即，即使没有来自中心服务器30的指示，无人机10也可以开始飞行控制。然后，无人机10依照控制指令进行飞行控制，自主地移动至各摄影位置(S14)。在到达摄影位置时，无人机10进行摄影(S15)，进而，比较摄影的图像和保存于基准图像DB111的基准图像，判定是否有预定值以上的差(S16)。
无人机10将判定为有预定值以上的差的图像与位置信息一起作为受灾地信息发送到中心服务器30(S17)。S14至S17的处理针对每个摄影位置反复执行。接收到受灾地信息的中心服务器30根据接收到的图像，判定受灾状况(S18)。通过解析保存于受灾地DB311的图像，判定受灾状况。然后，在中心服务器30中，更新受灾地DB311(S19)。进而，将受灾状况的判定结果从中心服务器30发送给用户终端20(S20)。此外，受灾状况的判定结果也可以根据来自用户终端20的请求发送。接收到受灾状况的判定结果的用户终端20使与受灾状况有关的信息显示于显示器25(S21)。
接下来，说明无人机10中的摄影处理。摄影处理是与上述S13至S17对应的处理。图9是本实施方式所涉及的摄影处理的流程图。在无人机10中，每隔预定的时间，执行图9所示的摄影处理。
在步骤S101中，飞行控制部101判定是否从中心服务器30接收到运行指令。此外，作为其他方法，也可以在步骤S101中，飞行控制部101判定是否检测到可能发生灾害的状态。在步骤S101中肯定判定的情况下，进入到步骤S102，在否定判定的情况下，使本例程结束。在步骤S102中，飞行控制部101依照飞行指令生成控制指令。例如，以使无人机10从基地出发经由各摄影位置之后返回到基地的方式，生成控制指令。此外，控制指令也可以根据预定区域预先生成，并存储到辅助存储部13。另外，控制指令也可以使用公知的技术生成。在步骤S103中，飞行控制部101依照控制指令控制驱动部18，从而实施飞行控制。通过该飞行控制，无人机10巡游各摄影位置。
在步骤S104中，摄影部102判定是否到达摄影位置。摄影部102例如比较由位置信息传感器16取得的位置信息和从用户终端20或者中心服务器30取得的与摄影位置有关的信息，判定无人机10是否到达摄影位置。此外，也可以以在各摄影位置按照与基准图像相同的条件(例如相同的高度并且相同的朝向)进行摄影的方式，飞行控制部101进行控制，在该条件成立的情况下，摄影部102判定为到达摄影位置。在步骤S104中肯定判定的情况下，进入到步骤S105，在否定判定的情况下，再次执行步骤S104。
在步骤S105中，摄影部102通过控制摄影机15，进行无人机10的周边的摄影。在步骤S106中，判定部103取得基准图像。基准图像是与在步骤S104中判定的摄影位置对应的基准图像，从基准图像DB111取得。然后，在步骤S107中，判定部103比较在步骤S105中摄影的图像和在步骤S106中取得的基准图像，判定两个图像的差是否为预定值以上。判定部103例如比较摄影图像的特征量和基准图像的特征量。将预定值作为发生灾害时的特征量的差预先存储到辅助存储部13。在步骤S107中肯定判定的情况下，进入到步骤S108，在否定判定的情况下，进入到步骤S110。
在步骤S108中，判定部103生成受灾地信息。在受灾地信息中，包括通过步骤S105摄影的图像以及关于在步骤S104中判定的摄影位置的各个的信息。在生成受灾地信息后，判定部103在步骤S109中将受灾地信息发送给中心服务器30。
在步骤S110中，摄影部102判定在步骤S104中判定的摄影位置是否为最终的摄影位置。即，判定是否摄像了必要的全部图像。最终的摄影位置例如既可以包含于控制指令，也可以在步骤S102中设定。在步骤S110中肯定判定的情况下，使本例程结束。在该情况下，在无人机10返回到基地时，飞行控制结束。另一方面，在步骤S110中否定判定的情况下，返回到步骤S104。然后，反复执行其他摄影位置处的摄影。
接下来，说明中心服务器30中的指令生成处理。指令生成处理是与上述S11至S12对应的处理。图10是本实施方式所涉及的指令生成处理的流程图。在中心服务器30中，每隔预定的时间，执行图10所示的指令生成处理。
在步骤S201中，指令部301判定是否为可能发生灾害的状况。例如，在发生了预定震度以上的地震的情况、下了预定量以上的雨的情况、刮了预定风速以上的风的情况、或者、台风接近到预定距离以内的情况下，判定为是可能发生灾害的状况。指令部301访问例如提供气象信息的服务器而得到信息。在步骤S201中肯定判定的情况下，进入到步骤S202，在否定判定的情况下，结束本例程。
在步骤S202中，指令部301生成飞行指令。将可能发生灾害的区域设定为预定区域，以使无人机10在该预定区域内经由各摄影位置而飞行的方式，生成飞行指令。例如，也可以将预定区域分割为多个网格，将各网格的中心地作为摄影位置。另外，作为其他方法，也可以在预定区域内检索过去发生灾害的地方，将能够对发生了该灾害的地方进行摄影的位置作为摄影位置。过去发生灾害的地方例如既可以存储到中心服务器30的辅助存储部33，也可以从外部的服务器取得。然后，在步骤S203中，指令部301向无人机10发送飞行指令。此外，在图10所示的例子中，从中心服务器30向无人机10发送飞行指令，但也可以代替其，从用户终端20向无人机10发送飞行指令。
接下来，说明中心服务器30中的判定处理。判定处理是与上述S18至S20对应的处理。图11是本实施方式所涉及的判定处理的流程图。在执行图10所示的指令生成处理之后，在中心服务器30中，每隔预定的时间，执行图11所示的判定处理。
在步骤S301中，判定部302判定是否从无人机10接收到受灾地信息。在步骤S301中肯定判定的情况下，进入到步骤S302，在否定判定的情况下，使本例程结束。在步骤S302中，判定部302根据受灾地信息，更新受灾地DB311的位置字段以及图像字段。在步骤S303中，判定部302解析包含于接收到的受灾地信息的图像。在该图像解析中，例如，也可以判断住宅的受害状况(例如半坏或者全坏)或者道路的状况(例如单侧行车道不可行驶或者两侧行车道不可行驶)。在图像解析中能够利用公知的技术。
在步骤S304中，判定部302根据在步骤S303中进行的图像解析，判定受灾的程度。图像解析的结果和受灾的程度的关系例如被预先存储到辅助存储部33。在步骤S305中，判定部302在受灾地DB311的受灾的程度字段中输入步骤S304的判定结果，由此更新受灾地DB311。在步骤S306中，提供部303生成与受灾状况有关的信息。在与受灾状况有关的信息中，包括受灾的程度、受灾地的位置以及受灾地的图像等。在步骤S307中，提供部303将在步骤S306中生成的与受灾状况有关的信息发送给用户终端20。
如以上说明，根据本实施方式，能够利用可自主地移动的无人机10，确定发生灾害时的受灾地以及掌握受灾的程度。
<其他实施方式>
上述实施方式只不过是一个例子，本公开能够在不脱离其要旨的范围内适当地变更来实施。
在本公开中说明的处理、单元只要不产生技术上的矛盾，就能够自由地组合实施。
另外，说明为1个装置进行的处理也可以由多个装置分担执行。或者，说明为不同的装置进行的处理也可以由1个装置执行。在计算机***中，能够灵活地变更通过什么样的硬件结构(服务器结构)实现各功能。例如，也可以中心服务器30具备无人机10的功能的一部分。例如，也可以中心服务器30具有无人机10的判定部101的功能。另外，例如，也可以无人机10具备中心服务器30的功能的一部分或者全部。例如，也可以无人机10具有中心服务器30的判定部302或者提供部303的功能。
另外，在上述实施方式中，作为移动体的例子举出无人机10进行说明，但代替其，例如还能够应用于可自主行驶的车辆。
本公开通过将安装有在上述实施方式中说明的功能的计算机程序提供给计算机，该计算机具有的1个以上的处理器读出并执行程序也能够实现。这样的计算机程序既可以通过能够连接到计算机的***总线的非临时性的计算机可读存储介质提供给计算机，也可以经由网络提供给计算机。非临时性的计算机可读存储介质例如包括磁盘(软盘(注册商标)、硬盘驱动器(HDD)等)、光盘(CD-ROM、DVD盘、蓝光盘等)等任意类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡、闪存存储器、光学式卡、适合于保存电子命令的任意类型的介质。

Claims (20)

1.一种***，包括：
自主移动的移动体；以及
服务器，根据接收到的第一图像，判定预定区域中的受害的状况，
该移动体包括：
摄影装置，对自主移动的移动体的周边进行摄影；
存储部，存储基准图像，该基准图像是在所述预定区域内的摄影位置摄影的图像；以及
控制部，将所述第一图像和与所述第一图像被摄影的位置有关的信息发送给服务器，所述第一图像是在所述摄影位置通过所述摄影装置摄影且与所述基准图像的差是预定值以上的图像。
2.根据权利要求1所述的***，其中，
所述存储部存储有与多个摄影位置有关的信息以及与所述多个摄影位置的各个摄影位置对应的基准图像，
所述控制部控制所述移动体的自主的移动以使所述移动体巡游存储于所述存储部的所述摄影位置。
3.根据权利要求1所述的***，其中，
所述服务器将与多个摄影位置有关的信息发送给所述移动体。
4.根据权利要求1所述的***，其中，
所述服务器生成以巡游多个摄影位置的方式使所述移动体移动的指令，将生成的所述指令发送给所述移动体。
5.根据权利要求4所述的***，其中，
所述服务器在检测到发生灾害的状况时，生成所述指令。
6.根据权利要求1至5中的任意一项所述的***，其中，
所述摄影位置是与过去发生灾害的地方关联起来的位置。
7.根据权利要求1至6中的任意一项所述的***，其中，
还具备用户使用的用户终端，
所述服务器将判定出的所述预定区域中的受害的状况发送给所述用户终端。
8.根据权利要求1至7中的任意一项所述的***，其中，
所述服务器通过进行所述第一图像的图像解析，判定所述预定区域中的受害的状况。
9.根据权利要求1至8中的任意一项所述的***，其中，
所述移动体是无人机。
10.一种移动体，包括：
摄影装置，对自主移动的移动体的周边进行摄影；
存储部，存储基准图像，该基准图像是在预定区域内的摄影位置摄影的图像；以及
控制部，将第一图像和与所述第一图像被摄影的位置有关的信息发送给服务器，所述第一图像是在所述摄影位置通过所述摄影装置摄影且与所述基准图像的差是预定值以上的图像。
11.根据权利要求10所述的移动体，其中，
所述存储部存储有与多个摄影位置有关的信息以及与所述多个摄影位置的各个摄影位置对应的基准图像，
所述控制部控制所述移动体的自主的移动以使所述移动体巡游存储于所述存储部的所述摄影位置。
12.根据权利要求10所述的移动体，其中，
从所述服务器接收与多个摄影位置有关的信息。
13.根据权利要求10至12中的任意一项所述的移动体，其中，
所述摄影位置是与过去发生灾害的地方关联起来的位置。
14.根据权利要求10至13中的任意一项所述的移动体，其中，
所述移动体在检测到发生灾害的状况时，移动到所述摄影位置。
15.一种信息处理装置，具备控制部，该控制部执行：
接收第一图像和与所述第一图像被摄影的位置有关的信息，所述第一图像是自主移动的移动体在与基准图像相同的位置摄影且与所述基准图像的差是预定值以上的图像，所述基准图像是在预定区域内的摄影位置摄影的图像；以及
根据接收到的所述第一图像，判定所述预定区域中的受害的状况。
16.根据权利要求15所述的信息处理装置，其中，
所述控制部将与多个摄影位置有关的信息发送给所述移动体。
17.根据权利要求15所述的信息处理装置，其中，
所述控制部生成以巡游多个摄影位置的方式使所述移动体移动的指令，将生成的所述指令发送给所述移动体。
18.根据权利要求17所述的信息处理装置，其中，
所述控制部在检测到发生灾害的状况时，生成所述指令。
19.根据权利要求15至18中的任意一项所述的信息处理装置，其中，
所述摄影位置是与过去发生灾害的地方关联起来的位置。
20.根据权利要求15至19中的任意一项所述的信息处理装置，其中，
所述控制部将判定出的所述预定区域中的受害的状况发送给用户终端。
CN202110508063.8A 2020-05-12 2021-05-11 ***、移动体以及信息处理装置 Pending CN113660452A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-083846 2020-05-12
JP2020083846A JP2021179718A (ja) 2020-05-12 2020-05-12 システム、移動体、及び、情報処理装置

Publications (1)

Publication Number Publication Date
CN113660452A true CN113660452A (zh) 2021-11-16

Family

ID=78476888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110508063.8A Pending CN113660452A (zh) 2020-05-12 2021-05-11 ***、移动体以及信息处理装置

Country Status (3)

Country Link
US (1) US20210357620A1 (zh)
JP (1) JP2021179718A (zh)
CN (1) CN113660452A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018098824A1 (zh) * 2016-12-02 2018-06-07 深圳市大疆创新科技有限公司 一种拍摄控制方法、装置以及控制设备
JP7429254B2 (ja) * 2022-05-19 2024-02-07 株式会社Ｎｔｔドコモ 情報処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180322197A1 (en) * 2017-05-03 2018-11-08 Survae Inc. Video data creation and management system
JP2019028986A (ja) * 2017-07-27 2019-02-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理装置及び情報処理プログラム
US20200106589A1 (en) * 2018-09-28 2020-04-02 Qualcomm Incorporated Remote interference management reference signal transmission

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008107941A (ja) * 2006-10-24 2008-05-08 Mitsubishi Electric Corp 監視装置
WO2013051300A1 (ja) * 2011-10-03 2013-04-11 Hanabata Mitsuaki 被災状況把握システム
US20150226461A1 (en) * 2012-08-07 2015-08-13 Logos Technologies, Llc Solar energy collection utilizing heliostats
JP6733267B2 (ja) * 2016-03-31 2020-07-29 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
JP6243077B2 (ja) * 2017-06-26 2017-12-06 ミサワホーム株式会社 避難先情報取得システム及び避難先情報取得方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180322197A1 (en) * 2017-05-03 2018-11-08 Survae Inc. Video data creation and management system
JP2019028986A (ja) * 2017-07-27 2019-02-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理装置及び情報処理プログラム
US20200106589A1 (en) * 2018-09-28 2020-04-02 Qualcomm Incorporated Remote interference management reference signal transmission

Also Published As

Publication number Publication date
US20210357620A1 (en) 2021-11-18
JP2021179718A (ja) 2021-11-18

Similar Documents

Publication Publication Date Title
EP3770854A1 (en) Target tracking method, apparatus, medium, and device
US9682777B2 (en) System and method for controlling a remote aerial device for up-close inspection
EP3742250B1 (en) Method, apparatus and system for controlling unmanned aerial vehicle
US20200064133A1 (en) Information processing device, aerial photography route generation method, aerial photography route generation system, program, and storage medium
EP3330178B1 (en) Control device and method for unmanned arial photography vehicle
JP2018196064A (ja) 情報処理装置、空撮経路生成方法、空撮経路生成システム、プログラム、及び記録媒体
CN113660452A (zh) ***、移动体以及信息处理装置
CN111178148A (zh) 一种基于无人机视觉***的地面目标地理坐标定位方法
CN110650530A (zh) 无人机的搜索定位方法、装置和无人机
CN115222808A (zh) 基于无人机的定位方法、装置、存储介质和电子设备
CN104255022A (zh) 为相机添加虚拟变焦能力的服务器,客户终端,***和程序
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP7050809B2 (ja) 情報処理装置
EP3919374B1 (en) Image capturing method
WO2022188151A1 (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
JP7371578B2 (ja) 情報処理装置、及び情報処理方法
KR20190013176A (ko) 드론을 이용한 구조물의 변화 탐지 방법 및 장치
JP6678983B1 (ja) 飛行体の管理サーバ及び管理システム
JP6593665B2 (ja) 画像表示システム、端末、方法およびプログラム
CN113885550B (zh) 信息处理装置、信息处理方法以及非临时性存储介质
JP6495560B2 (ja) 点群処理システム
CN112348884B (zh) 一种定位方法、终端设备和服务器
JP2024065432A (ja) プログラム、情報処理装置、システムおよび情報処理方法
JP2024044400A (ja) 情報処理装置、プログラム、システム、及び情報処理方法
CN117152241A (zh) 图像联动定位方法、装置、计算机设备、***及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211116

WD01 Invention patent application deemed withdrawn after publication