WO2022085588A1 - システム、端末及びプログラム - Google Patents
システム、端末及びプログラム Download PDFInfo
- Publication number
- WO2022085588A1 WO2022085588A1 PCT/JP2021/038257 JP2021038257W WO2022085588A1 WO 2022085588 A1 WO2022085588 A1 WO 2022085588A1 JP 2021038257 W JP2021038257 W JP 2021038257W WO 2022085588 A1 WO2022085588 A1 WO 2022085588A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- captured image
- robot
- terminal
- region
- moving
- Prior art date
Links
- 238000004891 communication Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present invention relates to a system, a terminal and a program.
- Patent Document 1 a camera that provides a captured image to a remote operator and a mask process that hides at least a part of the captured image from the remote operator are executed, and the mask process is used.
- a moving object with a camera equipped with a mask processing unit that switches according to the situation is described.
- a terminal that remotely controls a moving object such as a telepresence robot displays an image captured by a camera included in the moving object.
- the user of the terminal operates the moving body based on the captured image displayed on the terminal.
- the user of the terminal may not be able to properly operate the moving object.
- the present disclosure provides a system, a terminal, and a program capable of appropriately operating a moving body.
- the system is a system including a mobile body and a terminal used for operating the mobile body, and the mobile body identifies the mobile body based on an instruction from the terminal.
- the terminal includes a drive unit to be moved on the surface of the terminal, a camera for capturing an image of a first region determined based on an instruction from the terminal, and a second region on the specific surface. Is a state in which the acquisition unit for acquiring the first captured image corresponding to the first region and the second captured image corresponding to the second region, and the moving body are moving.
- a display control unit that controls the display of the first captured image and the second captured image on the display unit is provided based on whether or not the display unit is used.
- the display of the first captured image and the second captured image is controlled based on whether or not the moving body is in a moving state, so that the user of the terminal can use the terminal.
- the moving body can be operated appropriately.
- the display control unit may display both the first captured image and the second captured image on the display unit.
- the moving body when the moving body is in a moving state, not only the first captured image corresponding to the first region determined based on the instruction from the terminal but also the moving body moves. Since the second captured image corresponding to the second region on the specific surface is displayed on the display unit, the user of the terminal can appropriately operate the moving body in the moving state.
- the display control unit when the moving body is not moving, causes the display unit to display the first captured image without displaying the second captured image.
- the second captured image corresponding to the second region on the specific surface on which the moving body moves is not displayed, and the second captured image is not displayed from the terminal. Since the first captured image corresponding to the first region determined based on the instruction is displayed, the user of the terminal can appropriately operate the moving body in the non-moving state.
- the camera may include a first camera that captures the first region and a second camera that captures the second region.
- the first captured image corresponding to the first region and the second captured image corresponding to the second region are captured. Can be generated at the same time.
- the first region when the moving body is in a moving state, includes a predetermined region in the direction in which the moving body moves, and the second region is in the direction and said. It may be a predetermined area on a specific surface.
- the moving body when the moving body is in a moving state, not only the first captured image corresponding to the first region in the direction in which the moving body moves, but also the specific surface in that direction. Since the second captured image corresponding to the above second region is displayed on the display unit, the user of the terminal can more appropriately operate the moving body in the moving state.
- the terminal is a terminal used for operating a moving body, and corresponds to an input unit into which an instruction for the moving body is input and a first region determined based on the instruction.
- An acquisition unit for acquiring a first captured image and a second captured image corresponding to a second region on a specific surface on which the moving body moves based on the instruction, and the moving body move. It is provided with a display control unit that controls the display of the first captured image and the second captured image on the display unit based on whether or not the state is in the state.
- the program according to one aspect of the present disclosure is a program for causing a computer to perform an operation of a moving body, and is determined based on the instruction to receive an instruction to the moving body input to the input unit. To acquire a first captured image corresponding to the first region and a second captured image corresponding to the second region on a specific surface on which the moving object moves based on the instruction. , Controlling the display of the first captured image and the second captured image on the display unit based on whether or not the moving body is in a moving state is executed.
- the moving body can be appropriately operated by using the terminal.
- the moving object is, for example, a robot equipped with a camera that can move on a rail, a robot that is installed in a vehicle or heavy machine capable of automatic or semi-automatic driving, a drone, an airplane, a sports stadium, etc., and a satellite type that is launched into space. It may be any machine, device, or terminal provided with a camera and a driving unit, such as a robot that can control the posture and the image pickup direction of the camera.
- the moving body may be configured by connecting a general-purpose device (for example, a smartphone, a tablet, etc.) to a main body having a drive unit.
- a general-purpose device for example, a smartphone, a tablet, etc.
- the moving body having the camera and the driving unit does not have to be configured as an integrated device, and may be configured by combining a plurality of devices.
- FIG. 1 is a diagram showing an example of the overall configuration of the system according to the present embodiment.
- the system 1 includes a terminal 10 and a robot 20 operated by using the terminal 10.
- the terminal 10 and the robot 20 communicate with each other.
- the robot 20 and the terminal 10 may communicate via a network (for example, the Internet, a LAN (Local Area Network), etc.), or may communicate between terminals without going through the network. May be good.
- Communication between the robot 20 and the terminal 10 includes wired communication and / or wireless communication.
- the number of terminals 10 and robots 20 constituting the system 1 is arbitrary and is not limited to that shown in FIG.
- the system 1 may include a server and / or a device (not shown) connected to the terminal 10 and / or the robot 20 via a network.
- the server may accept various processes related to the robot 20, such as reservation of the robot 20, from the terminal 10.
- the terminal 10 is an information processing device used by the user to operate the robot 20.
- the terminal 10 is a general-purpose or dedicated information processing device such as a smartphone, a tablet terminal, a PDA (Personal Digital Assistants), a personal computer, a head-mounted display, and an operation system for a specific purpose.
- the terminal 10 includes at least a display unit 10f.
- the robot 20 is a mobile robot. As shown in FIG. 1, the robot 20 includes at least a drive unit 20 g and a camera 20 h.
- the drive unit 20g in FIG. 1 moves the robot 20 on a specific surface S by rotationally driving the wheels.
- the specific surface S may be, for example, the ground, the floor, the moon surface, or the like.
- the drive unit 20 g is composed of a plurality of wheels, but is not limited to this.
- the robot 20 is, for example, one that travels by one wheel, two wheels or multiple wheels, one that travels by a caterpillar, one that travels on a rail, one that jumps and moves, one that walks on two legs, one that walks on four legs, or one that walks on multiple legs. Includes those that navigate on or under water with a screw, and those that fly with a propeller or the like.
- the camera 20h captures a predetermined area determined based on an instruction from the terminal 10.
- the robot 20 may have a plurality of cameras 20h that capture images of different regions.
- the robot 20 is a first camera (hereinafter referred to as “main camera”) 20h 1 that captures a first region determined based on an instruction from a terminal 10, and a specific robot 20 moves.
- main camera a first camera
- a specific robot 20 moves.
- It has a second camera (hereinafter referred to as a “navigation camera”) 20h 2 that captures a second region on the surface S of the surface S.
- the robot 20 does not have to have a plurality of cameras 20h, and may have a single camera 20h that can move at a predetermined angle (for example, 360 °) and can control the imaging direction. Further, the main camera 20h 1 and / or the navigation camera 20h 2 of FIG. 1 may also be movable at a predetermined angle and can control the imaging direction.
- a predetermined angle for example, 360 °
- the main camera 20h 1 and / or the navigation camera 20h 2 of FIG. 1 may also be movable at a predetermined angle and can control the imaging direction.
- the user operates the robot 20 using the terminal 10.
- An image generated by imaging by the camera 20h of the robot 20 (hereinafter referred to as “captured image”) is displayed on the display unit 10f of the terminal 10.
- the user can confirm the state of the robot 20 by visually recognizing the captured image displayed on the display unit 10f.
- the terminal 10 controls the display of the captured image generated by the camera 20h based on whether or not the robot 20 is in a moving state.
- the user operates the robot 20 via the terminal 10 (for example, the movement of the robot 20 or the operation of the camera mounted on the robot 20).
- Instructions for operating the robot 20 are transmitted from the terminal 10 to the robot 20.
- the instruction may be transmitted directly from the terminal 10 to the robot 20, or may be transmitted from the terminal 10 to the robot 20 via a device (for example, a server or the like) (not shown).
- the instruction may be information or a signal indicating the instruction.
- the robot 20 operates in response to an instruction from the terminal 10 and transmits an image captured by the camera 20h to the terminal 10.
- the robot 20 is not limited to the image captured by the camera 20h, and may transmit various data acquired or detected by the robot 20, such as voice acquired by the microphone of the robot 20, to the terminal 10.
- the user can obtain the experience as if he / she is in the place where the robot 20 is located through the terminal 10 and the robot 20.
- FIG. 2 is a diagram showing an example of the physical configuration of the terminal 10 according to the present embodiment.
- the terminal 10 includes a processor 10a corresponding to a calculation unit, a RAM (Random Access Memory) 10b corresponding to a storage unit, a ROM (Read only Memory) 10c corresponding to a storage unit, a communication unit 10d, and an input unit 10e. , A display unit 10f, and a camera 10g.
- Each of these configurations is connected to each other via a bus so that data can be transmitted and received.
- the configuration shown in FIG. 2 is an example, and the terminal 10 may have a configuration other than these, or may not have a part of these configurations.
- the processor 10a is, for example, a CPU (Central Processing Unit).
- the processor 10a is a control unit that controls various processes in the terminal 10 by executing a program stored in the RAM 10b or the ROM 10c.
- the processor 10a realizes the function of the terminal 10 and controls the execution of the process by cooperating with the program and other configurations included in the terminal 10.
- the processor 10a receives various data from the input unit 10e and the communication unit 10d, displays the calculation result of the data on the display unit 10f, and stores the data in the RAM 10b.
- the RAM 10b and ROM 10c are storage units for storing data required for various processes and data of processing results.
- the terminal 10 may include a large-capacity storage unit such as a hard disk drive.
- the RAM 10b and the ROM 10c may be composed of, for example, a semiconductor storage element.
- the communication unit 10d is an interface for connecting the terminal 10 to another device.
- the communication unit 10d communicates with other devices.
- the input unit 10e is a device for receiving data input from the user and a device for inputting data from the outside of the terminal 10.
- the input unit 10e may include, for example, a keyboard, a mouse, a touch panel, and the like. Further, the input unit 10e may include a microphone for voice input.
- the display unit 10f visually displays the calculation result by the processor 10a, and may be configured by, for example, an LCD (Liquid Crystal Display).
- the display unit 10f displays the captured image generated by the camera 20h of the robot 20.
- the display unit 10f may include a plurality of display units 10f, and each of the plurality of display units 10f may have captured images of different regions generated by the camera 20h (for example, the main camera 20h 1 and the navigation camera 20h 2 ). The captured images generated by the above may be displayed. Further, the display unit 10f may display the captured image generated by the camera 10g of the terminal 10.
- the camera 10g includes an image pickup element that captures a still image or a moving image, generates an captured image (for example, a still image or a moving image) by imaging a predetermined region, and the generated captured image is transmitted via the communication unit 10d. And sends it to the robot 20.
- the program for executing the operation of the robot 20 may be stored and provided in a storage medium readable by a computer such as RAM 10b or ROM 10c, or may be provided via a communication network connected by the communication unit 10d. May be good.
- various operations for controlling the robot 20 are realized by the processor 10a executing the program.
- the terminal 10 may include an LSI (Large-Scale Integration) in which a processor 10a and a RAM 10b or a ROM 10c are integrated.
- FIG. 3 is a diagram showing a physical configuration of the robot 20 according to the present embodiment.
- the robot 20 includes a processor 20a corresponding to a calculation unit, a RAM 20b corresponding to a storage unit, a ROM 20c corresponding to a storage unit, a communication unit 20d, an input unit 20e, a display unit 20f, a drive unit 20g, and a camera. It has 20 hours.
- Each of these configurations is connected to each other via a bus so that data can be transmitted and received.
- the configuration shown in FIG. 3 is an example, and the robot 20 may have configurations other than these, or may not have a part of these configurations.
- the processor 20a is a control unit that controls execution of a program stored in the RAM 20b or ROM 20c, calculates data, and processes data.
- the processor 20a receives various data from the input unit 20e and the communication unit 20d, displays the calculation result of the data on the display unit 20f, and stores the data in the RAM 20b. Further, the processor 20a controls the driving unit 20g and controls the operation of the robot 20.
- the RAM 20b and ROM 20c are storage units for storing data required for various processes and data of processing results.
- the robot 20 may include a large-capacity storage unit such as a hard disk drive.
- the communication unit 20d is a device that communicates with an external device.
- the input unit 20e is a device for inputting data from the outside of the robot 20.
- the input unit 20e may include, for example, a keyboard and a touch panel. Further, the input unit 20e may include a microphone for voice input.
- the display unit 20f is a device for displaying various information.
- the display unit 20f may be configured by, for example, an LCD as a visual display of the calculation result by the processor 20a.
- the display unit 20f may display the captured image generated by the camera 10g of the terminal 10. Further, the display unit 20f may display the captured image generated by the camera 20h of the robot 20.
- the drive unit 20 g includes an actuator that can be remotely controlled, and includes a moving unit such as a wheel and a manipulator.
- the drive unit 20 g may include at least one of a moving unit such as a wheel and a manipulator.
- the camera 20h includes an image pickup element that captures a still image or a moving image, generates an captured image (for example, a still image or a moving image) by imaging a predetermined region, and the generated captured image is transmitted via the communication unit 20d. And send it to the terminal 10.
- the program for executing the control of the robot 20 may be stored and provided in a storage medium readable by a computer such as RAM 20b or ROM 20c, or may be provided via a communication network connected by the communication unit 20d. May be good.
- various operations for controlling the robot 20 are realized by the processor 20a executing the program.
- the robot 20 may include an LSI in which a processor 20a and a RAM 20b or a ROM 20c are integrated.
- FIG. 4 is a diagram showing an example of the functional configuration of the terminal 10 according to the present embodiment. These functions are realized by the processor (control unit) of the terminal 10 reading and executing a computer program stored in the storage device (storage unit).
- the terminal 10 includes an input receiving unit 11, an acquisition unit 12, a determination unit 13, and a display control unit 14.
- the functions of the terminal 10 are not limited to these, and may have functions generally possessed by a computer and other functions.
- the input receiving unit 11 receives an instruction to the robot 20 input to the input unit 10e.
- the instruction may indicate, for example, the movement of the robot 20, the stop of the robot 20, the movement direction D of the robot 20, the rotation direction of the drive unit 20g, the region imaged by the camera 20h, and the like.
- the acquisition unit 12 acquires the captured image generated by the robot 20. Specifically, the acquisition unit 12 has a first captured image corresponding to a first region determined based on an instruction to the robot 20, and a specific surface for moving the moving body based on the instruction. The second captured image corresponding to the second region of the above is acquired. For example, the acquisition unit 12 may acquire the first captured image and the second captured image from the robot 20 via the communication unit 10d.
- the determination unit 13 determines the state of the robot 20. Specifically, the determination unit 13 determines whether or not the robot 20 is in a moving state (hereinafter, referred to as a “moving state”). For example, the determination unit 13 is either in a moving state of the robot 20 or in a state in which the robot 20 is not moving (hereinafter referred to as “stopped state”) based on the instruction received by the input receiving unit 11. It may be determined whether or not there is.
- the moving state may be a state in which the robot 20 is actually moving, or may be a state in which it is estimated that the robot 20 is actually moving regardless of whether or not it is actually moving.
- the stopped state may be a state in which the robot 20 is actually stopped, or may be a state in which it is presumed that the robot 20 is actually stopped regardless of whether or not it is actually stopped. ..
- the display control unit 14 controls the display of the first captured image and the second captured image on the display unit 10f based on whether or not the robot 20 is in a moving state. Specifically, when the robot 20 is in a moving state, the display control unit 14 causes the display unit 10f to display both the first captured image and the second captured image. On the other hand, when the robot 20 is in the stopped state, the display control unit 14 causes the display unit 10f to display the first captured image without displaying the second captured image.
- FIG. 5 is a diagram showing an example of a case where the robot 20 according to the present embodiment is in a moving state.
- FIG. 5A shows first and second regions imaged by the camera 20h of the moving robot 20.
- FIG. 5B shows an example of the screen of the display unit 10f of the terminal 10 when the robot 20 is in a moving state.
- the first region determined based on the instruction from the terminal 10 to the robot 20 is the direction D in which the robot 20 moves (hereinafter, “” It includes at least a predetermined area of "movement direction D").
- the main camera 20h 1 of the robot 20 captures a first region and generates a first captured image corresponding to the first region.
- the second region is the moving direction D of the robot 20 and is a predetermined region on the specific surface S (for example, the foot of the moving direction D of the robot 20). It may be a predetermined area).
- the navigation camera 20h 2 of the robot 20 captures a second region and generates a second captured image corresponding to the second region.
- the main camera 20h 1 and the navigation camera 20h 2 capture the first and second regions, respectively, to generate the first and second captured images, but the same camera 20h
- the first and second captured images may be generated by switching the first and second regions in time and taking an image.
- the first and second captured images generated as described above are transmitted from the communication unit 20d of the robot 20 to the terminal 10.
- the display control unit 14 of the terminal 10 causes the display unit 10f to display both the first captured image and the second captured image.
- the display unit 10f displays the first captured image at the upper part of the screen and the second captured image at the lower part of the screen, but the first and second images on the screen are displayed.
- the positional relationship of the captured image is not limited to that shown in the figure.
- the display unit 10f displays the first captured image larger than the second captured image, but is not limited to this.
- FIG. 6 is a diagram showing an example of a case where the robot 20 according to the present embodiment is in a stopped state.
- FIG. 6A shows a first region imaged by the camera 20h of the robot 20 in the stopped state.
- FIG. 6B shows an example of the screen of the display unit 10f of the terminal 10 when the robot 20 is in the stopped state.
- the first region is a predetermined region determined based on the instruction from the terminal 10 to the robot 20.
- the main camera 20h 1 of the robot 20 captures a first region and generates a first captured image corresponding to the first region.
- the generated first captured image is transmitted from the communication unit 20d of the robot 20 to the terminal 10.
- the navigation camera 20h 2 of the robot 20 may or may not capture a second region on a specific surface S on which the robot 20 moves. Further, the communication unit 20d may or may not transmit the second captured image corresponding to the second region to the terminal 10.
- the display control unit 14 of the terminal 10 displays the first captured image on the display unit 10f without displaying the second captured image. Display. For example, on the screen of the display unit 10f shown in FIG. 6B, the state of a predetermined area determined based on the instruction from the terminal 10 is shown to the user of the terminal 10 by the first captured image. Is done.
- the user of the terminal 10 can operate the robot 20 without recognizing an obstacle or the like at the feet of the robot 20. Therefore, by displaying only the first captured image on the display unit 10f, it becomes easy to recognize the state of the desired first region. Therefore, when the robot 20 is in the stopped state, the user of the terminal 10 can appropriately operate the robot 20 by displaying the first captured image on the display unit 10f without displaying the second captured image. Can be done.
- FIG. 7 is a flowchart showing an example of the operation of the terminal 10 according to the present embodiment. As shown in FIG. 7, in step S101, the terminal 10 receives an input of an instruction to the robot 20 from the user.
- step S102 the terminal 10 determines whether or not the robot 20 is in a moving state.
- the terminal 10 may determine whether or not the robot 20 is in the moving state based on the instruction to the robot 20 input in step S101.
- step S103 the terminal 10 acquires both the first captured image and the second captured image.
- the first captured image is generated by imaging the first region by the camera 20h of the robot 20 (for example, the main camera 20h 1 ).
- the second captured image is generated by imaging the second region by the camera 20h of the robot 20 (for example, the navigation camera 20h 2 ).
- step S104 the terminal 10 causes the display unit 10f to display both the first captured image and the second captured image (see, for example, FIG. 5B).
- step S105 the terminal 10 acquires the first captured image.
- the first captured image is generated by imaging the first region by the camera 20h of the robot 20 (for example, the main camera 20h 1 ).
- step S106 the terminal 10 does not display the second captured image, but displays the first captured image on the display unit 10f (see, for example, FIG. 6B).
- the terminal 10 may acquire both the first captured image and the second captured image regardless of whether the robot 20 is in a moving state. In this case, if the robot 20 is in the moving state, both the first and second captured images are displayed, and if the robot 20 is in the stopped state, both the first captured images are displayed without displaying the second captured image. Is displayed.
- the display of the first captured image and the second captured image on the display unit 10f is controlled based on whether or not the robot 20 is in a moving state. Therefore, the user of the terminal 10 can appropriately operate the robot 20 based on the image captured by the camera 20h of the robot 20 displayed on the display unit 10f.
- the robot 20 when the robot 20 is in a moving state, as shown in FIG. 5B, not only the first captured image showing the state of the moving direction D of the robot 20 but also a specific image in which the robot 20 moves.
- a second captured image showing the state of the surface S is displayed on the display unit 10f of the terminal 10. Therefore, the user of the terminal 10 can recognize an obstacle or the like at the foot of the robot 20 from the second captured image, and as a result, the operation of the robot 20 is appropriate, for example, avoiding a collision between the robot 20 and the obstacle. Can be done.
- the first region imaged by the camera 20h of the robot 20 is assumed to be a single region, but may include a plurality of regions.
- the first region may include not only a predetermined region determined based on an instruction from the terminal 10 but also a predetermined region in one or more directions different from the predetermined region.
- the first region is not only the moving direction D, but also a predetermined region in the direction opposite to the moving direction D, a predetermined region in the left direction of the moving direction D, and the right side of the moving direction D. It may include a predetermined area in the direction or the like. In this case, for example, in the display area of the first captured image of FIG.
- a plurality of captured images corresponding to the plurality of regions in different directions may be displayed. Similar changes can be made to FIGS. 6 (A) and 6 (B). Further, when the robot 20 is in the moving state, the plurality of regions may be imaged as the first region, and when the robot 20 is in the stationary state, a single region may be imaged as the first region. ..
- the second region imaged by the camera 20h of the robot 20 is assumed to be a single region, but may include a plurality of regions.
- the second region is the moving direction D of the robot 20, not only a predetermined region on a specific surface S on which the robot 20 moves, but also a direction opposite to the moving direction D, left. It may include a predetermined area or the like including the specific surface S in the direction, the right direction, or the like.
- a plurality of captured images corresponding to the plurality of regions in different directions may be displayed.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Closed-Circuit Television Systems (AREA)
- Manipulator (AREA)
Abstract
端末を用いて移動体の操作を適切に行う。移動体(20)と移動体(20)の操作に用いられる端末(10)とを含むシステムにおいて、移動体(20)は、端末(10)からの指示に基づいて移動体(20)を特定の面上で移動させる駆動部と、端末(10)からの指示に基づいて決定される第1の領域と、前記特定の面上の第2の領域と、を撮像するカメラと、を備え、端末(10)は、前記第1の領域に対応する第1の撮像画像と、前記第2の領域に対応する第2の撮像画像と、を取得する取得部と、前記移動体が移動している状態であるか否かに基づいて、表示部(10f)に対する前記第1の撮像画像と前記第2の撮像画像との表示を制御する表示制御部と、を備える。
Description
本出願は、2020年10月20日に出願された日本特許出願2020-176174に基づくもので、ここにその記載内容を援用する。
本発明は、システム、端末及びプログラムに関する。
近年、インターネットを用いたテレビ会議システムが普及し、顔を見ながら話すだけでなく、遠隔地にいるユーザがカメラの向きや位置を操作することができるテレプレゼンスロボットが知られている。
例えば、下記特許文献1には、遠隔操作者に対して撮影画像を提供するカメラと、撮影画像内の少なくとも一部を遠隔操作者から隠蔽するマスク処理を実行し、かつ、マスク処理を用途に応じて切り替えるマスク処理部と、を備えるカメラ付きの移動体が記載されている。
例えば、下記特許文献1には、遠隔操作者に対して撮影画像を提供するカメラと、撮影画像内の少なくとも一部を遠隔操作者から隠蔽するマスク処理を実行し、かつ、マスク処理を用途に応じて切り替えるマスク処理部と、を備えるカメラ付きの移動体が記載されている。
一般に、テレプレゼンスロボット等の移動体を遠隔で操作する端末には、当該移動体が備えるカメラによる撮像画像が表示される。当該端末のユーザは、当該端末に表示された撮像画像に基づいて当該移動体の操作を行う。しかしながら、当該端末に表示された撮像画像によっては、当該端末のユーザが、当該移動体の操作を適切に行うことができない恐れがある。
そこで、本開示は、移動体の操作を適切に行うことが可能なシステム、端末及びプログラムを提供する。
本開示の一態様に係るシステムは、移動体と、前記移動体の操作に用いられる端末と、を含むシステムであって、前記移動体は、前記端末からの指示に基づいて前記移動体を特定の面上で移動させる駆動部と、前記端末からの指示に基づいて決定される第1の領域と、前記特定の面上の第2の領域と、を撮像するカメラと、を備え、前記端末は、前記第1の領域に対応する第1の撮像画像と、前記第2の領域に対応する第2の撮像画像と、を取得する取得部と、前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第1の撮像画像と前記第2の撮像画像との表示を制御する表示制御部と、を備える。
この態様によれば、移動体が移動している状態であるか否かに基づいて、上記第1の撮像画像と上記第2の撮像画像との表示が制御されるので、上記端末のユーザは、移動体の操作を適切に行うことができる。
上記態様において、前記表示制御部は、前記移動体が移動している状態である場合、前記第1の撮像画像及び前記第2の撮像画像の双方を前記表示部に表示させてもよい。
この態様によれば、移動体が移動している状態である場合、端末からの指示に基づいて決定される第1の領域に対応する第1の撮像画像だけでなく、当該移動体が移動する特定の面上の第2の領域に対応する第2の撮像画像が表示部に表示されるので、端末のユーザは、移動している状態の移動体の操作を適切に行うことができる。
上記態様において、前記表示制御部は、前記移動体が移動していない状態である場合、前記第2の撮像画像を表示させずに前記第1の撮像画像を前記表示部に表示させる。
この態様によれば、移動体が移動していない状態である場合、当該移動体が移動する特定の面上の第2の領域に対応する第2の撮像画像が表示されずに、端末からの指示に基づいて決定される第1の領域に対応する第1の撮像画像が表示されるので、端末のユーザは、移動していない状態の移動体の操作を適切に行うことができる。
上記態様において、前記カメラは、前記第1の領域を撮像する第1のカメラと、前記第2の領域を撮像する第2のカメラと、を含んでもよい。
この態様によれば、第1の領域及び第2の領域が異なるカメラで撮像されるので、第1の領域に対応する第1の撮像画像及び第2の領域に対応する第2の撮像画像を同時に生成することができる。
上記態様において、前記移動体が移動している状態である場合、前記第1の領域は前記移動体が移動する方向の所定の領域を含み、前記第2の領域は、前記方向であって前記特定の面上の所定の領域であってもよい。
この態様によれば、移動体が移動している状態である場合、移動体が移動する方向の第1の領域に対応する第1の撮像画像だけでなく、当該方向であって上記特定の面上の第2の領域に対応する第2の撮像画像が表示部に表示されるので、端末のユーザは、移動している状態の移動体の操作をより適切に行うことができる。
本開示の一態様に係る端末は、移動体の操作に用いられる端末であって、前記移動体に対する指示が入力される入力部と、前記指示に基づいて決定される第1の領域に対応する第1の撮像画像と、前記指示に基づいて前記移動体が移動する特定の面上の第2の領域に対応する第2の撮像画像と、を取得する取得部と、前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第1の撮像画像と前記第2の撮像画像との表示を制御する表示制御部と、を備える。
本開示の一態様に係るプログラムは、コンピュータに、移動体の操作を実行させるためのプログラムであって、入力部に入力された前記移動体に対する指示を受け付けることと、前記指示に基づいて決定される第1の領域に対応する第1の撮像画像と、前記指示に基づいて前記移動体が移動する特定の面上の第2の領域に対応する第2の撮像画像と、を取得することと、前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第1の撮像画像と前記第2の撮像画像との表示を制御することと、を実行させる。
本発明によれば、端末を用いて移動体の操作を適切に行うことができる。
以下に、本発明の一実施形態について説明する。なお、以下の実施形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。
また、本実施形態においては、「移動体(moving object)」の一例として、カメラ及び駆動部を備えるロボット(例えば、テレプレゼンスロボット、アバターロボット等)を説明するが、これに限られない。当該移動体は、例えば、自動走行若しくは半自動走行が可能な車両や重機、ドローンや飛行機、スポーツスタジアム等に設置され、レールの上を移動可能なカメラを備えたロボット、宇宙空間に打ち上げられる衛星型ロボットであって姿勢制御やカメラの撮像方向の制御が可能なロボット等、カメラ及び駆動部を備えるどのような機械、装置又は端末等であってもよい。また、当該移動体は、駆動部を有する本体に対して、汎用の装置(例えば、スマートフォン、タブレット等)を接続して構成されてもよい。このように、カメラ及び駆動部を有する移動体は、一体の装置として構成されなくともよく、複数の装置を組み合わせて構成されるものであってもよい。
[システムの構成]
<全体構成>
図1は、本実施形態に係るシステムの全体構成の一例を示す図である。図1に示すように、システム1は、端末10と、端末10を用いて操作されるロボット20と、を備える。端末10及びロボット20は、互いに通信を行う。具体的には、ロボット20及び端末10は、ネットワーク(例えば、インターネット、LAN(Local Area Network)等)を介して通信を行ってもよいし、当該ネットワークを介さずに端末間で通信を行ってもよい。ロボット20及び端末10の通信は、有線通信及び/又は無線通信を含む。
<全体構成>
図1は、本実施形態に係るシステムの全体構成の一例を示す図である。図1に示すように、システム1は、端末10と、端末10を用いて操作されるロボット20と、を備える。端末10及びロボット20は、互いに通信を行う。具体的には、ロボット20及び端末10は、ネットワーク(例えば、インターネット、LAN(Local Area Network)等)を介して通信を行ってもよいし、当該ネットワークを介さずに端末間で通信を行ってもよい。ロボット20及び端末10の通信は、有線通信及び/又は無線通信を含む。
なお、図1では、システム1を構成する端末10及びロボット20の数は任意であり、図1に示すものに限られない。また、システム1は、端末10及び/又はロボット20とネットワークを介して接続される不図示のサーバ及び/又は装置等を含んでもよい。例えば、サーバは、例えば、ロボット20の予約等、ロボット20に関する各種処理を端末10から受け付けてもよい。
端末10は、ロボット20の操作のために、ユーザにより使用される情報処理装置である。端末10は、例えば、スマートフォン、タブレット端末、PDA(Personal Digital Assistants)、パーソナルコンピュータ、ヘッドマウントディスプレイ、特定用途の操作系等の汎用又は専用の情報処理装置である。図1に示すように、端末10は、表示部10fを少なくとも備える。
ロボット20は、移動型のロボットである。図1に示すように、ロボット20は、駆動部20g及びカメラ20hを少なくとも備える。例えば、図1の駆動部20gは、車輪を回転駆動させることでロボット20を特定の面S上で移動させる。当該特定の面Sは、例えば、地面、床、月面等であってもよい。なお、図1では、駆動部20gは、複数の車輪により構成されるが、これに限られない。ロボット20は、例えば、一輪、二輪又は多輪により走行するもの、キャタピラにより走行するもの、レールの上を走行するもの、飛び跳ねて移動するもの、二足歩行、四足歩行又は多足歩行するもの、スクリューにより水上又は水中を航行するもの、及びプロペラ等により飛行するものを含む。
カメラ20hは、端末10からの指示に基づいて決定される所定の領域を撮像する。ロボット20は、異なる領域を撮像する複数のカメラ20hを有してもよい。例えば、図1では、ロボット20は、端末10からの指示に基づいて決定される第1の領域を撮像する第1のカメラ(以下、「メインカメラ」という)20h1、ロボット20が移動する特定の面S上の第2の領域を撮像する第2のカメラ(以下、「ナビゲーション用カメラ」という)20h2を有する。
なお、ロボット20は、複数のカメラ20hの有しなくともよく、所定角度(例えば、360°)で可動し、撮像方向を制御可能な単一のカメラ20hを有してもよい。また、図1のメインカメラ20h1及び/又はナビゲーション用カメラ20h2も、所定角度で可動し、撮像方向を制御可能であってもよい。
ユーザは、端末10を用いてロボット20を操作する。端末10の表示部10fには、ロボット20のカメラ20hによる撮像により生成される画像(以下、「撮像画像」という)が表示される。ユーザは、表示部10fに表示された撮像画像を視認することで、ロボット20の状態を確認し得る。端末10は、ロボット20が移動している状態であるか否かに基づいて、カメラ20hで生成される撮像画像の表示を制御する。
ユーザは、端末10を介してロボット20の操作(例えば、ロボット20の移動やロボット20に搭載されたカメラの操作)を行う。ロボット20を操作するための指示は、端末10から、ロボット20に送信される。当該指示は、端末10からロボット20に直接送信されてもよいし、端末10から不図示の装置(例えば、サーバ等)を介してロボット20に送信されてもよい。当該指示は、指示を示す情報又は信号等であってもよい。
ロボット20は、端末10からの指示に応じて動作し、カメラ20hによる撮像画像を端末10に送信する。なお、ロボット20は、カメラ20hによる撮像画像に限らず、例えば、ロボット20のマイクで取得された音声等、ロボット20によって取得又は検知等された各種のデータを端末10に送信してもよい。これにより、ユーザは、端末10及びロボット20を介して、ロボット20がいる場所に自分もいるかのようなエクスペリエンスを得ることができる。
<物理的構成>
図2は、本実施形態に係る端末10の物理的構成の一例を示す図である。端末10は、演算部に相当するプロセッサ10aと、記憶部に相当するRAM(Random Access Memory)10bと、記憶部に相当するROM(Read only Memory)10cと、通信部10dと、入力部10eと、表示部10fと、カメラ10gと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、図2で示す構成は一例であり、端末10はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
図2は、本実施形態に係る端末10の物理的構成の一例を示す図である。端末10は、演算部に相当するプロセッサ10aと、記憶部に相当するRAM(Random Access Memory)10bと、記憶部に相当するROM(Read only Memory)10cと、通信部10dと、入力部10eと、表示部10fと、カメラ10gと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、図2で示す構成は一例であり、端末10はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
プロセッサ10aは、例えば、CPU(Central Processing Unit)である。プロセッサ10aは、RAM10b又はROM10cに記憶されているプログラムを実行することにより、端末10における各種処理を制御する制御部である。プロセッサ10aは、端末10が備える他の構成と、プログラムとの協働により、端末10の機能を実現し、処理の実行を制御する。プロセッサ10aは、入力部10eや通信部10dから種々のデータを受け取り、データの演算結果を表示部10fに表示したり、RAM10bに格納したりする。
RAM10b及びROM10cは、各種処理に必要なデータ及び処理結果のデータを記憶する記憶部である。端末10は、RAM10b及びROM10c以外に、ハードディスクドライブ等の大容量の記憶部を備えてもよい。RAM10b及びROM10cは、例えば、半導体記憶素子で構成されてもよい。
通信部10dは、端末10を他の機器に接続するインターフェースである。通信部10dは、他の機器と通信する。
入力部10eは、ユーザからデータの入力を受け付けるためのデバイスや、端末10の外部からデータを入力するためのデバイスである。入力部10eは、例えば、キーボード、マウス及びタッチパネル等を含んでよい。また、入力部10eは、音声入力のためのマイクを含んでよい。
表示部10fは、プロセッサ10aによる演算結果を視覚的に表示するものであり、例えば、LCD(Liquid Crystal Display)により構成されてよい。表示部10fは、ロボット20のカメラ20hにより生成される撮像画像を表示する。なお、表示部10fは、複数の表示部10fを含んでもよく、当該複数の表示部10fそれぞれは、カメラ20hで生成された異なる領域の撮像画像(例えば、メインカメラ20h1及びナビゲーション用カメラ20h2でそれぞれ生成された撮像画像)を表示してもよい。また、表示部10fは、端末10のカメラ10gにより生成される撮像画像を表示してもよい。
カメラ10gは、静止画像又は動画像を撮像する撮像素子を含み、所定の領域の撮像により撮像画像(例えば、静止画像又は動画像)を生成し、生成された撮像画像を、通信部10dを介してロボット20に送信する。
ロボット20の操作を実行させるためのプログラムは、RAM10bやROM10c等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部10dにより接続される通信ネットワークを介して提供されてもよい。端末10では、プロセッサ10aが当該プログラムを実行することにより、ロボット20を制御するための様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、端末10は、プロセッサ10aとRAM10bやROM10cが一体化したLSI(Large-Scale Integration)を備えていてもよい。
図3は、本実施形態に係るロボット20の物理的構成を示す図である。ロボット20は、演算部に相当するプロセッサ20aと、記憶部に相当するRAM20bと、記憶部に相当するROM20cと、通信部20dと、入力部20eと、表示部20fと、駆動部20gと、カメラ20hとを有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、図3で示す構成は一例であり、ロボット20はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
プロセッサ20aは、RAM20b又はROM20cに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。プロセッサ20aは、入力部20eや通信部20dから種々のデータを受け取り、データの演算結果を表示部20fに表示したり、RAM20bに格納したりする。また、プロセッサ20aは、駆動部20gを制御し、ロボット20の動作を制御する。
RAM20b及びROM20cは、各種処理に必要なデータ及び処理結果のデータを記憶する記憶部である。ロボット20は、RAM20b及びROM20c以外に、ハードディスクドライブ等の大容量の記憶部を備えてもよい。通信部20dは、外部装置との通信を行うデバイスである。
入力部20eは、ロボット20の外部からデータを入力するためのデバイスである。入力部20eは、例えば、キーボード及びタッチパネルを含むこととしてよい。また、入力部20eは、音声入力のためのマイクを含んでもよい。
表示部20fは、各種情報を表示するためのデバイスである。表示部20fは、プロセッサ20aによる演算結果を視覚的に表示するものとして、例えば、LCDにより構成されてもよい。表示部20fは、端末10のカメラ10gで生成された撮像画像を表示してもよい。また、表示部20fは、ロボット20のカメラ20hで生成された撮像画像を表示してもよい。
駆動部20gは、遠隔操作可能なアクチュエータを含み、車輪等の移動部やマニピュレータ等を含む。駆動部20gは、少なくとも車輪等の移動部及びマニピュレータの少なくとも一つを含んでもよい。
カメラ20hは、静止画像又は動画像を撮像する撮像素子を含み、所定の領域の撮像により撮像画像(例えば、静止画像又は動画像)を生成し、生成された撮像画像を、通信部20dを介して端末10に送信する。
ロボット20の制御を実行させるためのプログラムは、RAM20bやROM20c等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部20dにより接続される通信ネットワークを介して提供されてもよい。ロボット20では、プロセッサ20aが当該プログラムを実行することにより、ロボット20を制御するための様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、ロボット20は、プロセッサ20aとRAM20bやROM20cが一体化したLSIを備えていてもよい。
<機能的構成>
図4は、本実施形態に係る端末10の機能的構成の一例を示す図である。これらの機能は、端末10のプロセッサ(制御部)が、記憶装置(記憶部)に記憶されたコンピュータプログラムを読み込んで実行することにより実現される。
図4は、本実施形態に係る端末10の機能的構成の一例を示す図である。これらの機能は、端末10のプロセッサ(制御部)が、記憶装置(記憶部)に記憶されたコンピュータプログラムを読み込んで実行することにより実現される。
図4に示すように、端末10は、入力受付部11、取得部12、判定部13、表示制御部14を備える。なお、端末10が有する機能は、これらに限定されず、コンピュータが一般的に有する機能、及び他の機能を有してもよい。
入力受付部11は、入力部10eに入力されたロボット20に対する指示を受け付ける。当該指示は、例えば、ロボット20の移動、ロボット20の停止、ロボット20の移動方向D、駆動部20gの回転方向、カメラ20hが撮像する領域等を示してもよい。
取得部12は、ロボット20で生成された撮像画像を取得する。具体的には、取得部12は、上記ロボット20に対する指示に基づいて決定される第1の領域に対応する第1の撮像画像と、当該指示に基づいて前記移動体を移動させる特定の面上の第2の領域に対応する第2の撮像画像と、を取得する。例えば、取得部12は、ロボット20からの第1の撮像画像及び第2の撮像画像を、通信部10dを介して取得してもよい。
判定部13は、ロボット20の状態を判定する。具体的には、判定部13は、ロボット20が移動している状態(以下、「移動状態」という)であるか否かを判定する。例えば、判定部13は、入力受付部11によって受付られる指示に基づいて、ロボット20が移動状態であるか、又は、ロボット20が移動していない状態(以下、「停止状態」という)のいずれであるかを判定してもよい。なお、移動状態は、ロボット20が実際に移動している状態であってもよいし、実際に移動しているか否かを問わずに移動していると推定される状態であってもよい。同様に、停止状態は、ロボット20が実際に停止している状態であってもよいし、実際に停止しているか否かを問わずに停止していると推定される状態であってもよい。
表示制御部14は、ロボット20が移動状態であるか否かに基づいて、表示部10fに対する上記第1の撮像画像と第2の撮像画像との表示を制御する。具体的には、表示制御部14は、ロボット20が移動状態である場合、上記第1の撮像画像及び上記第2の撮像画像の双方を表示部10fに表示させる。一方、表示制御部14は、ロボット20が停止状態である場合、上記第2の撮像画像を表示させずに上記第1の撮像画像を表示部10fに表示させる。
図5は、本実施形態に係るロボット20が移動状態である場合の一例を示す図である。図5(A)では、移動状態のロボット20のカメラ20hによって撮像される第1及び第2の領域が示される。また、図5(B)では、ロボット20が移動状態である場合における端末10の表示部10fの画面の一例が示される。
図5(A)に示すように、ロボット20が移動状態である場合、端末10からのロボット20に対する指示に基づいて決定される第1の領域は、ロボット20が移動する方向D(以下、「移動方向D」という)の所定の領域を少なくとも含む。例えば、図5(A)では、ロボット20のメインカメラ20h1が第1の領域を撮像して、当該第1の領域に対応する第1の撮像画像を生成する。
一方、図5(A)に示すように、第2の領域は、上記ロボット20の移動方向Dであって上記特定の面S上の所定の領域(例えば、ロボット20の移動方向Dの足元の所定の領域)であってもよい。例えば、図5(A)では、ロボット20のナビゲーション用カメラ20h2が第2の領域を撮像して、当該第2の領域に対応する第2の撮像画像を生成する。
なお、図5(A)では、メインカメラ20h1及びナビゲーション用カメラ20h2がそれぞれ第1及び第2の領域を撮像して第1及び第2の撮像画像を生成するが、同一のカメラ20hが第1及び第2の領域を時間的に切り替えて撮像して第1及び第2の撮像画像を生成してもよい。以上のように生成された第1及び第2の撮像画像は、ロボット20の通信部20dから端末10に送信される。
図5(B)に示すように、ロボット20が移動状態である場合、端末10の表示制御部14は、上記第1の撮像画像及び第2の撮像画像の双方を表示部10fに表示させる。例えば、図5(B)では、表示部10fは、画面の上方に第1の撮像画像を表示し、画面の下方に第2の撮像画像を表示するが、画面上の第1及び第2の撮像画像の位置関係は図示するものに限られない。また、図5(B)では、表示部10fは、第1の撮像画像を第2の撮像画像よりも大きく表示するが、これに限られない。
図5(B)に示される表示部10fの画面では、第1の撮像画像によりロボット20の移動方向Dの状態だけでなく、第2の撮像画像によりロボット20が移動する特定の面S(例えば、地面)の状態も、端末10のユーザに対して示される。したがって、端末10のユーザは、第2の撮像画像によりロボット20の足元の障害物等を認識できる。このため、端末10のユーザは、ロボット20に対する指示(例えば、ロボット20の移動方向Dの変更指示等)を入力部10eに入力することで、ロボット20と障害物との衝突を回避することができる。このように、ロボット20が移動状態である場合、第1の撮像画像及び第2の撮像画像の双方を表示部10fに表示させることにより、端末10のユーザがロボット20の操作を適切に行うことができる。
図6は、本実施形態に係るロボット20が停止状態である場合の一例を示す図である。図6(A)では、停止状態のロボット20のカメラ20hによって撮像される第1の領域が示される。また、図6(B)では、ロボット20が停止状態である場合における端末10の表示部10fの画面の一例が示される。
図6(A)に示すように、ロボット20が停止状態である場合、第1の領域は、端末10からのロボット20に対する指示に基づいて決定される所定の領域である。例えば、図6(A)では、ロボット20のメインカメラ20h1が第1の領域を撮像して、当該第1の領域に対応する第1の撮像画像を生成する。生成された第1の撮像画像は、ロボット20の通信部20dから端末10に送信される。
なお、図6(A)では、ロボット20のナビゲーション用カメラ20h2は、ロボット20が移動する特定の面S上の第2の領域を撮像してもよいし、又は、しなくともよい。また、通信部20dは、当該第2の領域に対応する第2の撮像画像を端末10に送信してもよいし、又は、しなくともよい。
図6(B)に示すように、ロボット20が停止状態である場合、端末10の表示制御部14は、上記第2の撮像画像を表示させずに上記第1の撮像画像を表示部10fに表示させる。例えば、図6(B)に示される表示部10fの画面では、第1の撮像画像により、端末10からの指示に基づいて決定される所定の領域の状態が、端末10のユーザに対して示される。
ロボット20が停止状態である場合、端末10のユーザは、ロボット20の足元の障害物等を認識しなくとも、ロボット20を操作できる。このため、第1の撮像画像だけを表示部10fに表示させることにより、所望の第1の領域の状態を認識し易くなる。したがって、ロボット20が停止状態である場合、第2の撮像画像を表示させずに第1の撮像画像を表示部10fに表示させることにより、端末10のユーザがロボット20の操作を適切に行うことができる。
[システムの動作]
図7は、本実施形態に係る端末10の動作の一例を示すフローチャートである。図7に示すように、ステップS101において、端末10は、ユーザからのロボット20に対する指示の入力を受け付ける。
図7は、本実施形態に係る端末10の動作の一例を示すフローチャートである。図7に示すように、ステップS101において、端末10は、ユーザからのロボット20に対する指示の入力を受け付ける。
ステップS102において、端末10は、ロボット20が移動状態であるか否かを判定する。例えば、端末10は、ステップS101で入力されたロボット20に対する指示に基づいて、ロボット20が移動状態であるか否かを判定してもよい。
ロボット20が移動状態であると判定される場合(ステップS102;YES)、ステップS103において、端末10は、第1の撮像画像及び第2の撮像画像の双方を取得する。例えば、図5(A)で説明したように、第1の撮像画像は、ロボット20のカメラ20h(例えば、メインカメラ20h1)による第1の領域の撮像により生成される。また、第2の撮像画像は、ロボット20のカメラ20h(例えば、ナビゲーション用カメラ20h2)による第2の領域の撮像により生成される。
ステップS104において、端末10は、当該第1の撮像画像及び第2の撮像画像の双方を表示部10fに表示させる(例えば、図5(B)参照)。
ロボット20が移動状態ではない(すなわち、停止状態である)と判定される場合(ステップS102;NO)、ステップS105において、端末10は、上記第1の撮像画像を取得する。例えば、図6(A)で説明したように、第1の撮像画像は、ロボット20のカメラ20h(例えば、メインカメラ20h1)による第1の領域の撮像により生成される。
ステップS106において、端末10は、上記第2の撮像画像を表示させずに、上記第1の撮像画像を表示部10fに表示させる(例えば、図6(B)参照)。
なお、図7に示す動作は、例示にすぎず、一部のステップが省略されてもよいし、不図示のステップが追加されてもよいし、及び/又は、一部のステップの順番が変更されてもよい。例えば、端末10は、ロボット20が移動状態であるか否かに関係なく第1の撮像画像及び第2の撮像画像の双方を取得してもよい。この場合、ロボット20が移動状態であるなら第1及び第2の撮像画像の双方を表示させ、ロボット20が停止状態であるなら第2の撮像画像を表示させずに第1の撮像画像の双方を表示させる。
本実施形態に係るシステムでは、ロボット20が移動状態であるか否かに基づいて、表示部10fに対する上記第1の撮像画像と第2の撮像画像との表示が制御される。したがって、端末10のユーザは、表示部10fに表示されたロボット20のカメラ20hによる撮像画像に基づいて、ロボット20の操作を適切に行うことができる。
具体的には、ロボット20が移動状態である場合、図5(B)に示すように、ロボット20の移動方向Dの状態を示す第1の撮像画像だけでなく、ロボット20が移動する特定の面Sの状態を示す第2の撮像画像が端末10の表示部10fに表示される。したがって、端末10のユーザは、第2の撮像画像によりロボット20の足元の障害物等を認識でき、この結果、例えば、ロボット20と障害物との衝突を回避する等、ロボット20の操作を適切に行うことができる。
[変形例]
上記実施形態において、ロボット20のカメラ20hにより撮像される第1の領域は、単一の領域を想定したが、複数の領域を含んでもよい。具体的には、第1の領域は、端末10からの指示に基づいて決定される所定の領域だけでなく、当該所定の領域とは異なる一以上の方向の所定の領域を含んでもよい。例えば、図5(A)において、第1の領域は、移動方向Dだけでなく、移動方向Dとは逆方向の所定の領域、移動方向Dの左方向の所定の領域、移動方向Dの右方向の所定の領域等を含んでもよい。この場合、例えば、図5(B)の第1の撮像画像の表示領域において、上記異なる方向の複数の領域にそれぞれ対応する複数の撮像画像が表示されてもよい。図6(A)及び図6(B)についても同様の変更が可能である。また、ロボット20が移動状態である場合には第1の領域として上記複数の領域が撮像され、ロボット20が停止状態である場合には第1の領域として単一の領域が撮像されてもよい。
上記実施形態において、ロボット20のカメラ20hにより撮像される第1の領域は、単一の領域を想定したが、複数の領域を含んでもよい。具体的には、第1の領域は、端末10からの指示に基づいて決定される所定の領域だけでなく、当該所定の領域とは異なる一以上の方向の所定の領域を含んでもよい。例えば、図5(A)において、第1の領域は、移動方向Dだけでなく、移動方向Dとは逆方向の所定の領域、移動方向Dの左方向の所定の領域、移動方向Dの右方向の所定の領域等を含んでもよい。この場合、例えば、図5(B)の第1の撮像画像の表示領域において、上記異なる方向の複数の領域にそれぞれ対応する複数の撮像画像が表示されてもよい。図6(A)及び図6(B)についても同様の変更が可能である。また、ロボット20が移動状態である場合には第1の領域として上記複数の領域が撮像され、ロボット20が停止状態である場合には第1の領域として単一の領域が撮像されてもよい。
また、上記実施形態において、ロボット20のカメラ20hにより撮像される第2の領域は、単一の領域を想定したが、複数の領域を含んでもよい。例えば、図5(A)において、第2の領域は、ロボット20の移動方向Dであってロボット20が移動する特定の面S上の所定の領域だけでなく移動方向Dとは逆方向、左方向、右方向等であって上記特定の面Sを含む所定の領域等を含んでもよい。この場合、例えば、図5(B)の第2の撮像画像の表示領域において、上記異なる方向の複数の領域にそれぞれ対応する複数の撮像画像が表示されてもよい。
以上説明した本実施形態及び変形例は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、各要素同士を部分的に置換し又は組み合わせることが可能である。
さらに、本実施形態及び変形例において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や装置が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や装置の機能が1つの物理的手段や装置により実現されても良い。
さらに、本実施形態及び変形例において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や装置が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や装置の機能が1つの物理的手段や装置により実現されても良い。
1…システム、10…端末、20…ロボット、10a…プロセッサ、10b…RAM、10c…ROM、10d…通信部、10e…入力部、10f…表示部、10g…カメラ、20a…プロセッサ、20b…RAM、20c…ROM、20d…通信部、20e…入力部、20f…表示部、20g…駆動部、20h…カメラ、11…入力受付部、12…取得部、13…判定部、14…表示制御部
Claims (7)
- 移動体と、前記移動体の操作に用いられる端末と、を含むシステムであって、
前記移動体は、
前記端末からの指示に基づいて前記移動体を特定の面上で移動させる駆動部と、
前記端末からの指示に基づいて決定される第1の領域と、前記特定の面上の第2の領域と、を撮像するカメラと、を備え、
前記端末は、
前記第1の領域に対応する第1の撮像画像と、前記第2の領域に対応する第2の撮像画像と、を取得する取得部と、
前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第1の撮像画像と前記第2の撮像画像との表示を制御する表示制御部と、
を備える、システム。 - 前記表示制御部は、前記移動体が移動している状態である場合、前記第1の撮像画像及び前記第2の撮像画像の双方を前記表示部に表示させる、
請求項1に記載のシステム。 - 前記表示制御部は、前記移動体が移動していない状態である場合、前記第2の撮像画像を表示させずに前記第1の撮像画像を前記表示部に表示させる、
請求項1に記載のシステム。 - 前記カメラは、前記第1の領域を撮像する第1のカメラと、前記第2の領域を撮像する第2のカメラと、を含む、
請求項1から請求項3のいずれかに記載のシステム。 - 前記移動体が移動している状態である場合、前記第1の領域は前記移動体が移動する方向の所定の領域を含み、前記第2の領域は、前記方向であって前記特定の面を含む所定の領域である、
請求項1から請求項4のいずれかに記載のシステム。 - 移動体の操作に用いられる端末であって、
前記移動体に対する指示が入力される入力部と、
前記指示に基づいて決定される第1の領域に対応する第1の撮像画像と、前記指示に基づいて前記移動体が移動する特定の面上の第2の領域に対応する第2の撮像画像と、を取得する取得部と、
前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第1の撮像画像と前記第2の撮像画像との表示を制御する表示制御部と、
を備える端末。 - コンピュータに、移動体の操作を実行させるためのプログラムであって、
入力部に入力された前記移動体に対する指示を受け付けることと、
前記指示に基づいて決定される第1の領域に対応する第1の撮像画像と、前記指示に基づいて前記移動体が移動する特定の面上の第2の領域に対応する第2の撮像画像と、を取得することと、
前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第1の撮像画像と前記第2の撮像画像との表示を制御することと、
を実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020176174A JP7514161B2 (ja) | 2020-10-20 | 2020-10-20 | システム、端末及びプログラム |
JP2020-176174 | 2020-10-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022085588A1 true WO2022085588A1 (ja) | 2022-04-28 |
Family
ID=81290531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/038257 WO2022085588A1 (ja) | 2020-10-20 | 2021-10-15 | システム、端末及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7514161B2 (ja) |
WO (1) | WO2022085588A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0870398A (ja) * | 1994-08-26 | 1996-03-12 | Canon Inc | 画像入力装置 |
JP2008239145A (ja) * | 2004-08-24 | 2008-10-09 | Sharp Corp | 表示制御装置、表示制御方法、表示制御プログラム及びコンピュータ読み取り可能な記録媒体 |
JP2017021517A (ja) * | 2015-07-09 | 2017-01-26 | 株式会社Ihiエアロスペース | 遠隔操縦システムと方法 |
JP2019062293A (ja) * | 2017-09-25 | 2019-04-18 | 富士ゼロックス株式会社 | カメラ装置、カメラ装置制御システム、及びプログラム |
JP2020123013A (ja) * | 2019-01-29 | 2020-08-13 | ヤンマーパワーテクノロジー株式会社 | 自律走行制御システム |
-
2020
- 2020-10-20 JP JP2020176174A patent/JP7514161B2/ja active Active
-
2021
- 2021-10-15 WO PCT/JP2021/038257 patent/WO2022085588A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0870398A (ja) * | 1994-08-26 | 1996-03-12 | Canon Inc | 画像入力装置 |
JP2008239145A (ja) * | 2004-08-24 | 2008-10-09 | Sharp Corp | 表示制御装置、表示制御方法、表示制御プログラム及びコンピュータ読み取り可能な記録媒体 |
JP2017021517A (ja) * | 2015-07-09 | 2017-01-26 | 株式会社Ihiエアロスペース | 遠隔操縦システムと方法 |
JP2019062293A (ja) * | 2017-09-25 | 2019-04-18 | 富士ゼロックス株式会社 | カメラ装置、カメラ装置制御システム、及びプログラム |
JP2020123013A (ja) * | 2019-01-29 | 2020-08-13 | ヤンマーパワーテクノロジー株式会社 | 自律走行制御システム |
Also Published As
Publication number | Publication date |
---|---|
JP2022067459A (ja) | 2022-05-06 |
JP7514161B2 (ja) | 2024-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7013689B2 (ja) | 遠隔操作型移動ロボットおよびロボット制御システム | |
US11189055B2 (en) | Information processing apparatus and method and program | |
US20190220040A1 (en) | Unmanned aerial vehicle control method, head-mounted display glasses, and system | |
CN101491085B (zh) | 摄像机控制装置和摄像机控制*** | |
JP5724346B2 (ja) | 映像表示装置、映像表示システム、映像表示方法およびプログラム | |
JP6566698B2 (ja) | 表示制御装置および表示制御方法 | |
KR101739318B1 (ko) | 표시 제어장치, 촬상 시스템, 표시 제어방법, 및 기록 매체 | |
US20200007751A1 (en) | Control apparatus, movable apparatus, and remote-control system | |
JP6386809B2 (ja) | 情報処理装置およびその制御方法、システム、並びにプログラム | |
US20160170488A1 (en) | Image processing apparatus, image processing method, and program | |
JP6357023B2 (ja) | 情報処理プログラム、情報処理装置、情報処理装置の制御方法および情報処理システム | |
US11240446B2 (en) | Imaging device, control apparatus, imaging method, and storage medium | |
US20220124288A1 (en) | Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium | |
CN110226144B (zh) | 虚拟现实远程代客停车 | |
US9729835B2 (en) | Method for switching viewing modes in a camera | |
JP2020022152A (ja) | 通信端末、プログラム、表示方法、記録媒体 | |
KR101553503B1 (ko) | 사물 인식을 통한 외부 디바이스의 제어 방법 | |
JP2023057120A (ja) | 飛行体の制御に関する情報表示方法 | |
WO2022085588A1 (ja) | システム、端末及びプログラム | |
US8692879B2 (en) | Image capturing system, image capturing device, information processing device, and image capturing method | |
JP7284385B2 (ja) | オブジェクト姿勢制御プログラムおよびオブジェクト姿勢制御システム | |
Shiroma et al. | Gaze direction based vehicle teleoperation method with omnidirectional image stabilization and automatic body rotation control | |
JP7115097B2 (ja) | 通信端末、プログラム、表示方法、記録媒体 | |
KR20170055455A (ko) | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치 | |
KR20170093389A (ko) | 무인 비행체 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21882729 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21882729 Country of ref document: EP Kind code of ref document: A1 |