JP2017123627A

JP2017123627A - Image processing apparatus, image processing system, mobile, image processing method, and image processing program

Info

Publication number: JP2017123627A
Application number: JP2016136256A
Authority: JP
Inventors: 敏伸芝野; Toshinobu Shibano; 大平　雅和; Masakazu Ohira; 雅和大平; 小林　節也; Setsuya Kobayashi; 節也小林; 治男山本; Haruo Yamamoto
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2016-01-06
Filing date: 2016-07-08
Publication date: 2017-07-13

Abstract

PROBLEM TO BE SOLVED: To provide an image processing apparatus capable of urging a user to gaze a specific image, and making the user understand the captured direction intuitively.SOLUTION: An image processing apparatus includes an image capturing section for capturing around a mobile, and an image arrangement section for setting the arrangement of an image in a display area HR, when displaying the image captured by the image capturing section in the display area HR. The image capturing section outputs four images, i.e., a front image GZ capturing the front of the mobile, a back image GK capturing the back of the mobile, the left image GS capturing the left side of the mobile, and the right image GU capturing the right side of the mobile. The image arrangement section arranges three images (left image GS, back image GK, and right image GU), out of the four images, in the lateral direction X at the combination position, and arranges one remaining image (front image GZ) at a single position different from the combination position in the longitudinal direction.SELECTED DRAWING: Figure 4

Description

本発明は、搭載された機器の周囲を撮影した画像に対して処理を施す画像処理装置、画像処理方法、および画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and an image processing program for performing processing on an image obtained by photographing the periphery of a mounted device.

近年、走行面を自律走行する移動ロボットは、周囲の画像を撮影するカメラを搭載することで、ユーザに代わって広範囲を監視する用途に用いられている。移動ロボットや車両などにカメラを搭載した際、カメラを設けた位置によって死角が生じてしまうので、複数のカメラを用いて、死角となる領域を補っている（例えば、特許文献１参照。）。 2. Description of the Related Art In recent years, mobile robots that autonomously travel on a traveling surface have been used for monitoring a wide range on behalf of a user by installing a camera that captures surrounding images. When a camera is mounted on a mobile robot, a vehicle, or the like, a blind spot occurs depending on the position where the camera is provided.

また、移動ロボットを用いてユーザが監視する際には、複数の画像を同時に視認できることが望ましく、複数のカメラによって撮影された画像を表示装置に同時に表示する方法として、様々な配置が考えられている。 In addition, when a user monitors using a mobile robot, it is desirable that a plurality of images can be viewed at the same time. Various arrangements are conceivable as a method for simultaneously displaying images taken by a plurality of cameras on a display device. Yes.

特開２０１０−１６６１９６号公報JP 2010-166196 A

特許文献１に記載の車両周辺監視装置は、車両周辺の近景を撮影する近景カメラと、車両周囲の遠景を撮影する遠景カメラと、車載カメラによって取得された画像を１つの画像に合成処理する画像処理コントローラと、合成画像を画面上に映し出すモニタとを備え、遠景カメラの死角となる領域に近景カメラの画像を組み合わせる。これによって、隣接する画像間のつなぎ目に二重写りが生じることを抑えながら、近景と遠景との連続的な車両周囲画像を生成している。 The vehicle periphery monitoring device described in Patent Literature 1 is an image obtained by synthesizing an image acquired by a near view camera that captures a near view around the vehicle, a distant camera that captures a distant view around the vehicle, and an in-vehicle camera into one image. A processing controller and a monitor that displays the composite image on the screen are provided, and the image of the foreground camera is combined with an area that becomes a blind spot of the far view camera. As a result, a continuous vehicle surrounding image of a near view and a distant view is generated while suppressing the occurrence of a double image at the joint between adjacent images.

しかしながら、上述した車両周辺監視装置では、複数の画像が連続的に合成されているため、画像と対応する車載カメラとを判別することができない。そのため、モニタに表示された画像が、車両に対して、いずれの方向を撮影したものかを理解することが困難だという課題がある。 However, in the vehicle periphery monitoring device described above, since a plurality of images are continuously combined, it is not possible to distinguish between the image and the corresponding on-vehicle camera. Therefore, there is a problem that it is difficult to understand which direction the image displayed on the monitor is taken with respect to the vehicle.

本発明は、上記の課題を解決するためになされたものであり、特定の画像を注視するように、ユーザに促すことができ、撮影した方向を直感的に理解させることができる画像処理装置、画像処理システム、移動体、画像処理方法、および画像処理プログラムを提供することを目的とする。 The present invention has been made in order to solve the above-described problem, an image processing apparatus that can prompt a user to gaze at a specific image and intuitively understand a captured direction, An object is to provide an image processing system, a moving body, an image processing method, and an image processing program.

本発明に係る画像処理装置は、搭載された機器の周囲の画像を撮影する画像撮影部と、前記画像撮影部によって撮影された画像を表示領域に表示する際、前記表示領域における画像の配置を設定する画像配置部とを備えた画像処理装置であって、前記画像撮影部は、前記機器の周囲を撮影した３つ以上の複数の画像を出力する構成とされ、前記画像配置部は、前記複数の画像のうち、２つ以上の画像を予め設定された組合方向で並べた組合位置に配置し、残り１つの画像を、前記組合位置に対し前記組合方向と直交する方向で異なる単独位置に配置することを特徴とする。 An image processing apparatus according to the present invention includes: an image capturing unit that captures an image around a mounted device; and an arrangement of images in the display region when displaying an image captured by the image capturing unit in the display region. An image processing apparatus including an image arrangement unit to be set, wherein the image photographing unit is configured to output a plurality of three or more images obtained by photographing the periphery of the device. Among the plurality of images, two or more images are arranged in a combination position arranged in a predetermined combination direction, and the remaining one image is set to a single position that is different from the combination position in a direction orthogonal to the combination direction. It is characterized by arranging.

本発明に係る画像処理装置では、前記組合方向は、横方向とされ、前記単独位置は、前記組合位置に対して縦方向で異なる位置とされている構成としてもよい。 In the image processing apparatus according to the present invention, the combination direction may be a horizontal direction, and the single position may be a position different from the combination position in the vertical direction.

本発明に係る画像処理装置では、前記機器は、走行面を走行する移動体とされている構成としてもよい。 In the image processing apparatus according to the present invention, the device may be a moving body that travels on a traveling surface.

本発明に係る画像処理装置では、前記画像配置部は、前記移動体の進行方向を撮影した画像を前記単独位置に配置する構成としてもよい。 In the image processing device according to the present invention, the image arrangement unit may arrange an image obtained by photographing the moving direction of the moving body at the single position.

本発明に係る画像処理装置では、前記画像配置部は、前記複数の画像のうち、前記移動体の進行方向を撮影した画像を他の画像より大きく配置する構成としてもよい。 In the image processing device according to the present invention, the image placement unit may be configured to place an image of the moving direction of the moving body larger than other images among the plurality of images.

本発明に係る画像処理装置では、前記表示領域は、前記複数の画像が配置される画像領域と、前記移動体の進行方向に基づく表示が配置される移動体領域とが設けられ、前記画像配置部は、前記移動体の進行方向を示す進行方向表示と、前記移動体への進行方向の指示を示す方向指示表示とを前記移動体領域に配置する構成としてもよい。 In the image processing apparatus according to the present invention, the display area includes an image area where the plurality of images are arranged, and a moving body area where a display based on a traveling direction of the moving body is arranged, and the image arrangement The unit may be configured to arrange a traveling direction display indicating a traveling direction of the moving body and a direction indication display indicating an traveling direction to the moving body in the moving body region.

本発明に係る画像処理装置では、前記画像撮影部は、前記機器の前方を撮影した前方画像と、前記機器の後方を撮影した後方画像と、前記機器の左方を撮影した左方画像と、前記機器の右方を撮影した右方画像との４つの画像を出力する構成としてもよい。 In the image processing apparatus according to the present invention, the image photographing unit includes a front image obtained by photographing the front of the device, a rear image obtained by photographing the rear of the device, and a left image obtained by photographing the left side of the device. It is good also as a structure which outputs four images with the right image which image | photographed the right side of the said apparatus.

本発明に係る画像処理装置では、前記組合方向が横方向とされているとき、前記画像配置部は、前記左方画像を前記組合位置のうち、左方に配置し、前記右方画像を前記組合位置のうち、右方に配置する構成としてもよい。 In the image processing apparatus according to the present invention, when the combination direction is a horizontal direction, the image arrangement unit arranges the left image on the left of the combination positions, and the right image is It is good also as a structure arrange | positioned in the right side among union positions.

本発明に係る画像処理装置では、前記画像配置部は、前記前方画像、前記左方画像、前記後方画像、および前記右方画像を前記組合位置に配置する際、予め設定された順に並べる構成としてもよい。 In the image processing apparatus according to the present invention, the image arrangement unit arranges the front image, the left image, the rear image, and the right image in a preset order when arranging the images in the combination position. Also good.

本発明に係る画像処理装置では、ユーザからの指示を受けて、前記表示領域における画像の配置を指定する配置指定部を備え、前記画像配置部は、前記配置指定部によって指定された画像を前記単独位置に配置する構成としてもよい。 The image processing apparatus according to the present invention includes an arrangement designation unit that designates an arrangement of an image in the display area in response to an instruction from a user, and the image arrangement unit receives the image designated by the arrangement designation unit. It is good also as a structure arrange | positioned in a single position.

本発明に係る画像処理装置では、前記画像配置部は、前記組合位置において隣接する画像を繋げる処理を施す構成としてもよい。 In the image processing apparatus according to the present invention, the image placement unit may perform a process of connecting adjacent images at the combination position.

本発明に係る画像処理装置では、前記画像配置部は、画像を水平方向で反転させる処理を施す構成としてもよい。 In the image processing apparatus according to the present invention, the image placement unit may perform a process of inverting the image in the horizontal direction.

本発明に係る画像処理システムは、本発明に係る画像処理装置を備え、前記機器は、走行面を走行する移動体とされ、通信を介して前記画像配置部によって配置が設定された画像を送信することを特徴とする。 An image processing system according to the present invention includes the image processing apparatus according to the present invention, and the device is a moving body that travels on a traveling surface, and transmits an image whose arrangement is set by the image arrangement unit via communication. It is characterized by doing.

本発明に係る移動体は、搭載された機器の周囲の画像を撮影する画像撮影部を備え、走行面を走行する移動体であって、前記画像撮影部によって撮影された画像を表示領域に表示する際、前記表示領域における画像の配置を設定する画像配置部を備え、前記画像撮影部は、前記機器の周囲を撮影した３つ以上の複数の画像を出力する構成とされ、前記画像配置部は、前記複数の画像のうち、２つ以上の画像を横方向で並べた組合位置に配置し、残り１つの画像を前記組合位置とは縦方向で異なる単独位置に配置することを特徴とする。 A moving body according to the present invention includes an image capturing unit that captures an image around a mounted device and travels on a traveling surface, and displays an image captured by the image capturing unit in a display area. An image arrangement unit that sets an arrangement of images in the display area, and the image photographing unit is configured to output a plurality of three or more images obtained by photographing the periphery of the device. Is arranged in a combination position in which two or more images are arranged in the horizontal direction among the plurality of images, and the remaining one image is arranged in a single position different from the combination position in the vertical direction. .

本発明に係る画像処理方法は、搭載された機器の周囲の画像を撮影する画像撮影部を備えた画像処理装置における画像処理方法であって、画像配置部に、前記画像撮影部によって撮影された画像を表示領域に表示する際、前記表示領域における画像の配置を設定させる画像配置ステップを含み、前記画像撮影部は、前記機器の周囲を撮影した３つ以上の複数の画像を出力する構成とされ、前記画像配置ステップは、前記複数の画像のうち、２つ以上を横方向で並べた組合位置に配置し、残り１つの画像を前記組合位置とは縦方向で異なる単独位置に配置することを特徴とする。 An image processing method according to the present invention is an image processing method in an image processing apparatus including an image capturing unit that captures an image around a mounted device, and is captured by the image capturing unit on an image placement unit. An image arrangement step for setting an arrangement of the image in the display area when the image is displayed in the display area, and the image photographing unit outputs a plurality of three or more images obtained by photographing the periphery of the device; The image arranging step arranges two or more of the plurality of images at a combination position arranged in the horizontal direction, and arranges the remaining one image at a single position different from the combination position in the vertical direction. It is characterized by.

本発明に係る画像処理プログラムは、本発明に係る画像処理方法の各ステップをコンピュータに実行させることを特徴とする。 An image processing program according to the present invention causes a computer to execute each step of the image processing method according to the present invention.

本発明によると、複数の画像のうち１つが独立して表示されるので、単独位置に配置された画像を注視するように、ユーザに促すことができ、画像撮影部が撮影した方向を直感的に理解させることができる。 According to the present invention, since one of a plurality of images is displayed independently, it is possible to prompt the user to watch the image arranged at the single position, and to intuitively determine the direction taken by the image capturing unit. Can be understood.

周囲の画像を撮影する移動体の概略上面図である。It is a schematic top view of the moving body which images a surrounding image. 本発明の第１実施形態に係る画像処理装置の概略構成を示す概略構成図である。1 is a schematic configuration diagram illustrating a schematic configuration of an image processing apparatus according to a first embodiment of the present invention. 本発明の第１実施形態に係る画像処理装置を用いた監視システムの概略構成を示す概略構成図である。1 is a schematic configuration diagram illustrating a schematic configuration of a monitoring system using an image processing apparatus according to a first embodiment of the present invention. 表示領域に表示される第１表示画像を示す説明図である。It is explanatory drawing which shows the 1st display image displayed on a display area. 第１表示画像の変形例である第２表示画像を示す説明図である。It is explanatory drawing which shows the 2nd display image which is a modification of a 1st display image. 従来の表示形式である第１比較画像を示す説明図である。It is explanatory drawing which shows the 1st comparison image which is the conventional display format. 従来の表示形式である第２比較画像を示す説明図である。It is explanatory drawing which shows the 2nd comparison image which is the conventional display format. 表示領域に表示される第３表示画像を示す説明図である。It is explanatory drawing which shows the 3rd display image displayed on a display area. 表示領域に表示される第４表示画像を示す説明図である。It is explanatory drawing which shows the 4th display image displayed on a display area. 表示領域に表示される第５表示画像を示す説明図である。It is explanatory drawing which shows the 5th display image displayed on a display area. 本発明の第５実施形態に係る画像処理装置を用いた監視システムの詳細な構成を示す構成図である。It is a block diagram which shows the detailed structure of the monitoring system using the image processing apparatus which concerns on 5th Embodiment of this invention. 表示領域に表示される第６表示画像を示す説明図である。It is explanatory drawing which shows the 6th display image displayed on a display area. 表示領域に表示される第７表示画像を示す説明図である。It is explanatory drawing which shows the 7th display image displayed on a display area. 表示領域に表示される第８表示画像を示す説明図である。It is explanatory drawing which shows the 8th display image displayed on a display area.

以下、本発明の第１実施形態に係る画像処理装置について、図面を参照して説明する。 Hereinafter, an image processing apparatus according to a first embodiment of the present invention will be described with reference to the drawings.

図１は、周囲の画像を撮影する移動体の概略上面図である。 FIG. 1 is a schematic top view of a moving body that captures surrounding images.

図１に示す移動体１は、予め設定された経路に沿って走行面を移動する四輪の車両である。移動体１は、通常、正面（図１では、上方）に向かって直進し、適宜進行方向を変更する。なお、以下では説明の簡略化のため、移動体１が正面に向かって直進する方向を直進方向Ｓと呼び、直進方向Ｓにおける前方を前方と省略し、移動体１の進行方向における後方（図１では、下方）を後方と省略することがある。また、直進方向Ｓに対して直交する方向のうち、一方を左方（図１では、左方）と呼び、他方を右方（図１では、右方）と呼ぶことがある。 A moving body 1 shown in FIG. 1 is a four-wheeled vehicle that moves on a traveling surface along a preset route. The moving body 1 usually moves straight toward the front (upward in FIG. 1) and changes the traveling direction as appropriate. Hereinafter, for simplification of description, the direction in which the moving body 1 travels straight toward the front is referred to as a straight traveling direction S, the front in the straight traveling direction S is omitted as front, and the rear in the traveling direction of the mobile body 1 (see FIG. 1 may be abbreviated as rear. Of the directions orthogonal to the straight traveling direction S, one may be referred to as the left (left in FIG. 1), and the other may be referred to as the right (right in FIG. 1).

移動体１は、周辺の画像を撮影する搭載カメラとして、移動体１の前方を撮影する前方カメラ２ａと、移動体１の右方を撮影する右方カメラ２ｂと、移動体１の後方を撮影する後方カメラ２ｃと、移動体１の左方を撮影する左方カメラ２ｄとの４つを備えている。４つの搭載カメラは、広角レンズを用いて、画像および映像を撮影する構成とされ、搭載カメラが向けられた方向に対し、上面視において、約１９０°で広がる範囲を撮影する。具体的に、前方カメラ２ａは、移動体１前方の前方範囲ＳＲ１を前方画像ＧＺ（後述する図４参照）として出力する。前方カメラ２ａと同様にして、右方カメラ２ｂは、移動体１右方の右方範囲ＳＲ２を右方画像ＧＵとして出力し、後方カメラ２ｃは、移動体１後方の後方範囲ＳＲ３を後方画像ＧＫとして出力し、左方カメラ２ｄは、移動体１左方の左方範囲ＳＲ４を左方画像ＧＳとして出力する。搭載カメラから出力された４つの画像は、後述する画像処理装置１０によって、同時に表示するように処理が施される。なお、搭載カメラで撮影する画像は、静止画に限定されず、動画であってもよい。また、以下では他の画像と区別するため、前方画像ＧＺ、後方画像ＧＫ、左方画像ＧＳ、および右方画像ＧＵを撮影画像と呼ぶことがある。 The moving body 1 shoots the front camera 2 a that captures the front of the moving body 1, the right camera 2 b that captures the right side of the moving body 1, and the rear of the moving body 1 as a mounted camera that captures surrounding images. The rear camera 2c and the left camera 2d for photographing the left side of the moving body 1 are provided. The four mounted cameras are configured to shoot images and videos using wide-angle lenses, and shoot a range that extends at about 190 ° in a top view with respect to the direction in which the mounted camera is directed. Specifically, the front camera 2a outputs a front range SR1 in front of the moving body 1 as a front image GZ (see FIG. 4 described later). Similarly to the front camera 2a, the right camera 2b outputs the right range SR2 on the right side of the moving body 1 as the right image GU, and the rear camera 2c outputs the rear range SR3 on the rear side of the moving body 1 as the rear image GK. The left camera 2d outputs the left range SR4 on the left side of the moving body 1 as a left image GS. The four images output from the on-board camera are processed so as to be simultaneously displayed by the image processing apparatus 10 described later. In addition, the image image | photographed with a mounted camera is not limited to a still image, A moving image may be sufficient. In the following, the front image GZ, the rear image GK, the left image GS, and the right image GU may be referred to as captured images in order to distinguish them from other images.

図２は、本発明の第１実施形態に係る画像処理装置の概略構成を示す概略構成図である。 FIG. 2 is a schematic configuration diagram showing a schematic configuration of the image processing apparatus according to the first embodiment of the present invention.

本発明の第１実施形態に係る画像処理装置１０は、画像撮影部１１、画像表示部１２、画像配置部１３、および配置指定部１４を含む構成とされている。 The image processing apparatus 10 according to the first embodiment of the present invention includes an image capturing unit 11, an image display unit 12, an image arrangement unit 13, and an arrangement designation unit 14.

画像撮影部１１は、搭載された機器（特に、移動体１）の周囲の画像を撮影する。本実施の形態では、搭載カメラ（前方カメラ２ａ、後方カメラ２ｃ、左方カメラ２ｄ、および右方カメラ２ｂ）が画像撮影部１１に相当する。なお、画像撮影部１１は、図１に示す構成だけに限定されず、搭載カメラの数や配置を変えてもよい。例えば、画像撮影部１１が３つの撮影画像を出力する際には、搭載カメラがそれぞれ移動体１の周囲に対し、少なくとも１２０°で広がる範囲を撮影する構成とすればよい。 The image capturing unit 11 captures an image around a mounted device (in particular, the moving body 1). In the present embodiment, the mounted cameras (the front camera 2a, the rear camera 2c, the left camera 2d, and the right camera 2b) correspond to the image capturing unit 11. The image capturing unit 11 is not limited to the configuration illustrated in FIG. 1, and the number and arrangement of the mounted cameras may be changed. For example, when the image capturing unit 11 outputs three captured images, the on-board camera may be configured to capture a range that extends at least 120 ° with respect to the periphery of the moving body 1.

画像表示部１２は、例えば、ディスプレイであって、画像撮影部１１によって撮影された画像を表示領域ＨＲに表示する。画像配置部１３は、表示領域ＨＲにおける画像の配置を設定する。すなわち、画像撮影部１１が出力した撮影画像を画像配置部１３が配置することで、画像表示部１２に表示される画像が決定される。なお、画像表示部１２が表示する表示画像の具体例については、後述する図４を参照して、詳細に説明する。 The image display unit 12 is, for example, a display, and displays an image captured by the image capturing unit 11 in the display area HR. The image arrangement unit 13 sets the arrangement of images in the display area HR. That is, the image displayed on the image display unit 12 is determined by the image placement unit 13 placing the captured image output from the image photographing unit 11. A specific example of the display image displayed by the image display unit 12 will be described in detail with reference to FIG. 4 described later.

配置指定部１４は、ユーザからの指示を受けて、表示領域ＨＲにおける画像の配置を指定する。配置指定部１４は、例えば、キーやボタンなどを含む構成とされており、ユーザの入力を受けて画像を指定する。なお、画像の配置を指定する処理については、後述する第２実施形態に基づいて、詳細に説明する。 In response to an instruction from the user, the arrangement designation unit 14 designates the arrangement of images in the display area HR. The arrangement designation unit 14 includes, for example, a key, a button, and the like, and designates an image in response to user input. Note that the processing for designating the arrangement of images will be described in detail based on a second embodiment described later.

図３は、本発明の第１実施形態に係る画像処理装置を用いた監視システムの概略構成を示す概略構成図である。 FIG. 3 is a schematic configuration diagram showing a schematic configuration of a monitoring system using the image processing apparatus according to the first embodiment of the present invention.

上述した画像処理装置１０は、複数の移動体１を用いて、周辺を監視する監視システムに適用されている。具体的に、監視システム（画像処理システム）は、ネットワークＮＷを通じて接続された監視装置２０と複数の移動体１とで構成されている。つまり、移動体１によって撮影された画像は、監視装置２０へ送信され、監視装置２０のディスプレイに表示される。 The image processing apparatus 10 described above is applied to a monitoring system that monitors the periphery using a plurality of moving bodies 1. Specifically, the monitoring system (image processing system) includes a monitoring device 20 and a plurality of moving bodies 1 connected through a network NW. That is, an image photographed by the moving body 1 is transmitted to the monitoring device 20 and displayed on the display of the monitoring device 20.

なお、本発明はこれに限定されず、移動体１および監視装置２０のうち、いずれか一方だけで構成されていてもよく、監視装置２０に画像撮影部１１を設けてもよい。また、移動体１だけで構成する場合は、移動体１で撮影画像に画像処理を施し、外部へ画像を送信したり、画像を蓄積したりすればよい。上述した画像配置部１３および配置指定部１４は、図示しないＣＰＵに予め組み込まれたプログラムとして記憶され、記憶したプログラムを実行することにより、後述する処理を実行する。画像配置部１３および配置指定部１４を記憶するＣＰＵは、画像処理システムの構成に応じて、移動体１または監視装置２０のいずれか、あるいは両方に設けられていればよい。 In addition, this invention is not limited to this, You may be comprised only in either one among the mobile body 1 and the monitoring apparatus 20, and you may provide the imaging | photography part 11 in the monitoring apparatus 20. FIG. In the case where only the moving body 1 is used, image processing is performed on the captured image by the moving body 1, and the image is transmitted to the outside or the image is accumulated. The image arrangement unit 13 and the arrangement designation unit 14 described above are stored as a program incorporated in advance in a CPU (not shown), and execute a process described later by executing the stored program. The CPU that stores the image arrangement unit 13 and the arrangement designation unit 14 may be provided in either or both of the moving body 1 and the monitoring device 20 according to the configuration of the image processing system.

図４は、表示領域に表示される第１表示画像を示す説明図である。 FIG. 4 is an explanatory diagram showing a first display image displayed in the display area.

表示領域ＨＲは、縦方向Ｙよりも横方向Ｘが幅広の矩形状とされている。第１表示画像ＨＧ１には、前方画像ＧＺ、後方画像ＧＫ、左方画像ＧＳ、および右方画像ＧＵの４つの撮影画像が配置されている。そして、表示領域ＨＲにおいて、４つの撮影画像は、３つの撮影画像が横方向Ｘで並べた組合位置に配置され、残り１つの撮影画像が組合位置とは縦方向Ｙで異なる単独位置に配置されている。以下では説明のため、表示領域ＨＲのうち、縦方向Ｙで上方の領域を上段と呼び、縦方向Ｙで下方の領域を下段と呼ぶことがある。 The display area HR has a rectangular shape with the horizontal direction X wider than the vertical direction Y. In the first display image HG1, four captured images of a front image GZ, a rear image GK, a left image GS, and a right image GU are arranged. In the display area HR, the four photographed images are arranged at a combined position where the three photographed images are arranged in the horizontal direction X, and the remaining one photographed image is arranged at a single position different from the combined position in the vertical direction Y. ing. Hereinafter, for the sake of explanation, an upper area in the vertical direction Y of the display area HR may be referred to as an upper stage, and a lower area in the vertical direction Y may be referred to as a lower stage.

第１表示画像ＨＧ１は、上段を単独位置として前方画像ＧＺが配置され、下段を組合位置として、左方画像ＧＳ、後方画像ＧＫ、および右方画像ＧＵが配置されている。つまり、移動体１の直進方向Ｓを撮影した前方画像ＧＺが単独位置に配置されている。また、前方画像ＧＺは、他の画像より大きく表示されている。表示領域ＨＲの下段には、左方画像ＧＳ、後方画像ＧＫ、および右方画像ＧＵの順に横方向Ｘの左方から並べられている。従って、左方画像ＧＳは、組合位置のうち、左方に配置され、右方画像ＧＵは、組合位置のうち、右方に配置されている。 In the first display image HG1, the front image GZ is arranged with the upper stage as the single position, and the left image GS, the rear image GK, and the right image GU are arranged with the lower stage as the combined position. That is, the front image GZ obtained by photographing the straight traveling direction S of the moving body 1 is arranged at a single position. Further, the front image GZ is displayed larger than the other images. In the lower part of the display area HR, the left image GS, the rear image GK, and the right image GU are arranged in this order from the left in the horizontal direction X. Therefore, the left image GS is arranged on the left side of the combination position, and the right image GU is arranged on the right side of the combination position.

なお、画像撮影部１１が撮影した撮影画像は、予め補正等の処理が施されていてもよい。つまり、広い範囲を撮影する広角カメラでは、画像の外縁部が湾曲するなどの歪みが生じたりするので、これを解消するための歪み補正を行っている。また、画像の配置位置に応じて、サイズを変更するクロッピング処理などを行ってもよい。次に、画像のサイズを変更する処理を施した変形例について説明する。 Note that the captured image captured by the image capturing unit 11 may be subjected to processing such as correction in advance. That is, in a wide-angle camera that captures a wide range, distortion such as a curved outer edge of the image may occur, and distortion correction is performed to eliminate this. Further, a cropping process for changing the size may be performed according to the arrangement position of the image. Next, a modification example in which processing for changing the size of an image is performed will be described.

図５は、第１表示画像の変形例である第２表示画像を示す説明図である。 FIG. 5 is an explanatory diagram illustrating a second display image that is a modification of the first display image.

第２表示画像ＨＧ２は、第１表示画像ＨＧ１に対して、撮影画像のサイズが異なっている。第１表示画像ＨＧ１では、補正等の処理を施す前の画像の縦横比を維持しており、前方画像ＧＺ、後方画像ＧＫ、左方画像ＧＳ、および右方画像ＧＵが配置されていない余白が生じていた。これに対し、第２表示画像ＨＧ２では、撮影画像を拡大や移動させるなどして、前方画像ＧＺ、後方画像ＧＫ、左方画像ＧＳ、および右方画像ＧＵで表示領域ＨＲ全体を占めるようにしている。表示領域ＨＲの余白が無くなるように表示することで、撮影画像が大きくなり見易さを向上させることができる。 The second display image HG2 is different in the size of the captured image from the first display image HG1. In the first display image HG1, the aspect ratio of the image before processing such as correction is maintained, and there is a blank space where the front image GZ, the rear image GK, the left image GS, and the right image GU are not arranged. It was happening. On the other hand, in the second display image HG2, the captured image is enlarged or moved so that the front image GZ, the rear image GK, the left image GS, and the right image GU occupy the entire display area HR. Yes. By displaying the display area HR so that there is no margin, the captured image becomes larger and the visibility can be improved.

次に、本発明との比較のため、従来の表示形式を示す比較例１および比較例２について、図面を参照して説明する。 Next, for comparison with the present invention, Comparative Example 1 and Comparative Example 2 showing conventional display formats will be described with reference to the drawings.

図６Ａは、従来の表示形式である第１比較画像を示す説明図である。 FIG. 6A is an explanatory diagram illustrating a first comparison image that is a conventional display format.

第１比較画像ＲＧ１では、４つの画像を区別することなく、縦横に並べられている。具体的には、表示領域ＨＲの左上に前方画像ＧＺが配置され、表示領域ＨＲの右上に右方画像ＧＵが配置され、表示領域ＨＲの左下に左方画像ＧＳが配置され、表示領域ＨＲの右下に後方画像ＧＫが配置されている。４つの画像は、全て同じサイズとされている。第１比較画像ＲＧ１では、表示領域ＨＲに対して、４つの画像を均等に割り当てているため、画像を大きく表示することができるが、カメラが撮影した方向と表示領域ＨＲでの配置位置とに関連がないため、方向を把握することが難しい。 In the first comparison image RG1, the four images are arranged vertically and horizontally without being distinguished. Specifically, the front image GZ is arranged at the upper left of the display area HR, the right image GU is arranged at the upper right of the display area HR, the left image GS is arranged at the lower left of the display area HR, and the display area HR A rear image GK is arranged in the lower right. All four images have the same size. In the first comparison image RG1, four images are equally assigned to the display area HR, so that the image can be displayed in a large size, but the direction taken by the camera and the arrangement position in the display area HR are displayed. Because there is no relation, it is difficult to grasp the direction.

図６Ｂは、従来の表示形式である第２比較画像を示す説明図である。 FIG. 6B is an explanatory diagram illustrating a second comparison image that is a conventional display format.

第２比較画像ＲＧ２では、４つの画像が横方向Ｘで一列に並べられている。なお、後方画像ＧＫは、第１後方分割画像ＧＫ１と第２後方分割画像ＧＫ２との２つに分割されている。具体的に、４つの画像は、表示領域ＨＲの左方から、第１後方分割画像ＧＫ１、左方画像ＧＳ、前方画像ＧＺ、右方画像ＧＵ、および第２後方分割画像ＧＫ２の順に並べられ、前方画像ＧＺが表示領域ＨＲの中央に配置されている。つまり、第２比較画像ＲＧ２は、４つの画像を並べてパノラマ状に示すような配置とされているため、画像同士が繋がっているような印象を与えることができる。しかしながら、表示領域ＨＲのサイズを考慮せずに、複数の画像が一列に並べられているため、画像のサイズが小さくなり、余白が大きくなってしまうことで、画像の見易さが損なわれてしまう。 In the second comparison image RG2, four images are arranged in a line in the horizontal direction X. The rear image GK is divided into two parts, a first rear divided image GK1 and a second rear divided image GK2. Specifically, the four images are arranged in the order of the first rear divided image GK1, the left image GS, the front image GZ, the right image GU, and the second rear divided image GK2 from the left of the display area HR. The front image GZ is arranged at the center of the display area HR. That is, since the second comparison image RG2 is arranged such that four images are arranged in a panoramic manner, an impression that the images are connected can be given. However, since the plurality of images are arranged in a line without considering the size of the display area HR, the image size is reduced and the margins are increased, thereby impairing the visibility of the image. End up.

上述したように、第１表示画像ＨＧ１では、複数の画像のうち１つが独立して表示されているので、単独位置に配置された画像（前方画像ＧＺ）を注視するように、ユーザに促すことができ、画像撮影部１１が撮影した方向を直感的に理解させることができる。この際、進行方向を示す画像が最も目立つ単独位置に配置されていれば、ユーザに移動体１の進行方向を視覚的に把握させることができる。また、画像を配置する位置だけに限らず、サイズを異ならせることで、前方画像ＧＺを際立たせることができる。さらに、表示領域ＨＲに配置する位置に関連付けることで、画像撮影部１１が撮影した方向を、ユーザにより明確に把握させることができる。本発明では、表示領域ＨＲを有効に利用しつつ、撮影方向を考慮した配置とすることで、画像自体の視認性と、方向の理解度の向上とを両立させている。なお、第１表示画像ＨＧ１では、４つの撮影画像を表示し、組合位置に３つの画像を並べて表示したが、撮影画像の数を変更した場合は、組合位置に配置する画像の数を変更すればよい。 As described above, in the first display image HG1, one of the plurality of images is independently displayed, and therefore the user is prompted to watch the image (front image GZ) arranged at the single position. It is possible to intuitively understand the direction taken by the image photographing unit 11. At this time, if the image indicating the traveling direction is disposed at the most prominent single position, the traveling direction of the moving body 1 can be visually recognized by the user. In addition to the position where the image is arranged, the front image GZ can be made to stand out by changing the size. Furthermore, by associating with the position arranged in the display area HR, the direction in which the image capturing unit 11 has captured can be clearly understood by the user. In the present invention, both the visibility of the image itself and the improvement of the degree of understanding of the direction are achieved by using the display area HR effectively and by taking the arrangement in consideration of the shooting direction. In the first display image HG1, four captured images are displayed and three images are displayed side by side at the combination position. However, if the number of captured images is changed, the number of images arranged at the combination position can be changed. That's fine.

本実施の形態では、前方画像ＧＺを大きくすることで、ユーザの注視を促していたが、これに限定されず、他の表示方法を取り入れてもよい。例えば、表示領域ＨＲの余白を黒色にして前方画像ＧＺだけを明るい色で縁取ったり、前方画像ＧＺを明滅させながら表示したり、丸や三角など移動体１の進行方向を示すマークを前方画像ＧＺに重ねて表示したりするなど、１つの画像だけ、他の画像と異なるように表示してもよい。 In the present embodiment, the user's gaze is promoted by enlarging the front image GZ. However, the present invention is not limited to this, and other display methods may be adopted. For example, the margin of the display area HR is set to black, and only the front image GZ is framed in a bright color, the front image GZ is displayed while blinking, or a mark indicating the traveling direction of the moving body 1 such as a circle or a triangle is displayed on the front image. Only one image may be displayed so as to be different from the other images, such as being superimposed on the GZ.

本発明に係る画像処理方法は、搭載された機器（例えば、移動体１）の周囲の画像を撮影する画像撮影部１１を備えた画像処理装置１０における画像処理方法であって、画像配置部１３に、画像撮影部１１によって撮影された画像を表示領域ＨＲに表示する際、表示領域ＨＲにおける画像の配置を設定させる画像配置ステップを含んでいる。画像撮影部１１は、機器の周囲を撮影した３つ以上の複数の画像を出力する構成とされている。画像配置ステップは、複数の画像のうち、２つ以上の画像を横方向Ｘで並べた組合位置に配置し、残り１つの画像を組合位置とは縦方向Ｙで異なる単独位置に配置する構成とされている。 The image processing method according to the present invention is an image processing method in the image processing apparatus 10 including the image capturing unit 11 that captures an image around a mounted device (for example, the moving body 1). In addition, when an image captured by the image capturing unit 11 is displayed in the display area HR, an image layout step for setting the layout of the image in the display area HR is included. The image photographing unit 11 is configured to output a plurality of three or more images obtained by photographing the periphery of the device. The image arranging step arranges two or more images among a plurality of images at a combination position arranged in the horizontal direction X, and arranges the remaining one image at a single position different from the combination position in the vertical direction Y. Has been.

（第２実施形態）
次に、本発明の第２実施形態に係る画像処理装置について、図面を参照して説明する。 (Second Embodiment)
Next, an image processing apparatus according to a second embodiment of the present invention will be described with reference to the drawings.

図７は、表示領域に表示される第３表示画像を示す説明図である。 FIG. 7 is an explanatory diagram showing a third display image displayed in the display area.

第２実施形態では、第１実施形態に対し、画像表示部１２に表示される内容が異なる構成とされている。なお、第２実施形態は、図１ないし図３に示す第１実施形態とほぼ同様の構成とされているので、説明を省略する。 In the second embodiment, the content displayed on the image display unit 12 is different from that of the first embodiment. The second embodiment has substantially the same configuration as the first embodiment shown in FIGS. 1 to 3 and will not be described.

第３表示画像ＨＧ３は、第１表示画像ＨＧ１に対して、撮影画像の配置が異なっている。具体的に、第３表示画像ＨＧ３は、上段を単独位置として後方画像ＧＫが配置され、下段を組合位置として、左方画像ＧＳ、前方画像ＧＺ、および右方画像ＧＵが配置されている。つまり、第３表示画像ＨＧ３は、第１表示画像ＨＧ１に対して、前方画像ＧＺと後方画像ＧＫとの位置を入れ換えた配置とされている。前方画像ＧＺは、他の画像より大きく表示されており、左方画像ＧＳおよび右方画像ＧＵは、前方画像ＧＺと縦方向Ｙで同じ幅とされている。なお、左方画像ＧＳおよび右方画像ＧＵのサイズを大きくしたことによって、表示領域ＨＲ内に収まらない部分については、クロッピング処理等で切り取っておけばよい。 The third display image HG3 is different from the first display image HG1 in the arrangement of captured images. Specifically, in the third display image HG3, the rear image GK is arranged with the upper stage as a single position, and the left image GS, the front image GZ, and the right image GU are arranged with the lower stage as a combined position. That is, the third display image HG3 is arranged such that the positions of the front image GZ and the rear image GK are interchanged with respect to the first display image HG1. The front image GZ is displayed larger than the other images, and the left image GS and the right image GU have the same width in the vertical direction Y as the front image GZ. Note that, by increasing the size of the left image GS and the right image GU, a portion that does not fit in the display area HR may be cut out by a cropping process or the like.

上述したように、第３表示画像ＨＧ３は、左方画像ＧＳと右方画像ＧＵとを前方画像ＧＺに対して、横方向Ｘで隣接させており、自動車の中から外部を見た状態を模した配置とされている。この際、上段に配置された後方画像ＧＫは、バックミラーに相当する。このような配置とすることで、自動車に乗っているような感覚をユーザに与えることができ、カメラが撮影している方向の認識を容易にする。 As described above, in the third display image HG3, the left image GS and the right image GU are adjacent to the front image GZ in the lateral direction X, and the state viewed from the inside of the automobile is simulated. It has been arranged. At this time, the rear image GK arranged in the upper stage corresponds to a rearview mirror. With such an arrangement, it is possible to give the user the feeling of riding in a car and facilitate the recognition of the direction in which the camera is shooting.

（第３実施形態）
次に、本発明の第３実施形態に係る画像処理装置について、図面を参照して説明する。 (Third embodiment)
Next, an image processing apparatus according to a third embodiment of the present invention will be described with reference to the drawings.

図８は、表示領域に表示される第４表示画像を示す説明図である。 FIG. 8 is an explanatory diagram showing a fourth display image displayed in the display area.

第３実施形態では、第１実施形態および第２実施形態に対し、画像表示部１２に表示される内容が異なる構成とされている。なお、第３実施形態は、図１ないし図３に示す第１実施形態とほぼ同様の構成とされているので、説明を省略する。 In the third embodiment, the contents displayed on the image display unit 12 are different from those in the first embodiment and the second embodiment. The third embodiment has substantially the same configuration as that of the first embodiment shown in FIGS. 1 to 3 and will not be described.

第４表示画像ＨＧ４は、第１表示画像ＨＧ１に対して、上段が組合位置とされ、下段が単独位置とされている点で異なっている。具体的に、第４表示画像ＨＧ４は、上段に左方画像ＧＳ、前方画像ＧＺ、および右方画像ＧＵが並べて配置され、下段に大きく表示された後方画像ＧＫが配置されている。ここで、移動体１は、後方へ進行しており、画像表示部１２は、移動体１の進行方向を示す後方画像ＧＫに注視させるような表示とされている。 The fourth display image HG4 is different from the first display image HG1 in that the upper stage is the combined position and the lower stage is the single position. Specifically, in the fourth display image HG4, the left image GS, the front image GZ, and the right image GU are arranged side by side in the upper stage, and the rear image GK that is displayed largely in the lower stage is arranged. Here, the moving body 1 is moving backward, and the image display unit 12 is configured to display the rear image GK indicating the traveling direction of the moving body 1.

本発明では、複数の表示方法を切り換える構成としてもよく、例えば、移動体１が前進している際には、第１表示画像ＨＧ１を表示し、移動体１の進行方向が後方へ変わると、第４表示画像ＨＧ４に表示を切り換えてもよい。表示する画像を適宜切り換えることで、移動体１の進行方向が変化したことを、ユーザに容易に把握させることができる。 In the present invention, a plurality of display methods may be switched. For example, when the moving body 1 is moving forward, the first display image HG1 is displayed, and when the traveling direction of the moving body 1 changes backward, The display may be switched to the fourth display image HG4. By appropriately switching the image to be displayed, the user can easily grasp that the traveling direction of the moving body 1 has changed.

（第４実施形態）
次に、本発明の第４実施形態に係る画像処理装置について、図面を参照して説明する。 (Fourth embodiment)
Next, an image processing apparatus according to a fourth embodiment of the present invention will be described with reference to the drawings.

図９は、表示領域に表示される第５表示画像を示す説明図である。 FIG. 9 is an explanatory diagram showing a fifth display image displayed in the display area.

第４実施形態では、第１実施形態ないし第３実施形態に対し、画像表示部１２に表示される内容が異なる構成とされている。なお、第４実施形態は、図１ないし図３に示す第１実施形態とほぼ同様の構成とされているので、説明を省略する。 In 4th Embodiment, the content displayed on the image display part 12 is set as the structure different from 1st Embodiment thru | or 3rd Embodiment. The fourth embodiment has substantially the same configuration as that of the first embodiment shown in FIGS. 1 to 3, and a description thereof will be omitted.

第５表示画像ＨＧ５は、第１表示画像ＨＧ１に対して、単独位置に配置されている撮影画像が異なっている。第４実施形態では、配置指定部１４によって指定された撮影画像を単独位置に配置しており、第５表示画像ＨＧ５は、右方画像ＧＵが指定された場合を示している。具体的に、第５表示画像ＨＧ５は、上段に大きく表示された右方画像ＧＵが配置され、下段に前方画像ＧＺ、左方画像ＧＳ、および後方画像ＧＫが並べて配置されている。なお、本発明において、単独位置に配置する撮影画像は、右方画像ＧＵだけに限定されず、他の撮影画像を配置してもよい。また、組合位置に配置する撮影画像は、単に配置を入れ換えるだけでなく、予め設定された順に並べて配置してもよい。具体的に、組合位置に配置する撮影画像は、前方画像ＧＺ、左方画像ＧＳ、後方画像ＧＫ、および右方画像ＧＵの順を維持するように、横方向Ｘで左方から並べられている。なお、右方画像ＧＵの右側には、前方画像ＧＺを配置すればよく、移動体１を中心にして視点を回転させるように、設定された順番を繰り返せばよい。 The fifth display image HG5 is different from the first display image HG1 in the captured image arranged at the single position. In the fourth embodiment, the captured image specified by the arrangement specifying unit 14 is arranged at a single position, and the fifth display image HG5 shows the case where the right image GU is specified. Specifically, in the fifth display image HG5, the right image GU that is displayed large in the upper stage is arranged, and the front image GZ, the left image GS, and the rear image GK are arranged in the lower stage. In the present invention, the captured image arranged at the single position is not limited to the right image GU, and other captured images may be disposed. Further, the captured images to be arranged at the combination position may be arranged in a preset order as well as simply changing the arrangement. Specifically, the captured images arranged at the combination position are arranged from the left in the horizontal direction X so as to maintain the order of the front image GZ, the left image GS, the rear image GK, and the right image GU. . The forward image GZ may be arranged on the right side of the right image GU, and the set order may be repeated so that the viewpoint is rotated around the moving body 1.

上述したように、本実施の形態では、移動体１の進行方向に拘わらず、ユーザが指定した撮影画像を目立たせる表示とされている。つまり、通常時には、第１表示画像ＨＧ１を表示し、ユーザが指定した際に、第５表示画像ＨＧ５などを表示する。したがって、撮影画像の配置を切り換えることで、ユーザが注視したい撮影画像を分かりやすく表示することができる。 As described above, in the present embodiment, the captured image designated by the user is displayed conspicuously regardless of the traveling direction of the moving body 1. That is, at the normal time, the first display image HG1 is displayed, and when designated by the user, the fifth display image HG5 and the like are displayed. Therefore, by switching the arrangement of the captured images, the captured image that the user wants to watch can be displayed in an easy-to-understand manner.

（第５実施形態）
次に、本発明の第５実施形態に係る画像処理装置について、図面を参照して説明する。 (Fifth embodiment)
Next, an image processing apparatus according to a fifth embodiment of the present invention will be described with reference to the drawings.

図１０は、本発明の第５実施形態に係る画像処理装置を用いた監視システムの詳細な構成を示す構成図である。 FIG. 10 is a configuration diagram showing a detailed configuration of a monitoring system using an image processing apparatus according to the fifth embodiment of the present invention.

第５実施形態では、第１実施形態ないし第４実施形態に対し、画像表示部１２に表示される内容が異なる構成とされている。なお、第５実施形態は、図１ないし図３に示す第１実施形態とほぼ同様の構成とされているので、概略の説明を省略する。 In the fifth embodiment, the contents displayed on the image display unit 12 are different from those in the first to fourth embodiments. Note that the fifth embodiment has substantially the same configuration as the first embodiment shown in FIGS.

図３で示したように、監視システムでは、移動体１と監視装置２０とがネットワークを通じて接続されている。移動体１は、上述した画像撮影部１１に加えて、さらに、移動体通信部３、移動体画像配置部４、および走行制御部５を備えている。また、監視装置２０は、上述した画像表示部１２および配置指定部１４に加えて、監視通信部２１、監視画像配置部２２、および走行指示部２３を備えている。 As shown in FIG. 3, in the monitoring system, the moving body 1 and the monitoring device 20 are connected through a network. The mobile body 1 further includes a mobile body communication unit 3, a mobile body image placement unit 4, and a travel control unit 5 in addition to the image photographing unit 11 described above. In addition to the image display unit 12 and the arrangement designation unit 14 described above, the monitoring device 20 includes a monitoring communication unit 21, a monitoring image arrangement unit 22, and a travel instruction unit 23.

移動体通信部３および監視通信部２１は、ネットワークＮＷを介して、互いの間で信号や画像などの情報を送受信している。なお、情報を送信する際には、圧縮して情報量を小さくすることで、通信における負荷などを軽減してもよい。また、圧縮された情報は、受信した際に、伸長して元の状態に戻せばよい。 The mobile communication unit 3 and the monitoring communication unit 21 transmit and receive information such as signals and images between each other via the network NW. Note that when transmitting information, the communication load may be reduced by compressing to reduce the amount of information. Further, when the compressed information is received, it may be decompressed and returned to the original state.

移動体画像配置部４は、移動体１に設けられた画像配置部１３であって、撮影画像の配置を設定する。監視画像配置部２２は、監視装置２０に設けられた画像配置部１３であって、撮影画像の配置を設定する。なお、本実施の形態では、画像配置部１３を移動体１および監視装置２０の両方に設けた構成としたが、これに限定されず、いずれか一方に設けた構成としてもよい。 The moving body image arrangement unit 4 is an image arrangement unit 13 provided in the moving body 1 and sets the arrangement of the captured image. The monitoring image arrangement unit 22 is an image arrangement unit 13 provided in the monitoring apparatus 20 and sets the arrangement of captured images. In the present embodiment, the image placement unit 13 is provided in both the moving body 1 and the monitoring device 20, but the present invention is not limited thereto, and may be provided in either one.

走行制御部５は、移動体１の進行方向や速度を制御する。走行指示部２３は、例えば、ジョイスティックなどのマニピュレータや、マウス、キー、およびボタンなどを含む構成とされており、ユーザから移動体１に対する指示を受け付ける。本実施の形態において、移動体１は、設定された経路を移動するように、進行方向や速度を決定しているが、ユーザからの指示を受けた際には、指示に基づいて移動するように制御される。つまり、ユーザは、画像表示部１２による視覚情報の助けを得ながら、走行指示部２３による指示を行うことで、移動体１の周囲の環境を認識しつつ、移動体１の走行制御を遠隔で実施することができる。 The traveling control unit 5 controls the traveling direction and speed of the moving body 1. The travel instruction unit 23 includes, for example, a manipulator such as a joystick, a mouse, a key, a button, and the like, and receives an instruction for the moving body 1 from a user. In the present embodiment, the moving body 1 determines the traveling direction and speed so as to move along the set route. However, when the moving body 1 receives an instruction from the user, the moving body 1 moves based on the instruction. To be controlled. That is, the user can remotely control the traveling of the moving body 1 while recognizing the environment around the moving body 1 by giving an instruction from the traveling instruction section 23 with the help of visual information from the image display section 12. Can be implemented.

図１１Ａは、表示領域に表示される第６表示画像を示す説明図である。 FIG. 11A is an explanatory diagram illustrating a sixth display image displayed in the display area.

第６表示画像ＨＧ６では、撮影画像が配置される画像領域ＰＲと、移動体１の進行方向に基づく表示が配置される移動体領域ＭＲとが設けられている。具体的に、画像領域ＰＲは、表示領域ＨＲの左上方寄りに設けられており、画像領域ＰＲ以外の部分が移動体領域ＭＲとされている。 In the sixth display image HG6, an image region PR in which a captured image is arranged and a moving body region MR in which a display based on the traveling direction of the moving body 1 is arranged are provided. Specifically, the image region PR is provided on the upper left side of the display region HR, and a portion other than the image region PR is a moving body region MR.

画像領域ＰＲは、上述した第１表示画像ＨＧ１ないし第５表示画像ＨＧ５のような画像が表示される領域とされており、第６表示画像ＨＧ６では、第１表示画像ＨＧ１と同様の画像が表示されている。つまり、第６表示画像ＨＧ６の画像領域ＰＲでは、単独位置に前方画像ＧＺが配置され、組合位置に左方画像ＧＳ、後方画像ＧＫ、および右方画像ＧＵが順に並べて配置されている。 The image region PR is a region where images such as the first display image HG1 to the fifth display image HG5 described above are displayed, and the sixth display image HG6 displays an image similar to the first display image HG1. Has been. That is, in the image region PR of the sixth display image HG6, the front image GZ is disposed at the single position, and the left image GS, the rear image GK, and the right image GU are sequentially disposed at the combination position.

画像領域ＰＲに表示される画像は、画像配置部１３によって、適宜画像処理が施されていてもよい。具体的には、画像を水平方向で反転させるフリップ処理や、組合位置で隣接する画像を繋げるパノラマ処理などが施される。フリップ処理では、例えば、後方画像ＧＫを反転させた鏡像とすることで、自動車のバックミラーに相当する画像を表示することができる。また、パノラマ処理では、隣接する画像の重複する部分などを除去して繋げている。このように、画像処理を施すことで、多様な表示方法を実現でき、ユーザが直感的に理解しやすい表示とすることができる。 The image displayed in the image region PR may be appropriately subjected to image processing by the image placement unit 13. Specifically, flip processing for inverting the image in the horizontal direction, panorama processing for connecting adjacent images at the combination position, and the like are performed. In the flip processing, for example, an image corresponding to a rearview mirror of an automobile can be displayed by using a mirror image obtained by inverting the rear image GK. In panorama processing, overlapping portions of adjacent images are removed and connected. As described above, by performing image processing, various display methods can be realized, and the display can be easily understood by the user.

移動体領域ＭＲには、移動体１の進行方向を示す進行方向表示３１と、移動体１への進行方向の指示を示す方向指示表示３２とが表示されている。 In the moving body region MR, a traveling direction display 31 indicating the traveling direction of the moving body 1 and a direction indicating display 32 indicating an instruction of the traveling direction to the moving body 1 are displayed.

進行方向表示３１は、上面視した移動体１を模した図形である移動体図形３１ａと、向きを示す矢符を模した図形である進行方向図形３１ｂとで構成されている。移動体図形３１ａは、上方が移動体１の正面を示している。第６表示画像ＨＧ６において、進行方向図形３１ｂは、移動体図形３１ａの上方に配置されており、矢符の向きが上方とされている。つまり、進行方向表示３１では、移動体図形３１ａと、上方へ向けられた進行方向図形３１ｂとを併せて表示することで、移動体１の進行方向が前方であることを示している。なお、進行方向表示３１は、これに限定されず、移動体１の進行方向がいずれであるかを明確に示すものであればよく、図形に限らず、文字などで示してもよい。 The traveling direction display 31 includes a moving body figure 31a that is a figure simulating the moving body 1 viewed from above and a traveling direction figure 31b that is a figure simulating an arrow indicating the direction. The moving body figure 31a shows the front of the moving body 1 at the top. In the sixth display image HG6, the traveling direction graphic 31b is arranged above the moving body graphic 31a, and the direction of the arrow is upward. That is, in the traveling direction display 31, the traveling body figure 31a and the traveling direction figure 31b directed upward are displayed together to indicate that the traveling direction of the moving body 1 is the front. Note that the traveling direction display 31 is not limited to this, as long as it clearly indicates which traveling direction of the moving body 1 is used, and is not limited to a figure, and may be represented by a character or the like.

方向指示表示３２は、上下左右の４方向を向いた矢符を模した図形である指示入力図形３２ａと、指示入力図形３２ａの向きを示す指示方向図形３２ｂとで構成されている。指示入力図形３２ａは、走行指示部２３からの入力に対応しており、矢符の上下左右が進行方向の指示における「前方」、「後方」、「左方」、および「右方」に相当する。第６表示画像ＨＧ６では、指示入力図形３２ａの上方に指示方向図形３２ｂが配置されており、指示入力図形３２ａの矢符における上方が「前方」に相当することを示している。この場合では、例えば、走行指示部２３で上方に相当する入力を行った際、移動体１に対して、「前方」を進行方向とすることが指示される。なお、方向指示表示３２は、これに限定されず、移動体１への進行方向の指示と、走行指示部２３での入力との対応関係を明確に示すものであればよく、図形に限らず、文字などで示してもよい。また、指示方向図形３２ｂは、「前方」を示すものだけに限らず、「前方」、「後方」、「左方」、および「右方」の全てに対応して配置されていてもよい。 The direction instruction display 32 includes an instruction input figure 32a which is a figure imitating arrows in four directions, up, down, left and right, and an instruction direction figure 32b indicating the direction of the instruction input figure 32a. The instruction input figure 32a corresponds to the input from the travel instruction unit 23, and the up, down, left, and right of the arrows correspond to “front”, “back”, “left”, and “right” in the direction of travel direction. To do. In the sixth display image HG6, an instruction direction graphic 32b is arranged above the instruction input graphic 32a, and the upper part of the arrow of the instruction input graphic 32a corresponds to “front”. In this case, for example, when the traveling instruction unit 23 performs an input corresponding to the upper direction, the moving body 1 is instructed to set “forward” as the traveling direction. The direction indication display 32 is not limited to this, and may be any display that clearly shows the correspondence between the direction of travel to the moving body 1 and the input from the travel instruction unit 23, and is not limited to a figure. Or may be indicated by characters. The indication direction graphic 32b is not limited to the one indicating “front”, and may be arranged corresponding to all of “front”, “rear”, “left”, and “right”.

上述したように、移動体１の周囲を示す画像と併せて、移動体１の進行方向や、走行指示部２３で入力した際の方向などを表示することで、ユーザによる移動体１の遠隔制御を補助することができる。 As described above, the user can remotely control the moving body 1 by displaying the traveling direction of the moving body 1 and the direction when the travel instruction unit 23 inputs the image together with the image showing the surroundings of the moving body 1. Can assist.

図１１Ｂは、表示領域に表示される第７表示画像を示す説明図である。 FIG. 11B is an explanatory diagram illustrating a seventh display image displayed in the display area.

第７表示画像ＨＧ７は、第６表示画像ＨＧ６に対して、画像や図形の配置が異なっている。具体的に、画像領域ＰＲでは、単独位置に後方画像ＧＫが配置され、組合位置に右方画像ＧＵ、前方画像ＧＺ、および左方画像ＧＳが順に並べて配置されている。つまり、第７表示画像ＨＧ７の画像領域ＰＲでは、第５表示画像ＨＧ５のように、組合位置に配置された撮影画像が予め設定された順に並べて配置されている。 The seventh display image HG7 differs from the sixth display image HG6 in the arrangement of images and graphics. Specifically, in the image region PR, the rear image GK is arranged at a single position, and the right image GU, the front image GZ, and the left image GS are arranged in order at the combination position. That is, in the image region PR of the seventh display image HG7, the captured images arranged at the combination positions are arranged in the preset order as in the fifth display image HG5.

進行方向表示３１では、進行方向図形３１ｂが、移動体図形３１ａの下方に配置されており、矢符の向きが下方とされている。つまり、第７表示画像ＨＧ７では、移動体１の進行方向が後方であることを示している。 In the traveling direction display 31, the traveling direction graphic 31b is arranged below the moving body graphic 31a, and the direction of the arrow is downward. That is, the seventh display image HG7 indicates that the traveling direction of the moving body 1 is backward.

方向指示表示３２では、指示入力図形３２ａの下方に指示方向図形３２ｂが配置されており、指示入力図形３２ａの矢符における下方が「前方」に相当することを示している。 In the direction instruction display 32, an instruction direction figure 32b is arranged below the instruction input figure 32a, and the lower part of the arrow of the instruction input figure 32a corresponds to “front”.

上述したように、第６表示画像ＨＧ６では、画像領域ＰＲにおいて、前方画像ＧＺが上方の単独位置に配置され、進行方向表示３１および方向指示表示３２では、上方と「前方」とを対応させて表示している。このように、画像配置部１３によって、画像領域ＰＲの表示に対応するように、移動体領域ＭＲの表示を設定し、画像領域ＰＲと移動体領域ＭＲとで方向を揃えることで、ユーザが直感的に理解しやすい配置としている。また、第７表示画像ＨＧ７を表示すれば、移動体１の進行方向が後方へ変わった際に、素早く対応することができる。 As described above, in the sixth display image HG6, the front image GZ is arranged at the upper single position in the image region PR, and in the traveling direction display 31 and the direction indication display 32, the upper and the “front” are associated with each other. it's shown. In this way, the image placement unit 13 sets the display of the mobile region MR so as to correspond to the display of the image region PR, and aligns the directions in the image region PR and the mobile region MR, so that the user can intuitively The layout is easy to understand. Moreover, if the 7th display image HG7 is displayed, when the advancing direction of the mobile body 1 changes back, it can respond quickly.

（第６実施形態）
次に、本発明の第６実施形態に係る画像処理装置について、図面を参照して説明する。 (Sixth embodiment)
Next, an image processing apparatus according to a sixth embodiment of the present invention will be described with reference to the drawings.

図１２は、表示領域に表示される第８表示画像を示す説明図である。 FIG. 12 is an explanatory diagram showing an eighth display image displayed in the display area.

第６実施形態では、第１実施形態ないし第５実施形態に対し、組合位置に配置される画像の並べられる方向が異なる。なお、第５実施形態は、図１ないし図３に示す第１実施形態とほぼ同様の構成とされているので、説明を省略する。 The sixth embodiment differs from the first to fifth embodiments in the direction in which images arranged at the combination position are arranged. The fifth embodiment has substantially the same configuration as that of the first embodiment shown in FIGS. 1 to 3, and a description thereof will be omitted.

本実施の形態の表示領域ＨＲにおいて、４つの撮影画像は、３つの撮影画像が縦方向Ｙ（組合方向）で並べた組合位置に配置され、残り１つの撮影画像が組合位置とは横方向Ｘ（組合方向と直交する方向）で異なる単独位置に配置されている。つまり、複数の撮影画像が並べられる方向は、横方向Ｘだけに限らず、縦方向Ｙとされていてもよく、画像の配置を適宜設定することで、表現の自由度を向上させることができる。 In the display area HR of the present embodiment, four photographed images are arranged at a combination position in which three photographed images are arranged in the vertical direction Y (combination direction), and the remaining one photographed image is the horizontal direction X from the combination position. They are arranged at different single positions (directions orthogonal to the combination direction). That is, the direction in which a plurality of captured images are arranged is not limited to the horizontal direction X but may be the vertical direction Y, and the degree of freedom of expression can be improved by appropriately setting the arrangement of the images. .

第８表示画像ＨＧ８は、右側が組合位置とされ、左側が単独位置とされている。具体的に、第８表示画像ＨＧ８は、前方画像ＧＺ、右方画像ＧＵ、および後方画像ＧＫが上から順に並べて配置され、左方寄りに大きく表示された左方画像ＧＳが配置されている。 In the eighth display image HG8, the right side is the combined position and the left side is the single position. Specifically, in the eighth display image HG8, a front image GZ, a right image GU, and a rear image GK are arranged in order from the top, and a left image GS that is displayed larger toward the left is disposed.

上述した第４実施形態では、通常時に第１表示画像ＨＧ１を表示し、ユーザが指定した際に、組合方向を変えることなく、第５表示画像ＨＧ５を表示していたが、これに限定されず、組合方向を変えて、第８表示画像ＨＧ８を表示させてもよい。このように、カメラが撮影した方向と表示領域ＨＲでの配置位置とを関連付けることで、ユーザが方向を直感的に理解できる表示とすることができる。また、第８表示画像ＨＧ８を表示するのは、ユーザが指定した際だけに限らず、適宜状況に応じて設定することができる。 In the above-described fourth embodiment, the first display image HG1 is displayed at the normal time, and the fifth display image HG5 is displayed without changing the combination direction when designated by the user. However, the present invention is not limited to this. The eighth display image HG8 may be displayed by changing the combination direction. In this way, by associating the direction captured by the camera with the arrangement position in the display area HR, it is possible to provide a display that allows the user to intuitively understand the direction. In addition, the display of the eighth display image HG8 is not limited to when the user designates it, but can be set according to the situation as appropriate.

また、第１実施形態ないし第６実施形態に記載した画像処理方法は、画像処理プログラムとして、例えば、フラッシュメモリ、光ディスク、磁気ディスク、磁気テープ、および光磁気ディスク等の記録媒体に記憶させてもよい。この記録媒体を用いれば、コンピュータに画像処理プログラムをインストールすることができる。 The image processing methods described in the first to sixth embodiments may be stored as an image processing program in a recording medium such as a flash memory, an optical disk, a magnetic disk, a magnetic tape, and a magneto-optical disk. Good. If this recording medium is used, an image processing program can be installed in the computer.

なお、今回開示した実施の形態は全ての点で例示であって、限定的な解釈の根拠となるものではない。従って、本発明の技術的範囲は、上記した実施の形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれる。 It should be noted that the embodiment disclosed herein is illustrative in all respects and does not serve as a basis for limited interpretation. Therefore, the technical scope of the present invention is not interpreted only by the above-described embodiment, but is defined based on the description of the scope of claims. Moreover, all the changes within the meaning and range equivalent to a claim are included.

１移動体
１０画像処理装置
１１画像撮影部
１２画像表示部
１３画像配置部
１４配置指定部
２０監視装置
ＧＫ後方画像
ＧＳ左方画像
ＧＵ右方画像
ＧＺ前方画像
ＨＲ表示領域
Ｓ直進方向
Ｘ横方向
Ｙ縦方向 DESCRIPTION OF SYMBOLS 1 Mobile body 10 Image processing apparatus 11 Image photographing part 12 Image display part 13 Image arrangement part 14 Arrangement designation part 20 Monitoring apparatus GK Rear image GS Left image GU Right image GZ Front image HR Display area S Straight direction X Horizontal direction Y Longitudinal direction

Claims

搭載された機器の周囲の画像を撮影する画像撮影部と、
前記画像撮影部によって撮影された画像を表示領域に表示する際、前記表示領域における画像の配置を設定する画像配置部とを備えた画像処理装置であって、
前記画像撮影部は、前記機器の周囲を撮影した３つ以上の複数の画像を出力する構成とされ、
前記画像配置部は、前記複数の画像のうち、２つ以上の画像を予め設定された組合方向で並べた組合位置に配置し、残り１つの画像を、前記組合位置に対し前記組合方向と直交する方向で異なる単独位置に配置すること
を特徴とする画像処理装置。 An image capturing unit that captures images around the installed device,
An image processing apparatus comprising: an image arrangement unit that sets an arrangement of images in the display area when displaying an image taken by the image photographing unit in a display area;
The image photographing unit is configured to output a plurality of three or more images obtained by photographing the periphery of the device.
The image arrangement unit arranges two or more images of the plurality of images at a combination position arranged in a predetermined combination direction, and the remaining one image is orthogonal to the combination direction with respect to the combination position. An image processing apparatus, wherein the image processing apparatus is arranged at a single position that differs in the direction in which it is performed.

請求項１に記載の画像処理装置であって、
前記組合方向は、横方向とされ、
前記単独位置は、前記組合位置に対して縦方向で異なる位置とされていること
を特徴とする画像処理装置。 The image processing apparatus according to claim 1,
The union direction is a lateral direction,
The image processing apparatus according to claim 1, wherein the single position is a position that is different in a vertical direction with respect to the combination position.

請求項１または請求項２に記載の画像処理装置であって、
前記機器は、走行面を走行する移動体とされていること
を特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
The image processing apparatus according to claim 1, wherein the device is a moving body that travels on a traveling surface.

請求項３に記載の画像処理装置であって、
前記画像配置部は、前記移動体の進行方向を撮影した画像を前記単独位置に配置すること
を特徴とする画像処理装置。 The image processing apparatus according to claim 3,
The image processing device, wherein the image placement unit places an image obtained by photographing the moving direction of the moving body at the single position.

請求項３または請求項４に記載の画像処理装置であって、
前記画像配置部は、前記複数の画像のうち、前記移動体の進行方向を撮影した画像を他の画像より大きく配置すること
を特徴とする画像処理装置。 The image processing apparatus according to claim 3 or 4, wherein:
The image processing unit is configured to arrange an image obtained by capturing a moving direction of the moving body among the plurality of images larger than other images.

請求項３から請求項５までのいずれか１つに記載の画像処理装置であって、
前記表示領域は、前記複数の画像が配置される画像領域と、前記移動体の進行方向に基づく表示が配置される移動体領域とが設けられ、
前記画像配置部は、前記移動体の進行方向を示す進行方向表示と、前記移動体への進行方向の指示を示す方向指示表示とを前記移動体領域に配置すること
を特徴とする画像処理装置。 An image processing apparatus according to any one of claims 3 to 5, wherein
The display area includes an image area in which the plurality of images are arranged, and a moving body area in which a display based on a traveling direction of the moving body is arranged,
The image arranging unit arranges a moving direction display indicating a moving direction of the moving body and a direction indicating display indicating a moving direction to the moving body in the moving body region. .

請求項１から請求項６までのいずれか１つに記載の画像処理装置であって、
前記画像撮影部は、前記機器の前方を撮影した前方画像と、前記機器の後方を撮影した後方画像と、前記機器の左方を撮影した左方画像と、前記機器の右方を撮影した右方画像との４つの画像を出力する構成とされていること
を特徴とする画像処理装置。 An image processing apparatus according to any one of claims 1 to 6, wherein
The image photographing unit includes a front image obtained by photographing the front of the device, a rear image obtained by photographing the rear of the device, a left image obtained by photographing the left side of the device, and a right image obtained by photographing the right side of the device. An image processing apparatus characterized in that it is configured to output four images of a square image.

請求項７に記載の画像処理装置であって、
前記組合方向が横方向とされているとき、
前記画像配置部は、前記左方画像を前記組合位置のうち、左方に配置し、前記右方画像を前記組合位置のうち、右方に配置すること
を特徴とする画像処理装置。 The image processing apparatus according to claim 7,
When the union direction is a lateral direction,
The image processing device, wherein the image arrangement unit arranges the left image on the left side of the combination position, and arranges the right image on the right side of the combination position.

請求項７に記載の画像処理装置であって、
前記画像配置部は、前記前方画像、前記左方画像、前記後方画像、および前記右方画像を前記組合位置に配置する際、予め設定された順に並べること
を特徴とする画像処理装置。 The image processing apparatus according to claim 7,
The image processing device, wherein the image arrangement unit arranges the front image, the left image, the rear image, and the right image in a preset order when arranging the images at the combination position.

請求項１から請求項９までのいずれか１つに記載の画像処理装置であって、
ユーザからの指示を受けて、前記表示領域における画像の配置を指定する配置指定部を備え、
前記画像配置部は、前記配置指定部によって指定された画像を前記単独位置に配置すること
を特徴とする画像処理装置。 An image processing apparatus according to any one of claims 1 to 9, wherein
In response to an instruction from a user, the image processing apparatus includes a layout designation unit that designates the layout of an image in the display area
The image processing device, wherein the image placement unit places the image designated by the placement designation unit at the single position.

請求項１から請求項１０までのいずれか１つに記載の画像処理装置であって、
前記画像配置部は、前記組合位置において隣接する画像を繋げる処理を施すこと
を特徴とする画像処理装置。 An image processing apparatus according to any one of claims 1 to 10, wherein
The image processing unit, wherein the image placement unit performs processing for connecting adjacent images at the combination position.

請求項１から請求項１１までのいずれか１つに記載の画像処理装置であって、
前記画像配置部は、画像を水平方向で反転させる処理を施すこと
を特徴とする画像処理装置。 An image processing apparatus according to any one of claims 1 to 11, wherein
The image processing unit, wherein the image placement unit performs a process of inverting an image in a horizontal direction.

請求項１から請求項１２までのいずれか１つに記載の画像処理装置を備えた画像処理システムであって、
前記機器は、走行面を走行する移動体とされ、通信を介して前記画像配置部によって配置が設定された画像を送信すること
を特徴とする画像処理システム。 An image processing system comprising the image processing apparatus according to any one of claims 1 to 12,
The image processing system, wherein the device is a moving body that travels on a traveling surface, and transmits an image whose arrangement is set by the image arrangement unit via communication.

搭載された機器の周囲の画像を撮影する画像撮影部を備え、走行面を走行する移動体であって、
前記画像撮影部によって撮影された画像を表示領域に表示する際、前記表示領域における画像の配置を設定する画像配置部を備え、
前記画像撮影部は、前記機器の周囲を撮影した３つ以上の複数の画像を出力する構成とされ、
前記画像配置部は、前記複数の画像のうち、２つ以上の画像を横方向で並べた組合位置に配置し、残り１つの画像を前記組合位置とは縦方向で異なる単独位置に配置すること
を特徴とする移動体。 A moving body that includes an image capturing unit that captures an image of the surroundings of a mounted device and travels on a traveling surface,
When displaying an image captured by the image capturing unit in a display area, an image layout unit that sets the layout of the image in the display area,
The image photographing unit is configured to output a plurality of three or more images obtained by photographing the periphery of the device.
The image arrangement unit arranges two or more images among the plurality of images in a combined position in a horizontal direction, and arranges the remaining one image in a single position that is different from the combined position in the vertical direction. A moving body characterized by.

搭載された機器の周囲の画像を撮影する画像撮影部を備えた画像処理装置における画像処理方法であって、
画像配置部に、前記画像撮影部によって撮影された画像を表示領域に表示する際、前記表示領域における画像の配置を設定させる画像配置ステップを含み、
前記画像撮影部は、前記機器の周囲を撮影した３つ以上の複数の画像を出力する構成とされ、
前記画像配置ステップは、前記複数の画像のうち、２つ以上の画像を横方向で並べた組合位置に配置し、残り１つの画像を前記組合位置とは縦方向で異なる単独位置に配置すること
を特徴とする画像処理方法。 An image processing method in an image processing apparatus including an image capturing unit that captures an image around a mounted device,
An image arrangement step for causing the image arrangement unit to set the arrangement of the image in the display area when displaying the image photographed by the image photographing unit in the display area;
The image photographing unit is configured to output a plurality of three or more images obtained by photographing the periphery of the device.
The image arranging step arranges two or more images among the plurality of images in a combined position where they are arranged in a horizontal direction, and arranges the remaining one image in a single position that is different from the combined position in the vertical direction. An image processing method characterized by the above.

請求項１５に記載の各ステップをコンピュータに実行させるための画像処理プログラム。 An image processing program for causing a computer to execute each step according to claim 15.