JP6587253B2 - Image processing apparatus and image processing method - Google Patents

Description

本発明は、画像処理装置、及び画像処理方法に関する。   The present invention relates to an image processing apparatus and an image processing method.

従来から、店舗や住宅、車など様々な用途で、人の動きや周辺の状態を把握する為に、カメラを使用した数多くのシステムが提案されている。そのようなシステムにおいて、シーンに応じてカメラ映像内の特定の領域を詳細に監視したいという要求がある。特に、バスや電車といった旅客車両においては、ホームにおける事故を防止し安全に運航したい、あるいはホームにおける乗降客の混雑度合いを検知したい、といった様々な理由によりホームや乗降口付近の監視を可能とするシステムが求められている。   Conventionally, a number of systems using cameras have been proposed in order to grasp the movements of people and surrounding conditions in various applications such as stores, houses, and cars. In such a system, there is a demand for monitoring a specific area in the camera video in detail according to the scene. Especially for passenger vehicles such as buses and trains, it is possible to monitor the vicinity of the platform and the entrance / exit for various reasons such as preventing accidents at the platform and operating safely or detecting the degree of congestion of passengers at the platform. A system is needed.

このような要望に対応する為、特許文献１には、ホーム側に設置されたカメラから列車など奥行きのある被写体を斜めから監視し、遠近のある被写体を正面から捕えた画像として表示する撮像システムが開示されている。これにより、映像に映る乗客などの大きさがカメラからの距離によって変わるのを補正し、視認性を改善することを可能としている。
また、特許文献２には、旅客車両における複数の乗降口を撮影可能なカメラを用いて、乗降口近傍の領域を示す複数の部分画像を生成し、その部分画像を並べて表示する画像処理装置が開示されている。これにより、少ないカメラで乗降口付近の安全確認を適切に行うことを可能としている。
また、特許文献３においては、同様に旅客車両における複数の乗降口を撮影可能なカメラを用いて、乗降口近傍の領域を示す複数の部分画像を生成するとともに、物体が検出された乗降口付近の画像のみを表示装置に表示する画像処理装置が開示されている。これにより、安全確認が必要な乗降口のみに乗務員の注意を向けることを可能にしている。 In order to meet such a demand, Patent Document 1 discloses an imaging system that monitors a subject having a depth such as a train from a camera installed on the home side from an oblique direction, and displays a subject having a perspective from the front. Is disclosed. As a result, it is possible to correct the change in the size of a passenger or the like reflected in the video depending on the distance from the camera, thereby improving the visibility.
Further, Patent Document 2 discloses an image processing apparatus that generates a plurality of partial images indicating regions near the entrance / exit using a camera capable of photographing a plurality of entrances / exits in a passenger vehicle, and displays the partial images side by side. It is disclosed. As a result, it is possible to appropriately perform safety confirmation near the entrance / exit with a small number of cameras.
Similarly, in Patent Document 3, a plurality of partial images showing regions near the entrance / exit are generated using a camera capable of photographing a plurality of entrances / exits in the passenger vehicle, and the vicinity of the entrance / exit where the object is detected An image processing apparatus that displays only the image on the display device is disclosed. This makes it possible for the crew members to pay attention only to the entrance / exit that requires safety confirmation.

特開２００６−０３３４１８号公報JP 2006-033418 A 特開２０１２−０５４６６４号公報JP 2012-054664 A 特開２０１２−１３４８２５号公報JP 2012-134825 A

上記のように、ホームや乗降客の監視目的で様々なシステムが提案されている。例えば、旅客車両側にカメラを設置することによって、無人駅のようなカメラの設置が難しい環境においてもホームや乗降客の監視が可能となる為、非常に有用である。
しかしながら、特許文献１に記載の撮像システムにあっては、ホームに設置されたカメラの映像における視認性改善は可能であるが、列車などの旅客車両側に設置されたカメラの映像についての視認性改善については記載されていない。
また、特許文献２に記載の画像処理装置にあっては、旅客車両における複数の乗降口を撮影可能なカメラを用いており、乗降口近傍の領域を示す複数の部分画像を並べて表示することで乗降口付近の安全確保を可能としているが、乗降口近傍のみの画像としている為、ホーム全体の様子を把握することができず、例えば駆け込み乗車しようとする旅客などを視認するのが遅れてしまうことがある。
また、特許文献３に記載の画像処理装置は、乗降口付近の部分画像生成に加えて物体検出を行うことで、注意すべき乗降口のみに注意を払うことを可能としているが、特許文献２と同様、部分画像外を視認することができず、乗降口付近における急激な状態変化に対しては視認するのが遅れてしまうことがある。
このように、従来は、広い範囲に対して視認性のよい撮影画像を得ることが困難な場合があった。 As described above, various systems have been proposed for the purpose of monitoring homes and passengers. For example, by installing a camera on the passenger vehicle side, it is possible to monitor homes and passengers even in an environment where it is difficult to install a camera such as an unmanned station.
However, in the imaging system described in Patent Document 1, it is possible to improve the visibility in the image of the camera installed in the home, but the visibility of the image of the camera installed in the passenger vehicle side such as a train is possible. There is no mention of improvements.
Moreover, in the image processing apparatus described in Patent Document 2, a camera capable of photographing a plurality of entrances and exits in a passenger vehicle is used, and a plurality of partial images showing regions near the entrances and exits are displayed side by side. Although it is possible to ensure safety near the entrance / exit, it is not possible to grasp the entire home because it is an image only near the entrance / exit, for example, it is delayed to visually recognize passengers who are going to get on board Sometimes.
In addition, the image processing apparatus described in Patent Document 3 can detect an object in addition to generating a partial image in the vicinity of the entrance / exit, so that attention can be paid only to the entrance / exit where attention should be paid. Similarly, the outside of the partial image cannot be visually recognized, and the visual recognition may be delayed with respect to a sudden state change near the entrance / exit.
Thus, conventionally, it has been difficult to obtain a captured image with good visibility over a wide range.

本発明は上記の点に鑑みてなされたものであり、広い範囲に対して視認性のよい撮影画像を得ることができる画像処理装置、及び画像処理方法に関する。   The present invention has been made in view of the above points, and relates to an image processing apparatus and an image processing method capable of obtaining a captured image with high visibility over a wide range.

本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、カメラによって撮影された画像を入力する画像入力部と、特定面上の基準物体が撮影された画像において、予め定められた注目領域が前記画像の周辺部に存在する場合、前記注目領域において前記特定面に対する基準物体の前記画像上の角度が所定の角度内に収まるように、画像を補正する為の補正量を決定する補正量決定部と、前記補正量決定部が決定した前記補正量に基づいて、前記画像入力部によって入力される画像を補正する画像補正部と、を備える画像処理装置である。   The present invention has been made to solve the above problems, and one aspect of the present invention is an image input unit that inputs an image captured by a camera and an image in which a reference object on a specific surface is captured. When a predetermined region of interest exists in the periphery of the image, the image for correcting the image so that an angle on the image of the reference object with respect to the specific surface within the region of interest falls within a predetermined angle. An image processing apparatus comprising: a correction amount determination unit that determines a correction amount; and an image correction unit that corrects an image input by the image input unit based on the correction amount determined by the correction amount determination unit. .

また、本発明の一態様は、上記画像処理装置において、前記補正量決定部は、前記注目領域において前記特定面上の基準物体の前記画像上の幅が所定の幅以上の大きさになるように前記補正量を更に決定する。   According to another aspect of the present invention, in the image processing apparatus, the correction amount determination unit is configured such that a width of the reference object on the specific surface on the specific surface is greater than or equal to a predetermined width in the attention area. The correction amount is further determined.

また、本発明の一態様は、上記画像処理装置が、入力された前記画像に基づいて危険度を判定する危険度判定部を更に備え、前記補正量決定部は、前記危険度判定部によって判定される危険度に応じて前記補正量を決定する。   In one aspect of the present invention, the image processing apparatus further includes a risk determination unit that determines a risk based on the input image, and the correction amount determination unit is determined by the risk determination unit. The correction amount is determined according to the degree of risk to be performed.

また、本発明の一態様は、上記画像処理装置が、前記補正量を決定する際に利用される補正補助情報を設定する補正補助情報設定部を更に備え、前記補正量決定部は、前記補正補助情報設定部により設定された前記補正補助情報に基づいて前記補正量を決定する。   According to another aspect of the present invention, the image processing apparatus further includes a correction auxiliary information setting unit that sets correction auxiliary information used when the correction amount is determined, and the correction amount determination unit includes the correction amount determination unit. The correction amount is determined based on the correction auxiliary information set by the auxiliary information setting unit.

また、本発明の一態様は、上記情画像報処理装置において、前記補正量決定部は、前記補正量を決定する際に、前記画像の画像領域内の一部の領域を除外した領域を拡大するように前記補正量を決定する。   According to another aspect of the present invention, in the information image processing apparatus, when the correction amount determination unit determines the correction amount, an area excluding a part of the image area of the image is enlarged. The correction amount is determined as follows.

また、本発明の一態様は、カメラによって撮影された画像を入力する画像入力ステップと、特定面上の基準物体が撮影された画像において、予め定められた注目領域が前記画像の周辺部に存在する場合、前記注目領域において前記特定面に対する基準物体の前記画像上の角度が所定の角度内に収まるように、画像を補正する為の補正量を決定する補正量決定ステップと、前記補正量決定ステップによって決定された前記補正量に基づいて、前記画像入力ステップによって入力される画像を補正する画像補正ステップと、を含む画像処理方法である。   Further, according to one embodiment of the present invention, in the image input step of inputting an image captured by the camera and the image of the reference object on the specific surface, a predetermined attention area exists in the peripheral portion of the image A correction amount determining step for determining a correction amount for correcting the image so that an angle of the reference object with respect to the specific surface on the image within a predetermined angle in the region of interest falls within a predetermined angle; and the correction amount determination And an image correction step of correcting the image input in the image input step based on the correction amount determined in the step.

本発明によれば、広い範囲に対して視認性のよい撮影画像を得ることができる。   According to the present invention, it is possible to obtain a captured image with good visibility over a wide range.

第１の実施形態における画像処理装置の概略構成の一例を示すブロック図。1 is a block diagram illustrating an example of a schematic configuration of an image processing apparatus according to a first embodiment. 第１の実施形態における広角カメラの設置環境例を示す図。The figure which shows the installation environment example of the wide angle camera in 1st Embodiment. 第１の実施形態における広角カメラ撮影された画像例を示す図。The figure which shows the example of an image image | photographed by the wide angle camera in 1st Embodiment. 第１の実施形態における画像補正処理の一例を示すフローチャート。6 is a flowchart illustrating an example of image correction processing according to the first embodiment. 第１の実施形態における補正前の撮影画像の一例を示す図。The figure which shows an example of the picked-up image before correction | amendment in 1st Embodiment. 第１の実施形態における補正量について説明する図。The figure explaining the correction amount in 1st Embodiment. 第１の実施形態における補正後の補正画像の一例を示す図。The figure which shows an example of the correction | amendment image after correction | amendment in 1st Embodiment. 第２の実施形態における画像処理装置の概略構成の一例を示すブロック図。The block diagram which shows an example of schematic structure of the image processing apparatus in 2nd Embodiment. 第２の実施形態における画像補正処理の一例を示すフローチャート。9 is a flowchart illustrating an example of image correction processing according to the second embodiment. 第２の実施形態における撮影画像内の危険度の判定について説明する図。The figure explaining determination of the risk in the picked-up image in 2nd Embodiment. 第２の実施形態における補正後の補正画像の一例を示す図。The figure which shows an example of the correction | amendment image after correction | amendment in 2nd Embodiment. 第３の実施形態における画像処理装置の概略構成の一例を示すブロック図。FIG. 10 is a block diagram illustrating an example of a schematic configuration of an image processing apparatus according to a third embodiment. 第３の実施形態における画像補正処理の一例を示すフローチャート。10 is a flowchart illustrating an example of image correction processing according to the third embodiment. 第３の実施形態における注目領域の一例を示す図。The figure which shows an example of the attention area | region in 3rd Embodiment. 第３の実施形態における補正量について説明する図。The figure explaining the corrected amount in 3rd Embodiment. 第３の実施形態における広角カメラの設置環境例を示す図。The figure which shows the installation environment example of the wide angle camera in 3rd Embodiment. 第４の実施形態における画像処理装置の適用例を説明する図。FIG. 10 is a diagram illustrating an application example of an image processing apparatus according to a fourth embodiment.

以下、図面を参照して、本発明の実施形態について説明する。なお、各図面における各部の大きさ等は説明を容易とするために大小関係を誇大して記載しており、実際の大きさとは異なる。   Embodiments of the present invention will be described below with reference to the drawings. It should be noted that the size of each part in each drawing is exaggerated in terms of the magnitude relationship for ease of explanation, and is different from the actual size.

（第１の実施形態）
図１は、本発明の第１の実施形態における画像処理装置１００の概略構成の一例を示すブロック図である。画像処理装置１００は、広角カメラ１０６で撮影された撮影画像を入力する画像入力部１０１と、ユーザーによって設定されるパラメータを元に広角カメラ１０６の取り付け位置や角度などのカメラの位置情報を設定するカメラ位置設定部１０２と、広角カメラ１０６のレンズデータや、カメラ位置設定部１０２で設定されたカメラ位置情報を保持する記憶部１０３と、画像入力部１０１に入力された撮影画像を補正する際の補正量を決定する補正量決定部１０４と、補正量決定部１０４により決定された補正量に基づいて撮影画像を補正する画像補正部１０５と、を含んで構成されている。また、画像処理装置１００は、撮影画像を画像処理装置１００に出力する広角カメラ１０６と、画像処理装置１００から出力される映像出力を表示する画像表示部１０７とが接続されている。 (First embodiment)
FIG. 1 is a block diagram showing an example of a schematic configuration of an image processing apparatus 100 according to the first embodiment of the present invention. The image processing apparatus 100 sets camera position information such as an attachment position and an angle of the wide angle camera 106 based on an image input unit 101 that inputs a captured image captured by the wide angle camera 106 and parameters set by the user. When correcting the lens data of the camera position setting unit 102, the wide-angle camera 106, the storage unit 103 that stores the camera position information set by the camera position setting unit 102, and the captured image input to the image input unit 101 A correction amount determination unit 104 that determines a correction amount and an image correction unit 105 that corrects a captured image based on the correction amount determined by the correction amount determination unit 104 are configured. The image processing apparatus 100 is connected to a wide-angle camera 106 that outputs a captured image to the image processing apparatus 100 and an image display unit 107 that displays a video output output from the image processing apparatus 100.

画像処理装置１００は、ＣＰＵ（Central Processing Unit）と呼ばれる中央処理装置やＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）と呼ばれる特定用途向けＩＣ（Integrated Circuit）などの半導体部品をはじめ、ハードディスクやフラッシュメモリ、あるいはＤＲＡＭ（Dynamic Random Access Memory）といった記憶媒体などを組み合わせて構成されており、図１に示す各機能を実現する。   The image processing apparatus 100 includes semiconductor components such as a central processing unit called a CPU (Central Processing Unit), a field-programmable gate array (FPGA), and an application specific integrated circuit (ASIC) called an ASIC (Application Specific Integrated Circuit). 1 is configured by combining a storage medium such as a hard disk, flash memory, or DRAM (Dynamic Random Access Memory), and implements the functions shown in FIG.

また、広角カメラ１０６はＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子と、画角の広いレンズ（広角レンズ）をはじめとする複数の構成部品によって構成される。レンズや画角について詳しくは後述する。画像表示部１０７は、液晶や有機ＥＬ（Electro-Luminescence）といった表示デバイスを含むディスプレイ装置である。   The wide-angle camera 106 is composed of an image sensor such as a charge coupled device (CCD) and a complementary metal oxide semiconductor (CMOS) and a plurality of components including a lens with a wide angle of view (wide angle lens). Details of the lens and the angle of view will be described later. The image display unit 107 is a display device including a display device such as liquid crystal or organic EL (Electro-Luminescence).

図２は、本実施形態における広角カメラ１０６の設置環境例を示す図である。旅客車両１０８の中央付近に広角カメラ１０６が取り付けられており、旅客車両１０８には３つの乗降口１０９、１１０、１１１が存在する。なお、広角カメラ１０６は、光軸方向が乗降口１１０から一定距離だけ離れた位置を向くように、旅客車両１０８の側面に対して斜め下方に向けて取り付けられているものとする。すなわち、広角カメラ１０６の取り付け角度は、光軸方向が旅客車両１０８の側面（広角カメラ１０６が取り付けられている面）に対して鋭角となる。また、この図に示すように、広角カメラ１０６は旅客車両１０８の乗降口１１０の上部、もしくはより高い位置に設置される。このように広角カメラ１０６を設置することにより、乗降口１０９、１１０、１１１付近に加え、視認できることが望ましいホーム領域に関しても広く画像内に収めることが可能となる。また、乗降客が付近に居ても遮られることなく複数ある乗降口周辺を撮影することが可能となる。なお、複数の乗降口を可能な限り撮影する為には図２に示すように旅客車両１０８の側面の長手方向における中央付近に設置することが望ましい。画像処理装置１００は、例えば旅客車両１０８の内部に設置される。   FIG. 2 is a diagram showing an installation environment example of the wide-angle camera 106 in the present embodiment. A wide-angle camera 106 is attached near the center of the passenger vehicle 108, and the passenger vehicle 108 has three entrances 109, 110, and 111. It is assumed that the wide-angle camera 106 is attached obliquely downward with respect to the side surface of the passenger vehicle 108 so that the optical axis direction faces a position away from the entrance 110 by a certain distance. That is, the mounting angle of the wide-angle camera 106 is an acute angle with respect to the side surface of the passenger vehicle 108 (the surface on which the wide-angle camera 106 is mounted). Moreover, as shown in this figure, the wide-angle camera 106 is installed above the entrance 110 of the passenger vehicle 108 or at a higher position. By installing the wide-angle camera 106 in this way, in addition to the vicinity of the entrances 109, 110, and 111, a home area that is desirably visible can be widely included in the image. In addition, even when there are passengers in the vicinity, it is possible to take a picture of the vicinity of a plurality of entrances and exits without being blocked. In order to photograph a plurality of entrances / exits as much as possible, it is desirable to install in the vicinity of the center in the longitudinal direction of the side surface of the passenger vehicle 108 as shown in FIG. The image processing apparatus 100 is installed inside the passenger vehicle 108, for example.

図３は、この旅客車両１０８に取り付けられた広角カメラ１０６で撮影された画像例を示す図である。広角カメラ１０６は、例えば魚眼レンズを搭載した魚眼カメラであり、上下左右方向にそれぞれ約１７０度の広い画角を持つものとする。図示する撮影画像１１２には、旅客車両１０８が撮影されている。撮影画像１１２には旅客車両１０８にある乗降口１０９、１１０、１１１のすべてが映っていることからわかるように、広い領域が撮影される一方、レンズに歪が存在することから、歪の影響を受けて旅客車両１０８が本来の形から変形して撮影されている。黒線１１３は、ホームと車両の境界（隙間）部分を示している。なお、撮影画像１１２の４隅の黒い部分はレンズ視野外のため映像が撮影されていない部分である。画像処理装置１００は、この広角カメラ１０６による撮影画像１１２を入力とし、入力した撮影画像１１２を補正することによって、ホームを含めた広い範囲を視認でき、かつ乗降口付近の乗客、すなわち旅客車両１０８に出入りする人物の視認性を高めることを可能とした補正画像を生成する。   FIG. 3 is a view showing an example of an image taken by the wide-angle camera 106 attached to the passenger vehicle 108. The wide-angle camera 106 is, for example, a fish-eye camera equipped with a fish-eye lens, and has a wide angle of view of approximately 170 degrees in the vertical and horizontal directions. The passenger vehicle 108 is photographed in the photographed image 112 shown in the figure. As can be seen from the photographed image 112 that all of the entrances 109, 110, and 111 in the passenger vehicle 108 are shown, a wide area is photographed, and the distortion exists in the lens. In response, the passenger vehicle 108 is photographed while being deformed from its original shape. A black line 113 indicates a boundary (gap) portion between the home and the vehicle. Note that the black portions at the four corners of the photographed image 112 are portions where no video is photographed because they are outside the lens field of view. The image processing apparatus 100 receives the captured image 112 by the wide-angle camera 106 as input, and corrects the input captured image 112 so that a wide range including the home can be visually recognized, and passengers near the entrance / exit, that is, the passenger vehicle 108. A corrected image that can improve the visibility of a person who enters and exits is generated.

図４は、画像処理装置１００によって実行される画像補正処理の一例を示すフローチャートである。以下、この図４を参照して、本実施形態における画像補正処理の動作を説明する。
まず、広角カメラ１０６で撮影された撮影画像が画像入力部１０１に入力される（ステップＳ１０）。画像入力部１０１は、入力された撮影画像を画像補正部１０５に送る。なお、ここでは、広角カメラ１０６から直接的に撮影画像が画像入力部１０１に入力される構成を例としているが、カメラと画像処理装置１００とが有線または無線で通信接続されることにより、カメラから直接的に撮影画像が画像入力部１０１に入力されてもよいし、メモリカード等の記憶媒体を介して撮影画像が画像入力部１０１に入力されてもよい。また、画像処理装置１００の外部に設置されたサーバ装置（不図示）に保存されている撮影画像、または画像処理装置１００の内部の記憶部１０３に保存されている撮影画像が画像入力部１０１に入力されてもよい。 FIG. 4 is a flowchart illustrating an example of image correction processing executed by the image processing apparatus 100. Hereinafter, the operation of the image correction processing in the present embodiment will be described with reference to FIG.
First, a captured image captured by the wide-angle camera 106 is input to the image input unit 101 (step S10). The image input unit 101 sends the input captured image to the image correction unit 105. Note that, here, a configuration in which a captured image is directly input to the image input unit 101 from the wide-angle camera 106 is taken as an example, but the camera and the image processing apparatus 100 are connected by wired or wireless communication, so that the camera The captured image may be input directly to the image input unit 101, or the captured image may be input to the image input unit 101 via a storage medium such as a memory card. A captured image stored in a server device (not shown) installed outside the image processing apparatus 100 or a captured image stored in the storage unit 103 inside the image processing apparatus 100 is input to the image input unit 101. It may be entered.

また、補正量決定部１０４は、広角カメラ１０６のカメラ位置情報を記憶部１０３から取得する（ステップＳ１１）。補正量決定部１０４は、画像補正部１０５が画像の補正を行う際に用いる補正量を決定する際に、このカメラ位置情報を利用する。   Further, the correction amount determination unit 104 acquires camera position information of the wide-angle camera 106 from the storage unit 103 (step S11). The correction amount determination unit 104 uses this camera position information when determining the correction amount used when the image correction unit 105 corrects an image.

上述のカメラ位置情報は、カメラ位置設定部１０２によって設定される。例えば、ユーザーが不図示の操作部からカメラ位置情報、あるいはカメラ位置情報を決めるための情報をパラメータとして入力する。カメラ位置設定部１０２は、入力されたパラメータに基づいて広角カメラ１０６の取り付け位置や角度などのカメラ位置情報を設定する。なお、カメラ位置情報は、記憶媒体に記憶されているデータファイルから読み込まれてもよい。例えば、カメラ位置情報としては、基準点に対する地面からの高さのほか、左右、上下それぞれに対する広角カメラ１０６の光軸方向の角度などが含まれる。カメラ位置設定部１０２は、取り付けた広角カメラ１０６に対して各種カメラ位置情報をユーザーが実測した値を受け付け、記憶部１０３に保存する。   The above-described camera position information is set by the camera position setting unit 102. For example, the user inputs camera position information or information for determining camera position information as a parameter from an operation unit (not shown). The camera position setting unit 102 sets camera position information such as the attachment position and angle of the wide-angle camera 106 based on the input parameters. The camera position information may be read from a data file stored in the storage medium. For example, the camera position information includes not only the height from the ground with respect to the reference point, but also the angle in the optical axis direction of the wide-angle camera 106 with respect to the left, right, and top and bottom. The camera position setting unit 102 accepts values obtained by actual measurement of various camera position information by the user with respect to the attached wide-angle camera 106 and stores the values in the storage unit 103.

また、補正量決定部１０４は、カメラ位置情報を取得する他に、記憶部１０３に予め保存されている車両情報を取得する（ステップＳ１２）。車両情報とは、車両の構造に関する情報であり、例えば、図２に示す旅客車両１０８の全長、乗降口１０９、１１０、１１１の車両上の位置情報などを含む情報である。また、補正量決定部１０４は、広角カメラ１０６のレンズ情報についても記憶部１０３から取得する（ステップＳ１３）。レンズ情報とは、レンズの光学的歪に関する情報であり、実際に撮影した物体が撮像素子上のどの位置に結像するかを示す情報である。補正量決定部１０４は、記憶部１０３から取得した広角カメラ１０６のカメラ位置情報と、広角カメラ１０６のレンズ情報と、旅客車両１０８の車両情報とに基づいて、広角カメラ１０により撮影された撮影画像の補正量を決定する（ステップＳ１４）。   Further, the correction amount determination unit 104 acquires vehicle information stored in advance in the storage unit 103 in addition to acquiring camera position information (step S12). The vehicle information is information related to the structure of the vehicle, for example, information including the total length of the passenger vehicle 108 shown in FIG. 2, position information on the vehicles at the entrances 109, 110, and 111. The correction amount determination unit 104 also acquires lens information of the wide-angle camera 106 from the storage unit 103 (step S13). The lens information is information relating to optical distortion of the lens, and is information indicating at which position on the image sensor an object actually photographed is imaged. The correction amount determination unit 104 is a captured image captured by the wide-angle camera 10 based on the camera position information of the wide-angle camera 106 acquired from the storage unit 103, the lens information of the wide-angle camera 106, and the vehicle information of the passenger vehicle 108. Is determined (step S14).

ここで、図５及び図６を参照して、補正量決定部１０４によって決定される補正量とその決定方法について説明する。
図５は、広角カメラ１０６により撮影された補正前の撮影画像の一例を示す図である。図示する撮影画像１１４には、旅客車両１０８が映っており、乗降口１０９、１１０、１１１が視認できる。また、乗降口１０９、１１０、１１１のそれぞれの前でホームに立っている乗客１１５、１１６、１１７が撮影されている。ここで、乗客１１６は撮影画像１１４の中央よりに映っているが、乗客１１５、１１７は、撮影画像１１４の周辺部に映っている。そのため、乗客１１５、１１７は、レンズの光学的歪の影響により、撮影画像１１４の垂直方向に対して傾いて映っている。ここで、撮影画像１１４の垂直方向とは、図示する撮影画像１１４の底辺１１４ａに対する垂直方向である。 Here, the correction amount determined by the correction amount determination unit 104 and the determination method will be described with reference to FIGS.
FIG. 5 is a diagram illustrating an example of a captured image captured by the wide-angle camera 106 before correction. In the illustrated captured image 114, the passenger vehicle 108 is shown, and the entrances 109, 110, and 111 are visible. In addition, passengers 115, 116, and 117 standing at the platform in front of the entrances 109, 110, and 111 are photographed. Here, the passenger 116 is reflected from the center of the captured image 114, but the passengers 115 and 117 are reflected in the peripheral portion of the captured image 114. Therefore, the passengers 115 and 117 appear to be inclined with respect to the vertical direction of the captured image 114 due to the influence of optical distortion of the lens. Here, the vertical direction of the captured image 114 is a direction perpendicular to the base 114a of the captured image 114 shown in the figure.

各乗降口の前で立っている乗客１１５、１１６、１１７のそれぞれにおいて破線で示す中心線Ａ、Ｂ、Ｃは、各乗客の顔中央から両足の間の中心を結ぶ線であり、水平な地面（ホーム）に対して垂直方向の線である。中心線Ａ、Ｂ、Ｃを比較すると、中心線Ｂは撮影画像１１４の垂直方向と平行（同じ方向）であるが、中心線Ａ、Ｃは撮影画像１１４の垂直方向に対して傾いており、撮影画像１１４上の角度が異なっている。つまり、乗客１１６は撮影画像１１４の垂直方向と同じ方向にまっすぐの状態で映っているが、乗客１１５、１１７は撮影画像１１４の垂直方向に対して傾いた状態で映っている。また、ここでは、乗客１１５、１１６、１１７のそれぞれの身体の幅がほぼ同じであるものとするが、撮影画像１１４に映っている乗客１１５、１１６、１１７のそれぞれの幅Ｗ１、Ｗ２、Ｗ３を比較すると、乗客１１６の幅Ｗ２に対し、幅Ｗ１、Ｗ３の方の幅が狭い。   In each of the passengers 115, 116, and 117 standing in front of each entrance, center lines A, B, and C indicated by broken lines are lines connecting the center between each passenger's face center to both feet, A line perpendicular to (home). Comparing the center lines A, B, and C, the center line B is parallel to the vertical direction of the captured image 114 (same direction), but the center lines A and C are inclined with respect to the vertical direction of the captured image 114, The angle on the captured image 114 is different. That is, the passenger 116 is shown in a straight state in the same direction as the vertical direction of the captured image 114, but the passengers 115 and 117 are displayed in a state inclined with respect to the vertical direction of the captured image 114. Here, it is assumed that the widths of the bodies of the passengers 115, 116, and 117 are substantially the same, but the widths W1, W2, and W3 of the passengers 115, 116, and 117 shown in the captured image 114 are In comparison, the widths W1 and W3 are narrower than the width W2 of the passenger 116.

撮影画像１１４は、広角カメラ１０６に使用される魚眼レンズの特性からこのような画像となる。画像処理装置１００は、この撮影画像１１４に対し、補正量を決定し、画像の補正を行う。ここでは、乗降口１０９、１１０、１１１周辺の領域を注目領域として定義する。記憶部１０３から取得した広角カメラ１０６のカメラ位置情報と、広角カメラ１０６のレンズ情報、及び旅客車両１０８の車両情報に基づいて、広角カメラ１０６による撮影された画像上のどの位置が各乗降口の付近であるかがわかる。補正量決定部１０４は、広角カメラ１０６によって最も監視したい注目領域である乗降口付近の、画像上の位置に応じて、記憶部１０３に保持されている予め定められた複数の補正量の中から最適な補正量を決定する。   The captured image 114 is such an image due to the characteristics of the fisheye lens used in the wide-angle camera 106. The image processing apparatus 100 determines a correction amount for the captured image 114 and corrects the image. Here, the area around the entrances 109, 110, and 111 is defined as the attention area. Based on the camera position information of the wide-angle camera 106 acquired from the storage unit 103, the lens information of the wide-angle camera 106, and the vehicle information of the passenger vehicle 108, which position on the image captured by the wide-angle camera 106 is at each entrance / exit. You can see if it is nearby. The correction amount determination unit 104 selects from among a plurality of predetermined correction amounts held in the storage unit 103 according to the position on the image near the entrance / exit, which is the region of interest most desired to be monitored by the wide-angle camera 106. Determine the optimal correction amount.

図６は、レンズの光学的歪による影響を補正するための補正量について説明する図である。この図は、複数ある補正量のうちの一例であり、撮影画像１１４に対する補正量の例を示している。符号（ａ）に示す太枠は、補正前の撮影画像１１４を示している。一方、符号（ｂ）に示す太枠は、撮影画像１１４を補正した後の補正画像１１８を示している。符号（ａ）に示す撮影画像１１４上の代表点として示す各黒点の座標が、符号（ｂ）に示す補正画像１１８上に表される各黒点の座標に補正により変換される。代表する黒点のいくつかには対応関係がわかりやすいよう矢印を示している。   FIG. 6 is a diagram illustrating a correction amount for correcting the influence of the optical distortion of the lens. This figure is an example of a plurality of correction amounts, and shows an example of correction amounts for the captured image 114. A thick frame indicated by reference numeral (a) indicates a captured image 114 before correction. On the other hand, a thick frame indicated by reference numeral (b) indicates a corrected image 118 after the captured image 114 is corrected. The coordinates of each black point shown as a representative point on the photographed image 114 shown by the symbol (a) are converted into the coordinates of each black point shown on the corrected image 118 shown by the symbol (b) by correction. Some of the representative black dots are shown with arrows so that the correspondence can be easily understood.

ここで、補正画像１１８上の各黒点に対応する、補正前の撮影画像１１４上の各黒点に関する情報を補正量と定義する。この黒点で示す代表点における変換前後の座標の対応関係を元に、黒点以外の座標に関しては線形補完等の補完処理によって対応する座標が算出され、変換されることとなる。ここでは、補正画像１１８上で予め定められた代表する各黒点の座標に対応する撮影画像１１４上の座標をテーブルとして持つこととしたが、ここに示す代表点（黒点）の数に限定はなく、より多くても少なくても良く、また、補正画像１１８の全座標に対応する撮影画像１１４上の座標を示すテーブルであっても良い。代表点が多い方がデータ量は増加するが、補正後の画像はより意図に沿った画像に補正されることとなる。   Here, information regarding each black spot on the photographed image 114 before correction corresponding to each black spot on the corrected image 118 is defined as a correction amount. Based on the correspondence relationship between the coordinates before and after the conversion at the representative point indicated by the black point, for the coordinates other than the black point, the corresponding coordinates are calculated and converted by a complementary process such as linear interpolation. Here, the table has coordinates on the photographed image 114 corresponding to the coordinates of each representative black point predetermined on the corrected image 118, but the number of representative points (black points) shown here is not limited. More or less, or a table indicating coordinates on the photographed image 114 corresponding to all coordinates of the corrected image 118 may be used. The amount of data increases as the number of representative points increases, but the corrected image is corrected to an image more in line with the intention.

図４に戻り、画像補正部１０５は、補正量決定部１０４によって決定された補正量（例えば、図６を参照して説明した補正量）を用いて、撮影画像１１４の補正を行う（ステップＳ１５）。例えば、画像補正部１０５は、図６に示す補正画像１１８上の各黒点の座標の画素値を、各黒点に対応する、補正前の撮影画像１１４の座標の画素値に変換する。また、画像補正部１０５は、補正画像１１８上の黒点以外の各座標に関しては線形補完等の補完処理によって算出された、補正前の撮影画像１１４の各座標の画素値に変換する。そして、画像補正部１０５は、補正した補正画像１１８を画像表示部１０７に出力する（ステップＳ１６）。これにより、補正画像１１８が画像表示部１０７に表示される。   Returning to FIG. 4, the image correction unit 105 corrects the captured image 114 using the correction amount determined by the correction amount determination unit 104 (for example, the correction amount described with reference to FIG. 6) (step S15). ). For example, the image correcting unit 105 converts the pixel value of the coordinates of each black point on the corrected image 118 shown in FIG. 6 into the pixel value of the coordinates of the photographed image 114 before correction corresponding to each black point. Further, the image correction unit 105 converts each coordinate other than the black point on the corrected image 118 to a pixel value of each coordinate of the photographed image 114 before correction calculated by a complementing process such as linear interpolation. Then, the image correction unit 105 outputs the corrected image 118 corrected to the image display unit 107 (step S16). As a result, the corrected image 118 is displayed on the image display unit 107.

図７は、補正後の補正画像１１８の一例を示す図である。図５に示す補正前の撮影画像１１４に示す乗客１１５、１１６、１１７の中心線Ａ、Ｂ、Ｃのそれぞれは、図７に示す補正後の補正画像１１８における中心線Ａ’、Ｂ’、Ｃ’に対応する。補正前の中心線Ｂと補正後の中心線Ｂ’とは補正の前後で変わらずに画像（撮影画像１１４、補正画像１１８）の垂直方向と並行である。一方、補正前の中心線Ａと補正後の中心線Ａ’とを比較すると、補正前の中心線Ａよりも補正後の中心線Ａ’の方が画像（補正画像１１８）の垂直方向に近い角度に補正される。補正前の中心線Ｃと補正後の中心線Ｃ’との関係も同様に、補正前の中心線Ｃよりも補正後の中心線Ｃ’の方が画像（補正画像１１８）の垂直方向に近い角度に補正される。つまり、補正前の撮影画像１１４の周辺部の注目領域においては、地面（ホーム上面）に対して垂直方向となる乗客１１５、１１７の画像上の角度が所定の角度内に収まるように補正される。ここで、所定の角度内に収まるとは、例えば撮影画像１１４の中央付近に映っている乗客１１６の画像上の角度（即ち、画像上の垂直方向に対する角度）が所定の角度（±１０度、±２０度など）の範囲となることを示す。   FIG. 7 is a diagram illustrating an example of the corrected image 118 after correction. The center lines A, B, and C of the passengers 115, 116, and 117 shown in the photographed image 114 before correction shown in FIG. 5 are the center lines A ′, B ′, and C in the corrected image 118 after correction shown in FIG. Corresponds to '. The center line B before correction and the center line B ′ after correction do not change before and after the correction, and are parallel to the vertical direction of the image (the photographed image 114 and the corrected image 118). On the other hand, when comparing the center line A before correction with the center line A ′ after correction, the center line A ′ after correction is closer to the vertical direction of the image (corrected image 118) than the center line A before correction. It is corrected to an angle. Similarly, the relationship between the center line C before correction and the center line C ′ after correction is similar to the center line C ′ after correction closer to the vertical direction of the image (corrected image 118) than the center line C before correction. It is corrected to an angle. That is, in the attention area at the periphery of the captured image 114 before correction, the angle on the image of the passengers 115 and 117 that is perpendicular to the ground (the top surface of the home) is corrected to be within a predetermined angle. . Here, “within a predetermined angle” means that, for example, the angle on the image of the passenger 116 reflected in the vicinity of the center of the captured image 114 (that is, the angle with respect to the vertical direction on the image) is a predetermined angle (± 10 degrees, ± 20 degrees).

また、図５に示す補正前の撮影画像１１４に示す乗客１１５、１１６、１１７の幅Ｗ１，Ｗ２、Ｗ３のそれぞれは、図７に示す補正後の補正画像１１８における幅Ｗ１’、Ｗ２’、Ｗ３’に対応する。乗客１１５、１１７の補正後の幅Ｗ１’、Ｗ３’は、補正前の幅Ｗ１、Ｗ３より広くなり、より乗客１１５、１１７を視認しやすい画像に補正される。つまり、補正前の撮影画像１１４の周辺部の注目領域においては、地面（ホーム上面）に対して垂直方向となる乗客１１５、１１７の画像上の幅が所定の幅以上の大きさになるように補正される。ここで、所定の幅とは、例えば補正前の撮影画像１１４の中央付近に映っている乗客１１６の幅Ｗ２よりは小さく、周辺部に映っている乗客１１５、１１７の幅Ｗ１、Ｗ３よりは大きい幅である。なお、このレンズの光学的歪に対する補正を行うことで、乗客１１６の補正後の幅Ｗ２’は、逆に幅Ｗ２よりも狭くなっている。しかし、乗客１１６は元々画像の中央部分に映っており大きさも大きい為、視認性は然程損なわれない。   Further, the widths W1, W2, and W3 of the passengers 115, 116, and 117 shown in the photographed image 114 before correction shown in FIG. 5 are the widths W1 ′, W2 ′, and W3 in the corrected image 118 after correction shown in FIG. Corresponds to '. The corrected widths W1 'and W3' of the passengers 115 and 117 are wider than the uncorrected widths W1 and W3, and the passengers 115 and 117 are corrected to an image that is easier to visually recognize. That is, in the attention area in the periphery of the captured image 114 before correction, the width on the image of the passengers 115 and 117 that is perpendicular to the ground (the top surface of the home) is larger than a predetermined width. It is corrected. Here, the predetermined width is, for example, smaller than the width W2 of the passenger 116 reflected in the vicinity of the center of the photographed image 114 before correction, and larger than the widths W1 and W3 of the passengers 115 and 117 reflected in the peripheral portion. Width. By correcting the optical distortion of the lens, the corrected width W2 'of the passenger 116 is narrower than the width W2. However, since the passenger 116 is originally reflected in the center of the image and is large in size, the visibility is not deteriorated so much.

以上説明したように、本実施形態における画像処理装置１００は、画像入力部１０１と、補正量決定部１０４と、画像補正部１０５とを備えている。例えば、画像入力部１０１は、カメラによって撮影された画像を入力する。補正量決定部１０４は、特定面（例えば、地面やホーム）上の基準物体（例えば、乗客）が撮影された撮影画像において、予め定められた注目領域が撮影画像の周辺部に存在する場合、注目領域において上記特定面に対する基準物体の撮影画像上の角度（例えば、垂直）が所定の角度内に収まるように、画像を補正する為の補正量を決定する。そして、画像補正部１０５は、補正量決定部１０４が決定した補正量に基づいて、画像入力部１０１によって入力される撮影画像を補正する。   As described above, the image processing apparatus 100 according to this embodiment includes the image input unit 101, the correction amount determination unit 104, and the image correction unit 105. For example, the image input unit 101 inputs an image taken by a camera. In a captured image obtained by capturing a reference object (for example, a passenger) on a specific surface (for example, the ground or a home), the correction amount determining unit 104 is configured so that a predetermined attention area exists in the peripheral portion of the captured image. A correction amount for correcting the image is determined so that an angle (for example, vertical) of the reference object with respect to the specific surface on the captured image falls within a predetermined angle in the attention area. The image correction unit 105 corrects the captured image input by the image input unit 101 based on the correction amount determined by the correction amount determination unit 104.

これにより、画像補正部１０５は、広い範囲に対して視認性のよい撮影画像を得ることができる。例えば、画像処理装置１００は、旅客車両１０８に設置された広角カメラ１０６で撮影された撮影画像の周辺部の注目領域において、地面（ホーム）に垂直に立っている乗客がレンズの光学的歪の影響によって傾いて映っている場合、より実際に近い角度で視認できるように撮影画像を補正できる。
なお、上述の基準物体とは、特定面（例えば、地面、ホームなど）に対して垂直方向に所定の大きさを持つ物体であり、人であってもよいし、棒や箱などの物体であってもよい。 As a result, the image correction unit 105 can obtain a captured image with good visibility over a wide range. For example, in the image processing apparatus 100, a passenger standing perpendicular to the ground (home) in a region of interest in the periphery of a captured image captured by a wide-angle camera 106 installed in a passenger vehicle 108 has an optical distortion of the lens. When the image is tilted due to the influence, the captured image can be corrected so that the image can be visually recognized at a closer angle.
The above-mentioned reference object is an object having a predetermined size in a direction perpendicular to a specific surface (for example, the ground, a home, etc.), and may be a person or an object such as a stick or a box. There may be.

また、補正量決定部１０４は、注目領域において特定面（例えば、地面やホーム）上の基準物体（例えば、乗客）の撮影画像上の幅が所定の幅以上の大きさになるように上記補正量を更に決定してもよい。これにより、画像処理装置１００は、旅客車両１０８に設置された広角カメラ１０６で撮影された撮影画像の周辺部の注目領域において乗客がレンズの光学的歪の影響によって小さく映っている場合、より実際に近い大きさで視認できるように撮影画像を補正できる。   Further, the correction amount determination unit 104 performs the above correction so that the width of the reference image (for example, passenger) on the specific surface (for example, the ground or the platform) on the captured image is greater than or equal to a predetermined width in the attention area. The amount may be further determined. As a result, the image processing apparatus 100 is more practical when the passenger appears smaller due to the optical distortion of the lens in the attention area around the captured image captured by the wide-angle camera 106 installed in the passenger vehicle 108. The photographed image can be corrected so that it can be viewed with a size close to.

このように、本実施形態における画像処理装置１００は、例えば、ホームではなく旅客車両１０８に設置された広角カメラ１０６で撮影された撮影画像の周辺部の注目領域において、地面（ホーム）に垂直に立っている乗客もしくは物体がレンズの光学的歪の影響によって小さく傾いて映っている場合、より実際に近い角度や大きさで視認できるように補正できる。よって、本実施形態の画像処理装置１００によれば、広い範囲が視認可能であって、かつ特定領域（注目領域）の視認性を向上した撮影画を得ることができる。   As described above, the image processing apparatus 100 according to the present embodiment is, for example, perpendicular to the ground (home) in the attention area around the captured image captured by the wide-angle camera 106 installed in the passenger vehicle 108 instead of the home. When a standing passenger or object is slightly tilted due to the optical distortion of the lens, it can be corrected so that it can be seen at an angle or size that is closer to reality. Therefore, according to the image processing apparatus 100 of the present embodiment, it is possible to obtain a captured image in which a wide range is visible and the visibility of a specific region (region of interest) is improved.

例えば図６を参照して説明したように、補正量は、撮影画像内の各注目領域の位置に応じて複数用意されているので、撮影画像内の各注目領域において、地面に対して垂直となる基準物体の画像上の角度が予め設定された所定の角度内に収まり、かつ基準物体の幅が所定の大きさ以上になるように設定される。
よって、画像処理装置１００は、例えば注目領域だけでなく旅客車両１０８の周辺全ての領域を視認可能な死角の少ない撮影画像でありながら、撮影画像の周辺部に映っている注目領域における視認性を高めることができる。従って、画像処理装置１００は、入力された撮影画像の撮影範囲全体として見たときに、補正前に比べて視認しづらい領域が少なく視認性が高い画像とすることができる。 For example, as described with reference to FIG. 6, a plurality of correction amounts are prepared in accordance with the position of each region of interest in the captured image, so that each region of interest in the captured image is perpendicular to the ground. The reference object is set such that the angle on the image of the reference object falls within a predetermined angle set in advance and the width of the reference object is equal to or larger than a predetermined size.
Therefore, for example, the image processing apparatus 100 is a captured image with a small blind spot capable of visually recognizing not only the attention area but also all the areas around the passenger vehicle 108, and the visibility in the attention area reflected in the periphery of the captured image. Can be increased. Therefore, when viewed as the entire shooting range of the input shot image, the image processing apparatus 100 can provide an image with less visibility and higher visibility than before correction.

なお、本実施形態では、撮影画像１１４の中央部にある乗降口１１０付近から周辺部にある乗降口１０９、１１１へと周辺に行くほど補正される量が多くなるような補正量とする例を説明したが、必ずしも撮影画像１１４の周辺部付近の位置に乗降口が映っているとは限らない。複数ある補正量の中から、乗降口の位置を基準として、乗降口付近が最も視認しやすくなるよう補正量を決定することが望ましい。   In the present embodiment, the correction amount is set such that the amount of correction increases as the distance from the vicinity of the entrance / exit 110 in the center of the captured image 114 to the entrances 109 and 111 in the periphery increases. Although described, the entrance / exit is not always shown at a position near the periphery of the captured image 114. From among a plurality of correction amounts, it is desirable to determine the correction amount so that the vicinity of the entrance / exit is most visible with reference to the position of the entrance / exit.

また、広角カメラ１０６で使用される魚眼レンズには、一般的に等距離射影や立体射影と呼ばれるようないくつかの射影方式が存在し、立体射影の方がレンズ外周部の解像度が高くなるように設計される。射影方式によって、図5に示す幅Ｗ１、Ｗ２、Ｗ３の幅が変わるが、それぞれの大小関係が変わることはなく、どの射影方式においても本実施形態における画像補正処理を適用可能である。   In addition, the fish-eye lens used in the wide-angle camera 106 has several projection methods generally called equidistant projection or stereoscopic projection so that the resolution of the outer periphery of the lens is higher in stereoscopic projection. Designed. The widths W1, W2, and W3 shown in FIG. 5 vary depending on the projection method, but the magnitude relationship does not change, and the image correction process according to the present embodiment can be applied to any projection method.

本実施形態では、図６を参照して説明したように、撮影画像内の位置に応じて補正量を複数持つ例を説明したが、広角カメラ１０６の設置情報や注目領域の位置に応じて、広角カメラ１０６のレンズデータに基づいて補正量を計算しても良い。広角カメラ１０６のレンズは、レンズの射影方式に応じて歪曲特性式が決まっており、例えば立体射影であればレンズ中心からの角度に応じて、像高ｙと焦点距離ｆと入射角θ[radian]を用いて下記の式で表される。
ｙ＝２ｆ×ｔａｎ（θ/２） In the present embodiment, as described with reference to FIG. 6, an example in which a plurality of correction amounts are provided according to the position in the captured image has been described, but depending on the installation information of the wide-angle camera 106 and the position of the attention area, The correction amount may be calculated based on the lens data of the wide angle camera 106. The lens of the wide-angle camera 106 has a distortion characteristic formula determined according to the projection method of the lens. For example, in the case of stereoscopic projection, the image height y, the focal length f, and the incident angle θ [radian] according to the angle from the lens center. ] Is represented by the following formula.
y = 2f × tan (θ / 2)

画像処理装置１００は、上記のような特性式を用いて、各注目領域における基準物体がどのように撮影されるかを判断し、補正量を都度決定するようにしても良い。カメラの設置高さ、向き、角度などに加え、車両情報（注目領域の位置）がわかっていれば、その領域の各点が、どの入射角になるかがわかる為、このような画像補正処理が可能となる。この処理の場合、広角カメラ１０６の設置時に計算が必要となるが、予めテーブルとして補正量を保持する必要がないため、処理に必要なメモリ容量の低減や、補正における自由度の向上といった効果がある。   The image processing apparatus 100 may determine how to shoot the reference object in each region of interest using the characteristic equation as described above and determine the correction amount each time. In addition to the camera installation height, orientation, angle, etc., if the vehicle information (position of the area of interest) is known, it is possible to know which angle of incidence each point in that area will have, so such image correction processing Is possible. In the case of this processing, calculation is required when the wide-angle camera 106 is installed. However, since it is not necessary to store the correction amount as a table in advance, there is an effect of reducing the memory capacity required for the processing and improving the degree of freedom in correction. is there.

また、本実施形態では、画像処理装置１００は、旅客車両１０８内に設置されるものとして説明したが、旅客車両１０８の外部に設置されても良く、例えば無線通信部を広角カメラ１０６と画像処理装置１００とのそれぞれが備え、無線通信規格に沿った無線通信により接続される構成であっても良い。   In the present embodiment, the image processing apparatus 100 is described as being installed in the passenger vehicle 108. However, the image processing apparatus 100 may be installed outside the passenger vehicle 108. For example, the wireless communication unit may be connected to the wide-angle camera 106 and the image processing. Each of the devices 100 may be configured to be connected by wireless communication in accordance with a wireless communication standard.

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図８は、本実施形態における画像処理装置２００の概略構成の一例を示すブロック図である。なお、この図において、図１に示す第１の実施形態の各部と同様の機能を持つ構成には同一の符号を付しており、適宜説明を省略する。 (Second Embodiment)
Next, a second embodiment of the present invention will be described.
FIG. 8 is a block diagram illustrating an example of a schematic configuration of the image processing apparatus 200 according to the present embodiment. In this figure, components having the same functions as those in the first embodiment shown in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.

画像処理装置２００は、画像入力部１０１と、物体検出部２０１と、カメラ位置設定部１０２と、記憶部１０３と、危険度判定部２０２と、補正量決定部２０３と、画像補正部１０５とを含んで構成されており、図１に示す画像処理装置１００とは、物体検出部２０１、危険度判定部２０２、及び補正量決定部２０３の構成が相違する。   The image processing apparatus 200 includes an image input unit 101, an object detection unit 201, a camera position setting unit 102, a storage unit 103, a risk determination unit 202, a correction amount determination unit 203, and an image correction unit 105. The object detection unit 201, the risk determination unit 202, and the correction amount determination unit 203 are different from the image processing apparatus 100 illustrated in FIG.

物体検出部２０１は、画像入力部１０１に入力された撮影画像を解析して、撮影画像に映っている物体を検出する。例えば、物体検出部２０１は、撮影画像の毎フレームごとに、映像と検出した物体の座標を含む物体検出情報を危険度判定部２０２へ送る。危険度判定部２０２は、物体検出部２０１によって検出された物体の状況に応じて危険度を判定する。例えば、危険度判定部２０２は、物体検出部２０１から送られてくる物体検出情報と、記憶部１０３に記憶されているカメラ位置情報及び車両情報とに基づいて、危険度判定エリアを設定し危険度を判定する。補正量決定部２０３は、危険度判定部２０２によって判定される危険度に応じて、撮影画像を補正する際の補正量を決定する。また、画像処理装置２００には、撮影画像を画像処理装置２００に出力する広角カメラ１０６と、画像処理装置２００からの映像出力を表示する画像表示部１０７が接続されている。   The object detection unit 201 analyzes the captured image input to the image input unit 101 and detects an object shown in the captured image. For example, the object detection unit 201 sends object detection information including the image and the coordinates of the detected object to the risk determination unit 202 for each frame of the captured image. The risk determination unit 202 determines the risk according to the state of the object detected by the object detection unit 201. For example, the risk determination unit 202 sets a risk determination area based on the object detection information sent from the object detection unit 201 and the camera position information and the vehicle information stored in the storage unit 103 to set the risk. Determine the degree. The correction amount determination unit 203 determines a correction amount for correcting the captured image according to the risk level determined by the risk level determination unit 202. The image processing apparatus 200 is connected to a wide-angle camera 106 that outputs a captured image to the image processing apparatus 200 and an image display unit 107 that displays a video output from the image processing apparatus 200.

図９は、画像処理装置２００によって実行される画像補正処理の一例を示すフローチャートである。以下、この図９を参照して、本実施形態における画像補正処理の動作を説明する。   FIG. 9 is a flowchart illustrating an example of image correction processing executed by the image processing apparatus 200. Hereinafter, with reference to FIG. 9, the operation of the image correction processing in the present embodiment will be described.

まず、広角カメラ１０６で撮影された撮影画像が画像入力部１０１に入力される（ステップＳ２０）。画像入力部１０１は入力された画像を物体検出部２０１と、画像補正部１０５へ送る。   First, a captured image captured by the wide-angle camera 106 is input to the image input unit 101 (step S20). The image input unit 101 sends the input image to the object detection unit 201 and the image correction unit 105.

物体検出部２０１は、撮影画像を解析して、撮影画像内に映っている物体を検出する（ステップＳ２１）。物体検出のアルゴリズムとしては様々な手法が知られており、時間的な画像の差分データから動体を検出する背景差分やフレーム間差分手法のほか、パターンマッチングを利用した手法や、ＨＯＧ（Histograms of Oriented Gradients）特徴量を利用した人検出手法、ニューラルネットワークの一種であるディープラーニングを用いた学習手法など様々な手法がある。   The object detection unit 201 analyzes the captured image and detects an object shown in the captured image (step S21). Various methods are known as object detection algorithms. In addition to background difference and interframe difference methods that detect moving objects from temporal image difference data, pattern matching methods and HOG (Histograms of Oriented) (Gradients) There are various methods such as a human detection method using feature amounts and a learning method using deep learning which is a kind of neural network.

次に、物体検出部２０１は、撮影画像の毎フレームごとに、映像と検出した物体の座標を含む物体検出情報を危険度判定部２０２へ送る。危険度判定部２０２は、物体検出部２０１から送られてくる物体検出情報を取得するとともに、記憶部１０３からカメラ位置情報と車両情報を取得し、危険度判定エリアを設定し危険度を判定する（ステップＳ２２、Ｓ２３、Ｓ２４）。   Next, the object detection unit 201 sends object detection information including the video and the coordinates of the detected object to the risk determination unit 202 for each frame of the captured image. The risk determination unit 202 acquires the object detection information sent from the object detection unit 201, acquires camera position information and vehicle information from the storage unit 103, sets a risk determination area, and determines the risk. (Steps S22, S23, S24).

図１０は、撮影画像内の物体の検出と危険度の判定について説明する図である。図示する撮影画像２０４には、乗客２０５と乗客２０６が映っており、乗客２０５の周囲の破線２０５ａと乗客２０６の周囲の破線２０６ａとは動体として物体検出されていることを示している。ホームと旅客車両１０８の境界を示す黒線１１３と、その境界から所定の一定の距離を示す黒線２０７とで挟まれた領域を危険度判定エリアと定義する。危険度判定エリアは、予めカメラ位置設定部１０２を介してユーザーにより設定されているカメラ位置情報と車両情報を元に設定され、旅客車両１０８から一定距離の範囲、すなわち黒線１１３から予め定められた距離範囲であるものとする。この一定の距離範囲を示す実際の距離に関する情報は記憶部１０３や危険度判定部２０２の内部で保持されている。危険度判定部２０２は、物体検出部２０１から受け取る検出情報に基づいて、物体の位置及び移動の速度を算出し、危険度判定エリアに入ったか否かを判定する。なお、ここでの速度とは実際の物体の移動速度、あるいは所定の単位時間当たりの画像上の位置変化量とする。そして、危険度判定部２０２は、物体検出部２０１により検出された物体が危険度判定エリアに入ったと判定した場合、かつ、その物体の移動速度が一定の速度以上の場合には、駆け込み乗車と判断し危険度が高い（危険度高）と判定する。それ以外の場合には、危険度判定部２０２は、危険度が低い（危険度低）と判定する。危険度高と判定された場合、その物体が存在する領域が注目領域となり、その物体に注目しやすいよう撮影画像が補正される。ここで、注目しやすいような補正とは、例えば、乗客の幅や大きさがより大きくなるような補正などである。   FIG. 10 is a diagram for explaining detection of an object in a captured image and determination of the degree of risk. The photographed image 204 shown in the figure shows a passenger 205 and a passenger 206, and the broken line 205a around the passenger 205 and the broken line 206a around the passenger 206 indicate that an object is detected as a moving object. An area sandwiched between a black line 113 indicating the boundary between the home and the passenger vehicle 108 and a black line 207 indicating a predetermined fixed distance from the boundary is defined as a risk determination area. The risk determination area is set based on camera position information and vehicle information set in advance by the user via the camera position setting unit 102, and is determined in advance from a range of a certain distance from the passenger vehicle 108, that is, the black line 113. Range. Information regarding the actual distance indicating the certain distance range is held in the storage unit 103 and the risk determination unit 202. The risk determination unit 202 calculates the position of the object and the speed of movement based on the detection information received from the object detection unit 201, and determines whether or not the vehicle has entered the risk determination area. The speed here is the actual moving speed of the object or the position change amount on the image per predetermined unit time. Then, the risk determination unit 202 determines that the object detected by the object detection unit 201 has entered the risk determination area, and if the moving speed of the object is equal to or higher than a certain speed, Judgment is made and the risk is determined to be high (high risk). In other cases, the risk determination unit 202 determines that the risk is low (the risk is low). When it is determined that the degree of risk is high, the area where the object exists is the attention area, and the captured image is corrected so that the object can be easily noticed. Here, the correction that is easy to focus on is, for example, correction that increases the width and size of the passenger.

例えば、危険度判定部２０２は、検出された物体が危険度高であるか否かを判定し（ステップＳ２５）、危険度高と判定した場合（ステップＳ２５：ＹＥＳ）、その情報と危険度高と判定した物体の位置に関する情報を補正量決定部２０３に送る。補正量決定部２０３は、危険度高と判定された物体が含まれる領域に注目しやすいよう撮影画像の補正量を決定する（ステップＳ２６）。すなわち、危険度の高い領域に対して、他の領域より乗客の幅が大きく、あるいは画像に対する乗客の中心線の角度がより垂直方向に近い角度になるように補正量を決定する。一方、危険度判定部２０２は、危険度低と判定した場合（ステップＳ２５：ＮＯ）、第１の実施形態と同様に、カメラ位置情報と、レンズ情報と、旅客車両１０８の車両情報とに基づいて、撮影画像の補正量を決定する（ステップＳ２７）。   For example, the risk determination unit 202 determines whether or not the detected object has a high risk (step S25). If it is determined that the risk is high (step S25: YES), the information and the high risk are determined. Is sent to the correction amount determination unit 203. The correction amount determination unit 203 determines the correction amount of the captured image so that it is easy to focus on a region including an object determined to have a high degree of risk (step S26). That is, the correction amount is determined so that the passenger's width is larger than that of the other areas, or the angle of the passenger's center line with respect to the image is closer to the vertical direction with respect to the high risk area. On the other hand, when it is determined that the risk level is low (step S25: NO), the risk level determination unit 202 is based on the camera position information, the lens information, and the vehicle information of the passenger vehicle 108, as in the first embodiment. Then, the correction amount of the photographed image is determined (step S27).

画像補正部１０５は、補正量決定部２０３によって決定された補正量に基づいて、撮影画像の補正を行う（ステップＳ２８）。そして、画像補正部１０５は、補正した補正画像を画像表示部１０７に出力する（ステップＳ２９）。これにより、補正画像が画像表示部１０７に表示される。   The image correction unit 105 corrects the captured image based on the correction amount determined by the correction amount determination unit 203 (step S28). Then, the image correction unit 105 outputs the corrected image that has been corrected to the image display unit 107 (step S29). As a result, the corrected image is displayed on the image display unit 107.

図１１は、本実施形態における画像補正処理による補正後の補正画像の一例を示す図である。図示する補正画像２０８では、乗客２０５が駆け込み乗車をしようとしており危険度高と判定されている場合を想定する。乗客２０５、２０６のそれぞれにおいて破線で示す中心線Ａ、Ｂは、地面（ホーム）に対して垂直な方向を示しており、補正後では補正前に比べ画像上の垂直方向に近い角度に補正されている。また、乗客２０５、２０６の画像上の身体の幅を比較すると、乗客２０５の幅Ｗ１の方が乗客２０６の幅Ｗ２よりも広くなるように補正されており、危険度の高い部分がより視認しやすくなっている。   FIG. 11 is a diagram illustrating an example of a corrected image after correction by the image correction processing in the present embodiment. In the corrected image 208 shown in the figure, it is assumed that the passenger 205 is about to rush and get on and it is determined that the risk level is high. Center lines A and B indicated by broken lines in each of the passengers 205 and 206 indicate directions perpendicular to the ground (home), and are corrected to an angle closer to the vertical direction on the image than before correction. ing. Further, when comparing the width of the body on the images of the passengers 205 and 206, the width W1 of the passenger 205 is corrected so as to be wider than the width W2 of the passenger 206, so that the high-risk portion is more visually recognized. It has become easier.

以上説明したように、本実施形態における画像処理装置２００は、入力された撮影画像に基づいて危険度を判定する危険度判定部２０２を備えており、危険度判定部２０２によって判定される危険度に応じて撮影画像を補正する補正量を決定する。
これにより、画像処理装置２００は、危険度の高い物体をより視認しやすいように撮影画像を補正することができる。例えば、画像処理装置２００は、撮影画像内の旅客車両１０８の周辺において物体検出を行い、危険度を判定し、判定した危険度に応じて補正量を変えることにより、旅客車両１０８の周辺の広い範囲を見やすい画像で監視することを可能にしつつ、危険な領域について特に視認しやすく、注目しやすくすることができる。従って、旅客車両１０８の周辺の監視人は、危険な状況をいち早く正確に把握することが可能となる。 As described above, the image processing apparatus 200 according to the present embodiment includes the risk determination unit 202 that determines the risk based on the input captured image, and the risk determined by the risk determination unit 202. The correction amount for correcting the captured image is determined according to the above.
As a result, the image processing apparatus 200 can correct the captured image so that an object with a high degree of risk can be more visually recognized. For example, the image processing apparatus 200 detects an object in the vicinity of the passenger vehicle 108 in the captured image, determines the risk level, and changes the correction amount according to the determined risk level, thereby widening the periphery of the passenger vehicle 108. While making it possible to monitor the range with an easy-to-view image, it is particularly easy to visually recognize and pay attention to a dangerous area. Therefore, the monitor around the passenger vehicle 108 can quickly and accurately grasp the dangerous situation.

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図１２は、本実施形態における画像処理装置３００の概略構成の一例を示すブロック図である。なお、この図において、図１、８に示す第１、２の実施形態の各部と同様の機能を持つ構成には同一の符号を付しており、適宜説明を省略する。 (Third embodiment)
Next, a third embodiment of the present invention will be described.
FIG. 12 is a block diagram illustrating an example of a schematic configuration of the image processing apparatus 300 according to the present embodiment. In this figure, components having the same functions as those in the first and second embodiments shown in FIGS. 1 and 8 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.

画像処理装置３００は、画像入力部１０１と、注目領域設定部３０１と、記憶部１０３と、補正補助情報設定部３０２と、補正量決定部３０３と、画像補正部１０５とを含んで構成されており、図１に示す画像処理装置１００及び図８に示す画像処理装置２００とは、注目領域設定部３０１、補正補助情報設定部３０２、及び補正量決定部３０３の構成が相違する。   The image processing apparatus 300 includes an image input unit 101, an attention area setting unit 301, a storage unit 103, a correction auxiliary information setting unit 302, a correction amount determination unit 303, and an image correction unit 105. The image processing apparatus 100 shown in FIG. 1 and the image processing apparatus 200 shown in FIG. 8 are different in the configuration of the attention area setting unit 301, the correction auxiliary information setting unit 302, and the correction amount determination unit 303.

注目領域設定部３０１は、ユーザーからの指示に従って注目領域を設定し、注目領域に関する情報を記憶部１０３に記憶させる。補正補助情報設定部３０２は、補正時の補正量を決定する際に利用される補正補助情報を設定して記憶部１０３に記憶させる。補正補助情報について詳しくは後述する。補正量決定部３０３は、注目領域設定部３０１によって設定された注目領域に関する情報と、補正補助情報設定部３０２によって設定された補正補助情報とに基づいて、撮影画像を補正する際の補正量を決定する。また、画像処理装置３００には、撮影画像を画像処理装置３００に出力する広角カメラ１０６と、画像処理装置３００からの映像出力を表示する画像表示部１０７が接続されている。   The attention area setting unit 301 sets an attention area in accordance with an instruction from the user, and causes the storage unit 103 to store information regarding the attention area. The correction auxiliary information setting unit 302 sets correction auxiliary information used when determining the correction amount at the time of correction, and stores the correction auxiliary information in the storage unit 103. Details of the auxiliary correction information will be described later. The correction amount determination unit 303 determines the correction amount for correcting the captured image based on the information regarding the attention region set by the attention region setting unit 301 and the correction auxiliary information set by the correction auxiliary information setting unit 302. decide. The image processing apparatus 300 is connected to a wide-angle camera 106 that outputs a captured image to the image processing apparatus 300 and an image display unit 107 that displays a video output from the image processing apparatus 300.

図１３は、画像処理装置３００によって実行される画像補正処理の一例を示すフローチャートである。以下、この図１３を参照して、本実施形態における画像補正処理の動作を説明する。   FIG. 13 is a flowchart illustrating an example of image correction processing executed by the image processing apparatus 300. Hereinafter, the operation of the image correction processing in the present embodiment will be described with reference to FIG.

まず、広角カメラ１０６で撮影された撮影画像が画像入力部１０１に入力される（ステップＳ３０）。画像入力部１０１は入力された画像を画像補正部１０５へ送る。補正量決定部３０３は、記憶部１０３から注目領域に関する情報と、補正補助情報を取得する（ステップＳ３１、Ｓ３２）。   First, a captured image captured by the wide-angle camera 106 is input to the image input unit 101 (step S30). The image input unit 101 sends the input image to the image correction unit 105. The correction amount determination unit 303 acquires information on the attention area and correction auxiliary information from the storage unit 103 (steps S31 and S32).

ここで、注目領域について説明する。注目領域は、旅客車両１０８の車掌など監視を行うユーザーが、予め旅客車両１０８に設置した広角カメラ１０６で撮影された撮影画像を元に、撮影画像を画像表示部１０７で見ながら画像上の位置で指定され、注目領域設定部３０１を介して設定されているものとする。図１４は、撮影画像においてユーザーにより設定された注目領域の一例を示す図である。図示する撮影画像３０４において、斜線で示す領域３０５、３０６、３０７が注目領域である。ここでは、乗降口付近が注目領域として設定されている。   Here, the attention area will be described. The attention area is a position on the image while the user who monitors the conductor of the passenger vehicle 108, for example, looks at the image display unit 107 based on the captured image captured by the wide-angle camera 106 installed on the passenger vehicle 108. And set through the attention area setting unit 301. FIG. 14 is a diagram illustrating an example of an attention area set by a user in a captured image. In the photographed image 304 shown in the figure, areas 305, 306, and 307 indicated by diagonal lines are attention areas. Here, the vicinity of the entrance / exit is set as the attention area.

このように、第１、２の実施形態で説明したように車両情報を元に乗降口周辺を注目領域として特定し、補正量を決定する方法以外に、広角カメラ１０６で撮影された撮影画像から注目領域を指定して補正量を決定することも可能である。このようにすることで、旅客車両１０８への広角カメラ１０６の取り付け位置などの情報を予め測定して記憶することなく、注目領域の特定が可能になる。   In this way, as described in the first and second embodiments, in addition to the method of identifying the vicinity of the entrance / exit as the attention area based on the vehicle information and determining the correction amount, from the captured image captured by the wide-angle camera 106. It is also possible to specify a region of interest and determine the correction amount. In this way, it is possible to specify the region of interest without measuring and storing in advance information such as the attachment position of the wide-angle camera 106 to the passenger vehicle 108.

次に、補正補助情報について説明する。補正補助情報とは、補正量を決定する際に参照される情報であり、例えば、旅客車両１０８の運行情報である。運行情報とは、旅客車両１０８の現在の状況を特定する為の情報である。例えば、運行情報は、「走行中」、「乗降口閉鎖」、「乗降口開放」、「乗降口開閉前後」などの情報である。「走行中」は、旅客車両１０８が通常の走行（所定の速度以上で走行）をしている状況と定義する。「乗降口閉鎖」は、乗降口が閉じている状況と定義する。「乗降口開放」は駅のホームや停留所等で乗降口が開けられ、乗客が乗り降りする状況と定義する。「乗降口開閉前後」は、駅のホーム等に旅客車両１０８が停車する直前から停車後乗降口を開けるまで、もしくは乗降口を閉じる一定時間前から乗降口を閉じ、車両が通常走行の速度に達するまでと定義する。   Next, correction auxiliary information will be described. The correction auxiliary information is information that is referred to when determining the correction amount, for example, operation information of the passenger vehicle 108. The operation information is information for specifying the current situation of the passenger vehicle 108. For example, the operation information is information such as “running”, “entrance / exit closure”, “entrance / exit opening”, “before / after entrance / exit”. “Running” is defined as a situation in which the passenger vehicle 108 is traveling normally (traveling at a predetermined speed or higher). “Entrance / gate closure” is defined as a situation where the entrance / exit is closed. “Opening / exiting” is defined as a situation where passengers get on and off at the platform or stop of a station. “Before and after opening / closing the entrance / exit” means that the passenger vehicle 108 stops at the platform of the station, etc., until the entrance / exit is opened after the stop or until a certain time before the entrance / exit is closed. Define until it reaches.

なお、これらの運行情報の定義は一例であり、走行状態や乗降口の開閉状態等と関連する情報であればどのような情報であっても良い。また、補正補助情報は、運行情報に限らず他の情報であってもよい。例えば、補正補助情報は、通勤時間帯であるか否かの情報や、平日または土日や祝日であるかの情報、単に時刻や時間帯の情報、季節の情報、旅客車両１０８の編成車両数や車両の仕様などの情報が含まれてもよい。   In addition, the definition of these operation information is an example, and what kind of information may be sufficient if it is information relevant to a driving | running | working state, the opening / closing state of a boarding / alighting gate, etc. Further, the correction auxiliary information is not limited to the operation information, and may be other information. For example, the correction auxiliary information includes information on whether or not it is a commuting time zone, information on whether it is a weekday, weekend or public holiday, simply time or time zone information, season information, the number of trained vehicles of the passenger vehicle 108, Information such as vehicle specifications may be included.

補正補助情報設定部３０２は、事前にユーザーからの指示によって、時刻と対応づけて運行情報を記憶部１０３に保存する。なお、補正補助情報設定部３０２は、旅客車両１０８に搭載された各種センサの状態により運行情報を判定し、記憶部１０３に保持してもよい。   The correction auxiliary information setting unit 302 stores operation information in the storage unit 103 in association with time according to an instruction from the user in advance. The correction auxiliary information setting unit 302 may determine operation information based on the state of various sensors mounted on the passenger vehicle 108 and may store the operation information in the storage unit 103.

補正量決定部３０３は、上述の注目領域と運行情報とに基づいて、撮影画像の補正量を決定する（図１３のステップＳ３３）。例えば、記憶部１０３には、注目領域に関して、撮影画像内の各領域において地面に垂直に立つ基準物体の画像上の角度が所定の角度内に収まり、かつ所定の大きさ以上になるような補正量が定義された複数の補正テーブルが予め保持されており、補正量決定部３０３は、記憶部１０３に予め保持されている複数の補正テーブルを抽出する。更に、補正量決定部３０３は、運行情報に基づいて、複数の補正テーブルの中から１つの補正テーブルを選択する。例えば、運行情報が「乗降口開放」であった場合、乗客が安全に乗降しているかどうかを確認するため、乗降口周辺が良く見えることが重要である。そのため、運行情報が「乗降口開放」であった場合、例えば図１５に示すような補正量とする。   The correction amount determination unit 303 determines the correction amount of the captured image based on the above-described attention area and operation information (step S33 in FIG. 13). For example, the storage unit 103 corrects the attention area so that the angle on the image of the reference object standing perpendicular to the ground in each area in the captured image is within a predetermined angle and is greater than or equal to a predetermined size. A plurality of correction tables in which amounts are defined are held in advance, and the correction amount determination unit 303 extracts a plurality of correction tables held in advance in the storage unit 103. Furthermore, the correction amount determination unit 303 selects one correction table from a plurality of correction tables based on the operation information. For example, when the operation information is “open / exit opening”, it is important that the vicinity of the entrance / exit is clearly visible in order to check whether the passenger is getting on / off safely. Therefore, when the operation information is “opening / exit opening”, for example, a correction amount as shown in FIG. 15 is set.

図１５は、本実施形態における補正量について説明する図である。符号（ａ）に示す撮影画像３０４と、符号（ｂ）に示す補正画像３０８は、前述の図６と同じく補正前後の画像であり、各黒点は補正前後の対応関係を示している。撮影画像３０４において画像上部の符号Ｌで示す領域には、図６に示す撮影画像１１４の例とは異なり、対応する黒点が存在しない。この為、補正後の補正画像３０８では補正前の撮影画像３０４の画像上部が削除されることになる。   FIG. 15 is a diagram for explaining the correction amount in the present embodiment. The captured image 304 indicated by reference numeral (a) and the corrected image 308 indicated by reference numeral (b) are images before and after correction as in FIG. 6 described above, and each black dot indicates a correspondence relationship before and after correction. Unlike the example of the photographed image 114 shown in FIG. 6, the corresponding black spot does not exist in the region indicated by the symbol L at the top of the photographed image 304. For this reason, in the corrected image 308 after correction, the upper part of the photographed image 304 before correction is deleted.

図１６は、旅客車両１０８における広角カメラ１０６の設置環境例を示す図であり、旅客車両１０８の正面から見た図である。図示する破線１０６ａと破線１０６ｂとのなす角１０６ｃは、広角カメラ１０６における画像上下方向の画角（垂直画角）を示している。また、実線３０９、３１０は、それぞれ広角カメラ１０６の画角内において上下方向の２種類の角度範囲を示している。広角カメラ１０６の取り付け角度は、光軸方向が車両の側面に対して鋭角となっている。実線３０９で示す角度範囲は、駅のホームであれば天井付近等を撮影する範囲であり、ホームの監視用途としては不要な場合が多い。また実線３１０で示す角度範囲は、ホームの遠方に対応する範囲であり、状況によっては不要なこともある。そのため、広角カメラ１０６で撮影した撮影画像のうち実線３０９や実線３１０で示す範囲は除いた画像を表示した方が、ホームの監視には適する場合がある。このようにすることで、限られた表示領域において、視認したい領域をより効果的に視認可能にすることができる。   FIG. 16 is a diagram illustrating an installation environment example of the wide-angle camera 106 in the passenger vehicle 108, as viewed from the front of the passenger vehicle 108. An angle 106c formed by a broken line 106a and a broken line 106b shown in the figure indicates an angle of view (vertical angle of view) in the vertical direction of the image in the wide-angle camera 106. Solid lines 309 and 310 indicate two types of vertical angle ranges within the angle of view of the wide-angle camera 106, respectively. The mounting angle of the wide-angle camera 106 is an acute angle with respect to the side surface of the vehicle in the optical axis direction. The angle range indicated by the solid line 309 is a range in which the vicinity of the ceiling or the like is photographed in the case of a station platform, and is often unnecessary for home monitoring purposes. The angle range indicated by the solid line 310 is a range corresponding to the distance from the home, and may be unnecessary depending on the situation. For this reason, it may be more suitable for home monitoring to display an image taken by the wide-angle camera 106 except for the range indicated by the solid line 309 or the solid line 310. By doing in this way, in the limited display area, the area to be visually recognized can be made visible more effectively.

図１５に示す符号Ｌで示す領域、即ち補正後に削除される領域は、図１６における実線３０９と実線３１０に相当する領域であるとする。これは、前述のように「乗降口開放」の場合は乗降口付近が最も重要である為である。これにより、乗降口付近が拡大表示されるので、乗降口付近の視認性がより高くなる。なお、運行情報が「乗降口開放」以外の場合には、補正量は第１の実施形態で図６を参照して説明した補正量と同様であるとしてもよい。これにより、画像処理装置３００は、ホーム全体の監視ができ、乗降口から離れた部分からの駆け込みなども視認可能である。   The area indicated by the symbol L shown in FIG. 15, that is, the area deleted after correction, is assumed to be an area corresponding to the solid line 309 and the solid line 310 in FIG. This is because, as described above, the vicinity of the entrance / exit is the most important in the case of “opening at the entrance / exit”. Thereby, since the vicinity of the entrance / exit is displayed in an enlarged manner, the visibility near the entrance / exit becomes higher. When the operation information is other than “opening at the entrance / exit”, the correction amount may be the same as the correction amount described with reference to FIG. 6 in the first embodiment. As a result, the image processing apparatus 300 can monitor the entire home, and can also visually recognize a run-in from a part away from the entrance / exit.

図１４に戻り、補正量が決定した後の処理を説明する。画像補正部１０５は、補正量決定部３０３によって決定された補正量を取得する（ステップＳ３４）。そして、画像補正部１０５は、取得した補正量に基づいて撮影画像の補正を行った後（ステップＳ３５）、画像表示部１０７に出力する（ステップＳ３６）。これにより、補正画像が画像表示部１０７に表示される。   Returning to FIG. 14, the processing after the correction amount is determined will be described. The image correction unit 105 acquires the correction amount determined by the correction amount determination unit 303 (step S34). The image correction unit 105 corrects the captured image based on the acquired correction amount (step S35), and then outputs the correction to the image display unit 107 (step S36). As a result, the corrected image is displayed on the image display unit 107.

以上説明したように、本実施形態における画像処理装置３００は、補正量を決定する際に利用される補正補助情報を設定する補正補助情報設定部３０２を更に備えている。そして、補正量決定部３０３は、補正補助情報設定部３０２により設定された補正補助情報（例えば、運行情報）に基づいて撮影画像に対する補正量を決定する。   As described above, the image processing apparatus 300 according to the present embodiment further includes the correction auxiliary information setting unit 302 that sets the correction auxiliary information used when determining the correction amount. Then, the correction amount determination unit 303 determines the correction amount for the captured image based on the correction auxiliary information (for example, operation information) set by the correction auxiliary information setting unit 302.

これにより、画像処理装置３００は、例えば、運行情報に基づいて補正することにより、「走行中」、「乗降口閉鎖」、「乗降口開放」、「乗降口開閉前後」などの旅客車両１０８の状態に応じて撮影画像を適切に補正することができる。例えば、画像処理装置３００は、運行情報に基づいて撮影画像の画像領域のうち上下方向についての表示範囲も補正によって制御することにより、状況に応じて視認したい領域をより拡大表示することも可能であるため、視認性の高い映像を提供することが可能となる。すなわち、画像処理装置３００は、例えばホームで旅客車両１０８に乗客が安全に乗降しているかどうかを確認するための撮影画像において、視認したい領域をより効果的に視認可能にすることができる。   As a result, the image processing apparatus 300 corrects the passenger vehicle 108 such as “running”, “entrance / exit closure”, “entrance / exit opening”, “before / after exit / exit opening / closing”, for example, by correcting based on the operation information. The captured image can be appropriately corrected according to the state. For example, the image processing apparatus 300 can also enlarge and display an area desired to be visually recognized according to the situation by controlling the display range in the vertical direction of the image area of the captured image based on the operation information. Therefore, it is possible to provide an image with high visibility. That is, for example, the image processing apparatus 300 can more effectively visually recognize a region to be visually recognized in a captured image for confirming whether passengers are safely getting on and off the passenger vehicle 108 at home.

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。本実施形態では、第１〜第３の実施形態の画像処理装置１００、２００、３００を旅客車両以外へ適用した例を説明する。本実施形態における画像処理装置の構成及び動作については、前述の画像処理装置１００、２００、３００と同様であるものとし、詳細についての説明を省略する。画像処理装置１００、２００、３００のいずれも適用することができるが、本実施形態における画像処理装置のことを、以下では代表して画像処理装置１００と記述する。 (Fourth embodiment)
Next, a fourth embodiment of the present invention will be described. In the present embodiment, an example in which the image processing apparatuses 100, 200, and 300 according to the first to third embodiments are applied to a vehicle other than a passenger vehicle will be described. The configuration and operation of the image processing apparatus according to this embodiment are the same as those of the image processing apparatuses 100, 200, and 300 described above, and a detailed description thereof is omitted. Although any of the image processing apparatuses 100, 200, and 300 can be applied, the image processing apparatus in the present embodiment will be described as a representative image processing apparatus 100 below.

図１７は、本実施形態における画像処理装置の適用例を説明する図であり、店舗向けとして適用する場合の例を示す。図示する店舗４００には、店舗４００を利用する人物（以下、「利用客」ともいう）が出入り可能な複数の出入口４０１、４０２がある。広角カメラ１０６は、そのうちのひとつの出入口４０２の上方に設置されている。出入口４０１、４０２のそれぞれの外側付近において破線４０３で囲まれた領域と破線４０４で囲まれた領域とは、ユーザーである店舗４００の店員によって設定された注目領域を示している。   FIG. 17 is a diagram for explaining an application example of the image processing apparatus in the present embodiment, and shows an example of application to a store. The illustrated store 400 includes a plurality of entrances 401 and 402 through which persons using the store 400 (hereinafter also referred to as “customers”) can enter and exit. The wide-angle camera 106 is installed above one of the entrances 402. A region surrounded by a broken line 403 and a region surrounded by a broken line 404 in the vicinity of the outside of each of the entrances 401 and 402 indicate attention areas set by the store clerk of the store 400 as a user.

このように、例えば出入口が複数あるような店舗４００においても、旅客車両１０８の場合と同様に出入口をすべて撮影出来るように広角カメラ１０６を設置し、画像処理装置１００、２００、３００が広角カメラ１０６により撮影された撮影画像を補正することで、広い範囲に対して視認性のよい撮影画像を得ることができる。   As described above, for example, in the store 400 having a plurality of entrances and exits, the wide-angle camera 106 is installed so that all the entrances and exits can be photographed as in the case of the passenger vehicle 108, and the image processing apparatuses 100, 200, and 300 are By correcting the photographed image taken by the above, a photographed image with good visibility can be obtained over a wide range.

なお、上記第３の実施形態のように補正補助情報を用いる場合、店舗４００における補正補助情報とは、例えば時間ごとの出入口の利用客数に関する統計データなどである。この場合、例えば、画像処理装置３００は、時間帯に応じ、より利用客の多い出入口付近の注目領域を拡大するように補正することができる。このようにすることで、利用客の多い出入口付近をより鮮明に視認可能とすることができる。   In addition, when using correction | amendment auxiliary information like the said 3rd Embodiment, the correction | amendment auxiliary information in the shop 400 is the statistical data regarding the number of customers of the entrance / exit for every time, etc., for example. In this case, for example, the image processing apparatus 300 can perform correction so as to enlarge the attention area near the entrance / exit where there are more users according to the time zone. By doing in this way, the vicinity of the entrance / exit with many users can be visually recognized more clearly.

なお、本実施形態において、広角カメラ１０６の設置位置は出入口４０２の上方としたが、例えば出入りが多いメインの入り口付近にすることで、その出入口付近は画像の左右方向において中央付近に映り、鮮明に視認しやすい。また、すべての出入口の視認性を考慮するのであれば、両端に位置する出入口の中央付近にすることが望ましい。このようにすると、すべての出入口に対する視認性を確保しやすい。   In the present embodiment, the installation position of the wide-angle camera 106 is set above the entrance / exit 402. However, for example, by setting it near the main entrance where there are many entrances / exits, the vicinity of the entrance / exit is reflected near the center in the left-right direction of the image. Easy to see. Moreover, if the visibility of all the entrances is taken into consideration, it is desirable to make it near the center of the entrances located at both ends. If it does in this way, it will be easy to ensure the visibility to all the entrances and exits.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第１〜４の実施形態において説明した各構成は、任意に組み合わせることができる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to the above-described embodiment, and includes a design and the like within a scope not departing from the gist of the present invention. For example, the configurations described in the first to fourth embodiments can be arbitrarily combined.

なお、上述した実施形態における画像処理装置１００、２００、３００の少なくとも一部の機能をコンピュータで実現するようにしても良い。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像処理装置１００、２００、３００に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。   Note that at least some of the functions of the image processing apparatuses 100, 200, and 300 in the above-described embodiments may be realized by a computer. In that case, a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read into a computer system and executed. The “computer system” herein is a computer system built in the image processing apparatuses 100, 200, and 300, and includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” is a medium that dynamically holds a program for a short time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line, In such a case, a volatile memory inside a computer system serving as a server or a client may be included and a program that holds a program for a certain period of time. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.

また、上述した実施形態における画像処理装置１００、２００、３００の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。また、画像処理装置１００、２００、３００の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。   Further, part or all of the image processing apparatuses 100, 200, and 300 in the above-described embodiments may be realized as an integrated circuit such as an LSI (Large Scale Integration). Each functional block of the image processing apparatuses 100, 200, and 300 may be individually made into a processor, or a part or all of them may be integrated into a processor. Further, the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. In addition, when an integrated circuit technology that replaces LSI appears due to the advancement of semiconductor technology, an integrated circuit based on the technology may be used.

１００ 画像処理装置、１０１ 画像入力部、１０２ カメラ位置設定部、１０３ 記憶部、１０４，２０３，３０３ 補正量決定部、１０５ 画像補正部、１０６ 広角カメラ、１０７ 画像表示部、２０１ 物体検出部、２０２ 危険度判定部、３０１ 注目領域設定部、３０２ 補正補助情報設定部   DESCRIPTION OF SYMBOLS 100 Image processing apparatus 101 Image input part 102 Camera position setting part 103 Storage part 104,203,303 Correction amount determination part 105 Image correction part 106 Wide angle camera 107 Image display part 201 Object detection part 202 Risk level determination unit, 301 attention area setting unit, 302 correction auxiliary information setting unit

Claims (6)

カメラによって撮影された画像を入力する画像入力部と、
特定面上の基準物体が撮影された画像において、予め定められた注目領域が前記画像の周辺部に存在する場合、前記注目領域において前記特定面に対する基準物体の前記画像上の角度が所定の角度内に収まるように、画像を補正する為の補正量を決定する補正量決定部と、
前記補正量決定部が決定した前記補正量に基づいて、前記画像入力部によって入力される画像を補正する画像補正部と、
を備える画像処理装置。 An image input unit for inputting an image taken by the camera;
In an image in which a reference object on a specific surface is captured, when a predetermined attention area exists in the periphery of the image, an angle on the image of the reference object with respect to the specific surface in the attention area is a predetermined angle. A correction amount determination unit that determines a correction amount for correcting the image so as to be within the range,
An image correction unit that corrects an image input by the image input unit based on the correction amount determined by the correction amount determination unit;
An image processing apparatus comprising: 前記補正量決定部は、
前記注目領域において前記特定面上の基準物体の前記画像上の幅が所定の幅以上の大きさになるように前記補正量を更に決定する、
請求項１に記載の画像処理装置。 The correction amount determination unit
Further determining the correction amount such that a width of the reference object on the specific surface on the specific area in the region of interest is greater than or equal to a predetermined width;
The image processing apparatus according to claim 1. 入力された前記画像に基づいて危険度を判定する危険度判定部を更に備え、
前記補正量決定部は、
前記危険度判定部によって判定される危険度に応じて前記補正量を決定する、
請求項１または請求項２に記載の画像処理装置。 A risk determination unit that determines a risk based on the input image;
The correction amount determination unit
Determining the correction amount according to the risk determined by the risk determination unit;
The image processing apparatus according to claim 1. 前記補正量を決定する際に利用される補正補助情報を設定する補正補助情報設定部を更に備え、
前記補正量決定部は、
前記補正補助情報設定部により設定された前記補正補助情報に基づいて前記補正量を決定する、
請求項１または請求項２に記載の画像処理装置。 A correction auxiliary information setting unit for setting correction auxiliary information used when determining the correction amount;
The correction amount determination unit
Determining the correction amount based on the correction auxiliary information set by the correction auxiliary information setting unit;
The image processing apparatus according to claim 1. 前記補正量決定部は、
前記補正量を決定する際に、前記画像の画像領域内の一部の領域を除外した領域を拡大するように前記補正量を決定する、
請求項１から請求項４のいずれか一項に記載の画像処理装置。 The correction amount determination unit
When determining the correction amount, the correction amount is determined so as to enlarge an area excluding a part of the image area of the image;
The image processing apparatus according to any one of claims 1 to 4. カメラによって撮影された画像を入力する画像入力ステップと、
特定面上の基準物体が撮影された画像において、予め定められた注目領域が前記画像の周辺部に存在する場合、前記注目領域において前記特定面に対する基準物体の前記画像上の角度が所定の角度内に収まるように、画像を補正する為の補正量を決定する補正量決定ステップと、
前記補正量決定ステップによって決定された前記補正量に基づいて、前記画像入力ステップによって入力される画像を補正する画像補正ステップと、
を含む画像処理方法。 An image input step for inputting an image taken by the camera;
In an image in which a reference object on a specific surface is captured, when a predetermined attention area exists in the periphery of the image, an angle on the image of the reference object with respect to the specific surface in the attention area is a predetermined angle. A correction amount determining step for determining a correction amount for correcting the image so as to be within the range,
An image correction step for correcting the image input by the image input step based on the correction amount determined by the correction amount determination step;
An image processing method including:

Images