JP6587253B2 - 画像処理装置、及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、及び画像処理方法に関する。

従来から、店舗や住宅、車など様々な用途で、人の動きや周辺の状態を把握する為に、カメラを使用した数多くのシステムが提案されている。そのようなシステムにおいて、シーンに応じてカメラ映像内の特定の領域を詳細に監視したいという要求がある。特に、バスや電車といった旅客車両においては、ホームにおける事故を防止し安全に運航したい、あるいはホームにおける乗降客の混雑度合いを検知したい、といった様々な理由によりホームや乗降口付近の監視を可能とするシステムが求められている。

このような要望に対応する為、特許文献１には、ホーム側に設置されたカメラから列車など奥行きのある被写体を斜めから監視し、遠近のある被写体を正面から捕えた画像として表示する撮像システムが開示されている。これにより、映像に映る乗客などの大きさがカメラからの距離によって変わるのを補正し、視認性を改善することを可能としている。
また、特許文献２には、旅客車両における複数の乗降口を撮影可能なカメラを用いて、乗降口近傍の領域を示す複数の部分画像を生成し、その部分画像を並べて表示する画像処理装置が開示されている。これにより、少ないカメラで乗降口付近の安全確認を適切に行うことを可能としている。
また、特許文献３においては、同様に旅客車両における複数の乗降口を撮影可能なカメラを用いて、乗降口近傍の領域を示す複数の部分画像を生成するとともに、物体が検出された乗降口付近の画像のみを表示装置に表示する画像処理装置が開示されている。これにより、安全確認が必要な乗降口のみに乗務員の注意を向けることを可能にしている。

特開２００６−０３３４１８号公報 特開２０１２−０５４６６４号公報 特開２０１２−１３４８２５号公報

上記のように、ホームや乗降客の監視目的で様々なシステムが提案されている。例えば、旅客車両側にカメラを設置することによって、無人駅のようなカメラの設置が難しい環境においてもホームや乗降客の監視が可能となる為、非常に有用である。
しかしながら、特許文献１に記載の撮像システムにあっては、ホームに設置されたカメラの映像における視認性改善は可能であるが、列車などの旅客車両側に設置されたカメラの映像についての視認性改善については記載されていない。
また、特許文献２に記載の画像処理装置にあっては、旅客車両における複数の乗降口を撮影可能なカメラを用いており、乗降口近傍の領域を示す複数の部分画像を並べて表示することで乗降口付近の安全確保を可能としているが、乗降口近傍のみの画像としている為、ホーム全体の様子を把握することができず、例えば駆け込み乗車しようとする旅客などを視認するのが遅れてしまうことがある。
また、特許文献３に記載の画像処理装置は、乗降口付近の部分画像生成に加えて物体検出を行うことで、注意すべき乗降口のみに注意を払うことを可能としているが、特許文献２と同様、部分画像外を視認することができず、乗降口付近における急激な状態変化に対しては視認するのが遅れてしまうことがある。
このように、従来は、広い範囲に対して視認性のよい撮影画像を得ることが困難な場合があった。

本発明は上記の点に鑑みてなされたものであり、広い範囲に対して視認性のよい撮影画像を得ることができる画像処理装置、及び画像処理方法に関する。

本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、カメラによって撮影された画像を入力する画像入力部と、特定面上の基準物体が撮影された画像において、予め定められた注目領域が前記画像の周辺部に存在する場合、前記注目領域において前記特定面に対する基準物体の前記画像上の角度が所定の角度内に収まるように、画像を補正する為の補正量を決定する補正量決定部と、前記補正量決定部が決定した前記補正量に基づいて、前記画像入力部によって入力される画像を補正する画像補正部と、を備える画像処理装置である。

また、本発明の一態様は、上記画像処理装置において、前記補正量決定部は、前記注目領域において前記特定面上の基準物体の前記画像上の幅が所定の幅以上の大きさになるように前記補正量を更に決定する。

また、本発明の一態様は、上記画像処理装置が、入力された前記画像に基づいて危険度を判定する危険度判定部を更に備え、前記補正量決定部は、前記危険度判定部によって判定される危険度に応じて前記補正量を決定する。

また、本発明の一態様は、上記画像処理装置が、前記補正量を決定する際に利用される補正補助情報を設定する補正補助情報設定部を更に備え、前記補正量決定部は、前記補正補助情報設定部により設定された前記補正補助情報に基づいて前記補正量を決定する。

また、本発明の一態様は、上記情画像報処理装置において、前記補正量決定部は、前記補正量を決定する際に、前記画像の画像領域内の一部の領域を除外した領域を拡大するように前記補正量を決定する。

また、本発明の一態様は、カメラによって撮影された画像を入力する画像入力ステップと、特定面上の基準物体が撮影された画像において、予め定められた注目領域が前記画像の周辺部に存在する場合、前記注目領域において前記特定面に対する基準物体の前記画像上の角度が所定の角度内に収まるように、画像を補正する為の補正量を決定する補正量決定ステップと、前記補正量決定ステップによって決定された前記補正量に基づいて、前記画像入力ステップによって入力される画像を補正する画像補正ステップと、を含む画像処理方法である。

本発明によれば、広い範囲に対して視認性のよい撮影画像を得ることができる。

第１の実施形態における画像処理装置の概略構成の一例を示すブロック図。 第１の実施形態における広角カメラの設置環境例を示す図。 第１の実施形態における広角カメラ撮影された画像例を示す図。 第１の実施形態における画像補正処理の一例を示すフローチャート。 第１の実施形態における補正前の撮影画像の一例を示す図。 第１の実施形態における補正量について説明する図。 第１の実施形態における補正後の補正画像の一例を示す図。 第２の実施形態における画像処理装置の概略構成の一例を示すブロック図。 第２の実施形態における画像補正処理の一例を示すフローチャート。 第２の実施形態における撮影画像内の危険度の判定について説明する図。 第２の実施形態における補正後の補正画像の一例を示す図。 第３の実施形態における画像処理装置の概略構成の一例を示すブロック図。 第３の実施形態における画像補正処理の一例を示すフローチャート。 第３の実施形態における注目領域の一例を示す図。 第３の実施形態における補正量について説明する図。 第３の実施形態における広角カメラの設置環境例を示す図。 第４の実施形態における画像処理装置の適用例を説明する図。

以下、図面を参照して、本発明の実施形態について説明する。なお、各図面における各部の大きさ等は説明を容易とするために大小関係を誇大して記載しており、実際の大きさとは異なる。

（第１の実施形態）
図１は、本発明の第１の実施形態における画像処理装置１００の概略構成の一例を示すブロック図である。画像処理装置１００は、広角カメラ１０６で撮影された撮影画像を入力する画像入力部１０１と、ユーザーによって設定されるパラメータを元に広角カメラ１０６の取り付け位置や角度などのカメラの位置情報を設定するカメラ位置設定部１０２と、広角カメラ１０６のレンズデータや、カメラ位置設定部１０２で設定されたカメラ位置情報を保持する記憶部１０３と、画像入力部１０１に入力された撮影画像を補正する際の補正量を決定する補正量決定部１０４と、補正量決定部１０４により決定された補正量に基づいて撮影画像を補正する画像補正部１０５と、を含んで構成されている。また、画像処理装置１００は、撮影画像を画像処理装置１００に出力する広角カメラ１０６と、画像処理装置１００から出力される映像出力を表示する画像表示部１０７とが接続されている。

画像処理装置１００は、ＣＰＵ（Central Processing Unit）と呼ばれる中央処理装置やＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）と呼ばれる特定用途向けＩＣ（Integrated Circuit）などの半導体部品をはじめ、ハードディスクやフラッシュメモリ、あるいはＤＲＡＭ（Dynamic Random Access Memory）といった記憶媒体などを組み合わせて構成されており、図１に示す各機能を実現する。

また、広角カメラ１０６はＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子と、画角の広いレンズ（広角レンズ）をはじめとする複数の構成部品によって構成される。レンズや画角について詳しくは後述する。画像表示部１０７は、液晶や有機ＥＬ（Electro-Luminescence）といった表示デバイスを含むディスプレイ装置である。

図２は、本実施形態における広角カメラ１０６の設置環境例を示す図である。旅客車両１０８の中央付近に広角カメラ１０６が取り付けられており、旅客車両１０８には３つの乗降口１０９、１１０、１１１が存在する。なお、広角カメラ１０６は、光軸方向が乗降口１１０から一定距離だけ離れた位置を向くように、旅客車両１０８の側面に対して斜め下方に向けて取り付けられているものとする。すなわち、広角カメラ１０６の取り付け角度は、光軸方向が旅客車両１０８の側面（広角カメラ１０６が取り付けられている面）に対して鋭角となる。また、この図に示すように、広角カメラ１０６は旅客車両１０８の乗降口１１０の上部、もしくはより高い位置に設置される。このように広角カメラ１０６を設置することにより、乗降口１０９、１１０、１１１付近に加え、視認できることが望ましいホーム領域に関しても広く画像内に収めることが可能となる。また、乗降客が付近に居ても遮られることなく複数ある乗降口周辺を撮影することが可能となる。なお、複数の乗降口を可能な限り撮影する為には図２に示すように旅客車両１０８の側面の長手方向における中央付近に設置することが望ましい。画像処理装置１００は、例えば旅客車両１０８の内部に設置される。

図３は、この旅客車両１０８に取り付けられた広角カメラ１０６で撮影された画像例を示す図である。広角カメラ１０６は、例えば魚眼レンズを搭載した魚眼カメラであり、上下左右方向にそれぞれ約１７０度の広い画角を持つものとする。図示する撮影画像１１２には、旅客車両１０８が撮影されている。撮影画像１１２には旅客車両１０８にある乗降口１０９、１１０、１１１のすべてが映っていることからわかるように、広い領域が撮影される一方、レンズに歪が存在することから、歪の影響を受けて旅客車両１０８が本来の形から変形して撮影されている。黒線１１３は、ホームと車両の境界（隙間）部分を示している。なお、撮影画像１１２の４隅の黒い部分はレンズ視野外のため映像が撮影されていない部分である。画像処理装置１００は、この広角カメラ１０６による撮影画像１１２を入力とし、入力した撮影画像１１２を補正することによって、ホームを含めた広い範囲を視認でき、かつ乗降口付近の乗客、すなわち旅客車両１０８に出入りする人物の視認性を高めることを可能とした補正画像を生成する。

図４は、画像処理装置１００によって実行される画像補正処理の一例を示すフローチャートである。以下、この図４を参照して、本実施形態における画像補正処理の動作を説明する。
まず、広角カメラ１０６で撮影された撮影画像が画像入力部１０１に入力される（ステップＳ１０）。画像入力部１０１は、入力された撮影画像を画像補正部１０５に送る。なお、ここでは、広角カメラ１０６から直接的に撮影画像が画像入力部１０１に入力される構成を例としているが、カメラと画像処理装置１００とが有線または無線で通信接続されることにより、カメラから直接的に撮影画像が画像入力部１０１に入力されてもよいし、メモリカード等の記憶媒体を介して撮影画像が画像入力部１０１に入力されてもよい。また、画像処理装置１００の外部に設置されたサーバ装置（不図示）に保存されている撮影画像、または画像処理装置１００の内部の記憶部１０３に保存されている撮影画像が画像入力部１０１に入力されてもよい。

また、補正量決定部１０４は、広角カメラ１０６のカメラ位置情報を記憶部１０３から取得する（ステップＳ１１）。補正量決定部１０４は、画像補正部１０５が画像の補正を行う際に用いる補正量を決定する際に、このカメラ位置情報を利用する。

上述のカメラ位置情報は、カメラ位置設定部１０２によって設定される。例えば、ユーザーが不図示の操作部からカメラ位置情報、あるいはカメラ位置情報を決めるための情報をパラメータとして入力する。カメラ位置設定部１０２は、入力されたパラメータに基づいて広角カメラ１０６の取り付け位置や角度などのカメラ位置情報を設定する。なお、カメラ位置情報は、記憶媒体に記憶されているデータファイルから読み込まれてもよい。例えば、カメラ位置情報としては、基準点に対する地面からの高さのほか、左右、上下それぞれに対する広角カメラ１０６の光軸方向の角度などが含まれる。カメラ位置設定部１０２は、取り付けた広角カメラ１０６に対して各種カメラ位置情報をユーザーが実測した値を受け付け、記憶部１０３に保存する。

また、補正量決定部１０４は、カメラ位置情報を取得する他に、記憶部１０３に予め保存されている車両情報を取得する（ステップＳ１２）。車両情報とは、車両の構造に関する情報であり、例えば、図２に示す旅客車両１０８の全長、乗降口１０９、１１０、１１１の車両上の位置情報などを含む情報である。また、補正量決定部１０４は、広角カメラ１０６のレンズ情報についても記憶部１０３から取得する（ステップＳ１３）。レンズ情報とは、レンズの光学的歪に関する情報であり、実際に撮影した物体が撮像素子上のどの位置に結像するかを示す情報である。補正量決定部１０４は、記憶部１０３から取得した広角カメラ１０６のカメラ位置情報と、広角カメラ１０６のレンズ情報と、旅客車両１０８の車両情報とに基づいて、広角カメラ１０により撮影された撮影画像の補正量を決定する（ステップＳ１４）。

ここで、図５及び図６を参照して、補正量決定部１０４によって決定される補正量とその決定方法について説明する。
図５は、広角カメラ１０６により撮影された補正前の撮影画像の一例を示す図である。図示する撮影画像１１４には、旅客車両１０８が映っており、乗降口１０９、１１０、１１１が視認できる。また、乗降口１０９、１１０、１１１のそれぞれの前でホームに立っている乗客１１５、１１６、１１７が撮影されている。ここで、乗客１１６は撮影画像１１４の中央よりに映っているが、乗客１１５、１１７は、撮影画像１１４の周辺部に映っている。そのため、乗客１１５、１１７は、レンズの光学的歪の影響により、撮影画像１１４の垂直方向に対して傾いて映っている。ここで、撮影画像１１４の垂直方向とは、図示する撮影画像１１４の底辺１１４ａに対する垂直方向である。

各乗降口の前で立っている乗客１１５、１１６、１１７のそれぞれにおいて破線で示す中心線Ａ、Ｂ、Ｃは、各乗客の顔中央から両足の間の中心を結ぶ線であり、水平な地面（ホーム）に対して垂直方向の線である。中心線Ａ、Ｂ、Ｃを比較すると、中心線Ｂは撮影画像１１４の垂直方向と平行（同じ方向）であるが、中心線Ａ、Ｃは撮影画像１１４の垂直方向に対して傾いており、撮影画像１１４上の角度が異なっている。つまり、乗客１１６は撮影画像１１４の垂直方向と同じ方向にまっすぐの状態で映っているが、乗客１１５、１１７は撮影画像１１４の垂直方向に対して傾いた状態で映っている。また、ここでは、乗客１１５、１１６、１１７のそれぞれの身体の幅がほぼ同じであるものとするが、撮影画像１１４に映っている乗客１１５、１１６、１１７のそれぞれの幅Ｗ１、Ｗ２、Ｗ３を比較すると、乗客１１６の幅Ｗ２に対し、幅Ｗ１、Ｗ３の方の幅が狭い。

撮影画像１１４は、広角カメラ１０６に使用される魚眼レンズの特性からこのような画像となる。画像処理装置１００は、この撮影画像１１４に対し、補正量を決定し、画像の補正を行う。ここでは、乗降口１０９、１１０、１１１周辺の領域を注目領域として定義する。記憶部１０３から取得した広角カメラ１０６のカメラ位置情報と、広角カメラ１０６のレンズ情報、及び旅客車両１０８の車両情報に基づいて、広角カメラ１０６による撮影された画像上のどの位置が各乗降口の付近であるかがわかる。補正量決定部１０４は、広角カメラ１０６によって最も監視したい注目領域である乗降口付近の、画像上の位置に応じて、記憶部１０３に保持されている予め定められた複数の補正量の中から最適な補正量を決定する。

図６は、レンズの光学的歪による影響を補正するための補正量について説明する図である。この図は、複数ある補正量のうちの一例であり、撮影画像１１４に対する補正量の例を示している。符号（ａ）に示す太枠は、補正前の撮影画像１１４を示している。一方、符号（ｂ）に示す太枠は、撮影画像１１４を補正した後の補正画像１１８を示している。符号（ａ）に示す撮影画像１１４上の代表点として示す各黒点の座標が、符号（ｂ）に示す補正画像１１８上に表される各黒点の座標に補正により変換される。代表する黒点のいくつかには対応関係がわかりやすいよう矢印を示している。

ここで、補正画像１１８上の各黒点に対応する、補正前の撮影画像１１４上の各黒点に関する情報を補正量と定義する。この黒点で示す代表点における変換前後の座標の対応関係を元に、黒点以外の座標に関しては線形補完等の補完処理によって対応する座標が算出され、変換されることとなる。ここでは、補正画像１１８上で予め定められた代表する各黒点の座標に対応する撮影画像１１４上の座標をテーブルとして持つこととしたが、ここに示す代表点（黒点）の数に限定はなく、より多くても少なくても良く、また、補正画像１１８の全座標に対応する撮影画像１１４上の座標を示すテーブルであっても良い。代表点が多い方がデータ量は増加するが、補正後の画像はより意図に沿った画像に補正されることとなる。

図４に戻り、画像補正部１０５は、補正量決定部１０４によって決定された補正量（例えば、図６を参照して説明した補正量）を用いて、撮影画像１１４の補正を行う（ステップＳ１５）。例えば、画像補正部１０５は、図６に示す補正画像１１８上の各黒点の座標の画素値を、各黒点に対応する、補正前の撮影画像１１４の座標の画素値に変換する。また、画像補正部１０５は、補正画像１１８上の黒点以外の各座標に関しては線形補完等の補完処理によって算出された、補正前の撮影画像１１４の各座標の画素値に変換する。そして、画像補正部１０５は、補正した補正画像１１８を画像表示部１０７に出力する（ステップＳ１６）。これにより、補正画像１１８が画像表示部１０７に表示される。

図７は、補正後の補正画像１１８の一例を示す図である。図５に示す補正前の撮影画像１１４に示す乗客１１５、１１６、１１７の中心線Ａ、Ｂ、Ｃのそれぞれは、図７に示す補正後の補正画像１１８における中心線Ａ’、Ｂ’、Ｃ’に対応する。補正前の中心線Ｂと補正後の中心線Ｂ’とは補正の前後で変わらずに画像（撮影画像１１４、補正画像１１８）の垂直方向と並行である。一方、補正前の中心線Ａと補正後の中心線Ａ’とを比較すると、補正前の中心線Ａよりも補正後の中心線Ａ’の方が画像（補正画像１１８）の垂直方向に近い角度に補正される。補正前の中心線Ｃと補正後の中心線Ｃ’との関係も同様に、補正前の中心線Ｃよりも補正後の中心線Ｃ’の方が画像（補正画像１１８）の垂直方向に近い角度に補正される。つまり、補正前の撮影画像１１４の周辺部の注目領域においては、地面（ホーム上面）に対して垂直方向となる乗客１１５、１１７の画像上の角度が所定の角度内に収まるように補正される。ここで、所定の角度内に収まるとは、例えば撮影画像１１４の中央付近に映っている乗客１１６の画像上の角度（即ち、画像上の垂直方向に対する角度）が所定の角度（±１０度、±２０度など）の範囲となることを示す。

また、図５に示す補正前の撮影画像１１４に示す乗客１１５、１１６、１１７の幅Ｗ１，Ｗ２、Ｗ３のそれぞれは、図７に示す補正後の補正画像１１８における幅Ｗ１’、Ｗ２’、Ｗ３’に対応する。乗客１１５、１１７の補正後の幅Ｗ１’、Ｗ３’は、補正前の幅Ｗ１、Ｗ３より広くなり、より乗客１１５、１１７を視認しやすい画像に補正される。つまり、補正前の撮影画像１１４の周辺部の注目領域においては、地面（ホーム上面）に対して垂直方向となる乗客１１５、１１７の画像上の幅が所定の幅以上の大きさになるように補正される。ここで、所定の幅とは、例えば補正前の撮影画像１１４の中央付近に映っている乗客１１６の幅Ｗ２よりは小さく、周辺部に映っている乗客１１５、１１７の幅Ｗ１、Ｗ３よりは大きい幅である。なお、このレンズの光学的歪に対する補正を行うことで、乗客１１６の補正後の幅Ｗ２’は、逆に幅Ｗ２よりも狭くなっている。しかし、乗客１１６は元々画像の中央部分に映っており大きさも大きい為、視認性は然程損なわれない。

以上説明したように、本実施形態における画像処理装置１００は、画像入力部１０１と、補正量決定部１０４と、画像補正部１０５とを備えている。例えば、画像入力部１０１は、カメラによって撮影された画像を入力する。補正量決定部１０４は、特定面（例えば、地面やホーム）上の基準物体（例えば、乗客）が撮影された撮影画像において、予め定められた注目領域が撮影画像の周辺部に存在する場合、注目領域において上記特定面に対する基準物体の撮影画像上の角度（例えば、垂直）が所定の角度内に収まるように、画像を補正する為の補正量を決定する。そして、画像補正部１０５は、補正量決定部１０４が決定した補正量に基づいて、画像入力部１０１によって入力される撮影画像を補正する。

これにより、画像補正部１０５は、広い範囲に対して視認性のよい撮影画像を得ることができる。例えば、画像処理装置１００は、旅客車両１０８に設置された広角カメラ１０６で撮影された撮影画像の周辺部の注目領域において、地面（ホーム）に垂直に立っている乗客がレンズの光学的歪の影響によって傾いて映っている場合、より実際に近い角度で視認できるように撮影画像を補正できる。
なお、上述の基準物体とは、特定面（例えば、地面、ホームなど）に対して垂直方向に所定の大きさを持つ物体であり、人であってもよいし、棒や箱などの物体であってもよい。

また、補正量決定部１０４は、注目領域において特定面（例えば、地面やホーム）上の基準物体（例えば、乗客）の撮影画像上の幅が所定の幅以上の大きさになるように上記補正量を更に決定してもよい。これにより、画像処理装置１００は、旅客車両１０８に設置された広角カメラ１０６で撮影された撮影画像の周辺部の注目領域において乗客がレンズの光学的歪の影響によって小さく映っている場合、より実際に近い大きさで視認できるように撮影画像を補正できる。

このように、本実施形態における画像処理装置１００は、例えば、ホームではなく旅客車両１０８に設置された広角カメラ１０６で撮影された撮影画像の周辺部の注目領域において、地面（ホーム）に垂直に立っている乗客もしくは物体がレンズの光学的歪の影響によって小さく傾いて映っている場合、より実際に近い角度や大きさで視認できるように補正できる。よって、本実施形態の画像処理装置１００によれば、広い範囲が視認可能であって、かつ特定領域（注目領域）の視認性を向上した撮影画を得ることができる。

例えば図６を参照して説明したように、補正量は、撮影画像内の各注目領域の位置に応じて複数用意されているので、撮影画像内の各注目領域において、地面に対して垂直となる基準物体の画像上の角度が予め設定された所定の角度内に収まり、かつ基準物体の幅が所定の大きさ以上になるように設定される。
よって、画像処理装置１００は、例えば注目領域だけでなく旅客車両１０８の周辺全ての領域を視認可能な死角の少ない撮影画像でありながら、撮影画像の周辺部に映っている注目領域における視認性を高めることができる。従って、画像処理装置１００は、入力された撮影画像の撮影範囲全体として見たときに、補正前に比べて視認しづらい領域が少なく視認性が高い画像とすることができる。

なお、本実施形態では、撮影画像１１４の中央部にある乗降口１１０付近から周辺部にある乗降口１０９、１１１へと周辺に行くほど補正される量が多くなるような補正量とする例を説明したが、必ずしも撮影画像１１４の周辺部付近の位置に乗降口が映っているとは限らない。複数ある補正量の中から、乗降口の位置を基準として、乗降口付近が最も視認しやすくなるよう補正量を決定することが望ましい。

また、広角カメラ１０６で使用される魚眼レンズには、一般的に等距離射影や立体射影と呼ばれるようないくつかの射影方式が存在し、立体射影の方がレンズ外周部の解像度が高くなるように設計される。射影方式によって、図5に示す幅Ｗ１、Ｗ２、Ｗ３の幅が変わるが、それぞれの大小関係が変わることはなく、どの射影方式においても本実施形態における画像補正処理を適用可能である。

本実施形態では、図６を参照して説明したように、撮影画像内の位置に応じて補正量を複数持つ例を説明したが、広角カメラ１０６の設置情報や注目領域の位置に応じて、広角カメラ１０６のレンズデータに基づいて補正量を計算しても良い。広角カメラ１０６のレンズは、レンズの射影方式に応じて歪曲特性式が決まっており、例えば立体射影であればレンズ中心からの角度に応じて、像高ｙと焦点距離ｆと入射角θ[radian]を用いて下記の式で表される。
ｙ＝２ｆ×ｔａｎ（θ/２）

画像処理装置１００は、上記のような特性式を用いて、各注目領域における基準物体がどのように撮影されるかを判断し、補正量を都度決定するようにしても良い。カメラの設置高さ、向き、角度などに加え、車両情報（注目領域の位置）がわかっていれば、その領域の各点が、どの入射角になるかがわかる為、このような画像補正処理が可能となる。この処理の場合、広角カメラ１０６の設置時に計算が必要となるが、予めテーブルとして補正量を保持する必要がないため、処理に必要なメモリ容量の低減や、補正における自由度の向上といった効果がある。

また、本実施形態では、画像処理装置１００は、旅客車両１０８内に設置されるものとして説明したが、旅客車両１０８の外部に設置されても良く、例えば無線通信部を広角カメラ１０６と画像処理装置１００とのそれぞれが備え、無線通信規格に沿った無線通信により接続される構成であっても良い。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図８は、本実施形態における画像処理装置２００の概略構成の一例を示すブロック図である。なお、この図において、図１に示す第１の実施形態の各部と同様の機能を持つ構成には同一の符号を付しており、適宜説明を省略する。

画像処理装置２００は、画像入力部１０１と、物体検出部２０１と、カメラ位置設定部１０２と、記憶部１０３と、危険度判定部２０２と、補正量決定部２０３と、画像補正部１０５とを含んで構成されており、図１に示す画像処理装置１００とは、物体検出部２０１、危険度判定部２０２、及び補正量決定部２０３の構成が相違する。

物体検出部２０１は、画像入力部１０１に入力された撮影画像を解析して、撮影画像に映っている物体を検出する。例えば、物体検出部２０１は、撮影画像の毎フレームごとに、映像と検出した物体の座標を含む物体検出情報を危険度判定部２０２へ送る。危険度判定部２０２は、物体検出部２０１によって検出された物体の状況に応じて危険度を判定する。例えば、危険度判定部２０２は、物体検出部２０１から送られてくる物体検出情報と、記憶部１０３に記憶されているカメラ位置情報及び車両情報とに基づいて、危険度判定エリアを設定し危険度を判定する。補正量決定部２０３は、危険度判定部２０２によって判定される危険度に応じて、撮影画像を補正する際の補正量を決定する。また、画像処理装置２００には、撮影画像を画像処理装置２００に出力する広角カメラ１０６と、画像処理装置２００からの映像出力を表示する画像表示部１０７が接続されている。

図９は、画像処理装置２００によって実行される画像補正処理の一例を示すフローチャートである。以下、この図９を参照して、本実施形態における画像補正処理の動作を説明する。

まず、広角カメラ１０６で撮影された撮影画像が画像入力部１０１に入力される（ステップＳ２０）。画像入力部１０１は入力された画像を物体検出部２０１と、画像補正部１０５へ送る。

物体検出部２０１は、撮影画像を解析して、撮影画像内に映っている物体を検出する（ステップＳ２１）。物体検出のアルゴリズムとしては様々な手法が知られており、時間的な画像の差分データから動体を検出する背景差分やフレーム間差分手法のほか、パターンマッチングを利用した手法や、ＨＯＧ（Histograms of Oriented Gradients）特徴量を利用した人検出手法、ニューラルネットワークの一種であるディープラーニングを用いた学習手法など様々な手法がある。

次に、物体検出部２０１は、撮影画像の毎フレームごとに、映像と検出した物体の座標を含む物体検出情報を危険度判定部２０２へ送る。危険度判定部２０２は、物体検出部２０１から送られてくる物体検出情報を取得するとともに、記憶部１０３からカメラ位置情報と車両情報を取得し、危険度判定エリアを設定し危険度を判定する（ステップＳ２２、Ｓ２３、Ｓ２４）。

図１０は、撮影画像内の物体の検出と危険度の判定について説明する図である。図示する撮影画像２０４には、乗客２０５と乗客２０６が映っており、乗客２０５の周囲の破線２０５ａと乗客２０６の周囲の破線２０６ａとは動体として物体検出されていることを示している。ホームと旅客車両１０８の境界を示す黒線１１３と、その境界から所定の一定の距離を示す黒線２０７とで挟まれた領域を危険度判定エリアと定義する。危険度判定エリアは、予めカメラ位置設定部１０２を介してユーザーにより設定されているカメラ位置情報と車両情報を元に設定され、旅客車両１０８から一定距離の範囲、すなわち黒線１１３から予め定められた距離範囲であるものとする。この一定の距離範囲を示す実際の距離に関する情報は記憶部１０３や危険度判定部２０２の内部で保持されている。危険度判定部２０２は、物体検出部２０１から受け取る検出情報に基づいて、物体の位置及び移動の速度を算出し、危険度判定エリアに入ったか否かを判定する。なお、ここでの速度とは実際の物体の移動速度、あるいは所定の単位時間当たりの画像上の位置変化量とする。そして、危険度判定部２０２は、物体検出部２０１により検出された物体が危険度判定エリアに入ったと判定した場合、かつ、その物体の移動速度が一定の速度以上の場合には、駆け込み乗車と判断し危険度が高い（危険度高）と判定する。それ以外の場合には、危険度判定部２０２は、危険度が低い（危険度低）と判定する。危険度高と判定された場合、その物体が存在する領域が注目領域となり、その物体に注目しやすいよう撮影画像が補正される。ここで、注目しやすいような補正とは、例えば、乗客の幅や大きさがより大きくなるような補正などである。

例えば、危険度判定部２０２は、検出された物体が危険度高であるか否かを判定し（ステップＳ２５）、危険度高と判定した場合（ステップＳ２５：ＹＥＳ）、その情報と危険度高と判定した物体の位置に関する情報を補正量決定部２０３に送る。補正量決定部２０３は、危険度高と判定された物体が含まれる領域に注目しやすいよう撮影画像の補正量を決定する（ステップＳ２６）。すなわち、危険度の高い領域に対して、他の領域より乗客の幅が大きく、あるいは画像に対する乗客の中心線の角度がより垂直方向に近い角度になるように補正量を決定する。一方、危険度判定部２０２は、危険度低と判定した場合（ステップＳ２５：ＮＯ）、第１の実施形態と同様に、カメラ位置情報と、レンズ情報と、旅客車両１０８の車両情報とに基づいて、撮影画像の補正量を決定する（ステップＳ２７）。

画像補正部１０５は、補正量決定部２０３によって決定された補正量に基づいて、撮影画像の補正を行う（ステップＳ２８）。そして、画像補正部１０５は、補正した補正画像を画像表示部１０７に出力する（ステップＳ２９）。これにより、補正画像が画像表示部１０７に表示される。

図１１は、本実施形態における画像補正処理による補正後の補正画像の一例を示す図である。図示する補正画像２０８では、乗客２０５が駆け込み乗車をしようとしており危険度高と判定されている場合を想定する。乗客２０５、２０６のそれぞれにおいて破線で示す中心線Ａ、Ｂは、地面（ホーム）に対して垂直な方向を示しており、補正後では補正前に比べ画像上の垂直方向に近い角度に補正されている。また、乗客２０５、２０６の画像上の身体の幅を比較すると、乗客２０５の幅Ｗ１の方が乗客２０６の幅Ｗ２よりも広くなるように補正されており、危険度の高い部分がより視認しやすくなっている。

以上説明したように、本実施形態における画像処理装置２００は、入力された撮影画像に基づいて危険度を判定する危険度判定部２０２を備えており、危険度判定部２０２によって判定される危険度に応じて撮影画像を補正する補正量を決定する。
これにより、画像処理装置２００は、危険度の高い物体をより視認しやすいように撮影画像を補正することができる。例えば、画像処理装置２００は、撮影画像内の旅客車両１０８の周辺において物体検出を行い、危険度を判定し、判定した危険度に応じて補正量を変えることにより、旅客車両１０８の周辺の広い範囲を見やすい画像で監視することを可能にしつつ、危険な領域について特に視認しやすく、注目しやすくすることができる。従って、旅客車両１０８の周辺の監視人は、危険な状況をいち早く正確に把握することが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図１２は、本実施形態における画像処理装置３００の概略構成の一例を示すブロック図である。なお、この図において、図１、８に示す第１、２の実施形態の各部と同様の機能を持つ構成には同一の符号を付しており、適宜説明を省略する。

画像処理装置３００は、画像入力部１０１と、注目領域設定部３０１と、記憶部１０３と、補正補助情報設定部３０２と、補正量決定部３０３と、画像補正部１０５とを含んで構成されており、図１に示す画像処理装置１００及び図８に示す画像処理装置２００とは、注目領域設定部３０１、補正補助情報設定部３０２、及び補正量決定部３０３の構成が相違する。

注目領域設定部３０１は、ユーザーからの指示に従って注目領域を設定し、注目領域に関する情報を記憶部１０３に記憶させる。補正補助情報設定部３０２は、補正時の補正量を決定する際に利用される補正補助情報を設定して記憶部１０３に記憶させる。補正補助情報について詳しくは後述する。補正量決定部３０３は、注目領域設定部３０１によって設定された注目領域に関する情報と、補正補助情報設定部３０２によって設定された補正補助情報とに基づいて、撮影画像を補正する際の補正量を決定する。また、画像処理装置３００には、撮影画像を画像処理装置３００に出力する広角カメラ１０６と、画像処理装置３００からの映像出力を表示する画像表示部１０７が接続されている。

図１３は、画像処理装置３００によって実行される画像補正処理の一例を示すフローチャートである。以下、この図１３を参照して、本実施形態における画像補正処理の動作を説明する。

まず、広角カメラ１０６で撮影された撮影画像が画像入力部１０１に入力される（ステップＳ３０）。画像入力部１０１は入力された画像を画像補正部１０５へ送る。補正量決定部３０３は、記憶部１０３から注目領域に関する情報と、補正補助情報を取得する（ステップＳ３１、Ｓ３２）。

ここで、注目領域について説明する。注目領域は、旅客車両１０８の車掌など監視を行うユーザーが、予め旅客車両１０８に設置した広角カメラ１０６で撮影された撮影画像を元に、撮影画像を画像表示部１０７で見ながら画像上の位置で指定され、注目領域設定部３０１を介して設定されているものとする。図１４は、撮影画像においてユーザーにより設定された注目領域の一例を示す図である。図示する撮影画像３０４において、斜線で示す領域３０５、３０６、３０７が注目領域である。ここでは、乗降口付近が注目領域として設定されている。

このように、第１、２の実施形態で説明したように車両情報を元に乗降口周辺を注目領域として特定し、補正量を決定する方法以外に、広角カメラ１０６で撮影された撮影画像から注目領域を指定して補正量を決定することも可能である。このようにすることで、旅客車両１０８への広角カメラ１０６の取り付け位置などの情報を予め測定して記憶することなく、注目領域の特定が可能になる。

次に、補正補助情報について説明する。補正補助情報とは、補正量を決定する際に参照される情報であり、例えば、旅客車両１０８の運行情報である。運行情報とは、旅客車両１０８の現在の状況を特定する為の情報である。例えば、運行情報は、「走行中」、「乗降口閉鎖」、「乗降口開放」、「乗降口開閉前後」などの情報である。「走行中」は、旅客車両１０８が通常の走行（所定の速度以上で走行）をしている状況と定義する。「乗降口閉鎖」は、乗降口が閉じている状況と定義する。「乗降口開放」は駅のホームや停留所等で乗降口が開けられ、乗客が乗り降りする状況と定義する。「乗降口開閉前後」は、駅のホーム等に旅客車両１０８が停車する直前から停車後乗降口を開けるまで、もしくは乗降口を閉じる一定時間前から乗降口を閉じ、車両が通常走行の速度に達するまでと定義する。

なお、これらの運行情報の定義は一例であり、走行状態や乗降口の開閉状態等と関連する情報であればどのような情報であっても良い。また、補正補助情報は、運行情報に限らず他の情報であってもよい。例えば、補正補助情報は、通勤時間帯であるか否かの情報や、平日または土日や祝日であるかの情報、単に時刻や時間帯の情報、季節の情報、旅客車両１０８の編成車両数や車両の仕様などの情報が含まれてもよい。

補正補助情報設定部３０２は、事前にユーザーからの指示によって、時刻と対応づけて運行情報を記憶部１０３に保存する。なお、補正補助情報設定部３０２は、旅客車両１０８に搭載された各種センサの状態により運行情報を判定し、記憶部１０３に保持してもよい。

補正量決定部３０３は、上述の注目領域と運行情報とに基づいて、撮影画像の補正量を決定する（図１３のステップＳ３３）。例えば、記憶部１０３には、注目領域に関して、撮影画像内の各領域において地面に垂直に立つ基準物体の画像上の角度が所定の角度内に収まり、かつ所定の大きさ以上になるような補正量が定義された複数の補正テーブルが予め保持されており、補正量決定部３０３は、記憶部１０３に予め保持されている複数の補正テーブルを抽出する。更に、補正量決定部３０３は、運行情報に基づいて、複数の補正テーブルの中から１つの補正テーブルを選択する。例えば、運行情報が「乗降口開放」であった場合、乗客が安全に乗降しているかどうかを確認するため、乗降口周辺が良く見えることが重要である。そのため、運行情報が「乗降口開放」であった場合、例えば図１５に示すような補正量とする。

図１５は、本実施形態における補正量について説明する図である。符号（ａ）に示す撮影画像３０４と、符号（ｂ）に示す補正画像３０８は、前述の図６と同じく補正前後の画像であり、各黒点は補正前後の対応関係を示している。撮影画像３０４において画像上部の符号Ｌで示す領域には、図６に示す撮影画像１１４の例とは異なり、対応する黒点が存在しない。この為、補正後の補正画像３０８では補正前の撮影画像３０４の画像上部が削除されることになる。

図１６は、旅客車両１０８における広角カメラ１０６の設置環境例を示す図であり、旅客車両１０８の正面から見た図である。図示する破線１０６ａと破線１０６ｂとのなす角１０６ｃは、広角カメラ１０６における画像上下方向の画角（垂直画角）を示している。また、実線３０９、３１０は、それぞれ広角カメラ１０６の画角内において上下方向の２種類の角度範囲を示している。広角カメラ１０６の取り付け角度は、光軸方向が車両の側面に対して鋭角となっている。実線３０９で示す角度範囲は、駅のホームであれば天井付近等を撮影する範囲であり、ホームの監視用途としては不要な場合が多い。また実線３１０で示す角度範囲は、ホームの遠方に対応する範囲であり、状況によっては不要なこともある。そのため、広角カメラ１０６で撮影した撮影画像のうち実線３０９や実線３１０で示す範囲は除いた画像を表示した方が、ホームの監視には適する場合がある。このようにすることで、限られた表示領域において、視認したい領域をより効果的に視認可能にすることができる。

図１５に示す符号Ｌで示す領域、即ち補正後に削除される領域は、図１６における実線３０９と実線３１０に相当する領域であるとする。これは、前述のように「乗降口開放」の場合は乗降口付近が最も重要である為である。これにより、乗降口付近が拡大表示されるので、乗降口付近の視認性がより高くなる。なお、運行情報が「乗降口開放」以外の場合には、補正量は第１の実施形態で図６を参照して説明した補正量と同様であるとしてもよい。これにより、画像処理装置３００は、ホーム全体の監視ができ、乗降口から離れた部分からの駆け込みなども視認可能である。

図１４に戻り、補正量が決定した後の処理を説明する。画像補正部１０５は、補正量決定部３０３によって決定された補正量を取得する（ステップＳ３４）。そして、画像補正部１０５は、取得した補正量に基づいて撮影画像の補正を行った後（ステップＳ３５）、画像表示部１０７に出力する（ステップＳ３６）。これにより、補正画像が画像表示部１０７に表示される。

以上説明したように、本実施形態における画像処理装置３００は、補正量を決定する際に利用される補正補助情報を設定する補正補助情報設定部３０２を更に備えている。そして、補正量決定部３０３は、補正補助情報設定部３０２により設定された補正補助情報（例えば、運行情報）に基づいて撮影画像に対する補正量を決定する。

これにより、画像処理装置３００は、例えば、運行情報に基づいて補正することにより、「走行中」、「乗降口閉鎖」、「乗降口開放」、「乗降口開閉前後」などの旅客車両１０８の状態に応じて撮影画像を適切に補正することができる。例えば、画像処理装置３００は、運行情報に基づいて撮影画像の画像領域のうち上下方向についての表示範囲も補正によって制御することにより、状況に応じて視認したい領域をより拡大表示することも可能であるため、視認性の高い映像を提供することが可能となる。すなわち、画像処理装置３００は、例えばホームで旅客車両１０８に乗客が安全に乗降しているかどうかを確認するための撮影画像において、視認したい領域をより効果的に視認可能にすることができる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。本実施形態では、第１〜第３の実施形態の画像処理装置１００、２００、３００を旅客車両以外へ適用した例を説明する。本実施形態における画像処理装置の構成及び動作については、前述の画像処理装置１００、２００、３００と同様であるものとし、詳細についての説明を省略する。画像処理装置１００、２００、３００のいずれも適用することができるが、本実施形態における画像処理装置のことを、以下では代表して画像処理装置１００と記述する。

図１７は、本実施形態における画像処理装置の適用例を説明する図であり、店舗向けとして適用する場合の例を示す。図示する店舗４００には、店舗４００を利用する人物（以下、「利用客」ともいう）が出入り可能な複数の出入口４０１、４０２がある。広角カメラ１０６は、そのうちのひとつの出入口４０２の上方に設置されている。出入口４０１、４０２のそれぞれの外側付近において破線４０３で囲まれた領域と破線４０４で囲まれた領域とは、ユーザーである店舗４００の店員によって設定された注目領域を示している。

このように、例えば出入口が複数あるような店舗４００においても、旅客車両１０８の場合と同様に出入口をすべて撮影出来るように広角カメラ１０６を設置し、画像処理装置１００、２００、３００が広角カメラ１０６により撮影された撮影画像を補正することで、広い範囲に対して視認性のよい撮影画像を得ることができる。

なお、上記第３の実施形態のように補正補助情報を用いる場合、店舗４００における補正補助情報とは、例えば時間ごとの出入口の利用客数に関する統計データなどである。この場合、例えば、画像処理装置３００は、時間帯に応じ、より利用客の多い出入口付近の注目領域を拡大するように補正することができる。このようにすることで、利用客の多い出入口付近をより鮮明に視認可能とすることができる。

なお、本実施形態において、広角カメラ１０６の設置位置は出入口４０２の上方としたが、例えば出入りが多いメインの入り口付近にすることで、その出入口付近は画像の左右方向において中央付近に映り、鮮明に視認しやすい。また、すべての出入口の視認性を考慮するのであれば、両端に位置する出入口の中央付近にすることが望ましい。このようにすると、すべての出入口に対する視認性を確保しやすい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第１〜４の実施形態において説明した各構成は、任意に組み合わせることができる。

なお、上述した実施形態における画像処理装置１００、２００、３００の少なくとも一部の機能をコンピュータで実現するようにしても良い。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像処理装置１００、２００、３００に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した実施形態における画像処理装置１００、２００、３００の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。また、画像処理装置１００、２００、３００の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１００ 画像処理装置、１０１ 画像入力部、１０２ カメラ位置設定部、１０３ 記憶部、１０４，２０３，３０３ 補正量決定部、１０５ 画像補正部、１０６ 広角カメラ、１０７ 画像表示部、２０１ 物体検出部、２０２ 危険度判定部、３０１ 注目領域設定部、３０２ 補正補助情報設定部

Claims (6)

1. カメラによって撮影された画像を入力する画像入力部と、
   特定面上の基準物体が撮影された画像において、予め定められた注目領域が前記画像の周辺部に存在する場合、前記注目領域において前記特定面に対する基準物体の前記画像上の角度が所定の角度内に収まるように、画像を補正する為の補正量を決定する補正量決定部と、
   前記補正量決定部が決定した前記補正量に基づいて、前記画像入力部によって入力される画像を補正する画像補正部と、
   を備える画像処理装置。
2. 前記補正量決定部は、
   前記注目領域において前記特定面上の基準物体の前記画像上の幅が所定の幅以上の大きさになるように前記補正量を更に決定する、
   請求項１に記載の画像処理装置。
3. 入力された前記画像に基づいて危険度を判定する危険度判定部を更に備え、
   前記補正量決定部は、
   前記危険度判定部によって判定される危険度に応じて前記補正量を決定する、
   請求項１または請求項２に記載の画像処理装置。
4. 前記補正量を決定する際に利用される補正補助情報を設定する補正補助情報設定部を更に備え、
   前記補正量決定部は、
   前記補正補助情報設定部により設定された前記補正補助情報に基づいて前記補正量を決定する、
   請求項１または請求項２に記載の画像処理装置。
5. 前記補正量決定部は、
   前記補正量を決定する際に、前記画像の画像領域内の一部の領域を除外した領域を拡大するように前記補正量を決定する、
   請求項１から請求項４のいずれか一項に記載の画像処理装置。
6. カメラによって撮影された画像を入力する画像入力ステップと、
   特定面上の基準物体が撮影された画像において、予め定められた注目領域が前記画像の周辺部に存在する場合、前記注目領域において前記特定面に対する基準物体の前記画像上の角度が所定の角度内に収まるように、画像を補正する為の補正量を決定する補正量決定ステップと、
   前記補正量決定ステップによって決定された前記補正量に基づいて、前記画像入力ステップによって入力される画像を補正する画像補正ステップと、
   を含む画像処理方法。

Images