JP2019009520A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】魚眼画像における切り出し部分のより適切な移動量を決定することを目的とする。【解決手段】魚眼画像における切り出し部分の位置を特定し、特定された切り出し部分の位置に基づいて、切り出し部分の移動量を決定する。【選択図】図１２

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

全方位ミラー、全周魚眼レンズ等を搭載した全方位カメラは、全周囲の景観を撮影する撮像装置であり、監視カメラやロボットナビゲーション等のさまざまな利用が考えられている。一台のカメラで３６０度の円環状、円形状等の形状の魚眼画像を撮影することが可能である。全方位カメラにより撮影された魚眼画像から特定位置の画像を切出し、魚眼画像のひずみや傾きを調整し、最適なアングルに変換して表示する画像切出し機能（デワープ）がある。
例えば、特許文献１には全方位カメラが撮影した空間画像から観察者が望む方向の部分画像やその拡大画像を閲覧可能にするための、直感的で操作性の良い画像表示方法及び装置が開示されている。

特開２００５−１９２０５７号公報

従来、魚眼画像における切出し部分の位置の調整を、ＧＵＩの十字キーやプロトコルにより方向指定で行う場合、魚眼画像における切り出し部分の位置に関わらず、魚眼画像上における切出し部分の移動量が一定となっていた。図１（ａ）は、魚眼画像の一例を示す図である。魚眼画像１００００は、３人の人物が写っている魚眼画像である。図１（ｂ）は、切り出し部分の移動の様子の一例を示す図である。魚眼画像１００００に切り出し部分１０００１と、切り出し部分１０００２と、が含まれている。図１（ｂ）には、切り出し部分１０００１と、切り出し部分１０００２と、が同じ移動量だけ、魚眼画像１００００上を真上方向に移動する様子が示される。
魚眼画像の中心付近にある切り出し部分１０００２は、移動前において、主に人物の下半身を含んでいたが、移動後においては、その人物の顔を主に含むようになっている。対して、魚眼画像の中心から離れた切り出し部分１０００１は、移動前において、上部分の一部に人物の下半身を含んでいたが、移動後においては、下部分にその人物の顔の一部を含み、中心近傍から上部分は、その人物の背後にいる人物を含むようになっている。即ち、切り出し部分１０００１の変化の方が、切り出し部分１０００２の変化よりも大きい。このように、魚眼画像のどこにあっても、魚眼画像上での方向指定の移動量が一定だと、魚眼画像の中心付近にある切出し部分１０００２に比べて、周辺にある画像切出し部分１０００１では遠方の比較的小さく見える物体を映している。そのため、移動量が大きく微調整が難しい。
そこで、魚眼画像における切り出し部分のより適切な移動量を決定したいという要望があった。

本発明の情報処理装置は、魚眼画像における切り出し部分の位置を特定する特定手段と、前記特定手段により特定された前記切り出し部分の位置に基づいて、前記切り出し部分の移動量を決定する決定手段と、を有する。

本発明によれば、魚眼画像における切り出し部分のより適切な移動量を決定することができる。

魚眼画像等の一例を示す図である。 情報処理システムのシステム構成等の一例を示す図である。 撮像装置等のハードウェア構成の一例を示す図である。 撮像装置等の機能構成の一例を示す図である。 ＧＵＩの一例を示す図である。 デワープ処理の一例を示すフローチャートである。 切り出し部分の移動の一例を説明する図である。 切り出し部分の移動の一例を説明する図である。 移動量の決定方法の一例を説明する図である。 切り出し部分の移動の一例を説明する図である。 移動量の決定方法の一例を説明する図である。 切り出し部分の移動処理の一例を示すフローチャートである。 モード決定処理の一例を示すフローチャートである。 切り出し部分の移動処理の一例を示すフローチャートである。

以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。

＜実施形態１＞
図２（ａ）は、撮像装置１０００の一例の概要を示す図である。撮像装置１０００は、は、全方位ミラー、全周魚眼レンズ等を有し、魚眼画像を撮影する、監視カメラ、ネットワークカメラ等の撮像装置である。撮像装置１０００は、情報処理装置の一例である。なお、全周魚眼レンズを用いることは一例であり、各実施形態は、視認可能な程度の歪みが発生するレンズを用いて撮像を行う技術に対して適用可能である。各実施形態において、魚眼画像とは、視認可能な程度の歪みが発生するレンズを用いて撮像された画像のことを含むものとする。
筐体１１０１は、撮像装置１０００の筐体であり、全方位ミラー、全周魚眼レンズ等を含む。撮像装置１０００は、全周囲の景観を撮影し、３６０度の円環状、円形状等の形状の魚眼画像を撮影する。撮像装置１０００の設置方法には、天井設置、机設置、壁付設置等の方法がある。全方位カメラである撮像装置１０００には、設置に係るモードがある。撮像装置１０００には、天井や机に設置し、室内等を広範囲に監視することを目的とした天井設置・机設置モード、壁等に設置して、見通しのよい場所を監視することを目的とした壁付モード等がある。また、撮像装置１０００には、設置条件に限定されない、汎用モードもある。
図２（ｂ）は、本実施形態の情報処理システムのシステム構成の一例を示す図である。情報処理システムは、撮像装置１０００、クライアント装置２０００を含む。撮像装置１０００、クライアント装置２０００は、ネットワーク３０００を介して、相互に通信可能に接続されている。クライアント装置２０００は、撮像装置１０００に対して、ホワイトバランス調整等の各種コマンドを送信するパーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等の情報処理装置である。撮像装置１０００は、クライアント装置２０００から受信したコマンドに対するレスポンスをクライアント装置２０００に送信する。

図３（ａ）は、撮像装置１０００のハードウェア構成の一例を示す図である。撮像装置１０００は、ＣＰＵ３０１、主記憶装置３０２、補助記憶装置３０３、光学系３０４、ネットワークＩ／Ｆ３０５を含む。各要素は、システムバス３０６を介して、相互に通信可能に接続されている。
ＣＰＵ３０１は、撮像装置１０００を制御する中央演算装置である。主記憶装置３０２は、ＣＰＵ３０１のワークエリア、データの一時的な記憶場所等として機能するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。補助記憶装置３０３は、各種プログラム、各種設定情報、撮影された魚眼画像、各種コマンドの情報等を記憶する記憶装置である。補助記憶装置３０３は、例えば、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等の記憶媒体である。

光学系３０４は、全方位ミラー、全周魚眼レンズ、撮像素子、レンズ駆動用のモータ等を含み、周囲の環境を撮影する光学系である。ネットワークＩ／Ｆ３０５は、クライアント装置２０００等の外部の装置との間でのネットワーク３０００を介した通信に利用されるインターフェースである。
ＣＰＵ３０１が、補助記憶装置３０３等に記憶されたプログラムに基づき処理を実行することで、図４で後述する撮像装置１０００の機能、及び、図６、１２、１３、１４で後述するフローチャートの処理等が実現される。

図３（ｂ）は、クライアント装置２０００のハードウェア構成の一例を示す図である。クライアント装置２０００は、ＣＰＵ３１１、主記憶装置３１２、補助記憶装置３１３、入力Ｉ／Ｆ３１４、出力Ｉ／Ｆ３１５、ネットワークＩ／Ｆ３１６を含む。各要素は、システムバス３１７を介して、相互に通信可能に接続されている。
ＣＰＵ３１１は、クライアント装置２０００を制御する中央演算装置である。主記憶装置３１２は、ＣＰＵ３１１のワークエリア、データの一時的な記憶場所等として機能するＲＡＭ等の記憶装置である。補助記憶装置３１３は、撮像装置１０００を制御するための制御アプリケーション等の各種プログラム、各種設定情報、撮影された魚眼画像、各種コマンドの情報等を記憶する記憶装置である。補助記憶装置３１３は、例えば、ＲＯＭ、ＨＤＤ、ＳＳＤ等の記憶媒体である。

入力Ｉ／Ｆ３１４は、マウス、キーボード、タッチパネルの操作部等の入力装置との接続に利用されるインターフェースであり、入力装置からの情報の入力を受付ける。出力Ｉ／Ｆ３１５は、液晶表示装置、スピーカ、タッチパネルの表示部等の出力装置との接続に利用されるインターフェースであり、出力装置への情報の出力に利用される。ネットワークＩ／Ｆ３１６は、撮像装置１０００等の外部の装置との間でのネットワーク３０００を介した通信に利用されるインターフェースである。
ＣＰＵ３１１が、補助記憶装置３１３等に記憶されたプログラムに基づき処理を実行することで、図４で後述するクライアント装置２０００の機能、及び、クライアント装置２０００の処理等が実現される。

図４（ａ）は、撮像装置１０００の機能構成の一例を示す図である。撮像装置１０００は、撮像部１００１、画像処理部１００２、システム制御部１００３、駆動制御部１００４、レンズ制御部１００５、映像管理部１００６、通信制御部１００７を含む。
撮像部１００１は、光学系３０４を介して、光学系３０４の撮像素子に入射した光が変換された電気信号を取得する。画像処理部１００２は、撮像部１００１により取得された光電変換された信号に対して、予め定められた画像処理、圧縮符号化処理等を行い、画像データを生成する。
画像処理部１００２は、撮像装置１０００に含まれる専用のプロセッサを介して、画像処理等をおこなってもよいし、ＣＰＵ３０１を介して、画像処理等をおこなってもよい。
システム制御部１００３は、クライアント装置２０００等から受信したカメラ制御コマンドを解析し、コマンドに応じた処理を行う。システム制御部１００３は、例えば、画像処理部１００２に対して画質調整の指示や、レンズ制御部１００５に対してズームやフォーカス制御の指示を行う。

駆動制御部１００４は、光学系３０４のフォーカスレンズ、ズームレンズ等を駆動するモータを制御する。駆動制御部１００４は、レンズ制御部１００５からの指示に応じて、光学系３０４のフォーカスレンズ、ズームレンズ等を駆動するモータを制御する。
レンズ制御部１００５は、システム制御部１００３から伝達された指示に基づいて、駆動制御部１００４へモータ制御の指示を行う。
映像管理部１００６は、補助記憶装置３０３に対して、撮影された魚眼画像等の画像を記憶し、管理する。
通信制御部１００７は、撮像装置１０００が撮影した魚眼画像等の画像データをクライアント装置２０００に送信する。また、通信制御部１００７は、クライアント装置２０００から送信されたカメラ制御コマンド等のコマンドを受信し、システム制御部１００３へ伝達する。また、通信制御部１００７は、コマンドに対するレスポンスをクライアント装置２０００へ送信する。

図４（ｂ）は、クライアント装置２０００の機能構成の一例を示す図である。
クライアント装置２０００は、表示制御部２００１、入力制御部２００２、システム制御部２００３、通信制御部２００４を含む。
表示制御部２００１は、出力Ｉ／Ｆ３１５に接続されている出力装置に対して、撮像装置１０００から受信した画像や、カメラ制御を行うためのグラフィックユーザーインターフェース（以下では、ＧＵＩとする）を出力する。本実施形態では、表示制御部２００１は、出力Ｉ／Ｆ３１５に接続されている出力装置である液晶表示装置に対して、撮像装置１０００から受信した画像や、カメラ制御を行うためのＧＵＩを表示することで、出力する。

入力制御部２００２は、入力Ｉ／Ｆ３１４に接続されている入力装置を介して、クライアント装置２０００のユーザにより入力された情報を受付ける。ユーザは、例えば、入力装置を介して、出力装置に表示されたＧＵＩを操作する。
システム制御部２００３は、ユーザのＧＵＩ操作に応じてカメラ制御コマンドを生成し、通信制御部２００４を介して撮像装置１０００へ送信する。また、システム制御部２００３は、通信制御部２００４を介して、撮像装置１０００から受信した画像データの表示指示を表示制御部２００１に行う。
このように、クライアント装置２０００は、ネットワーク３０００を介して、撮像装置１０００からの撮影画像の取得や撮像装置１０００に対する各種のカメラ制御を行うことができる。

図５は、クライアント装置２０００が出力するＧＵＩの一例を示した図である。ＧＵＩ４０００は、魚眼画像表示領域４００１、切り出し部分指定枠４００２、切り出し画像表示領域４００３、コントロールボタン４００４を含む。システム制御部２００３は、ＧＵＩ４０００の表示を、表示制御部２００１に指示し、出力装置に表示されたＧＵＩへの入力を、入力Ｉ／Ｆ３１４に接続された入力装置を介して受け付ける。
魚眼画像表示領域４００１は、撮像装置１０００により撮影された魚眼画像が表示される領域である。切り出し部分指定枠４００２は、魚眼画像表示領域４００１に表示された魚眼画像における切り出し部分を示す枠である。切り出し部分とは、魚眼画像から切り出された部分である。本実施形態では、撮像装置１０００のシステム制御部１００３は、主記憶装置３０２等に、切り出し部分がどこに存在するかを示す情報を記憶し、管理する。切り出し画像表示領域４００３は、切り出し部分指定枠４００２で指定された領域を、魚眼画像から切り出してデワープした画像が表示される領域である。コントロールボタン４００４は、切り出し部分指定枠４００２に対しての移動の指示に利用されるボタンである。
システム制御部２００３は、魚眼画像表示領域４００１に、撮像装置１０００から受信した撮像装置１０００により撮影された魚眼画像を表示させる。また、システム制御部２００３は、撮像装置１０００から切り出し部分がどこであるかを示す情報を受信し、受信した情報が示す位置に、切り出し部分指定枠４００２を表示する。また、システム制御部２００３は、魚眼画像から切り出されデワープされた切り出し部分指定枠４００２が示す領域の画像を画像表示領域４００３に表示させる。システム制御部２００３は、コントロールボタン４００４への操作にもとづいて、切り出し部分の移動指示を撮像装置１０００に行い、切り出し部分指定枠４００２を移動させる。

システム制御部２００３は、撮像装置１０００を制御するための制御アプリケーションの機能として、ＧＵＩ４０００を出力する。
図５を用いて、本実施形態のクライアント装置２０００における制御アプリケーションの機能について説明する。
システム制御部２００３は、ＧＵＩ４０００において、コントロールボタン４００４が選択を検知すると、切り出し部分指定枠４００２を押下された十字キーの方向に移動させるコマンドを発行する。そして、システム制御部２００３は、発行したコマンドを、通信制御部２００４を介して、撮像装置１０００に送信する。
システム制御部２００３は、撮像装置１０００から、切り出し部分指定枠４００２の位置を切り出し、デワープした画像を、通信制御部２００４を介して受信する。そして、システム制御部２００３は、切り出し画像表示領域４００３に、受信した切り出しのデワープ画像を表示することとなる。

図６は、デワープ処理の一例を示すフローチャートである。図６を用いて、撮像装置１０００が実行するデワープ処理の一例について説明する。
Ｓ１１０００において、システム制御部１００３は、例えば、クライアント装置２０００から、コントロールボタン４００４が選択されたことを示す情報を受信し、受信した情報に応じて、切り出し部分を移動させる。そして、システム制御部１００３は、撮像装置１０００が撮影した魚眼画像上で切り出し部分の位置を特定する。
Ｓ１１００１において、システム制御部１００３は、撮像装置１０００が撮影した魚眼画像から、Ｓ１１０００で特定した切り出し部分の位置の領域に対して画像切出しを行う。
Ｓ１１００２において、システム制御部１００３は、Ｓ１１００１で切り出された画像を幾何変換し、矩形画像に補正する。そして、システム制御部１００３は、例えば、移動後の切り出し部分の位置の情報、矩形画像に補正した画像を、クライアント装置２０００に送信する。システム制御部２００３は、撮像装置１０００から受信した移動後の切り出し部分の位置の情報が示す位置に、切り出し部分指定枠４００２を表示させることで、切り出し部分指定枠４００２を移動させる。また、システム制御部２００３は、撮像装置１０００から受信した矩形画像に補正された画像を、切り出し画像表示領域４００３に表示させる。

図７は、方向指定による切り出し部分の移動の一例を説明する図である。
図７には、撮像装置１０００により撮影された魚眼画像５０００が示される。点５００１は、魚眼画像５０００の中心点である。点線５００２は、上下方向の移動により切り出し部分の中心点が遷移する位置を魚眼画像の中心点を中心とする円状に沿って結んだ線を示す。切り出し部分の中心点とは、切り出し部分に対応する魚眼画像の領域がデワープされた矩形の画像における中心点に対応する点である。本実施形態では、システム制御部１００３は、切り出し部分の位置として、切り出し部分の中心の座標に基づいて、切り出し部分の移動量を決定する。矢印５００３は、一度の上下方向の移動（例えば、コントロールボタン４００４の下ボタン又は上ボタンを１回選択した場合の移動）により切り出し部分が移動する移動量を示す。
撮像装置１０００が汎用モードである場合、システム制御部１００３は、図７に示されるように、切り出し部分の１回の移動で移動する移動量を、切り出し部分の位置によらず、一定とする。

図８は、方向指定による切り出し部分の移動の一例を説明する図である。
図８には、撮像装置１０００により撮影された魚眼画像６０００が示される。点６００１は、魚眼画像６０００の中心点である。点線６００２は、上下方向の移動により切り出し部分の中心点が遷移する位置を魚眼画像の中心点を中心とする円状に沿って結んだ線を示す。矢印６００３は、一度の上下方向の移動により切り出し部分が移動する移動量を示す。図８の例では、点６００１から離れるほど、１回の移動量が小さくなっている（矢印６００３の幅が小さくなっている）ことが示される。
撮像装置１０００が天井設置・机設置モードである場合、システム制御部１００３は、図８に示されるように、切り出し部分の位置が、点６００１から離れる程、１回の移動量を小さくするようにする。撮像装置１０００が天井、机に設置される場合、撮像装置１０００が撮影する魚眼画像の円周付近には、中心付近に比べて、遠方の比較的小さく映るものが被写体として含まれる場合がある。そのため、撮像装置１０００が天井設置・机設置モードの場合、システム制御部１００３は、撮像装置１０００が撮影する魚眼画像の円周付近の移動量を小さくすることで、円周付近に存在する切り出し部分の位置をより精度よく調整できるようになる。

図９は、切り出し部分の移動量の決定方法の一例を説明する図である。図９を用いて、天井設置・机設置モードである撮像装置１０００が撮影した魚眼映像内での切り出し部分の移動量の決定方法の一例について説明する。
システム制御部１００３は、例えば、以下の式１を用いて、魚眼映像内での切り出し部分の１回の移動における移動量を決定する。
移動量＝基本移動量［ピクセル数／１回の移動指示］＊座標の重みづけ係数 （式１）
式１の基本移動量は、撮像装置１０００が汎用モードである場合に、１回の移動指示で切り出し部分が移動する移動量であり、予め値が定められている。補助記憶装置３０３は、予め基本移動量の情報を記憶している。また、式１の座標の重みづけ係数は、魚眼画像の座標毎に決定されたパラメータであり、座標と魚眼画像の中心座標との距離に基づいて決定される。例えば、座標の重みづけ係数は、座標と魚眼画像の中心座標と、魚眼画像の半径との関係に基づいて、決定される。

システム制御部１００３は、例えば、座標の重みづけ係数を、以下の式２を用いて決定する。
座標の重みづけ係数＝
魚眼画像の半径［ピクセル数］／（（ｋ−１）＊魚眼画像の中心座標との距離［ピクセル数］＋魚眼画像の半径［ピクセル数］） （式２）
式２のｋは、魚眼画像の円周上に存在する切り出し部分の移動量が、魚眼画像の中心に存在する切り出し部分の移動量と比べて、１／ｋとなることを示す定数である。補助記憶装置３０３は、予めｋの情報を記憶している。システム制御部１００３は、また、次のような式３を用いて、座標の重みづけ係数を決定してもよい。
座標の重みづけ係数＝
（（魚眼画像の半径［ピクセル数］＊ｋ）−魚眼中心座標との距離［ピクセル数］）／（魚眼画像の半径［ピクセル数］＊ｋ） （式３）
図９の例では、システム制御部１００３は、座標６００４、座標６００５に切り出し部分の中心座標が存在する場合の切り出し部分の移動量を以下のように決定する。図９の例では、ｋ＝２、基本移動量［ピクセル数／１回の移動指定］＝１００、魚眼画像の半径＝１０００ピクセルとする。

システム制御部１００３は、式１、式２を用いて、切り出し部分の中心が魚眼画像の中心に存在する場合の１回の移動における切り出し部分の移動量を、例えば、次のように計算して決定する。
中心座標での移動量＝１００＊（１０００／（（２−１）＊０＋１０００））＝１００
即ち、システム制御部１００３は、切り出し部分の中心が魚眼画像の中心に存在する場合、１回の移動に応じて、切り出し部分を、１００ピクセルだけ移動させることとなる。
また、システム制御部１００３は、式１、式２を用いて、切り出し部分の中心が魚眼画像の円周に存在する場合の１回の移動における切り出し部分の移動量を、例えば、次のように計算して決定する。
円周座標上での移動量＝１００＊（１０００／（（２−１）＊１０００＋１０００））＝５０
即ち、システム制御部１００３は、切り出し部分の中心が魚眼画像の円周に存在する場合、１回の移動に応じて、切り出し部分を、５０ピクセルだけ移動させることとなる。
また、システム制御部１００３は、式１、式２を用いて、切り出し部分の中心が座標６００４に存在する場合の１回の移動における切り出し部分の移動量を、例えば、次のように計算して決定する。
座標６００４での移動量＝１００＊（１０００／（（２−１）＊３００＋１０００））≒７７
即ち、システム制御部１００３は、切り出し部分の中心が座標６００４に存在する場合、１回の移動に応じて、切り出し部分を、７７ピクセルだけ移動させることとなる。

また、システム制御部１００３は、式１、式２を用いて、切り出し部分の中心が座標６００５に存在する場合の１回の移動における切り出し部分の移動量を、例えば、次のように計算して決定する。
座標６００５での移動量＝１００＊（１０００／（（２−１）＊８００＋１０００））≒５６
即ち、システム制御部１００３は、切り出し部分の中心が座標６００５に存在する場合、１回の移動に応じて、切り出し部分を、５６ピクセルだけ移動させることとなる。
システム制御部１００３は、式１、式２を用いて、切り出し部分の位置が魚眼画像の中心から離れる程、小さくなるように、切り出し部分の移動量を決定した。しかし、システム制御部１００３は、式１、式２以外の式を用いて、切り出し部分の位置が魚眼画像の中心から離れる程、小さくなるように、切り出し部分の移動量を決定してもよい。システム制御部１００３は、例えば、移動量＝（予め定められた定数）／（魚眼画像の中心座標との距離）²の式を用いて、切り出し部分の移動量を決定してもよい。

図１０は、切り出し部分の移動の一例を説明する図である。
図１０には、撮像装置１０００により撮影された魚眼画像７０００が示される。点７００１は、魚眼画像７０００の中心点である。点線７００２は、上下方向の移動により切り出し部分の中心点が遷移する位置を魚眼画像の中心点を中心とする円状に沿って結んだ線を示す。矢印７００３は、一度の上下方向の移動により切り出し部分が移動する移動量を示す。図１０の例では、点７００１から離れるほど、１回の移動量が大きくなっている（矢印７００３の幅が大きくなっている）ことが示される。
撮像装置１０００が壁付設置モードである場合、システム制御部１００３は、図１０に示されるように、切り出し部分の位置が、点７００１から離れる程、１回の移動量を大きくするようにする。撮像装置１０００が壁付設置される場合、撮像装置１０００が撮影する魚眼画像の中心付近は、円周付近に比べて、遠方の比較的小さく映るものが被写体となる場合がある。そのため、撮像装置１０００が壁付設置モードの場合、システム制御部１００３は、撮像装置１０００が撮影する魚眼画像の中心付近の移動量を小さくすることで、中心付近に存在する切り出し部分の位置をより精度よく調整できるようになる。

図１１は、切り出し部分の移動量の決定方法の一例を説明する図である。図１１を用いて、壁付設置モードである撮像装置１０００が撮影した魚眼映像内での切り出し部分の移動量の決定方法の一例について説明する。
システム制御部１００３は、例えば、式１を用いて、魚眼映像内での切り出し部分の１回の移動における移動量を決定する。しかし、システム制御部１００３は、座標の重みづけ係数の値として、図９で説明した場合と異なる値を利用する。この場合の座標の重みづけ係数についても、魚眼画像の座標毎に決定されたパラメータであり、座標と魚眼画像の中心座標との距離に基づいて決定される。例えば、座標の重みづけ係数は、座標と魚眼画像の中心座標と、魚眼画像の半径との関係に基づいて、決定される。

また、システム制御部１００３は、以下の式４を用いて、式１で利用される座標の重みづけ係数を決定する。式３における定数ｋは、魚眼画像の中心に存在する切り出し部分の移動量が、魚眼画像の円周に存在する切り出し部分の移動量と比べて、１／ｋとなることを示す定数である。
座標の重みづけ係数＝
魚眼画像の半径［ピクセル数］／（（１−ｋ）＊魚眼画像の中心座標との距離［ピクセル数］＋ｋ＊魚眼画像の半径［ピクセル数］） （式４）
システム制御部１００３は、また、次のような式５を用いて、座標の重みづけ係数を決定してもよい。
座標の重みづけ係数＝
（魚眼画像の半径［ピクセル数］＋魚眼中心座標との距離［ピクセル数］）／（魚眼画像の半径［ピクセル数］＊ｋ） （式５）

図１１の例では、システム制御部１００３は、座標７００４、座標７００５に切り出し部分の中心座標が存在する場合の切り出し部分の移動量を以下のように決定する。図１１の例では、ｋ＝２、基本移動量［ピクセル数／１回の移動指定］＝１００、魚眼画像の半径＝１０００ピクセルとする。
システム制御部１００３は、式１、式４を用いて、切り出し部分の中心が魚眼画像の円周に存在する場合の１回の移動における切り出し部分の移動量を、例えば、次のように計算して決定する。
円周座標での移動量＝１００＊（１０００／（（１−２）＊１０００＋２＊１０００）＝１００
即ち、システム制御部１００３は、切り出し部分の中心が魚眼画像の円周に存在する場合、１回の移動に応じて、切り出し部分を、１００ピクセルだけ移動させることとなる。

また、システム制御部１００３は、式１、式４を用いて、切り出し部分の中心が魚眼画像の中心に存在する場合の１回の移動における切り出し部分の移動量を、例えば、次のように計算して決定する。
中心座標上での移動量＝１００＊（１０００／（（１−２）＊０＋２＊１０００）＝５０
即ち、システム制御部１００３は、切り出し部分の中心が魚眼画像の中心に存在する場合、１回の移動に応じて、切り出し部分を、５０ピクセルだけ移動させることとなる。
また、システム制御部１００３は、式１、式４を用いて、切り出し部分の中心が座標７００４に存在する場合の１回の移動における切り出し部分の移動量を、例えば、次のように計算して決定する。
座標７００４での移動量＝１００＊（１０００／（（１−２）＊１００＋２＊１０００）≒５３
即ち、システム制御部１００３は、切り出し部分の中心が座標７００４に存在する場合、１回の移動に応じて、切り出し部分を、５３ピクセルだけ移動させることとなる。

また、システム制御部１００３は、式１、式４を用いて、切り出し部分の中心が座標７００５に存在する場合の１回の移動における切り出し部分の移動量を、例えば、次のように計算して決定する。
座標６００５での移動量＝１００＊（１０００／（（１−２）＊４００＋２＊１０００）≒６３
即ち、システム制御部１００３は、切り出し部分の中心が座標７００５に存在する場合、１回の移動に応じて、切り出し部分を、６３ピクセルだけ移動させることとなる。
システム制御部１００３は、式１、式４を用いて、切り出し部分の位置が魚眼画像の中心から離れる程、大きくなるように、切り出し部分の移動量を決定した。しかし、システム制御部１００３は、式１、式４以外の式を用いて、切り出し部分の位置が魚眼画像の中心から離れる程、大きくなるように、切り出し部分の移動量を決定してもよい。システム制御部１００３は、例えば、移動量＝（予め定められた定数）／（魚眼画像の半径−魚眼画像の中心座標との距離）²の式を用いて、切り出し部分の移動量を決定してもよい。

図１２は、切り出し部分の移動処理の一例を示すフローチャートである。
Ｓ８０００において、システム制御部１００３は、撮像装置１０００の設置条件や操作内容に基づいて、撮像装置１０００のモードを決定する。
Ｓ８１００において、システム制御部１００３は、主記憶装置３０２に記憶されている切り出し部分の情報に基づいて、切り出し部分の中心座標が、撮像装置１０００により撮影された魚眼画像のどの座標に存在するかを特定する。
Ｓ８２００において、システム制御部１００３は、例えば、クライアント装置２０００から、ＧＵＩ４０００のコントロールボタン４００４への操作に基づく、切り出し部分の移動指示を受付ける。そして、システム制御部１００３は、受付けた移動指示が示す移動方向を特定する。
Ｓ８３００において、システム制御部１００３は、Ｓ８０００で決定したモードと、Ｓ８１００で特定した切り出し部分の中心の座標と、に基づいて、切り出し部分の移動量を決定する。システム制御部１００３は、例えば、図９、図１１等で説明した方法で、切り出し部分の移動量を決定する。そして、システム制御部１００３は、Ｓ８２００で特定した方向に、切り出し部分を決定した移動量だけ移動させ、移動後の切り出し部分の位置の情報を主記憶装置３０２に記憶する。

図１３は、撮像装置１０００のモード決定処理の一例を示すフローチャートである。図１３を用いて、Ｓ８０００の処理の詳細を説明する。
Ｓ８００１において、システム制御部１００３は、クライアント装置２０００においてコントロールボタン４００４へユーザにより行われた操作が、予め定められた操作（例えば、ボタン長押しや連打等の連続操作等の操作）であるか否かを判定する。システム制御部１００３は、クライアント装置２０００においてコントロールボタン４００４へユーザにより行われた操作が、予め定められた操作であると判定した場合、Ｓ８００２の処理に進む。また、システム制御部１００３は、クライアント装置２０００においてコントロールボタン４００４へユーザにより行われた操作が、予め定められた操作でないと判定した場合、Ｓ８００３の処理に進む。システム制御部１００３は、コントロールボタン４００４への操作後、予め定められた期間（例えば、３秒間等）は、コントロールボタン４００４へユーザにより行われた操作を、予め定められた操作ではないと判定してもよい。
Ｓ８００２において、システム制御部１００３は、撮像装置１０００のモードを、図２（ａ）、図７等で説明した汎用モードと決定する。

Ｓ８００３において、システム制御部１００３は、撮像装置１０００の設定状態、設置状況を確認する。システム制御部１００３は、例えば、補助記憶装置３０３等に記憶された撮像装置１０００の設定情報等に基づいて、設定状態、設置状況を確認する。システム制御部１００３は、例えば、撮像装置１０００に含まれるセンサの信号に基づいて、撮像装置１０００の設置状況を確認してもよい。システム制御部１００３は、例えば、撮像装置１０００が撮影した画像に基づいて、撮像装置１０００の設置状況を確認してもよい。
Ｓ８００４において、システム制御部１００３は、Ｓ８００３で確認した撮像装置１０００の設置状況が、壁付設置であるか否かを判定する。システム制御部１００３は、Ｓ８００３で確認した撮像装置１０００の設置状況が、壁付設置であると判定した場合、Ｓ８００５の処理に進む。システム制御部１００３は、Ｓ８００３で確認した撮像装置１０００の設置状況が、壁付設置でないと判定した場合、Ｓ８００６の処理に進む。
Ｓ８００５において、システム制御部１００３は、撮像装置１０００のモードを、図１０、１１等で説明した壁付設置モードと決定する。
Ｓ８００６において、システム制御部１００３は、撮像装置１０００のモードを、図８、９等で説明した天井設置・机設置モードと決定する。

以上、本実施形態では、撮像装置１０００は、魚眼画像から切り出し部分の中心の座標を、切り出し部分の位置として特定し、特定した位置に基づいて、切り出し部分の１回の移動に係る移動量を決定した。これにより、撮像装置１０００は、魚眼画像における切り出し部分のより適切な移動量を決定することができる。
また、撮像装置１０００は、撮像装置１０００の設置状況を示すモードに応じて、切り出し部分の移動量を決定した。これにより、撮像装置１０００は、撮像装置１０００の設置状況に応じて、適切な切り出し部分の移動量を決定できる。

＜実施形態２＞
実施形態１では、撮像装置１０００は、魚眼画像に置ける切り出し部分の位置に基づいて、切り出し部分の１回の移動に係る移動量を決定した。本実施形態では、撮像装置１０００は、魚眼画像に置ける切り出し部分の位置に加え、切り出し部分の画角に基づいて、切り出し部分の１回の移動に係る移動量を決定する。
本実施形態の情報処理システムのシステム構成は、実施形態１と同様である。また、本実施形態の撮像装置１０００のハードウェア構成及び機能構成についても、実施形態１と同様である。また、本実施形態のクライアント装置２０００のハードウェア構成及び機能構成についても、実施形態１と同様である。

図１４は、切り出し部分の移動処理の一例を示すフローチャートである。
Ｓ９０００〜Ｓ９２００の処理は、図１３のＳ８０００〜Ｓ８２００の処理と同様である。
Ｓ９３００において、システム制御部１００３は、Ｓ９０００で決定したモードと、Ｓ９１００で特定した切り出し部分の中心の座標と、に基づいて、切り出し部分の移動量を決定し、決定した移動量を暫定移動量として特定する。システム制御部１００３は、例えば、図９、図１１等で説明した方法で、切り出し部分の移動量を決定する。

Ｓ９４００において、システム制御部１００３は、ステップＳ９３００で特定した暫定移動量と、切り出し部分の画角（切り出し部分のサイズ）と、に基づいて、切り出し部分の１回の移動に係る移動量を決定する。切り出し部分の画角は、例えば、切り出し部分の面積、デワープされた切り出し部分の領域における横幅等である。
システム制御部１００３は、例えば、暫定移動量と、切り出し部分の画角と、に基づいて、以下の式６を用いて、切り出し部分の移動量を決定する。
移動量＝暫定移動量＊（切り出し部分の画角／切り出し部分として設定可能な最大画角） （式６）
また、システム制御部１００３は、例えば、切り出し画角が小さい程は、移動量が小さくなるようにするなら、他の式を用いてもよい。
Ｓ９５００において、システム制御部１００３は、Ｓ９４００で決定した移動量だけ、Ｓ９２００で特定した方向に切り出し部分を移動させる。

以上、本実施形態では、撮像装置１０００は、切り出し部分の位置に加えて、切り出し部分の画角に基づいて、切り出し部分の１回の移動に係る移動量を決定した。これにより、撮像装置１０００は、切り出し部分の画角に応じた適切な移動量を決定できる。

＜実施形態３＞
実施形態１、２では、撮像装置１０００が切り出し部分の１回の移動に係る移動量を決定することとした。本実施形態では、クライアント装置２０００が、切り出し部分の１回の移動に係る移動量を決定する。即ち、クライアント装置２０００が、図１２、１４に対応する処理を実行することとなる。
本実施形態の情報処理システムのシステム構成は、実施形態１と同様である。また、本実施形態の撮像装置１０００のハードウェア構成及び機能構成についても、実施形態１と同様である。また、本実施形態のクライアント装置２０００のハードウェア構成及び機能構成についても、実施形態１と同様である。

本実施形態では、システム制御部２００３は、以下のようにして、切り出し部分の１回の移動に係る移動量を決定する。システム制御部２００３は、撮像装置１０００が撮影した魚眼画像における切り出し部分の位置を特定する。システム制御部２００３は、例えば、撮像装置１０００から切り出し部分の情報を取得することで、魚眼画像における切り出し部分の位置を特定する。また、システム制御部２００３は、撮像装置１０００から、撮像装置１０００のモードの情報を取得する。
そして、システム制御部２００３は、取得したモードの情報と、特定した切り出し部分の位置と、に基づいて、図９、図１１等で説明した方法（式１、２を用いる方法、式１、式４を用いる方法等）で切り出し部分の１回の移動に係る移動量を決定する。そして、システム制御部２００３は、コントロールボタン４００４が操作された際に、撮像装置１０００に対して、決定した移動量の情報を送信し、切り出し部分の移動を指示する。

実施形態１、２では、撮像装置１０００が、切り出し部分の情報を管理し、決定した移動量に基づいて、切り出し部分を移動させることとした。しかし、クライアント装置２０００が、切り出し部分の情報を管理し、切り出し部分を移動させることとしてもよい。その場合、システム制御部２００３は、主記憶装置３１２に切り出し部分の情報を記憶し、管理する。システム制御部２００３は、ＧＵＩ４０００において、コントロールボタン４００４の選択の操作を検知すると、検知した操作に基づいて、切り出し部分を移動させる。そして、システム制御部２００３は、移動後の切り出し部分の情報を、撮像装置１０００に送信する。
撮像装置１０００は、送信された切り出し部分の情報が示す領域をデワープして、デワープした画像を、クライアント装置２０００に送信する。システム制御部２００３は、受信したデワープされた画像を、切り出し画像表示領域４００３に表示することとなる。また、システム制御部２００３が移動後の切り出し部分の情報が示す領域をデワープすることとしてもよい。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上述した撮像装置１０００、クライアント装置２０００の機能構成の一部又は全てをハードウェアとして撮像装置１０００、クライアント装置２０００に実装してもよい。
実施形態１〜３では、撮像装置１０００、クライアント装置２０００等の単体の情報処理装置が、切り出し部分の１回の移動に係る移動量を決定することとした。しかし、ネットワークを介して相互に通信可能に接続された複数の情報処理装置が、切り出し部分の１回の移動に係る移動量を決定することとしてもよい。その場合、複数の情報処理装置それぞれのＣＰＵが、各情報処理装置の補助記憶装置に記憶されるプログラムに基づき、連携して処理を実行することで、図２の機能や図１２、１４の処理等が実現される。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。

１０００ 撮像装置
２０００ クライアント装置
１００３ システム制御部

Claims (11)

1. 魚眼画像における切り出し部分の位置を特定する特定手段と、
   前記特定手段により特定された前記切り出し部分の位置に基づいて、前記切り出し部分の移動量を決定する決定手段と、
   を有する情報処理装置。
2. 前記特定手段は、前記魚眼画像における前記切り出し部分の中心の位置を、前記切り出し部分の位置として、特定する請求項１記載の情報処理装置。
3. 前記決定手段は、前記魚眼画像における前記特定手段により特定された前記切り出し部分の位置の座標について定められた前記切り出し部分の移動量に関するパラメータに基づいて、前記切り出し部分の移動が指示された際の移動量を決定する請求項１又は２記載の情報処理装置。
4. 前記パラメータの値は、前記魚眼画像の中心と前記座標との距離に応じて定められた値である請求項３記載の情報処理装置。
5. 前記決定手段は、前記特定手段により特定された前記切り出し部分の位置と、前記切り出し部分の画角と、に基づいて、前記切り出し部分の移動が指示された際の移動量を決定する請求項１乃至４何れか１項記載の情報処理装置。
6. 前記決定手段は、前記特定手段により特定された前記切り出し部分の位置と、前記魚眼画像を撮影した撮像装置の設置状況と、に基づいて、前記切り出し部分の移動量を決定する請求項１乃至５何れか１項記載の情報処理装置。
7. 前記切り出し部分の移動が指示された際に、指示された方向に、前記決定手段により決定された移動量だけ前記切り出し部分を移動させる移動手段を更に有する請求項１乃至６何れか１項記載の情報処理装置。
8. 前記情報処理装置は、前記魚眼画像を撮影する撮像装置である請求項１乃至７何れか１項記載の情報処理装置。
9. 前記情報処理装置は、前記前記魚眼画像を撮影する撮像装置と通信可能な情報処理装置である請求項１乃至７何れか１項記載の情報処理装置。
10. 情報処理装置が実行する情報処理方法であって、
    魚眼画像における切り出し部分の位置を特定する特定ステップと、
    前記特定ステップで特定された前記切り出し部分の位置に基づいて、前記切り出し部分の移動量を決定する決定ステップと、
    を含む情報処理方法。
11. コンピュータに、
    魚眼画像における切り出し部分の位置を特定する特定ステップと、
    前記特定ステップで特定された前記切り出し部分の位置に基づいて、前記切り出し部分の移動量を決定する決定ステップと、
    を実行させるためのプログラム。

Images