JP2018037766A - 映像編集装置、映像編集方法及び映像編集用コンピュータプログラム - Google Patents

Abstract

【課題】一連の作業を撮影して得られた映像から、所定の物体に関する作業を容易に確認可能な編集映像を作成可能な映像編集装置を提供する。【解決手段】映像編集装置は、距離センサ１１から得た、一連の作業を撮影することで得られる、追跡対象物体と距離センサ１１間の距離を画素値で表した複数の距離画像のそれぞれについて、追跡対象物体の位置を算出する物***置算出部２２と、各距離画像について、作業対象物体の３次元形状を表す背景モデルに基づいてその距離画像に写る追跡対象物体と各作業対象物体との間の距離を算出する距離算出部２３と、各距離画像について、その距離画像上での各作業対象物体についての距離に応じて、その作業対象物体を拡大表示するか否か判定する拡大表示判定部２４と、少なくとも一つの作業対象物体の何れかが拡大表示された拡大表示画像を含む編集映像を作成する編集部２５とを有する。【選択図】図３

Description

本発明は、例えば、事前に得られた映像を編集する映像編集装置、映像編集方法及び映像編集用コンピュータプログラムに関する。

従来より、一連の作業をカメラにより撮影して得られた映像を、作業者の支援のために利用する技術が提案されている（例えば、特許文献１を参照）。特許文献１に開示された基板配線作業支援システムは、表示部の画面上に表示される作業者が入力した作業番号に対応するＣＡＤデータと、配線作業を行うプリント基板の撮影画像の両方において作業者が配線するピンをハイライト表示する。さらに、このシステムは、作業者が実際に配線するピンに対して照射装置から照射される光の照射範囲を表示装置に表示された拡大表示画像の基板範囲と対応させる。そしてこのシステムでは、画面上に表示された拡大表示ボタンが押下されることでＣＡＤデータまたは撮影画像の拡大表示が行われる。

特開２０１３−２３８９４７号公報

特許文献１に開示された技術では、作業者による操作によって撮影画像などの拡大表示が行われる。そのため、一連の作業中において所定の部品あるいは基板などの所定の物体についての作業が行われる場合にその所定の物体を拡大表示してその作業を確認するためには、結局、作業者が一連の作業を撮影した映像そのものを確認することになる。したがって、所定の物体についての作業をより容易に確認できるような映像が得られることが好ましい。

一つの側面では、本発明は、一連の作業を撮影して得られた映像から、所定の物体に関する作業を容易に確認可能な編集映像を作成可能な映像編集装置を提供することを目的とする。

一実施形態によれば、映像編集装置が提供される。この映像編集装置は、少なくとも一つの作業対象物体のそれぞれの位置及び範囲と、その作業対象物体の３次元形状を表す背景モデルを記憶する記憶部と、距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、追跡対象物体の位置を算出する物***置算出部と、複数の距離画像のそれぞれについて、背景モデルに基づいてその距離画像に写る追跡対象物体と少なくとも一つの作業対象物体のそれぞれとの間の距離を算出する距離算出部と、複数の距離画像のそれぞれについて、その距離画像についての少なくとも一つの作業対象物体のそれぞれについての距離に応じて、その作業対象物体を拡大表示するか否か判定する拡大表示判定部と、少なくとも一つの作業対象物体の何れかが拡大表示された拡大表示画像を含む編集映像を作成する編集部とを有する。

一連の作業を撮影して得られた映像から、所定の物体に関する作業を容易に確認可能な編集映像を作成することができる。

一つの実施形態による映像編集装置のハードウェア構成図である。 一つの実施形態による映像編集装置で用いられる距離センサと作業対象物体の位置関係の一例を示す図である。 一つの実施形態による制御部の機能ブロック図である。 追跡対象物体と作業対象物体間の距離の一例を表す、追跡対象物体と作業対象物体を側面から見た図である。 作業対象物体の拡大表示の一例を示す図である。 追跡対象物体と作業対象物体間の距離の時間変化と編集映像の関係の一例を示す図である。 映像編集処理の動作フローチャートである。 （ａ）及び（ｂ）は、それぞれ、この変形例により生成される拡大表示画像の例を示す図である。 変形例による、拡大表示判定処理の動作フローチャートである。 推奨する視線方向の一例を示す図である。 視線方向の決定方法の概要を説明する図である。 変形例による制御部の機能ブロック図である。

以下、図面を参照しつつ、映像編集装置について説明する。この映像編集装置は、装置の組み立てといった一連の作業を、物体までの距離を測定可能な距離センサで撮影することにより得られた映像に含まれる、時系列の複数の距離画像のそれぞれから、作業者の手といった追跡対象となる物体を検出する。なお、追跡対象となる物体を、以下、単に追跡対象物体と呼ぶ。この映像編集装置は、その映像から、追跡対象物体と所定の作業の対象となる物体（以下、単に作業対象物体と呼ぶ）間の距離が所定の閾値未満となると作業対象物体が拡大表示された拡大表示画像を含む編集映像を作成する。

図１は、一つの実施形態による映像編集装置のハードウェア構成図である。図２は、一つの実施形態による映像編集装置で用いられる距離センサと作業対象物体の位置関係の一例を示す図である。映像編集装置１は、距離センサ１１と、記憶部１２と、制御部１３と、表示部１４とを有する。そして距離センサ１１、記憶部１２及び表示部１４は、それぞれ、制御部１３と信号線を介して接続される。また、映像編集装置１は、映像編集装置１を他の機器と接続するための通信インターフェース（図示せず）をさらに有していてもよい。

距離センサ１１は、距離測定部の一例である。そして距離センサ１１は、図２に示されるように、例えば、作業台の上方において、例えば鉛直下方へ向けて取り付けられる。そして距離センサ１１の検知範囲には、例えば、基板１０１及び基板１０１に取り付ける部品１０２が載置された作業台１００、及び、各部品の供給元位置１０３が含まれる。

距離センサ１１は、一連の作業中、一定の周期（例えば、30フレーム／秒〜60フレーム／秒）ごとに、検知範囲の距離画像を生成する。そして距離センサ１１は、生成した距離画像を制御部１３へ出力する。そのために、距離センサ１１は、例えば、デプスカメラとすることができる。あるいは、距離センサ１１は、距離画像とともに、カラーまたはモノクロ画像を生成できるカメラであってもよい。距離画像は、例えば、画素ごとに、その画素の値により、距離センサ１１からその画素に写っている物体の点までの距離を表す。例えば、距離センサ１１から距離画像中の画素に写っている物体の点までの距離が遠いほど、その画素の値は大きくなる。なお、距離画像中の画素に写っている物体の点までの距離が遠いほど、その画素の値が小さくなるようにしてもよい。以下では、距離画像中の画素に写っている物体の点までの距離が遠いほど、その画素の値は大きくなるものとして説明する。

記憶部１２は、例えば、揮発性又は不揮発性の半導体メモリ回路を有する。そして記憶部１２は、距離センサ１１により得られた一連の距離画像を含む映像信号などを記憶する。さらに、記憶部１２は、映像編集処理で利用される様々な情報、あるいは、映像編集処理の途中で生成されるデータを記憶する。例えば、記憶部１２は、拡大表示対象となる作業対象物体の位置及び範囲、拡大表示時に中心となる位置の座標、拡大表示するか否かの判定に用いられる閾値、拡大対象となる作業対象物体を含む、距離画像上の領域のサイズ、及び、背景モデルなどを記憶する。さらに、記憶部１２は、映像編集処理の結果得られた編集映像を記憶してもよい。

背景モデルは、作業対象物体の位置及び範囲と作業対象物体の３次元形状を表すデータである。なお、作業対象物体は一つでもよく、あるいは、複数でもよい。背景モデルは、例えば、追跡対象物体が距離センサ１１の検知範囲内に存在しておらず、部品及び基板などの全ての作業対象物体が作業台などに載置されているときに距離センサ１１により得られた距離画像に基づいて作成される。例えば、その距離画像において、ユーザは、ユーザインターフェース（図示せず）を介して、作業対象物体ごとに、その物体が写っている領域を設定する。そしてその距離画像に基づいて、領域ごとに、その領域に写っている物体の高さが画素単位で設定される。なお、以下では、基板など、部品が取り付けられる作業対象物体が含まれる領域を、便宜上、作業領域と呼ぶ。作業領域では、作業者が、部品の取り付けといった作業を行うことが想定される。

制御部１３は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部１３は、映像編集装置１全体を制御する。また制御部１３は、映像編集処理を実行する。なお、映像編集処理の詳細については後述する。

表示部１４は、例えば、ディスプレイ、あるいは、プロジェクタを有する。そして表示部１４は、制御部１３により作成された編集映像を表示する。

以下、制御部１３により実行される、映像編集処理に関する構成要素の詳細について説明する。
図３は、制御部１３の機能ブロック図である。制御部１３は、物体領域検出部２１と、物***置算出部２２と、距離算出部２３と、拡大表示判定部２４と、編集部２５とを有する。
制御部１３が有するこれらの各部は、例えば、制御部１３が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいは、これらの各部の機能を実現する一つまたは複数の集積回路が、制御部１３とは別個に映像編集装置１に実装されてもよい。

本実施形態では、制御部１３は、作業台上で一連の作業を作業者が実行する間に撮影された時系列の複数の距離画像のそれぞれから、作業者の手を追跡対象物体として検出する。そして制御部１３は、各距離画像のうち、その距離画像から検出された手の位置と各作業対象物体までの距離を算出し、何れかの作業対象物体までの距離が閾値未満になると、その作業対象物体を拡大表示する。

物体領域検出部２１は、距離センサ１１から制御部１３が取得した距離画像から、追跡対象物体が写っている領域である物体領域を検出する。なお、物体領域検出部２１は、一連の作業中に得られた各距離画像について同一の処理を行えばよいので、以下では、一つの距離画像に対する処理について説明する。

例えば、物体領域検出部２１は、距離画像上の各画素について、その画素の値と、背景モデルの対応画素の値とを比較する。物体領域検出部２１は、距離画像の画素の値と背景モデルの対応画素の値の差の絶対値が所定の閾値以上となる画素を抽出する。なお、所定の閾値は、例えば、5mm〜10mmに相当する距離画像上の画素値とすることができる。

物体領域検出部２１は、抽出された画素に対して、例えば、ラベリング処理を実行して、抽出された画素をグループ化することで、それぞれが抽出された画素を含み、かつ、互いに分離した１以上の候補領域を求める。そして物体領域検出部２１は、１以上の候補領域のうち、その候補領域に含まれる画素数が最大となる候補領域を物体領域とする。なお、作業者の両方の手が距離画像に写っていることもあるので、物体領域検出部２１は、その候補領域に含まれる画素数が多い方から順に二つの候補領域を、それぞれ、物体領域としてもよい。この場合、作業者と距離センサ１１の位置関係は、予め分かっているので、距離画像上での左手と右手の位置関係も分かる。例えば、指が伸ばされた状態で距離画像上で指先が上側を向く場合、二つの物体領域のうちの右側の物体領域が右手であり、左側の物体領域が左手であると想定される。そこで物体領域検出部２１は、二つの物体領域間の相互の位置関係に応じて、物体領域ごとに、その物体領域が作業者の何れの手を表すかを示す識別情報を付してもよい。

あるいはまた、物体領域検出部２１は、含まれる画素数が所定の画素数以上となる候補領域が存在しない場合には、距離画像には物体領域が含まれない、すなわち、距離画像に追跡対象物体が写っていないと判定してもよい。
このように、本実施形態では、物体領域検出部２１は、距離画像に基づいて追跡対象物体を検出するので、背景となる作業台が載置された作業対象物体などにより複雑な形状となっている場合でも、追跡対象物体を正確に検出できる。

物体領域検出部２１は、距離画像上の物体領域を物***置算出部２２へ通知する。

物***置算出部２２は、一連の作業中に得られた各距離画像について、その距離画像上の物体領域に写っている追跡対象物体の実空間での位置を算出する。本実施形態では、物***置算出部２２は、追跡対象物体の位置を、追跡対象物体と距離センサ１１間の距離と、距離画像上で表される位置の組み合わせとして算出する。なお、物***置算出部２２は、一連の作業中に得られた各距離画像について同一の処理を行えばよいので、以下では、一つの距離画像に対する処理について説明する。

例えば、作業者は、指先で部品を把持することが想定される。そのため、部品を取り付ける、あるいは、部品を取得するといった特定の作業が行われているか否かを判定するためには、背景モデルで表される、作業対象物体から指先までの距離が分かることが好ましい。そこで、物***置算出部２２は、物体領域において指先に相当する部分領域に含まれる各画素の値の平均値で表される距離を、追跡対象物体と距離センサ１１間の距離とする。また、距離センサ１１と作業者の位置関係から、距離画像上で指先が向く方向も想定される。例えば、距離画像上で指先が上方を向くと想定される場合、物***置算出部２２は、物体領域の上端から所定距離（例えば、10mmに相当する画素数）の範囲に含まれる物体領域の部分を、指先に相当する部分領域とする。

さらに、物***置算出部２２は、距離画像上の指先に相当する部分領域の重心を、距離画像上の追跡対象物体の位置として算出する。

また、一連の作業中、作業者は、指先を作業台側へ向けていると想定される。そのため、手のなかで、指先が、作業台または作業対象物体に最も近くなると想定される。そこで変形例によれば、物***置算出部２２は、物体領域に含まれる各画素について、背景モデルの対応画素との間で差分値を算出し、その差分値が最小となる画素を特定してもよい。そして物***置算出部２２は、その特定された画素の値で表される距離を、距離センサ１１と追跡対象物体間の距離としてもよい。この場合、物***置算出部２２は、その特定された画素の位置を、距離画像上の追跡対象物体の位置とする。

物***置算出部２２は、各距離画像について得られた追跡対象物体の位置を距離算出部２３へわたす。

距離算出部２３は、背景モデルに基づいて、作業対象物体ごとに、一連の作業中に得られた各距離画像における、追跡対象物体の位置と作業対象物体間の距離を算出する。その際、距離算出部２３は、例えば、次式に従って、追跡対象物体の実空間での位置、及び、背景モデルで表される、作業対象物体の実空間での所定点の位置を算出する。そして距離算出部２３は、実空間での追跡対象物体の位置と作業対象物体の位置間の距離を算出する。
（１）式は、ピンホールカメラモデルに従った式であり、距離画像上の画素(x_d,y_d)に対応する実空間での位置(X_d,Y_d,Z_d)として、距離センサ１１を基準とする距離センサ座標系での位置が求められる。距離センサ座標系では、Xd軸方向及びYd軸方向は、それぞれ、距離センサ１１の光軸と直交する面において、距離画像の水平方向及び垂直方向に対応する方向に設定される。またZd軸方向は、距離センサ１１の光軸方向と平行となるように設定される。またf_dは、距離センサ１１の焦点距離を表し、DW及びDHは、それぞれ、距離画像の水平方向画素数及び垂直方向画素数を表す。DfovDは、距離センサ１１の対角視野角を表す。また、Z_dは、距離画像上の画素(x_d,y_d)に対応する位置にある追跡対象物体または作業対象物体の点と距離センサ１１間の距離であり、その画素(x_d,y_d)の値に基づいて算出される。

図４は、追跡対象物体と作業対象物体間の距離の一例を表す、追跡対象物体と作業対象物体を側面から見た図である。図４に示されるように、追跡対象物体である作業者の手４００と作業対象物体４１０間の距離dは、３次元的に算出される。すなわち、距離dは、作業台の表面に平行な面における手４００の位置と作業対象物体４１０の所定点４１１の位置の差だけでなく、作業台の表面に対する法線方向における手４００の位置と作業対象物体４１０の所定点４１１の位置の差も考慮して算出される。なお、距離の算出に利用される作業対象物体４１０の所定点４１１の位置は、例えば、距離画像上での作業対象物体４１０が写っている領域の重心に相当する、実空間上の作業対象物体４１０の表面の位置とすることができる。なお、距離の算出に利用される作業対象物体の所定点を、以下では、基準点と呼ぶ。

あるいは、距離算出部２３は、距離画像上で作業対象物体４１０が写っている領域に含まれる各点ごとに、その点に対応する実空間上の位置と追跡対象物体の位置間の距離を算出し、その距離の最小値を、追跡対象物体と作業対象物体間の距離としてもよい。

距離算出部２３は、作業対象物体ごとの、追跡対象物体と作業対象物体間の距離を拡大表示判定部２４へ通知する。さらに、距離算出部２３は、作業対象物体ごとの、追跡対象物体と作業対象物体間の距離を、対応する距離画像の取得時刻とともに、記憶部１２に保存してもよい。

拡大表示判定部２４は、距離画像ごとに、各作業対象物体についての追跡対象物体と作業対象物体間の距離に基づいて、作業対象物体を拡大表示するか否か判定する。

本実施形態では、拡大表示判定部２４は、何れかの作業対象物体についての追跡対象物体と作業対象物体間の距離が所定の閾値未満となった場合に、その作業対象物体を拡大表示すると判定する。なお、同一の距離画像において、距離が所定の閾値未満となる作業対象物体が複数存在する場合、拡大表示判定部２４は、それら作業対象物体のうち、距離が最小となる作業対象物体のみを拡大表示すると判定してもよい。あるいは、拡大表示判定部２４は、距離が所定の閾値未満となる作業対象物体の全てについて拡大表示すると判定してもよい。

拡大表示判定部２４は、拡大表示対象となる作業対象物体について、その作業対象物体を含む拡大対象領域を設定する。例えば、拡大表示判定部２４は、拡大表示対象となる作業対象物体について設定される基準点を中心とする所定サイズの領域を拡大対象領域とする。拡大対象領域は、例えば、距離画像上で上下左右それぞれについて基準点から所定の長さを持つ矩形領域、あるいは、基準点を中心とする、所定の長さの半径を持つ円形領域とすることができる。なお、所定の長さは、例えば、追跡対象物体と作業対象物体間の距離に対する上記の閾値とすることができる。

なお、所定の閾値は、作業対象物体ごとに設定されてもよい。例えば、作業対象物体が大きいほど、閾値も大きくなるように、その閾値は設定されてもよい。その際、所定の閾値は、基準点から作業対象物体の外縁までの距離の最大値よりも大きな値となるように設定されてもよい。そして閾値が大きくなるほど、拡大対象領域のサイズも大きくなるように、拡大対象領域は設定されてもよい。これにより、拡大表示判定部２４は、小さな作業対象物体ほどより拡大して表示することができ、一方、大きい作業対象物体については、その作業対象物体全体を拡大対象領域に含めることができる。

図５は、作業対象物体の拡大表示の一例を示す図である。図５の左上側に示された距離画像５００において、二つの作業対象物体５０１、５０２が写っている。この例では、作業対象物体５０１よりも、作業対象物体５０２の方が大きい。また図５の中段には、作業対象物体５０１と追跡対象物体５０３間の距離が閾値未満となった場合における、作業対象物体５０１の拡大表示画像５１１、５１２が示される。一方、図５の下段には、作業対象物体５０２と追跡対象物体５０３間の距離が閾値未満となった場合における、作業対象物体５０２の拡大表示画像５２１、５２２が示される。そして拡大表示画像５１１、５２１は、それぞれ、作業対象物体５０１、５０２の重心を中心とする拡大対象領域を、一定の拡大倍率で拡大表示したものである。そのため、拡大表示画像５１１、５２１では、作業者は、作業対象物体上の微細構造を、作業対象物体のサイズに関わらず、同じ倍率で視認することができる。一方、拡大表示画像５１２、５２２は、それぞれ、作業対象物体５０１、５０２の重心を中心とする拡大対象領域を、作業対象物体のサイズに応じて拡大したものである。そのため、拡大表示画像５１２、５２２では、作業対象物体のサイズにかかわらず、作業者は、作業対象物体全体を視認することができる。

拡大表示判定部２４は、距離画像ごとに、作業対象物体の拡大表示を行うか否かについての判定結果、及び、拡大表示の対象となる作業対象物体について設定した拡大対象領域を編集部２５へ通知する。

編集部２５は、一連の作業について得られた時系列の複数の距離画像から、作業対象物体の拡大表示を含む編集映像を作成する。例えば、編集部２５は、複数の距離画像のうち、作業対象物体の拡大表示を行うと判定された距離画像について設定された拡大対象領域をその距離画像から切り出して所定の拡大倍率で拡大することで、作業対象物体が拡大表示される拡大表示画像を生成する。所定の拡大倍率は、例えば、拡大対象領域のサイズに対する、表示部１４の表示画面上の拡大表示用の所定領域のサイズの比とすることができる。また編集部２５は、拡大表示画像を生成する際に、補間処理を行ってもよい。そして編集部２５は、一連の作業について得られた時系列の複数の距離画像のうち、作業対象物体の拡大表示を行うと判定された距離画像を対応する拡大表示画像で置換することで編集映像を作成する。これにより、一連の作業中において作業対象物体に関連する作業が行われる間、その作業対象物体についての拡大表示画像を含む編集映像が得られるので、作業者は、その編集映像を参照することでその一連の作業を容易に確認することができる。

図６は、追跡対象物体と作業対象物体間の距離の時間変化と編集映像の関係の一例を示す図である。図６の下側には、追跡対象物体と作業対象物体間の距離の時間変化を表すグラフ６００が示される。グラフ６００の横軸は時間を表し、縦軸は追跡対象物体と作業対象物体間の距離を表す。またd2は、拡大表示を行うか否かを判定するための、追跡対象物体と作業対象物体間の距離に対する閾値である。また、図６の上側には、編集映像において、追跡対象物体と作業対象物体間の距離に応じて選択される画像を表す。

この例では、時刻t₁〜t₂の間、追跡対象物体と作業対象物体間の距離は、閾値d2未満となっており、一方、時刻t₁以前、及び、時刻t₂以降については、追跡対象物体と作業対象物体間の距離は、閾値d2以上となっている。そのため、編集映像においても、時刻t₁以前では、作業領域全体を含む元の距離画像６０１が含まれる。一方、時刻t₁〜t₂の間では、編集映像には、作業対象物体６１０が拡大表示される拡大表示画像６０２が含まれる。そして時刻t₂以降では、時刻t₁以前と同様に、編集映像には、作業領域全体を含む元の距離画像６０３が含まれる。

変形例によれば、編集部２５は、編集映像において、作業対象物体の拡大表示を行うと判定された距離画像について、元の距離画像と拡大表示画像とが表示部１４の表示画面に並べて表示されるようにしてもよい。あるいは、編集部２５は、一連の作業について得られた時系列の複数の距離画像のなかから、作業対象物体の拡大表示を行うと判定された距離画像を選択し、選択した距離画像から得られる拡大表示画像のみを編集映像に含めてもよい。

編集部２５は、作成した編集映像を記憶部１２に保存する。また編集部２５は、作成した編集映像を表示部１４に表示させてもよい。あるいは、編集部２５は、作成した編集映像を、通信インターフェース（図示せず）を介して他の機器へ出力してもよい。

図７は、映像編集処理の動作フローチャートである。
制御部１３は、記憶部１２から背景モデルを読み込む（ステップＳ１０１）。そして物体領域検出部２１は、一連の作業を撮影して得られた映像に含まれる各距離画像から物体領域を検出する（ステップＳ１０２）。また、物***置算出部２２は、各距離画像について、物体領域に写っている追跡対象物体の位置を算出する（ステップＳ１０３）。

距離算出部２３は、各距離画像について、距離画像に写っている作業対象物体ごとに、追跡対象物体とその作業対象物体との距離を算出する（ステップＳ１０４）。そして拡大表示判定部２４は、各距離画像について、追跡対象物体と各作業対象物体間の距離に応じて、作業対象物体ごとに拡大表示するか否かを判定する（ステップＳ１０５）。

編集部２５は、各距離画像のうち、作業対象物体を拡大表示すると判定された距離画像について、その作業対象物体の拡大表示画像を作成し、その拡大表示画像を編集映像に含めることで編集映像を作成する（ステップＳ１０６）。そして制御部１３は、映像編集処理を終了する。

以上に説明してきたように、この映像編集装置は、一連の作業を距離センサを用いて撮影することで得られた映像に含まれる複数の距離画像のそれぞれから、その距離画像に写っている追跡対象物体を検出し、追跡対象物体の位置をもとめる。そしてこの映像編集装置は、追跡対象物体と作業対象物体間の距離が閾値未満となる距離画像から、その作業対象物体の拡大表示画像を作成し、拡大表示画像を含む編集映像を作成する。そのため、この映像編集装置は、一連の作業全体を表す映像から、その作業に関連する作業対象物体についての作業が行われるときにその作業対象物体が拡大表示される編集映像を作成することができる。したがって、この映像編集装置は、所定の作業対象物体に関する作業を作業者が確認することを容易化できる。さらに、この映像編集装置では、拡大表示される作業対象物体、及び、拡大表示されるタイミングは自動的に決定され、作業者による操作を必要としない。そのため、この映像編集装置は、編集映像作成の際の作業者の工数を削減できる。

変形例によれば、拡大表示判定部２４は、拡大対象領域に追跡対象物体がある程度含まれるように、作業対象物体と拡大対象領域の外縁との間にある程度のマージンが含まれるよう、拡大対象領域のサイズを設定してもよい。

この場合、追跡対象物体と作業対象物体間の距離が小さいほどサイズが小さくなるように、拡大対象領域は設定されてもよい。例えば、基準点から拡大対象領域の上下または左右の辺までの長さRは、次式に従ってされてもよい。
ここで、Rmaxは、長さRの最大値であり、Rminは、長さRの最小値である。そしてdは、追跡対象物体と作業対象物体間の距離であり、d2は、拡大表示するか否かの判定に用いられる閾値である。

（２）式に従って拡大対象領域のサイズが設定される場合、追跡対象物体が作業対象物体に近づくほど、そのサイズが小さくなる。したがって、表示部１４の表示画面上の拡大表示用の所定領域のサイズが一定であれば、追跡対象物体が作業対象物体に近づくほど、拡大表示画像において作業対象物体がより拡大される。

図８（ａ）及び図８（ｂ）は、それぞれ、この変形例により生成される拡大表示画像の例を示す図である。図８（ａ）に示される拡大表示画像８００では、作業対象物体８０１と追跡対象物体８０２間の距離が比較的大きいため、拡大対象領域が大きめに設定されており、その結果として、拡大倍率も比較的低くなっている。一方、図８（ｂ）に示される拡大表示画像８１０では、作業対象物体８０１と追跡対象物体８０２間の距離が比較的小さいため、拡大対象領域が小さくなっている。その結果として、拡大倍率も比較的高くなっている。

このように、追跡対象物体が作業対象物体に近づくにつれて作業対象物体の拡大倍率も高くなるので、作業が行われるときの作業対象物体の様子を確認することがより容易となる編集映像が得られる。一方、この編集映像では、作業対象物体に関する作業が行われる前後において、追跡対象物体がどのように作業対象物体に近づくか、あるいは、どのように作業対象物体から離れるかについても確認することが容易となる。

なお、拡大対象領域のサイズの設定方法は、作業対象物体ごとに規定されていてもよい。すなわち、作業対象物体ごとに、拡大対象領域のサイズの設定方法が異なっていてもよい。また、拡大表示判定部２４は、個別のサイズ設定方法が規定されている作業対象物体については、対応するサイズ設定方法に従って拡大対象領域のサイズを設定する。一方、個別のサイズ設定方法が規定されていない作業対象物体については、拡大表示判定部２４は、（２）式に従って拡大対象領域のサイズを設定してもよい。これにより、作業対象物体に応じて、拡大表示判定部２４は、より適切な拡大対象領域のサイズを設定することができる。

例えば、図５に示されている、相対的に小さい作業対象物体５０１について、追跡対象物体と作業対象物体間の距離dが3cm未満であれば、拡大対象領域は、基準点を中心としてその周囲10cmに相当する範囲を含むように設定される。一方、距離dが3cm以上かつ10cm未満であれば、拡大対象領域は、基準点を中心としてその周囲15cmに相当する範囲を含むように拡大対象領域が設定される。そして距離dが10cm以上であれば、作業対象物体５０１は拡大表示されない。

また、図５に示されている、相対的に大きい作業対象物体５０２について、追跡対象物体と作業対象物体間の距離dが3cm未満であれば、拡大対象領域は、基準点を中心としてその周囲15cmに相当する範囲を含むように設定される。一方、距離dが3cm以上かつ10cm未満であれば、拡大対象領域は、基準点を中心としてその周囲(15+(d-3)*2)cmに相当する範囲を含むように拡大対象領域が設定される。そして距離dが10cm以上であれば、作業対象物体５０２は拡大表示されない。

さらに、拡大表示判定部２４は、作業対象物体が予め設定される基準サイズの拡大対象領域に含まれる場合には、拡大対象領域のサイズをその基準サイズに設定し、そうでない場合に、上記の変形例に従って拡大対象領域のサイズを設定してもよい。

図９は、これらの変形例による、拡大表示判定部２４による拡大表示判定処理の動作フローチャートである。なお、拡大表示判定部２４は、距離画像に複数の作業対象物体が含まれる場合、作業対象物体ごとに、下記の動作フローチャートに従って拡大対象領域を設定すればよい。

拡大表示判定部２４は、追跡対象物体と作業対象物体間の距離dが閾値d2未満か否か判定する（ステップＳ２０１）。距離dが閾値d2以上である場合（ステップＳ２０１−Ｎｏ）、拡大表示判定部２４は、その作業対象物体については拡大表示しないと判定する。そして拡大表示判定部２４は拡大表示判定処理を終了する。

一方、距離dが閾値d2未満である場合（ステップＳ２０１−Ｙｅｓ）、拡大表示判定部２４は、作業対象物体が予め設定される基準サイズを持つ拡大対象領域に含まれるか否か判定する（ステップＳ２０２）。なお、距離センサ１１と作業対象物体の位置関係が一定である場合、作業対象物体が基準サイズを持つ拡大対象領域に含まれるか否かは予め分かるので、その判定結果が予め記憶部１２に保存されていてもよい。そして拡大表示判定部２４は、その判定結果を参照すればよい。

作業対象物体全体が基準サイズを持つ拡大対象領域に含まれる場合（ステップＳ２０２−Ｙｅｓ）、拡大表示判定部２４は、拡大対象領域のサイズを基準サイズに設定する（ステップＳ２０３）。一方、作業対象物体全体が基準サイズの拡大対象領域に含まれない場合（ステップＳ２０２−Ｎｏ）、拡大表示判定部２４は、その作業対象物体に対して個別のサイズ設定方法が規定されているか否か判定する（ステップＳ２０４）。個別のサイズ設定方法が規定されている場合（ステップＳ２０４−Ｙｅｓ）、拡大表示判定部２４は、そのサイズ設定方法に従って拡大対象領域を設定する（ステップＳ２０５）。

一方、個別のサイズ設定方法が規定されていない場合（ステップＳ２０４−Ｎｏ）、拡大表示判定部２４は、共通のサイズ設定方法に従って、すなわち、上記の（１）式に従って、拡大対象領域を設定する（ステップＳ２０６）。

ステップＳ２０３、Ｓ２０５またはＳ２０６の後、拡大表示判定部２４は、拡大表示判定処理を終了する。その後、編集部２５は、設定された拡大対象領域を距離画像から切り出して拡大することで拡大表示画像を作成すればよい。

また、作業対象物体によっては、実際の作業対象となる作業対象物体上の位置が、その作業対象物体の辺縁部に位置していることがある。このような場合、基準点は、作業対象物体の重心よりも、実際の作業対象となる位置の近傍に設定されている方が好ましい。そこで変形例によれば、基準点は、作業対象物体ごとに設定され、記憶部１２に保存されてもよい。その際、例えば、基準点は、実際の作業対象となる位置の近傍に設定されてもよい。この場合には、基準点の設定は、例えば、背景モデルの生成時において、作業者が作業対象物体ごとに行えばよい。この変形例によれば、制御部１３は、作業対象物体ごとに、その作業対象物体について作業が行われる部分をより適切に拡大表示できる。

なお、追跡対象物体と作業対象物体間の距離を算出する際に参照される基準点とは別個に、拡大対象領域を切り出す際の中心位置が設定され、記憶部１２に保存されてもよい。そしてその中心位置は、作業対象物体ごとに設定されてもよい。この場合も、上記の変形例と同様に、制御部１３は、作業対象物体ごとに、その作業対象物体について作業が行われる部分をより適切に拡大表示できる。

また、作業者は、距離センサ１１から作業対象物体と追跡対象物体を見るよりも、他の視点から作業対象物体と追跡対象物体を見た方が、作業対象物体と追跡対象物体間の位置関係を容易に把握できることがある。
そこで他の変形例によれば、拡大表示判定部２４は、拡大対象領域に対して視点変換処理を実行して仮想画像を作成し、編集部２５は、その仮想画像を拡大することで拡大表示画像を作成してもよい。

この場合、作業対象物体ごとに、推奨する視線方向が設定され、記憶部１２に保存されてもよい。そしてその推奨する視線方向からの画像となるように、拡大表示判定部２４は、拡大対象領域に対して視点変換処理を実行すればよい。

図１０は、推奨する視線方向の一例を示す図である。距離画像１０００には、二つの作業対象物体１００１、１００２が写っている。そしてこの例では、作業者は、距離画像１０００の下側に位置し、かつ、追跡対象物体となる作業者の手は距離画像１０００上で上側を向くことが想定される。この場合、指先と対向する側から作業者の手と作業対象物体とが視認されるような画像の方が、作業者は、手と作業対象物体１００１、１００２との位置関係を把握し易い。そこで、矢印で示されるように、作業対象物体１００１、１００２のそれぞれについて、作業台の表面に対して平行な面において、上方から下方へ向くように、すなわち、追跡対象物体の先端と対向するように推奨する視線方向１０１１、１０１２が設定される。またこの例では、作業台の表面に対して直交し、かつ、視線方向１０１１、１０１２に対して平行な面において、視線方向１０１１、１０１２と作業台の表面に対する法線とのなす角θは、手と作業対象物体１００１または１００２間の距離dに応じて設定される。例えば、相対的に小さい作業対象物体１００１について、距離dが3cm未満であれば、θは45°に設定される。また、距離dが3cm以上、かつ、10cm未満であれば、θは30°に設定される。そして距離dが10cm以上であれば、θは0°に設定される（すなわち、距離センサ１１が垂直下方に向けて設置されている場合、視線変換処理は実行されない）。一方、相対的に大きい作業対象物体１００２について、距離dが5cm未満であれば、θは45°に設定される。また、距離dが5cm以上、かつ、10cm未満であれば、θは(45-(d-5)*9)°に設定される。そして距離dが10cm以上であれば、θは0°に設定される。すなわち、何れの作業対象物体についても、距離dが小さくなるほどθは大きくなるので、手と作業対象物体とが近接していても、拡大表示判定部２４は、手と作業対象物体の位置関係を把握し易い拡大表示画像を生成できる。

また、推奨する視線方向が設定されていない作業対象物体があってもよい。この場合には、拡大表示判定部２４は、追跡対象物体の進行方向に基づいて、視線方向を決定してもよい。

図１１は、視線方向の決定方法の概要を説明する図である。拡大表示判定部２４は、最新の距離画像について着目する作業対象物体１１００について拡大表示すると判定した場合、追跡対象物体１１１０の進行方向１１０１を算出する。例えば、拡大表示判定部２４は、最新の距離画像における追跡対象物体の位置と、所定時刻前（例えば、0.5秒〜2秒前）の距離画像における追跡対象物体の位置との差分により、追跡対象物体の進行方向を算出できる。

次に、拡大表示判定部２４は、進行方向１１０１と直交し、かつ、作業対象物体１１００と進行方向１１０１との交点を通る平面１１０２を算出する。なお、交点が複数存在する場合には、拡大表示判定部２４は、追跡対象物体１１１０から最も遠い交点を通るように平面１１０２を算出することが好ましい。これにより、追跡対象物体１１１０と作業対象物体１１００とが重ならない拡大表示画像が得られ易くなる。

次に、拡大表示判定部２４は、平面１１０２上で、作業台の表面に平行、かつ、進行方向１１０１と交差する直線１１０３を算出する。そして拡大表示判定部２４は、平面１１０２上で、進行方向１１０１と直線１１０３の交点を通り、かつ、直線１１０３と直交する直線を、視線方向１１０４として算出する。

拡大表示判定部２４は、視線方向上に、作業対象物体から所定の位置に仮想的な視点を設定する。そして拡大表示判定部２４は、仮想画像がその仮想的な視点から見た画像となるように、拡大表示対象領域に対して視点変換処理を実行する。その際、拡大表示判定部２４は、例えば、下記のように視点変換処理を実行する。

拡大表示判定部２４は、拡大表示対象領域に含まれる各画素について、その画素に写っている点の距離センサ座標系での座標(X_d,Y_d,Z_d)を上記の（１）式に従って算出する。

さらに、拡大表示判定部２４は、拡大表示対象領域に含まれる各画素について、その画素に写っている点の距離センサ座標系での座標を、次式に従って、仮想的な視点を基準とする仮想視点座標系での座標(X_W,Y_W,Z_W)に変換する。仮想視点座標系では、例えば、視線方向と平行となるようにZw軸が設定され、Zw軸と直交する面において、視点変換後の画像における水平方向と対応する方向にXw軸が設定される。そしてXw軸及びZw軸と直交するようにYw軸が設定される。
ここでR_DWは、距離センサ座標系から仮想視点座標系へのアフィン変換に含まれる、回転量を表す回転行列であり、t_DWは、そのアフィン変換に含まれる平行移動量を表す平行移動ベクトルである。そしてDLocX、DLocY、DLocZは、それぞれ、仮想視点座標系のXw軸方向、Yw軸方向、Zw軸方向における、距離センサ１１のセンサ面の中心の座標、すなわち、距離センサ座標系の原点の座標である。またDRotX、DRotY、DRotZは、それぞれ、Xw軸、Yw軸、Zw軸に対する、距離センサ１１の光軸方向の回転角度を表す。

次に、拡大表示判定部２４は、次式に従って、拡大表示対象領域に含まれる各画素について、仮想視点座標系で表されたその画素に写っている点を、仮想視点から見た仮想画像上に投影する。
（４）式は、（１）式と同様に、ピンホールカメラモデルに従った式であり、f_pは、仮想画像に対応する仮想的なカメラの焦点距離を表す。PW及びPHは、それぞれ、仮想画像の水平方向画素数及び垂直方向画素数を表す。またPfovDは、仮想画像についての対角視野角を表す。そして(x_p,y_p)は、実空間上の点(Xw,Yw,Zw)に対応する、仮想画像上での水平方向の位置及び垂直方向の位置を表す。

なお、拡大表示判定部２４は、追跡対象物体などにより生じるオクルージョンのために、仮想画像上で欠陥となる画素が存在する場合、その欠陥となる画素の値を、背景モデルの対応する画素の値を用いて補間してもよい。

拡大表示判定部２４は、仮想画像を編集部２５へわたす。そして編集部２５は、仮想画像に基づいて、上記の実施形態または変形例と同様に、拡大表示画像を生成すればよい。

この変形例によれば、追跡対象物体と作業対象物体間の位置関係がより把握し易い拡大表示画像が得られるので、作業者は、その拡大表示画像を含む編集映像を参照することで、所定の作業対象物体に関する作業をより容易に確認することができる。

さらに他の変形例によれば、一連の作業において作業が行われる作業対象物体の正しい順序、すなわち、拡大表示されるべき順序（以下、参照順序と呼ぶ）が予め記憶部１２に保存されていてもよい。参照順序は、例えば、拡大表示される作業対象物体の順序に従って並べられた、その作業対象物体の識別番号のリストとして表される。この場合、拡大表示判定部２４は、一連の作業を撮影して得られた映像において、一定期間以上連続して何れかの作業対象物体を拡大表示すると判定する度に、その拡大表示対象となる作業対象物体の識別番号を、拡大表示する順序に従って記憶部１２に保存する。そして拡大表示判定部２４は、拡大表示すると判定された作業対象物体の順序と、参照順序とを比較する。拡大表示判定部２４は、拡大表示すると判定された作業対象物体の順序と、参照順序とが一致しない場合、参照順序中で一致しない順番での作業対象物体も拡大表示対象とする。例えば、作業対象物体が３個存在し、それぞれに対して、識別番号#1、#2、#3が割り当てられているとする。そして参照順序が[#1, #2, #3]であったとする。そして、一連の作業を撮影して得られた映像から求められた、拡大表示される作業対象物体の順序が[#1, #2, #1]であったとする。この場合、拡大表示される作業対象物体の順序における３番目について、その順序と参照順序とが一致していない。そこで、拡大表示判定部２４は、その一致していないときに対応する距離画像において、参照順序における３番目に拡大表示される識別番号#3の作業対象物体についても拡大表示すると判定する。
これにより、作業者は、編集映像を確認することで、作業者が実際に行った作業の順序が正しいか否かを確認することができる。

なお、背景モデルの生成時と、一連の作業の撮影時とで、作業対象物体の配置が異なっていたり、一連の作業の途中で、作業対象物体の位置がずれることがある。このような場合、映像編集装置は、背景モデルで表される作業対象物体の配置と、実際の作業時の作業対象物体の配置とが一致するように、背景モデルを修正することが好ましい。

そこで変形例によれば、映像編集装置は、一連の作業中に得られた各距離画像上での作業対象物体に、背景モデルの作業対象物体を位置合わせするよう、背景モデルを更新する。

図１２は、この変形例による制御部の機能ブロック図である。制御部３３は、物体領域検出部２１と、物***置算出部２２と、距離算出部２３と、拡大表示判定部２４と、編集部２５と、位置合わせ部２６とを有する。この変形例による制御部３３は、上記の実施形態による制御部１３と比較して、位置合わせ部２６を有する点で相違する。そこで以下では、位置合わせ部２６及びその関連部分について説明する。

位置合わせ部２６は、一連の作業を撮影して得られた映像に含まれる各距離画像について作業対象物体の位置を、背景モデルに表された作業対象物体の位置と比較する。そして位置合わせ部２６は、距離画像に写っている作業対象物体の位置が背景モデルに表された作業対象物体の位置とずれている場合、背景モデルにおける作業対象物体の位置をその距離画像での作業対象物体の位置となるように修正する。

そのために、位置合わせ部２６は、例えば、背景モデルにおいて、作業対象物体が含まれる領域である作業領域を、テンプレートとする。そして位置合わせ部２６は、そのテンプレートと、着目する距離画像との間でテンプレートマッチングを行って、その距離画像上でそのテンプレートと最も一致する領域を特定する。なお、位置合わせ部２６は、作業対象物体が比較的厚い場合（例えば、作業対象物体の厚さが距離センサ１１と作業台との距離の略1/10以上）には、Iterative Closest Point(ICP)などを用いたマッチングを行うことが好ましい。この場合、位置合わせ部２６は、距離画像上の各画素の集合を３次元の点群としてICPを実行すればよい。そしてその距離画像に占める特定された領域の位置が、背景モデルにおける作業領域の位置に対して所定距離以上ずれている場合、位置合わせ部２６は、作業対象物体の位置がずれたと判定する。なお、所定距離は、例えば、3〜5画素とすることができる。

位置合わせ部２６は、作業対象物体の位置がずれたと判定した場合、背景モデルにおける作業領域を、着目する距離画像上で特定された領域と一致するよう移動させる。これにより、位置合わせ部２６は、最新の作業対象物体の位置及び状態を背景モデルに反映させることができる。なお、この場合、図９に示した、拡大対象領域設定の動作フローチャートにおける、ステップＳ２０２において、拡大表示判定部２４は、最新の背景モデルを用いて、作業対象物体が拡大対象領域に含まれるか否かを判定すればよい。

この変形例によれば、映像編集装置は、一連の作業中の実際の作業対象物体の位置に応じて背景モデルを更新することで、作業対象物体の位置がずれても、追跡対象物体と作業領域との位置関係を正確に求めることができる。そのため、この変形例による映像編集装置は、作業対象物体の位置がずれても、作業対象物体が拡大表示される距離画像を正確に選択できる。

また、上記の実施形態または各変形例において、距離センサ１１が、カラー画像またはモノクロ画像も生成できる場合には、編集部２５は、距離画像の代わりに、そのカラー画像またはモノクロ画像から拡大対象領域を切り出して拡大表示画像を生成してもよい。そして編集部２５は、カラー画像またはモノクロ画像から得られた拡大表示画像を編集映像に含めてもよい。この場合、編集映像において作業対象物体と追跡対象物体とを把握することがより容易となる。

あるいはまた、上記の実施形態または各変形例において、追跡対象物体が複数存在する場合、追跡対象物体ごとに、物体領域検出部２１、物***置算出部２２、距離算出部２３、及び拡大表示判定部２４の処理が行われればよい。そして編集部２５は、各追跡対象物体に基づいて拡大表示すると判定された作業対象物体の拡大表示画像を編集映像に含めればよい。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
少なくとも一つの作業対象物体のそれぞれの位置及び範囲と、前記作業対象物体の３次元形状を表す背景モデルを記憶する記憶部と、
距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体の位置を算出する物***置算出部と、
前記複数の距離画像のそれぞれについて、前記背景モデルに基づいて当該距離画像に写る前記追跡対象物体と前記少なくとも一つの作業対象物体のそれぞれとの間の距離を算出する距離算出部と、
前記複数の距離画像のそれぞれについて、当該距離画像についての前記少なくとも一つの作業対象物体のそれぞれについての前記距離に応じて、当該作業対象物体を拡大表示するか否か判定する拡大表示判定部と、
前記少なくとも一つの作業対象物体の何れかが拡大表示された拡大表示画像を含む編集映像を作成する編集部と、
を有する映像編集装置。
（付記２）
前記記憶部は、前記少なくとも一つの作業対象物体のそれぞれについて、当該作業対象物体と前記追跡対象物体間の距離に対する閾値を記憶し、
前記拡大表示判定部は、前記少なくとも一つの作業対象物体のそれぞれについて、当該作業対象物体と前記追跡対象物体間の距離が対応する前記閾値未満である場合、当該作業対象物体を拡大表示すると判定する、付記１に記載の映像編集装置。
（付記３）
前記拡大表示判定部は、拡大表示すると判定された前記作業対象物体について、当該作業対象物体と前記追跡対象物体間の距離が大きいほど、前記拡大表示画像に含まれる前記距離画像上の範囲を広くする、付記１または２に記載の映像編集装置。
（付記４）
前記編集部は、拡大表示すると判定された前記作業対象物体について、当該作業対象物体を含む距離画像上の範囲に基づいて前記拡大表示画像を生成し、当該範囲は、当該範囲に含まれる前記作業対象物体が大きいほど広くなるように設定される、付記１に記載の映像編集装置。
（付記５）
前記拡大表示判定部は、拡大表示すると判定された前記作業対象物体について、当該作業対象物体を含む前記距離画像上の範囲に対して視点変換処理を行って所定の視線方向に沿って見た仮想画像に変換し、
前記編集部は、前記仮想画像に基づいて前記拡大表示画像を生成する、付記１〜４の何れかに記載の映像編集装置。
（付記６）
前記拡大表示判定部は、拡大表示すると判定された前記作業対象物体について、当該作業対象物体と前記追跡対象物体間の距離が小さいほど、前記視線方向と当該作業対象物体が載置される面の法線とのなす角が大きくなるように、前記視線方向を設定する、付記５に記載の映像編集装置。
（付記７）
前記拡大表示判定部は、拡大表示すると判定された前記作業対象物体について、前記視線方向が前記追跡対象物体の先端と対向するように、前記視線方向を設定する、付記５または６に記載の映像編集装置。
（付記８）
前記少なくとも一つの作業対象物体は複数の作業対象物体を含み、
前記記憶部は、前記一連の作業において前記複数の作業対象物体が拡大表示される参照順序を記憶し、
前記拡大表示判定部は、前記複数の距離画像について拡大表示されると判定された作業対象物体の順序と前記参照順序とを比較し、前記複数の作業対象物体のうち、当該順序と前記参照順序とが一致しないときの前記参照順序における順番に対応する作業対象物体も拡大表示すると判定する、付記１〜７の何れかに記載の映像編集装置。
（付記９）
距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体の位置を算出し、
前記複数の距離画像のそれぞれについて、少なくとも一つの作業対象物体のそれぞれの位置及び範囲と、前記作業対象物体の３次元形状を表す背景モデルに基づいて当該距離画像に写る前記追跡対象物体と前記少なくとも一つの作業対象物体のそれぞれとの間の距離を算出し、
前記複数の距離画像のそれぞれについて、当該距離画像についての前記少なくとも一つの作業対象物体のそれぞれについての前記距離に応じて、当該作業対象物体を拡大表示するか否か判定し、
前記少なくとも一つの作業対象物体の何れかが拡大表示された拡大表示画像を含む編集映像を作成する、
ことを含む映像編集方法。
（付記１０）
距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体の位置を算出し、
前記複数の距離画像のそれぞれについて、少なくとも一つの作業対象物体のそれぞれの位置及び範囲と、前記作業対象物体の３次元形状を表す背景モデルに基づいて当該距離画像に写る前記追跡対象物体と前記少なくとも一つの作業対象物体のそれぞれとの間の距離を算出し、
前記複数の距離画像のそれぞれについて、当該距離画像についての前記少なくとも一つの作業対象物体のそれぞれについての前記距離に応じて、当該作業対象物体を拡大表示するか否か判定し、
前記少なくとも一つの作業対象物体の何れかが拡大表示された拡大表示画像を含む編集映像を作成する、
ことをコンピュータに実行させるための映像編集用コンピュータプログラム。

１ 映像編集装置
１１ 距離センサ
１２ 記憶部
１３、３３ 制御部
１４ 表示部
２１ 物体領域検出部
２２ 物***置算出部
２３ 距離算出部
２４ 拡大表示判定部
２５ 編集部
２６ 位置合わせ部

Claims (7)

1. 少なくとも一つの作業対象物体のそれぞれの位置及び範囲と、前記作業対象物体の３次元形状を表す背景モデルを記憶する記憶部と、
   距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体の位置を算出する物***置算出部と、
   前記複数の距離画像のそれぞれについて、前記背景モデルに基づいて当該距離画像に写る前記追跡対象物体と前記少なくとも一つの作業対象物体のそれぞれとの間の距離を算出する距離算出部と、
   前記複数の距離画像のそれぞれについて、当該距離画像についての前記少なくとも一つの作業対象物体のそれぞれについての前記距離に応じて、当該作業対象物体を拡大表示するか否か判定する拡大表示判定部と、
   前記少なくとも一つの作業対象物体の何れかが拡大表示された拡大表示画像を含む編集映像を作成する編集部と、
   を有する映像編集装置。
2. 前記記憶部は、前記少なくとも一つの作業対象物体のそれぞれについて、当該作業対象物体と前記追跡対象物体間の距離に対する閾値を記憶し、
   前記拡大表示判定部は、前記少なくとも一つの作業対象物体のそれぞれについて、当該作業対象物体と前記追跡対象物体間の距離が対応する前記閾値未満である場合、当該作業対象物体を拡大表示すると判定する、請求項１に記載の映像編集装置。
3. 前記拡大表示判定部は、拡大表示すると判定された前記作業対象物体について、当該作業対象物体と前記追跡対象物体間の距離が大きいほど、前記拡大表示画像に含まれる前記距離画像上の範囲を広くする、請求項２に記載の映像編集装置。
4. 前記編集部は、拡大表示すると判定された前記作業対象物体について、当該作業対象物体を含む距離画像上の範囲に基づいて前記拡大表示画像を生成し、当該範囲は、当該範囲に含まれる前記作業対象物体が大きいほど広くなるように設定される、請求項１に記載の映像編集装置。
5. 前記拡大表示判定部は、拡大表示すると判定された前記作業対象物体について、当該作業対象物体を含む前記距離画像上の範囲に対して視点変換処理を行って所定の視線方向に沿って見た仮想画像に変換し、
   前記編集部は、前記仮想画像に基づいて前記拡大表示画像を生成する、請求項１〜４の何れか一項に記載の映像編集装置。
6. 距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体の位置を算出し、
   前記複数の距離画像のそれぞれについて、少なくとも一つの作業対象物体のそれぞれの位置及び範囲と、前記作業対象物体の３次元形状を表す背景モデルに基づいて当該距離画像に写る前記追跡対象物体と前記少なくとも一つの作業対象物体のそれぞれとの間の距離を算出し、
   前記複数の距離画像のそれぞれについて、当該距離画像についての前記少なくとも一つの作業対象物体のそれぞれについての前記距離に応じて、当該作業対象物体を拡大表示するか否か判定し、
   前記少なくとも一つの作業対象物体の何れかが拡大表示された拡大表示画像を含む編集映像を作成する、
   ことを含む映像編集方法。
7. 距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体の位置を算出し、
   前記複数の距離画像のそれぞれについて、少なくとも一つの作業対象物体のそれぞれの位置及び範囲と、前記作業対象物体の３次元形状を表す背景モデルに基づいて当該距離画像に写る前記追跡対象物体と前記少なくとも一つの作業対象物体のそれぞれとの間の距離を算出し、
   前記複数の距離画像のそれぞれについて、当該距離画像についての前記少なくとも一つの作業対象物体のそれぞれについての前記距離に応じて、当該作業対象物体を拡大表示するか否か判定し、
   前記少なくとも一つの作業対象物体の何れかが拡大表示された拡大表示画像を含む編集映像を作成する、
   ことをコンピュータに実行させるための映像編集用コンピュータプログラム。