JP7494809B2 - 支援装置、支援方法、支援プログラム - Google Patents

Description

本開示は、物標のアノテーションを支援する技術に、関する。

移動体から外界物標が複数フレームに亘って時系列に撮影された動画データは、例えば座標又はラベル等の項目をアノテーションされることで、自動運転制御用の機械学習モデルをトレーニングする教師データとして活用可能となる。そこで特許文献１に開示の技術では、物標認識用とは別に、アノテーション用の機械学習モデルが用いられることで、自動アノテーションが実現されている。

米国特許出願公開第２０２０／００１９７９９号明細書

しかし、特許文献１に開示の技術では、アノテーション用の機械学習モデルによる処理が高負荷となる。これは、アノテーションを支援する装置への要求性能が高くなることを意味するため、望ましくない。

本開示の課題は、低負荷な処理によりアノテーションを支援する支援装置を、提供することにある。本開示のまた別の課題は、低負荷な処理によりアノテーションを支援する支援方法を、提供することにある。本開示のさらに別の課題は、低負荷な処理によりアノテーションを支援する支援プログラムを、提供することにある。

以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。

本開示の第一態様は、
プロセッサ（６２）を有し、ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、外界物標のアノテーションを支援する支援装置であって、
プロセッサは、
対の初期フレーム（Ｆ１，Ｆ２）に映る外界物標に関して、位置座標である初期座標の手動アノテーションを要求することと、
対の初期フレームよりも後に撮影された対象フレーム（Ｆｏ）に映る外界物標に関して、位置座標である対象座標を自動アノテーションすることとを、実行するように構成され、
対象座標を自動アノテーションすることは、
対象フレームにおける対象座標を予測する予測関数モデル（Ｍｆ）を、各初期フレームにおける初期座標と、各初期フレーム間におけるホスト移動体の移動距離とに基づき調整することと、
対象フレームよりも前に撮影された過去フレーム（Ｆ２，Ｆｏ）と対象フレームとの間におけるホスト移動体の移動距離を、予測関数モデルへ入力することにより、対象フレームにおける対象座標を自動アノテーションすることとを、含む。

本開示の第二態様は、
ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、外界物標のアノテーションを支援するために、プロセッサ（６２）により実行される支援方法であって、
対の初期フレーム（Ｆ１，Ｆ２）に映る外界物標に関して、位置座標である初期座標の手動アノテーションを要求することと、
対の初期フレームよりも後に撮影された対象フレーム（Ｆｏ）に映る外界物標に関して、位置座標である対象座標を自動アノテーションすることとを、含み、
対象座標を自動アノテーションすることはさらに、
対象フレームにおける対象座標を予測する予測関数モデル（Ｍｆ）を、各初期フレームにおける初期座標と、各初期フレーム間におけるホスト移動体の移動距離とに基づき調整することと、
対象フレームよりも前に撮影された過去フレーム（Ｆ２，Ｆｏ）と対象フレームとの間におけるホスト移動体の移動距離を、予測関数モデルへ入力することにより、対象フレームにおける対象座標を自動アノテーションすることとを、含む。

本開示の第三態様は、
ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、外界物標のアノテーションを支援するために記憶媒体（６０）に記憶され、プロセッサ（６２）に実行させる命令を含む支援プログラムであって、
命令は、
対の初期フレーム（Ｆ１，Ｆ２）に映る外界物標に関して、位置座標である初期座標の手動アノテーションを要求させることと、
対の初期フレームよりも後に撮影された対象フレーム（Ｆｏ）に映る外界物標に関して、位置座標である対象座標を自動アノテーションさせることとを、含み、
対象座標を自動アノテーションさせることはさらに、
対象フレームにおける対象座標を予測する予測関数モデル（Ｍｆ）を、各初期フレームにおける初期座標と、各初期フレーム間におけるホスト移動体の移動距離とに基づき調整させることと、
対象フレームよりも前に撮影された過去フレーム（Ｆ２，Ｆｏ）と対象フレームとの間におけるホスト移動体の移動距離を、予測関数モデルへ入力することにより、対象フレームにおける対象座標を自動アノテーションさせることとを、含む。

これら第一～第三態様によると、対の初期フレームよりも後に撮影された対象フレームに映る外界物標に関しての対象座標を予測する予測関数モデルが、調整される。このとき予測関数モデルの調整は、各初期フレームに映る外界物標に関しての初期座標と、各初期フレーム間におけるホスト移動体の移動距離とに基づく。そこで第一～第三態様では、対象フレームよりも前に撮影された過去フレームと対象フレームとの間におけるホスト移動体の移動距離が予測関数モデルへと入力されることで、対象座標が自動アノテーションされることになる。これによれば、初期フレームにおける初期座標が要求に応じて手動アノテーションされた後には、予測関数モデルの調整と当該調整済関数モデルへの入力という低負荷な処理により、対象座標のアノテーションを支援することが可能となる。

本開示の第四態様は、
プロセッサ（６２）を有し、ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、外界物標のアノテーションを支援する支援装置であって、
プロセッサは、
所定の初期フレーム（Ｆ１）に映る外界物標に関して、時間変化に対して固定される静的状態を識別する静的識別ラベル（Ｌｓ）の手動アノテーションを、要求することと、
初期フレームよりも後に撮影されたフレーム（Ｆ２，Ｆｏ）に映る外界物標に関して、手動アノテーションによる静的識別ラベルを自動アノテーションすることとを、実行するように構成される。

本開示の第五態様は、
ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、外界物標のアノテーションを支援するために、プロセッサ（６２）により実行される支援方法であって、
所定の初期フレーム（Ｆ１）に映る外界物標に関して、時間変化に対して固定される静的状態を識別する静的識別ラベル（Ｌｓ）の手動アノテーションを、要求することと、
初期フレームよりも後に撮影されたフレーム（Ｆ２，Ｆｏ）に映る外界物標に関して、手動アノテーションによる静的識別ラベルを自動アノテーションすることとを、含む。

本開示の第六態様は、
ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、外界物標のアノテーションを支援するために記憶媒体（６０）に記憶され、プロセッサ（６２）に実行させる命令を含む支援プログラムであって、
命令は、
所定の初期フレーム（Ｆ１）に映る外界物標に関して、時間変化に対して固定される静的状態を識別する静的識別ラベル（Ｌｓ）の手動アノテーションを、要求させることと、
初期フレームよりも後に撮影されたフレーム（Ｆ２，Ｆｏ）に映る外界物標に関して、手動アノテーションによる静的識別ラベルを自動アノテーションさせることとを、含む。

これら第四～第六態様によると、所定の初期フレームに映る外界物標に関して、時間変化に対して固定される静的状態を識別する静的識別ラベルの手動アノテーションが、要求される。これによれば、要求に応じた手動アノテーション後には、所定の初期フレームよりも後に撮影されたフレームに映る外界物標に関して、手動アノテーションによる静的識別ラベルを自動アノテーションするという低負荷な処理により、アノテーションを支援することが可能となる。

本開示の第七態様は、
プロセッサ（６２）を有し、ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、外界物標のアノテーションを支援する支援装置であって、
プロセッサは、
所定の初期フレーム（Ｆ１）に映る外界物標に関して、時間変化に対して遷移する動的状態を識別する動的識別ラベル（Ｌｄ）の手動アノテーションと、初期フレームよりも後に撮影されたフレーム（Ｆ２，Ｆｏ）のうち、動的状態が遷移したタイミングの遷移フレーム（Ｆｔ）に映る外界物標に関して、動的識別ラベルの手動アノテーションとを、要求することと、
初期フレームよりも後に撮影された手動アノテーション外のフレーム（Ｆ２，Ｆｏ）に映る外界物標に関して、手動アノテーションによる動的識別ラベルを自動アノテーションすることとを、実行するように構成される。

本開示の第八態様は、
ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、外界物標のアノテーションを支援するために、プロセッサ（６２）により実行される支援方法であって、
所定の初期フレーム（Ｆ１）に映る外界物標に関して、時間変化に対して遷移する動的状態を識別する動的識別ラベル（Ｌｄ）の手動アノテーションと、初期フレームよりも後に撮影されたフレーム（Ｆ２，Ｆｏ）のうち、動的状態が遷移したタイミングの遷移フレーム（Ｆｔ）に映る外界物標に関して、動的識別ラベルの手動アノテーションとを、要求することと、
初期フレームよりも後に撮影された手動アノテーション外のフレーム（Ｆ２，Ｆｏ）に映る外界物標に関して、手動アノテーションによる動的識別ラベルを自動アノテーションすることとを、含む。

本開示の第九態様は、
ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、外界物標のアノテーションを支援するために記憶媒体（６０）に記憶され、プロセッサ（６２）に実行させる命令を含む支援プログラムであって、
命令は、
所定の初期フレーム（Ｆ１）に映る外界物標に関して、時間変化に対して遷移する動的状態を識別する動的識別ラベル（Ｌｄ）の手動アノテーションと、初期フレームよりも後に撮影されたフレーム（Ｆ２，Ｆｏ）のうち、動的状態が遷移したタイミングの遷移フレーム（Ｆｔ）に映る外界物標に関して、動的識別ラベルの手動アノテーションとを、要求させることと、
初期フレームよりも後に撮影された手動アノテーション外のフレーム（Ｆ２，Ｆｏ）に映る外界物標に関して、手動アノテーションによる動的識別ラベルを自動アノテーションさせることとを、含む。

これら第七～第九態様によると、所定の初期フレームに映る外界物標に関して、時間変化に対して遷移する動的状態を識別する動的識別ラベルの手動アノテーションが、要求される。また第七～第九態様によると、所定の初期フレームよりも後に撮影されたフレームのうち、動的状態が遷移したタイミングの遷移フレームに映る外界物標に関しても、動的識別ラベルの手動アノテーションが要求される。故に、これらの要求に応じた手動アノテーション後には、所定の初期フレームよりも後に撮影された手動アノテーション外のフレームに映る外界物標に関して、手動アノテーションによる静的識別ラベルを自動アノテーションするという低負荷な処理により、アノテーションを支援することが可能となる。

一実施形態の全体構成を示すブロック図である。 一実施形態の適用されるホスト車両の撮影環境を示す模式図である。 一実施形態による撮影データを示す模式図である。 一実施形態による支援装置の機能構成を示すブロック図である。 一実施形態による支援方法を示すフローチャートである。 一実施形態による初期フレームを示す模式図である。 一実施形態による初期フレームを示す模式図である。 一実施形態による外界物標の状態遷移及びラベルを説明するための模式図である。 一実施形態による対象フレームを示す模式図である。 一実施形態による座標変換を説明するための模式図である。 一実施形態による姿勢角を説明するための模式図である。 一実施形態による予測関数モデルの特性を説明するための模式図である。 一実施形態による予測関数モデルの構築原理を説明するための模式図である。 一実施形態による予測関数モデルの構築原理を説明するための模式図である。

以下、本開示の一実施形態を図面に基づき説明する。

図１に示す一実施形態の支援装置１は、ホスト移動体としてのホスト車両２に搭載される外界カメラ３によって、図２に示すように撮影された動画データＶｄに対してのアノテーション処理を支援する。図３に示すように動画データＶｄは、ホスト車両２の外界に存在する外界物標Ｔａを複数フレームに亘って含むように、撮影される。即ち動画データＶｄは、複数フレーム毎のシーケンス画像から構成される、画像データセットであるともといえる。動画データＶｄを撮影する外界カメラ３は、例えばＣＭＯＳ等の撮像素子によりホスト車両２の外界を撮影するために、ホスト車両２に搭載される車載カメラである。外界カメラ３によって撮影された動画データＶｄは、図２，３に示すようにホスト車両２に搭載される記憶媒体４において、支援装置１へ提供可能に保存される。支援装置１へ提供されてアノテーション処理の施された動画データＶｄは、例えばホスト車両２を含む各種移動体での自動運転制御用の機械学習モデルをトレーニングするために、教師データ等として活用される。

図１に示す一実施形態の支援装置１は、例えばデータ解析センタ等といった、ホスト車両２の外部に設置される。ホスト車両２から支援装置１への動画データＶｄの提供は、例えば両者２，１間の通信ネットワークを介したデータ伝送により、又は記憶媒体４の物理的移動により、実現される。支援装置１は、表示ユニット５、入力ユニット７、及び専用コンピュータ６を有している。表示ユニット５は、支援装置１のオペレータに向けて動画データＶｄを表示する、例えば液晶パネル又は有機ＥＬパネル等である。入力ユニット７は、支援装置１のオペレータから入力を受け付ける、例えばマウス、トラックボール、及びキーボード等のうち少くとも一種類である。

支援装置１を構成する専用コンピュータ６は、メモリ６０及びプロセッサ６２を、少なくとも一つずつ有している。メモリ６０は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。メモリ６０には、ホスト車両２から支援装置１へ提供された動画データＶｄが記憶される。メモリ６０において動画データＶｄは、外界物標Ｔａのアノテーションに応じて更新される。

支援装置１においてプロセッサ６２は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、及びＲＩＳＣ（Reduced Instruction Set Computer）－ＣＰＵ等のうち、少なくとも一種類をコアとして含んでいる。プロセッサ６２は、動画データＶｄに対しての外界物標Ｔａのアノテーションを支援するためにメモリ６０に記憶された、支援プログラムに含まれる複数の命令を実行する。これにより支援装置１は、動画データＶｄに対しての外界物標Ｔａのアノテーションを支援するための機能ブロックを、複数構築する。支援装置１において構築される複数の機能ブロックには、図４に示す手動アノテーションブロック１００及び自動アノテーションブロック１１０が含まれている。

これら手動アノテーションブロック１００及び自動アノテーションブロック１１０の共同により、支援装置１が動画データＶｄに対しての外界物標Ｔａのアノテーションを支援する支援方法は、図５に示す支援フローに従って実行される。本支援フローは、支援装置１のオペレータからの起動指令に応じて実行される。尚、本支援フローにおける各「Ｓ」は、支援プログラムに含まれた複数命令によって実行される複数ステップを、それぞれ意味している。

Ｓ１０において手動アノテーションブロック１００は、支援装置１のオペレータへ外界物標Ｔａの手動アノテーションを表示ユニット５での表示によって要求することで、入力ユニット７による手動アノテーションの入力を当該オペレータから受け付ける。ここで手動アノテーションとは、動画データＶｄにおいてアノテーション対象の外界物標Ｔａに関するアノテーション項目がオペレータによって入力されることを、意味する。尚、以下では手動アノテーションブロック１００を、単にブロック１００という。

Ｓ１０において手動アノテーションの対象となる外界物標Ｔａは、静止物及び移動体のいずれであってもよい。外界物標Ｔａとしての静止物は、ホスト車両２の運転に影響する位置固定の物標、例えば信号機、標識、路面標示、及び道路構造物のうち、少なくとも一種類である。外界物標Ｔａとしての移動体は、ホスト車両２の運転に影響する移動可能な物標、例えばホスト車両２以外の他車両、バイク、自転車、及び歩行者等のうち、少なくとも一種類である。

ここから、Ｓ１０のブロック１００によるアノテーション項目毎の処理内容を説明する。Ｓ１０におけるブロック１００は、図６に示すように位置座標を手動アノテーションする外界物標Ｔａが初めて映るフレームＦ１と、図７に示すように同じ外界物標Ｔａが連続して次に映るフレームＦ２とを、初期フレームＦ１，Ｆ２として少なくとも一対選択するように、オペレータへ要求する。さらにＳ１０におけるブロック１００は、図６，７の如く対の初期フレームＦ１，Ｆ２に映る外界物標Ｔａに関して、横方向での位置座標である初期座標ｘ_１，ｘ_２と、縦方向での位置座標である初期座標ｙ_１，ｙ_２との、手動アノテーションをオペレータへ要求する。ここで位置座標のアノテーションでは、対象フレームに映る外界物標Ｔａの例えば角部、端部、又は縁部等といった一部に位置座標が付与されてもよいし、当該外界物標Ｔａを囲むバウンディングボックスの例えば矩形角部、又は矩形辺部等といった一部に位置座標が付与されてもよい。

こうして初期フレームＦ１，Ｆ２の選択要求及び初期座標ｘ_１，ｙ_１及びｘ_２，ｙ_２の手動アノテーション要求を受けたオペレータは、必要な入力操作を支援装置１に対して行う。このときオペレータは、表示ユニット５において動画データＶｄの各フレームを時間の経過順に送りながら、アノテーション対象とする少なくとも一つの外界物標Ｔａが現出する毎に、要求に応じた入力を入力ユニット７へ与える。その結果、手動アノテーションされた初期座標ｘ_１，ｙ_１及びｘ_２，ｙ_２の各組は、それぞれ対応する初期フレームＦ１，Ｆ２毎に一組ずつ又は複数組ずつ関連付けてメモリ６０に記憶されることで、それらフレームＦ１，Ｆ２の更新データとして付加される。また、手動アノテーションされた初期座標ｘ_１，ｙ_１及びｘ_２，ｙ_２の各組は、それぞれ入力ユニット７へのオペレータ入力に応答して、表示ユニット５による表示中のフレームＦ１又はＦ２に重畳表示されるとよい。

Ｓ１０におけるブロック１００はまた、図８に示すように手動アノテーション対象の外界物標Ｔａが初めて映る初期フレームＦ１に関して、静的識別ラベルＬｓ及び動的識別ラベルＬｄの手動アノテーションをオペレータへ要求する。即ち、位置座標の手動アノテーションが要求される初期フレームＦ１，Ｆ２の対のうち、先に撮影されたフレームＦ１に関して、静的識別ラベルＬｓ及び動的識別ラベルＬｄの手動アノテーションが要求される。このとき静的識別ラベルＬｓとは、時間変化に対して固定される外界物標Ｔａの静的状態を、識別するために設定される。ここで静的状態は、外界物標Ｔａの種別を含む。また静的状態は、例えば外界物標Ｔａの種別が図８の如き信号機である場合に、当該信号機における灯火色毎のランプが並ぶ向き等も含んでいてもよい。一方で動的識別ラベルＬｄとは、時間変化に対して遷移する外界物標Ｔａの動的状態を、識別するために設定される。ここで動的状態とは、外界物標Ｔａの作動状態を含む。例えば外界物標Ｔａの種別が図８の如き信号機である場合において動的状態としての作動状態は、当該信号機の灯火色等を含んでいてもよい。

Ｓ１０におけるブロック１００は、先の初期フレームＦ１よりも後に撮影されて手動アノテーション対象の外界物標Ｔａが映る初期フレームＦ２及び後続フレーム（即ち、後述の対象フレームＦｏ）のうち、図８の如く当該対象物標Ｔａの動的状態が遷移したタイミングの遷移フレームＦｔを少なくとも一つ選択するように、オペレータへ要求する。さらにＳ１０におけるブロック１００は、遷移フレームＦｔに映る外界物標Ｔａに関しても、動的識別ラベルＬｄの手動アノテーションをオペレータへ要求する。

Ｓ１０において、識別ラベルＬｓ，Ｌｄの手動アノテーション及び遷移フレームＦｔの選択は、初期フレームＦ１，Ｆ２の選択及び初期座標ｘ_１，ｙ_１，ｘ_２，ｙ_２の手動アノテーションと同時に、要求される。またＳ１０において、初期座標ｘ_１，ｙ_１，ｘ_２，ｙ_２の手動アノテーション対象は、動的状態の遷移する外界物標Ｔａを含んでいてもよいし、含んでいなくてもよい。そのため、全ての識別ラベルＬｓ，Ｌｄの手動アノテーション対象は、全ての初期座標ｘ_１，ｙ_１，ｘ_２，ｙ_２の手動アノテーション対象と完全に一致している必要はなく、少なくとも一部の初期座標ｘ_１，ｙ_１，ｘ_２，ｙ_２の手動アノテーション対象と一致していればよい。

こうして識別ラベルＬｓ，Ｌｄの手動アノテーション要求及び遷移フレームＦｔの選択要求を受けたオペレータは、必要な入力操作を支援装置１に対して行う。このときオペレータは、表示ユニット５において動画データＶｄの各フレームを時間の経過順に送りながら、アノテーション対象とする少なくとも一つの外界物標Ｔａが現出する毎と、当該現出物標Ｔａの動的状態が遷移した場合とに、要求に応じた入力を入力ユニット７へ与える。その結果、手動アノテーションされた識別ラベルＬｓ，Ｌｄは、それぞれ対応する初期フレームＦ１と、動的状態が遷移した場合の遷移フレームＦｔとに関連付けてメモリ６０に記憶されることで、それらフレームＦ１，Ｆｏの更新データとして付加される。また、手動アノテーションされた識別ラベルＬｓ，Ｌｄは、入力ユニット７へのオペレータ入力に応答して、表示ユニット５による表示中のフレームＦ１又はＦｏに重畳表示されるとよい。

図５に示すＳ１１において自動アノテーションブロック１１０は、外界物標Ｔａの位置座標及び識別ラベルＬｓ，Ｌｄのうち、Ｓ１０のブロック１００による手動アノテーションが未実施であるアノテーション項目の自動アノテーションを、実行する。ここで自動アノテーションとは、動画データＶｄにおいてアノテーション対象の外界物標Ｔａに関するアノテーション項目が支援装置１の自動処理によって付与されることを、意味する。尚、以下では自動アノテーションブロック１１０を、単にブロック１１０という。

ここから、Ｓ１１のブロック１１０によるアノテーション項目毎の処理内容を説明する。Ｓ１１におけるブロック１１０は、手動アノテーション対象の外界物標Ｔａが映る対の初期フレームＦ１，Ｆ２よりも後に撮影されて、図９に示すように同じ外界物標Ｔａがそれら初期フレームＦ１，Ｆ２から連続して映る対象フレームＦｏを、少なくとも一つ抽出する。さらにＳ１１におけるブロック１１０は、対象フレームＦｏに映る外界物標Ｔａに関して、横方向での位置座標である対象座標ｘ_ｍと、縦方向での位置座標である対象座標ｙ_ｍとを、自動アノテーションする。ここで、対象座標ｘ_ｍ，ｙ_ｍに付されるサフィックスｍは、対象フレームＦｏを時間の早い順に識別するための、３以上の整数である。

Ｓ１１による対象座標ｘ_ｍ，ｙ_ｍの自動アノテーションにおいてブロック１１０は、図５に示すように、対象フレームＦｏにおける対象座標ｘ_ｍ，ｙ_ｍを予測する予測関数モデルＭｆを、調整する。ここで予測関数モデルＭｆは、後述の数１～数２３の関数演算式に従って構築される。こうした予測関数モデルＭｆの調整は、各初期フレームＦ１，Ｆ２における初期座標ｘ_１，ｙ_１及びｘ_２，ｙ_２の組と、それら各初期フレームＦ１，Ｆ２間におけるホスト車両２の移動距離とに、基づく。また予測関数モデルＭｆの調整は、各初期フレームＦ１，Ｆ２における初期座標ｘ_１，ｙ_１及びｘ_２，ｙ_２の組が複数組ずつ存在する場合、それら各組毎に実行される。

以下、予測関数モデルＭｆの詳細を説明する。尚、以下では、初期座標ｘ_１，ｙ_１，ｘ_２，ｙ_２と対象座標ｘ_ｍ，ｙ_ｍとを含む位置座標を、初期フレームＦ１，Ｆ２及び対象フレームＦｏを時間の早い順に識別するための、１以上の整数であるサフィックスｎを用いて、ｘ_ｎ，ｙ_ｎと表記する。

予測関数モデルＭｆを構成する数１，２の関数演算式は、それぞれ先の初期フレームＦ１における画像座標系での初期座標ｘ_１，ｙ_１を、中心座標系での位置座標ｘ’_１，ｙ’_１へ変換する。予測関数モデルＭｆを構成する数３，４の関数演算式は、それぞれ後の初期フレームＦ２における画像座標系での初期座標ｘ_２，ｙ_２を、中心座標系での位置座標ｘ’_２，ｙ’_２へ変換する。ここで図６，７，９，１０に示すように画像座標系は、各フレームにおける縦横両方向の走査開始点（フレーム幅及びフレーム高さの起算位置）を、原点Ｏとしている。一方で図１０に示すように中心座標系は、各フレームにおける縦横両方向の中心点（フレーム幅及びフレーム高さの各半値位置）を、原点Ｏ’としている。尚、数１，３のＮｈは、各フレームの横方向での画像サイズであるフレーム幅を意味し、動画データＶｄにおいては各フレームに共通して事前付加されている。また数２，４のＮｖは、各フレームの縦方向での画像サイズであるフレーム高さを意味し、動画データＶｄにおいては各フレームに共通して事前付加されている。

予測関数モデルＭｆを構成する数５の関数演算式は、各初期フレームＦ１，Ｆ２間におけるホスト車両２の姿勢変化量として、それら各フレームＦ１，Ｆ２のピッチ角θ_ｐ＿１，θ_ｐ＿２間での変化量（以下、ピッチ角変化量という）θ_{ｐ＿２＿１}を与える。ここでピッチ角θ_ｐ＿ｎ（後述の数１８も参照）は、図１１に示すように縦方向の位置座標に影響する、ピッチ軸Ｐまわりでの姿勢角を意味し、動画データＶｄにおいては各フレーム毎に事前付加されている。予測関数モデルＭｆを構成する数６の関数演算式は、各初期フレームＦ１，Ｆ２間におけるホスト車両２の姿勢変化量として、それら各フレームＦ１，Ｆ２のヨー角θ_ｙ＿１，θ_ｙ＿２間での変化量（以下、ヨー角変化量という）θ_{ｙ＿２＿１}を与える。ここでヨー角θ_ｙ＿ｎ（後述の数１９も参照）は、図１１に示すように横方向の位置座標に影響する、ヨー軸Ｙまわりでの姿勢角を意味し、動画データＶｄにおいては各フレーム毎に事前付加されている。

予測関数モデルＭｆを構成する数７の関数演算式は、初期フレームＦ１における中心座標系での位置座標ｙ’_１を、そのまま位置座標ｙ”_１に定義する。予測関数モデルＭｆを構成する数８の関数演算式は、初期フレームＦ２における中心座標系での位置座標ｙ’_２を、ピッチ角変化量θ_{ｐ＿２＿１}により補正した位置座標ｙ”_２へ変換する。予測関数モデルＭｆを構成する数９の関数演算式は、初期フレームＦ１における中心座標系での位置座標ｘ’_１を、そのまま位置座標ｘ”_１に定義する。予測関数モデルＭｆを構成する数１０の関数演算式は、初期フレームＦ２における中心座標系での位置座標ｘ’_２を、ヨー角変化量θ_{ｙ＿２＿１}により補正した位置座標ｘ”_２へ変換する。こうして定義又は変換された位置座標ｘ”_１，ｙ”_１及びｘ”_２，ｙ”_２の各組は、図１２に二点鎖線で示すように中心座標系の原点Ｏ’を通る仮想直線上に、位置する。尚、数８，１０のｆは、外界カメラ３の焦点距離であり、動画データＶｄにおいては各フレームに共通して事前付加されている。また、位置座標ｘ”_２，ｙ”_２へ変換するための補正としては、姿勢変化量による補正の他、例えば外界カメラ３のレンズ歪量等による補正が、追加されてもよい。

予測関数モデルＭｆを構成する数１１の関数演算式は、各初期フレームＦ１，Ｆ２間におけるホスト車両２の移動距離Ｄ_{ｄ＿２＿１}を用いて、ホスト車両２での撮影位置とアノテーション対象の外界物標Ｔａとの、図２に示す相対高さｈを与える。即ち数１１の関数演算式は、初期フレームＦ１，Ｆ２での位置座標ｙ”_１，ｙ”_２に基づき相対高さｈを決定することで、アノテーション対象の外界物標Ｔａに合わせて予測関数モデルＭｆを調整する、調整演算式ともいえる。ここで特に初期フレームＦ２での位置座標ｙ”_２は、座標ｙ_２を座標変換してからピッチ角変化量θ_{ｐ＿２＿１}により補正した、初期座標を意味する。尚、数１１のｆとｋとは、それぞれ外界カメラ３の焦点距離と各フレームの画素密度とであり、いずれも動画データＶｄにおいては各フレームに共通して事前付加されている。

図１３に示すように数１１の相対高さｈは、ホスト車両２の外界カメラ３における撮像面Ｐｉの中心位置と、外界物標Ｔａにおいて位置座標ｙ”_ｎに対応する位置との間の、鉛直方向距離に定義される。こうした相対高さｈは、外界カメラ３の撮像面Ｐｉ及び焦点面Ｐｆ間の焦点距離ｆと、各フレーム撮影時における撮像面Ｐｉ及び外界物標Ｔａ間の水平方向距離Ｄ_ｎと、画素密度ｋの逆数に対する位置座標ｙ”_ｎの乗算値とに、相関する。また、図１４に示すようにフレームの進行に伴う位置座標ｘ”_ｎ，ｙ”_ｎの移動量は、各フレーム撮影時における焦点面Ｐｆ及び外界物標Ｔａ間の水平方向距離Ｄ_ｎに反比例する。これらの知見に基づき数１１の関数演算式は、各初期フレームＦ１，Ｆ２での水平方向距離Ｄ_ｎであるＤ_１，Ｄ_２間の差分に対応した、ホスト車両２の移動距離Ｄ_{ｄ＿２＿１}に基づくことで、予測関数モデルＭｆを調整するための相対高さｈを与えることになる。

ここで数１１の移動距離Ｄ_{ｄ＿２＿１}は、動画データＶｄにおいて各初期フレームＦ１，Ｆ２に事前付加されたホスト車両２の自己位置に基づき、与えられる。但し、アノテーション対象の外界物標Ｔａが静止物である場合、予測関数モデルＭｆを構成する数１２の関数演算式により、初期フレームＦ１，Ｆ２の撮影時における自己位置間の距離差ΔＤが、そのまま移動距離Ｄ_{ｄ＿２＿１}として与えられる。一方、アノテーション対象の外界物標Ｔａが移動体である場合、予測関数モデルＭｆを構成する数１３の関数演算式により、各初期フレームＦ１，Ｆ２間の距離差ΔＤと、それら各フレームＦ１，Ｆ２間において当該移動体に予測される移動距離ΔＬとの、総和が移動距離Ｄ_{ｄ＿２＿１}として与えられる。この場合に予測関数モデルＭｆは、移動体である外界物標Ｔａの移動距離ΔＬを各初期フレームＦ１，Ｆ２間において補償したホスト車両２の移動距離Ｄ_{ｄ＿２＿１}に基づき、調整されるといえる。尚、距離差ΔＤを与える自己位置は、動画データＶｄにおいて各フレーム毎に事前付加されている。また、数１３及び後述する数１６のｖは、外界物標Ｔａの予測される移動速度であり、動画データＶｄにおいては各フレーム毎に事前付加されている。さらに、数１３のｔ１，ｔ２及び後述する数１６のｔ_ｎは、各フレームの撮影時刻であり、動画データＶｄにおいては各フレーム毎に事前付加されている。

予測関数モデルＭｆを構成する数１４の関数演算式は、対象フレームＦｏと、その直前に撮影された初期フレームＦ２又は対象フレームＦｏである過去フレームとの間における、ホスト車両２の移動距離Ｄ_{ｄ＿ｎ＿ｎ－１}を用いて、当該対象フレームＦｏでの横方向の位置座標ｙ”_ｎを与える。ここで、数１４の関数演算式を満たす位置座標ｙ”_ｎは、図１２に示すように中心座標系の原点Ｏ’を通る上述の仮想直線上を、フレームの進行に伴って移動する。そこで位置座標ｙ”_ｎは、最終的に自動アノテーションする座標ｙ_ｍを与えるために、本実施形態では後述する補正及び変換が施される前の、対象座標を意味する。

ここで数１４の移動距離Ｄ_{ｄ＿ｎ＿ｎ－１}は、動画データＶｄにおいてサフィックスｎが２以上の各フレーム毎に事前付加されたホスト車両２の自己位置に基づき、与えられる。但し、アノテーション対象の外界物標Ｔａが静止物である場合、予測関数モデルＭｆを構成する数１５の関数演算式により、対象フレームＦｏ及びその直前過去フレームの撮影時における自己位置間の距離差ΔＤが、そのまま移動距離Ｄ_{ｄ＿ｎ＿ｎ－１}として与えられる。一方、アノテーション対象の外界物標Ｔａが移動体である場合、予測関数モデルＭｆを構成する数１６の関数演算式により、対象フレームＦｏ及び直前過去フレーム間の距離差ΔＤと、それら各フレーム間において当該移動体に予測される移動距離ΔＬとの、総和が移動距離Ｄ_{ｄ＿ｎ＿ｎ－１}として与えられる。この場合に位置座標ｙ”_ｎは、移動体である外界物標Ｔａの移動距離ΔＬを対象フレームＦｏ及び直前過去フレーム間において補償したホスト車両２の移動距離Ｄ_{ｄ＿ｎ＿ｎ－１}に基づき、与えられるといえる。

予測関数モデルＭｆを構成する数１７の関数演算式は、対象フレームＦｏでの横方向の位置座標ｘ”_ｎを与える。ここで、数１７の関数演算式を満たす位置座標ｘ”_ｎは、図１２に示すように中心座標系の原点Ｏ’を通る上述の仮想直線上を、フレームの進行に伴って移動すると予測される。そこで位置座標ｘ”_ｎは、最終的に自動アノテーションする座標ｘ_ｍを与えるために、本実施形態では後述する補正及び変換が施される前の、対象座標を意味する。

予測関数モデルＭｆを構成する数１８の関数演算式は、対象フレームＦｏ及び初期フレームＦ１間におけるホスト車両２の姿勢変化量として、それら各フレームＦｏ，Ｆ１のピッチ角θ_ｐ＿ｎ，θ_ｐ＿１間でのピッチ角変化量θ_{ｐ＿ｎ＿１}を与える。予測関数モデルＭｆを構成する数１９の関数演算式は、対象フレームＦｏ及び初期フレームＦ１間におけるホスト車両２の姿勢変化量として、それら各フレームＦｏ，Ｆ１のヨー角θ_ｙ＿ｎ，θ_ｙ＿１間でのヨー角変化量θ_{ｙ＿ｎ＿１}を与える。

予測関数モデルＭｆを構成する数２０の関数演算式は、対象フレームＦｏにおける位置座標ｙ”_ｎを、ピッチ角変化量θ_{ｐ＿ｎ＿１}により補正した位置座標ｙ’_ｎへ変換する。予測関数モデルＭｆを構成する数２１の関数演算式は、対象フレームＦｏにおける位置座標ｘ”_ｎを、ヨー角変化量θ_{ｙ＿ｎ＿１}により補正した位置座標ｘ’_ｎへ変換する。尚、位置座標ｘ’_ｎ，ｙ’_ｎへ変換するための補正としては、姿勢変化量による補正の他、例えば外界カメラ３のレンズ歪量等による補正が、追加されてもよい。

予測関数モデルＭｆを構成する数２２，２３の関数演算式は、それぞれ対象フレームＦｏにおける中心座標系での位置座標ｘ’_ｎ，ｙ’_ｎを、画像座標系での位置座標ｘ_ｎ，ｙ_ｎである対象座標ｘ_ｍ，ｙ_ｍへ変換する。こうして変換された対象座標ｘ_ｍ，ｙ_ｍは、以上説明した数１～２３の関数演算式を満たす予測関数モデルＭｆから出力されることで、アノテーション対象の外界物標Ｔａに自動アノテーションされる。

そこで、Ｓ１１による対象座標ｘ_ｍ，ｙ_ｍの自動アノテーションにおいてブロック１１０は、図５に示すように、対象フレームＦｏ及び直前過去フレーム間におけるホスト車両２の移動距離Ｄ_{ｄ＿ｎ＿ｎ－１}を、相対高さｈの決定された調整済の予測関数モデルＭｆへ入力する。これによりＳ１１のブロック１１０は、対象フレームＦｏに付与すべき対象座標ｘ_ｍ，ｙ_ｍを、自動アノテーションする。その結果、自動アノテーションされた対象座標ｘ_ｍ，ｙ_ｍは、対応する対象フレームＦｏに関連付けてメモリ６０に記憶されることで、当該フレームＦｏの更新データとして付加される。また、自動アノテーションされた対象座標ｘ_ｍ，ｙ_ｍは、入力ユニット７へのオペレータ入力又は当該自動アノテーションの完了に応答して、表示ユニット５による各フレームの表示送りに合わせた適時に、重畳表示されてもよい。ここで対象座標ｘ_ｍ，ｙ_ｍが重畳表示される場合には、入力ユニット７へのオペレータ入力に応答して、例えばカーブ走行路等での対象座標ｘ_ｍ，ｙ_ｍの手動補正が受け付けられてもよい。

さて、Ｓ１１におけるブロック１１０は、対の初期フレームＦ１，Ｆ２のうち後に撮影された初期フレームＦ２と、対象フレームＦｏとに映る外界物標Ｔａに関して、図８に示すように手動アノテーションによる静的識別ラベルＬｓを自動アノテーションする。このとき自動アノテーションされる静的識別ラベルＬｓは、Ｓ１０のブロック１００による要求に応答して、対の初期フレームＦ１，Ｆ２のうち先に撮影された初期フレームＦ１への手動アノテーションにより、付与されたラベルとなる。こうして初期フレームＦ１から引き継がれた静的識別ラベルＬｓは、対応する初期フレームＦ２及び対象フレームＦｏに関連付けてメモリ６０に記憶されることで、それらフレームＦ２，Ｆｏの更新データとして付加される。また、自動アノテーションされた静的識別ラベルＬｓは、入力ユニット７へのオペレータ入力又は当該自動アノテーションの完了に応答して、表示ユニット５による各フレームの表示送りに合わせた適時に、重畳表示されてもよい。ここで静的識別ラベルＬｓが重畳表示される場合には、入力ユニット７へのオペレータ入力に応答して、静的識別ラベルＬｓの手動補正が受け付けられてもよい。

Ｓ１１におけるブロック１１０は、先の初期フレームＦ１よりも後に撮影された、手動アノテーション外のフレームＦ２，Ｆｏに映る外界物標Ｔａに関して、図８に示すように手動アノテーションによる動的識別ラベルＬｄを自動アノテーションする。このとき自動アノテーションされる動的識別ラベルＬｄは、Ｓ１０のブロック１００による要求に応答して、対の初期フレームＦ１，Ｆ２のうち先に撮影された初期フレームＦ１への手動アノテーションにより、又はそれよりも後に撮影された場合の遷移フレームＦｔへの手動アノテーションにより、付与されたラベルとなる。またこのとき、同じ外界物標Ｔａに関して異なる動的状態の動的識別ラベルＬｄを手動アノテーションされた遷移フレームＦｔが複数存在する場合、各遷移フレームＦｔから次の遷移フレームＦｔ又は次の初期フレームＦ１までの対象フレームＦｏに、それぞれ各遷移フレームＦｔの動的識別ラベルＬｄが引き継がれる。尚、図８では、次の初期フレームＦ１よりも一つ前のフレーム又は動画データＶｄの最終フレームが、ＦＮと表示されている。

こうして自動アノテーションされた動的識別ラベルＬｄは、対応する初期フレームＦ２及び対象フレームＦｏに関連付けてメモリ６０に記憶されることで、それらフレームＦ２，Ｆｏの更新データとして付加される。また、自動アノテーションされた動的識別ラベルＬｄは、入力ユニット７へのオペレータ入力又は当該自動アノテーションの完了に応答して、表示ユニット５による各フレームの表示送りに合わせた適時に、重畳表示されてもよい。ここで動的識別ラベルＬｄが重畳表示される場合には、入力ユニット７へのオペレータ入力に応答して、動的識別ラベルＬｄの手動補正が受け付けられてもよい。

（作用効果）
以上説明した本実施形態の作用効果を、以下に説明する。

本実施形態によると、対の初期フレームＦ１，Ｆ２よりも後に撮影された対象フレームＦｏに映る外界物標Ｔａに関しての対象座標ｘ_ｍ，ｙ_ｍを予測する予測関数モデルＭｆが、調整される。このとき予測関数モデルＭｆの調整は、各初期フレームＦ１，Ｆ２に映る外界物標Ｔａに関しての初期座標ｘ_１，ｙ_１，ｘ_２，ｙ_２と、各初期フレームＦ１，Ｆ２間におけるホスト車両２の移動距離Ｄ_{ｄ＿２＿１}とに基づく。そこで本実施形態では、対象フレームＦｏよりも前に撮影された過去フレームと対象フレームＦｏとの間におけるホスト車両２の移動距離Ｄ_{ｄ＿ｎ＿ｎ－１}が予測関数モデルＭｆへと入力されることで、対象座標ｘ_ｍ，ｙ_ｍが自動アノテーションされることになる。これによれば、初期フレームＦ１，Ｆ２の初期座標ｘ_１，ｙ_１，ｘ_２，ｙ_２が要求に応じて手動アノテーションされた後には、予測関数モデルＭｆの調整と当該調整済関数モデルＭｆへの入力という低負荷な処理により、対象座標ｘ_ｍ，ｙ_ｍのアノテーションを支援することが可能となる。

本実施形態によると、各初期フレームＦ１，Ｆ２間におけるホスト車両２の姿勢変化量により補正された初期座標に基づくことで、予測関数モデルＭｆが調整される。これによれば、姿勢変化量による補正を含んだ予測関数モデルＭｆの調整と、当該調整済関数モデルＭｆへの入力という低負荷な処理により、対象座標ｘ_ｍ，ｙ_ｍを正確に自動アノテーションすることができる。故に、低負荷処理によるアノテーション支援への信頼度を高めることが可能となる。

本実施形態によると、対象フレームＦｏ及びその直前過去フレーム間におけるホスト車両２の姿勢変化量により補正された対象座標ｘ_ｍ，ｙ_ｍが、自動アノテーションされる。これによれば、姿勢変化量による補正を与えるような予測関数モデルＭｆの調整と、当該調整済関数モデルＭｆへの入力という低負荷な処理により、対象座標ｘ_ｍ，ｙ_ｍを正確に自動アノテーションすることができる。故に、低負荷処理によるアノテーション支援への信頼度を高めることが可能となる。

本実施形態によると、各初期フレームＦ１，Ｆ２間において外界物標Ｔａの移動距離ΔＬを補償されたホスト車両２の移動距離Ｄ_{ｄ＿２＿１}に基づき、予測関数モデルＭｆが調整される。これによれば、移動距離補償を含んだ予測関数モデルＭｆの調整と、当該調整済関数モデルＭｆへの入力という低負荷な処理により、対象座標ｘ_ｍ，ｙ_ｍを正確に自動アノテーションすることができる。故に、低負荷処理によるアノテーション支援への信頼度を高めることが可能となる。

本実施形態によると、対象フレームＦｏ及びその直前過去フレーム間において外界物標Ｔａの移動距離ΔＬを補償されたホスト車両２の移動距離Ｄ_{ｄ＿ｎ＿ｎ－１}が、予測関数モデルＭｆへと入力される。これによれば、予測関数モデルＭｆの調整と、当該調整済関数モデルへの補償後移動距離Ｄ_{ｄ＿ｎ＿ｎ－１}の入力という低負荷な処理により、対象座標ｘ_ｍ，ｙ_ｍを正確に自動アノテーションすることができる。故に、低負荷処理によるアノテーション支援への信頼度を高めることが可能となる。

本実施形態によると、所定の初期フレームＦ１に映る外界物標Ｔａに関して、時間変化に対して固定される静的状態を識別する静的識別ラベルＬｓの手動アノテーションが、要求される。これによれば、要求に応じた手動アノテーション後には、所定の初期フレームＦ１よりも後に撮影されたフレームに映る外界物標Ｔａに関して、手動アノテーションによる静的識別ラベルＬｓを自動アノテーションするという低負荷な処理により、アノテーションを支援することが可能となる。

本実施形態によると、所定の初期フレームＦ１に映る外界物標Ｔａに関して、時間変化に対して遷移する動的状態を識別する動的識別ラベルＬｄの手動アノテーションが、要求される。また本実施形態によると、所定の初期フレームＦ１よりも後に撮影されたフレームのうち、動的状態が遷移したタイミングの遷移フレームＦｔに映る外界物標Ｔａに関しても、動的識別ラベルＬｄの手動アノテーションが要求される。故に、これらの要求に応じた手動アノテーション後には、所定の初期フレームＦ１よりも後に撮影された手動アノテーション外のフレームに映る外界物標Ｔａに関して、手動アノテーションによる動的識別ラベルＬｄを自動アノテーションするという低負荷な処理により、アノテーションを支援することが可能となる。

（他の実施形態）
以上、一実施形態について説明したが、本開示は、当該説明の実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。

変形例において支援装置１を構成する専用コンピュータは、デジタル回路及びアナログ回路のうち、少なくとも一方をプロセッサとして有していてもよい。ここでデジタル回路とは、例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＳＯＣ（System on a Chip）、ＰＧＡ（Programmable Gate Array）、及びＣＰＬＤ（Complex Programmable Logic Device）等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを記憶したメモリを、有していてもよい。

変形例のブロック１００によるＳ１０において、静的識別ラベルＬｓ及び動的識別ラベルＬｄのうち少なくとも一方の手動アノテーションは、初期フレームＦ１，Ｆ２の選択及び初期座標ｘ_１，ｙ_１，ｘ_２，ｙ_２の手動アノテーションとは前後して要求されてもよい。変形形では、ブロック１００によるＳ１０において静的識別ラベルＬｓ及び動的識別ラベルＬｄのうち少なくとも一方の手動アノテーションの要求と、ブロック１１０によるＳ１１において当該少なくとも一方の自動アノテーションとが、実行されなくてもよい。

変形例のブロック１１０によるＳ１１において、数１～４，２２，２３の関数演算式を満たす座標変換は、実行されなくてもよい。変形例のブロック１１０によるＳ１１において、数８，１０，２０，２１の関数演算式を満たす補正は、実行されなくてもよい。変形例のブロック１１０によるＳ１１において、数１３，１６の関数演算式による補償は、実行されなくてもよい。

変形例において支援装置１の適用される動画データＶｄを提供するホスト移動体は、例えば走行をリモート制御可能なドローン等であってもよい。ここまでの説明形態の他、上述の実施形態及び変形例による支援装置１は、プロセッサ６２及びメモリ６０を少なくとも一つずつ有した半導体装置（例えば半導体チップ等）として、実施されてもよい。

１：支援装置、２：ホスト車両、５：表示ユニット、６０：メモリ、６２：プロセッサ、Ｆ１，Ｆ２：初期フレーム、Ｆｏ：対象フレーム、Ｆｔ：遷移フレーム、Ｌｄ：動的識別ラベル、Ｌｓ：静的識別ラベル、Ｍｆ：予測関数モデル、Ｔａ：外界物標、Ｖｄ：動画データ

Claims (21)

1. プロセッサ（６２）を有し、ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、前記外界物標のアノテーションを支援する支援装置であって、
   前記プロセッサは、
   対の初期フレーム（Ｆ１，Ｆ２）に映る前記外界物標に関して、位置座標である初期座標の手動アノテーションを要求することと、
   対の前記初期フレームよりも後に撮影された対象フレーム（Ｆｏ）に映る前記外界物標に関して、位置座標である対象座標を自動アノテーションすることとを、実行するように構成され、
   前記対象座標を自動アノテーションすることは、
   前記対象フレームにおける前記対象座標を予測する予測関数モデル（Ｍｆ）を、各前記初期フレームにおける前記初期座標と、各前記初期フレーム間における前記ホスト移動体の移動距離とに基づき調整することと、
   前記対象フレームよりも前に撮影された過去フレーム（Ｆ２，Ｆｏ）と前記対象フレームとの間における前記ホスト移動体の移動距離を、前記予測関数モデルへ入力することにより、前記対象フレームにおける前記対象座標を自動アノテーションすることとを、含む支援装置。
2. 前記対象座標を自動アノテーションすることは、
   各前記初期フレーム間における前記ホスト移動体の姿勢変化量により補正した前記初期座標に基づき、前記予測関数モデルを調整することを、含む請求項１に記載の支援装置。
3. 前記対象座標を自動アノテーションすることは、
   前記対象フレーム及び前記過去フレーム間における前記ホスト移動体の姿勢変化量により補正した前記対象座標を、自動アノテーションすることを、含む請求項１又は２に記載の支援装置。
4. 前記対象座標を自動アノテーションすることは、
   各前記初期フレーム間において前記外界物標の移動距離を補償した前記ホスト移動体の移動距離に基づき、前記予測関数モデルを調整することを、含む請求項１～３のいずれか一項に記載の支援装置。
5. 前記対象座標を自動アノテーションすることは、
   前記対象フレーム及び前記過去フレーム間において前記外界物標の移動距離を補償した前記ホスト移動体の移動距離を、前記予測関数モデルへ入力することを、含む請求項１～４のいずれか一項に記載の支援装置。
6. 表示ユニット（５）を有し、
   前記プロセッサは、
   前記対象座標を当該表示ユニットに表示することを、さらに実行するように構成される請求項１～５のいずれか一項に記載の支援装置。
7. 記憶媒体（６０）を有し、
   前記プロセッサは、
   前記対象座標を当該記憶媒体に記憶することを、さらに実行するように構成される請求項１～６のいずれか一項に記載の支援装置。
8. 前記プロセッサは、
   対の前記初期フレームのうち先に撮影された前記初期フレーム（Ｆ１）に映る前記外界物標に関して、時間変化に対して固定される静的状態を識別する静的識別ラベル（Ｌｓ）の手動アノテーションを、要求することと、
   対の前記初期フレームのうち後に撮影された前記初期フレーム（Ｆ２）と、前記対象フレームとに映る前記外界物標に関して、手動アノテーションによる前記静的識別ラベルを自動アノテーションすることとを、さらに実行するように構成される請求項１～７のいずれか一項に記載の支援装置。
9. 前記プロセッサは、
   対の前記初期フレームのうち先に撮影された前記初期フレーム（Ｆ１）に映る前記外界物標に関して、時間変化に対して遷移する動的状態を識別する動的識別ラベル（Ｌｄ）の手動アノテーションと、当該先の前記初期フレームよりも後に撮影された前記初期フレーム（Ｆ２）及び前記対象フレームのうち、前記動的状態が遷移したタイミングのフレームである遷移フレーム（Ｆｔ）に映る前記外界物標に関して、前記動的識別ラベルの手動アノテーションとを、要求することと、
   当該先の前記初期フレーム（Ｆ１）よりも後に撮影された手動アノテーション外のフレーム（Ｆ２，Ｆｏ）に映る前記外界物標に関して、手動アノテーションによる前記動的識別ラベルを自動アノテーションすることとを、さらに実行するように構成される請求項１～８のいずれか一項に記載の支援装置。
10. プロセッサ（６２）を有し、ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、前記外界物標のアノテーションを支援する支援装置であって、
    前記プロセッサは、
    所定の初期フレーム（Ｆ１）に映る前記外界物標に関して、時間変化に対して固定される静的状態を識別する静的識別ラベル（Ｌｓ）の手動アノテーションを、要求することと、
    前記初期フレームよりも後に撮影されたフレーム（Ｆ２，Ｆｏ）に映る前記外界物標に関して、手動アノテーションによる前記静的識別ラベルを自動アノテーションすることとを、実行するように構成される支援装置。
11. プロセッサ（６２）を有し、ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、前記外界物標のアノテーションを支援する支援装置であって、
    前記プロセッサは、
    所定の初期フレーム（Ｆ１）に映る前記外界物標に関して、時間変化に対して遷移する動的状態を識別する動的識別ラベル（Ｌｄ）の手動アノテーションと、前記初期フレームよりも後に撮影されたフレーム（Ｆ２，Ｆｏ）のうち、前記動的状態が遷移したタイミングの遷移フレーム（Ｆｔ）に映る前記外界物標に関して、前記動的識別ラベルの手動アノテーションとを、要求することと、
    前記初期フレームよりも後に撮影された手動アノテーション外のフレーム（Ｆ２，Ｆｏ）に映る前記外界物標に関して、手動アノテーションによる前記動的識別ラベルを自動アノテーションすることとを、実行するように構成される支援装置。
12. 表示ユニット（５）を有し、
    前記プロセッサは、
    前記静的識別ラベルを当該表示ユニットに表示することを、さらに実行するように構成される請求項８又は１０に記載の支援装置。
13. 記憶媒体（６０）を有し、
    前記プロセッサは、
    前記静的識別ラベルを当該記憶媒体に記憶することを、さらに実行するように構成される請求項８，１０，１２のいずれか一項に記載の支援装置。
14. 表示ユニット（５）を有し、
    前記プロセッサは、
    前記動的識別ラベルを当該表示ユニットに表示することを、さらに実行するように構成される請求項９又は１１に記載の支援装置。
15. 記憶媒体（６０）を有し、
    前記プロセッサは、
    前記動的識別ラベルを当該記憶媒体に記憶することを、さらに実行するように構成される請求項９，１１，１４のいずれか一項に記載の支援装置。
16. ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、前記外界物標のアノテーションを支援するために、プロセッサ（６２）により実行される支援方法であって、
    対の初期フレーム（Ｆ１，Ｆ２）に映る前記外界物標に関して、位置座標である初期座標の手動アノテーションを要求することと、
    対の前記初期フレームよりも後に撮影された対象フレーム（Ｆｏ）に映る前記外界物標に関して、位置座標である対象座標を自動アノテーションすることとを、含み、
    前記対象座標を自動アノテーションすることはさらに、
    前記対象フレームにおける前記対象座標を予測する予測関数モデル（Ｍｆ）を、各前記初期フレームにおける前記初期座標と、各前記初期フレーム間における前記ホスト移動体の移動距離とに基づき調整することと、
    前記対象フレームよりも前に撮影された過去フレーム（Ｆ２，Ｆｏ）と前記対象フレームとの間における前記ホスト移動体の移動距離を、前記予測関数モデルへ入力することにより、前記対象フレームにおける前記対象座標を自動アノテーションすることとを、含む支援方法。
17. ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、前記外界物標のアノテーションを支援するために、プロセッサ（６２）により実行される支援方法であって、
    所定の初期フレーム（Ｆ１）に映る前記外界物標に関して、時間変化に対して固定される静的状態を識別する静的識別ラベル（Ｌｓ）の手動アノテーションを、要求することと、
    前記初期フレームよりも後に撮影されたフレーム（Ｆ２，Ｆｏ）に映る前記外界物標に関して、手動アノテーションによる前記静的識別ラベルを自動アノテーションすることとを、含む支援方法。
18. ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、前記外界物標のアノテーションを支援するために、プロセッサ（６２）により実行される支援方法であって、
    所定の初期フレーム（Ｆ１）に映る前記外界物標に関して、時間変化に対して遷移する動的状態を識別する動的識別ラベル（Ｌｄ）の手動アノテーションと、前記初期フレームよりも後に撮影されたフレーム（Ｆ２，Ｆｏ）のうち、前記動的状態が遷移したタイミングの遷移フレーム（Ｆｔ）に映る前記外界物標に関して、前記動的識別ラベルの手動アノテーションとを、要求することと、
    前記初期フレームよりも後に撮影された手動アノテーション外のフレーム（Ｆ２，Ｆｏ）に映る前記外界物標に関して、手動アノテーションによる前記動的識別ラベルを自動アノテーションすることとを、含む支援方法。
19. ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、前記外界物標のアノテーションを支援するために記憶媒体（６０）に記憶され、プロセッサ（６２）に実行させる命令を含む支援プログラムであって、
    前記命令は、
    対の初期フレーム（Ｆ１，Ｆ２）に映る前記外界物標に関して、位置座標である初期座標の手動アノテーションを要求させることと、
    対の前記初期フレームよりも後に撮影された対象フレーム（Ｆｏ）に映る前記外界物標に関して、位置座標である対象座標を自動アノテーションさせることとを、含み、
    前記対象座標を自動アノテーションさせることはさらに、
    前記対象フレームにおける前記対象座標を予測する予測関数モデル（Ｍｆ）を、各前記初期フレームにおける前記初期座標と、各前記初期フレーム間における前記ホスト移動体の移動距離とに基づき調整させることと、
    前記対象フレームよりも前に撮影された過去フレーム（Ｆ２，Ｆｏ）と前記対象フレームとの間における前記ホスト移動体の移動距離を、前記予測関数モデルへ入力することにより、前記対象フレームにおける前記対象座標を自動アノテーションさせることとを、含む支援プログラム。
20. ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、前記外界物標のアノテーションを支援するために記憶媒体（６０）に記憶され、プロセッサ（６２）に実行させる命令を含む支援プログラムであって、
    前記命令は、
    所定の初期フレーム（Ｆ１）に映る前記外界物標に関して、時間変化に対して固定される静的状態を識別する静的識別ラベル（Ｌｓ）の手動アノテーションを、要求させることと、
    前記初期フレームよりも後に撮影されたフレーム（Ｆ２，Ｆｏ）に映る前記外界物標に関して、手動アノテーションによる前記静的識別ラベルを自動アノテーションさせることとを、含む支援プログラム。
21. ホスト移動体（２）から外界物標（Ｔａ）が複数フレームに亘って時系列に撮影された動画データ（Ｖｄ）に対しての、前記外界物標のアノテーションを支援するために記憶媒体（６０）に記憶され、プロセッサ（６２）に実行させる命令を含む支援プログラムであって、
    前記命令は、
    所定の初期フレーム（Ｆ１）に映る前記外界物標に関して、時間変化に対して遷移する動的状態を識別する動的識別ラベル（Ｌｄ）の手動アノテーションと、前記初期フレームよりも後に撮影されたフレーム（Ｆ２，Ｆｏ）のうち、前記動的状態が遷移したタイミングの遷移フレーム（Ｆｔ）に映る前記外界物標に関して、前記動的識別ラベルの手動アノテーションとを、要求させることと、
    前記初期フレームよりも後に撮影された手動アノテーション外のフレーム（Ｆ２，Ｆｏ）に映る前記外界物標に関して、手動アノテーションによる前記動的識別ラベルを自動アノテーションさせることとを、含む支援プログラム。

Images