JP2014099870A

JP2014099870A - 画像処理装置

Info

Publication number: JP2014099870A
Application number: JP2013263263A
Authority: JP
Inventors: Yasuo Mutsuro; 靖雄無津呂; Keisuke Inada; 圭介稲田; Hiroki Mizozoe; 博樹溝添; Akihito Nishizawa; 明仁西澤
Original assignee: Hitachi Consumer Electronics Co Ltd
Current assignee: Hitachi Consumer Electronics Co Ltd
Priority date: 2013-12-20
Filing date: 2013-12-20
Publication date: 2014-05-29

Abstract

【課題】複雑な処理を行うことなく、位置情報を示す画像とユーザの撮影画像を１つの動画像として記録・再生する撮影システム及び撮影方法を提供する。
【解決手段】ビデオカメラに、通常の撮影画像を入力する手段のほかに、別の映像入力源から画像を入力する手段を設ける。これにより、上記別の映像入力源を、カーナビゲーションの映像出力端子とすることで、カーナビゲーションの画面(地図情報)と、ユーザが撮影した画像を合わせてメモリ内に取り込める。また、監視用途ビデオカメラなどにおいては、地図画像ータをあらかじめ保存している媒体、例えばＵＳＢフラッシュメモリやＳＤカードなどと該媒体から地図画像データを読み出す読み出し手段を別の映像入力源とすることで、同様にメモリ内に取り込める。このメモリ内のデータを動画像として圧縮・符号化処理することで、地図情報とユーザの撮影画像を１つの動画像として処理できる。
【選択図】図１

Description

本発明は、位置情報を示す画像とユーザの撮影画像を1つの動画像として記録・再生するシステム及び方法に関するものである。

近年、スチルカメラやビデオカメラのデジタル化が進み、ユーザが非常に手軽に撮影・記録をすることが可能になり、たくさんの映像情報を記録できるようになった。このため、例えば、長行程の旅行などに出かけた場合、旅行が終わった後で撮影した映像を見たとき、どの映像をどこで撮影したのかが分からなくなった場合などが生じることが考えられる。このとき、ひとつの映像データに地図情報と撮影した映像が一緒になっていると、後から見たり整理したりする場合に非常に便利である。また、複数箇所に設置している監視用途ビデオカメラで撮影したデータでも、ひとつの映像データに位置情報を示す画像と撮影した映像が一緒になっていると、非常に便利である。

これに近い技術として、近年タクシーなどに搭載され始めている、ドライビングレコーダの技術がある。ドライビングレコーダは自動的に撮影タイミングを決定して、位置情報を含めた状況データと撮影データを記録するものである。自動的に撮影タイミングを決定するため、場合によっては必要のないデータを多量に記録するため、それを防ぐ技術が発明されている。例えば、特許文献１では、記録データの取捨選択に学習機能を用いており、撮影した際に、ユーザが後から要／不要情報を入力することで撮影の要否を学習する。

特開２００７−１１９０７号公報

しかしながら、自動的に撮影するため、完全にユーザの要否に合わせられるかというと、合わない可能性もあり、ユーザが好みの映像を地図情報とともに自由に撮影することにはそぐわない。

本発明は、上記のような課題を鑑みてなされたものであり、複雑な処理を行うことなく、位置情報を示す画像とユーザの撮影画像を１つの動画像として記録・再生するシステム及び方法を提供する。

ビデオカメラに、通常の撮影画像を入力する手段のほかに、別の映像入力源から画像を入力する手段を設け、さらに、これら２つの入力手段からの映像データを調停して取り込み、メモリに格納する画像入力調停部を設ける。これにより、上記別の映像入力源を、カーナビゲーションの映像出力端子とすることで、カーナビゲーションの画面(地図情報)と、ユーザが撮影した画像を合わせてメモリ内に取り込める。また、監視用途ビデオカメラなどにおいては、地図画像データをあらかじめ保存している媒体、例えばＵＳＢフラッシュメモリやＳＤカードなどと該媒体から地図画像データを読み出す読み出し手段を別の映像入力源とすることで、同様にメモリ内に取り込める。このメモリ内のデータを動画像として圧縮・符号化処理することで、位置情報を示す画像とユーザの撮影画像を１つの動画像として処理できる。

本発明によれば、複雑な処理を行うことなく、位置情報を示す画像とユーザの撮影画像を１つの動画像として記録・再生できる。

実施例１の画像記録・再生システムの構成図実施例１の画像記録・再生システムのフロー図実施例１の画像記録・再生システムで生成したストリームデータ模式図実施例２の画像記録・再生システムの構成図実施例２の画像記録・再生システムのフロー図実施例２の画像記録・再生システムで生成したストリームデータ模式図実施例３の画像記録・再生システムの構成図ホットスポットでストリームデータを転送するシステムの概略図サムネール表示例

本発明を実施するための最良の形態を説明する。

以下、本発明の画像記録・再生システム及び方法の実施例について、図面を用いて説明する。

実施例１を説明する。本実施例において、ユーザが撮影指示を出してから撮影が行われるまでの動作を図１乃至３を用いて説明する。図１は本発明の第１の実施例での画像記録・再生システムを図示したものであり、ビデオカメラ１はユーザが撮影指示を始めとする各種指示を直接入力する、例えばボタンやタッチパネルなどのような操作入力部１１、撮影に関する各部の制御を行う制御部１２、ユーザが撮影を行う対象画像を入力し、デジタル化を行って撮影画像データを出力する撮影画像入力部１３、後述のナビゲーションシステム２からの映像を入力する外部映像入力部１４、撮影画像入力部１３から入力される該撮影画像データおよび外部画像入力部１４から入力されるナビゲーション画像データの順番を調停し、出力する画像入力調停部１５、画像入力調停部１５から出力されるデータを一時保持する画像メモリ部１６、画像メモリ部１６から画像データを読み出し、ＭＰＥＧ２やＨ．２６４などの方式で画像圧縮・符号化を行い、符号化画像データを出力する画像エンコード部１７、ユーザが撮影を行う対象の音声を入力し、デジタル化を行って音声データを出力する音声入力部１８、音声入力部１８が出力する音声データを、ＡＣ３やＤｏｌｂｙＤｉｇｉｔａｌなどの方式で音声圧縮を行い、符号化音声データを出力する音声エンコード部１９、該符号化画像データ、および該符号化音声データを多重化してストリームデータを出力するデータ生成部１Ａ、該ストリームデータを後述の記録媒体に記録するデータ記録部１Ｂ、及びＤＶＤやＢｌｕ−ｒａｙ（登録商標）、ハードディスク、半導体メモリなどの記録媒体１Ｃを有する。ビデオカメラ１は、ＡＶケーブル３を介してナビゲーション２と接続される。ナビゲーション２は、ナビゲーション本体部２１、ナビゲーション表示部２２を有し、ナビゲーション本体部２１はナビゲーション映像を出力するナビゲーション画像出力部２１１を有する。ナビゲーション２１１は、ナビゲーション表示部２２に映像信号を常時出力しているのと同様に、外部映像端子（図示せず）などに接続したＡＶケーブル３へも信号を出力する。

図２は実施例１での各部の動作フローを示している。

実施例１の画像記録・再生システムにおける撮影手順について説明する。ユーザは、ビデオカメラ１のボタンやスイッチなどにより操作入力部１１に撮影指示を出す。操作入力部１１は制御部１２へ撮影開始指示を出す。制御部１２は撮影画像入力部１３、音声入力部１８、および外部画像入力部１４に起動指示を出す。外部画像入力部１４は、ナビゲーション２の外部映像端子などから常時出力されている映像信号を、該起動指示によりＡＶケーブル３を介して取り込み、ナビゲーション画像データを生成して画像入力調停部１５へ出力する。撮影画像入力部１３はユーザが撮影を行う対象の画像を入力し、デジタル化を行って撮影画像データを生成し、画像入力調停部１５へ出力する。音声入力部１８はユーザが撮影を行う対象の音声を入力し、デジタル化を行って音声データを生成し、音声エンコード部１９へ出力する。画像入力調停部１５に入力された該ナビゲーション画像データおよび該撮影画像データは、この順番で符号化されるように定められた、画像メモリ１６の領域に一時保持する。つまり、後段の画像エンコード部１７が１枚目の画像データを処理する際に読み出す画像メモリ部１６のある領域に該ナビゲーション画像データを、２枚目以降の画像データを処理する際に読み出す画像メモリ部１６の別の領域に該撮影画像データを一時保持する。画像メモリ部１６に一時保持した該ナビゲーション画像データおよび該撮影画像データはこの順番で画像エンコード部１７に画像データとして読み出される。画像エンコード部１７は該画像データの画像圧縮、符号化を行う。ここで、画像エンコード部１７は最初の画像であるナビゲーション画像データを１画面内のデータのみで圧縮・符号化を行う例えばＨ．２６４のＩピクチャとして圧縮・符号化を行う。該ナビゲーション画像データに続く該撮影画像データを、該撮影画像データの最初の１画面分の画像データを同様にＩピクチャとして圧縮・符号化を行い。それ以降の画像は、例えば前方向や後方向の画像から予測して圧縮・符号化を行う例えばＰピクチャやＢピクチャ、または１画面内のデータのみで圧縮・符号化を行う例えばＩピクチャ、またはそれらの混在データとして圧縮・符号化を行い、符号化画像データを生成し、データ生成部１Ａに出力する。また、画像エンコード部１７は圧縮・符号化処理をリアルタイム動作に近づけるために、例えば符号量を少なくして処理を軽くするために量子化を粗くして処理したり、一時的にクロック周波数を上げるなどして、処理速度を変える。一方、音声エンコード部１９に入力された該音声データは、音声エンコード部１９により圧縮・符号化を行い、符号化音声データを生成し、データ生成部１Ａに出力する。データ生成部１Ａは該符号化画像データおよび該符号化音声データを多重化して動画像のストリームデータを生成する。ストリームデータの概略図（一例）を図３に示す。図３では、ストリームデータを復号・伸張処理を行った画像の順番で上から順に示している。最初の画像はナビゲーション画面を示しており、Ｉピクチャとして圧縮・符号化され、音声データがないように多重化しており、２番目、３番目、４番目の画像は撮影画像データを示しており、２番目の画像はＩピクチャ、３番目の画像はＢピクチャ、４番目の画像はＰピクチャとして圧縮・符号化され、音声データは該符号化音声データを使用して多重化している。データ生成部１Ａで生成された該ストリームデータはデータ記録部１Ｂに出力され、データ記録部１Ｂは該ストリームデータを記録媒体１Ｃに記録する。

このように記録した該ストリームデータをビデオカメラ１で再生するためには、ストリームデータのピクチャタイプを解析する、図示していないピクチャ解析部を設け、Ｉピクチャが２枚以上連続するストリームデータであれば、最初のＩピクチャを図示していないビデオカメラ１の表示部に出力したのち、あらかじめ設定しておいた時間同じ画像を表示し、その後次のＩピクチャを該表示部に出力する。続くピクチャがＩピクチャでなければ、通常のビデオデータの再生のように、次々に該表示部に出力する。なお、Ｉピクチャが２枚以上連続するストリームデータであれば、最初のＩピクチャを図示していないビデオカメラ１の表示部に出力したのち、あらかじめ設定しておいた時間同じ画像を表示する、としたが、例えばユーザが再生ボタンを押すなどの操作をするまで同じ画像を表示する、といったユーザ操作を起点にして次の画像を表示しても良い。

また、例えばＤＶＤ−Ｖｉｄｅｏ規格のＳｔｉｌｌコマンドのようにストリーム再生を停止するためのデータをストリーム内に埋め込む仕組みがある動画像圧縮・符号化方式では、ナビゲーション画面のピクチャと２画面目以降の撮影画像のピクチャとで例えばＶＯＢＵ(Video Object Unit)を分けてＶＯＢＵＳｔｉｌｌコマンドをデータ生成部１Ａで挿入することで、ビデオカメラ１以外の機器での再生に対応させても良い。

以上のように、ビデオカメラに通常の撮影画像を入力する手段のほかに、別の映像入力源から画像を入力する手段を設け、さらに、これら２つの入力手段からの映像データを調停して取り込み、メモリに格納する画像入力調停部を設け、上記別の映像入力源を、カーナビゲーションの映像出力端子とすることで、カーナビゲーションの画面(地図情報)と、ユーザが撮影した画像を合わせてメモリ内に取り込める。このメモリ内のデータを動画像として圧縮・符号化処理することで、地図情報とユーザの撮影画像を１つの動画像として処理できる効果が得られる。

また、本実施例ではビデオカメラ１の外部にナビゲーション２が接続されているとしたが、ビデオカメラ１とナビゲーション２がひとつの機器となっていても同様の効果が得られる。

また、記録媒体１Ｃに記録したストリームデータは、街中に設置されている無線ＬＡＮ環境（ホットスポット）などを経由して、ネットワーク上のサーバなどに自動的に転送しても良い。図８はホットスポットの環境下で該ストリームデータをサーバに転送するシステムの概略図を示している。ビデオカメラ１は記録媒体１Ｃから該ストリームデータを読み出すデータ読み出し部１Ｅ、該ストリームデータを無線でネットワーク４に送信する無線通信部１Ｆを有する。無線通信部１Ｆから出力された該ストリームデータはネットワーク４に接続されているサーバ５に転送される。

また、本実施例ではデータ生成部１Ａは単にストリームデータを生成するとしたが、ナビゲーション２からナビゲーション画像データとは別に、現在位置情報を受け取り、該現在位置情報と関連付けてストリームデータを生成し、データ記録部１Ｂに出力し、記録媒体１Ｃに記録しても良い。このとき、記録媒体１Ｃに記録されているストリームデータのサムネール画面を生成するとき、該現在位置情報を手がかりに、図９のように地図画面と組み合わせてサムネール表示画面を構成してもよい。図９の例では、該ストリームデータに関連付けられている位置情報に相当する地図上の位置を丸印で示し、該ストリームデータの撮影画像の最初の1枚目の画像を丸印に関連付けて表示している。また、複数の記録媒体をビデオカメラ１が有しているとき、例えばハードディスクとＤＶＤを有しているとき、ビデオカメラ１の通常使用時はハードディスクに記録し、それらのストリームデータをユーザが選択・編集してＤＶＤに記録するときなど、図９の画面のようなタイトル画面を自動的に作成し、ＤＶＤに記録しても良い。

また、本実施例ではユーザがビデオカメラ１のボタンやスイッチなどを操作して操作入力部１１から撮影指示を出すとしたが、ナビゲーション２とビデオカメラ１にＵＳＢやＢｌｕｔｏｏｔｈや無線ＬＡＮなどの通信手段を設け、ユーザがナビゲーション２に対してあらかじめ撮影したい地点を設定しておき、設定した地点に移動したときにナビゲーション２からビデオカメラ１の操作入力部１１に対して撮影指示を出力し、操作入力部１１が制御部１２に撮影開始指示を出力することで撮影の開始を行っても良い。

また、ナビゲーション２とＡＶケーブル３の代わりに、地図画像データをあらかじめ保存している媒体、例えばＵＳＢフラッシュメモリやＳＤカードなどと該媒体から地図画像データを読み出す読み出し装置に置き換えること、および図８に示しているようにホットスポット環境下でネットワーク上のサーバにデータを転送すること、および記録媒体に記録された圧縮画像データを読み出し、ユーザによって設定された所定のタイミングで該圧縮画像データをパケット化してネットワークに送出する送出手段を有することで複数箇所に設置している監視用途などのビデオカメラにおいても同様の効果が得られる。このとき、無線通信部１Ｆは有線ＬＡＮで通信する機能と置き換えても良い。

実施例２を説明する。図４は本発明の第２の実施例での画像記録・再生システムを図示したものである。本実施例において、実施例１と構成上異なるのは、ビデオカメラ１が図１の構成に加え、ナビゲーションシステム２からの音声を入力する外部音声入力部１８１、音声入力部１８から入力される音声データおよび外部音声入力部１８１から入力されるナビゲーション音声データの順番を調停し、出力する音声入力調停部１８２、音声入力調停部１８２から出力されるデータを一時保持する音声メモリ部１８３、ナビゲーション２へ音声を起動するように音声起動指示を例えば赤外線通信などでナビゲーション２へ送信する音声起動部１Ｄを有している点、およびナビゲーション２のナビゲーション本体部２１が図１の構成に加え、ビデオカメラ１の音声起動部１Ｄから音声起動指示を赤外線通信などで受信し、ナビゲーションの音声を出力するように起動指示を出すナビゲーション音声起動部２１３、および該起動指示によりナビゲーション音声を出力するナビゲーション音声出力部２１２を有している点である。

図５は実施例２での各部の動作フローを示している。

実施例２の画像記録・再生システムにおける撮影手順について説明する。ユーザは、ビデオカメラ１の操作入力部１１に撮影指示を出す。この撮影指示は、例えばナビゲーションの「現在地」ボタンを押す操作など、ナビゲーション２から位置情報などを示す音声を起動するための操作でも良い。操作入力部１１は制御部１２へ撮影開始指示を出す。また、操作入力部１１は音声起動部１Ｄに音声起動指示を出す。制御部１２は撮影画像入力部１３、音声入力部１８、外部画像入力部１４、および外部音声入力部１８１に起動指示を出す。外部画像入力部１４は、ナビゲーション２から外部映像端子などから常時出力されている映像信号を、該起動指示により取り込み、ナビゲーション画像データを生成して画像入力調停部１５へ出力する。この場合のナビゲーション画像データは、あらかじめユーザなどにより設定された一定時間分の、1ピクチャ以上のデータである。撮影画像入力部１３はユーザが撮影を行う対象の画像を入力し、デジタル化を行って撮影画像データを生成し、画像入力調停部１５へ出力する。一方、操作入力部１１によって音声起動部１Ｄに出された音声起動指示により、音声起動部１Ｄは、赤外線通信などによりナビゲーション２のナビゲーション音声起動部２１３に音声起動指示を出す。この音声起動指示は、一般的にナビゲーションの機能として有している、ナビゲーションに付属の図示していないリモコンなどの「現在地」ボタンなどを押したときのリモコンからナビゲーション２に対して出力される信号と同じものを音声起動部から出力しても良い。ナビゲーション音声起動部２１３は該音声起動指示を受信すると、ナビゲーション音声出力部２１２に起動指示を出す。ナビゲーション音声出力部は該起動指示により、例えば「現在地は横浜市戸塚区吉田町付近です。」などといった音声を出力し、外部音声端子などから出力する。外部音声入力部１８１は、ナビゲーション２から外部音声端子などから出力されているナビゲーション音声を、制御部１２からの該起動指示により取り込み、ナビゲーション音声データを生成して音声入力調停部１５へ出力する。この場合のナビゲーション音声データは、あらかじめユーザなどにより設定された一定時間分のデータである。この設定された時間は、外部画像入力部１４が取り込むときの時間と同じでも良い。また音声入力部１８はユーザが撮影を行う対象の音声を入力し、デジタル化を行って音声データを生成し、音声エンコード部１９へ出力する。画像入力調停部１５に入力された該ナビゲーション画像データおよび該撮影画像データは、この順番で符号化されるように定められた、画像メモリ１６の領域に一時保持する。つまり、後段の画像エンコード部１７が１枚目の画像データを処理する際に読み出す画像メモリ部１６のある領域に該ナビゲーション画像データを、２枚目以降の画像データを処理する際に読み出す画像メモリ部１６の別の領域に該撮影画像データを一時保持する。画像メモリ部１６に一時保持した該ナビゲーション画像データおよび該撮影画像データはこの順番で画像エンコード部１７に画像データとして読み出される。画像エンコード部１７は該画像データの画像圧縮、符号化を行う。ここで、画像エンコード部１７は最初の画像であるナビゲーション画像データを１画面内のデータのみで圧縮・符号化を行う例えばＨ．２６４のＩピクチャとして圧縮・符号化を行う。該ナビゲーション画像データに続く該撮影画像データを、該撮影画像データの最初の１画面分の画像データを同様にＩピクチャとして圧縮・符号化を行い。それ以降の画像は、例えば前方向や後方向の画像から予測して圧縮・符号化を行う例えばＰピクチャやＢピクチャ、または１画面内のデータのみで圧縮・符号化を行う例えばＩピクチャ、またはそれらの混在データとして圧縮・符号化を行い、符号化画像データを生成し、データ生成部１Ａに出力する。一方、音声入力調停部１８２に入力された該ナビゲーション音声データおよび該音声データは、この順番で符号化されるように定められた、音声メモリ１８３の領域に一時保持する。音声メモリ部１８３に一時保持した該ナビゲーション音声データおよび該音声データはこの順番で音声エンコード部１９に混在音声データとして読み出される。音声エンコード部１９に入力された該混在音声データは、音声エンコード部１９により圧縮・符号化を行い、符号化音声データを生成し、データ生成部１Ａに出力する。データ生成部１Ａは該符号化画像データおよび該符号化音声データを多重化して動画像のストリームデータを生成する。ストリームデータの概略図（一例）を図６に示す。図６では、ストリームデータを復号・伸張処理を行った画像の順番で上から順に示している。上部３枚の画像はナビゲーション画面を示しており、上から順にＩ、Ｂ、Ｐピクチャとして圧縮・符号化され、音声データは該符号化音声データの外部音声データに相当するデータを多重化している。また下部３枚の画像は撮影画像データを示しており、上から４番目の画像から順にＩ、Ｂ、Ｐピクチャとして圧縮・符号化され、音声データは該符号化音声データの音声データに相当するデータを使用して多重化している。なお、図６において上部３枚は同じ画像になっているが、夫々異なるナビゲーション画像であってもよい。データ生成部１Ａで生成された該ストリームデータはデータ記録部１Ｂに出力され、データ記録部１Ｂは該ストリームデータを記録媒体１Ｃに記録する。

以上の処理により、実施例１と同様の効果が得られる。

また、本実施例では該ナビゲーション画像データは、あらかじめユーザなどにより設定された一定時間分のデータとするとしたが、ナビゲーション２とビデオカメラ１にＵＳＢやＢｌｕｔｏｏｔｈや無線ＬＡＮなどの通信手段を設け、ナビゲーション音声が終わったらナビゲーション２からビデオカメラ１の外部音声入力部１８１にナビゲーション音声終了通知を出力し、外部音声入力部１８１は該終了通知によりデータの終わりを判断するようにしても良い。

実施例３を説明する。実施例１と異なるのは、実施例１ではビデオカメラ１とナビゲーション２がＡＶケーブル３で接続されていたところが、ビデオカメラ１にはＣ側無線通信手段３２、ナビゲーション２にはＮ側無線通信手段３１が接続している点である。Ｃ側無線通信手段３２とＮ側無線通信手段３１は赤外線通信や無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線の通信プロトコルを用いて互いに通信してデータのやり取りを行う。

実施例３の画像記録・再生システムにおける撮影手順は、実施例１でナビゲーション画像出力部２１１から外部画像入力部１４へナビゲーション画像がＡＶケーブルでやり取りされていたところが、Ｎ側無線通信手段３１、およびＣ側無線通信手段３２によりナビゲーション画像をやり取りする点が異なること以外は実施例１と同様である。

以上の処理により、実施例１と同様の効果が得られる。

１ビデオカメラ
１１操作入力部
１２制御部
１３撮影画像入力部
１４外部画像入力部
１５画像入力調停部
１６画像メモリ部
１８音声入力部
１８１外部音声入力部
１８２音声入力調停部
１８３音声メモリ部
１Ｄ音声起動部
２ナビゲーション
２１ナビゲーション本体部
２１１ナビゲーション画像出力部
２１２ナビゲーション音声出力部
２１３ナビゲーション音声起動部
２２ナビゲーション表示部
３ＡＶケーブル

Claims

ユーザが撮影した画像データが入力される入力手段と、
前記入力手段により入力された画像データに、前記撮影がされた位置に対応する地図に関する情報を付加する付加手段と、
前記付加手段により地図に関する情報が付加された画像データを出力する出力手段と、
を備えることを特徴とした画像処理装置。