JP2015115911A - 行動記録装置、入出力装置、行動記録プログラムおよび行動記録方法 - Google Patents

Abstract

【課題】簡便に自然な入出力方法により情報公開をする技術を提供する。【解決手段】行動記録装置であって、動画情報を格納する動画情報記憶部と、動画情報に含まれる音声情報を認識してテキスト情報を生成する音声認識部と、外部の装置から動画情報を受け付けると、動画情報に含まれる音声情報について音声認識部により生成されたテキスト情報を記録するテキストファイルを生成して動画情報に関連付けて動画情報記憶部へ格納する動画記録制御部と、所定の公開装置に対する公開指示を受け付けると、動画情報およびテキストファイルを公開するよう公開装置へ送信する公開装置連携部と、を備えることを特徴とする。【選択図】図１

Description

本発明は、行動記録に関するものである。

従来、クライアント端末と、クライアント端末のユーザーにて編集されたブログを公開するブログサーバーと、動画配信サーバーとが、通信可能に接続される動画投稿サイト連携システムであって、クライアント端末が、ユーザーによるブログに掲載するためのテキストデータと動画データとからなるブログデータの投稿指示を受け付ける投稿受付手段と、ブログデータをブログサーバーに送信すると共に、ブログデータのネットワークアドレスと、ブログデータに含まれるテキストデータを動画データの再生時に出力可能な状態で、動画データと共に動画配信サーバーに送信する投稿手段と、を備えるシステムに係る技術がある。特許文献１には、このような技術について記載されている。

特開２０１０−６７０８０号公報

上記技術では、動画を伴うブログの記事の投稿が可能であるが、投稿のためには、投稿までの間に、公開する動画やテキストを編集可能な装置を用いて、投稿しようとする者が編集するとともに、投稿のための操作（ブラウザの立ち上げ、投稿サイトへのアクセス、投稿のための指示を与える打鍵、クリック、タップ等の入力操作）には一定程度のリテラシーと時間と装備とが必要であることを考慮すると、簡便に自然な入出力方法で公開できるとまではいいがたい。

本発明の目的は、簡便に自然な入出力方法により情報公開をする技術を提供することにある。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明に係る行動記録装置は、動画情報を格納する動画情報記憶部と、上記動画情報に含まれる音声情報を認識してテキスト情報を生成する音声認識部と、外部の装置から上記動画情報を受け付けると、上記動画情報に含まれる音声情報について上記音声認識部により生成されたテキスト情報を記録するテキストファイルを生成して上記動画情報に関連付けて上記動画情報記憶部へ格納する動画記録制御部と、所定の公開装置に対する公開指示を受け付けると、上記動画情報および上記テキストファイルを公開するよう上記公開装置へ送信する公開装置連携部と、を備えることを特徴とする。

また、上記の行動記録装置においては、上記公開装置連携部は、上記外部の装置が受け付けた音声を上記音声認識部により認識して公開対象の上記公開装置を特定する、ことを特徴とするものであってもよい。

また、上記の行動記録装置においては、上記公開装置連携部は、公開対象の動画の特定にあたり、公開する候補の上記音声情報の一部または全部を上記外部の装置に音声出力させ、公開指示を受け取った際に出力されていた音声情報に関連する動画を公開する対象とする、ことを特徴とするものであってもよい。

また、上記の行動記録装置においては、上記外部の装置は、音声情報を含む動画情報を取得するために撮像装置を制御する撮像制御部と、上記動画情報を上記動画記録制御部へ送信する通信部と、を備える動物型の入出力端末である、ことを特徴とするものであってもよい。

また、上記の行動記録装置においては、上記入出力端末は、鳥の外形を模した形状を備え、利用者の体の一部に着脱可能に取り付けられる、ことを特徴とするものであってもよい。

また、本発明に係る入出力装置は、鳥の外形を模した形状を備え、周囲の音声の入力を受け付ける音声入力部と、利用者から上記音声入力部を介して撮像の開始と終了の指示を受け付けると、上記音声入力部を介して受け付けた周囲の音声情報を含めて上記撮像の開始の指示を受け付けてから終了の指示を受け付けるまでの間に撮像した動画情報を生成する撮像制御部と、上記動画情報を所定の他の装置へ送信する通信部と、を備えることを特徴とする。

また、上記の入出力装置においては、音声を出力する音声出力部を備え、上記通信部は、上記他の装置から音声出力情報を受け付けると、当該音声出力情報を上記音声出力部に出力させるとともに、当該音声出力を行っている期間において上記音声入力部が受け付けた音声の入力を上記他の装置へ送信する、ことを特徴とするものであってもよい。

また、本発明に係る行動記録プログラムは、コンピューターに、行動を記録する手順を実行させるプログラムであって、上記コンピューターを、制御手段と、動画情報を格納する動画情報記憶手段として機能させ、上記制御手段に対して、上記動画情報に含まれる音声情報を認識してテキスト情報を生成する音声認識ステップと、外部の装置から上記動画情報を受け付けると、上記動画情報に含まれる音声情報について上記音声認識ステップにより生成されたテキスト情報を記録するテキストファイルを生成して上記動画情報に関連付けて上記動画情報記憶手段へ格納する動画記録制御ステップと、所定の公開装置に対する公開指示を受け付けると、上記動画情報および上記テキストファイルを公開するよう上記公開装置へ送信する公開装置連携ステップと、を実行させることを特徴とする。

また、本発明に係る行動記録方法は、コンピューターを用いて行動を記録する手順を実施する行動記録方法であって、上記コンピューターは、制御手段と、動画情報を格納する動画情報記憶手段と、を備え、上記動画情報に含まれる音声情報を認識してテキスト情報を生成する音声認識ステップと、外部の装置から上記動画情報を受け付けると、上記動画情報に含まれる音声情報について上記音声認識ステップにより生成されたテキスト情報を記録するテキストファイルを生成して上記動画情報に関連付けて上記動画情報記憶手段へ格納する動画記録制御ステップと、所定の公開装置に対する公開指示を受け付けると、上記動画情報および上記テキストファイルを公開するよう上記公開装置へ送信する公開装置連携ステップと、を実行することを特徴とする。

上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明によると、簡便に自然な入出力方法により情報公開をする技術を提供することができる。

実施形態に係るライフログシステムの構成例を示す図である。 音声情報記憶部に格納されるデータ構造を示す図である。 静止画情報記憶部に格納されるデータ構造を示す図である。 動画情報記憶部に格納されるデータ構造を示す図である。 テキスト情報記憶部に格納されるデータ構造を示す図である。 公開装置関連情報記憶部に格納されるデータ構造を示す図である。 行動記録装置のハードウェア構成を示す図である。 通信端末のハードウェア構成を示す図である。 入出力端末のハードウェア構成を示す図である。 静止画撮像処理のフローを示す図である。 動画撮像処理のフローを示す図である。 公開処理のフローを示す図である。

以下に、本発明に係る第一の実施形態を適用したライフログシステム１を用いた実施形態について、図面を参照して説明する。

図１は、本発明の第一の実施形態におけるライフログシステム１の概要を示す図である。本実施形態において想定するライフログシステム１においては、行動記録装置１００と、通信端末２００と、入出力端末３００と、が利用される。また、行動記録装置１００において記録された情報をＷｅｂページ等により公開する公開装置４００は、ネットワーク１０を介して少なくとも行動記録装置１００と、通信可能に接続される。

ここで、行動記録装置１００および公開装置４００は、例えば、いわゆるサーバー装置である。しかし、これに限られず、行動記録装置１００は、パソコンやスマートフォン、ワークステーション、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔ）、タブレット装置等各種の情報処理装置であってもよい。

通信端末２００は、例えば、いわゆる携帯電話や、無線通信装置である。しかし、これに限られず、通信端末２００は、パソコンやスマートフォン、ワークステーション、ＰＤＡ、タブレット装置等各種の情報処理装置であってもよい。

入出力端末３００は、利用者が利用する音声あるいは光学映像の入出力端末であり、例えばパーソナルコンピューターや、タブレットパソコン、マイコン等の情報処理装置である。なお、本実施形態においては、入出力端末３００は、例えば、利用者の肩等に、フックやアーム等により保持されて着脱可能に取り付けられる機構を備える動物型（例えば、インコやカナリア等の愛玩用の鳥を模した造形）の装置であるとする。

当該システムにおいては、利用者は、入出力端末３００に対して音声により入出力を行うものとする。また、入出力端末３００と、通信端末２００とは、所定のプロトコル（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ等）の所定の無線通信路を介して互いに通信可能に接続される。

また、通信端末２００は、行動記録装置１００とネットワーク１０を介して相互に通信が可能である。当該システムにおいては、入出力端末３００を介して受け付けた音声による命令等を、通信端末２００が行動記録装置１００へ送信すると、行動記録装置１００において音声認識がなされ、公開装置４００への公開その他の命令と認識されると、行動記録装置１００において当該命令が実行される。すなわち、通信端末２００は、無線通信により入出力端末３００と通信を行いつつ、通信部により行動記録装置１００と通信を行うことが可能であるものとする。

入出力端末３００は、利用者から入力された音声を受け付け、出力される音声を発生させる。また、入出力端末３００は、通信端末２００との間で無線通信を行う。また、入出力端末３００は、所定の範囲を視野角に収める動画および静止画を撮像する。また、入出力端末３００は、衛星電波（例えば、ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ ＳｙｓｔｅｍまたはＧＬＯＮＡＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ等の電波）を受信して、入出力端末３００と衛星間の距離と距離の変化率とを３個以上の衛星に対して測定することで入出力端末３００の現在地、進行速度および進行方位および時刻を測定する。

公開装置４００は、さまざまな運営者により運営される各種のウェブログ（いわゆるブログ）サービスを提供するサーバー装置等である。公開装置４００は、例えば、ブログのアカウントごとに、テキストファイル等の文章、写真等の静止画、動画等の公開要求を受け付けると、要求に応じてウェブページを構成し、アクセスしてきた装置に対して当該ウェブページを提供する。

ネットワーク１０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、携帯電話網等の通信網である。なお、携帯電話通信網等の無線通信網上のＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）等であってもよい。

行動記録装置１００には、制御部１１０と、記憶部１２０と、通信部１３０と、が含まれる。制御部１１０には、音声記録制御部１１１と、静止画記録制御部１１２と、動画記録制御部１１３と、音声認識部１１４と、公開装置連携部１１５と、が含まれる。記憶部１２０には、音声情報記憶部１２１と、静止画情報記憶部１２２と、動画情報記憶部１２３と、テキスト情報記憶部１２４と、公開装置利用情報記憶部１２５と、が含まれる。

図２は、音声情報記憶部１２１の構成例を示す図である。音声情報記憶部１２１には、音声記録識別子１２１Ａと、位置情報１２１Ｂと、録音終了時刻情報１２１Ｃと、音声ファイル１２１Ｄと、が対応付けられている。

音声記録識別子１２１Ａは、音声記録を識別する情報である。位置情報１２１Ｂは、音声記録が録音された位置を特定する情報である。例えば、緯度経度等による座標により表される。

録音終了時刻情報１２１Ｃは、音声記録を終えた時刻を特定する情報である。音声ファイル１２１Ｄは、音声を再生可能に記録されたファイルを特定する情報である。

図３は、静止画情報記憶部１２２の構成例を示す図である。静止画情報記憶部１２２には、静止画記録識別子１２２Ａと、位置情報１２２Ｂと、撮影終了時刻情報１２２Ｃと、静止画ファイル１２２Ｄと、が対応付けられている。

静止画記録識別子１２２Ａは、静止画を識別する情報である。位置情報１２２Ｂは、静止画が撮影された位置を特定する情報である。例えば、緯度経度等による座標により表される。

撮影終了時刻情報１２２Ｃは、撮影を終えた時刻を特定する情報である。静止画ファイル１２２Ｄは、静止画を再生可能に記録されたファイルを特定する情報である。

図４は、動画情報記憶部１２３の構成例を示す図である。動画情報記憶部１２３には、動画記録識別子１２３Ａと、位置情報１２３Ｂと、撮影終了時刻情報１２３Ｃと、動画ファイル１２３Ｄと、が対応付けられている。

動画記録識別子１２３Ａは、動画を識別する情報である。位置情報１２３Ｂは、動画が撮影された位置（例えば、撮影終了時の位置）を特定する情報である。例えば、緯度経度等による座標により表される。

撮影終了時刻情報１２３Ｃは、撮影を終えた時刻を特定する情報である。動画ファイル１２３Ｄは、動画を再生可能に記録されたファイルを特定する情報である。

図５は、テキスト情報記憶部１２４の構成例を示す図である。テキスト情報記憶部１２４には、テキスト識別子１２４Ａと、元音声記録識別子１２４Ｂと、アップロードサイン１２４Ｃと、テキストファイル１２４Ｄと、が対応付けられている。

テキスト識別子１２４Ａは、テキストを識別する情報である。元音声記録識別子１２４Ｂは、テキストの元となった動画あるいは音声ファイルを特定する識別子である。

アップロードサイン１２４Ｃは、公開装置４００への投稿すなわちアップロードの処理を終えたか否かを特定する情報である。テキストファイル１２４Ｄは、テキストを再生可能に記録されたファイルを特定する情報である。

図６は、公開装置利用情報記憶部１２５の構成例を示す図である。公開装置利用情報記憶部１２５には、公開装置識別子１２５Ａと、公開装置投稿アドレス１２５Ｂと、ユーザー認証情報１２５Ｃと、公開指示ワード１２５Ｄと、が対応付けられている。

公開装置識別子１２５Ａは、公開装置４００を識別する情報である。公開装置投稿アドレス１２５Ｂは、公開装置４００においてユーザーが設けているブログサイト等における記事の投稿用アドレスを特定する識別子である。

ユーザー認証情報１２５Ｃは、公開装置４００への投稿すなわちアップロード時に公開装置４００から要求されるユーザー認証を通過するために必要な認証情報である。公開指示ワード１２５Ｄは、公開装置４００を特定して記事の投稿を行う命令となるワードである。例えば、公開装置と投稿アドレス、ユーザー認証情報との組み合わせを特定するワードとして、「１で公開」というワードが格納される。

図１の説明に戻る。音声記録制御部１１１は、入出力端末３００により取得した音声情報を記録する。具体的には、音声記録制御部１１１は、音声記録の開始指示を受け付けると、入出力端末３００の音声入出力制御部３１２により取得した音声情報の記録を開始する。また、音声記録制御部１１１は、音声記録の終了指示を受け付けると、音声記録を音声ファイルとして生成し、音声情報記憶部１２１に格納する。

静止画記録制御部１１２は、入出力端末３００により取得した静止画情報を記録する。具体的には、静止画記録制御部１１２は、静止画の記録指示を受け付けると、入出力端末３００の撮像制御部３１３により取得した映像を静止画ファイルとして生成し、静止画情報記憶部１２２に格納する。

動画記録制御部１１３は、入出力端末３００により取得した動画情報を記録する。具体的には、動画記録制御部１１３は、動画記録の開始指示を受け付けると、入出力端末３００の撮像制御部３１３および音声入出力制御部３１２により取得した映像および音声情報の記録を開始する。また、動画記録制御部１１３は、動画記録の終了指示を受け付けると、動画情報を動画ファイルとして生成し、動画情報記憶部１２３へ格納し、音声認識部１１４により音声のテキストファイル化を行い、テキスト情報記憶部１２４に格納する。

音声認識部１１４は、入出力端末３００により取得した音声情報を音声認識処理し、音声の内容に応じてテキスト化する。また、音声認識部１１４は、テキスト化した音声の内容をテキストファイルに固定する。

また、音声認識部１１４は、音声認識の開始指示を受け付けると、入出力端末３００の音声入出力制御部３１２により取得した音声の情報の記録を開始する。また、音声認識部１１４は、音声記録の終了指示を受け付けると、音声記録を音声ファイルとして生成し、音声情報記憶部１２１に格納する。

また、音声認識部１１４は、音声認識処理の結果得られた音声が所定の選択肢の選択あるいは所定のコマンドである場合には、当該選択肢またはコマンドを制御部１１０に実行させるべく受け渡す。

公開装置連携部１１５は、公開装置４００に対して、公開対象のファイルを投稿する。その際、公開装置連携部１１５は、公開装置利用情報記憶部１２５に格納されている認証情報やアドレス等を用いて投稿する。

通信部１３０は、ネットワーク１０を介して他の装置、例えば通信端末２００との通信を行う。

通信端末２００には、制御部２１０と、通信部２２０と、接続部２３０と、が含まれる。制御部２１０には、通信制御部２１１と、入出力装置接続部２１２と、が含まれる。

通信制御部２１１は、通信部２２０を介して行動記録装置１００との通信を制御する。例えば、通信制御部２１１は、音声情報や映像情報を、行動記録装置１００へ送信する。

入出力装置接続部２１２は、接続部２３０を介して、入出力端末３００との通信を制御する。

通信部２２０は、ネットワーク１０を介して他の装置、例えば行動記録装置１００との通信を行う。

接続部２３０は、Ｂｌｕｅｔｏｏｔｈ等の無線通信接続を介して、入出力端末３００と通信を行う。

入出力端末３００には、制御部３１０と、衛星電波受信部３２０と、接続部３３０と、が含まれる。制御部３１０には、通信端末接続制御部３１１と、音声入出力制御部３１２と、撮像制御部３１３と、位置特定部３１４と、が含まれる。

通信端末接続制御部３１１は、接続部３３０を介して通信端末２００との通信を制御する。例えば、通信端末接続制御部３１１は、音声情報や映像情報を、通信端末２００へ送信する。

音声入出力制御部３１２は、図示しないマイク等の音声入力装置を介して、音声情報の入力を受け付ける。また、音声入出力制御部３１２は、図示しないスピーカ等の音声出力装置を介して、音声情報の出力を行う。

撮像制御部３１３は、図示しないカメラ等の撮像装置を介して、映像情報の入力を受け付ける。

位置特定部３１４は、衛星電波受信部３２０を介して人工衛星からの電波を受信し、衛星電波受信部３２０が含まれる入出力端末３００の位置および現在時刻を特定する。

衛星電波受信部３２０は、ＧＰＳ、ＧＬＯＮＡＳＳ等の人工衛星から送信される所定の電波を受信する。

接続部３３０は、Ｂｌｕｅｔｏｏｔｈ等の無線通信接続を介して、通信端末２００と通信を行う。

図７は、行動記録装置１００のハードウェア構成例を示す図である。行動記録装置１００は、演算装置１０２と、外部記憶装置１０３と、主記憶装置１０４と、出力装置１０５と、通信装置１０６と、各装置をつなぐバス１０７と、を少なくとも備える。また、他に、行動記録装置１００は、入力装置１０１を備える。

演算装置１０２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置である。

外部記憶装置１０３は、デジタル情報を記憶可能な、いわゆるハードディスク（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）あるいはフラッシュメモリなどの不揮発性記憶装置である。

主記憶装置１０４は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリ装置である。

出力装置１０５は、例えば液晶ディスプレイや、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置である。

通信装置１０６は、ネットワーク１０等を介して通信端末２００等の他の装置と通信経路を確立し、情報を送受信するネットワークカード等の装置である。

入力装置１０１は、キーボードやマウス、タッチパネル等の各種入力装置である。

入力装置１０１と、演算装置１０２と、外部記憶装置１０３と、主記憶装置１０４と、出力装置１０５と、通信装置１０６とは、バス１０７等の接続導線により互いに接続される。

上記した行動記録装置１００の音声記録制御部１１１と、静止画記録制御部１１２と、動画記録制御部１１３と、音声認識部１１４と、公開装置連携部１１５とは、演算装置１０２に処理を行わせるプログラムによって実現される。このプログラムは、主記憶装置１０４、外部記憶装置１０３または図示しないＲＯＭ装置内に記憶され、実行にあたって主記憶装置１０４上にロードされ、演算装置１０２により実行される。

また、行動記録装置１００の記憶部１２０は、主記憶装置１０４及び外部記憶装置１０３により実現される。また、行動記録装置１００の通信部１３０は、通信装置１０６により実現される。以上が、行動記録装置１００のハードウェア構成例である。

図８は、通信端末２００のハードウェア構成例を示す図である。通信端末２００は、演算装置２０２と、主記憶装置２０４と、通信装置２０６と、各装置をつなぐバス２０７と、近距離無線通信装置２０８と、を少なくとも備える。また、他に、通信端末２００は、入力装置２０１と、外部記憶装置２０３と、出力装置２０５と、を備える。

演算装置２０２は、例えばＣＰＵなどの演算装置である。

主記憶装置２０４は、例えばＲＡＭなどのメモリ装置である。

通信装置２０６は、ネットワーク１０等を介して行動記録装置１００等の他の装置と通信経路を確立し、情報を送受信するネットワークカード等の装置である。

近距離無線通信装置２０８は、Ｂｌｕｅｔｏｏｔｈ等の所定の通信種別に応じた無線通信を行う他の装置と通信経路を確立し、情報を送受信するアンテナモジュール等の装置である。

入力装置２０１は、キーボードやマウス、タッチパネル等の各種入力装置である。

外部記憶装置２０３は、デジタル情報を記憶可能な、いわゆるハードディスクやＳＳＤあるいはフラッシュメモリなどの不揮発性記憶装置である。

出力装置２０５は、例えば液晶ディスプレイや、有機ＥＬディスプレイ等の表示装置である。

入力装置２０１と、演算装置２０２と、外部記憶装置２０３と、主記憶装置２０４と、出力装置２０５と、通信装置２０６と、近距離無線通信装置２０８とは、バス２０７等の接続導線により互いに接続される。

上記した通信端末２００の通信制御部２１１と、入出力装置接続部２１２とは、演算装置２０２に処理を行わせるプログラムによって実現される。このプログラムは、主記憶装置２０４、外部記憶装置２０３または図示しないＲＯＭ装置内に記憶され、実行にあたって主記憶装置２０４上にロードされ、演算装置２０２により実行される。

また、通信端末２００の通信部２２０は、通信装置２０６により実現される。また、通信端末２００の接続部２３０は、近距離無線通信装置２０８により実現される。以上が、通信端末２００のハードウェア構成例である。

図９は、入出力端末３００のハードウェア構成例を示す図である。入出力端末３００は、音声入出力装置３０１と、演算装置３０２と、外部記憶装置３０３と、主記憶装置３０４と、撮像装置３０５と、近距離無線通信装置３０６と、各装置をつなぐバス３０７と、衛星電波受信装置３０８と、を少なくとも備える。

音声入出力装置３０１は、マイクロフォン等の音声入力装置、スピーカ、イヤフォン等の音声出力装置、のいずれをも含む各種の音声入出力装置である。なお、音声入出力装置３０１は、独立して動作するマイクロフォン、スピーカ、イヤフォン等の組み合わせであってもよいし、いずれかについての集合物（マイクアレイ装置等）の組み合わせであってもよいし、いずれかが他に従属して動作するものであってもよい。

演算装置３０２は、例えばＣＰＵなどの演算装置である。

外部記憶装置３０３は、デジタル情報を記憶可能な、いわゆるハードディスクやＳＳＤあるいはフラッシュメモリなどの不揮発性記憶装置である。

主記憶装置３０４は、例えばＲＡＭなどのメモリ装置である。

撮像装置３０５は、所定の画角あるいは所定の範囲内の画角（いわゆるズーム）について、光学系を介して映像を取得する装置である。

近距離無線通信装置３０６は、Ｂｌｕｅｔｏｏｔｈ等の所定の通信種別に応じた無線通信を行う他の装置と通信経路を確立し、情報を送受信するアンテナモジュール等の装置である。

衛星電波受信装置３０８は、ＧＰＳ、ＧＬＯＮＡＳＳのいずれか又は両方による衛星からの電波を受信して、入出力端末の位置を、座標により特定する。また、衛星電波受信装置３０８は、現在時刻の特定を行う。

音声入出力装置３０１と、演算装置３０２と、外部記憶装置３０３と、主記憶装置３０４と、撮像装置３０５と、近距離無線通信装置３０６と、衛星電波受信装置３０８とは、バス３０７等の接続導線により互いに接続される。

上記した入出力端末３００の通信端末接続制御部３１１と、音声入出力制御部３１２と、撮像制御部３１３と、位置特定部３１４とは、演算装置３０２に処理を行わせるプログラムによって実現される。このプログラムは、主記憶装置３０４、外部記憶装置３０３または図示しないＲＯＭ装置内に記憶され、実行にあたって主記憶装置３０４上にロードされ、演算装置３０２により実行される。

また、入出力端末３００の衛星電波受信部３２０は、衛星電波受信装置３０８により実現される。また、入出力端末３００の接続部３３０は、近距離無線通信装置３０６により実現される。以上が、入出力端末３００のハードウェア構成例である。

行動記録装置１００、通信端末２００、入出力端末３００のそれぞれの構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

また、各制御部は、ハードウェア（ＡＳＩＣ、ＧＰＵなど）により構築されてもよい。また、各制御部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

[動作の説明]次に、本実施形態におけるライフログシステム１の動作を説明する。図１０は、本実施形態における静止画撮像処理のフロー図である。

静止画撮像処理は、入出力端末３００の撮像制御部３１３により取得された映像情報を、通信端末２００およびネットワーク１０を介して行動記録装置１００にて取得し、記録する処理である。静止画撮像処理は、行動記録装置１００、通信端末２００および入出力端末３００の稼動が開始され、互いに通信可能となった状態において、入出力端末３００において音声による開始指示を受け付けると、開始される。

まず、静止画記録制御部１１２は、定期的（例えば、３０分の１秒ごと）に撮像素子から得た画像内に人間の顔の存在を特徴点のマッチングにより検索する（ステップＳ００１）。具体的には、静止画記録制御部１１２は、入出力端末３００の静止画記録制御部１１２から、撮像装置３０５の撮像素子から得た映像情報を受け付けて、所定の特徴点とのパターンマッチング等により人間の顔を検出する。

次に、静止画記録制御部１１２は、人間の顔を検出したか否かを判定する（ステップＳ００２）。具体的には、ステップＳ００１により、画像内に人間の顔を所定の期間（例えば、１秒）にわたり連続して検出したか否かを判定する。

人間の顔を検出しなかった場合（ステップＳ００２にて「Ｎｏ」の場合）には、静止画記録制御部１１２は、後述するステップＳ００５に制御を進める。

人間の顔を検出した場合（ステップＳ００２にて「Ｙｅｓ」の場合）には、静止画記録制御部１１２は、撮影許可を求める音声出力を行う（ステップＳ００３）。具体的には、静止画記録制御部１１２は、音声入出力制御部３１２に対して、「撮影してもよいですか」等、撮影許可を求める音声出力を指示する。

そして、静止画記録制御部１１２は、音声入力された回答は許可であるか否かを判定する（ステップＳ００４）。具体的には、静止画記録制御部１１２は、音声認識部１１４が、音声入力装置により受け付けた音声入力を認識して、「はい」、「良いです」、「いいよ」、「オーケー」、「問題ない」等所定の許可を示す回答を得たか否かを判定する。許可を示す回答ではなかった場合には、静止画記録制御部１１２は、静止画撮像処理を終了させる。

回答が許可である場合（ステップＳ００４にて「Ｙｅｓ」の場合）には、静止画記録制御部１１２は、静止画情報として撮像素子から保存する画像を生成する（ステップＳ００５）。具体的には、静止画記録制御部１１２は、撮像制御部３１３を介して、撮像装置３０５の出力から画像情報を取得し、所定の静止画（ビットマップあるいは圧縮されたＪＰＥＧやＰＮＧ等の画像ファイル）を生成する。あるいは、撮像装置３０５から出力される画像ファイルを取得する。

そして、静止画記録制御部１１２は、位置情報と時刻情報を取得して画像とともに保存する（ステップＳ００６）。具体的には、静止画記録制御部１１２は、入出力端末３００の位置特定部３１４により取得した位置を特定する情報と、現在時刻を特定する情報とを取得して、ステップＳ００５において生成または取得した静止画と関連付けて、静止画情報記憶部１２２に格納する。

以上が、静止画撮像処理の処理フローである。静止画撮像処理によれば、人物が被写体に含まれる場合には、撮影許可を得た後、そうでない場合には撮像指示を受けた後、入出力端末３００を介して取得した静止画の情報を、行動記録装置１００において記憶することができる。

図１１は、本実施形態における動画撮像処理のフロー図である。

動画撮像処理は、入出力端末３００の撮像制御部３１３により取得された映像情報および音声情報を、通信端末２００およびネットワーク１０を介して行動記録装置１００にて取得し、動画情報として記録する処理である。動画撮像処理は、行動記録装置１００、通信端末２００および入出力端末３００の稼動が開始され、互いに通信可能となった状態において、入出力端末３００において音声による開始指示を受け付けると、開始される。

まず、動画記録制御部１１３は、記録開始指示を受け付け付けると（ステップＳ１０１）、動画と音声を所定時間記録する（ステップＳ１０２）。具体的には、動画記録制御部１１３は、入出力端末３００において音声による開始指示を受け付けると、動画記録制御部１１３において撮像制御部３１３から取得される映像情報と、音声記録制御部１１１において音声入出力制御部３１２から取得される音声情報と、を受け付ける。そして、動画記録制御部１１３は、これを記録終了指示を受け付けるまで所定の時間（例えば、１秒間等）行う。

そして、動画記録制御部１１３は、記録終了指示を受け付けたか否かを判定する（ステップＳ１０３）。具体的には、動画記録制御部１１３は、入出力端末３００において音声による終了指示を受け付けたか否かを判定する。

記録終了指示を受け付けた場合（ステップＳ１０３にて「Ｙｅｓ」の場合）には、動画記録制御部１１３は、動画情報と、音声記録制御部１１１から保存する音声情報とを、それぞれ取得して動画ファイルを生成する（ステップＳ１０４）。

そして、動画記録制御部１１３は、位置情報と時刻情報を取得して動画像に関連付ける（ステップＳ１０５）。具体的には、動画記録制御部１１３は、入出力端末３００の位置特定部３１４により取得した位置を特定する情報と、現在時刻を特定する情報とを取得して、ステップＳ１０４において生成した動画像と関連付けて、動画情報記憶部１２３に格納する。

そして、音声認識部１１４は、音声情報から音声認識を行い、テキストファイルとして生成し、アップロードサインを未済としてエントリする（ステップＳ１０６）。具体的には、音声認識部１１４は、ステップＳ１０４にて生成された音声情報を読み込んで音声認識を行い、認識したテキスト情報をテキストファイルとして生成し、テキスト情報記憶部１２４に格納しつつ、アップロードサイン１２４Ｃについては「未済」であることを示す情報を付加する。

以上が、動画撮像処理の処理フローである。動画撮像処理によれば、撮像指示を受けた後、終了指示を受け付けるまで、入出力端末３００を介して取得した動画および音声の情報を、行動記録装置１００において記憶することができる。

図１２は、本実施形態における公開処理のフロー図である。

公開処理は、入出力端末３００の音声入出力制御部３１２を介した音声による入力に基づき、音声情報を含む動画情報を公開装置４００にて公開する処理である。なお、公開処理は、音声情報を含まない動画情報を公開するものであってもよいし、静止画を公開するものであってもよいし、音声情報を公開するものであってもよい。公開処理は、行動記録装置１００、通信端末２００および入出力端末３００、公開装置４００の稼動が開始され、互いに通信可能となった状態において、入出力端末３００において音声による開始指示を受け付けると、開始される。

まず、公開装置連携部１１５は、アップロードサインが「済」となっている最後のエントリの次のエントリを特定し元音声の先頭部分を音声出力する（ステップＳ２０１）。具体的には、公開装置連携部１１５は、テキスト情報記憶部１２４を参照して、アップロードサイン１２４Ｃが「済」となっている最後のエントリの次のエントリを特定する。そして、公開装置連携部１１５は、特定したエントリについて元音声記録識別子１２４Ｂを特定し、元音声記録識別子に対応する音声情報記憶部１２１の音声記録識別子１２１Ａに関連付けられている音声ファイル１２１Ｄを読み出す。そして、公開装置連携部１１５は、読み出した音声ファイルの一部または全部、例えば先頭から所定時間を再生するよう入出力端末３００の音声入出力制御部３１２に指示する。

そして、公開装置連携部１１５は、音声出力中に公開指示ワードの音声入力を受け付けたか否かを判定する（ステップＳ２０２）。具体的には、公開装置連携部１１５は、音声認識部１１４が、音声入出力装置３０１の音声入力装置により受け付けた音声入力を認識して、公開指示ワードを示す入力を得たか否かを判定する。公開指示ワードを示す入力がなかった場合には、公開装置連携部１１５は、ステップＳ２０５へ制御を進める。

音声出力中に公開指示ワードの音声入力を受け付けた場合（ステップＳ２０２にて「Ｙｅｓ」の場合）には、公開装置連携部１１５は、公開指示ワードに関連する公開装置の投稿アドレスへテキストおよび動画を送信する（ステップＳ２０３）。具体的には、公開装置連携部１１５は、入力された公開指示ワードに該当する公開指示ワード１２５Ｄを公開装置利用情報記憶部１２５から特定し、対応する公開装置投稿アドレス１２５Ｂおよびユーザー認証情報１２５Ｃを読み出す。そして、公開装置連携部１１５は、読み出した公開装置投稿アドレス１２５Ｂに対して、動画情報と音声情報を送信する。その際、ユーザー認証情報１２５Ｃを併せて送信することで、投稿者が正当なユーザーであることを担保する。

そして、公開装置連携部１１５は、送信した動画に関するエントリのアップロードサインを「済」とする（ステップＳ２０４）。具体的には、公開装置連携部１１５は、送信した動画に関する音声情報をテキスト化したテキストファイルが格納されているテキスト情報記憶部１２４のエントリについて、アップロードサイン１２４Ｃの値を、「済」に更新する。

そして、公開装置連携部１１５は、次のエントリがあるか否かを判定する（ステップＳ２０５）。エントリが無ければ、公開装置連携部１１５は、公開処理を終了させる。エントリがある場合には、公開装置連携部１１５は、ステップＳ２０１に制御を戻す。

以上が、公開処理の処理フローである。公開処理によれば、入出力端末３００を介して公開指示を受けると、未公開の動画、静止画、音声情報について、内容を音声出力しながら公開の実施および公開先の装置の音声入力による指定を受け付けて、指定された公開先に投稿することができる。

以上、本発明に係る第一の実施形態を適用したライフログシステム１について説明した。当該実施形態によると、利用者は、簡便に自然な入出力方法により情報公開をすることができる。

本発明は、上記の第一の実施形態に制限されない。上記の第一の実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。例えば、上記の第一の実施形態においては、入出力端末３００は、鳥型等の動物型をしているが、これに限られない。例えば、犬、猫、蛇、蝶、魚等の他の動物型であってもよい。または、動物に限られるものでもなく、植物、車等の人工物、恒星、惑星等の形状であってもよいし、さらには想像上の存在であるとされる竜、悪魔、妖怪、怪獣、アニメのキャラクター、マスコットキャラクター等であってもよい。

また例えば、入出力端末３００は、上記の第一の実施形態においては、利用者の肩等に、フックやアーム等により保持されて着脱可能に取り付けられる機構を備えるものであるが、これに限られない。例えば、自立可能なオートバランス機構を備えるものであってもよい。または、入出力端末３００は、飛行のための動力源を備え、自律的に飛行するものあるいは操作装置から飛行を制御されるものであってもよい。このようにすることで、より自然に入出力端末３００を扱うことができるため、利用者だけでなくその周囲の者にも、違和感を感じさせにくいものとすることができる。

また例えば、入出力端末３００は、上記の第一の実施形態においては、入出力端末３００と、通信端末２００との間の接続に用いる無線通信は、Ｂｌｕｅｔｏｏｔｈ等の無線通信接続であるが、これに限られるものではない。例えば、ＩＥＥＥ８０２．１１等に準拠した無線通信接続であってもよいし、有線接続であってもよい。あるいは、入出力端末３００が通信端末２００と同様の機能を包含し、行動記録装置１００と通信可能なものであってもよい。このようにすることで、行動記録装置１００に接続しうる端末の自由度を高めることができる。

また、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品のような複数の部分に分けられて適用されるようにしてもよい。

以上、本発明について、実施形態を中心に説明した。

１・・・ライフログシステム、１０・・・ネットワーク、１００・・・行動記録装置、１１０・・・制御部、１１１・・・音声記録制御部、１１２・・・静止画記録制御部、１１３・・・動画記録制御部、１１４・・・音声認識部、１１５・・・公開装置連携部、１２０・・・記憶部、１２１・・・音声情報記憶部、１２２・・・静止画情報記憶部、１２３・・・動画情報記憶部、１２４・・・テキスト情報記憶部、１２５・・・公開装置利用情報記憶部、１３０・・・通信部、２００・・・通信端末、２１０・・・制御部、２１１・・・通信制御部、２１２・・・入出力装置接続部、２２０・・・通信部、２３０・・・接続部、３００・・・入出力端末、３１０・・・制御部、３１１・・・通信端末接続制御部、３１２・・・音声入出力制御部、３１３・・・撮像制御部、３１４・・・位置特定部、３２０・・・衛星電波受信部、３３０・・・接続部、４００・・・公開装置

Claims (9)

1. 動画情報を格納する動画情報記憶部と、
   前記動画情報に含まれる音声情報を認識してテキスト情報を生成する音声認識部と、
   外部の装置から前記動画情報を受け付けると、前記動画情報に含まれる音声情報について前記音声認識部により生成されたテキスト情報を記録するテキストファイルを生成して前記動画情報に関連付けて前記動画情報記憶部へ格納する動画記録制御部と、
   所定の公開装置に対する公開指示を受け付けると、前記動画情報および前記テキストファイルを公開するよう前記公開装置へ送信する公開装置連携部と、
   を備えることを特徴とする行動記録装置。
2. 請求項１に記載の行動記録装置であって、
   前記公開装置連携部は、前記外部の装置が受け付けた音声を前記音声認識部により認識して公開対象の前記公開装置を特定する、
   ことを特徴とする行動記録装置。
3. 請求項１または２に記載の行動記録装置であって、
   前記公開装置連携部は、公開対象の動画の特定にあたり、公開する候補の前記音声情報の一部または全部を前記外部の装置に音声出力させ、公開指示を受け取った際に出力されていた音声情報に関連する動画を公開する対象とする、
   ことを特徴とする行動記録装置。
4. 請求項１〜３のいずれか一項に記載の行動記録装置であって、
   前記外部の装置は、音声情報を含む動画情報を取得するために撮像装置を制御する撮像制御部と、前記動画情報を前記動画記録制御部へ送信する通信部と、を備える動物型の入出力端末である、
   ことを特徴とする行動記録装置。
5. 請求項４に記載の行動記録装置であって、
   前記入出力端末は、鳥の外形を模した形状を備え、利用者の体の一部に着脱可能に取り付けられる、
   ことを特徴とする行動記録装置。
6. 鳥の外形を模した形状を備え、
   周囲の音声の入力を受け付ける音声入力部と、
   利用者から前記音声入力部を介して撮像の開始と終了の指示を受け付けると、前記音声入力部を介して受け付けた周囲の音声情報を含めて前記撮像の開始の指示を受け付けてから終了の指示を受け付けるまでの間に撮像した動画情報を生成する撮像制御部と、
   前記動画情報を所定の他の装置へ送信する通信部と、
   を備えることを特徴とする入出力装置。
7. 請求項６に記載の入出力装置であって、
   音声を出力する音声出力部を備え、
   前記通信部は、前記他の装置から音声出力情報を受け付けると、当該音声出力情報を前記音声出力部に出力させるとともに、当該音声出力を行っている期間において前記音声入力部が受け付けた音声の入力を前記他の装置へ送信する、
   ことを特徴とする入出力装置。
8. コンピューターに、行動を記録する手順を実行させるプログラムであって、
   前記コンピューターを、制御手段と、動画情報を格納する動画情報記憶手段として機能させ、
   前記制御手段に対して、
   前記動画情報に含まれる音声情報を認識してテキスト情報を生成する音声認識ステップと、
   外部の装置から前記動画情報を受け付けると、前記動画情報に含まれる音声情報について前記音声認識ステップにより生成されたテキスト情報を記録するテキストファイルを生成して前記動画情報に関連付けて前記動画情報記憶手段へ格納する動画記録制御ステップと、
   所定の公開装置に対する公開指示を受け付けると、前記動画情報および前記テキストファイルを公開するよう前記公開装置へ送信する公開装置連携ステップと、
   を実行させることを特徴とする行動記録プログラム。
9. コンピューターを用いて行動を記録する手順を実施する行動記録方法であって、
   前記コンピューターは、
   制御手段と、動画情報を格納する動画情報記憶手段と、を備え、
   前記動画情報に含まれる音声情報を認識してテキスト情報を生成する音声認識ステップと、
   外部の装置から前記動画情報を受け付けると、前記動画情報に含まれる音声情報について前記音声認識ステップにより生成されたテキスト情報を記録するテキストファイルを生成して前記動画情報に関連付けて前記動画情報記憶手段へ格納する動画記録制御ステップと、
   所定の公開装置に対する公開指示を受け付けると、前記動画情報および前記テキストファイルを公開するよう前記公開装置へ送信する公開装置連携ステップと、
   を実行することを特徴とする行動記録方法。

Images