JP2020137050A - 撮像装置、撮像方法、撮像プログラム及び学習装置 - Google Patents

Abstract

【課題】対象物を捉えて表現した動画の始点、終点が適切であるなど、ライフログ動画の作成に適したクリップを自動的に取得することができる。【解決手段】撮像装置１０は、連続的に撮像して得られる複数の連続画像を取得する撮像部１２と、複数の連続画像の中から特定の条件を満たす一連の画像により構成されるクリップの始点コマ終点コマを選択する選択部１７と、を具備する。選択部１７は、連続画像を構成するコマの特徴から推論によって特定の条件を判定する。【選択図】図１

Description

本発明は、ライフログに適した撮像装置、撮像方法、撮像プログラム及び学習装置に関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）は、画像処理を駆使して、様々な撮影機能を備えている。例えば、ウェアラブルに構成し、所定期間毎に比較的短い時間だけ撮影を自動的に行うことにより、ライフログの取得に適した撮像装置も開発されている。

ライフログは、１〜数秒程度の短い動画であって、例えば日々の生活の様子等の撮影によって得られたクリップ（短時間の動画）を集めて記録する技術である。ライフログによって得られる動画（以下、ライフログ動画という）の作成には一般的なカメラを採用することもでき、ユーザはカメラによってクリップを取得し、複数を繋げてライフログ動画を容易に作成することができる。もちろん、動く静止画という趣向で、単独のクリップで楽しんでも良い。クリップの連なりの動画は、ストーリー性のある動画と違って、物語の流れにとらわれる必要がなく、気軽にみられるという特徴がある。

このようなライフログに対して、映画等のようにストーリーを重視した動画（以下、ストーリー系動画という）の撮影が行われることもある。例えば、特許文献１においては、面倒な撮影操作を増やすことなくストーリ性に優れ且つ完成度が高い動画撮影を可能にすることを目的とした技術が開示されている。この技術では、動画の中の一つながり部分のそれぞれについての撮影指南情報及び撮影条件データを含むシナリオデータを保持するシナリオデータ保持手段を備えて、各シーンの撮影条件を設定するようになっている。

特開２００６−１７４３１８号公報

ところで、ライフログ動画は、適当なタイミングで取得されたクリップを集めたものであり、クリップ同士にはシーンとしての起承転結などはない。しかも、クリップの時間は比較的短く、クリップ単独ではストーリー性を有する動画とはなりにくい。従って、ライフログ動画全体として面白味のある動画とするためには、１つ１つのクリップに審美性や味わいが必要で、どのようなシーンのどのタイミングの動画を採用して対象シーンの印象深さをクローズアップするかについて、十分な経験や高い感性が必要となる。なお、特許文献１の発明においても、面白味のあるストーリーを得るためには、最初にそれなりのシナリオを決定しておくという比較的専門性を有する作業が必要であり、ライフログに適用したとしてもライフログの作成を容易にすることはできない。このように、ライフログ動画の作成自体は０．１秒オーダー、あるいはそれ以下のオーダーでの起点、終点の選択が面倒で、編集の行為そのものは容易であるが、面白味や趣のあるライフログ動画の作成は極めて手間がかかり困難であるという問題があった。

本発明は、対象物を捉えて表現した動画の始点、終点が適切であるなど、ライフログ動画の作成に適したクリップを自動的に取得することができる撮像装置、撮像方法、撮像プログラム及び学習装置を提供することを目的とする。

本発明の一態様による撮像装置は、連続的に撮像して得られる複数の連続画像を取得する撮像部と、上記複数の連続画像の中から特定の条件を満たす一連の画像により構成されるクリップの始点コマ終点コマを選択する選択部と、を具備し、上記選択部は、上記連続画像を構成するコマの特徴から推論によって上記特定の条件を判定する。

本発明の一態様による撮像方法は、連続的に撮像して得られる複数の連続画像を取得し、上記複数の連続画像の中から特定の条件を満たす一連の画像により構成されるクリップの始点コマ終点コマを選択する手順を具備し、上記クリップを選択する手順は、上記連続画像を構成するコマの特徴から推論によって上記特定の条件を判定する。

本発明の一態様による撮像プログラムは、コンピュータに、連続的に撮像して得られる複数の連続画像を取得し、上記複数の連続画像の中から特定の条件を満たす一連の画像により構成されるクリップの始点コマ終点コマを選択する手順を実行させるための撮像プログラムであって、上記クリップを選択する手順は、上記連続画像を構成するコマの特徴から推論によって上記特定の条件を判定する。

本発明の一態様による学習装置は、連続的に撮像して得られる複数の連続画像から所定秒数よりも短く１シーンによって構成される一連の画像であるクリップを集めて構成される画像を生成する母集合作成部と、上記母集合生成部が生成した画像を記録する記録部とを具備する。

本発明の他の態様による学習装置は、所定秒数よりも短く１シーンによって構成される一連の画像であるクリップを集めて構成される画像を教師データとして設定する母集合作成部と、上記教師データを用いた学習により、入力画像に対して、特定の条件を満たす一連の画像により構成される１つ以上のクリップを選択するための情報を出力する推論モデルを構築する入出力モデル化部とを具備する。

本発明の他の態様による撮像装置は、連続的に撮像して得られる複数の連続画像を取得する撮像部と、上記複数の連続画像の中から特定の条件を満たす一連の画像により構成される１つ以上のクリップを選択する選択部と、を具備し、上記選択部は、上記連続画像と手本画像群との比較に基づいて上記特定の条件を判定する。

本発明の他の態様による撮像装置は、複数の動画種別から１つを選択可能にすると共に、選択された動画種別中の複数のカテゴリーから１つを選択可能にするメニュー表示を表示する表示制御部と、前記メニュー表示により選択された動画種別中の選択されたカテゴリーの動画についての学習を外部に依頼する制御部とを具備する。

本発明の他の態様による撮像装置は、複数の動画種別から１つを選択可能にするメニュー表示を表示する表示制御部と、前記メニュー表示により選択された動画種別に相応しい動画の始点、終点を推論によって自動決定する推論エンジンとを具備する。

本発明の他の態様による撮像装置は、連続的に撮像して得られる複数の連続画像を取得する撮像部と、上記複数の連続画像の中から特定の条件を満たす一連の画像により構成される１つ以上のクリップを各クリップの特徴毎に選択する選択部と、を具備し、上記選択部は、上記連続画像を構成するコマの特徴と手本画像群のクリップの始点、終点の特徴とクリップの内容との比較に基づいて上記特定の条件を判定する。

本発明によれば、対象物を捉えて表現した動画の始点、終点が適切であるなど、ライフログ動画の作成に適したクリップを自動的に取得することができるという効果を有する。

図１は本発明の第１の実施の形態に係る学習装置及び撮像装置を示すブロック図である。 ストーリー系動画を説明するための説明図である。 ハプニング系動画を説明するための説明図である。 ライフログ動画を説明するための説明図である。 学習装置２０による学習及び学習の結果得られる推論モデルを説明するための説明図である。 学習処理を説明するためのフローチャートである。 撮像装置１０の動作を説明するためのフローチャートである。 ライフログ撮影の準備の様子を示す説明図である。 ライフログ撮影に関する画面表示を説明するための説明図である。 撮像装置１０による撮影の様子を示す説明図である。 ライブビュー画像を示す説明図である。 クリップを説明するための説明図である。 クリップを検出したことを示す表示の表示例を示す説明図である。 図５中のカット候補記録処理の具体的な処理フローの一例を示すフローチャートである。 学習装置２０の学習を説明するためのフローチャートである。 第２の実施の形態におけるカメラ制御を示すフローチャートである。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る学習装置及び撮像装置を示すブロック図である。本実施の形態は、ライフログ動画のお手本となる動画を教師データとする機械学習によって推論モデルを生成し、撮像装置においてこの推論モデルを用いた推論エンジンにより、入力された一連の画像からライフログ動画に用いるクリップ（同じ対象物を撮影した連続画像の始点、終点などを決めての簡潔に編集された動画部分、動画要素）を自動生成することを可能にするものである。これにより、ユーザは、面白味のあるライフログ動画の作成に適したクリップを得るためのシーンやタイミングを考慮しない通常の撮影の過程において、お手本となるライフログ動画に類似したライフログ動画を得るためのクリップを自動生成することができる。

なお、所望の撮影結果（ハプニング）を期待して、相応の撮影準備を行って得られる動画（以下、ハプニング系動画という）の撮影が行われることもある。ハプニング系動画では、例えば、動物のある仕草を撮影するために、動物の撮影を比較的長い時間撮影する等の手法が採用される。このような撮影では、所望の撮影結果が得られるか否かは被写体の状態によって決まる。このようにハプニング系動画においては、例えば十数秒等の比較的長いシーンをユーザの意図した撮影によって得る必要があり、本実施の形態において対象とするものではない。

面白味のあるライフログ動画に用いるクリップとしては、画質が良い画像というばかりではなく、例えば、クリップの開始画像は人を引きつける内容であり、終了画像までにクリップ内の物体の動きがある程度完結する画像であり、動く物体が画面内に収まっていて、できればクリップ単体でメッセージ性に優れた画像が好ましい。
これは、どのコマからクリップが始まり、どのコマでクリップが終わるかといった、非常に繊細なユーザの感覚や、目視手動選択の技術を必要としたりして、手間のかかるもので、多くの動画編集者を悩ませてきた。この作業を簡略化する部分だけでも、ユーザには喜ばれる技術と言える。
更に、ライフログ動画全体としても起承転結が感じられるものであった方がよい。このようなクリップの撮影は容易ではなく、撮影を行った後に編集作業が必要となる場合もある。本実施の形態においては、推論エンジンが入力画像と、お手本となるクリップとの比較によって、入力される連続的な一連の画像（以下、連続画像ともいう）から自動的にライフログ動画に適したクリップを抽出するようになっており、ユーザの通常の撮影行動の過程において、ライフログ動画に適したクリップの自動取得が可能となる。

図１の撮像装置１０は、被写体を撮像して得た画像を記録する。撮像装置１０としては、デジタルカメラやビデオカメラだけでなく、スマートフォンやタブレット端末に内蔵されるカメラを採用してもよい。撮像装置１０は、撮像装置１０の各部を制御する制御部１１を備えている。制御部１１は、ＣＰＵ（Central Processing Unit）等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。

撮像装置１０の撮像部１２は、撮像素子１２ａ及び光学系１２ｂを有している。光学系１２ｂは、ズームやフォーカシングのための図示しないレンズや絞り等を備えている。光学系１２ｂは、これらのレンズを駆動する図示しないズーム（変倍）機構、ピント及び絞り機構を備えている。

撮像素子１２ａは、ＣＣＤやＣＭＯＳセンサ等によって構成されており、光学系１２ｂによって被写体光学像が撮像素子１２ａの撮像面に導かれるようになっている。撮像素子１２ａは、被写体光学像を光電変換して被写体の撮像画像（撮像信号）を取得する。

制御部１１の撮像制御部１１ａは、光学系１２ｂのズーム機構、ピント機構及び絞り機構を駆動制御して、ズーム、絞り及びピントを調節することができるようになっている。撮像部１２は、撮像制御部１１ａに制御されて撮像を行い、撮像画像（動画像及び静止画像）の撮像信号を制御部１１に出力する。

撮像装置１０には操作部１３が設けられている。操作部１３は、図示しないレリーズボタン、ファンクションボタン、撮影モード設定、パラメータ操作等の各種スイッチ、ダイヤル、リング部材等を含み、ユーザ操作に基づく操作信号を制御部１１に出力する。制御部１１は、操作部１３からの操作信号に基づいて、各部を制御するようになっている。

制御部１１は、撮像部１２からの撮像画像（動画像及び静止画像）を取込む。制御部１１の画像処理部１１ｂは、取込んだ撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

撮像装置１０には表示部１４が設けられており、制御部１１には、表示制御部１１ｄが設けられている。表示部１４は、例えば、ＬＣＤ（液晶表示装置）等の表示画面を有する表示器であり、表示画面は撮像装置１０の例えば筐体背面等に設けられる。表示制御部１１ｄは、画像処理部１１ｂによって信号処理された撮像画像を表示部１４に表示させるようになっている。また、表示制御部１１ｄは、撮像装置１０の各種メニュー表示や警告表示等を表示部１４に表示させることもできるようになっている。

また、表示部１４の表示画面上には、操作部１３として図示しないタッチパネルが設けられていてもよい。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部１１に供給される。これにより、制御部１１は、ユーザがタッチした表示画面上の位置やユーザが表示画面上を指でスライドさせるスライド操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

撮像装置１０には通信部１５が設けられており、制御部１１には、通信制御部１１ｅが設けられている。通信部１５は、通信制御部１１ｅに制御されて、学習装置２０との間で情報を送受することができるようになっている。通信部１５は、例えば、ブルートゥース（登録商標）等の近距離無線による通信及び例えば、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮによる通信が可能である。なお、通信部１５は、ブルートゥースやＷｉ−Ｆｉに限らず、各種通信方式での通信を採用することが可能である。通信制御部１１ｅは、通信部１５を介して、学習装置２０から推論モデル情報を受信することができる。この推論モデル情報は、推論エンジン１７のネットワーク１７ｂにより所望の推論モデルを構築するためのものである。

制御部１１には記録制御部１１ｃが設けられている。記録制御部１１ｃは、信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録部１６に与えて記録させることができる。記録部１６は、所定の記録媒体によって構成されて、制御部１１から与えられた情報を記録すると共に、記録されている情報を制御部１１に出力することができる。また、記録部１６としては、例えばカードインターフェースを採用してもよく、この場合には記録部１６はメモリカード等の記録媒体に画像データを記録可能である。

記録部１６は、画像データ記録領域１６ａを有しており、記録制御部１１ｃは、画像データを画像データ記録領域１６ａに記録するようになっている。また、記録制御部１１ｃは、記録部１６に記録されている情報を読み出して再生することも可能である。なお、記録部１６の画像データ記録領域１６ａには、静止画１６ａａ、動画１６ａｂ及びタグ情報１６ａｃが記録される。

制御部１１には、推論エンジン制御部１１ｆが設けられている。推論エンジン制御部１１ｆは、受信された推論モデル情報を推論エンジン１７の記憶部１７ａに与えて推論モデルの設定情報を記憶させる。これにより、記憶部１７ａに設けられたネットワーク１７ｂによって、学習装置２０により生成された推論モデルが構築されるようになっている。推論エンジン制御部１１ｆは、選択部（選択回路）を構成する推論エンジン１７を制御する。制御部１１は、撮像部１２からの撮像画像を推論エンジン１７に与えて、ライフログ動画に適したクリップを判定させるようになっている。

制御部１１にはクリップ判定部１１ｇが設けられており、クリップ判定部１１ｇは、推論エンジン１７の推論結果が与えられて、クリップの開始位置及び終了位置（クリップを構成する動画の始点コマ、終点コマ）を判定して、判定結果を出力する。クリップ判定部１１ｇの判定結果は、記録制御部１１ｃによって記録部１６に与えられ、記録部１６の画像データ記録領域１６ａ中のタグ情報１６ａｃとして記録される。

即ち、記録部１６には、静止画又は動画による連続画像が記録されると共に、これらの画像中のクリップの開始位置及び終了位置に相当する画像には、タグ情報１６ａｃとしてクリップの開始画像又は終了画像（クリップを構成する動画の始点コマ、終点コマ）であることを示す情報が付加される。なお、タグ情報１６ａｃは、撮影日時の情報や撮影時の位置情報等も含む。

また、記録制御部１１ｃは、クリップ判定部１１ｇの判定結果に基づいて、撮影された連続画像からクリップ部分の画像を抽出して、抽出したクリップを画像データ記録領域１６ａに記録するようになっていてもよい。なお、記録制御部１１ｃは、クリップを集めて構成したライフログ動画の再生及びライフログ動画の画像データの出力が可能である。

次に、推論モデル情報を生成する学習装置２０について説明する。

学習装置２０には制御部２１が設けられている。制御部２１は、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。

なお、学習装置２０全体が、ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して学習を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。

学習装置２０は、データベース（ＤＢ）部３０に記録されている画像データを用いて学習を行う。学習装置２０は通信部２２を有しており、ＤＢ部３０は通信部３２を有している。これらの通信部２２，３２は、通信部１５と同様の構成を有しており、通信部２２，３２相互間において通信が可能である。

ＤＢ部３０は、大量の学習用データを記録した画像データ記録領域３３を有している。画像データ記録領域３３は、ハードディスクやメモリ媒体等の図示しない記録媒体により構成されており、複数の画像を記録する。画像データ記録領域３３には、静止画３３ａ、動画３３ｂ及びタグ３３ｃが記録される。動画３３ｂとしては膨大な量の動画（動画Ｍ１，動画Ｍ２，…）及び連続的な静止画が記録される。なお、説明を簡略化するために、以下の説明では、連続的な静止画等の連続画像についても動画として扱うものとする。

学習装置２０の制御部２１は、通信部２２，３２を介してＤＢ部３０に記録されている画像を取り込むことができる。ＤＢ部３０としては、インターネット等のクラウド上の画像サーバを採用することができ、ログインやパスワードなど設定などを行ったりして（なくてもよい）、このＤＢ部３０に多くのユーザが画像を記録させたり、このＤＢ部３０にある画像に、多くのユーザがアクセスできるようにすると、様々な画像をみんなで楽しめるシステムにすることが出来る。ここには、様々な静止画、動画など画像データが記録されており、キーワードや分類、あるいはサムネイルなどを手掛かりに、それらにアクセスするユーザとシェアしたり、それらにアクセスするユーザが選んだ画像を鑑賞したりすることが出来る。ここで記録されている画像は、画像を記録させる人の意図や好みによって、編集されているものや編集されていないものなど雑多なデータが集まっている。編集されているものは、タイトルや字幕や音声なども編集で見栄え良く加工されている場合が多い。前述のように、ストーリー性のある動画や、ライフログ風に日常を印象的に伝える動画なども混在している。また、図示せぬ画像管理部が、自動的に画像を分析して分類してもよく、画像内の人物や風景やその他、そこから読みとれるものを参考に、例えば、「晴天、運動会、子供」といったテキスト情報と紐づけて、ＤＢ利用ユーザの画像アクセスを容易にする工夫があってもよい。また、こうしたシーン判定の他、画像に付けられたメタデータやタグ情報を用いてもよい。また、動画は時間的に連続な静止画コマの連続とも考えられるので、その撮影時間や再生にかかる時間情報も、このＤＢ部３０の動画からは判定が可能である。動画のシーンの切り替えを判定して、それがどのような種別の動画かを自動判定して、検索しやすくする工夫がなされていてもよい。ライフログ的な画像は、１から数秒のシーンに編集されて、いくつかのクリップが繋がって切り替わるように表示されるものである。また、未編集の動画は、こうしたシーンのテンポ良い切り替わりがない。ハプニング系動画は、シーンは変わらず、撮影されている対象物に変化がある。また、ストーリー性のあるものは、数秒のシーンと長いシーンが混在して編集され、人物が登場する場合、前後のクリップで会話が成立するなど、強いつながりがある。

したがって、学習装置２０は、例えば各種動画サイトから様々な種類の膨大な量の画像データを、分類して利用が可能である。もちろん、ＤＢ部３０の動画にアクセスしながら、アクセスした制御部が、こうした動画の分類を行ってもよい。つまり、画像データは、クリップの長さや前後のクリップの相関性の強さなどによって、いかなる種類の動画かが判定でき、また、タイトル、メタデータ、自動シーン判定、顔検出結果、音声判定などによって、検索が容易になっており、カテゴリーなどを絞り込むことが可能である。さらに、動画にぶれがないかや、露出やピントや構図が良いかの判定を自動で行うことも可能である。また、撮影者、作成者などが関連付けられて記録されているものもあり、こうした情報からデータを絞り込むことも可能である。もちろん、公開されている動画を使っての学習に限らず、撮影者本人が、自分で撮影した、あるいは、撮影されてあった動画を切り貼りして教師データを作って学習させることも可能である。

学習装置２０の母集合作成部２３は、記録部２３ｂを有しており、ＤＢ部３０から送信された動画をこの記録部２３ｂに記録する。ＤＢ部３０の画像データ記録領域３３に、クリップの分割位置の情報がタグ３３ｃとして付加されたライフログ動画が蓄積されている場合には、母集合作成部２３は、このライフログ動画をＤＢ部３０から読み出して、そのまま教師データとして記録部２３ｂに格納する。

また、学習装置２０が受信する動画としてライフログ動画以外の動画も含まれる場合には、母集合作成部２３は、記録された動画に対する画像認識処理によって、記録された動画をストーリー系動画、ハプニング系動画又はライフログ動画に分類する。
もっとも簡単には、学習装置２０は、動画単位（クリップ）を構成するの始点コマ、終点コマまでの時間経過が、特定の時間で切り替わるものが集まった動画（さらには、各クリップにぶれがないかや、露出やピントや構図が良いかの判定をしたり、同じ対象物が狙って写されているかなどを考慮してもよい）をライフログ動画としてもよい。これは、簡潔に各シーンの最も美しく印象的で、動きも効果的なコマを編集、記録したユーザが手間をかけた成果なので、多くの好ましい特徴を備えた教師データとなりうる。
更に、母集合作成部２３は、ライフログ動画を自動シーン判定やタイトルや音声情報によってジャンル毎に分割する。そして、母集合作成部２３は、ジャンル毎に分割されたライフログ動画をクリップの単位に分割する。このクリップの始点、終点の選定こそが、最も気を使って編集された部分の一つなので、この始点コマから終点コマまでのコマ群の持つ情報は、非常に有力な教師データとなる。このような教師データを用いた推論モデルを搭載することによって、連続的に撮像して得られる複数の連続画像から、時間的に連続した一連の画像により構成されるクリップの始点コマ終点コマを、上記連続画像を構成するコマの特徴から推論によって選択する選択部を有することを特徴とする撮像装置が提供できる。
また、学習装置２０は、クリップの始点、終点の特徴を学習する推論モデルの作成に際して、そのクリップが含む内容（色、明るさ、距離、動き、構図など画像分析でわかるシーン、テーマ、対象物等）を併せて関連付ける学習を行うことにより、どのタイプのシーンのクリップであるかを分類判定できる推論モデルを得ることが可能である。このようにシーン分類できる推論モデルを内蔵して利用できる撮像装置にしておけば、連続的に撮像して得られる複数の連続画像を取得する撮像部からの出力である連続画像データの中から特定の条件を満たす一連の画像により構成される１つ以上のクリップを各クリップの特徴ごとに選択する選択部とを具備した装置として構成することが可能で、この時、上記選択部は、上記連続画像を構成するコマの特徴と手本画像群のクリップの始点、終点の特徴とクリップの内容との比較に基づいて上記特定の条件を判定すればよい。

以下、少し具体的に記載する。図２Ａから図２Ｃはそれぞれストーリー系動画、ハプニング系動画又はライフログ動画を説明するための説明図である。図２Ａに示すように、ストーリー系動画は、複数のコマＰ１，Ｐ２，…によって各カットＣ１，Ｃ２，…が構成され、複数のカットＣ１，Ｃ２，…によって各シーンＴ１，Ｔ２，…が構成される。また、図２Ｂに示すように、ハプニング系動画は、複数のコマＰ１，Ｐ２，…によって各シーンＴ１が構成される。例えば、ハプニング系動画は、十数秒程度のコマによってシーンＴ１が構成されることが多い。

これに対し、図２Ｃに示すように、ライフログ動画は、複数のコマＰ１，Ｐ２，…によって各シーンＫ１，Ｋ２，…が構成される。ライフログ動画における各シーンはクリップに相当する。例えば、ライフログ動画におけるクリップは、１〜数秒程度のコマによって1クリップが構成される。

母集合作成部２３は、記録部２３ｂに記録された動画に対する画像解析によって、シーンの区切り、カットの区切り等を検出することで、解析対象の動画が図２Ａ〜図２Ｃのいずれの動画に分類できるかを判定する。母集合作成部２３は、ライフログ動画に分類した動画について、各シーン、即ち、クリップの分割位置を判定する。母集合作成部２３は、クリップの分割位置の情報を含むライフログ動画を教師データに設定する。

母集合作成部２３の記録部２３ｂに、映像製作の専門家が作成したライフログ動画を記録しておくことで、教師データはライフログ動画に適したクリップの分割位置（クリップの単位の動画群の始点コマ、終点コマ、あるいはそこに挟まったコマ群）のお手本となる。なお、上述したように、ＤＢ部３０の画像データ記録領域３３に、クリップの分割位置の情報をタグ３３ｃとして付加されたライフログ動画が蓄積されている場合には、母集合作成部２３は、このライフログ動画をＤＢ部３０から読み出して、そのまま教師データとして記録部２３ｂに格納すればよい。また、クリップの動画の各コマの情報量が大きい場合、大量の容量のデータとなって機械学習が重く、遅くなるので、始点コマ、終点コマとクリップ動画時間など補足情報だけを教師データにしてもよく、間引きしたりコマの情報量を落として教師データ化してもよい。または、クリップの始点の複数コマ、終点の複数コマを教師データとしてもよい。

学習装置２０は、出力設定部２４を有している。出力設定部２４は、推論の結果得られるべき出力を設定する。本実施の形態においては、出力設定部２４は、入力される動画に対して、クリップを抽出するための情報を出力する推論モデルを生成するための設定を行う。

入出力モデル化部２５は、大量の教師データを用いて期待される出力が得られるように、ネットワークデザインを決定し、その設定情報である推論モデル情報を生成する。入出力モデル化部２５は、推論モデル情報を、通信部２２を介して撮像装置１０の制御部１１に送信する。

図３は、学習装置２０による学習及び学習の結果得られる推論モデルを説明するための説明図である。図３に示すように、入出力モデル化部２５により、所定のネットワークＮＷ１には入力及び出力に対応する大量の画像が教師データとして与えられる。図３の例では、教師データとして、それぞれ複数のシーンＰ１，Ｐ２，…により構成されるライフログ動画ＬＭ１，ＬＭ２，…がネットワークＮＷ１に与えられる。ライフログ動画ＬＭ１，ＬＭ２，…の各シーンＰ１，Ｐ２，…はそれぞれクリップに相当し、教師データは各クリップの分割位置の情報を含んでいる。

大量の教師データによる学習を行うことで、ネットワークＮＷ１は、入力に対応する出力が得られるように、ネットワークデザインが決定される。即ち、図３の例では、動画像が入力されると、お手本となるライフログ動画ＬＭ１，ＬＭ２のクリップの分割位置に類似する分割位置で動画像を分割するための情報が信頼度の情報と共に得られる。即ち、図３の例では、入力される動画像からライフログ動画に適したクリップを生成するための推論モデルが構築される。また、クリップの分割位置（クリップの始点コマ、終点コマ）の特徴を学習する推論モデルとして、そのクリップが含む内容（色、明るさ、距離、動き、構図など画像分析でわかるシーン、テーマ、対象物等）を併せて関連付ける学習を行うことにより（学習時に、シーン毎の推論モデルを生成できるようにする）、どのタイプのシーンのクリップであるかを分類判定できる推論モデルを得ることが可能である。図３の教師データとなるお手本ライフログ動画を、特定の内容やシーンの動画として、なおかつ、それがどのような内容、シーンであるかを同時に学習させればよい。または、シーン毎の推論モデルを生成し、シーンに応じて、選択的に推論モデルを選べるような構成にしてもよい。こうして得られた推論モデルは、判定したシーンに応じて、取得して入力した連続画像を構成するコマの特徴と、手本画像群のクリップの始点、終点の特徴とクリップの内容との比較に基づいて上記特定の条件を判定すればよい。
この部分の発明性を強調する場合、本願は撮像装置、撮像方法というより、画像編集装置、画像編集方法に関する発明と考えることが出来る。もちろん、シーンによらず、動きの滑らかさや美しさ、自然さは同じ場合もあるので、シーンごとの判定を行う必要が必ずしもあるわけではない。ただし、シーンの特徴も分類可能な推論モデルにしておけば、それが、特定のお手本の何番目のクリップに類似しているかという判定（推論モデルでもロジックベースでも）も可能になるので、起承転結のどの部分に使えるかまで決定できる装置にすることも可能である。また、動画が始まるときの期待感、終わるときの一段落感なども、お手本画像の最初のクリップ、最後のクリップの特徴を、同様に学ばせること（これはお手本のどこに使われるクリップかという情報も含めて学習させる）によって、初心者でも簡単に複数動画クリップの流れまでを考慮しての作品作りが可能となる。もちろん、公開されている動画を使っての学習に限らず、撮影者本人が、自分で撮影した、あるいは、撮影されてあった動画を切り貼りして教師データを作って学習させることも可能である。

なお、深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。これは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。そして、入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることで、論理ゲートの形成が容易である。簡単な判別なら３層でもよいが、中間層を多数にすれば、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層〜１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの関係から実用的になっている。

機械学習に採用するネットワークＮ１としては、公知の種々のネットワークを採用してもよい。例えば、ＣＮＮ（Convolution Neural Network）を利用したＲ−ＣＮＮ（Regions with CNN features）やＦＣＮ（Fully Convolutional Networks）等を用いてもよい。これは、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を伴い、最小限処理で動き、パターン認識に強い。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。

これらの技術の実現のためには、ＣＰＵやＦＰＧＡといったこれまでの汎用的な演算処理回路などを使ってもよいが、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（TPU）と呼ばれるものが利用される場合もある。近年ではこうした人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵなどその他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。

また、深層学習に限らず、公知の各種機械学習の手法を採用して推論モデルを取得してもよい。例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するもので、他には、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要があり、今回の実施例では、画像の判定を、機械学習により導出する手法を採用したが、そのほか、特定の判断を人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を応用して用いてもよい。

また、母集合作成部２３は、ライフログ動画以外の動画から教師データを作成してもよい。図４はこの場合の学習処理を説明するためのフローチャートである。

図４のステップＳ１において、学習装置２０の制御部２１は、学習依頼の待機状態である。制御部２１は、学習依頼が発生すると、処理をステップＳ２に移行して、母集合作成部２３により、ＤＢ部３０からジャンルが類似する画像（以下、類似画像という）について動画（連続画像）を受信して取得させる。例えば、母集合作成部２３は、「運動会」や「結婚式」等のジャンル、あるいは「子供」、「動物」等のジャンル毎に類似画像を分類してもよい。例えば、母集合作成部２３は、動画のタイトルによって類似画像を分類してもよく、また、動画毎に代表画像が生成されている場合には、代表画像の画像解析によって、類似画像を分類してもよい。

母集合作成部２３は、次のステップＳ３において、画像解析によって、動画の各シーンのうち数秒以内のシーンをクリップとして選択する。例えば、母集合作成部２３は、動画中の背景の変化がない部分を１シーンと判定してもよい。また、母集合作成部２３は、動きがあるクリップについては、その動きがクリップ内で完結するようにクリップを選択するようにしてもよい。また、母集合作成部２３は、クリップの先頭画像及び終了画像がそれぞれクリップの先頭又は最後にふさわしい画像であるか否かを画像解析によって判定して、クリップを選択するようにしてもよい。母集合作成部２３は、例えば、予め先頭画像及び終了画像としてふさわしいお手本とする画像を記録部２３ｂに記録しておき、お手本の画像とシーン内の画像との比較によって、クリップの先頭画像及び終了画像を決定してもよい。例えば、母集合作成部２３は、動画中の動きがある画像部分について、動きが完結するように、１〜８秒程度の時間のクリップを生成する。

次のステップＳ４において、母集合作成部２３は、選択したクリップに対する画像解析によって、起承転結が感じられるようにクリップに順番付を行う。なお、このステップＳ４の処理は省略してもよい。

次のステップＳ５において、母集合作成部２３は、選択したクリップの動画中の位置及び選択した各クリップの順番の情報を含む教師データを生成する。出力設定部２４は、クリップの位置及び順番の情報と信頼度の情報を出力に設定する（ステップＳ６）。入出力モデル化部２５は、設定された入力及び出力に応じて教師データに基づく学習を行う（ステップＳ７）。なお、教師データとして、クリップの時間を設定することで、規定された時間のクリップを生成するための推論モデルを生成することも可能である。このような推論モデルを用いることで、例えば、長さが３秒間等の規定された時間のクリップを生成することが可能である。また、画像の変化特徴に応じてクリップを抽出するための教師データを用いて推論モデルを構築することも可能である。

入出力モデル化部２５は、ステップＳ８において、生成した推論モデルにより所定の値以上の信頼度が得られるか否かを判定する。所定の値以上の信頼度が得られない場合には、入出力モデル化部２５は、次のステップＳ９において、教師データの再設定等を行って（ステップＳ９）、所定回数以上に到達したことを判定（ステップＳ１０）した後、所定回数未満である場合には、処理をステップＳ７に戻して、推論モデル化を繰り返す。

入出力モデル化部２５は、ステップＳ１０において、推論モデル化を所定回数以上繰り返したと判定した場合には、処理をステップＳ１１に移行して、有効な推論モデルを構築することが苦手な画像であることを示す苦手画像情報を送信する。

入出力モデル化部２５は、ステップＳ８において、生成した推論モデルにより所定値以上の信頼度が得られると判定した場合には、処理をステップＳ１２に移行して、推論モデル情報を記録すると共に、撮像装置１０に対して推論モデル情報を送信する。

次に、このように構成された実施の形態の動作について図５から図８を参照して説明する。図５は撮像装置１０の動作を説明するためのフローチャートである。図６はライフログ撮影の準備の様子を示す説明図であり、図７はライフログ撮影に関する画面表示を説明するための説明図である。図８は撮像装置１０による撮影の様子を示す説明図である。図９はライブビュー画像を示す説明図であり、図１０はクリップを説明するための説明図である。なお、図９及び図１０では、紙面の都合上、ライブビュー表示される連続画像のうち特定のコマのみを示している。

本実施の形態における撮像装置１０は、図６に示す筐体１０ａ中に図１中の各回路が収納されており、筐体１０ａの背面に表示部１４の表示画面１４ａが設けられている。ユーザ４１は、例えば、左手４２で筐体１０ａを把持して、表示部１４の表示画面１４ａを見ながら被写体を視野範囲に捉えた状態で撮影を行う。筐体１０ａの上面には、操作部１３を構成するレリーズスイッチ４３が設けられている。ユーザ４１は、ライフログ撮影のための準備操作を行う。あるいは、カメラを向けただけで、ライブビュー中で、そうしたシーンがあれば、自動記録するような仕様でも良いので、図５のステップＳ２６にも、それに対応するステップがある。これによって、後で、図７で説明するような、表示部に表示されたメニュー一覧から動画種別を選択可能で、選択した動画種別によって選ばれたカテゴリーの動画を選んだことによって得られた推論モデルを用いて、選択した動画種別に相応しい動画の始点、終点を推論によって自動決定可能なカメラが提供できる。

図７は表示制御部１１ｄによって表示される表示画面１４ａ上の表示例を示している。図７の上段は撮影時のモードを選択するためのモード選択画面５１を示している。モード選択画面５１上には、ストーリー系動画の撮影モードを選択するためのボタン表示５１ａ、ライフログ動画の撮影モードを選択するためのボタン表示５１ｂ及びハプニング系動画の撮影モードを選択するためのボタン表示５１ｃが表示されている。いま、ユーザ４１が右手４４で、ライフログ撮影のためのモードを指定するボタン表示５１ｂ上の図示しないタッチパネルをタッチ操作するものとする。

そうすると、表示制御部１１ｄは、図７の中段に示すライフログメニュー画面５２を表示画面１４ａ上に表示する。ライフログメニュー画面５２上には、ライフログメニュー画面であることを示す表示５２ａ、テーマを選択するためのボタン表示５２ｂ、クリップ数を設定するためのボタン表示５２ｃ、トータル時間を設定するためのボタン表示５２ｄ及び１シーンの時間を指定するためのボタン表示５２ｅが表示されている。

ボタン表示５２ｂは、推論エンジン１７の推論モデルの学習時の分類に応じた推論モデルを選択するものである。例えば、推論モデルが「運動会」や「結婚式」等のジャンル毎に分類されて作成されて、記憶部１７ａに各ジャンルの推論モデル情報が記憶されている場合には、ボタン表示５２ｂによって、これらの推論モデルを指定するためのメニューを表示させることが可能である。ボタン表示５２ｃは、１つのライフログ動画を構成するクリップの数を設定するためのものである。また、ボタン表示５２ｄは、１つのライフログ動画のトータル時間を設定するためのものである。また、ボタン表示５２ｅは、１シーンの時間を設定するためのものである。図７の例では、テーマとして「日々の記録」を選択し、１シーンが２秒（ｓ）の５個のクリップによって１０秒間のライフログ動画を作成するように指定したことを示している。
前述のように、こうした工夫で、表示されたメニュー一覧から動画種別を選択可能で、選択した動画種別によって選ばれたカテゴリーの動画を選んだ学習による学習モデルを用いて、ユーザが手動選択（音声等、あるいは最初からデフォルトで設定されていてもよい）した動画種別に相応しい動画の始点、終点を推論によって自動決定可能なカメラが提供できる。通信部などで、この指定されたクリップ用の推論モデルを外部に学習依頼すれば、外部機器がそれに連携してデータベースから、要求された仕様の動画を選んで学習する。

本実施の形態においては、ユーザ４１は、予めライフログ動画作成のためには、上述した設定のみを行えばよい。なお、図７に示す各設定についても、初期設定として登録されていれば、特にユーザ操作は必要ではない。本実施の形態においては、ユーザ４１は、ライフログ動画の作成を考慮した撮影操作を行う必要はなく、通常の静止画撮影や動画撮影のみを行えばよい。即ち、本実施の形態においては、静止画撮影の前に自動的に連続画像を取得する機能や、撮影モードにおいてライブビュー画像の表示のために連続画像を取得する機能や、通常の動画撮影機能において取得される連続画像を用いて、自動的にライフログ動画に適したクリップを取得するものである。
なお、ここでは、わかりやすく、カメラを構成する撮像装置１０の背面の表示部で操作を行う例を示したが、当然、別の情報端末等で、こうした操作を行い、カメラに入力する推論モデルの仕様を決めて、依頼するような変形を行ってもよい。したがって、本願には、表示されたメニュー一覧から動画種別を選択可能で、選択した動画種別によって選ばれたカテゴリーの動画を選んだ学習を外部に依頼可能な情報端末、という発明が含まれている。学習結果を指定した撮像部や観察部に入れられるようにすればよく、入力することを想定する装置が有するハードウェアや要求仕様も含めて依頼する。入力する装置は、この情報端末経由の通信で、学習結果を受け取ってもよいし、直接、ネットワークから受け取ってもよい。また、選択した動画種別に相応しい動画の始点、終点を推論によって自動決定可能なカメラという切り口からは、この「選択」の部分が、当該カメラ自身である必要はなく、他の端末で指定された選択によって学習依頼された成果物としての推論モデルを取得するカメラ、という書き方もできる。この場合、他の機器で選択した動画種別に相応しい動画の始点、終点を推論によって自動決定可能な推論モデルを通信によって取得して搭載可能なカメラの発明となる。

いま、撮像装置１０の制御部１１は、図５のステップＳ２１において、撮影モードが指定されているか否かを判定する。制御部１１は、撮影モードが指定されている場合には、ステップＳ２１からステップＳ２２に処理を移行して、撮像部１２からの撮像画像を取り込む。制御部１１は、撮像部１２からの撮像画像を表示部１４に与えてライブビュー画像を表示させる。また、制御部１１は、図示しないメモリに、取り込んだ撮像画像のうちクリップの長さに相当する所定コマ数以上のコマ（フレーム）を記録する。制御部１１は、撮像部１２からの撮像画像を推論エンジン１７にも与える。

制御部１１は、ステップＳ２３において、推論モデルが存在するか否かを判定する。なお、制御部１１は、生成するクリップの時間に対応した所定コマ数分の関連辞書（推論モデル）が存在するか否かを判定するようになっていてもよい。制御部１１は、推論モデルが存在する場合には、ステップＳ２４において当該推論モデルを指定して推論エンジン１７に推論を実行させる。また、制御部１１は、推論モデルが存在しない場合には、ライフログ動画生成のための推論を行うことはできないので、処理をステップＳ２７に移行する。

なお、ステップＳ２３，Ｓ２４では、クリップの長さ及びテーマ（ジャンル）が関連する推論モデルを選択するようにしてもよいと説明したが、長さのみ又はテーマのみが関連する推論モデルを選択するようになっていてもよい。また、記憶部１７ａに記憶されている推論モデルの種類に応じた選択を行うようにしてもよく、例えば、画像の変化特徴に応じてクリップを抽出する推論モデルや、クリップの開始画像としてふさわしい画像を選択する推論モデルやクリップの終了画像としてふさわしい画像を選択する推論モデル等を選択することも可能である。

いま、ユーザ４１が図８に示す撮影を行うものとする。図８の例では、被写体はブロック塀４５の上にいる猫４６である。ユーザ４１は、右手４４の人差し指４４ａでレリーズスイッチ４３を押下することで撮影を行う。ユーザ４１は、この撮影操作を行う前に、構図等の設定のために、撮像装置１０の筐体１０ａを把持して、表示部１４の表示画面１４ａ上のライブビュー画像を見ながら、被写体を視野範囲に捉えた状態を維持する。

図９はこの場合に表示画面１４ａ上に表示されるライブビュー画像を示している。即ち、図９の例は、図８の撮影の様子に示すようにユーザ４１がブロック塀４５上の猫４６の撮影を試みる状態において、時間の経過と共に順次撮像されてライブビュー表示される画像のうちの画像Ｐ１〜Ｐ１０を示している。画像Ｐ１は、比較的広い範囲を撮像して得られたものであり、ブロック塀４５上の猫４６の画像を含む。ユーザ４１は、視野範囲内に主に猫のみが撮影されるように、ズーム操作を行うものとする。画像Ｐ４以降の画像はこの状態でのライブビュー画像を示している。

これらの連続画像は推論エンジン１７に入力され、推論エンジン１７はネットワーク１７ｂによる推論によって、クリップとして抽出すべき画像を検出する。この結果、例えば、推論エンジン１７が、画像Ｐ３以降の所定時間（例えば２秒間）のコマをクリップとして抽出する推論を行うものとする。図１０は太枠で囲むことによって、この推論によって１つのクリップとして画像Ｐ３から画像Ｐ６までの全コマが抽出されたことを示している。推論エンジン１７の推論結果は制御部１１に供給される。

制御部１１は、推論エンジン１７からクリップを検出したことを示す推論結果が入力されると、クリップを検出したことを示す表示を表示画面１４ａ上に表示する。

図１１はクリップを検出したことを示す表示の表示例を示す説明図である。図１１の例では、表示画面１４ａ上には、ライブビュー画像６１が表示されている。この表示途中において、クリップの先頭画像が検出されると、表示制御部１１ｄは、「クリップ先頭発見」という表示６２をライブビュー画像６１に重ねて表示する。なお、表示６２としては、「クリップ検出」等の表示を表示してもよい。このような表示によって、ユーザ４１は、推論エンジン１７によって、クリップが検出されたことを認識することができる。

制御部１１は、推論結果に基づいてクリップを記録部１６に記録する。即ち、ユーザ４１の撮影操作が行われることなく、推論エンジン１７によってクリップが抽出されると、制御部１１は、推論によって抽出されたクリップにクリップ番号(Ｎｏ．）を付加し、テーマ（分類）に応じてクリップとして指定された画像を記録部１６に記録する。例えば、図１０の例では、画像Ｐ３〜Ｐ６が動画１６ａｂとして記録されると共に、これらの画像Ｐ３〜Ｐ６に対応するタグ１６ａｃに、クリップの番号（クリップＮｏ．）及び分類が記録される。なお、分類として、画像が先頭画像又は終了画像であることを示す情報を記録してもよい。

次に、制御部１１は、ステップＳ２７において、動画撮影又は静止画撮影操作が行われたか否かを判定する。これらの操作が行われた場合には、撮影や記録を行う（ステップＳ２８）。なお、動画撮影時には、動画撮影の終了操作によって、撮像画像がファイル化される。撮影操作が行われていない場合には、制御部１１は処理をステップＳ２１に戻す。制御部１１は、ステップＳ２８において静止画や動画の記録が行われると、次のステップＳ２９において、カット候補の記録を行う。

図１２は図５中のカット候補記録処理の具体的な処理フローの一例を示すフローチャートである。

図５のステップＳ２６におけるクリップの記録は、ライブビュー画像から抽出したクリップを記録する処理である。これに対し、ステップＳ２９の記録は、ユーザの撮影操作等によって既に記録されている動画からクリップを抽出する処理である。なお、ステップＳ２９の記録に際しても、ユーザは作成すべきクリップを選択するための作業を行う必要はない。この工夫によって、ユーザが、動画撮影のタイミングを逃しても、推論エンジンが、ユーザが求める動画に相応しい始点、終点からなる動画クリップを取得可能となり、きわめてストレスなく、ＡＩを駆使した効果的な動画取得が出来る。

図１２のステップＳ４１において、制御部１１は記録されている動画を読み出して推論エンジン１７に与える。例えば、制御部１１は、判定対象の先頭コマをシフトしながら所定コマ数の画像を推論エンジン１７に与えて、所定コマ数の画像を判定対象とする。

この場合において、制御部１１は、ステップＳ４２において、推論エンジン１７に与える画像の画質が予め設定されている基準レベル画質を満足するか否かを判定し、満足する画像のみを推論エンジン１７に与える。例えば、制御部１１は、推論エンジン１７に与える各画像のピントが合っているか、前後のコマでブレがないか、画像の傾きが水平になっているか、被写体の動きが明瞭であるか等について判定を行い、基準レベル画質以上の画質の画像のみを推論エンジン１７に与える。

制御部１１は、ステップＳ４３において、推論モデルが存在するか否かを判定する。この場合には、制御部１１は、ステップＳ４１において設定したコマ数に対応した関連辞書（推論モデル）が存在するか否かを判定する。所定コマ数に対応した推論モデルが存在しない場合には、制御部１１は、ステップＳ４４に移行して、所定コマ数を変更して処理をステップＳ４１に戻す。制御部１１は、この変更に従って、ステップＳ４１からＳ４３の処理を繰り返す。

制御部１１は、ステップＳ４３において推論モデルが存在すると判定した場合には、ステップＳ４５において当該推論モデルを指定して推論エンジン１７に推論を実行させる。

推論エンジン１７は推論結果を制御部１１に出力する。制御部１１は推論結果の信頼性が所定の基準値よりも高いか否かを判定する。制御部１１は信頼性が所定の基準値以下の場合には、判定終了信号が入力されているか否かを判定する（ステップＳ４７）。判定終了信号が入力されていない場合には、制御部１１は所定コマ数の全ての関連辞書（推論モデル）を用いた判定が終了しているか否かを判定する（ステップＳ４８）。制御部１１は、全関連辞書による判定が終了していないと判定した場合には、処理をステップＳ４１に戻して、他の関連辞書を用いた推論を実行させる。

判定終了信号が入力されている場合、又は全関連辞書の判定が終了している場合には、制御部１１は、推論によるクリップ検出は行われなかったものとして処理を図５のステップＳ２１に戻す。

制御部１１は、ステップＳ４６において、推論結果の信頼性が所定の基準値よりも高いと判定した場合には、ステップＳ４９においてクリップに関する記録を行う。即ち、制御部１１は、推論によって抽出されたクリップの先頭コマに対応するタグ１６ａｃに先頭コマのインデックス、クリップ番号(Ｎｏ．）及びテーマ（分類）の情報を付加する。なお、クリップ検出によってタグのみを更新する例を説明したが、制御部１１は、クリップ部分の画像を既に記録されている動画とは別に記録するようになっていてもよい。

制御部１１は、図５のステップＳ２１において、撮影モードが指定されていないものと判定した場合には、ステップＳ３１において再生モードが指定されているか否かを判定する。再生モードが指定されている場合には、制御部１１は、既に記録されている画像を記録部１６から読出して、表示部１４に与えて一覧表示させる（ステップＳ３２）。制御部１０は、次のステップＳ３３において、選択された画像の再生を行い、ステップＳ３４においてカット候補記録を行う。なお、ステップＳ３４のカット候補記録はステップＳ２９と同様の処理であり、再生された動画からライフログ動画に適したクリップが作成される。

制御部１１は、ステップＳ３１において再生モードが指定されていないものと判定した場合には、ステップＳ３５において推論モデルの作成依頼が指定されているか否かを判定する。作成依頼が指定されている場合には、制御部１１は、次のステップＳ３６において、ライフログ動画の適したクリップ作成を依頼する情報を生成して、学習装置２０に学習を依頼する（ステップＳ３７）。

制御部１１は、ステップＳ３５において、推論モデルの依頼が指示されていない場合には処理をステップＳ３８に移行して、推論モデルの取得が指示されているか否かを判定する。制御部１１は、推論モデルの取得が指示されていない場合には処理をステップＳ２１に戻し、取得が指示されている場合には、次のステップＳ３９において、推論モデル情報を学習装置２０から取得して記憶部１７ａに記録する。

本実施の形態においては、推論エンジン１７の推論によって作成したクリップの確認が可能である。図７の下段はこの場合に表示画面１４ａ上に表示されるクリップ確認画面５３を示している。クリップ確認画面５３上には、クリップ確認画面であることを示す表示５３ａと作成されたクリップの表示５３ｂとが表示されている。表示５３ｂは各クリップの代表画像を示しており、図７の例では５つのクリップが生成されたことを示している。

ユーザ４１が所定のクリップの表示５３ｂ上をタッチ操作することで、記録制御部１１ｃにより、当該クリップの再生が可能である。また、表示５３ｂのタッチ操作等により、作成したクリップの削除や、クリップ番号の変更等が可能である。なお、記録制御部１１ｃは、ユーザ操作に基づいて、作成した複数のクリップをクリップ番号順に連結したライフログ動画の再生及びライフログ動画の画像データの出力が可能である。

このように本実施の形態においては、ライフログ動画のお手本となる動画を教師データとする機械学習によって推論モデルを生成し、撮像装置においてこの推論モデルを用いた推論を実行することにより、ユーザが撮影操作を行うことなく、ライブビュー画像や記録された動画等の連続画像から、お手本のライフログ動画に類似したライフログ動画に適したクリップを取得することができる。これにより、ユーザに十分な経験や高い感性がない場合でも、面白いライフログ動画や趣のあるライフログ動画等を簡単に作成することが可能となる。

（第２の実施の形態）
図１３及び図１４は本発明の第２の実施の形態を示している。第２の実施の形態のハードウェア構成は第１の実施の形態と同様である。図１３は学習装置２０の学習を説明するためのフローチャートであり、図１４は第２の実施の形態におけるカメラ制御を示すフローチャートである。図１３及び図１４において、それぞれ図４又は図５と同一の手順には同一符号を付して説明を省略する。

第１の実施の形態のカメラ制御を示す図５のステップＳ２４では、所定コマ数の関連辞書を用いてクリップを検出する例を示した。しかし、比較的短い時間のみ記録されるライブビュー画像からクリップを検出する場合には、図１２のフローのように複数の関連辞書を切換えながら繰り返し判定を行うことはできない。そこで、本実施の形態においては、１つのクリップ全体として判定を行うのではなく、先ずクリップの先頭画像のみについて判定を行うことで、ライフログ動画に適したクリップの確実な検出を可能にするものである。ライフログ動画の各クリップの先頭画像は人を引きつけるという重要な役割を担っており、先頭画像について確実な判定を行うことで、ライフログ動画の作成により一層適したクリップの抽出が可能となる。なお、同様の理由から、各クリップの終了画像のみについて先ず判定を行うようにしてもよい。

図１３はステップＳ６に代えてステップＳ１７を採用した点が図４と異なる。学習装置２０の出力設定部２４は、ステップＳ１７において、クリップの位置及び順番の情報と信頼度の情報の外に、先頭コマの適格性の情報を出力に設定する。入出力モデル化部２５は、設定された入力及び出力に応じて教師データに基づく学習を行う。この学習により、クリップの先頭画像に適した画像の判定を可能にする推論モデルの構築が可能となる。

図１４のステップ２１において、撮像装置１０の制御部１１は、撮影モードが指定されているか否かを判定する。指定されている場合には、制御部１１は、次のステップＳ５１において、撮像部１２からの撮像画像の画像入力を行う。制御部１１は、入力した画像（ライブビュー画像）を推論エンジン１７に与える。推論エンジン１７は、入力された画像について、クリップの先頭画像としてふさわしい画像であるか否かを推論する（ステップＳ５２）。推論エンジン１７は、ライブビュー画像の各コマについての推論結果を制御部１１に出力する。

制御部１１は、ステップＳ５３において、推論エンジン１７の推論結果により入力画像の各コマがクリップの先頭画像にふさわしい画像であるか否かを判定する。先頭画像に相応しくない場合には、制御部１１は当該コマをクリップの先頭画像とするクリップの検出処理は不要であるものとして、処理をステップＳ２７に移行する。制御部１１は、入力されたコマがクリップ先頭画像に相応しいものであることが推論エンジン１７の推論結果によって示されると、処理をステップＳ５４に移行して、クリップの先頭画像を検出したことを示す表示、例えば図１１に示す表示６２を行う。

制御部１１は、ステップＳ５５において、図示しないメモリに取り込んだ撮像画像のうちクリップの長さに相当する所定コマ数以上のコマ（フレーム）を記録する。次のステップＳ２３〜Ｓ２５の処理は図５と同様である。制御部１１は、ステップＳ５６において、クリップに関する記録を行う。本実施の形態においても、ユーザ４１の撮影操作が行われることなく、推論エンジン１７によってクリップが抽出されると、制御部１１は、推論によって抽出されたクリップの先頭画像にインデックスを付加し、クリップにクリップ番号(Ｎｏ．）を付加し、テーマ（分類）に応じてクリップとして指定された画像を記録部１６に記録する。

他の作用は図５と同様である。

このように本実施の形態においては、先ずクリップの先頭画像として相応しい画像が入力されたことを推論した後、クリップ全体について推論を行うようになっている。これにより、ライブビュー画像に対する推論であっても、確実にライフログ動画に適したクリップの検出が可能である。この場合、ユーザがうっかり注意散漫であったり、レスポンスが遅れても、好ましい動きの部分を捉え、記録、観察、鑑賞することが出来る。

上記実施の形態においては、撮像のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、スマートフォンやＰＣなど情報端末を想定した動画編集回路、編集装置、編集方法にも応用可能であることはすでに記した。また、静止画をタッチすれば、その前後の動きがわかるような静止画補助用の動画などにも活用が可能である。また、コンシューマ用途のみならず、特定の機械の機構の動きや、医療における臓器や筋肉の変化や、科学分野における細胞の動きや***などの動きを捉えるにも当然活用が出来、解析用、診断用の画像取得や編集にも利用できる。したがって、広い意味での撮像装置、観察装置、解析装置などに利用することが可能である。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

なお、実施例中で、「部」（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵなどのプロセッサ、あるいはＦＰＧＡなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥースやＷｉＦｉ、電話回線などで行えばよく、ＵＳＢなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。

１０…撮像装置、１１…制御部、１１ａ…撮像制御部、１１ｂ…画像処理部、１１ｃ…記録制御部、１１ｄ…表示制御部、１１ｅ…通信制御部、１１ｆ…推論エンジン制御部、１１ｇ…クリップ判定部、１２…撮像部、１２ａ…撮像素子、１２ｂ…光学系、１３…操作部、１４…表示部、１５…通信部、１６，２３ｂ…記録部、１６ａ…画像データ記録領域、１７…推論エンジン、１７ａ…記憶部、１７ｂ…ネットワーク、２０…学習装置、２１…制御部、２２…通信部、２３…母集合作成部、２４…出力設定部、２５…入出力モデル化部、３０…ＤＢ部、３２…通信部、３３…画像データ記録領域。

Claims (19)

1. 連続的に撮像して得られる複数の連続画像を取得する撮像部と、
   上記複数の連続画像の中から特定の条件を満たす一連の画像により構成されるクリップの始点コマ終点コマを選択する選択部と、
   を具備し、
   上記選択部は、上記連続画像を構成するコマの特徴から推論によって上記特定の条件を判定する
   ことを特徴とする撮像装置。
2. 上記選択部は、編集作業済みの動画を教師データとして作られた推論モデルを構成する推論エンジンによって上記特定の条件を判定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 上記クリップとして選択された画像を、上記クリップとして選択されたことを示すタグを付加して記録する記録制御部
   を更に具備することを特徴とする請求項１に記載の撮像装置。
4. 上記教師データは、ライフログ動画を用いて作成される
   ことを特徴とする請求項２に記載の撮像装置。
5. 上記選択部は、上記撮像部により撮像されつつある上記複数の連続画像の中から上記クリップを選択する
   ことを特徴とする請求項１に記載の撮像装置。
6. 上記選択部は、上記撮像部により撮像されて記録されている上記複数の連続画像の中から上記クリップを選択する
   ことを特徴とする請求項１に記載の撮像装置。
7. 上記選択部は、上記クリップの先頭画像を選択し、選択された先頭画像を含む所定コマ数の連続画像について、クリップの選択を行う
   ことを特徴とする請求項１に記載の撮像装置。
8. 上記記録制御部は、上記クリップの先頭画像にインデックスタグを付加する
   ことを特徴とする請求項３に記載の撮像装置。
9. 上記選択部により上記クリップが選択されると、上記クリップが選択されたことを示す表示を表示する表示制御部
   を更に具備することを特徴とする請求項１に記載の撮像装置。
10. 上記選択部により上記クリップの先頭画像が選択されると、上記先頭画像が選択されたことを示す表示を表示する表示制御部
    を更に具備することを特徴とする請求項７に記載の撮像装置。
11. 連続的に撮像して得られる複数の連続画像を取得し、
    上記複数の連続画像の中から特定の条件を満たす一連の画像により構成されるクリップの始点コマ終点コマを選択する手順を具備し、
    上記クリップを選択する手順は、上記連続画像を構成するコマの特徴から推論によって上記特定の条件を判定する
    ことを特徴とする撮像方法。
12. コンピュータに、
    連続的に撮像して得られる複数の連続画像を取得し、
    上記複数の連続画像の中から特定の条件を満たす一連の画像により構成されるクリップの始点コマ終点コマを選択する手順を実行させるための撮像プログラムであって、
    上記クリップを選択する手順は、上記連続画像を構成するコマの特徴から推論によって上記特定の条件を判定する
    ことを特徴とする撮像プログラム。
13. 連続的に撮像して得られる複数の連続画像から所定秒数よりも短く１シーンによって構成される一連の画像であるクリップを集めて構成される画像を生成する母集合作成部と、
    上記母集合生成部が生成した画像を記録する記録部と
    を具備することを特徴とする学習装置。
14. 所定秒数よりも短く１シーンによって構成される一連の画像であるクリップを集めて構成される画像を教師データとして設定する母集合作成部と、
    上記教師データを用いた学習により、入力画像に対して、特定の条件を満たす一連の画像により構成される１つ以上のクリップを選択するための情報を出力する推論モデルを構築する入出力モデル化部と
    を具備することを特徴とする学習装置。
15. 連続的に撮像して得られる複数の連続画像を取得する撮像部と、
    上記複数の連続画像の中から特定の条件を満たす一連の画像により構成される１つ以上のクリップを選択する選択部と、
    を具備し、
    上記選択部は、上記連続画像と手本画像群との比較に基づいて上記特定の条件を判定する
    ことを特徴とする撮像装置。
16. 上記選択部により選択されたクリップを自動的に記録する記録制御部
    を更に具備することを特徴とする請求項１５に記載の撮像装置。
17. 複数の動画種別から１つを選択可能にすると共に、選択された動画種別中の複数のカテゴリーから１つを選択可能にするメニュー表示を表示する表示制御部と、
    前記メニュー表示により選択された動画種別中の選択されたカテゴリーの動画についての学習を外部に依頼する制御部と
    を具備することを特徴とする撮像装置。
18. 複数の動画種別から１つを選択可能にするメニュー表示を表示する表示制御部と、
    前記メニュー表示により選択された動画種別に相応しい動画の始点、終点を推論によって自動決定する推論エンジンと
    を具備することを特徴とする撮像装置。
19. 連続的に撮像して得られる複数の連続画像を取得する撮像部と、
    上記複数の連続画像の中から特定の条件を満たす一連の画像により構成される１つ以上のクリップを各クリップの特徴毎に選択する選択部と、
    を具備し、
    上記選択部は、上記連続画像を構成するコマの特徴と手本画像群のクリップの始点、終点の特徴とクリップの内容との比較に基づいて上記特定の条件を判定する
    ことを特徴とする撮像装置。

Images