JP5532344B2 - Electronic device, image data display method and program - Google Patents
Electronic device, image data display method and program Download PDFInfo
- Publication number
- JP5532344B2 JP5532344B2 JP2011213364A JP2011213364A JP5532344B2 JP 5532344 B2 JP5532344 B2 JP 5532344B2 JP 2011213364 A JP2011213364 A JP 2011213364A JP 2011213364 A JP2011213364 A JP 2011213364A JP 5532344 B2 JP5532344 B2 JP 5532344B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- image data
- moving image
- data
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
この発明は、例えばパーソナルコンピュータ等の電子機器に好適な映像データの表示制御技術に関する。 The present invention relates to a display control technique for video data suitable for an electronic device such as a personal computer.
近年、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどといった撮像素子の高画素化・小型化が飛躍的に進められており、携帯電話機やノートパソコンなどでも、高解像度の動画像を撮影することが可能となってきている。 In recent years, image sensors such as CCD (Charge Coupled Device) and CMOS (Complementary Metal-Oxide Semiconductor) image sensors have been remarkably increased in pixel size and downsizing. It has become possible to shoot moving images.
撮影した動画像の概要を確認する方法としては、いわゆる早送り再生を行うことが最も手軽かつ一般的である。しかしながら、この方法は、再生時間の短縮化を全編に渡って均一に図るのみであり、ユーザが何を重視して確認を行いたいと考えているのか、等は全く考慮されない。 As a method for confirming the outline of the captured moving image, so-called fast-forward playback is the easiest and most common. However, this method only attempts to shorten the reproduction time uniformly throughout the entire program, and does not consider what the user wants to check for at all.
これに対して、例えば特許文献１には、「映像コンテンツに出現する人物のうち、特定の人物に注目して、当該注目人物が画面上に出現する期間だけを抽出して再生できるようにする」（段落［０００７］等）情報処理装置が開示されている。 On the other hand, for example, Patent Document 1 describes that “a particular person among the persons appearing in the video content is noticed and only the period in which the person of interest appears on the screen can be extracted and reproduced. "(Paragraph [0007] etc.) information processing apparatus is disclosed.
この情報処理装置によれば、ユーザが注目する人物が登場する期間のみを集めたダイジェスト版として動画像を確認することができる。 According to this information processing apparatus, it is possible to confirm a moving image as a digest version that collects only a period in which a person noted by a user appears.
ところで、最近では、デジタルフォトフレームなどと称される再生装置が普及し始めている。デジタルフォトフレームは、例えばデジタルカメラで撮影されてＳＤ（Secure Digital）メモリーカード等に格納された複数枚の静止画像を所定間隔で順次に表示する機能を有するものであり、卓上アクセサリとしても利用されている。 Recently, a playback device called a digital photo frame or the like has begun to spread. The digital photo frame has a function of sequentially displaying a plurality of still images shot with a digital camera and stored in an SD (Secure Digital) memory card or the like at predetermined intervals, and is also used as a desktop accessory. ing.
そして、当初より静止画像として撮影されたものだけでなく、動画像として撮影されたものについても、その動画像中の特定の場面、例えばユーザが注目する人物が登場する場面の静止画像のみをデジタルフォトフレームのように表示させてみたいという要求が高まっている。 In addition to the one shot as a still image from the beginning, not only the one shot as a moving image, but also digitally only a still image of a specific scene in the moving image, for example, a scene in which a user's attention appears. There is a growing demand for display like a photo frame.
しかしながら、動画像中から任意の場面を静止画像として抽出する仕組み自体は存在するものの、ある程度の枚数の静止画像を動画像中から探し出して抽出するには、非常に大きな労力を必要としてしまう。 However, although there is a mechanism itself for extracting an arbitrary scene from a moving image as a still image, it takes a great deal of labor to search for and extract a certain number of still images from the moving image.
この発明は、動画像中の所定の条件を満たす場面のみを簡単な操作で効果的に表示させることを実現する電子機器、画像データの表示方法およびプログラムを提供することを目的とする。 An object of the present invention is to provide an electronic device, an image data display method, and a program that can effectively display only a scene satisfying a predetermined condition in a moving image with a simple operation.
実施形態によれば、電子機器は、記憶手段、第１受付手段、第２受付手段および表示制御手段を具備する。記憶手段は、複数のテーマにそれぞれ対応した、少なくとも合成表示枚数を含む表示条件を記憶する。第１受付手段は、前記複数のテーマのいずれかの選択を受け付ける。第２受付手段は、複数の動画像データの中から選択された１以上の動画像データの登場人物の少なくとも１以上の選択を受け付ける。表示制御手段は、前記第２受付手段により選択された登場人物に応じて、前記選択された１以上の動画像データに含まれる複数のフレームの画像を、前記第１受付手段により選択されたテーマに対応する表示条件に含まれる合成表示枚数ずつ１画面上に配置して表示する。 According to the embodiment, the electronic device includes a storage unit, a first reception unit, a second reception unit, and a display control unit. The storage means stores display conditions each corresponding to a plurality of themes and including at least the composite display number. The first accepting unit accepts selection of any of the plurality of themes. The second accepting unit accepts at least one selection of characters of one or more moving image data selected from the plurality of moving image data . In accordance with the character selected by the second reception unit, the display control unit selects a plurality of frames of images included in the selected one or more moving image data according to the theme selected by the first reception unit. Are arranged and displayed on one screen for each composite display number included in the display condition corresponding to.
以下、図面を参照して、本発明の実施形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
（第１実施形態）
まず、図１を参照して、本発明の第１実施形態に係る電子機器の構成を説明する。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ１０として実現されている。
(First embodiment)
First, the configuration of the electronic apparatus according to the first embodiment of the invention will be described with reference to FIG. This electronic apparatus is realized as a notebook type
本コンピュータ１０は、放送波によって放送される番組データやインターネット動画配信サービスによって配信される番組データを視聴および録画するためのＴＶ機能を有している。このＴＶ機能は、本コンピュータ１０にインストールされたＴＶアプリケーションプログラムによって実現される。また、このＴＶ機能は、外部のＡＶ機器から入力されるビデオデータを記録および再生する機能を併せ持っている。そして、本コンピュータ１０は、録画した番組データや外部入力して記録したビデオデータ、映像を撮影して記録した外部のビデオカメラから取り込んだビデオデータ等の各種映像コンテンツデータに含まれる動画像データの中のユーザが所望するフレームの画像のみをいわゆるデジタルフォトフレームのように表示するための仕組みを備えたものであり、この点については後述する。
The
図１は、本コンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Thin Film Transistor-Liquid Crystal Display）１７から構成される表示装置が組み込まれている。ディスプレイユニット１２は、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ本体１１に取り付けられている。
FIG. 1 is a perspective view of the
コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１０を電源オン／電源オフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル１５上には、例えばＴＶボタンやチャンネル切り替えボタン等、各種操作ボタンが設けられている。
The computer
また、コンピュータ本体１１の例えば右側面には、放送波によって放送される番組データやインターネット動画配信サービスによって配信される番組データを入力するための入力端子１９が設けられている。入力端子１９はケーブルを介してアンテナまたはＣＡＴＶ網に接続される。また、この入力端子１９を用いて、外部のＡＶ機器からビデオデータを入力することもできる。
Further, on the right side of the computer
コンピュータ本体１１の正面には、本コンピュータ１０のＴＶ機能を遠隔制御する外部のリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部２０が設けられている。リモコンユニットインタフェース部２０は、例えば赤外線信号受信部などから構成されている。
On the front surface of the computer
また、コンピュータ本体１１の背面には、（図示されない）例えばＨＤＭＩ(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、デジタル映像信号を外部ディスプレイに出力するために用いられる。
Further, an external display connection terminal corresponding to, for example, an HDMI (high-definition multimedia interface) standard (not shown) is provided on the back surface of the computer
図２は、本コンピュータ１０のシステム構成を示す図である。
FIG. 2 is a diagram showing a system configuration of the
本コンピュータ１０は、図２に示されているように、ＣＰＵ（Central Processing Unit）１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、ＧＰＵ（Graphics Processing Unit）１０５、ＶＲＡＭ（Video RAM:Random Access Memory）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ（Basic Input/Output System-Read Only Memory）１０７、ＬＡＮ（Local Area Network）コントローラ１０８、ＨＤＤ（Hard Disk Drive）１０９、ＯＤＤ（Optical Disc Drive）１１０、ビデオプロセッサ１１１、メモリ１１１Ａ、無線ＬＡＮコントローラ１１２、IEEE 1394コントローラ１１３、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１４、ＴＶチューナ１１５、ＥＥＰＲＯＭ（electrically erasable programmable ROM）１１６等を備えている。
As shown in FIG. 2, the
ＣＰＵ１０１は、本コンピュータ１０の動作を制御するプロセッサであり、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１や、ＴＶアプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。ＴＶアプリケーションプログラム２０２は、ＴＶ機能を実行するためのソフトウェアである。このＴＶアプリケーションプログラム２０２は、ＴＶチューナ１１５によって受信された番組データを視聴するためのライブ再生処理、受信された番組データをＨＤＤ１０９に記録する録画処理、ＨＤＤ１０９に記録された番組データやビデオデータ等の各種映像コンテンツデータを再生する再生処理等を実行する。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
The
ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
The
ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。
The GPU 105 is a display controller that controls the
ＨＤＭＩ端子２は、前述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。
The
サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスおよびＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９およびＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
The
また、このサウスブリッジ１０４には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ１１１が接続されている。
In addition, a
ビデオプロセッサ１１１は、映像コンテンツデータの中から目的の場面をユーザが効率的に探し出せるようにするためのインデックス情報を作成するインデクシングに関する各種処理を実行するプロセッサである。このビデオプロセッサ１１１は、映像インデクシング処理を実行するためのインデクシング処理部として機能する。映像インデクシング処理においては、ビデオプロセッサ１１１は、映像コンテンツデータに含まれる動画像データから複数の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報等を出力する。顔画像の抽出は、例えば、動画像データの各フレームから顔領域を検出する顔検出処理、検出された顔領域をフレームから切り出す切り出し処理等によって実行される。顔領域の検出は、例えば、各フレームの画像の特徴を解析して、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。
The
さらに、ビデオプロセッサ１１１は、音声インデクシング処理も実行する。音声インデクシング処理は、映像コンテンツデータ内に含まれるオーディオデータを分析して、映像コンテンツデータ内に含まれる、例えば、人物によるトークが行われているトーク区間を検出するインデクシング処理である。音声インデクシング処理においては、例えば、オーディオデータの周波数スペクトルの特徴が分析され、その周波数スペクトルの特徴に応じてトーク区間が検出される。トーク区間の検出処理においては、例えば、話者セグメンテーション技術または話者クラスタリング技術等が用いられ、これによって話者の切り替わりも検出される。同一の話者（または同一の話者グループ）が連続してトークしている期間が、１つのトーク区間となる。
Furthermore, the
また、この音声インデクシング処理では、映像コンテンツデータ内の各部分データ（一定時間長のデータ）毎に歓声レベルを検出する歓声レベル検出処理および映像コンテンツデータ内の各部分データ毎に盛り上がりレベルを検出する盛り上がりレベル検出処理を実行する。 Further, in this audio indexing process, a cheer level detection process for detecting a cheer level for each partial data (data of a certain length of time) in video content data and a swell level for each partial data in video content data are detected. The swell level detection process is executed.
歓声レベルは、歓声の大きさを示す。歓声は、大勢の人の声が合わさった音である。大勢の人の声が合わさった音は、ある特定の周波数スペクトルの分布を有する。歓声レベル検出処理においては、映像コンテンツデータに含まれるオーディオデータの周波数スペクトルが分析され、そしてその周波数スペクトルの分析結果に従って、各部分データの歓声レベルが検出される。盛り上がりレベルは、ある一定以上の音量レベルがある一定時間長以上連続的に発生する区間の音量レベルである。例えば、比較的盛大な拍手、大きな笑い声のような音の音量レベルが、盛り上がりレベルである。盛り上がりレベル検出処理においては、映像コンテンツデータに含まれるオーディオデータの音量の分布が分析され、その分析結果に従って、各部分データの盛り上がりレベルが検出される。 The cheer level indicates the size of the cheer. Cheers are the sounds of many people. The sound of many human voices has a certain frequency spectrum distribution. In the cheer level detection process, the frequency spectrum of the audio data included in the video content data is analyzed, and the cheer level of each partial data is detected according to the analysis result of the frequency spectrum. The excitement level is a volume level of a section in which a volume level above a certain level is continuously generated for a certain length of time. For example, the volume level of a sound such as a relatively large applause and a loud laughter is the excitement level. In the swell level detection process, the volume distribution of the audio data included in the video content data is analyzed, and the swell level of each partial data is detected according to the analysis result.
メモリ１１１Ａは、ビデオプロセッサ１１１の作業メモリとして用いられる。インデクシング処理（映像インデクシング処理および音声インデクシング処理）を実行するためには多くの演算量が必要とされる。本実施形態においては、ＣＰＵ１０１とは異なる専用のプロセッサであるビデオプロセッサ１１１がバックエンドプロセッサとして使用され、このビデオプロセッサ１１１によってインデクシング処理が実行される。よって、ＣＰＵ１０１の負荷の増加を招くことなく、インデクシング処理を実行することができる。
The
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。
The
無線ＬＡＮコントローラ１１２は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１３は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。例えば、外部のビデオカメラに記録された各種映像コンテンツデータ４０１を取り込んでＨＤＤ１０９に記録する際の通信を実行する。
The
ＥＣ／ＫＢＣ１１４は、電力管理のためのエンベデッドコントローラと、キーボード１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このＥＣ／ＫＢＣ１１４は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。さらに、ＥＣ／ＫＢＣ１１４は、リモコンユニットインタフェース部２０との通信を実行する機能を有している。
The EC /
ＴＶチューナ１１５は、放送波によって放送される番組データやインターネット動画配信サービスによって配信される番組データを受信する受信装置であり、入力端子１９に接続されている。このＴＶチューナ１１５は、例えば、デジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ１１５は、外部機器から入力されるビデオデータをキャプチャする機能も有している。
The
次に、図３を参照して、以上のような構成をもつ本コンピュータ１０上で動作するＴＶアプリケーションプログラム２０２の機能構成を説明する。
Next, the functional configuration of the
図３に示すように、ＴＶアプリケーションプログラム２０２は、記録処理部３０１、インデクシング制御部３０２、スライドショー作成部３０３、スライドショー表示部３０４等を備えている。
As shown in FIG. 3, the
記録処理部３０１は、ＴＶチューナ１１５によって受信された番組データまたは外部機器から入力されるビデオデータ等の各種映像コンテンツデータ４０１をＨＤＤ１０９に記録する記録処理を実行する。また、記録処理部３０１は、ユーザによって予め設定された録画予約情報（チャンネル番号、日時）によって指定される番組データをＴＶチューナ１１５を用いて受信し、その受信した番組データをＨＤＤ１０９に記録する予約録画処理も実行する。
The
インデクシング制御部３０２は、ビデオプロセッサ（インデクシング処理部）１１１を制御して、前述のインデクシング処理（映像インデクシング処理、音声インデクシング処理）をビデオプロセッサ１１１に実行させる。ユーザは、映像コンテンツデータ４０１毎にインデクシング処理を実行するか否かを指定することができる。例えば、インデクシング処理の実行が指示された録画対象の番組データについては、その番組データがＨＤＤ１０９に記録された後に、インデクシング処理が自動的に開始される。また、ユーザは、既にＨＤＤ１０９に格納されている映像コンテンツデータの内からインデクシング処理を実行すべき映像コンテンツデータを指定することもできる。
The
このインデクシング処理の結果は、インデックス情報４０２として、データベース１０９Ａに格納される。データベース１０９Ａは、このインデックス情報４０２格納用にＨＤＤ１０９内に用意された記憶領域である。図４に、データベース１０９Ａに格納されるインデックス情報４０２の一構成例を示す。
The result of the indexing process is stored as
前述の映像インデクシング処理において、ビデオプロセッサ１１１は、映像コンテンツデータ４０１に含まれる動画像データをフレーム単位で解析し、動画像データを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出した各顔画像が映像コンテンツデータ４０１内に登場する時点を示すタイムスタンプ情報（ＴＳ）を出力する。各顔画像に対応するタイムスタンプ情報としては、映像コンテンツデータ４０１の開始から当該顔画像が登場するまでの経過時間または当該顔画像が抽出されたフレーム番号等を使用することができる。この時、ビデオプロセッサ１１１は、抽出した各顔画像の正面度やサイズも出力する。さらに、ビデオプロセッサ１１１は、抽出した複数の顔画像をクラス分け、即ち、同一人物であると推定される画像別に分類し、その分類結果を分類情報として出力する。
In the video indexing process described above, the
このようにビデオプロセッサ１１１から出力される映像インデクシング処理結果（顔画像、タイムスタンプ情報（ＴＳ）、正面度、サイズ、分類情報）が、インデックス情報４０２としてデータベース１０９Ａに格納される。
Thus, the video indexing processing result (face image, time stamp information (TS), frontality, size, classification information) output from the
また、前述の音声インデクシング処理において、ビデオプロセッサ１１１は、映像コンテンツデータ４０１に含まれるオーディオデータを分析して、映像コンテンツデータ４０１内に含まれるトーク区間を検出し、各トーク区間それぞれに対応する情報を格納するトーク区間テーブルを出力する。さらに、音声インデクシング処理においては、ビデオプロセッサ１１１は、歓声レベル検出処理および盛り上がりレベル検出処理も実行する。これら歓声レベル検出処理結果および盛り上がりレベル検出処理結果を格納する歓声／盛り上がりレベルテーブルもビデオプロセッサ１１１から出力される。
In the audio indexing process described above, the
このようにビデオプロセッサ１１１から出力される音声インデクシング処理結果（トーク区間テーブル、歓声／盛り上がりレベルテーブル）も、インデックス情報４０２としてデータベース１０９Ａに格納される。
As described above, the audio indexing processing result (talk section table, cheer / climax level table) output from the
なお、映像コンテンツデータ４０１の開始位置から終端位置までの間に複数のトーク区間が存在する場合には、それら複数のトーク区間それぞれに対応する情報がトーク区間テーブルに格納される。トーク区間テーブルにおいては、検出された各トーク区間毎に当該トーク区間の開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報が格納される。
Note that when there are a plurality of talk sections between the start position and the end position of the
また、歓声／盛り上がりテーブルは、映像コンテンツデータ４０１内の一定時間長の部分データ（タイムセグメントＴ１，Ｔ２，Ｔ３，…）それぞれにおける歓声レベルおよび盛り上がりレベルを格納する。
In addition, the cheer / climax table stores cheer levels and excitement levels in each partial data (time segments T1, T2, T3,...) Of a certain time length in the
ところで、以上のインデクシング処理は、必ずしもビデオプロセッサ１１１によって実行する必要はなく、例えば、ＴＶアプリケーションプログラム２０２にインデクシング処理を実行する機能を設けてもよい。この場合、インデクシング処理は、ＴＶアプリケーションプログラム２０２の制御の下に、ＣＰＵ１０１によって実行される。
By the way, the above-described indexing process is not necessarily executed by the
そして、スライドショー作成部３０３は、このインデクシング処理により作成されたインデックス情報４０２を用いて、映像コンテンツデータ４０１に含まれる動画像データの中から所定の抽出条件を満たすフレームの画像（静止画像データ４０３）を抽出する抽出処理を実行するものであり、スライドショー表示部３０４は、スライドショー作成部３０３により抽出された静止画像データ４０３を、所定の表示条件に基づき、（いわゆるデジタルフォトフレームのように）順次に表示する表示処理を実行するものである。以下、このスライドショー作成部３０３およびスライドショー表示部３０４の動作原理について詳述する。なお、本実施形態においては、複数の静止画像を所定間隔で順次に表示することをスライドショーと称している。単純な静止画像の順次表示のみならず、表示の切り替え時の遷移効果（トランジションエフェクト）など、加工を施した表示を伴うものも含む。
Then, the slide
スライドショー作成部３０３は、ユーザインタフェース部３０３１を有しており、このユーザインタフェース部３０３１を使って、図５に示すスライドショー作成用の基本画面をＬＣＤ１７に表示する。
The slide
図５に示すように、この基本画面には、ビデオ一覧表示エリアａと、顔一覧表示エリアｂとが設けられている。スライドショー作成部３０３は、まず、ＨＤＤ１０９に記録された映像コンテンツデータ４０１に含まれる動画像データそれぞれから１つずつフレームを選択し、その選択したフレームのサムネイル画像を映像コンテンツデータ４０１の代表画像かつ選択肢としてビデオ一覧表示エリアａ上に配置する。この代表画像となるフレームの画像の選択手法は、例えば映像コンテンツデータ４０１の開始から所定の時間が経過した時点に位置するフレームを採用する等、種々の手法が適用可能である。また、このビデオ一覧表示エリアａ上へのサムネイル画像の配置対象とする映像コンテンツデータ４０１は、キーボード１３やタッチパッド１６等の操作により切り替えることができる（例えばＨＤＤ１０９に記録された映像コンテンツデータ４０１の数が多い場合など）。
As shown in FIG. 5, the basic screen is provided with a video list display area a and a face list display area b. The slide
つまり、この基本画面の表示が開始された当初は、ＨＤＤ１０９に記録された映像コンテンツデータ４０１の代表画像であるサムネイル画像がビデオ一覧表示エリアａ上に選択肢として配置された状態で、かつ、顔一覧表示エリアｂは空欄の状態にある。
That is, at the beginning of the display of the basic screen, a thumbnail image that is a representative image of the
次に、このビデオ一覧表示エリアａ上のいずれかのサムネイル画像がユーザによって選択されると、スライドショー作成部３０３は、ＨＤＤ１０９内のデータベース１０９Ａに格納されたインデックス情報４０２を用いて、そのサムネイル画像に対応する映像コンテンツデータ４０１に登場する人物の顔画像を１つずつ選択肢として顔一覧表示エリアｂ上に配置する。図４に示したように、インデックス情報４０２には、正面度、サイズ、分類情報が含まれているので、スライドショー作成部３０３は、同一の分類情報が付された顔画像毎に、例えば、サイズがしきい値以上の大きさを持つものの中で、正面度が最も高いものを選択する。ビデオ一覧表示エリアａ上におけるサムネイル画像の選択は、複数も可能である
図５は、ビデオ一覧表示エリアａ上に配置されたサムネイル画像の中からサムネイル画像ａ１，ａ２の２つのサムネイル画像が選択され、その結果、サムネイル画像ａ１，ａ２に対応する映像コンテンツデータ４０１に登場する人物の顔画像が顔一覧表示エリアｂに配置された例を示している。この顔一覧表示エリアｂ上への配置対象とする顔画像も、キーボードやタッチパッド１６等の操作により切り替えることができる（例えばビデオ一覧表示エリアａ上で多くの映像コンテンツデータ４０１が選択されたり、ある映像コンテンツデータ４０１内での登場人物数が多い場合など）。
Next, when any thumbnail image on the video list display area a is selected by the user, the slide
ここで、ユーザは、ビデオ一覧表示エリアａ上で選択したサムネイル画像ａ１，ａ２に対応する映像コンテンツデータ４０１の中から、顔一覧表示エリアｂ上に配置された顔画像ｂ１，ｂ２で表される２人が登場する場面の画像のみを観賞したいと考えていると想定する。スライドショー作成部３０３が表示する基本画面には、スライドショーの作成を指示する”スライドショー作成”ボタンｄが設けられている。そこで、ユーザは、顔一覧表示エリアｂ上で顔画像ｂ１，ｂ２を選択し、この”スライドショー作成”ボタンｄを操作する。
Here, the user is represented by face images b1 and b2 arranged on the face list display area b from the
図４に示したように、インデックス情報４０２には、タイムスタンプ情報（ＴＳ）、分類情報が含まれているので、この操作を受けたスライドショー作成部３０３は、選択された顔画像ｂ１，ｂ２と同一の分類情報が付された顔画像が抽出されたフレームをタイムスタンプ情報から特定し、それらのフレームの画像を映像コンテンツデータ４０１に含まれる動画像データから抽出して、静止画像データ４０３としてＨＤＤ１０９に記録する。そして、このスライドショー作成部３０３が映像コンテンツデータ４０１に含まれる動画像データの中から抽出してＨＤＤ１０９に記録した静止画像データ４０３を、スライドショー表示部３０４が、いわゆるデジタルフォトフレームのようにＬＣＤ１７に順次に表示する。
As shown in FIG. 4, since the
また、スライドショー作成部３０３が表示する基本画面には、スライドショーに関する各種条件を設定するための”設定”ボタンｃが設けられている。この”設定”ボタンｃが操作されると、スライドショー作成部３０３は、ユーザインタフェース部３０３１を使って、図６に示すスライドショー作成用の設定画面をＬＣＤ１７に表示する。
The basic screen displayed by the slide
図６に示すように、この設定画面には、表示順序エリアｃ１、枚数指定エリアｃ２、複数枚表示エリアｃ３、再生時間エリアｃ４、ＢＧＭエリアｃ５が設けられている。 As shown in FIG. 6, this setting screen is provided with a display order area c1, a number designation area c2, a multiple number display area c3, a reproduction time area c4, and a BGM area c5.
表示順序エリアｃ１は、映像コンテンツデータ４０１内での登場順に静止画像データ４０３を表示するか（時系列）、または、映像コンテンツデータ４０１内での登場順に関係なく無作為に表示するか（ランダム）を設定するエリアである。
In the display order area c1, whether the
枚数指定エリアｃ２は、映像コンテンツデータ４０１の中から抽出して表示する静止画像データ４０３の枚数（表示対象枚数）を設定するエリアである。「なし」が設定されると、図５に示した基本画面の顔一覧表示エリアｂ上で選択された顔画像と分類情報が一致する顔画像を含むフレームの画像がすべて抽出されて表示される。一方、「あり」が設定されると、指定された枚数を上限として、例えば、（１）サイズが大きい、（２）正面度が高い、の優先順に抽出および表示が行われる。また、図５に示した基本画面の顔一覧表示エリアｂ上で複数の顔画像が選択された場合には、各々の枚数が均等になるように、人物毎に枚数の上限を割り当てる。ある人物の登場回数が割り当てた上限まで達しなかった場合、その不足分をその他の人物に再割り当てする。
The number designation area c2 is an area for setting the number of still image
複数枚表示エリアｃ３は、静止画像データ４０３を１画面上に何枚ずつ配置して合成表示するか（合成表示枚数）を設定するエリアである。また、再生時間エリアｃ４は、静止画像データ４０３の総表示時間を設定するエリアである。図６に示すように、枚数指定エリアｃ２上で１００枚が指定された状態で（上限の１００枚が抽出されるものとする）、複数枚表示エリアｃ３上で４枚が指定され、かつ、再生時間エリアｃ４上で１分が指定されると、（１分／１００枚）×４枚＝２．４秒毎に画面が切り換わることになる。
The multiple-image display area c3 is an area for setting how many still image
また、再生時間エリアｃ４上で「ＢＧＭに合わせる」が設定されると、ＢＧＭエリアｃ５で選択された音声データの総再生時間が、静止画像データ４０３の総表示時間として設定される。ＢＧＭエリアｃ５は、静止画像データ４０３の表示時に背景音楽として音声データを再生するか否かを設定するエリアであり、「あり」を設定する場合、ＨＤＤ１０９に記録された音声データの中から任意の音声データを選択することができる。なお、再生時間エリアｃ４上で「ＢＧＭに合わせる」ではなく、図６に示すように、１分が設定された場合には、このＢＧＭエリアｃ５で選択された音声データが先頭から１分間だけ再生されることになる。
Further, when “set to BGM” is set in the playback time area c4, the total playback time of the audio data selected in the BGM area c5 is set as the total display time of the
以上のような設定項目エリアを有する設定画面には、図５に示した基本画面に復帰するための”コンテンツ選択”ボタンｅが設けられている。この”コンテンツ選択”ボタンｅを操作することにより、ユーザは、映像コンテンツデータ４０１や人物の選択作業を再開することができる。また、この設定画面にも、図５に示した基本画面と同様、”スライドショー作成”ボタンｄが設けられており、ユーザは、図５に示した基本画面に復帰することなく、スライドショーの作成および表示を指示することができる。なお、この設定画面上で設定されたスライドショーの表示条件に関する情報は、スライドショー作成部３０３からスライドショー表示部３０４に通知される。
The setting screen having the setting item area as described above is provided with a “content selection” button e for returning to the basic screen shown in FIG. By operating the “content selection” button e, the user can restart the
以上のように、図５に示した基本画面および図６に示した設定画面で設定された抽出条件に基づき、スライドショー作成部３０３は、インデックス情報４０２を用いて、映像コンテンツデータ４０１の中から静止画像データ４０３を抽出する。そして、図６に示した設定画面で設定された表示条件に基づき、スライドショー表示部３０４は、スライドショー作成部３０３が抽出した静止画像データ４０３を順次に表示する。図７に、スライドショー表示部３０４によるスライドショーの一表示例を示す。
As described above, on the basis of the extraction conditions set on the basic screen shown in FIG. 5 and the setting screen shown in FIG. 6, the slide
図６に示した設定画面の複数枚表示エリアＣ３上で４枚が設定されているので、図７に示すように、１画面上に４枚ずつ配置して表示されている。このように表示される静止画像データ４０３は、図５に示した基本画面のビデオ一覧表示エリアａ上で選択されたサムネイル画像ａ１，ａ２に対応する映像コンテンツデータ４０１に含まれる動画像データの中のいずれかのフレームであって、図５に示した基本画面の顔一覧表示エリアｂ上で選択された顔画像ｂ１，ｂ２の人物が登場するフレームの画像である。また、これらは、（図６に示した設定画面の表示順序エリアｃ１で「時系列」が設定されているので、）映像コンテンツデータ４０１内での登場順に表示され、かつ、（図６に示した設定画面の枚数指定エリアｃ２上、複数枚表示エリアｃ３上、再生時間エリアｃ４上で１００枚、４枚、１分がそれぞれ指定されているので、）２．４秒ずつ表示される。
Since four sheets are set on the plural-sheet display area C3 of the setting screen shown in FIG. 6, four sheets are arranged and displayed on one screen as shown in FIG. The
表示条件を設定する手段は、前記した設定画面によってそれぞれの条件を指定する方法に限らず、例えばあらかじめ表示条件が設定されたテーマを選択する方法がある。 The means for setting the display conditions is not limited to the method of specifying the respective conditions on the setting screen described above, and there is, for example, a method of selecting a theme in which the display conditions are set in advance.
テーマごとに固有の表示条件を設定しておき、それぞれ「にぎやか」や「ゆっくり」など、ユーザが動作イメージを容易に想像できる名前をつけて選択画面に表示する。例えば「にぎやか」のテーマは、「にぎやか」に相応しい音楽データと、それに合わせた総表示時間で、表示対象枚数、合成表示枚数を多く設定しておき、多数の写真を短い時間で切り替えるような設定をしておく。 A unique display condition is set for each theme, and names such as “lively” and “slow” are given to the selection screen so that the user can easily imagine the operation image. For example, the theme of “Nigiyaka” is a setting that allows you to switch between many photos in a short period of time by setting a large number of display target images and composite display numbers with music data suitable for “Nigiyaka” and the total display time according to it. Keep it.
次に、図８のフローチャートを参照して、ＴＶアプリケーションプログラム２０２によって実行されるスライドショーの作成および表示処理の手順を説明する。
Next, with reference to a flowchart of FIG. 8, a procedure of slide show creation and display processing executed by the
ＴＶアプリケーションプログラム２０２は、まず、ＨＤＤ１０９に記録された映像コンテンツデータ４０１を選択肢として一覧表示する（ステップＡ１）。この一覧表示した映像コンテンツデータ４０１の中からいずれかが選択されると（ステップＡ２）、ＴＶアプリケーションプログラム２０２は、今度は、ＨＤＤ１０９内のデータベース１０９Ａに格納されたインデックス情報４０２を用いて、選択された映像コンテンツデータ４０１内に登場する人物の顔画像を選択肢として一覧表示する（ステップＡ３）。
The
そして、この一覧表示した顔画像の中からいずれかが選択されると（ステップＡ４）、ＴＶアプリケーションプログラム２０２は、ＨＤＤ１０９内のデータベース１０９Ａに格納されたインデックス情報４０２を用いて、選択された顔画像の人物が登場するフレームの画像を（選択された）映像コンテンツデータ４０１の中から抽出して静止画像データ４０３としてＨＤＤ１０９に格納し（ステップＡ５）、このＨＤＤ１０９に格納した静止画像データ４０３をＬＣＤ１７に順次に表示する（ステップＡ６）。
When one of the face images displayed in the list is selected (step A4), the
このように、本コンピュータ１０によれば、動画像中の所定の条件を満たす場面のみを簡単な操作で効果的に表示させることが実現される。
Thus, according to the
なお、ここでは、ＨＤＤ１０９内のデータベース１０９Ａに格納されたインデックス情報４０２を用いて映像コンテンツデータ４０１に含まれる動画像データの中から静止画像データを抽出して表示する方法として、選択された映像コンテンツデータ４０１内に登場する人物の顔画像を選択肢として一覧表示する例を説明した。しかしながら、（映像コンテンツデータ４０１に含まれる動画像データの中から静止画像データ４０３を抽出するための）インデックス情報４０２の利用法としては、これに限定されず、種々の変形が可能である。
Here, as a method for extracting and displaying still image data from moving image data included in the
例えば、顔画像の分類情報を人物の名前と対応付けるテーブルをインデックス情報４０２としてデータベース１０９Ａに格納するものに含めるようにし、人物の名前を選択肢として一覧表示することもできる。このテーブルの管理のため、顔画像を一覧表示して名前を入力するユーザインタフェース手段を持たせてもよい。
For example, a table for associating face image classification information with person names may be included in the information stored in the
また、例えば、音声インデクシング処理結果もインデックス情報４０２としてデータベース１０９Ａに格納されているので、「トーク区間」内であって、歓声／盛り上がりレベルが大きいフレームの画像を抽出したり、逆に、「トーク区間」以外のフレームの画像を抽出したりするといったことも容易に実施することができる。また、作成されたスライドショーはＬＣＤ表示する以外に、動画ファイル等に出力することもできる。
Further, for example, since the audio indexing processing result is also stored in the
（第２実施形態）
次に、本発明の第２実施形態について説明する。なお、この第２実施形態に係る電子機器（コンピュータ１０）の構成は、前述の第１実施形態の電子機器と同様であるので、その説明は省略する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. The configuration of the electronic device (computer 10) according to the second embodiment is the same as that of the electronic device according to the first embodiment described above, and a description thereof will be omitted.
この第２実施形態においては、ビデオプロセッサ１１１は、映像インデクシング処理において、前述の顔画像の抽出と並行して、サムネイル画像の取得処理を実行する。このサムネイル画像は、映像コンテンツデータから例えば等時間間隔で抽出された複数のフレームの各々に対応する画像である。
In the second embodiment, the
つまり、第２実施形態のビデオプロセッサ１１１は、顔画像を含むフレームであるか否かに関係なく、映像コンテンツデータ４０１から例えば所定の等時間間隔でフレームを順次抽出し、抽出した各フレームに対応する画像（サムネイル画像）と、そのサムネイル画像が出現する時点を示すタイムスタンプ情報（ＴＳ）とをさらに出力する。そして、図９に示すように、このビデオプロセッサ１１１から出力されるサムネイル画像の取得処理結果（サムネイル画像、タイムスタンプ情報（ＴＳ））も、第２実施形態においては、データベース１０９Ａにインデックス情報４０２として格納される。
That is, the
図１０は、このサムネイル画像の取得処理結果を含むインデックス情報４０２を用いてスライドショー作成部３０３がＬＣＤ１７に表示するスライドショー作成用の基本画面の一例を示す図である。
FIG. 10 is a diagram illustrating an example of a basic screen for slide show creation displayed on the
図１０に示すように、第２実施形態における基本画面には、顔画像の一覧を表示するための顔サムネイル表示エリアと、サムネイル画像の一覧をじゃばら形式で表示するためのシーンサムネイル表示エリアとが設けられている。ここで、じゃばら形式とは、選択されているサムネイル画像を通常サイズで表示し、他の各サムネイル画像については横方向サイズを縮小して表示する表示形式である。図１０においては、選択されたサムネイル画像との距離が大きいサムネイル画像ほど、その横方向サイズが縮小されている。シーンサムネイル表示エリアに表示されるサムネイル画像の枚数は、ユーザ設定に従って、例えば２４０枚、１４４枚、９６枚、４８枚のいずれかに設定される。デフォルトは例えば２４０枚である。 As shown in FIG. 10, the basic screen in the second embodiment includes a face thumbnail display area for displaying a list of face images and a scene thumbnail display area for displaying a list of thumbnail images in a loose format. Is provided. Here, the loose format is a display format in which the selected thumbnail image is displayed in the normal size, and the other thumbnail images are displayed with the horizontal size reduced. In FIG. 10, the thumbnail image having a larger distance from the selected thumbnail image has a reduced horizontal size. The number of thumbnail images displayed in the scene thumbnail display area is set to, for example, 240, 144, 96, or 48 according to user settings. The default is 240 sheets, for example.
顔サムネイル表示エリアは、複数の行と複数の列とを含むマトリクス状に配置された複数個の顔画像表示エリアを含んでいる。各列には、例えば、映像コンテンツデータ４０１の総時間長を列数で等間隔で分割することによって得られる、互いに同一の時間長Ｔを有する複数の時間帯がそれぞれ割り当てられる。よって、映像コンテンツデータ４０１の総時間長に応じて、各時間帯の時間長Ｔは変化する。
The face thumbnail display area includes a plurality of face image display areas arranged in a matrix including a plurality of rows and a plurality of columns. For example, a plurality of time zones having the same time length T obtained by dividing the total time length of the
この第２実施形態における基本画面には、ＨＤＤ１０９に記録された映像コンテンツデータ４０１の中から任意の映像コンテンツデータ４０１を選択するためのビデオ選択エリアｆ１が設けられている。スライドショー作成部３０３は、このビデオ選択エリアｆ１で選択された映像コンテンツデータ４０１について、ビデオプロセッサ１１１が抽出した顔画像それぞれに対応するタイムスタンプ情報に基づき、各列内の複数個の顔画像表示エリア上に当該各列に割り当てられた時間帯に属する顔画像を配置する。つまり、スライドショー作成部３０３は、各列に割り当てられた時間帯に属する顔画像の内から行数分の顔画像を選択し、選択した行数分の顔画像を例えば時系列に並べていく。
The basic screen in the second embodiment is provided with a video selection area f1 for selecting arbitrary
ここで、顔サムネイル表示エリアとシーンサムネイル表示エリアとの関係について説明すると、顔サムネイル表示エリア上のある顔画像がユーザによって選択されると、スライドショー作成部３０３は、その顔画像のタイムスタンプ情報で示される時刻を含む時間帯に対応するサムネイル画像を（選択された状態を示す）通常サイズで表示すべく、シーンサムネイル表示エリアにおけるサムネイル画像の表示制御を行う。
Here, the relationship between the face thumbnail display area and the scene thumbnail display area will be described. When a face image on the face thumbnail display area is selected by the user, the slide
図１０は、顔サムネイル表示エリア上に配置された顔画像の中から顔画像ｆ２が選択され、その結果、顔画像ｆ２のタイムスタンプ情報で示される時刻を含む時間帯に対応するサムネイル画像ｆ３がシーンサムネイル表示エリア上にて通常サイズで表示された例を示している。また、この第２実施形態における基本画面には、”スライドショーに追加”ボタンｆ４が設けられており、”スライドショーに追加”ボタンｆ４を操作すると、シーンサムネイル表示エリア上にて通常サイズで表示されたサムネイル画像ｆ３が採用リスト表示エリア上にも表示される（サムネイル画像ｆ５）。採用リスト表示エリアは、ビデオ選択エリアｆ１で選択した映像コンテンツデータ４０１からの抽出対象候補とする静止画像データ４０３を一覧表示するエリアである。”スライドショーに追加”ボタンｆ４が操作される毎に、シーンサムネイル表示エリア上にて通常サイズで表示されたサムネイル画像が採用リスト表示エリア上に追加されていく。
In FIG. 10, the face image f2 is selected from the face images arranged on the face thumbnail display area, and as a result, the thumbnail image f3 corresponding to the time zone including the time indicated by the time stamp information of the face image f2 is obtained. An example in which a normal size is displayed on the scene thumbnail display area is shown. In addition, the basic screen in the second embodiment is provided with an “add to slide show” button f4. When the “add to slide show” button f4 is operated, the screen is displayed in the normal size in the scene thumbnail display area. The thumbnail image f3 is also displayed on the adoption list display area (thumbnail image f5). The adoption list display area is an area for displaying a list of still image
この採用リスト表示エリア上に目的のサムネイル画像が揃ったら、ユーザは、前述の第１実施形態と同様、スライドショーの作成を指示する”スライドショー作成”ボタンｆ６を操作して、採用リスト表示エリア上に表示されたサムネイル画像からなるスライドショーの作成および表示を指示する。図９に示したように、インデックス情報４０２には、サムネイル画像のタイムスタンプ情報（ＴＳ）が含まれているので、この操作を受けたスライドショー作成部３０３は、採用リスト表示エリア上に表示されたサムネイル画像のフレームを当該タイムスタンプ情報から特定し、それらのフレームの画像を映像コンテンツデータ４０１に含まれる動画像データから抽出して、静止画像データ４０３としてＨＤＤ１０９に記録する。そして、このスライドショー作成部３０３が映像コンテンツデータ４０１に含まれる動画像データの中から抽出してＨＤＤ１０９に記録した静止画像データ４０３を、スライドショー表示部３０４が、いわゆるデジタルフォトフレームのようにＬＣＤ１７に順次に表示する。また、ユーザは、第１実施形態と同様、”設定”ボタンｆ７を操作して、（設定画面を表示させて）表示条件を設定することも可能である。
When the target thumbnail images are arranged in the adoption list display area, the user operates the “slide show creation” button f6 for instructing creation of the slide show in the same manner as in the first embodiment described above to display the adoption list display area. Instructs the creation and display of a slide show composed of the displayed thumbnail images. As shown in FIG. 9, since the
また、この第２実施形態の基本画面には、”手ぶれシーンを除外”ボックスおよび”顔が小さい／映っていないシーンを除外”ボックスが設けられている。”手ぶれシーンを除外”ボックスがチェックされると、スライドショー作成部３０３は、手ぶれが発生していると推測される場面のサムネイル画像をシーンサムネイル表示エリア上への配置対象から除外する。このために、ビデオプロセッサ１１１は、映像インデクシング処理において、例えば、各フレームの画像の特徴を解析して、その特徴に応じて手ぶれ区間を検出し、検出した各手ぶれ区間毎にその開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報を格納した手ぶれ区間テーブルを出力する。この手ぶれ区間テーブルは、インデックス情報４０２としてデータベース１０９Ａに格納される。スライドショー作成部３０３は、”手ぶれシーンを除外”ボックスがチェックされている場合、この手ぶれ区間テーブルを参照して、シーンサムネイル表示エリア上への配置対象から除外すべき場面を認識する。
In addition, the basic screen of the second embodiment is provided with an “exclude camera shake scene” box and an “exclude scene with a small face / no image” box. When the “exclude camera shake scene” box is checked, the slide
また、”顔が小さい／映っていないシーンを除外”ボックスがチェックされている場合には、スライドショー作成部３０３は、インデックス情報４０２を参照して、（１）顔画像が格納されていない、（２）顔画像は格納されているがサイズが小さい、場面をシーンサムネイル表示エリア上への配置対象から除外する。
If the “exclude scenes with small face / no image” box is checked, the slide
なお、この第２実施形態における基本画面においては、顔サムネイル表示エリア上に配置された顔画像を選択することによって、シーンサムネイル表示エリア上のサムネイル画像を選択することに加えて、シーンサムネイル表示エリア上で直接的に目的のサムネイル画像を選択することも可能である。従って、顔サムネイル表示エリア上に配置された顔画像を選択することによって、シーンサムネイル表示エリア上のサムネイル画像を仮選択した後、シーンサムネイル表示エリア上にて通常サイズで表示されるサムネイル画像を前後に切り換えるといったことも可能である。 In the basic screen in the second embodiment, in addition to selecting a thumbnail image on the scene thumbnail display area by selecting a face image arranged on the face thumbnail display area, the scene thumbnail display area It is also possible to select a target thumbnail image directly above. Therefore, after selecting a thumbnail image on the scene thumbnail display area by selecting a face image arranged on the face thumbnail display area, the thumbnail image displayed in the normal size on the scene thumbnail display area It is also possible to switch to.
このように、この第２実施形態においても、データベース１０９Ａに格納されたインデックス情報４０２を用いて、映像コンテンツデータ４０１に含まれる動画像データの中から静止画像データ４０３を抽出していわゆるデジタルフォトフレームのように表示することが簡単な操作で行えることとなる。
As described above, also in the second embodiment, the
次に、図１１のフローチャートを参照して、この第２実施形態において、ＴＶアプリケーションプログラム２０２によって実行されるスライドショーの作成および表示処理の手順を説明する。
Next, with reference to the flowchart of FIG. 11, the procedure of the slide show creation and display process executed by the
ＴＶアプリケーションプログラム２０２は、ＨＤＤ１０９に記録された映像コンテンツデータ４０１の中からいずれかが選択されると（ステップＢ１）、ＨＤＤ１０９内のデータベース１０９Ａに格納されたインデックス情報４０２を用いて、選択された映像コンテンツデータ４０１内の顔画像を選択肢として一覧表示する（ステップＢ２）。この一覧表示した顔画像の中からいずれかが選択されると（ステップＢ３）、ＴＶアプリケーションプログラム２０２は、今度は、ＨＤＤ１０９内のデータベース１０９Ａに格納されたインデックス情報４０２を用いて、選択された顔画像が登場するフレームの時刻を含む時間帯に対応するサムネイル画像を通常サイズで表示すべく表示制御する（ステップＢ４）。
When any one of the
ＴＶアプリケーションプログラム２０２は、通常サイズで表示されたサムネイル画像を採用する操作が行われる毎に、このサムネイル画像のフレームを抽出および表示対象に加えていき（ステップＢ５）、ＨＤＤ１０９内のデータベース１０９Ａに格納されたインデックス情報４０２を用いて、採用されたサムネイル画像のフレームの画像を映像コンテンツデータ４０１の中から抽出して静止画像データ４０３としてＨＤＤ１０９に格納し（ステップＢ６）、このＨＤＤ１０９に格納した静止画像データ４０３をＬＣＤ１７に順次に表示する（ステップＢ７）。
The
以上のように、第２実施形態の本コンピュータ１０によっても、動画像中の所定の条件を満たす場面のみを簡単な操作で効果的に表示させることが実現される。
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
以下に、本願原出願の特許査定時の特許請求の範囲に記載された発明を付記する。
［１］動画像データを構成する複数のフレームの中から目的のフレームを探し出すための情報であって、人物の顔画像を含むフレームの前記動画像データ内における位置を表すタイムスタンプ情報と各顔画像の分類情報とを含むインデックス情報を作成するインデクシング手段と、
前記インデックス情報に基づき、前記動画像データ内の人物の顔画像を選択画面に表示して、前記表示した人物の顔画像の選択を受け付ける顔画像選択受付手段と、
前記インデックス情報に基づき、前記顔画像選択受付手段により選択された人物の顔画像を含むフレームの画像を前記動画像データから抽出するフレーム画像抽出手段と、
各テーマにそれぞれ対応した表示条件を記憶する記憶手段と、
前記記憶手段に表示条件が記憶されたテーマを選択画面に表示して、前記表示したテーマの選択を受け付けるテーマ選択受付手段と、
前記フレーム画像抽出手段により抽出された画像を、前記テーマ選択受付手段により選択されたテーマに対応する表示条件に含まれる合成表示枚数ずつ１画面上に配置して表示する表示制御手段と、
を具備する電子機器。
［２］前記各テーマにそれぞれ対応した表示条件は、音楽データ、総表示時間または表示対象枚数のいずれかをさらに含む［１］記載の電子機器。
［３］複数の動画像データそれぞれから１つずつ選択されるフレームのサムネイル画像を選択画面に表示して、前記表示したサムネイル画像の選択を受け付けるサムネイル画像選択受付手段をさらに具備し、
前記顔画像選択受付手段は、前記サムネイル画像選択受付手段により選択されたサムネイル画像に対応する動画像データ内の人物の顔画像を表示する、
［１］記載の電子機器。
［４］前記各テーマにそれぞれ対応した表示条件は、表示対象とする画像の枚数をさらに含み、
前記フレーム画像抽出手段は、前記選択された顔画像数と前記表示対象枚数とに基づき、前記動画像データからのフレームの画像の抽出を行う、
［１］記載の電子機器。
［５］前記表示制御手段は、前記合成表示枚数と画像の総表示時間とに基づき、各画面の表示間隔を制御する［１］記載の電子機器。
［６］前記各テーマにそれぞれ対応した表示条件は、背景音楽として再生する音声データをさらに含み、
前記表示制御手段は、前記音声データの総再生時間に基づき、各画面の表示間隔を制御する、
［１］記載の電子機器。
［７］前記各テーマにそれぞれ対応した表示条件は、時系列または無作為のいずれかである画像の表示順序をさらに含み、
前記表示制御手段は、前記フレーム画像抽出手段により抽出された画像を前記表示順序で表示する、
［１］記載の電子機器。
［８］前記インデックス情報は、各顔画像の正面度情報をさらに含み、
前記フレーム画像抽出手段は、正面度の高い顔画像を含むフレームの画像を優先的に前記動画像データから抽出する、
［１］記載の電子機器。
［９］前記インデックス情報は、各顔画像のサイズ情報をさらに含み、
前記フレーム画像抽出手段は、サイズの大きい顔画像を含むフレームの画像を優先的に前記動画像データから抽出する、
［１］記載の電子機器。
［１０］動画像データと、各テーマにそれぞれ対応した表示条件とを記録する記憶媒体を具備する電子機器における画像データの表示方法であって、
前記記憶媒体に記憶された動画像データを構成する複数のフレームの中から目的のフレームを探し出すための情報であって、人物の顔画像を含むフレームの前記動画像データ内における位置を表すタイムスタンプ情報と各顔画像の分類情報とを含むインデックス情報を作成し、
前記インデックス情報に基づき、前記動画像データ内の人物の顔画像を選択画面に表示して、前記表示した人物の顔画像の選択を受け付け、
前記インデックス情報に基づき、前記選択された人物の顔画像を含むフレームの画像を前記動画像データから抽出し、
前記記憶媒体に表示条件が記憶されたテーマを選択画面に表示して、前記表示したテーマの選択を受け付け、
前記抽出された画像を、前記選択されたテーマに対応する表示条件に含まれる合成表示枚数ずつ１画面上に配置して表示する、
画像データの表示方法。
［１１］前記各テーマにそれぞれ対応した表示条件は、音楽データ、総表示時間または表示対象枚数のいずれかをさらに含む［１０］記載の画像データの表示方法。
As described above, the
Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine a component suitably in different embodiment.
The invention described in the scope of claims at the time of the patent assessment of the original application of the present application will be appended below.
[1] Information for searching for a target frame from among a plurality of frames constituting moving image data, and time stamp information indicating a position in the moving image data of a frame including a human face image and each face Indexing means for creating index information including image classification information;
A face image selection receiving means for displaying a face image of a person in the moving image data on a selection screen based on the index information and receiving a selection of the displayed face image of the person;
Frame image extraction means for extracting, from the moving image data, a frame image including the face image of the person selected by the face image selection receiving means based on the index information;
Storage means for storing display conditions corresponding to each theme;
Theme selection receiving means for displaying a theme whose display conditions are stored in the storage means on a selection screen and receiving selection of the displayed theme;
Display control means for arranging and displaying the images extracted by the frame image extracting means on a single screen for each composite display number included in the display condition corresponding to the theme selected by the theme selection receiving means;
An electronic device comprising:
[2] The electronic device according to [1], wherein the display condition corresponding to each theme further includes any of music data, total display time, or display target number.
[3] It further comprises thumbnail image selection receiving means for displaying thumbnail images of frames selected one by one from a plurality of moving image data on the selection screen and receiving selection of the displayed thumbnail images,
The face image selection receiving means displays a face image of a person in the moving image data corresponding to the thumbnail image selected by the thumbnail image selection receiving means;
[1] The electronic device according to [1].
[4] The display condition corresponding to each theme further includes the number of images to be displayed,
The frame image extraction means extracts a frame image from the moving image data based on the selected number of face images and the number of display objects.
[1] The electronic device according to [1].
[5] The electronic device according to [1], wherein the display control unit controls a display interval of each screen based on the combined display number and the total display time of the image.
[6] The display condition corresponding to each theme further includes audio data to be reproduced as background music,
The display control means controls the display interval of each screen based on the total reproduction time of the audio data.
[1] The electronic device according to [1].
[7] The display condition corresponding to each theme further includes a display order of images that are either time-series or random,
The display control means displays the images extracted by the frame image extraction means in the display order;
[1] The electronic device according to [1].
[8] The index information further includes frontality information of each face image,
The frame image extraction means preferentially extracts an image of a frame including a face image having a high degree of frontality from the moving image data;
[1] The electronic device according to [1].
[9] The index information further includes size information of each face image,
The frame image extracting means preferentially extracts a frame image including a large face image from the moving image data;
[1] The electronic device according to [1].
[10] A method for displaying image data in an electronic device including a storage medium for recording moving image data and display conditions corresponding to each theme,
Time stamp indicating the position in the moving image data of a frame including a face image of a person, which is information for finding a target frame from a plurality of frames constituting the moving image data stored in the storage medium Index information including information and classification information of each face image,
Based on the index information, the face image of the person in the moving image data is displayed on the selection screen, and the selection of the face image of the displayed person is accepted.
Based on the index information, an image of a frame including the face image of the selected person is extracted from the moving image data,
Display a theme whose display conditions are stored in the storage medium on a selection screen, accept selection of the displayed theme,
The extracted images are arranged and displayed on one screen for each composite display number included in the display condition corresponding to the selected theme.
How to display image data.
[11] The image data display method according to [10], wherein the display condition corresponding to each theme further includes any of music data, a total display time, or a display target number.
１…外部ディスプレイ装置、２…ＨＤＭＩ端子、３…ＨＤＭＩ制御回路、１０…パーソナルコンピュータ、１１…コンピュータ本体、１２…ディスプレイユニット、１３…キーボード、１４…パワーボタン、１５…入力操作パネル、１６…タッチパッド、１７…ＬＣＤ、１８Ａ，１８Ｂ…スピーカ、１９…入力端子、２０…リモコンユニットインタフェース部、１０１…ＣＰＵ、１０２…ノースブリッジ、１０３…主メモリ、１０４…サウスブリッジ、１０５…ＧＰＵ、１０６…サウンドコントローラ、１０７…ＢＩＯＳ−ＲＯＭ、１０８…ＬＡＮコントローラ、１０９…ＨＤＤ、１０９Ａ…データベース、１１０…ＯＤＤ、１１１…ビデオプロセッサ、１１１Ａ…メモリ、１１２…ＬＡＮコントローラ、１１３…IEEE1394コントローラ、１１４…ＥＣ／ＫＢＣ、１１５…ＴＶチューナ、１１６…ＥＥＰＲＯＭ、２０１…オペレーティングシステム、２０２…ＴＶアプリケーションプログラム、３０１…記録処理部、３０２…インデクシング制御部、３０３…スライドショー作成部、３０４…スライドショー表示部、４０１…映像コンテンツデータ、４０２…インデックス情報、４０３…静止画像データ、３０３１…ユーザインタフェース部。
DESCRIPTION OF SYMBOLS 1 ... External display apparatus, 2 ... HDMI terminal, 3 ... HDMI control circuit, 10 ... Personal computer, 11 ... Computer main body, 12 ... Display unit, 13 ... Keyboard, 14 ... Power button, 15 ... Input operation panel, 16 ... Touch Pad, 17 ... LCD, 18A, 18B ... Speaker, 19 ... Input terminal, 20 ... Remote control unit interface unit, 101 ... CPU, 102 ... North bridge, 103 ... Main memory, 104 ... South bridge, 105 ... GPU, 106 ...
Claims (15)
前記複数のテーマのいずれかの選択を受け付ける第１受付手段と、
複数の動画像データの中から選択された１以上の動画像データの登場人物の少なくとも１以上の選択を受け付ける第２受付手段と、
前記第２受付手段により選択された登場人物に応じて、前記選択された１以上の動画像データに含まれる複数のフレームの画像を、前記第１受付手段により選択されたテーマに対応する表示条件に含まれる合成表示枚数ずつ１画面上に配置して表示する表示制御手段と
を具備する電子機器。 Storage means for storing display conditions each corresponding to a plurality of themes and including at least a composite display number;
First receiving means for receiving selection of any of the plurality of themes;
Second receiving means for receiving at least one selection of characters of one or more moving image data selected from a plurality of moving image data ;
Display conditions corresponding to the theme selected by the first receiving means for images of a plurality of frames included in the selected one or more moving image data in accordance with the character selected by the second receiving means. An electronic device comprising: display control means for arranging and displaying the composite display number of sheets included in one screen.
前記表示制御手段は、前記音声データの総再生時間に基づき、各画面の表示間隔を制御する、
請求項１記載の電子機器。 The display condition corresponding to each of the plurality of themes further includes audio data to be reproduced as background music,
The display control means controls the display interval of each screen based on the total reproduction time of the audio data.
The electronic device according to claim 1.
前記表示制御手段は、前記動画像データ内から抽出されたフレームの画像を前記表示順序で表示する、
請求項１記載の電子機器。 The display condition corresponding to each of the plurality of themes further includes a display order of images that are either time series or random,
The display control means displays the images of the frames extracted from the moving image data in the display order;
The electronic device according to claim 1.
前記電子機器が、
前記複数のテーマのいずれかの選択を受け付け、
複数の動画像データの中から選択された１以上の動画像データの登場人物の少なくとも１以上の選択を受け付け、
前記選択された登場人物に応じて、前記選択された１以上の動画像データに含まれる複数のフレームの画像を、前記選択されたテーマに対応する表示条件に含まれる合成表示枚数ずつ１画面上に配置して表示する、
画像データの表示方法。 A method for displaying image data in an electronic device including a storage medium that records display conditions including at least a combined display number corresponding to each of a plurality of themes,
The electronic device is
Accept selection of any of the plurality of themes;
Accepting at least one selection of characters from one or more moving image data selected from a plurality of moving image data ;
In accordance with the selected character, a plurality of frames of images included in the selected one or more moving image data are displayed on a screen by the number of combined displays included in the display condition corresponding to the selected theme. Place and display in
How to display image data.
前記表示することは、前記音声データの総再生時間に基づき、各画面の表示間隔を制御する、
請求項６記載の画像データの表示方法。 The display condition corresponding to each of the plurality of themes further includes audio data to be reproduced as background music,
The displaying controls the display interval of each screen based on the total reproduction time of the audio data.
The image data display method according to claim 6.
前記表示することは、前記動画像データ内から抽出されたフレームの画像を前記表示順序で表示する、
請求項６記載の画像データの表示方法。 The display condition corresponding to each of the plurality of themes further includes a display order of images that are either time series or random,
That said display displays the image of the frames extracted from the inside moving image data in the display order,
The image data display method according to claim 6.
複数のテーマにそれぞれ対応した、少なくとも合成表示枚数を含む表示条件を記憶する記憶手段、
前記複数のテーマのいずれかの選択を受け付ける第１受付手段、
複数の動画像データの中から選択された１以上の動画像データの登場人物の少なくとも１以上の選択を受け付ける第２受付手段、
前記第２受付手段により選択された登場人物に応じて、前記選択された１以上の動画像データに含まれる複数のフレームの画像を、前記第１受付手段により選択されたテーマに対応する表示条件に含まれる合成表示枚数ずつ１画面上に配置して表示する表示制御手段、
として機能させるプログラム。 Computer
Storage means for storing display conditions each corresponding to a plurality of themes and including at least a composite display number;
First receiving means for receiving selection of any of the plurality of themes;
A second accepting means for accepting at least one selection of characters of one or more moving image data selected from a plurality of moving image data ;
Display conditions corresponding to the theme selected by the first receiving means for images of a plurality of frames included in the selected one or more moving image data in accordance with the character selected by the second receiving means. Display control means for arranging and displaying the combined display number of sheets included in one screen,
Program to function as.
前記表示制御手段は、前記音声データの総再生時間に基づき、各画面の表示間隔を制御する、
請求項１１記載のプログラム。 The display condition corresponding to each of the plurality of themes further includes audio data to be reproduced as background music,
The display control means controls the display interval of each screen based on the total reproduction time of the audio data.
The program according to claim 11.
前記表示制御手段は、前記動画像データ内から抽出されたフレームの画像を前記表示順序で表示する、
請求項１１記載のプログラム。 The display condition corresponding to each of the plurality of themes further includes a display order of images that are either time series or random,
The display control means displays the images of the frames extracted from the moving image data in the display order;
The program according to claim 11.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011213364A JP5532344B2 (en) | 2011-09-28 | 2011-09-28 | Electronic device, image data display method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011213364A JP5532344B2 (en) | 2011-09-28 | 2011-09-28 | Electronic device, image data display method and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009182694A Division JP2011035837A (en) | 2009-08-05 | 2009-08-05 | Electronic apparatus and method for displaying image data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012010405A JP2012010405A (en) | 2012-01-12 |
| JP5532344B2 true JP5532344B2 (en) | 2014-06-25 |
Family
ID=45540319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011213364A Active JP5532344B2 (en) | 2011-09-28 | 2011-09-28 | Electronic device, image data display method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5532344B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7321991B2 (en) * | 2020-09-28 | 2023-08-07 | キヤノン株式会社 | Media file generation device, media file playback device, media file generation method, media file playback method, program, storage medium |
| EP4221191A1 (en) * | 2020-09-28 | 2023-08-02 | Canon Kabushiki Kaisha | Media file generation device, media file playback device, media file generation method, media file playback method, program, and recording medium |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08223525A (en) * | 1995-02-09 | 1996-08-30 | Casio Comput Co Ltd | Display control method for image storage device and electronic still camera adopting same |
| KR100347710B1 (en) * | 1998-12-05 | 2002-10-25 | 엘지전자주식회사 | Method and data structure for video browsing based on relation graph of characters |
| JP4227241B2 (en) * | 1999-04-13 | 2009-02-18 | キヤノン株式会社 | Image processing apparatus and method |
| JP4127750B2 (en) * | 2000-05-30 | 2008-07-30 | 富士フイルム株式会社 | Digital camera with music playback function |
| JP2002330325A (en) * | 2001-05-02 | 2002-11-15 | Seiko Epson Corp | Digital camera |
| JP2003309815A (en) * | 2002-04-17 | 2003-10-31 | Konica Minolta Holdings Inc | Information recording medium and production method therefor |
| JP4261317B2 (en) * | 2002-11-25 | 2009-04-30 | パナソニック株式会社 | Short film generating and reproducing apparatus and method thereof |
| JP4221308B2 (en) * | 2004-01-15 | 2009-02-12 | パナソニック株式会社 | Still image reproduction device, still image reproduction method and program |
| JP4343027B2 (en) * | 2004-05-25 | 2009-10-14 | 富士フイルム株式会社 | Slideshow creation apparatus and method, and program |
| JP4259421B2 (en) * | 2004-08-02 | 2009-04-30 | 日本電信電話株式会社 | Representative image selection method and program for video |
| JP2006060279A (en) * | 2004-08-17 | 2006-03-02 | Matsushita Electric Ind Co Ltd | Motion image reproducing apparatus |
| JP4624234B2 (en) * | 2005-10-19 | 2011-02-02 | 富士フイルム株式会社 | Image reproduction apparatus and image reproduction program |
| JP4760438B2 (en) * | 2006-02-20 | 2011-08-31 | 株式会社ニコン | Image reproduction apparatus and image reproduction program |
| JP4183003B2 (en) * | 2006-11-09 | 2008-11-19 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
-
2011
- 2011-09-28 JP JP2011213364A patent/JP5532344B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012010405A (en) | 2012-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2011035837A (en) | Electronic apparatus and method for displaying image data | |
| JP4620150B2 (en) | Electronic device and video processing method | |
| US7986819B2 (en) | Electronic apparatus and video display method | |
| US8666223B2 (en) | Electronic apparatus and image data management method | |
| US8285114B2 (en) | Electronic apparatus and display method | |
| US8935169B2 (en) | Electronic apparatus and display process | |
| US8913834B2 (en) | Acoustic signal corrector and acoustic signal correcting method | |
| US7970257B2 (en) | Image display method and electronic apparatus implementing the image display method | |
| JP4322945B2 (en) | Electronic device and image display control method | |
| US8396332B2 (en) | Electronic apparatus and face image display method | |
| US8023702B2 (en) | Information processing apparatus and content display method | |
| JP4856105B2 (en) | Electronic device and display processing method | |
| JP2008124574A (en) | Preference extracting apparatus, preference extracting method and preference extracting program | |
| JP2010114733A (en) | Information processing apparatus, and content display method | |
| JP5330551B2 (en) | Electronic device and display processing method | |
| JP5532344B2 (en) | Electronic device, image data display method and program | |
| JP5039020B2 (en) | Electronic device and video content information display method | |
| JP4987653B2 (en) | Electronic apparatus and image display method | |
| JP2009200827A (en) | Electronic device and image display method | |
| JP5566984B2 (en) | Electronic apparatus and image display method | |
| JP5284426B2 (en) | Electronic apparatus and image display method | |
| JP5038836B2 (en) | Information processing device | |
| JP2009089031A (en) | Electronic apparatus and image display method | |
| JP2012235492A (en) | Electronic apparatus and reproducing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110928 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130726 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130730 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130806 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131119 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140311 |
|
| RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20140319 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140409 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5532344 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313121 Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |