JP2008011145A - 再生装置、再生システムおよびテレビジョンセット - Google Patents

再生装置、再生システムおよびテレビジョンセット Download PDF

Info

Publication number
JP2008011145A
JP2008011145A JP2006179196A JP2006179196A JP2008011145A JP 2008011145 A JP2008011145 A JP 2008011145A JP 2006179196 A JP2006179196 A JP 2006179196A JP 2006179196 A JP2006179196 A JP 2006179196A JP 2008011145 A JP2008011145 A JP 2008011145A
Authority
JP
Japan
Prior art keywords
reproduction
cpu
user
recognition
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006179196A
Other languages
English (en)
Other versions
JP4830670B2 (ja
Inventor
Hirotake Nozaki
弘剛 野崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2006179196A priority Critical patent/JP4830670B2/ja
Publication of JP2008011145A publication Critical patent/JP2008011145A/ja
Application granted granted Critical
Publication of JP4830670B2 publication Critical patent/JP4830670B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】ユーザ認識を行う再生装置において無駄な認識処理を避ける。
【解決手段】再生装置10は、ユーザ認識処理を行うユーザ認識手段101と、ユーザ認識手段101にユーザ認識処理を行う制御を指示する制御手段101と、複数の再生ソースの中からユーザ認識手段101で認識されたユーザに関連する再生ソースを選ぶ再生ソース選択手段101とを備える。
【選択図】図2

Description

本発明は、再生装置、再生システムおよびテレビジョンセットに関する。
ユーザを認識し、ユーザ認識の結果および予め入力される番組情報に応じて、ユーザ好みのジャンルの番組を選局するテレビジョン受像機が知られている(たとえば、特許文献1参照)。
特開2000−175117号公報
ユーザ認識処理を常に行うと、カメラなどを常時作動させなければならないという問題がある。
(1)本発明による再生装置は、ユーザ認識処理を行うユーザ認識手段と、ユーザ認識手段にユーザ認識処理を行う制御を指示する制御手段と、複数の再生ソースの中からユーザ認識手段で認識されたユーザに関連する再生ソースを選ぶ再生ソース選択手段とを備えることを特徴とする。
(2)請求項1に記載の再生装置はさらに、再生ソース選択手段が選んだ再生ソースの情報を提示する再生ソース提示手段を備えてもよい。この場合の制御手段は、再生ソース提示手段が提示を行う場合にユーザ認識手段による認識処理を許可することが好ましい。
(3)請求項2に記載の再生装置において、制御手段は、再生ソース提示手段が提示を行った後にユーザ認識手段による認識処理を非許可にすることが好ましい。
(4)請求項1に記載の再生装置はさらに、再生ソース選択手段が選んだ再生ソースの再生信号を再生手段へ供給する信号供給手段を備えてもよい。この場合の制御手段は、信号供給手段が供給を行う場合にユーザ認識手段による認識処理を許可することが好ましい。
(5)請求項4に記載の再生装置において、制御手段は、信号供給手段が供給を開始後にユーザ認識手段による認識処理を非許可にすることが好ましい。
(6)請求項1に記載の再生装置はさらに、ユーザ認識手段による認識処理に用いるカメラを備えてもよい。この場合の制御手段は、カメラとの間の通信が成立した場合にユーザ認識手段による認識処理を許可することが好ましい。
(7)請求項6に記載の再生装置において、制御手段は、カメラとの間の通信異常を検出後にユーザ認識手段による認識処理を非許可にすることが好ましい。
(8)請求項1に記載の再生装置はさらに、再生ソース選択手段が選んだ再生ソースの情報を提示する再生ソース提示手段を備えてもよい。この場合の制御手段は、再生ソース提示手段が提示を行っている状態で、指示に応じてただちにユーザ認識手段による認識処理を開始させることが好ましい。
(9)請求項1に記載の再生装置はさらに、再生ソース選択手段が選んだ再生ソースの再生信号を再生手段へ供給する信号供給手段を備えてもよい。この場合の制御手段は、信号供給手段が供給を行っている状態で、指示に応じてただちにユーザ認識手段による認識処理を開始させることが好ましい。
(10)本発明による再生システムは、請求項1〜請求項9のいずれか一項に記載の再生装置と、再生ソースの再生信号を再生する再生手段とを備えることを特徴とする。
(11)本発明によるテレビジョンセットは、請求項10に記載の再生システムと、テレビ放送を受信して再生信号を得る復調手段とを備えることを特徴とする。
本発明によれば、認識処理を無駄に行うことが避けられる。
以下、図面を参照して本発明を実施するための最良の形態について説明する。
(第一の実施形態)
図1は、本発明の第一の実施形態による再生装置10を含めて構成した情報再生システムを例示する図である。情報再生システムは、再生装置10、電子カメラ20および表示モニタ30を組み合わせて構成される。図1の例では、人物A、人物Bおよび人物Cの3人が、当該情報再生システムによる表示映像および再生音楽を鑑賞する。
表示モニタ30は、液晶表示パネル、プラズマ表示パネル、CRTもしくは投射型表示器などの映像表示部と音響再生部とを有し、再生装置10が供給する映像信号による画像の再生と、再生装置10が供給する音響信号による音楽の再生とを行う。電子カメラ20は、たとえば表示モニタ30の近傍に載置され、表示モニタ30を観察する人物A〜人物Cを撮影し、撮影画像を再生装置10へ送信する。
再生装置10および表示モニタ30間、ならびに再生装置10および電子カメラ20間の接続は、それぞれ図1のような無線接続で行っても、ケーブルを用いた有線接続で行ってもよい。
図2は、再生装置10の構成例を説明するブロック図である。再生装置10は、CPU101と、メモリ102と、リモコン制御部103と、操作部材104と、表示部105と、外部インターフェイス(I/F)106と、電源回路107と、通信制御部108と、アンテナ109と、HDD(Hard Disk Drive)110と、メモリスロット111と、ディスクドライブ112とを有する。
コントローラであるCPU101は、制御プログラムに基づいて、再生装置10を構成する各部から入力される信号を用いて所定の演算を行うなどして、再生装置10の各部を制御する。なお、制御プログラムはCPU101内の不図示の不揮発性メモリに格納されている。
メモリ102はCPU101の作業用メモリとして使用される。リモコン制御部103は、リモコン送信機11から送信される信号を受信し、受信信号に応じた操作信号をCPU101へ出力する。操作部材104は、再生装置10の操作パネル上の操作スイッチなどを含み、操作されたスイッチに対応する操作信号をCPU101へ送出する。再生装置10は、リモコン送信機11および操作部材104のいずれからも操作可能に構成されている。
表示部105はLEDや液晶表示器などによって構成され、CPU101からの指示に応じて再生装置10の動作状態などを示す表示を行う。外部インターフェイス106は、CPU101からの指示により外部機器(コンピュータやビデオプレーヤー、TVチューナー等)との間で不図示のケーブルを介してデータを送受信する。
電源回路107は、電源ケーブル113を介して供給される商用電源を再生装置10内で必要な直流電源に変換し、再生装置10の各部へ変換後の電源を供給する。HDD110は、CPU101の指示により、画像データ、音声データなどのデータの書き込み、保存および読み出しが可能である。メモリスロット111にはメモリカード(不図示)が実装される。メモリカードは不揮発性メモリによって構成され、CPU101の指示により、画像データ、音声データなどのデータの書き込み、保存および読み出しが可能である。
ディスクドライブ112には、たとえば、不図示のDVD(Digital Video Disk)が実装される。DVDは、CPU101の指示により、画像データ、音声データなどのデータの書き込み、保存および読み出しが可能である。
通信制御部108は無線送受信回路を含み、CPU101からの指示によって電子カメラ20との間、および表示モニタ30との間でそれぞれ通信を行う。電子カメラ20との通信内容は、電子カメラ20に対する制御情報、および電子カメラ20で撮影された画像データなどである。表示モニタ30との通信内容は、表示モニタ30に対する制御情報、および表示モニタ30で再生する映像信号および音響信号である。アンテナ109は通信制御部108の送受信アンテナである。
<メイン処理>
再生装置10のCPU101が行うメイン処理の流れについて、図3のフローチャートを参照して説明する。図3の処理を行うプログラムは、再生装置10のメインスイッチ(不図示)がオン操作され、電源回路107からCPU101へ電源供給が開始されると起動する。
図3のステップS1において、CPU101は自動起動設定されているか否かを判定する。自動起動は、スタートメニュー操作を介さずに認識処理、表示モニタ30による再生動作へ進むことを許可する動作モードである。認識処理は、表示モニタ30が再生する情報を視聴するユーザを電子カメラ20で撮影し、撮影画像の中から所定の人物を認識する処理である。認識処理の詳細については後述する。CPU101は、自動起動フラグがオンの場合にステップS1を肯定判定してステップS2へ進み、自動起動フラグがオフの場合にはステップS1を否定判定し、ステップS9へ進む。自動起動フラグは、後述する「利用者認識」メニューによって予め設定されている。
ステップS9へ進む場合のCPU101は通常処理を行う。通常処理では、スタートメニュー操作を介して再生動作へ進む。ステップS9において、CPU101は、スタートメニュー画面の表示に必要な映像信号を生成し、生成した信号を通信制御部108から表示モニタ30へ送信させてステップS10へ進む。図4は、表示モニタ30に表示されるスタートメニュー画面を例示する図である。スタートメニュー画面には、「写真」アイコン、「MOVIE」アイコン、「音楽」アイコン、および「利用者認識」アイコンが含まれる。
図3のステップS10において、CPU101はメニュー操作されたか否かを判定する。CPU101は、リモコン制御部103または操作部材104から操作信号が入力されるとステップS10を肯定判定してステップS11へ進み、操作信号が入力されない場合には当該判定処理を繰り返す。
<メニュー処理>
ステップS11において、CPU101はメニュー処理を行ってステップS8へ進む。メニュー処理の一例を説明する。図4において、「写真」アイコン、「MOVIE」アイコンおよび「音楽」アイコンは、それぞれ表示モニタ30で再生するコンテンツを表す。ユーザ(本例の場合は人物A〜人物C)は、表示モニタ30に表示されているアイコンの中から鑑賞したいコンテンツに対応するアイコン(たとえば、写真を鑑賞したい場合は「写真」アイコン)を選択する。ユーザがリモコン送信機11または操作部材104を操作することにより、操作信号がCPU101へ入力される。
CPU101は、カーソルを移動させる操作信号がリモコン制御部103または操作部材104から入力されると、操作信号に応じてアイコン上のカーソル(不図示)を移動させるように映像信号を生成し、生成した信号を通信制御部108から表示モニタ30へ送信させる。CPU101はさらに、「OK」ボタン操作を示す操作信号がリモコン制御部103または操作部材104から入力されると、その時点で表示モニタ30の画面上でカーソルが位置するアイコン(たとえば「写真」アイコン)を選択する。
<写真鑑賞>
「写真」アイコンを選択したCPU101は、「写真」メニュー画面の表示に必要な映像信号を生成し、生成した信号を通信制御部108から表示モニタ30へ送信させる。図5は、表示モニタ30に表示される「写真」メニュー画面を例示する図である。「写真」メニュー画面には、「正月」アルバムアイコン、「クリスマス」アルバムアイコン、「A旅行」アルバムアイコン、「B旅行」アルバムアイコン、アルバムに登録されていない画像ファイル名が含まれる。アルバムアイコンの表示には当該アルバム内の代表画像(サムネイル)を含め、アルバムに登録されていない画像ファイル名の表示はそのサムネイル画像を合わせて表示する。
CPU101は、通常処理においてアルバムアイコンおよび画像ファイル名を表示させる際、作成日時が新しいものから順番に並べて表示させる。各アルバムを構成する画像ファイルおよびアルバム登録されていない画像ファイルは、通常HDD110内に保存されているものを検索して表示するが、操作信号に応じてメモリスロット111内のメモリカードやディスクドライブ112内のDVDからの検索も可能である。
「写真」メニュー画面を表示モニタ30に表示させたCPU101は、リモコン制御部103または操作部材104からカーソルを移動させる操作信号が入力されると、操作信号に応じてアイコンまたはファイル名上のカーソル(不図示)を移動させるように映像信号を生成し、生成した信号を通信制御部108から表示モニタ30へ送信させる。CPU101はさらに、「OK」ボタン操作を示す操作信号がリモコン制御部103または操作部材104から入力されると、その時点で表示モニタ30の画面上でカーソルが位置するアルバムアイコン(または画像ファイル)に対応する画像ファイルをHDD110(またはメモリカード、もしくはDVD)から読み出す。
CPU101は、読み出した内容を表示モニタ30に再生表示させるための映像信号を生成し、生成した信号を通信制御部108から表示モニタ30へ送信させる。これにより、表示モニタ30によってアルバムなどの再生が行われる。なお、CPU101は、再生する画像ファイルに音楽ファイルが関連づけられている場合、当該音楽ファイルをHDD110(またはメモリカード、もしくはDVD)から読み出し、読み出した内容を表示モニタ30に音響再生させるための音響信号を生成し、生成した信号を通信制御部108から表示モニタ30へ送信させる。これにより、表示モニタ30によって再生される映像に合わせて音楽が再生される。
以上は写真鑑賞の例を説明したが、動画を鑑賞する「MOVIE」アイコン、音楽を鑑賞する「音楽」アイコンが選択された場合も同様である。
<利用者認識>
図4の「利用者認識」アイコンを選択したCPU101は、「利用者認識」メニュー画面の表示に必要な映像信号を生成し、生成した信号を通信制御部108から表示モニタ30へ送信させる。図6は、表示モニタ30に表示される「利用者認識」メニュー画面を例示する図である。「利用者認識」メニュー画面には、「認識スタート」アイコン、「カメラセッティング」アイコン、「人物設定」アイコン、および「自動起動」アイコンが含まれる。
「利用者認識」メニュー画面を表示モニタ30に表示させたCPU101は、リモコン制御部103または操作部材104からカーソルを移動させる操作信号が入力されると、操作信号に応じてアイコン上のカーソル(不図示)を移動させるように映像信号を生成し、生成した信号を通信制御部108から表示モニタ30へ送信させる。CPU101はさらに、「OK」ボタン操作を示す操作信号がリモコン制御部103または操作部材104から入力されると、その時点で表示モニタ30の画面上でカーソルが位置するアイコンを選択する。
「認識スタート」アイコンを選択したCPU101は、認識処理を開始する。認識処理の詳細については後述する。「カメラセッティング」アイコンを選択したCPU101は、認識処理に用いるカメラに対して必要な設定を行う。本実施形態では、電子カメラ20を撮影モードで起動させる制御信号と、電子カメラ20の撮影ズームレンズを広角側へ移動させる制御信号とを通信制御部108から送信させる。
「自動起動」アイコンを選択したCPU101は、上述した自動起動フラグのオン/オフ切替を行う。CPU101は、自動起動設定オン(フラグオン)の状態で「自動起動」アイコンの選択操作が行われると自動起動設定フラグをオフにし、自動起動設定オフ(フラグオフ)の状態で「自動起動」アイコンの選択操作が行われると自動起動設定フラグをオンにする。
「人物設定」アイコンを選択したCPU101は、上記認識処理を開始し、認識処理終了後に「人物設定」メニュー画面の表示に必要な映像信号を生成し、生成した信号を通信制御部108から表示モニタ30へ送信させる。図7は、表示モニタ30に表示される「人物設定」メニュー画面を例示する図であり、「人物B」について設定が行われるメニュー画面である。「人物設定」メニュー画面には、人物の顔画像71と、「オリジナルメニュー表示」アイコン、「画像の検索」アイコン、「マイアルバム表示」アイコン、および「操作音」アイコンが含まれる。「人物設定」メニュー画面は、認識処理によって認識、登録された人物ごとに表示の切替が可能に構成される。
「人物設定」メニュー画面を表示モニタ30に表示させたCPU101は、リモコン制御部103または操作部材104からカーソルを移動させる操作信号が入力されると、操作信号に応じてアイコン上のカーソル(不図示)を移動させるように映像信号を生成し、生成した信号を通信制御部108から表示モニタ30へ送信させる。「オリジナルメニュー(カスタムメニューと記してもよい)表示」は、認識された人物(たとえば、人物B)によって予め登録されているユーザごとのメニューを、通常のスタートメニュー(図4)に代えて表示することを許可する機能である。
「オリジナルメニュー表示」アイコンを選択したCPU101は、「オリジナルメニュー表示」機能のオン/オフ切替を行う。CPU101は、オリジナルメニュー表示「オン」の選択操作が行われるとオリジナルメニュー表示を許可する。オリジナルメニューは、たとえば、通常のスタートメニューのうち所定のアイコンを非表示にしたり、通常のスタートメニューに含まれないアイコンを追加したりするものである。
CPU101は、オリジナルメニュー表示「オフ」の選択操作が行われるとオリジナルメニュー表示を許可しない。CPU101は、オリジナルメニュー表示「オフ」の場合は通常のスタートメニュー(図4)を表示させる。
「画像の検索」は、認識された人物(たとえば、人物B)を被写体として含むアルバムおよび画像ファイルを検索するか否かを指示する機能である。「画像の検索」アイコンを選択したCPU101は、「画像の検索」機能のオン/オフ切替を行う。CPU101は、画像の検索「オン」の選択操作が行われると当該人物(本例では人物B)の顔画像を含むアルバム、画像ファイルの検索を許可し、画像の検索「オフ」の選択操作が行われると当該人物(人物B)の顔画像を検索対象から除外する。
「マイアルバム表示」は、認識された人物(たとえば、人物B)によって予め登録されているアルバムを、通常の「写真」メニュー(図5)に加えて表示することを許可する機能である。「マイアルバム表示」アイコンを選択したCPU101は、「マイアルバム表示」機能のオン/オフ切替を行う。CPU101は、マイアルバム表示「オン」の選択操作が行われるとマイアルバム表示を許可する。この場合の「写真」メニューには、「マイアルバム」アイコンが含まれる。
CPU101は、マイアルバム表示「オフ」の選択操作が行われるとマイアルバム表示を許可しない。CPU101は、マイアルバム表示「オフ」の場合は通常の「写真」メニュー(図5)を表示する。
「操作音」は、再生装置10が操作信号を受信した際の操作音の有無を指示する機能である。「操作音」アイコンを選択したCPU101は、「操作音」のオン/オフ切替を行う。CPU101は、操作音「オン」の選択操作が行われると操作音の発生を許可し、操作信号を受信するごとに操作音を音響再生させるための音響信号を生成し、生成した信号を通信制御部108から表示モニタ30へ送信させる。
CPU101は、操作音「オフ」の選択操作が行われると操作音の発生を禁止し、操作音を音響再生させる音響信号を通信制御部108から送信させない。
上述した図3のステップS1を肯定判定してステップS2へ進む場合、CPU101は自動起動処理を行う。ステップS2において、CPU101は、認識処理を行ってステップS3へ進む。認識処理の詳細については後述する。
ステップS3において、CPU101は、認識処理で認識した人物(たとえば、人物B)をユーザとしてステップS4へ進む。人物の認識は一人に限らず、複数の人物を認識することも可能である。ステップS4において、CPU101は、ユーザの顔についてスキャン動作を行う。具体的には、予め指定されている領域(HDD110、メモリカードおよびDVD内で指定された記憶領域)に格納されているアルバム、画像ファイルのうち認識したユーザ(本例では人物B)の顔画像を含むアルバム、画像ファイルを検索する。
スキャン動作には、特開2002−333652号公報に開示されている技術を用いる。上記公報に開示される技術は、撮影画像から人物の顔を検出し、検出した顔のうち予め登録されている容貌情報と合致する顔を検出するものである。ステップS4のスキャン動作では、各アルバムおよび各画像ファイルから人物の顔を検出し、検出した顔のうちユーザの顔について予め登録されている容貌情報(本例では人物Bについての容貌情報)と合致する顔を検出する。CPU101は、ユーザの顔(本例では人物Bの顔)が被写体として含まれている各アルバム、各画像ファイルの名称および格納場所を示す情報をメモリ内に保存してステップS5へ進む。
スキャン動作において各アルバムおよび各画像ファイルから検出した人物の顔画像のみを、参照用の顔情報ファイルとして当該アルバムおよび当該画像ファイルに関連づけてHDD110(メモリカードおよびDVD内でもよい)に保存するようにしてもよい。この場合には、各アルバムおよび各画像ファイルから人物の顔を検出する代わりに、参照用の顔情報ファイルから人物の顔を検出すればよいので、各アルバムおよび各画像ファイルから人物の顔を検出する場合に比べて、次回以降のスキャン速度を速めることができる。なお、各アルバムおよび各画像ファイルがHDD110(メモリカードおよびDVD内でもよい)に蓄積された時点で、参照用の顔情報ファイルを生成する構成にしても構わない。
ステップS5において、CPU101は、ユーザの顔が含まれるアルバムおよび画像ファイルを表示モニタ30にサムネイル表示させてステップS6へ進む。具体的には、認識した人物に関する「写真」メニュー画面の表示に必要な映像信号を生成し、生成した信号を通信制御部108から表示モニタ30へ送信させる。図8は、表示モニタ30に表示される人物Bについての「写真」メニュー画面を例示する図である。CPU101は、人物Bの顔がより多く含まれる(登場する)順に、アルバムアイコンおよび画像ファイル名を並べて表示させる。
図8の例では、「A旅行」アルバムアイコン、「B旅行」アルバムアイコン、「クリスマス」アルバムアイコン、「正月」アルバムアイコン、アルバムに登録されていない画像ファイル名が含まれる。アルバムアイコンの表示にアルバム内の代表画像(サムネイル)を含める点、およびアルバムに登録されていない画像ファイル名の表示はそのサムネイル画像とともに表示する点は、図5の場合と同様である。
人物Bの他にも人物(人物A、人物C)を認識している場合におけるステップS5のサムネイル表示は、最も数多くの顔が含まれる人物から順番に表示する。CPU101は、ページ切替を指示する操作信号がリモコン制御部103または操作部材104から入力されると、その次に多くの顔が含まれる人物(たとえば人物A)についてのサムネイル表示を行わせる。このように、ページ切替を示す操作信号が入力されるごとに、認識しているそれぞれの人物に関するアルバムや画像ファイル等のサムネイル表示が行われる。
なお、ユーザ認識した人物の顔が含まれるアルバムおよび画像ファイルが存在しない場合や、認識処理において抽出された全ての顔が未登録である場合には、上記通常処理において行う表示(ステップS11)と同様に、作成日時が新しいものから順番にアルバムアイコンおよび画像ファイル名を表示させる。この場合、当該再生装置10の所有者が予め登録した画像(たとえば、お気に入りフォルダに格納されている画像)をサムネイル表示に含める構成にしてもよい。
図3のステップS6において、CPU101は選択指示されたか否かを判定する。CPU101は、「OK」ボタン操作を示す操作信号がリモコン制御部103または操作部材104から入力されるとステップS6を肯定判定してステップS7へ進み、「OK」ボタン操作を示す操作信号が入力されない場合にはステップS6を否定判定し、ステップS12へ進む。アイコンまたはファイル名上のカーソル(不図示)は、リモコン制御部103または操作部材104からの操作信号に応じて移動するようにCPU101が映像信号を生成する。生成した信号は、通信制御部108から表示モニタ30へ送信される。
ステップS7において、CPU101は再生動作を開始させてステップS8へ進む。具体的には、表示モニタ30の画面上でカーソルが位置するアルバムアイコン(または画像ファイル)に対応する画像ファイルをHDD110(またはメモリカード、もしくはDVD)から読み出し、読み出した内容を表示モニタ30に再生表示させるための映像信号を生成し、生成した信号を通信制御部108から表示モニタ30へ送信させる。これにより、表示モニタ30によってアルバムなどの再生が行われる。
なお、再生する画像ファイルに音楽ファイルが関連づけられている場合は、当該音楽ファイルをHDD110(またはメモリカード、もしくはDVD)から読み出し、読み出した内容を表示モニタ30に音響再生させるための音響信号を生成し、生成した信号を通信制御部108から表示モニタ30へ送信させる。選択指示後の再生は、ステップS11の写真鑑賞に関して説明した内容と同様である。
ステップS8において、CPU101は、終了指示されたか否かを判定する。CPU101は、終了を指示する操作信号がリモコン制御部103または操作部材104から入力されるとステップS8を肯定判定し、所定の電源オフ処理を行って図3によるメイン処理を終了する。CPU101は、終了を指示する操作信号が入力されない場合にはステップS8を否定判定し、ステップS1へ戻る。
ステップS1へ戻る場合は再び認識処理(ステップS2)を行うので、前回の認識処理時と異なるユーザが表示モニタ30を観察している場合には新たなユーザが認識され、認識された人物についての「写真」メニュー画面が表示モニタ30に表示される(ステップS5)。
ステップS6を否定判定して進むステップS12において、CPU101はメニュー操作されたか否かを判定する。CPU101は、リモコン制御部103または操作部材104から操作信号が入力されるとステップS12を肯定判定してステップS9へ戻り、操作信号が入力されない場合にはステップS6へ戻る。
<認識処理>
認識処理の詳細について、図9のフローチャートを参照して説明する。図9のステップS21において、CPU101はカメラ撮影を指示してステップS22へ進む。具体的には、撮影を指示する制御信号と、撮影画像を再生装置10へ送信する指示の制御信号とを通信制御部108から電子カメラ20へ送信させる。これにより、撮影を行った電子カメラ20から再生装置10へ撮影画像が送信される。電子カメラ20は、撮影画像を送信後に当該画像データを保存しない(消去する)ように制御される。
電子カメラ20は、撮影を指示する制御信号を受けると作動ランプ20a(図1)を点灯させ、情報再生システムが利用者を撮影して利用者認識処理を行うことを表示モニタ30を観察する人物A〜人物Cに知らせる。なお、再生装置10自身が認識処理ランプ10a(図1)を点灯させ、上記人物A〜人物Cへ電子カメラ20が作動中であることを知らせる構成にしてもよい。さらにまた、カメラマーク30a(図1)もしくは電子カメラ20から送信された撮影画像30b(図1)を表示モニタ30上の表示内容に含めるための映像信号を再生装置10が生成し、生成した信号を通信制御部108から表示モニタ30へ送信させることにより、表示モニタ30の表示によって上記人物A〜人物Cへ電子カメラ20が作動中であることを知らせる構成にしてもよい。
図9のステップS22において、CPU101は、通信制御部108で受信された撮影画像について顔抽出を行ってステップS23へ進む。ステップS22以降ステップS25までの処理は、たとえば、特開平9−251534号公報に開示されている技術を用いる。上記公報に開示される技術は、撮影画像から人物の顔領域を抽出し、抽出した顔領域から特徴点データ(目、鼻の位置など)を取得し、この特徴点データを用いて予め登録されている人物を識別するものである。
CPU101は、通信制御部108へ指示および映像信号を送り、電子カメラ20が撮影した画像を表示モニタ30に行わせる。図10は、この時点において表示モニタ30に表示される画面を例示する図である。図10において、人物A、人物Bおよび人物Cの3人が表示されている。撮影画像の左右を反転した画像を再生表示する構成とすれば、表示画面を観察する人物A、人物Bおよび人物Cの3人にとって、表示されている人物と自己との対応関係がわかりやすい。
図9のステップS23において、CPU101は抽出した顔領域から特徴点データを取得し、取得したデータをメモリを一時記憶してステップS24へ進む。ステップS24において、CPU101はデータベースとの照合を行う。具体的には、一時記憶した特徴点データから生成される正規化画像と、予めデータベースに登録されている登録者の辞書画像とを比較してステップS25へ進む。
ステップS25において、CPU101は上記照合によって算出される類似度が所定値以上か否かを判定する。CPU101は、抽出した全ての顔について、上記正規化画像との間の類似度が所定値以上となる辞書画像がデータベースに登録されている場合、ステップS25を肯定判定してステップS26へ進む。この場合は、人物A、人物Bおよび人物Cの3人がいずれも認証された場合である。抽出した顔の人物を認証したCPU101は、通信制御部108へ指示および映像信号を送り、表示モニタ30に表示中の撮影画像に重ねて、抽出した各々の顔を囲む枠(人物A〜Cの3人を認証した場合は枠P1〜P3)をオーバーレイ表示させる(図10)。ステップS26において、CPU101は、電子カメラ20から受信した撮影画像、一時記憶した特徴点データおよびこのデータから生成した正規化画像をメモリから削除して図9による処理を終了する。
一方、CPU101は、抽出した少なくとも1つの顔について、上記正規化画像との間で類似度が所定値以上となる辞書画像がデータベースに登録されていなければ、ステップS25を否定判定してステップS27へ進む。たとえば、人物Aおよび人物Cを認証し、人物Bを認証していない場合、図10において枠P1およびP3がオーバーレイ表示される。
ステップS27において、CPU101は登録指示操作されたか否かを判定する。CPU101は、通信制御部108へ指示および映像信号を送り、たとえば、「ユーザ登録しますか?」というメッセージを、表示モニタ30に表示中の撮影画像に重ねてオーバーレイ表示させる。CPU101は、リモコン制御部103または操作部材104から登録指示を示す操作信号が入力されるとステップS27を肯定判定してステップS28へ進み、登録指示を示す操作信号が入力されない場合にはステップS27を否定判定してステップS29へ進む。
ステップS28において、CPU101は、抽出されている顔であって、未登録の顔画像(たとえば人物B)を辞書画像として登録するとともに、通信制御部108へ指示および映像信号を送り、表示モニタ30に表示中の撮影画像に重ねて、登録した顔を囲む二重枠(P2)をオーバーレイ表示させる。CPU101はさらに、電子カメラ20から受信した撮影画像、一時記憶した特徴点データおよびこのデータから生成した正規化画像をメモリから削除し、図9による処理を終了する。
ステップS29において、CPU101は、電子カメラ20から受信した撮影画像、一時記憶した特徴点データおよびこのデータから生成した正規化画像をメモリから削除し、図9による処理を終了する。
以上説明した第一の実施形態によれば、次の作用効果が得られる。
<使い勝手について>
(1)情報再生システムは、視聴するユーザを認識し、システム内に有する再生ソースの中から認識したユーザに関連する再生ソースを自動的に選ぶ(ステップS4)。これにより、たとえばユーザが視聴位置に座った場合、当該ユーザが被写体として登場する画像や、この画像に関連づけられている音楽が自動的に選択される。ユーザは、再生して欲しい再生ソースの情報を予め情報再生システムに入れておかなくてもよく、使い勝手がよい情報再生システムを提供できる。
(2)情報再生システムは、認識したユーザの顔がより多く含まれる順に選んだ再生ソースのサムネイル画像を表示モニタ30上に提示した(ステップS5)ので、ユーザは、再生ソースの中身を確認しなくても、自身が最もたくさん登場する再生ソースを知ることができる。
(3)情報再生システムは、サムネイル表示した再生ソースの中から選択指示されたものを再生する(ステップS7)ので、ユーザは、視聴したい再生ソースを簡単に視聴できる。
(4)情報再生システムは、ユーザ認識処理を行わない通常処理においてアルバムアイコンおよび画像ファイル名を表示モニタ30上に提示する際(ステップS11)、作成日時が新しいものから順番に示したので、ユーザは、再生ソースの中身を確認しなくても、最も新しい再生ソースを知ることができる。
<プライバシー保護について>
(5)情報再生システムは、電子カメラ20に作動ランプ20a(図1)を点灯させたり、再生装置10に作動ランプ10aを点灯させたり、表示モニタ30による表示内容にカメラマーク30aをオーバーレイ表示もしくは撮影画像30bを重ねる(ピクチャー・イン・ピクチャー)ことによって、ユーザを認識する処理を行うことを表示モニタ30を観察する人物A〜人物Cに知らせるようにしたので、利用者が知らないうちに認識処理を行うことが防止される。
(6)再生装置10は、認識処理において抽出した未登録の顔画像のうち、登録が指示された顔画像を辞書画像として登録する(ステップS28)場合を除き、ステップS23において一時記憶した特徴点データおよびこのデータから生成した正規化画像、ならびに電子カメラ20から受信した撮影画像をメモリから削除する(ステップS26、ステップS29、ステップS28後段)。また、再生装置10へ撮影画像を送信後に当該画像データを保存しない(消去する)ように電子カメラ20を制御したので、認識処理で撮影した画像がシステム内に残らず、ユーザのプライバシーに配慮した情報再生システムを提供できる。
(変形例1)
カメラマーク30aの代わりに「カメラ作動中」のようなメッセージを表示モニタ30に表示させてもよい。
(変形例2)
上記ステップS1を肯定判定した以降の自動起動処理は、「人物B」についての「人物設定」メニューにおいて画像の検索が「オン」選択されている場合を例に説明した。すなわち、認識した「人物B」の顔がより多く含まれる再生ソースのサムネイル画像を表示モニタ30に表示させた(ステップS5)。これに対し、「人物B」についての「人物設定」メニューにおいて画像の検索が「オフ」選択されている場合には、当該人物Bの顔画像を検索対象から除外する。この場合のステップS5においては、人物Bを除く他の認識ユーザ(たとえば、人物A)が被写体となっている画像や、この画像に関連づけられている音楽を自動的に選択でき、「人物A」の顔がより多く含まれる再生ソースのサムネイル画像を表示モニタ30に表示できる。この結果、「人物B」がゲストとして「人物A」を招いた場合、ゲストがより多く登場する再生ソースを優先して選ぶことができる。
(変形例3)
複数の人物を認識している場合におけるステップS5のサムネイル表示の例として、再生ソースに最も数多くの顔が含まれる人物から順番に表示するように説明した。この代わりに、予め登録されている人物の優先順位に基づいて表示するようにしてもよい。たとえば、人物A〜人物Cの優先順が人物C、人物A,人物Bの順番で登録されている場合、再生ソースに登場する数にかかわらず、人物C、人物A,人物Bの順番でサムネイル表示を行う。CPU101は、ページ切替を指示する操作信号がリモコン制御部103または操作部材104から入力されると、その次の優先順位の人物についてのサムネイル表示を行わせる。このように、優先した人物に関するアルバムや画像ファイル等のサムネイル表示を簡単に行うことができる。
(変形例4)
複数の人物を認識した場合に認識した人物の一覧を表示モニタ30に表示させ、その一覧の中からリモコン制御部103または操作部材104からの操作信号によって優先順位を定めたり、検索対象から除外する人物を選択するように構成してもよい。
(変形例5)
以上の説明では、抽出した少なくとも1つの顔が未登録(すなわち、類似度が所定値以上となる辞書画像がデータベースに登録されていない)である場合に登録指示操作されたか否かの判定処理(ステップS27)へ進むようにしたが、その前に、たとえば「利用者認識を行いますか?」というメッセージを表示モニタ30に表示させた上で、リモコン制御部103または操作部材104から「OK」を示す操作信号が入力された場合にステップS27へ進むようにしてもよい。「OK」を示す操作信号が入力されない場合は、一時記憶した特徴点データおよびこのデータから生成した正規化画像、ならびに電子カメラ20から受信した撮影画像をメモリから削除し、上述した自動起動フラグをオフにして図9による処理を終了する。これにより、登録を望まない視聴者が存在する場合に以降の認識処理を防止できる。
(変形例6)
また、ステップS25を否定判定した場合、抽出した全ての顔が未登録であれば認識処理を中止する構成としてもよい。この場合には、人物A、人物Bおよび人物Cの3人がいずれも認証されない場合に、たとえば「自動起動設定を解除します」というメッセージを表示モニタ30に表示させた上で、一時記憶した特徴点データおよびこのデータから生成した正規化画像、ならびに電子カメラ20から受信した撮影画像をメモリから削除し、上述した自動起動フラグをオフにして図9による処理を終了する。これにより、視聴者全員が未登録の状況では情報再生システムに通常処理を行わせて、無駄な認識処理を繰り返すことを防止できる。
(変形例7)
また、特定のユーザを認識した場合に通常処理へ移る構成としてもよい。この場合には、登録済みの人物のうち、予め指定されている人物が認証された場合に、たとえば「自動起動設定を解除します」というメッセージを表示モニタ30に表示させた上で、一時記憶した特徴点データおよびこのデータから生成した正規化画像、ならびに電子カメラ20から受信した撮影画像をメモリから削除し、上述した自動起動フラグをオフにして図9による処理を終了する。これにより、特定の人物が視聴する状況では、情報再生システムに通常処理を行わせることができる。この場合、当該特定の人物が認証されなくなった場合に自動起動フラグをオンに戻してもよい。
(変形例8)
電子カメラ20が非作動中に撮影レンズのレンズバリアを閉じる構成にしてもよい。電子カメラ20が作動ランプ20aを有していない場合には、レンズバリアの開鎖によってユーザを認識する処理が行われることを、レンズバリアの開鎖によってユーザを認識する処理が行われないことを、それぞれ表示モニタ30を観察する人物A〜人物Cに知らせることができる。
(変形例9)
図1に例示した情報再生システムは、再生装置10および電子カメラ20間を無線または有線で接続するものであるが、図11に例示するように、再生装置10の接続部15に外部機器である電子カメラ20を直接ドッキングさせる構成としてもよい。
(変形例10)
また、外部機器である電子カメラ20をクレードル25上に載置し、クレードル25と再生装置10とを有線または無線で接続する構成としてもよい。
(変形例11)
さらに、クレードル25にカメラ25aを内蔵し、電子カメラ20を用いずにクレードル25を介して認識処理を行う構成としてもよい。この場合の再生装置10は、外部機器であるクレードル25にカメラ撮影を指示する。具体的には、カメラ25aによる撮影を指示する制御信号と、撮影画像を再生装置10へ送信する指示の制御信号とを外部インターフェイス106から送信させる。これにより、撮影を行ったクレードル25から再生装置10へ撮影画像が送信される。クレードル25が撮影画像を送信後に当該画像データを保存しない点は、電子カメラ20を用いて認識処理を行う場合と同様である。
(変形例12)
再生装置10の外部インターフェイス106にネットワークカメラ21を接続し、外部機器としてのネットワークカメラ21で得られる画像を用いて認識処理を行うようにしてもよい。LAN接続の代わりにUSB接続するものでよい。
(第二の実施形態)
図12は、本発明の第二の実施形態による認識処理の流れを説明するフローチャートである。図12の処理は、CPU101が図9の処理に代えて実行する。図9および図12間の相違点は、図12においてステップS22およびステップS23間にステップS31〜ステップS36が追加される点と、ステップS25を否定判定後にステップS25Aが追加される点であるので、これら相違点を中心に説明する。
ステップS22の次に進むステップS31において、CPU101は、顔領域を抽出したか否かを判定する。CPU101は、人物の顔を抽出した場合にステップS31を肯定判定してステップS23へ進み、人物の顔を抽出しなかった場合にはステップS31を否定判定してステップS32へ進む。
ステップS32において、CPU101は、電子カメラ20の撮影ズームレンズが広角端か否かを判定する。CPU101は、通信制御部108で受信される電子カメラ20の情報がズーム広角端を示す場合にステップS32を肯定判定してステップS34へ進み、ズーム広角端を示さない場合にはステップS32を否定判定し、ステップS33へ進む。
ステップS33において、CPU101は通信制御部108へ指示を送り、電子カメラ20の撮影ズームレンズを広角側へ移動させる制御信号を送信させてステップS34へ進む。ステップS34において、CPU101は、ステップS21(カメラ撮影)およびステップS22(顔抽出)を所定回数(たとえば60回)繰り返したか否かを判定する。CPU101は、繰り返し回数が所定回数に達した場合にステップS34を肯定判定してステップS35へ進み、繰り返し回数が所定回数に満たない場合にはステップS34を否定判定してステップS36へ進む。
ステップS35において、CPU101は、たとえば「自動起動設定を解除します」というメッセージを表示モニタ30に表示させた上で、上述した自動起動フラグをオフにして図12による処理を終了する。これにより、顔抽出できない状況では情報再生システムに通常処理を行わせる。ステップS36において、CPU101はウェイト(たとえば1秒間)を挿入してステップS21へ戻る。これにより、1秒間隔で顔抽出が再度行われる。
ステップS25を否定判定して進むステップS25Aにおいて、CPU101は、利用者データと合致するか否かを判定する。利用者データは、ステップS24で用いられる登録者の辞書画像とともにデータベースに含まれるデータであり、その登録者が過去に認証された曜日、時間帯および同時期に認証された人物などを示す。CPU101は、正規化画像との間で類似度が所定値以上とならないものの、類似の辞書画像がデータベースに登録されている場合は当該辞書画像に関連づけられている利用者データを参照する。参照した結果、曜日、時間帯、およびいっしょに認証された人物の少なくとも1つについて利用者データと合致すれば、ステップS25Aを肯定判定してステップS26へ進む。
一方、CPU101は、利用者データを参照した結果、曜日、時間帯、およびいっしょに認証された人物のいずれもが利用者データと合致しない場合には、ステップS25Aを否定判定してステップS27へ進む。
以上説明した第二の実施形態によれば、次の作用効果が得られる。
<ユーザを特定できない場合の対応について>
(1)認識処理でユーザを認識できない場合、所定回数に達するまで認識処理を繰り返すようにしたので、たまたまユーザの顔が電子カメラ20の方向を向いていないことがあっても、再度の認識処理によってユーザを認識する可能性を高められる。
(2)ステップS21(カメラ撮影)およびステップS22(顔抽出)を所定回数繰り返してもユーザを特定できない場合には、自動起動フラグをオフ(ステップS35)にする。これにより、ユーザを特定できない状況では情報再生システムに通常処理を行わせて、無駄な認識処理を繰り返すことを防止できる。
(3)電子カメラ20の撮影ズームレンズが広角端になければ広角側へレンズ移動させ(ステップS33)、再度認識処理を繰り返すようにしたので、たまたまユーザの顔が撮影画角内に入らないことがあっても、再度の認識処理によってユーザを認識する可能性を高められる。
(4)正規化画像との間で類似度が所定値以上とならないものの、類似の辞書画像がデータベースに登録されている場合は当該辞書画像に関連づけられている利用者データを参照することによってユーザを認証する(ステップS25A)ようにした。利用者データを参照した結果、曜日、時間帯、およびいっしょに認証された人物の少なくとも1つが利用者データと合致すれば、正規化画像の人物が当該類似の辞書画像の登録者であると推定し、認証を行う。この結果、ユーザの顔が横向きであっても、認識する可能性を高めることができる。
(第三の実施形態)
図13は、本発明の第三の実施形態による認識処理の流れを説明するフローチャートである。図13の処理は、CPU101が図12の処理に代えて実行する。図12および図13間の相違点は、図13においてステップS32〜ステップS36の代わりにステップS41〜ステップS47が追加される点であるので、これら相違点を中心に説明する。
ステップS31を否定判定して進むステップS41において、CPU101は輝度がOKか否かを判定する。CPU101は、電子カメラ20から送信された画像データが示す明るさが所定値以上であればステップS41を肯定判定してステップS45へ進み、明るさが所定値未満であればステップS41を否定判定してステップS42へ進む。
ステップS42において、CPU101は電子カメラ20の撮像感度をアップ済みか否かを判定する。CPU101は、通信制御部108で受信される電子カメラ20の情報が感度アップしたことを示す場合にステップS42を肯定判定してステップS43へ進み、感度アップしたことを示さない場合にはステップS42を否定判定し、ステップS44へ進む。
ステップS43において、CPU101は照明指示を行う。照明指示は次の4通りがあり、CPU101は4通りの照明指示のうち、予め選択指示されている照明指示を行ってステップS45へ進む。
(照明指示1)
カメラ撮影時(ステップS21)に電子カメラ20に照明光を発光させる。照明指示1を行うCPU101は、通信制御部108へ指示を送り、撮影時に電子カメラ20の照明装置から照明光を発するように電子カメラ20へ制御信号を送信させる。照明光量は、顔検出に必要な最小限の微弱な発光量でよい。
(照明指示2)
情報再生システムが置かれている室内の照明光の光量をアップさせる。照明指示2を行うCPU101は、通信制御部108へ指示を送り、不図示の室内照明装置が発する光量を増やすように制御信号を送信させる。
(照明指示3)
カメラ撮影時(ステップS21)に表示モニタ30に所定数フレーム(本例では1フレーム)分の高輝度表示(たとえば、白色表示)を行わせる。照明指示3を行うCPU101は、白色画面の表示に必要な映像信号を生成し、生成した信号を通信制御部108から表示モニタ30へ送信させる。白色画面は、表示モニタ30に表示中のメニュー画面または再生映像などの1コマとして挿入させる。通信制御部108は、電子カメラ20に対する撮影指示と表示モニタ30に対する高輝度表示指示とが同期するように、それぞれの制御信号を送信する。
(照明指示4)
所定以上の明るさが得られる状態で電子カメラ20にカメラ撮影(ステップS21)を行わせる。照明指示4を行うCPU101は、通信制御部108へ指示を送り、所定輝度が得られるタイミングで撮影するように電子カメラ20へ制御信号を送信させる。この制御信号を受けた電子カメラ20は、たとえば、1秒当たり60フレームで撮像を繰り返し、画像データが示す明るさが所定値以上であることを検出すると撮影(ステップS21)を行い、この撮影画像を再生装置10へ送信する。CPU101は、送信された撮影画像を用いて顔抽出を行う(ステップS22)。照明指示4を行う場合の情報再生システムは、所定値以上の明るさを検出するまで認識処理を中断することになる。
ステップS44において、CPU101は通信制御部108へ指示を送り、電子カメラ20の撮像感度をアップさせる制御信号を送信させてステップS45へ進む。ステップS45〜ステップS47の各処理は、図12におけるステップS34〜ステップS36の各処理と同様なので説明を省略する。
以上説明した第三の実施形態によれば、次の作用効果が得られる。
<ユーザを特定できない場合の対応について>
(1)低輝度の場合、電子カメラ20が撮影感度アップしていなければ感度をアップさせ(ステップS44)、再度認識処理を繰り返すようにしたので、再度の認識処理によってユーザを認識する可能性を高められる。
(2)低輝度の場合、電子カメラ20が撮影感度アップ済みであれば照明指示を行い(ステップS43)、再度認識処理を繰り返すようにしたので、再度の認識処理によってユーザを認識する可能性を高められる。
(3)照明指示1を行うことにより、カメラ撮影時(ステップS21)に電子カメラ20の照明装置から顔検出に必要な最小限の微弱な光を発光させるので、表示モニタ30を観察するユーザが眩しく感じることがない。
(4)照明指示2を行うことにより、室内照明光の光量をアップさせるので、表示モニタ30を観察するユーザが眩しく感じることがない。
(5)照明指示3を行うことにより、カメラ撮影時(ステップS21)に表示モニタ30に1フレーム分白色表示させるので、電子カメラ20は白色画面に照らされたユーザを撮影できる。一方、表示モニタ30を観察するユーザは白色表示に気づかないため、白色表示を不快に感じることがない。
(6)照明表示4を行うことにより、室内が明るくなったタイミングでカメラ撮影(ステップS21)が行われる。室内が明るくなるのは、室内照明光が点灯された場合や、表示モニタ30による表示映像が明るく変化した場合が想定される。この場合にも、表示モニタ30を観察するユーザが不快に感じることがない。
(7)第二の実施形態と同様に、所定回数に達するまで認識処理を繰り返すようにしたので、たまたまユーザの顔が電子カメラ20の方向を向いていないことがあっても、再度の認識処理によってユーザを認識する可能性を高められる。
(8)第二の実施形態と同様に、所定回数繰り返してもユーザを特定できない場合には、自動起動フラグをオフさせたので、無駄な認識処理を繰り返すことを防止できる。
(9)第二の実施形態と同様に、ユーザの顔が横向きであっても、認識する可能性を高めることができる。
(変形例13)
照明指示(ステップS43)では、4通りの照明指示の中から予め選択指示されている照明指示を行う例を説明した。この代わりに、照明指示の内容を切替える構成にしてもよい。たとえば、照明指示の優先順位を照明指示1、照明指示2、照明指示3、照明指示4の順番と定め、ステップS43の処理を行うごとに照明指示の内容を切替える。これにより、低輝度時に照明指示を行っても顔抽出できない場合、照明指示の内容を変えて認識処理を繰り返すので、再度の認識処理によってユーザを認識する可能性を高めることができる。
(変形例14)
ステップS45(ステップS34)において判定する繰り返し回数を60回としたが、画像データが示す明るさが撮影に必要な明るさに満たない場合は回数を減らしてもよい(たとえば、60回→10回)。これにより、低輝度時に認識処理を繰り返す頻度が下がり、認識処理を無駄に行う回数を減らすことができる。
(変形例15)
再生装置10による自動起動フラグのオン/オフ切替は、「利用者認識」メニュー画面(図6)における「自動起動」アイコン選択時の他に、次の各タイミングで行ってもよい。
<自動起動フラグオフ→フラグオンへの切替>
−オンタイミング1−
CPU101は、通常処理(ステップS9〜ステップS11)において「写真」メニュー画面(図5)を表示させるタイミングで自動起動フラグオフ→フラグオンへ切替える。これにより、ステップS1へ戻った後に認識処理(ステップS2)へ進むことができるので、図5のサムネイル表示の代わりに、認識したユーザがより多く登場する再生ソースを優先して選んだ図8のサムネイル表示を行うことができる。
−オンタイミング2−
CPU101は、通常処理(ステップS9〜ステップS11)においてスライドショー指示された(リモコン制御部103または操作部材104からスライドショー再生させる操作信号が入力される)タイミングで自動起動フラグオフ→フラグオンへ切替える。これにより、ステップS1へ戻った後に認識処理(ステップS2)へ進むことができるので、認識したユーザがより多く登場する再生ソースを優先して選び、スライドショー表示することができる。
−オンタイミング3−
CPU101は、通常処理(ステップS9〜ステップS11)において、電子カメラ20と再生装置10との間の通信が成立したタイミングで自動起動フラグオフ→フラグオンへ切替える。これにより、ステップS1へ戻った後に認識処理(ステップS2)へ進むことができるので、認識したユーザがより多く登場する再生ソースを優先して選び、サムネイル表示したり、スライドショー表示したりすることができる。なお、カメラとの間の通信成立判定は、上述した図1のシステム構成の他、変形例9、変形例10、変形例11、変形例12のいずれの態様であっても構わない。通信成立の判定は、電子カメラ20が通信範囲内へ持ち込まれた場合、電子カメラ20のメインスイッチがオンされた場合、再生装置10の接続部15に電子カメラ20が接続された場合、クレードル25および再生装置10間が接続された場合、クレードル25および電子カメラ20間が接続された場合などに所定のプロトコルで通信が行われ、通信が成立した場合に行われる。
−オンタイミング4−
電子カメラ20がレンズバリアを備える場合(変形例8)、CPU101は、通常処理(ステップS9〜ステップS11)において電子カメラ20のレンズバリア開鎖が再生装置10へ報知されたタイミングで自動起動フラグオフ→フラグオンへ切替える。これにより、ステップS1へ戻った後に認識処理(ステップS2)へ進むことができるので、認識したユーザがより多く登場する再生ソースを優先して選び、サムネイル表示したり、スライドショー表示したりすることができる。
<自動起動フラグオン→フラグオフへの切替>
−オフタイミング1−
CPU101は、自動起動が許可されている処理(ステップS2〜ステップS7)において、ステップS7の再生処理(アルバム再生やスライドショー再生)を開始したタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、ステップS1へ戻った後に通常処理(ステップS9〜ステップS11)へ進むので、再び自動起動フラグがオンされるまで認識処理(ステップS2)を行わなくなり、電子カメラ20による電力消費を抑えることができる。
−オフタイミング2−
CPU101は、自動起動が許可されている処理(ステップS2〜ステップS7)において、メニュー画面(たとえば、図8)を表示させたタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、認識したユーザがより多く登場する再生ソースを優先して選んだ後は、再び自動起動フラグがオンされるまで認識処理(ステップS2)を行わないので、電子カメラ20による電力消費を抑えることができる。
−オフタイミング3−
CPU101は、電源オフ処理を行う場合、電源オフ処理に先立つタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、電源オフ処理中に認識処理(ステップS2)を行わないので、電子カメラ20による電力消費を抑えることができる。
−オフタイミング4−
CPU101は、スリープ動作を行う場合、スリープ動作が指示されたタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、スリープ動作中に認識処理(ステップS2)を行わないので、電子カメラ20による電力消費を抑えることができる。
−オフタイミング5−
CPU101は、自動起動が許可されている処理(ステップS2〜ステップS7)において、電子カメラ20と再生装置10との間の通信異常を検出したタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、電子カメラ20から撮影画像が送信されないおそれがある状況で認識処理(ステップS2)を行わなくなり、無駄な処理を避けることができる。通信異常の判定は、電子カメラ20が通信範囲外へ持ち出された場合、電子カメラ20のメインスイッチがオフされた場合、再生装置10の接続部15から電子カメラ20が外れた場合、クレードル25および再生装置10間の接続が外れた場合、クレードル25および電子カメラ20間の接続が外れた場合など、通信が成立しなくなった場合に行われる。
−オフタイミング6−
CPU101は、自動起動が許可されている処理(ステップS2〜ステップS7)において、電子カメラ20のレンズバリア閉鎖が再生装置10へ報知されたタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、認識処理(ステップS2)を行わなくなり、無駄な撮影処理を避けることができる。
−オフタイミング7−
CPU101は、認識処理(ステップS2)で抽出した少なくとも1つの顔が未登録であって、「利用者認識を行いますか?」というメッセージを表示モニタ30に表示させてもリモコン制御部103または操作部材104から「OK」を示す操作信号がされなかったタイミングで自動起動フラグオン→フラグオフへ切替える(変形例5に相当)。これにより、登録を望まない視聴者が存在する場合に以降の認識処理を止めて通常処理を行うことができる。
−オフタイミング8−
CPU101は、認識処理(ステップS2)で抽出した全ての顔が未登録であれば、「自動起動設定を解除します」というメッセージを表示モニタ30に表示させた後のタイミングで自動起動フラグオン→フラグオフへ切替える(変形例6に相当)。これにより、視聴者全員が未登録の状況では以降の認識処理を止めて通常処理を行うことができる。
−オフタイミング9−
CPU101は、認識処理(ステップS2)で特定のユーザを認識したタイミングで自動起動フラグオン→フラグオフへ切替える(変形例7に相当)。これにより、特定の人物が視聴する状況で以降の認識処理を止めて通常処理を行うことができる。
−オフタイミング10−
CPU101は、認識処理において顔抽出できないままステップS21(カメラ撮影)およびステップS22(顔抽出)を所定回数繰り返した場合、「自動起動設定を解除します」というメッセージを表示モニタ30に表示させた後のタイミングで自動起動フラグオン→フラグオフへ切替える(第二実施形態、第三実施形態に相当)。これにより、ユーザを特定できない状況では無駄な処理を繰り返すことを防止できる。
(変形例16)
上述した自動起動が許可されている処理(ステップS2〜ステップS7)では、自動起動フラグオンであれば認識処理(ステップS2)が自動的に行われるが、通常処理(ステップS9〜ステップS11)においては認識処理は行われない。そこで、変形例16においては通常処理中にも認識処理を強制的に行うようにする。この場合の再生装置10のCPU101は、通常処理中に入力されるメニュー操作信号に応じて「認識スタート」アイコン(図6)を選択したタイミングで認識処理を開始する。
−強制認識処理1−
CPU101は、通常処理において「写真」メニュー画面(図5)を表示させている状態で「認識スタート」アイコンの選択指示を受けると、「写真」メニュー画面(図5)を表示させたままバックグラウンドで認識処理(図9、図12または図13)を開始する。これにより、認識処理後、図5のサムネイル表示に代えて、認識したユーザがより多く登場する再生ソースを優先して選んだ図8のサムネイル表示を行うことができる。なお、各階層のメニュー画面は、互いに重ならないように並べて表示される。
−強制認識処理2−
CPU101は、通常処理においてスライドショー表示させている状態で「認識スタート」アイコンの選択指示を受けると、スライドショー表示を継続したままバックグラウンドで認識処理(図9、図12または図13)を開始する。これにより、認識処理後にスライドショー表示を中断することなく、スライドショー表示する画像を認識したユーザがより多く登場する画像に切替えてスライドショー表示することができる。なお、スライドショー表示中のメニュー画面は、スライドショー表示されている画像の一部に重ねられる(ピクチャー・イン・ピクチャー)。
−強制認識処理3−
CPU101は、通常処理においてアルバム表示させている状態で「認識スタート」アイコンの選択指示を受けると、アルバム表示を継続したままバックグラウンドで認識処理(図9、図12または図13)を開始する。これにより、認識処理後にアルバム表示に代えて、認識したユーザがより多く登場する再生ソースを優先して選んだ図8のサムネイル表示を行い、ユーザによる表示指示を待つことができる。なお、アルバム表示中のメニュー画面は、アルバム表示されている画像の一部に重ねられる(ピクチャー・イン・ピクチャー)。
−強制認識処理4−
CPU101は、通常処理においてスタートメニュー画面(図4)を表示させている状態で「認識スタート」アイコンの選択指示を受けると、スタートメニュー画面(図4)を表示させたままバックグラウンドで認識処理(図9、図12または図13)を開始する。これにより、認識処理後、図4のスタートメニュー表示に代えて、認識したユーザのオリジナルメニュー(当該ユーザによってオリジナルメニュー表示がオン設定されている場合)を表示させることができる。なお、オリジナルメニュー表示に変更する場合、変更前後でアイコン上のカーソル位置を揃える。ただし、変更前後で共通するアイコンが存在しない場合には最寄りアイコン上にカーソルを位置させる。
(変形例17)
表示モニタ30にテレビ放送を受信するTVチューナーを備え、復調した映像および音声を再生するテレビジョンセットで構成しても構わない。
(変形例18)
再生装置10、電子カメラ20および表示モニタ30を組み合わせて情報再生システムを構成する例を説明したが、再生装置10に電子カメラ20を内蔵したり、電子カメラ20に再生装置10を内蔵したり、表示モニタ30に電子カメラ20を内蔵したり、テレビジョンセットに電子カメラ20を内蔵したり、再生装置10およびテレビジョンセットを一体に構成したり、あるいは、再生装置10、電子カメラ20および表示モニタ30を一体に構成してもよい。
(変形例19)
ユーザを認識する処理は撮影画像から得られる顔認識技術を用いたが、顔認識技術と音声認識技術とを組み合わせてもよい。音声認識を行う場合には、情報再生システムを構成する機器のいずれかに集音機能を備え、集音した音声情報をユーザ認識処理に用いればよい。
(変形例20)
ユーザを認識する処理において顔認識技術と組み合わせる認識技術は、音声認識技術の他に、各ユーザがそれぞれリモコン送信機を使用する方式でもよい。この場合のリモコン送信機は、それぞれがユーザを示す情報を含めてリモコン操作信号を送信する。リモコン送信機には、ユーザごとに異なる組合わせに切替えられる認識用スイッチや、リモコン送信機自身にユーザを認識するための指紋認識手段が備えられる。
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。第一の実施形態〜第三の実施形態および変形例1〜変形例20は、それぞれを適宜組合わせて構成しても構わない。
本発明の第一の実施形態による情報再生システムを例示する図である。 再生装置の構成例を説明するブロック図である。 再生装置のCPUが行うメイン処理を説明するフローチャートである。 表示モニタに表示されるスタートメニュー画面を例示する図である。 表示モニタに表示される「写真」メニュー画面を例示する図である。 表示モニタに表示される「利用者認識」メニュー画面を例示する図である。 表示モニタに表示される「人物設定」メニュー画面を例示する図である。 人物Bについての「写真」メニュー画面を例示する図である。 認識処理の詳細について説明するフローチャートである。 表示モニタに表示される電子カメラによる撮影画像を例示する図である。 再生装置および電子カメラの変形例を説明する図である。 本発明の第二の実施形態による認識処理の流れを説明するフローチャートである。 本発明の第三の実施形態による認識処理の流れを説明するフローチャートである。
符号の説明
10…再生装置
11…リモコン送信機
20…電子カメラ
30…表示モニタ
101…CPU
103…リモコン制御部
104…操作部材
106…外部インターフェイス
108…通信制御部
110…HDD

Claims (11)

  1. ユーザ認識処理を行うユーザ認識手段と、
    前記ユーザ認識手段にユーザ認識処理を行う制御を指示する制御手段と、
    複数の再生ソースの中から前記ユーザ認識手段で認識されたユーザに関連する再生ソースを選ぶ再生ソース選択手段とを備えることを特徴とする再生装置。
  2. 請求項1に記載の再生装置において、
    前記再生ソース選択手段が選んだ再生ソースの情報を提示する再生ソース提示手段をさらに備え、
    前記制御手段は、前記再生ソース提示手段が前記提示を行う場合に前記ユーザ認識手段による前記認識処理を許可することを特徴とする再生装置。
  3. 請求項2に記載の再生装置において、
    前記制御手段は、前記再生ソース提示手段が前記提示を行った後に前記ユーザ認識手段による前記認識処理を非許可にすることを特徴とする再生装置。
  4. 請求項1に記載の再生装置において、
    前記再生ソース選択手段が選んだ再生ソースの再生信号を再生手段へ供給する信号供給手段をさらに備え、
    前記制御手段は、前記信号供給手段が前記供給を行う場合に前記ユーザ認識手段による前記認識処理を許可することを特徴とする再生装置。
  5. 請求項4に記載の再生装置において、
    前記制御手段は、前記信号供給手段が前記供給を開始後に前記ユーザ認識手段による前記認識処理を非許可にすることを特徴とする再生装置。
  6. 請求項1に記載の再生装置において、
    前記ユーザ認識手段による認識処理に用いるカメラをさらに備え、
    前記制御手段は、前記カメラとの間の通信が成立した場合に前記ユーザ認識手段による前記認識処理を許可することを特徴とする再生装置。
  7. 請求項6に記載の再生装置において、
    前記制御手段は、前記カメラとの間の通信異常を検出後に前記ユーザ認識手段による前記認識処理を非許可にすることを特徴とする再生装置。
  8. 請求項1に記載の再生装置において、
    前記再生ソース選択手段が選んだ再生ソースの情報を提示する再生ソース提示手段をさらに備え、
    前記制御手段は、前記再生ソース提示手段が前記提示を行っている状態で、指示に応じてただちに前記ユーザ認識手段による前記認識処理を開始させることを特徴とする再生装置。
  9. 請求項1に記載の再生装置において、
    前記再生ソース選択手段が選んだ再生ソースの再生信号を再生手段へ供給する信号供給手段をさらに備え、
    前記制御手段は、前記信号供給手段が前記供給を行っている状態で、指示に応じてただちに前記ユーザ認識手段による前記認識処理を開始させることを特徴とする再生装置。
  10. 請求項1〜請求項9のいずれか一項に記載の再生装置と、
    再生ソースの再生信号を再生する再生手段とを備えることを特徴とする再生システム。
  11. 請求項10に記載の再生システムと、
    テレビ放送を受信して再生信号を得る復調手段とを備えることを特徴とするテレビジョンセット。
JP2006179196A 2006-06-29 2006-06-29 再生装置 Expired - Fee Related JP4830670B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006179196A JP4830670B2 (ja) 2006-06-29 2006-06-29 再生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006179196A JP4830670B2 (ja) 2006-06-29 2006-06-29 再生装置

Publications (2)

Publication Number Publication Date
JP2008011145A true JP2008011145A (ja) 2008-01-17
JP4830670B2 JP4830670B2 (ja) 2011-12-07

Family

ID=39068957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006179196A Expired - Fee Related JP4830670B2 (ja) 2006-06-29 2006-06-29 再生装置

Country Status (1)

Country Link
JP (1) JP4830670B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008233957A (ja) * 2007-03-16 2008-10-02 Fujifilm Corp 画像選択装置、画像選択方法、撮像装置及びプログラム
KR101355325B1 (ko) * 2009-05-29 2014-01-27 제이에프이 스틸 가부시키가이샤 고로 조업 방법
JP2014110634A (ja) * 2012-12-04 2014-06-12 Kofukin Seimitsu Kogyo (Shenzhen) Yugenkoshi テレビ番組切替システム及びその方法
CN107170432A (zh) * 2017-03-31 2017-09-15 珠海市魅族科技有限公司 一种音乐产生方法和装置
JP2020187602A (ja) * 2019-05-16 2020-11-19 株式会社スター精機 機械作業メニュー画面の起動方法
JP2023021054A (ja) * 2021-07-29 2023-02-09 ネイバー コーポレーション 人物情報を利用した写真分類機能を提供する方法、コンピュータ装置、およびコンピュータプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002352230A (ja) * 2001-05-30 2002-12-06 Nippon Signal Co Ltd:The アクセスコントロールシステム
JP2003330804A (ja) * 2002-05-13 2003-11-21 Matsushita Electric Ind Co Ltd 画像蓄積表示装置及び画像蓄積表示方法
JP2004229070A (ja) * 2003-01-24 2004-08-12 Konica Minolta Holdings Inc ファイル分類装置、ファイル分類プログラム、デジタルカメラ及びファイル分類システム
JP2005020356A (ja) * 2003-06-26 2005-01-20 Matsushita Electric Ind Co Ltd ビデオ録画再生装置
JP2005354210A (ja) * 2004-06-08 2005-12-22 Olympus Corp 画像再生システムおよび画像ファイリングシステム
JP2006079460A (ja) * 2004-09-10 2006-03-23 Fuji Photo Film Co Ltd 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP2006100881A (ja) * 2004-09-28 2006-04-13 Sony Corp 記録再生装置、記録再生方法および記録再生システム
JP2006174291A (ja) * 2004-12-17 2006-06-29 Sony Corp 情報処理装置及び情報処理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002352230A (ja) * 2001-05-30 2002-12-06 Nippon Signal Co Ltd:The アクセスコントロールシステム
JP2003330804A (ja) * 2002-05-13 2003-11-21 Matsushita Electric Ind Co Ltd 画像蓄積表示装置及び画像蓄積表示方法
JP2004229070A (ja) * 2003-01-24 2004-08-12 Konica Minolta Holdings Inc ファイル分類装置、ファイル分類プログラム、デジタルカメラ及びファイル分類システム
JP2005020356A (ja) * 2003-06-26 2005-01-20 Matsushita Electric Ind Co Ltd ビデオ録画再生装置
JP2005354210A (ja) * 2004-06-08 2005-12-22 Olympus Corp 画像再生システムおよび画像ファイリングシステム
JP2006079460A (ja) * 2004-09-10 2006-03-23 Fuji Photo Film Co Ltd 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP2006100881A (ja) * 2004-09-28 2006-04-13 Sony Corp 記録再生装置、記録再生方法および記録再生システム
JP2006174291A (ja) * 2004-12-17 2006-06-29 Sony Corp 情報処理装置及び情報処理方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008233957A (ja) * 2007-03-16 2008-10-02 Fujifilm Corp 画像選択装置、画像選択方法、撮像装置及びプログラム
JP4639208B2 (ja) * 2007-03-16 2011-02-23 富士フイルム株式会社 画像選択装置、画像選択方法、撮像装置及びプログラム
US9390316B2 (en) 2007-03-16 2016-07-12 Fujifilm Corporation Image selecting device, image selecting method, image pickup apparatus, and computer-readable medium
US10839199B2 (en) 2007-03-16 2020-11-17 Fujifilm Corporation Image selecting device, image selecting method, image pickup apparatus, and computer-readable medium
KR101355325B1 (ko) * 2009-05-29 2014-01-27 제이에프이 스틸 가부시키가이샤 고로 조업 방법
JP2014110634A (ja) * 2012-12-04 2014-06-12 Kofukin Seimitsu Kogyo (Shenzhen) Yugenkoshi テレビ番組切替システム及びその方法
CN107170432A (zh) * 2017-03-31 2017-09-15 珠海市魅族科技有限公司 一种音乐产生方法和装置
CN107170432B (zh) * 2017-03-31 2021-06-15 珠海市魅族科技有限公司 一种音乐产生方法和装置
JP2020187602A (ja) * 2019-05-16 2020-11-19 株式会社スター精機 機械作業メニュー画面の起動方法
JP2023021054A (ja) * 2021-07-29 2023-02-09 ネイバー コーポレーション 人物情報を利用した写真分類機能を提供する方法、コンピュータ装置、およびコンピュータプログラム
JP7522161B2 (ja) 2021-07-29 2024-07-24 ネイバー コーポレーション 人物情報を利用した写真分類機能を提供する方法、コンピュータ装置、およびコンピュータプログラム

Also Published As

Publication number Publication date
JP4830670B2 (ja) 2011-12-07

Similar Documents

Publication Publication Date Title
JP5088321B2 (ja) 再生装置、再生システム、およびテレビジョンセット
JP5056061B2 (ja) 撮像装置
JP5273998B2 (ja) 撮像装置、その制御方法及びプログラム
JP5321060B2 (ja) 表示制御装置、表示システム、およびテレビジョンセット
US20050216862A1 (en) Electronic apparatus with display unit, information-processing method, and computer product
JP4828547B2 (ja) コンテンツデータ出力装置、それを備えたテレビ、およびコンテンツデータ出力プログラム
JP4830670B2 (ja) 再生装置
JP7094815B2 (ja) 表示制御装置、表示制御装置の制御方法、プログラム、記憶媒体
US8817174B2 (en) Information recording apparatus and power-saving method therefor
US9042704B2 (en) Reproduction apparatus and control method thereof
JP2007318431A (ja) 表示制御システムおよび表示制御方法
JP4862519B2 (ja) ユーザ認識装置、再生システムおよびテレビジョンセット
WO2020170453A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2007329521A (ja) 画像再生システム、デジタルカメラ、および画像再生装置
JP4500431B2 (ja) 画像表示装置、画像表示方法および記憶媒体
JP2007150544A (ja) コンテンツ再生装置
JP2008009695A (ja) ユーザ認識装置、再生装置、再生システムおよびテレビジョンセット
JP2006086717A (ja) 画像表示システム、画像再生装置及びレイアウト制御装置
JP2009271697A (ja) 表示制御装置、表示制御システム、表示制御方法
JP2005033682A (ja) 映像表示システム
CN101299802B (zh) 附带显示器的装置及信息处理方法
JP4009959B2 (ja) テレビ受信機
JP2012118286A (ja) 利用者属性対応カラオケシステム
JP2011129033A (ja) デジタルフォトフレームおよび画像表示方法
JP6146162B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110124

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110823

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110905

R150 Certificate of patent or registration of utility model

Ref document number: 4830670

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140930

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140930

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees