JP2012256319A - 電子機器および電子機器連携システム並びに電子機器制御方法 - Google Patents

電子機器および電子機器連携システム並びに電子機器制御方法 Download PDF

Info

Publication number
JP2012256319A
JP2012256319A JP2012109419A JP2012109419A JP2012256319A JP 2012256319 A JP2012256319 A JP 2012256319A JP 2012109419 A JP2012109419 A JP 2012109419A JP 2012109419 A JP2012109419 A JP 2012109419A JP 2012256319 A JP2012256319 A JP 2012256319A
Authority
JP
Japan
Prior art keywords
command
electronic
electronic device
commands
mobile phone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012109419A
Other languages
English (en)
Other versions
JP6127382B2 (ja
Inventor
Junji Tanaka
淳史 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2012109419A priority Critical patent/JP6127382B2/ja
Priority to EP12786563.2A priority patent/EP2709019A4/en
Priority to US14/001,026 priority patent/US20130332706A1/en
Priority to CN201280009838.6A priority patent/CN103380420B/zh
Priority to PCT/JP2012/003133 priority patent/WO2012157245A1/ja
Publication of JP2012256319A publication Critical patent/JP2012256319A/ja
Application granted granted Critical
Publication of JP6127382B2 publication Critical patent/JP6127382B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/382Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Abstract

【課題】
従来、他機器の機能を容易に利用することが難しかった。
【解決手段】
本発明では、他機器と通信を行う通信部と、前記通信部により、自機器のコマンドを他機器へ送信し、他機器のコマンドを受信して他機器のコマンドを取得し、前記自機器のコマンドと他機器のコマンドとを管理するコマンド管理部と、前記コマンド管理部で管理されているコマンドのうち、選択されたコマンドが前記自機器のコマンドである場合は、前記自機器のコマンドに対応する機能の処理を前記自機器で実行し、選択されたコマンドが他機器のコマンドである場合は、前記他機器のコマンドに対応する機能の処理を前記他機器に実行させるコマンド処理部とを有することを特徴とする。
【選択図】図1

Description

本発明は、電子機器および電子機器連携システム並びに電子機器制御方法に関する。
近年、電子機器の多くはCPUが搭載され、CPUで実行するプログラムによって様々な機能を実現している。ところが、様々な電子機器で同様の機能を実現するために機器毎に同じようなプログラムを搭載しなければならないという問題がある。このため、コントローラで一元的に処理を実行する技術などが考えられている(例えば特許文献1参照)。
特開平07−044290号公報
従来、他機器と同じ機能を利用する場合、自機器に他機器と同じアプリケーションソフトなどをインストールしたり、コントローラで一元的に処理を実行する必要があった。
本発明の目的は、特別な設定や専用の装置を用いることなく、他機器のコマンドを自機器のコマンドと同様に使用できる電子機器および電子機器連携システム並びに電子機器制御方法を提供することである。
本発明に係る電子機器は、他機器と通信を行う通信部と、前記通信部により、自機器のコマンドを他機器へ送信し、他機器のコマンドを受信して他機器のコマンドを取得し、前記自機器のコマンドと他機器のコマンドとを管理するコマンド管理部と、前記コマンド管理部で管理されているコマンドのうち、選択されたコマンドが前記自機器のコマンドである場合は、前記自機器のコマンドに対応する機能の処理を前記自機器で実行し、選択されたコマンドが他機器のコマンドである場合は、前記他機器のコマンドに対応する機能の処理を前記他機器に実行させるコマンド処理部とを有することを特徴とする。
本発明に係る電子機器連携システムは、複数の電子機器を有し、それぞれの電子機器が個々に有する機能の処理を実行するためのコマンドを所持し、前記複数の電子機器はコマンドを互いに共有し、共有したコマンドのうち使用するコマンドを第1の電子機器で選択し、選択された前記コマンドが第1の電子機器のコマンドである場合は、前記第1の電子機器のコマンドの機能に対応する処理を前記第1の電子機器で実行し、選択されたコマンドが第1の電子機器のコマンドでない場合は、前記選択されたコマンドを第2の電子機器に送信し、前記選択されたコマンドを受信した第2の電子機器は、受信した前記選択されたコマンドが前記第2の電子機器のコマンドである場合は、前記第2の電子機器のコマンドの機能に対応する処理を実行して、実行結果を送信元の電子機器に返信し、受信した前記選択されたコマンドが第2の電子機器のコマンドではない場合は、前記コマンドを前記第2の電子機器とは異なる第3の電子機器へ送信することを特徴とする。
本発明に係る電子機器制御方法は、複数の電子機器間で自機器が保持するコマンドを送信し、他機器のコマンドを受信して他機器のコマンドを取得し、自機器が実行する自機器のコマンドと他機器が実行する他機器のコマンドとを管理するコマンド管理手順と、管理されているコマンドのうち、選択されたコマンドが自機器のコマンドである場合は、前記自機器のコマンドに対応する機能の処理を自機器で実行し、前記選択したコマンドが他機器のコマンドである場合は、前記他機器のコマンドに対応する機能の処理を他機器に実行させるコマンド処理手順とを有することを特徴とする。
本発明に係る電子機器および電子機器連携システム並びに電子機器制御方法は、特別な設定や専用の装置を用いることなく、他機器のコマンドを自機器のコマンドと同様に使用することができる。
電子機器10の構成例を示す図である。 本実施形態に係る電子機器連携システム100の一例を示す図である。 本実施形態に係る電子機器連携システム100の初期動作を示すフローチャートである。 本実施形態に係る電子カメラ101の動作例を示す図である。 一般的な電子カメラ901の動作例を示す図である。 電子カメラ101の構成例を示す図である。 本実施形態に係る電子機器連携システム100のコマンド表示例を示す図である。 本実施形態に係る電子機器連携システム100のコマンド実行例を示す図である。 本実施形態に係る電子機器連携システム100の動作例を示す図である。 本実施形態に係る電子機器連携システム100の連携動作例を示す図である。 本実施形態に係る電子カメラ101の処理例を示すフローチャートである。 本実施形態に係るOSの処理例を示すフローチャートである。 本実施形態に係る電子機器10におけるコマンド処理部17の処理例を示すフローチャートである。 本実施形態に係る電子機器連携システム100の応用例1を示す図である。 本実施形態に係る電子機器連携システム100の応用例2を示す図である。 本実施形態に係る電子機器連携システム100の応用例3を示す図である。 本実施形態に係る電子機器連携システム100の応用例4を示す図である。 本実施形態に係る電子機器連携システム100の応用例5を示す図である。 本実施形態に係る電子機器連携システム100の応用例6を示す図である。 コマンドの追加・削除の例を示す図である。 コマンドリストの検索と表示例を示す図である。 複数のコマンドを組み合わせる操作の一例を示す図である。 GUIコマンドの連携例1を示す図である。 GUIコマンドの連携例2を示す図である。 GUIコマンドの連携例3を示す図である。 GUIコマンドの連携例4を示す図である。
以下、本発明に係る電子機器および電子機器連携システム並びに電子機器制御方法の実施形態について図面を用いて詳しく説明する。尚、本実施形態では、複数の様々な機能を有する電子機器(電子カメラ、携帯電話、プリンタなど)の間で互いの機能を利用するコマンド共有機能(以降、C機能と称する)が用いられる。
[電子機器10の構成例]
図1は、本実施形態に係る電子機器連携システムに対応する電子機器10の構成例を示す図である。図1において、電子機器10は、ハードウェア11と、ソフトウェア12とで構成される。
ハードウェア11は、電子機器10本来の機能に対応するための電子機器用回路13と、C機能に対応するための通信回路14とを有する。例えば、電子カメラの場合は、撮像回路、表示回路、記録回路などが電子機器用回路13に対応する。尚、携帯電話などの場合は、基地局との間で通信するための電話機本来の通信回路とは別に、電子機器間で通信可能なBluetooth(登録商標)などの規格に対応する通信回路やその通信回路を使用して通信可能な範囲にある同じ機能に対応する電子機器を探索するソフトウェアを備えたものがあるので、このような携帯電話の場合は通信回路14を新たに設ける必要がなく、電子機器用回路13に含まれている。ここで、通信回路14は、無線通信であってもよいし、有線通信であってもよい。
ソフトウェア12は、ハードウェア11の各部を制御して電子機器10の動作を実現するOS(オペレーションシステム)を基本とし、OS上で実行される制御プログラム15およびC機能プラットホーム16を有する。
制御プログラム15は、電子機器10の操作に対応する本来の機能を実現するためのプログラムだけでなく、本実施形態の特徴であるC機能により他機器に搭載された機能を利用するプログラムを有する。尚、自機器の機能および他機器の機能或いは両方を組み合わせた機能のいずれの場合のプログラムであっても、C機能プラットホーム16(コマンド処理部17)に対してコマンド(或いはコマンド実行するタイミングを与えるイベント)を発行して実行結果を得る動作は同じであり、制御プログラム15側で自機器の機能であるか他機器の機能であるかを意識する必要はない。
C機能プラットホーム16は、コマンド処理部17と、コマンド共有部18と、通信処理部19とを有する。
コマンド処理部17は、コマンド共有部18のコマンドリスト20を参照して、制御プログラム15から送られるコマンドが内部コマンド(自機器で実行するコマンド)であるか外部コマンド(他機器で実行するコマンド)であるかを判別し、内部コマンドである場合は処理を実行して、その実行結果を制御プログラム15側に返す処理を行う。また、制御プログラム15から送られるコマンドが外部コマンドである場合は、外部コマンドを通信処理部19からハードウェア11の通信回路14を介して接続される他機器に送信する。そして、コマンド処理部17は、通信回路14および通信処理部19を介して他機器での実行結果を受信し、これを制御プログラム15側に返す処理を行う。
コマンド共有部18は、自機器および他機器で実行可能なコマンドをコマンドリスト20として管理するコマンド管理部である。尚、コマンドリスト20に登録されるコマンドには、コマンド種別やコマンド機能名、パラメータなどコマンドに関係する様々な情報が含まれている。但し、コマンドリスト20はコマンドのリストであって、コマンドを実行するプログラム自体はそれぞれの電子機器にある。また、コマンドリスト20には、予め自機器で実行可能な内部コマンドのリストが登録されているが、通信処理部19が通信回路14で接続される他機器から取得する外部コマンドが適宜追加される。ここで、コマンドリスト20に登録されている外部コマンドの実行先である他機器との通信が通信回路14上で切断されたことを通信処理部19で検出した場合は、コマンドリスト20に登録されている当該機器のコマンドを削除する。
通信処理部19は、通信回路14を介して予め決められた所定のプロトコルによる通信を確立し、機器情報、コマンドリスト、イベントなどの送受信、或いはコマンドの送信や実行結果の受信などを行う。
このように、本実施形態に係る電子機器10は構成され、複数の電子機器10がコマンドを共有して互いの機能を利用できるようになっている。
[電子機器連携システム100の動作例]
次に、電子機器10として、C機能に対応するハードウェア11およびソフトウェア12を備えた電子カメラ101および携帯電話102を用いる場合の電子機器連携システム100の基本動作について説明する。
図2において、電子カメラ101は撮影コマンド151を有し、携帯電話102は電子メールコマンド152と、GPS(Global Positioning system)コマンド153とを有する。撮影コマンド151は、電子カメラ101の撮影を行うコマンドである。電子メールコマンド152は、電子メールを送受信するコマンドである。GPSコマンド153は、緯度、経度などの位置情報を取得するコマンドである。
そして、電子カメラ101と携帯電話102のそれぞれのコマンド共有部18は、通信処理部19による通信確立(S101)の後、互いの機器情報とコマンドリスト20(図2では、コマンドリスト131a、コマンドリスト132aに対応)を送受信する。例えば電子カメラ101は、機器情報として自機器がカメラであること、実行可能なコマンドリスト131aとして撮影コマンド151を有すること、などを携帯電話102に送信する(S102)。逆に、携帯電話102は、機器情報として自機器が携帯電話であること、実行可能なコマンドリスト132aとして電子メールコマンド152と、GPSコマンド153とを有すること、などを電子カメラ101に送信する(S103)。
これにより、電子カメラ101は、自機器の撮影コマンド151と、携帯電話102の電子メールコマンド152と、GPSコマンド153とを含むコマンドリスト131bを持つことができる。同様に、携帯電話102は、自機器の電子メールコマンド152およびGPSコマンド153と、電子カメラ101の撮影コマンド151とを含むコマンドリスト132bを持つことができる。尚、送受信するのはコマンドリストであって、コマンドを実行するプログラム自体はそれぞれの電子機器にある。
また、コマンド共有部18は、自機器と通信が確立した他機器が複数野コマンドを所持している場合、複数のコマンド全てを取得しても良いが、他機器が所持する複数のコマンドのうち一部のコマンドのみを取得しても良い。具体的に、上記の電子カメラ101は、自機器の撮影コマンド151と、携帯電話102のコマンドである電子メールコマンド152とGPSコマンド153と、を含むコマンドリスト131bを持っているが、携帯電話が有するコマンドのうち、電子メールコマンド152のみを取得しコマンドリスト131bに追加してもよい。
また、通信が確立した機器のコマンド共有部18は、通信が確立しコマンドを送受信した互いの機器で同じコマンドリストを有していても良いが、異なるコマンドリストを有していてもよい。具体的に上記にある、電子カメラ101は、自機器の撮影コマンド151と、携帯電話102の電子メールコマンド152と、GPSコマンド153とを含むコマンドリスト131bを持っているが、携帯電話102は、自機器の電子メールコマンド152およびGPSコマンド153とを含むコマンドリスト132bとし、必ずしも電子カメラ101の撮影コマンド151を含む必要はない。
電子カメラ101と携帯電話102のそれぞれのコマンド処理部17は、コマンド共有部18が保持するコマンドリスト20の中のコマンドを実行する。例えば電子カメラ101はコマンドリスト131aの撮影コマンド151を実行することができ、携帯電話102はコマンドリスト132aの電子メールコマンド152やGPSコマンド153を実行することができる。ここで、コマンドリスト131aおよびコマンドリスト132aは、電子カメラ101および携帯電話102のそれぞれが本来備えているコマンド(内部コマンド)である。さらに、本実施形態に係る電子機器連携システム100では、通信確立後に送受信した他機器のコマンド(外部コマンド)を使用することができる。
例えば図2では、電子カメラ101が位置情報を取得したい場合、GPSコマンド152を携帯電話102に送信し(S104)、携帯電話102でGPSコマンド152を実行して取得した位置情報(緯度経度など)を実行結果とするコマンド応答を電子カメラ101に送信する(S105)。
このようにして、電子カメラ101は、GPS機能を搭載していなくてもGPSによる位置情報を取得することができ、例えば撮影画像のヘッダ情報に位置情報を付加して保存するような新たな機能を容易に実現することができる。
図3は、本実施形態に係る電子機器連携システム100において、電子機器の電源を投入してからコマンドリストを取得するまでの処理を示すフローチャートである。
(ステップS151)電子機器10の電源が投入されると、C機能プラットホーム16の通信処理部19は通信回路14を起動する。
(ステップS152)通信回路14によって通信可能な範囲にある他の電子機器を探索する。尚、このような機能は、例えばBluetooth(登録商標)などの規格で決められており、通信可能な範囲にある電子機器を見つけることができる。
(ステップS153)通信処理部19は、検出した電子機器がC機能に対応する機器であるか否かの判別を行い、C機能に対応しない場合はステップS152に戻って電子機器の探索を継続する。そして、C機能に対応する場合はステップS154に進む。尚、C機能に対応しているか否かの判別は、例えば通信確立時に送受信する制御データにC機能対応有を示す独自の情報を付加することにより実現できる。
(ステップS154)機器探索で見つかったC機能に対応する他機器に自機器の機器情報を送信する。
(ステップS155)機器探索で見つかったC機能に対応する他機器から機器情報を受信する。
(ステップS156)自機器が保持するコマンドリストを他機器に送信する。
(ステップS157)他機器が保持するコマンドリストを他機器から受信する。
(ステップS158)他機器から受信したコマンドリストに登録されているコマンドを自機器が保持するコマンドリストに追加する。
このようにして、本実施形態に係る電子機器連携システム100では、他機器との間で実行可能なコマンドリストを送受信することによって、他機器のコマンドを自機器のコマンドと同じように実行することができる。しかも、コマンドの実行自体は当該コマンドを有する機器上で行うので、従来のようにコマンドを実行するためのソフトウェアやドライバプログラムをインストールする必要がなく、OSの種類にも依存しない。
図4は、本実施形態に係る電子機器連携システム100に対応する電子カメラ101でコマンドを実行する様子を描いた図である。図4(a)は、電子カメラ101で撮影した画像に対して画像処理Aを施してメモリカードなどに保存する処理例を示している。ここで、画像処理コマンドAは電子カメラ101では実行できない外部コマンドなので、画像処理プログラムAを有するサーバ104に画像処理コマンドAと画像データを送信してサーバ104で画像処理Aを施し、処理後の画像データを電子カメラ101に返信する。そして、電子カメラ101は、サーバ104から受信した画像処理Aが施された画像データを撮影画像としてメモリカードなどに保存する。
一方、図5は、従来の電子カメラ901で画像処理Aを施した画像をメモリカードなどに保存する処理の流れを示している。ここで、電子カメラ901で画像処理Aを施すために、画像処理プログラムAを有するサーバ904から画像処理プログラムA自体をダウンロードして電子カメラ901側で画像処理Aを施し、処理後の画像データを撮影画像としてメモリカードなどに保存する。ところが、電子カメラ901とサーバ904とでOSなどの実行環境が異なる場合は電子カメラ901で画像処理プログラムAを実行できない。或いは画像処理プログラムAを電子カメラ901で実行するためにドライバソフトウェアなどをインストールしなければならない場合もある。さらに画像処理プログラムAを電子カメラ901で実行できる場合でも、電子カメラ901とサーバ904ではCPUの処理能力が異なるため、画像処理プログラムAの処理速度が遅くなる可能性がある。これに対して、図4(a)の本実施形態に係る電子機器連携システム100の場合は、画像処理Aのコマンド発行を電子カメラ101で行い、画像処理A自体はサーバ104側で実行するので、電子カメラ101のOSなどの実行環境や処理速度などの問題は生じない。
さらに、図4(b)は、電子カメラ101で撮影した画像に対して画像処理Bを施してメモリカードなどに保存する処理の流れを示している。ここで、画像処理コマンドBは電子カメラ101で実行可能な内部コマンドなので、自機器内の制御プログラムに画像処理コマンドBと画像データを送って画像処理Bを施し、処理後の画像データを受け取ってメモリカードなどに保存する。
このように、本実施形態に係る電子機器連携システム100における電子カメラ101は、外部コマンドおよび内部コマンドの区別なく、同じようにコマンドを発行して処理を行うことができる。
[機器情報]
次に、機器情報について説明する。図2で説明したように、本実施形態に係る電子機器連携システム100に対応する電子機器10は、通信確立時に機器情報を送受信する。この機器情報には、例えば以下のような情報が含まれる。
・国ID:各国毎に決められた固有ID、或いは国名でもよい。例えばJAPANなど。・メーカID:メーカ毎に決められた固有ID、或いはメーカ名でもよい。例えばABCDE会社など。
・機器カテゴリID:機器種別毎に決められたカテゴリを示す固有ID、或いは機器名でもよい。例えばカメラ、携帯電話、プリンタなど。
・機器ID:機器毎に決められた固有IDで製造番号やシリアル番号など。
・所有者ID:機器の所有者毎に予め決められた固有ID、或いは所有者名や住所、電話番号などであってもよい。
このように、本実施形態に係る電子機器連携システム100では、通信確立時に上記のような機器情報を送受信する。これにより、例えば特定国の機器、同一メーカの機器、同じカテゴリの機器、同じ所有者の機器などの特定機器でしかコマンドを利用できないようにすることができる。
[コマンド]
次に、コマンドに含まれる情報について説明する。図2で説明したように、コマンドには自機器で実行する内部コマンドと、他機器で実行する外部コマンドとがあり、いずれのコマンドにも以下のような情報が含まれる。
・コマンド種別:単体で実行するコマンド、バッチ処理コマンドなど。
・実行可能な機器:例えばカメラ、携帯電話などの機器種別や個別の機器IDなど。
(尚、機器種別や機器IDは、通信確立時に送受信される機器情報に含まれる)
・コマンド機能名:例えば撮影機能、GPS機能、プリンタ機能、超解像度画像処理機能など。
・コマンドID:コマンド毎に予め決められた固有ID、或いはコマンド名。例えば撮影コマンド、印刷コマンドなど。
・パラメータ:コマンドで参照するパラメータ。例えば撮影コマンドであればシャッタ速度や絞り値或いは撮影モードの選択値(夜景モードなど)。尚、選択可能な数値範囲や全ての選択値の情報も含まれる。
・コマンド実行結果:コマンドの実行によって得られる結果で、数値や画像データなどの実行結果である。例えばGPSコマンドであれば緯度経度などの数値、画像処理であれば処理後の画像データなど。
・アイコン:コマンドを画面に表示する場合に、コマンドを判別し易いようするための画像。例えば電子メールコマンドであれば封書画像のアイコンなど。尚、アイコンは、機器毎に色分けしてもよいし、形状、サイズ、模様などを変えてもよい。或いは、アイコン自体を機器の画像やイラストにしてもよい。これにより、どの機器のアイコンであるかを容易に判別できる。
・チュートリアル:コマンドの使い方や機能説明。いわゆるHELP情報に相当する。
・コマンドで使用する別のコマンドの情報:バッチ処理などで別のコマンドの実行結果を利用するコマンドなど。例えば現在位置の住所を求める住所コマンドを設けた場合、住所コマンドの中でGPSコマンドを実行して、GPSコマンドで得られる緯度経度の数値から地図上の位置を検索して住所を求める、など。
・作者情報:コマンド作成者のIDや名称など。
このように、本実施形態に係る電子機器連携システム100では、通信確立時に上記のような情報を含むコマンドリストを送受信する。これにより、例えばコマンドのパラメータや使い方がわかるので、初めてのコマンドであっても動作設定を簡単に行うことができ、所望の実行結果を得ることができる。
ここで、様々な電子機器におけるコマンド例を以下に示す。
・電子機器が携帯電話の場合
「GPSコマンド」:緯度経度情報の提供
「メール送信コマンド」:電子メールの送信
「超解像画像処理コマンド」:高解像度化を行う画像処理
「音声録音コマンド」:マイクロホンで音声を録音
・電子機器がカメラの場合
「静止画AUTO撮影コマンド」:自動露出、自動焦点で静止画撮影
「高速シャッタ撮影コマンド」:高速シャッタで画像を撮影
「ボケ優先撮影コマンド」:ボケのある被写界深度の浅い画像を撮影
「動画撮影コマンド」:動画を撮影
・電子機器がプリンタの場合
「写真印刷L版」:L判で印刷
「写真印刷A4」:A4で印刷
・電子機器がFAXの場合
「画像送信」:画像データを送信
「データ受信」:画像データを受信
・電子機器がテレビの場合
「画像表示」:画像データを画面に表示
「チャネル選択」:放送受信するチャネル選択
「テレビ番組表取得コマンド」:テレビ放送の番組表を他機器から取得
「テレビ画像取得コマンド」:テレビ放送画面を他機器から取得
・電子機器がビデオの場合
「静止画録画」:静止画像を記録
「動画録画」:動画像を記録
・電子機器がネットワーク接続可能な機器の場合
「インターネット検索コマンド」:ネット情報を他機器から取得
「音楽情報取得コマンド」:ネットワーク上で配信されている音楽情報を取得
このように、本実施形態に係る電子機器連携システム100では、他機器のコマンドを自機器のコマンドと同じように実行することができ、自機器にはない他機器の機能を利用できる。もちろん、自機器にある機能でも他機器にある同じ機能を利用することもできる。例えば自機器にGPS機能がある場合に、他機器のGPS機能を利用してもよく、この場合、自機器ではなく他機器の同じ機能を利用することにより、自機器の処理負荷を低減できるという効果が得られる。或いは、同じ機能であっても性能が異なる場合や処理速度が速い場合などでも他機器の同じ機能を利用する利点がある。また、複数の機器のGPSから得られる位置情報を組み合わせることにより、位置情報の精度を高める処理を行うようにしてもよい。
また、上記の例では、電子カメラ101から操作する場合であって、電子カメラ101に欲しい機能(プリンタ、画像処理等)を他機器で実行するためのコマンド例を基本に説明した。しかし、コマンドは、電子カメラ101以外の機器から操作を行い、電子カメラ101以外の機器が欲しい機能を他機器で実行するためのものであってもよい。
例えば、プリンタから操作する場合、電子カメラ101側に保存してある画像を閲覧する機能(保存画像取得コマンド)や、サムネイル画像の一覧を取得する機能(サムネイル画像取得コマンド)などでもよい。尚、プリンタから操作する具体例については後で詳しく説明する。
[イベント]
次に、イベントに含まれる情報について説明する。図2では、発行したコマンドを自機器または他機器で実行して実行結果を得る例を示したが、コマンドを実行するタイミングを与えることもできる。例えば図2において、携帯電話102側から電子カメラ101の撮影コマンド151を利用する場合、例えば電子カメラ101のシャッターボタンが押下された時に撮影を行うなど、撮影を行うタイミングを指示しなければならない。尚、携帯電話102側から撮影コマンド151を発行した時に直ぐに撮影を行うような使い方の場合は、シャッターボタンの押下時というイベントを指示する必要はない。
以下にイベントに含まれる情報の一例を示す。
・イベント種別:オペレーション、処理割り込みなどの制御情報。例えばシャッターボタン押下はオペレーション、電子メール受信や予め設定した時刻などは処理割り込み。
・イベントが発生した機器ID:機器情報で説明した機器ID。例えば、機器ID:カメラなど。
・イベント名:イベントの名称。例えばタイマー割り込みやシャッターボタン押下、或いは顔認識など。
・イベントID:イベント名に対応するID。例えばシャッターボタン押下の場合はID=RB_DOWNなど。尚、実際にはこのイベントIDが送受信される。
・パラメータ:イベントで参照するパラメータ。例えばコマンドを実行する時刻など。尚、選択可能な数値範囲や全ての選択値の情報も含まれる。
・アイコン:コマンドリストを表示する場合のアイコン画像。
・チュートリアル:イベントの使い方や機能説明。いわゆるHELP情報に相当する。
・このイベントをトリガーとして実行するコマンド情報:例えばイベントがシャッターボタン押下であれば撮影コマンドなど。
・作者情報:イベント作成者のIDや名称など。
このように、本実施形態に係る電子機器連携システム100では、通信確立時に先に説明したコマンドリストに含めて上記のようなイベントも送受信される。これにより、例えばコマンドを実行するためのイベントを知ることができ、イベントのパラメータや使い方なども確認できる。
ここで、様々な電子機器におけるイベント例を以下に示す。
・電子機器が携帯電話の場合
「電話着信」「メール受信」「キーボード操作」「十字キー操作」など。
・電子機器がカメラの場合
「シャッターボタン押下」「ダイヤル操作」「静止画撮影」「SDカード挿入」など。
・電子機器がプリンタの場合
「パネル操作」「SDカード挿入」「インク切れ」など。
・電子機器がテレビの場合
「チャンネル操作」「リモコン操作」など。
・電子機器がビデオの場合
「再生ボタン押下」「早送りボタン押下」など。
このように、本実施形態に係る電子機器連携システム100では、他機器のコマンドや自機器のコマンドを実行するためのイベントも機器間で共有する。
[電子カメラ101の構成例]
図6は、本実施形態に係る電子機器10が電子カメラ101である場合の構成例を示す図である。
電子カメラ101は、光学系201と、撮像部202と、バッファ203と、制御部204と、操作部205と、表示部206と、メモリカードIF(インターフェース)207、メモリ208と、通信回路209とで構成される。
図6において、光学系201は、被写体像を撮像部202の受光面に結像する。ここで、光学系201は、ズームレンズやフォーカスレンズなどの複数枚のレンズおよびレンズ駆動部や絞り機構などを有し、制御部204によって、ズームレンズ位置、フォーカスレンズ位置、絞り値などが制御される。
撮像部202は、例えばCMOS型固体撮像素子およびA/D変換器などを有し、固体撮像素子の受光面に結像された被写体像を受光量に応じて電気信号に変換し、さらにA/D変換後の画像データをバッファ203に取り込む。
バッファ203は、例えば揮発性の高速メモリで構成される。バッファ203は、撮像部202が出力する画像データを一時的に記憶するだけでなく、制御部204が画像処理を行う時のバッファメモリとしても使用される。或いは、表示部206に画像を表示する時の表示メモリとしても使用される。
制御部204は、例えば内部に記憶されたプログラムに従って動作するCPUで構成される。制御部204は電子カメラ101全体の動作を制御し、例えば操作部205のモード選択ダイヤル263で電子カメラ101の撮影モードを選択したり、シャッターボタン262の押下時に光学系201のフォーカスレンズ制御や絞り制御を行って撮像部202のメカニカルシャッタまたは電子シャッタを制御して、被写体画像を撮影する。そして、制御部204は、撮像部202から画像データを読み出し、バッファ203に取り込む制御を行う。さらに、制御部204は、バッファ203に取り込まれた画像データに対して所定の画像処理(ホワイトバランス処理,色補間処理,ガンマ補正処理,彩度強調処理,輪郭輪郭強調処理、或いはJPEG規格などに準拠した画像圧縮処理)を施し、画像処理後の画像データ(例えばJPEGデータ)に所定のファイル名やヘッダ情報を付加してメモリカード207aに保存する。或いは、バッファ203に取り込まれた画像データを表示部206に撮影画像として表示する。
操作部205は、電源ボタン261、シャッターボタン262、モード選択ダイヤル263、メニューボタン264、十字キー265などで構成される。ユーザーは、これらの操作ボタンを操作して電子カメラ101を使用する。尚、操作部205による操作情報は制御部204に出力され、制御部204は操作部205から入力する操作情報に応じて電子カメラ101の動作を制御する。例えばメニューボタン264を押下すると、制御部204は電子カメラ101の機能を選択するメニュー画面を表示部206に表示する。そして、十字キー265を操作してメニュー画面の操作を行う。特に、本実施形態に係る電子カメラ101では、メニューボタン264を押下すると図7に示すようなコマンドリストが表示され、十字キー265で選択することにより他機器の機能を利用することができる。或いは、これらのコマンドを組み合わせることによって新たなアプリケーション機能を実現できる。
例えば、図8に示すように、機器2のコマンドリストには、自機器のコマンド(内部コマンド)として、機能1から機能3のコマンドが登録されており、他機器(機器2)のコマンド(外部コマンド)として、機能4および機能5のコマンドが登録されている。これにより、機器2は、機能1から機能5の5つのコマンドを使用することができる。そして、これらのコマンドを組み合わせたアプリケーションプログラムを実行することができる。図8の例では、コマンドの実行順序161として、機器2の機能1のコマンド、機器1の機能4のコマンド、機器1の機能5のコマンド、機器2の機能2のコマンド、機器2の機能3のコマンドの順に実行する。
尚、図7において、コマンドを示すアイコンは、機器毎に色分けしてもよいし、形状、サイズ、模様などを機器毎に分けてもよい。また、コマンドがどの機器に対応するコマンドであるかが分かるように、機器を示す画像や文字などをコマンドのアイコンの一部に表示してもよい。これにより、同じ機能を有する複数の機器がある場合に、どの機器の機能であるかを容易に判別することができる。例えばカメラ付携帯電話の撮影コマンドと、電子カメラの撮影コマンドとが利用できる場合、アイコンの一部に携帯電話や電子カメラのグラフィックや機器名を付加して表示することにより、どの機器のコマンドであるかが容易に判別可能である。
表示部206は、液晶モニタなどで構成される。そして、制御部204によって、撮影画像や設定メニューなどが表示される。
メモリカードIF207は、電子カメラ101にメモリカード207aを接続するためのインターフェースである。制御部204はメモリカードIF207を介してメモリカード207aに画像データを読み書きする。
メモリ208は、例えばフラッシュメモリなどの不揮発性の半導体メモリで構成される。メモリ208には、電子カメラ101に設定された撮影モードや露出情報、フォーカス情報などのパラメータが記憶される。特に本実施形態では、自機器や他機器のコマンドリスト、機器情報、イベントなどが記憶される。
通信回路209は、図1の通信回路14に対応し、電子機器間で通信可能なBluetooth(登録商標)などの規格に対応する。
以上が電子カメラ101の構成および基本動作である。
[電子機器連携システム100の動作例]
次に、電子カメラ101を用いた電子機器連携システム100の動作例について説明する。尚、動作の基本的な流れは以下の通りである。
(1)機器間で通信を確立する。
(2)自機器の情報を相手に送信する。
(3)現在の自機器にて実行可能なコマンドリストなどを相手機器に送信する。
(4)相手機器からも機器情報とコマンドリストを受け取る。
(5)相手機器からコマンドを受信した場合はそのコマンドを実行し、実行結果を返信する。
(6)必要であれば自機器から相手機器にコマンドを送信し、実行結果を受け取る。
図9は、C機能に対応する電子機器10として、電子カメラ101、携帯電話102およびプリンタ103を利用する場合の電子機器連携システム100の一例である。尚、図2と同符号のブロックおよび処理は同じものを示す。
図9において、電子カメラ101と、携帯電話102との間で通信確立(S101)後、機器情報や実行可能なコマンドを送受信(S102、S103)する。これにより得られるコマンドリストは図2のコマンドリスト131aおよびコマンドリスト132aと同じである。例えば、この時点で電子カメラ101のコマンドリスト131cおよび携帯電話102のコマンドリスト132cには、撮影コマンド151と、電子メールコマンド152と、GPSコマンド153とが保持されている。
そして、通信確立(S101)より少し遅れて、携帯電話102とプリンタ103との間で通信確立(S201)が行われ、携帯電話102のコマンドリスト132cに保持されている現時点の実行可能なコマンドを機器情報と共にプリンタ103に送信する(S202)。逆に、プリンタ103のコマンドリスト133cに保持されている現時点の実行可能なコマンドを機器情報と共に携帯電話102に送信する(S203)。これにより、携帯電話102から撮影コマンド151と、電子メールコマンド152と、GPSコマンド153とがプリンタ103に送信されてコマンドリスト133cに追加され、また、プリンタ103から印刷コマンド154が携帯電話102に送信されてコマンドリスト132cに追加される。
さらに、携帯電話102のコマンド共有部123は、コマンドリスト133cに新たに印刷コマンド154が追加されたので、先に通信確立していた電子カメラ101に対して印刷コマンド154および機器情報を送信する(S106)。これにより、電子カメラ101のコマンドリスト131cに印刷コマンド154が追加される。
このようにして、電子カメラ101は、携帯電話102を介してプリンタ103の印刷コマンド154を取得でき、印刷機能を利用することが可能になる。尚、電子カメラ101とプリンタ103とが通信可能な範囲にある場合は、電子カメラ101とプリンタ103とが直接に通信確立を行って互いのコマンドリストを送受信する。この場合、携帯電話102を介して取得する印刷コマンド154と、プリンタ103から直接受け取る印刷コマンド154とが重複するが、電子カメラ101のコマンド共有部18は、コマンドに含まれる機器情報などにより同じプリンタの同じコマンドであることがわかるので、既にコマンドリスト131cに登録済みのコマンドである場合は重複するコマンドを無視する。
ここで図9において、S202で携帯電話102からプリンタ103に送信されるコマンドリストの中には、自機器の内部コマンド(電子メールコマンド152、GPSコマンド153)だけでなく、他機器の電子カメラ101の外部コマンド(撮影コマンド151)が含まれている。これにより、直接接続できない機器間においてもコマンドが順に転送され、複数の機器でコマンドを共有することが可能になる。
さらに、新たな機器が追加された場合には、当該機器が有する新たなコマンドを通信確立している複数の機器に送信するので、常に全ての機器のコマンドリストを最新の状態に更新することができる。
特に、本実施形態に係る電子機器連携システム100では、各機器がマスター/スレーブの関係を持たず対等に動作するので、自機器がマスターであるかスレーブであるかの判定や動作を切り替えるための複雑な切り替え処理などが不要となり、他機器のコマンドを自機器のコマンドと同様に意識することなく実行することができる。
[コマンドの実行例]
次に、図9において、電子カメラ101が印刷コマンド154を実行する場合は、印刷コマンド154を携帯電話102に送信する(S107)。携帯電話102では、印刷コマンド154が自機器のコマンドではなくプリンタ103のコマンドなので、印刷コマンド154をプリンタ103に送信する(S204)。そして、プリンタ103で印刷コマンド154を実行して撮影画像を印刷し、印刷完了を示すコマンド応答を携帯電話102に送信する(S205)。尚、発行されるコマンドには、先に説明した機器情報やコマンド情報により、コマンドを実行する機器の情報が付加されている。プリンタ103からコマンド応答を受信した携帯電話102は、コマンド発行元の電子カメラ101にコマンド応答を送信する(S108)。そして、携帯電話102を介してプリンタ103の応答コマンドを受信した電子カメラ101は、印刷コマンド154の実行が完了したことを確認する。
このようにして、電子カメラ101は、携帯電話102を介してプリンタ103で撮影画像を印刷することができる。特に、電子カメラ101はプリンタ103のドライバソフトウェアのインストールや設定を行う必要がなく、印刷機能が自機能であるかのように撮影画像の印刷を行うことができる。
[その他の例]
次に、図10は、電子カメラ101、携帯電話102、プリンタ103およびサーバ104の4つの電子機器を連携して動作させる電子機器連携システム100の一例を示す図である。図10の例は、「観光地において電子カメラ101で撮影した画像に位置情報を合成して自宅にあるプリンタ103で印刷する」という利用シーンを想定している。ここで、図2および図9で説明したように、図10の4つの電子機器は機器情報やコマンドリストを互いに送受信して、同じコマンドリストを共有している状態にある。この場合の利用可能なコマンドは、例えば図9で説明したように、電子カメラ101の撮影コマンド151、携帯電話102のGPSコマンド153、プリンタ103の印刷コマンド154、の3つのコマンドと、サーバ104の合成コマンド155である。
また、電子カメラ101は、撮影者が持ち歩いている携帯電話102との間をBluetooth(登録商標)やWiFi(登録商標)などに対応する無線方式で制御情報を送受信する。携帯電話102は、基地局を介して携帯電話会社のサーバ105からインターネットを介して画像合成の処理を行うサーバ104に接続される。そして、サーバ104からインターネットを介して撮影者の自宅にあるプリンタ103に光ファイバーやADSLなどの有線で接続される。尚、図10の例では、説明がわかり易いように、プリンタ103を直接インターネットに接続しているが、実際には撮影者の自宅のルーターやパソコンなどを介してプリンタ103に接続される。
以下、図10の動作について順番に説明する。尚、以下の(1)から(7)は図10の(1)から(7)に対応する。
(1)撮影者が電子カメラ101のシャッターボタン262を押下すると、電子カメラ101で撮影コマンド151が実行され、撮影画像をバッファ203に取り込む。
(2)電子カメラ101から携帯電話102にGPSコマンド153が送信され、携帯電話102で取得した位置情報(緯度経度情報、或いは地図データで変換した住所情報)を取得する。
(3)電子カメラ101は、携帯電話102に合成コマンド155を送信する。尚、合成コマンド155には、(1)で撮影した画像データと、(2)で取得した位置情報とが含まれている。
(4)携帯電話102は、合成コマンド155が自機器の内部コマンドではないので、合成コマンド155を実行する機器であるサーバ104にネットワークを経由して転送する。そして、サーバ104は、自機器の内部コマンドである合成コマンド155を実行し、撮影画像に位置情報を合成した実行結果の画像を合成コマンド155の発行元である電子カメラ101に送信する。尚、実行結果の画像は、合成コマンド155と同じ経路を逆に転送される。
(5)電子カメラ101は、サーバ104から受け取った合成後の画像データを印刷するために印刷コマンド154を携帯電話102に送信する。尚、印刷コマンド154には合成後の画像データが含まれている。
(6)携帯電話102は、印刷コマンド154が自機器の内部コマンドではないので、印刷コマンド154を実行する機器であるプリンタ103にネットワークを経由して転送する。そして、プリンタ103は、自機器の内部コマンドである印刷コマンド154を実行し、位置情報が合成された撮影画像をプリントする。そして、プリント完了を示す応答を印刷コマンド154と同じ経路を逆方向に電子カメラ101送信され、電子カメラ101は正常に自宅のプリンタ103で撮影画像を印刷したことを示すメッセージを表示部206に表示し、撮影者はこれを確認する。
このようにして、他機器の様々な機能を自機器の機能と同じように利用することができる。
図11は、図10で説明した処理(アプリケーションAとする)を示すフローチャートである。尚、アプリケーションAの処理は、例えばコマンドリスト131cのコマンドを組み合わせてユーザーが自由に作成することができる。例えば図7で説明したような各コマンドに対応するアイコンを処理順に並べることにより、様々なアプリケーション機能を実現できる。本実施形態では既に図11に示す処理順序のアプリケーションプログラムが作成されているものとして説明する。
(ステップS301)制御部204は、シャッターボタン262が押下されたか否かを判別し、シャッターボタン262が押下されるまで待機する(シャッターボタンイベント)。そして、シャッターボタン262が押下された場合はステップS302に進む。
(ステップS302)制御部204は、コマンドリスト131cの中から撮影コマンドを発行し、実行結果として撮影画像を取得する。
(ステップS303)制御部204は、コマンドリスト131cの中からGPSコマンドを発行し、実行結果として位置情報を取得する。
(ステップS304)制御部204は、ステップS303の位置情報(緯度経度情報、或いは地図データから住所情報に変換してもよい)を文字にしてステップS302の撮影画像の一部に合成する。
(ステップS305)制御部204は、印刷コマンド155を発行して、プリンタ103で合成後の画像を印刷する。
尚、発行される各コマンド(或いはイベント)は、自機器または他機器のC機能プラットホーム16(電子カメラ101の場合はC機能プラットホーム251)のコマンド処理部17に送られる。ここで、OSは図6の制御部204に対応する。そして、コマンド処理部17は、コマンド(内部コマンドまたは外部コマンド)を実行する機器にコマンドを発行し、実行結果を取得する。
このOSの処理を図12のフローチャートに示す。
(ステップS311)各電子機器のOSは、コマンドが起動されるのを待ち、コマンドが呼び出されるとステップS312に進む。
(ステップS312)OSは、呼び出されたコマンドをコマンド処理部17に送信する。
このようにして、コマンドリストに登録されたコマンドを呼び出す場合は、当該コマンドが内部コマンドまたは外部コマンドに拘らず、各機器のコマンド処理部17に送られる。
次にコマンド処理部17の動作について図13のフローチャートを用いて説明する。
(ステップS321)コマンド処理部17は、OSから受け取ったコマンド内容(イベントを含む)をチェックする。
(ステップS322)コマンドが内部コマンドであるか否かを判別して、内部コマンドの場合はステップS327に進み、内部コマンドではない場合はステップS323に進む。
(ステップS323)コマンドが外部コマンドであるか否かを判別して、外部コマンドの場合はステップS325に進み、外部コマンドではない場合はステップS324に進む。
(ステップS324)内部コマンドでも外部コマンドでもない場合はイベント(実行トリガ)として処理する。例えばシャッターボタン262の押下やタイマー時刻の設定などの処理を行う。
(ステップS325)外部コマンドを実行する。この場合は、自機器ではなく外部コマンドに対応する他機器にコマンドを送信して他機器でコマンドを実行する。
(ステップS326)他機器で外部コマンドを実行した結果を当該他機器から受信する。
(ステップS327)内部コマンドを実行する。この場合は、自機器のOSに内部コマンドを送って自機器でコマンドを実行する。
(ステップS328)自機器で内部コマンドを実行した結果を受け取る。
このようにして、コマンド処理部は、内部コマンドまたは外部コマンドに応じてコマンドに対応する機器上でコマンドを実行し、その実行結果を取得する。
[応用例1]
次に、上記で説明した実施形態の応用例1について説明する。図2や図9の説明では、全ての電子機器が同じコマンドを共有するようにしたが、本応用例1ではコマンドを限定して公開することができる。
コマンドの限定は、例えば電子機器の種別、所有者、製造メーカー、国など様々な公開条件を設定して、コマンドの使用を制限する。公開条件は、機器間で送受信するコマンドリストの各コマンドの付加情報として記載されている。
図14の例では、電子機器の種別によりコマンドの公開を限定する。尚、図14において、図9と同符号のブロックや信号は同じものを示す。
図14において、電子カメラ101と、携帯電話102との間で通信確立(S101)後、機器情報や実行可能なコマンドを送受信(S102、S103)する。これにより得られる電子カメラ101のコマンドリスト131dは撮影コマンド151と、電子メールコマンド152と、GPSコマンド153の3つである。また、この時点における携帯電話102のコマンドリスト132dには、点線より上側に記載された撮影コマンド151と、電子メールコマンド152と、GPSコマンド153の3つが登録されている。
そして、通信確立(S101)より少し遅れて、携帯電話102とプリンタ103との間で通信確立(S201)が行われ、携帯電話102とプリンタ103との間で機器情報や実行可能なコマンドを送受信(S202、S203a)する。ここで、プリンタ103の印刷コマンド154aは図9の印刷コマンド154とは異なり、コマンドの公開を許可する機器の種別(図14では携帯電話)を示す情報が付加されている。尚、プリンタ103は、携帯電話102から受け取った機器情報(S202)により、コマンドリストを共有する機器が携帯電話102であることがわかるので、印刷コマンド154aをコマンドリストの1つとして携帯電話102に送信する(S203a)。
ここで、図9の例では、携帯電話102は追加された印刷コマンド154を電子カメラ101に送信し、電子カメラ101のコマンドリスト131cに印刷コマンド154を追加したが、図14の場合は印刷コマンド154aは携帯電話に限定されるので、携帯電話102は印刷コマンド154aのリストを電子カメラ101に送信しない。
この場合、電子カメラ101からプリンタ103の印刷コマンド154aを利用することはできないが、携帯電話102とプリンタ103との間では印刷コマンド154aを利用することができ、携帯電話102からプリンタ103に印刷する画像データを含む印刷コマンド154aを送信して(S206)、プリンタ103で印刷コマンド154aを実行し、画像を印刷後に印刷完了の応答を携帯電話102に返信する(S207)。
このようにして、コマンドの公開を限定することにより、特定の電子機器だけコマンドを利用することができる。これにより、各電子機器がコマンドリストとして保持するコマンドの数が少なくなり、メモリ容量を削減できる。尚、公開限定の設定および解除は、当該コマンドを実行する電子機器(図14の例ではプリンタ103)で行うことができる。そして、公開限定が解除された場合は、解除されたことを他機器(携帯電話102など)に通知する。公開限定が解除された場合は、図9と同様に、印刷コマンド154aの情報が携帯電話102から電子カメラ101に送信され、電子カメラ101のコマンドリスト131dに追加登録される。
[応用例2]
次に、先に説明した実施形態の応用例2について説明する。図2や図9の説明では、同じコマンドを共有して自由に実行できるようにしたが、本応用例2ではコマンドに様々な条件を付加して実行することができる。尚、コマンドの実行条件は、コマンドの利用者に与えられる条件で、例えば課金条件やポイントなどがある。
図15の例では、印刷コマンド154bに課金条件が付加されている。尚、プリンタ103から携帯電話102に機器情報および実行可能なコマンドリストが送信される時に印刷コマンド154bと一緒に課金条件が送信される。同様に、携帯電話102から電子カメラ101に機器情報および実行可能なコマンドリストが送信される時に印刷コマンド154bの課金条件が送信される。このようにして、各電子機器で共有するコマンドリスト(図15の例では、コマンドリスト131e、コマンドリスト132eおよびコマンドリスト133e)には、課金条件が付加された印刷コマンド154bが登録される。
そして、電子カメラ101は、撮影コマンド151を実行してプリンタ103に印刷コマンド154bを送信する(S107a)。印刷コマンド154bは図2の場合と同様に携帯電話102で受信され、再び携帯電話102からプリンタ103に送信される(S204a)。そして、プリンタ103で画像がプリントされ、プリンタ103から印刷完了と印刷料金(100円)の情報を含むコマンド応答が印刷コマンド154bの発行元に送信される(S205a)。このコマンド応答は、携帯電話102を経由して電子カメラ101に送信され(S108a)、電子カメラ101では、印刷料金が100円であったことを確認できる。尚、印刷料金の支払いは、プリンタ103を管理するDPEショップに出向いて現金で支払ってもよいし、予め登録した銀行口座から引き落とすようにしてもよい。さらに、電子カメラ101からプリンタ103に印刷コマンド154bを送信する際に、電子カメラ101の使用者のIDや電話番号あるいは住所などを印刷コマンド154に含めておくことにより、プリンタ103を管理するDPEショップから使用者に料金の請求を行うこともできる。
このように、本応用例2では、コマンドに課金条件などの条件を付加しておくことにより、様々なビジネスやサービスに利用することができる。
[応用例3]
先に説明した各実施形態では、他機器との間で通信を確立する時にコマンドリストを取得するようにしたが、本応用例3では、必要なコマンドを検索して、必要なコマンドのみのリストを取得することができる。これにより、不要なコマンドをコマンドリストに登録する必要がなくなり、メモリ容量や通信情報量の削減を行うことができる。
図16は、本応用例3に係る電子機器連携システム100において、電子カメラ101と携帯電話102との間でコマンド検索を行う例を示した図である。図2の例では、通信確立(S101)後に機器情報と実行可能なコマンドリストを電子カメラ101と携帯電話102との間で送受信したが(S102,S103)、図16の例では、コマンドリストの送受信を行わないので、電子カメラ101のコマンドリスト131aには内部コマンドの撮影コマンド151だけが登録されており、携帯電話102のコマンドリスト132aにも内部コマンドの電子メールコマンド152とGPSコマンド153が登録されているだけである。
そして、電子カメラ101で位置情報を利用するアプリケーションを利用する時に、例えば「GPS」をキーワードとするコマンド検索メッセージを通信確立済の他機器に送信する(S110)。そして、GPSコマンド153を有する携帯電話102から検索結果としてコマンドリスト(GPSコマンド153)が電子カメラ101に返信される(S111)。尚、コマンド検索メッセージには、発信元機器IDなどを含んでいるので、携帯電話102からプリンタ103やサーバ104など複数の機器に転送して、必要なコマンドリストを取得することができる。尚、携帯電話102のコマンドリスト132aは変更されない。また、図16の例では、キーワードに合致する他機器から返信されるコマンドリストを全てコマンドリスト131fに登録するようにしてもよいし、コマンドリスト131fに登録するコマンドを電子カメラ101側で選択できるようにしてもよい。
このようにして、本応用例3に係る電子機器連携システム100では、自機器で必要な機能を他機器のコマンドリストから検索して、指定したコマンドのみをコマンドリストに取り込むことができ、不要なコマンドリストを保持する必要がなくなる。
[応用例4]
先に図10で説明した実施形態では、他機器との間で一対一でコマンドや実行結果を送受信するようにしたが、本応用例4では、バッチ処理などに対応できるように、コマンドの中にコマンドを含めるネスティングを行うことができる。これにより、プログラムが簡潔になり、機器間で送受信する回数を少なくすることができる。
図17は、本応用例4に係る電子機器連携システム100の動作手順を示す図で、図10と同様に「観光地において電子カメラ101で撮影した画像に位置情報を合成して自宅にあるプリンタ103で印刷する」という利用シーンに対応している。ここで、図17の4つの電子機器は機器情報やコマンドリストを互いに送受信して、同じコマンドリストを共有している状態にある。この場合の利用可能なコマンドは、電子カメラ101の撮影コマンド151、携帯電話102のGPSコマンド153、プリンタ103の印刷コマンド154、の3つのコマンドと、サーバ104の合成コマンド155である。
以下、図17の動作について順番に説明する。尚、以下の(10)から(14)は図17の(1)から(5)に対応する。
(10)撮影者が電子カメラ101のシャッターボタン262を押下すると、電子カメラ101で撮影コマンド151が実行され、撮影画像をバッファ203に取り込む。
(11)電子カメラ101から携帯電話102にGPSコマンド153が送信され、携帯電話102で取得した位置情報(緯度経度情報、或いは地図データで変換した住所情報)を取得する。
(12)電子カメラ101は、携帯電話102に合成コマンド155を送信する。ここで、合成コマンド155には、印刷コマンド154が含まれている。また、合成コマンド155には、(10)で撮影した画像データと、(11)で取得した位置情報とが含まれている。
(13)携帯電話102は、合成コマンド155(印刷コマンド154を含む)が自機器の内部コマンドではないので、合成コマンド155を実行する機器であるサーバ104にネットワークを経由して転送する。そして、サーバ104は、自機器の内部コマンドである合成コマンド155を実行し、撮影画像に位置情報を合成した実行結果の画像を得る。さらに、サーバ104は、合成コマンド155に印刷コマンド154が含まれているので、合成後の画像を含む印刷コマンド154をプリンタ103に送信する。
(14)プリンタ103は、自機器の内部コマンドである印刷コマンド154を実行し、位置情報が合成された撮影画像をプリントする。
尚、図10の例と同様に、プリント完了を示す応答をサーバ104に返信し、サーバ104は印刷コマンド154が含まれていた合成コマンド155の発行元の電子カメラ101に携帯電話102を経由してプリント完了を示す応答を転送する。これにより、電子カメラ101は正常に自宅のプリンタ103で撮影画像を印刷したことを示すメッセージを表示部206に表示し、撮影者はこれを確認できる。
このように本応用例4では、コマンドの中にコマンドを含めるネスティングを行うことができる。これにより、プログラムが簡潔になり、機器間で送受信する回数を少なくすることができる。尚、図17の例では、外部コマンド(サーバ104)に別の機器(プリンタ103)の外部コマンドを含める例を示したが、内部コマンドに外部コマンドを含めてもよいし、同じ他機器の外部コマンドをネスティングしてもよい。
[応用例5]
上記の各実施形態では、他機器に対してコマンドを送信して他機器の実行結果を受信する例を示したが、本応用例5では、コマンドを実行するタイミングを与えるイベントを送信する例について説明する。これにより、リアルタイムでコマンドを発行する必要がなくなり、コマンド発行側の処理負担を減らすことができる。
ここで、図18は、本応用例5に係る電子機器連携システム100の動作手順を示す図で、例えば「遠隔地に設置した電子カメラ101で撮影した画像を自宅のパソコン106で閲覧する」という利用シーンを想定している。図18の電子カメラ101とパソコン106とは、携帯電話102を経由して互いに接続され、同じコマンドリストを共有している状態にある。この場合の利用可能なコマンドは、電子カメラ101の撮影コマンド151、時刻イベントである。ここで、撮影コマンド151は、図2などで説明したコマンドと同じである。また、時刻イベントは、指定した時刻に指定したコマンドを実行させるイベントで、例えば時刻イベントには、実行するコマンド(図18の例では撮影コマンド151)と、実行する時刻(図18の例ではAM6:00)とが含まれている。
以下、図18の動作について順番に説明する。尚、以下の(20)から(22)は図18の(1)から(3)に対応する。
(20)パソコン106から撮影コマンド151を含む時刻イベントを携帯電話102に送信する。
(21)携帯電話102は、パソコン106から受信する撮影コマンド151を含む時刻イベントを電子カメラ101に転送する。
(22)電子カメラ101は、時刻イベントに含まれているコマンドの実行時刻(AM6:00)になるまで待機し、電子カメラ101内部の時計がAM6:00になった時に撮影コマンド154を実行し、撮影画像をバッファ203に取り込む。そして、撮影完了を示す応答にバッファ203に取り込まれた画像データを付加して携帯電話102経由でパソコン106側に返信する。これにより、パソコン106の画面で撮影画像を閲覧することができる。
このように本応用例5では、コマンドを実行するタイミングを与えるイベントを送信することにより、リアルタイムでコマンドを発行する必要がなくなり、コマンド発行側の処理負担を減らすことができる。
[応用例6]
次に、GUI(Graphical User Interface)を持たない機器にGUI機能を持たせる例について説明する。これにより、単純なボタンしか搭載していない機器の操作性を向上することができ、様々な機能の利用や複雑な設定を容易に行えるようにすることができる。本応用例6では、操作インターフェースを持たないプリンタ103の機能設定をタッチパネルなどのGUIインターフェース機能を有する携帯電話102で行う例について説明する。
図19は、本応用例6に係る電子機器連携システム100において、携帯電話102とプリンタ103との間でGUIコマンドを利用する例を示した図である。携帯電話102のGUIコマンド155以外は図9の例と同じである。図19において、通信確立(S201)後に機器情報と実行可能なコマンドリストを携帯電話102とプリンタ103との間で送受信し(S202c,S203)、携帯電話102のコマンドリスト132hと、プリンタ103のコマンドリスト133hは、電子メールコマンド152、GPSコマンド153、GUIコマンド155および印刷コマンド154が登録されている。
ここで、GUIコマンド155は、他機器(プリンタ103)から受信する設定メニューリストを自機器(携帯電話102)の画面156に表示したり、タッチパネル式の画面156上の項目を指で選択した情報を他機器に返信する機能を提供するコマンドである。図19の例では、携帯電話102の画面156にプリンタ103の印刷レイアウト選択とズーム設定のメニュー画面が表示されている。そして、プリンタ103の利用者は、例えば印刷レイアウトの状態を視覚的に表示するグラフィックな画面の中からレイアウトAを指でタッチして選択する。或いは、ズーム状態を視覚的に表示する印刷イメージを指で拡大して、数値で表示されるズーム倍率を確認しながらズーム設定を行う。尚、GUIコマンド155による操作情報は携帯電話102からプリンタ103に送られ、逆にプリンタ103から携帯電話102にメニュー画面の情報などが送られる(S208)。
このように、本応用例6に係る電子機器連携システム100では、GUIを持たない機器(プリンタ103)にGUI機能を持たせることができ、単純なボタンしか搭載していない機器の操作性を大幅に向上することができる。
[その他の例]
以上、様々な応用例について説明したが、上記以外にも以下のような応用が可能である。
(1)カメラ付の普通の携帯電話と、3D機能を有するスマートホンとが連携し、携帯電話のカメラとスマートホンのカメラとを所定の視差で設置し、両方の機器で同時に撮影した2枚の画像をスマートホン側で3D画像に変換することも可能である。
この場合、携帯電話とスマートホンのそれぞれの撮影コマンドを共有し、例えばスマートホンのシャッターボタンの押下をイベントとして携帯電話とスマートホンの両方で撮影コマンドを同時に実行する。
(2)電子カメラ101とビデオレコーダとを連携させて、電子カメラ101のシャッターボタン262の押下をイベントとして、ビデオレコーダの録画コマンドを実行することも可能である。
(3)電子カメラ101とインターネット上のサーバ104とを連携させて、電子カメラ101で画像を撮影する毎にサーバ104に撮影画像を送信して適切な画像処理を施して保存することも可能である。
この場合は、電子カメラ101には、画像処理エンジンやメモリなどを必要とせず、光学系などを含む撮像部とC機能に対応する回路があればよいので、非常に安価なカメラを提供することができる。しかも、図10のように携帯電話102を介してインターネットに接続すればよいので、ネットワーク接続機能の搭載も不要である。
尚、上記の各実施形態では、電子機器の例として、電子カメラ101、携帯電話102、プリンタ103、サーバ104を挙げて説明したが、これら以外の電子機器であってもよい。例えば、テレビ、録画機器、ゲーム機器、携帯型音楽プレーヤ、パソコンなどでもよい。或いは、冷蔵庫、エアコン、炊飯器、掃除機などの家電製品、ヘルスメータ、血圧計、心拍センサ、サーモグラフィーカメラなどの生体センサを備える機器、自動車などであってもよい。この場合、冷蔵庫とカメラを連携させて、冷蔵庫のドアを開ける毎に撮影する機能を実現したり、ゲーム機と生体センサを備える機器とを連携させて、ゲーム中のユーザーの心拍数や体温の変化などをモニタする機能を実現することができる。或いは、エアコンの人感センサを利用することもでき、例えばエアコンとカメラとを連携させて、人感センサで人を感知した時にカメラで写真を撮影する機能を実現することができるので、防犯機器として利用可能である。
[コマンドの表示方法]
次に、コマンドの表示方法について説明する。各機器が利用可能なコマンドは、例えばGUIインターフェースを有する機器の場合、図7で説明したように、利用可能なコマンドのアイコンが画面に表示される。そして、他機器と通信が確立してコマンドリストを受信する毎に利用可能なコマンドが増えると、画面にアイコンが追加されていく。尚、アイコン表示ではなく、コマンド名を示す文字リスト表示であっても同様である。
例えば図20の場合、電子カメラ101の表示部206(他機器の表示部でもよい)の画面には機器別にエリア分けされてコマンドリスト(アイコン)が表示されるようになっている。尚、表示エリアを機器別に色分けしてもよい。例えば図20(a)は、他機器との通信が確立する前の状態を示し、自機器の表示エリアには自機器のコマンド(同図の例では静止画撮影コマンドと動画撮影コマンド)が表示されている。次に、図20(b)では、機器A(例えば携帯電話)との通信が確立して、機器Aのコマンド(同図の例ではGPS情報コマンドとメール送信コマンド)が機器Aのコマンド表示エリアに表示される。さらに、図20(c)では、機器B(例えばプリンタ)との通信が確立して、機器Bのコマンド(同図の例では印刷コマンド)が機器Bのコマンド表示エリアに表示される。
このように、他機器と通信が確立してコマンドリストを受信する毎に利用可能なコマンドのアイコンが追加されていく。逆に、他機器の電源がオフされた場合や通信ができない距離に離れた場合、或いは他機器の使用者が意図的にコマンドの使用を許可しない場合などは、当該機器のコマンドをコマンドリストから削除する。或いは、自機器の使用者が追加された他機器のコマンドを意図的に削除してもよい。この場合は、タッチパネルなどでコマンドを選択して、例えばポップアップ表示される処理選択画面(削除、使い方、パラメータなどの選択画面)で削除を選択すればよい。何れの場合でも、コマンドが利用できなくなった場合は、利用できないことがわかるように表示する。例えば図20(d)は、機器Aのコマンドが利用できなくなった状態を示し、機器Aのコマンドがグレイアウトされた状態になる。或いは、機器Aのコマンド表示エリア全体をグレイアウトしてもよいし、×印を表示してもよい。さらに、図20(d)に示すように、使用できない旨を示すメッセージを表示してもよい。例えば、図20(d)では、「機器Aは通信範囲外になりました。」というメッセージが表示されている。また、予め設定した期間、コマンドを使用できない状態が続いた場合に、コマンドのアイコンを表示部206の画面から消去するようにしてもよい。
ここで、通信が確立していない時でも、過去に一度でも他機器から受信したコマンドがある場合は、当該コマンドのアイコンを表示部206に表示してもよい。また、上記の例では、使用できないコマンドのアイコンをグレイアウトするようにしたがアイコンを暗く表示させてもよいし、強調表示(サイズを大きくする等)させてもよい。逆に、使用可能なコマンドのアイコンを明るく表示させてもよいし、形状を変えてもよい。また、機器毎にアイコンを色分けして表示してもよいし、接続中の機器と未接続の機器とを色分けして表示してもよい。或いは、新たに使用できるようになったコマンドのアイコンをアニメーションで振動させたり、光らせるなどの画像効果を持たせてもよい。
次に、コマンドリストの検索方法や表示方法の一例について説明する。図21(a)および図21(b)は、電子カメラ101の表示部206(他機器の表示部でもよい)の画面に表示されたコマンドリストの上部に配置されたタブを選択することによって、コマンドリストの中から特定機能のコマンド(例えばGPS関連のコマンドや画像処理関連のコマンドなど)を検索する例を示している。図21(a)では、全機能を表示するタブが選択された状態を示し、複数の機能(機能A、機能Bおよび機能Cなど)の使用可能な全てのコマンドリスト(コマンドaからコマンドg)が表示されている。また、図21(b)は、機能Aのタブが選択された状態を示し、機能Aに関係する使用可能なコマンドリスト(同図の例ではコマンドa、コマンドeおよびコマンドg)が表示される。この時、機能A以外のコマンド名やアイコンをグレイアウトするようにしてもよい。これにより、利用者は使用可能なコマンドを容易に知ることができる。特に図21(b)の例では、表示されているコマンド名やアイコンの表示位置を変えないので、利用者の混乱を避けることができる。ここで、機能A以外のコマンド名やアイコンをグレイアウトせずに、機能Aとそれ以外の機能のコマンド名やアイコンの色やサイズを変えるようにしてもよい。
[コマンド連携の基本機能]
次に、複数のコマンドを組み合わせて連携させることによって特定の機能を実現する例について説明する。ここでは、図7や図20で説明したように、各コマンドを電子カメラ101の表示部206(他機器の表示部でもよい)にアイコンで表示するGUIインターフェースを用いることができる。そこで、表示部206の画面にアイコンを並べて連結させることにより、バッチ処理のように複数のコマンドを連携させて順番に処理を実行することができる。
ここで、複数のコマンドを組み合わせる操作の一例について説明する。図22の例では、操作部205をタッチパネル式の操作インターフェースで構成し、表示部206の画面をコマンドリスト表示領域401と、コマンド連携作成領域402とに分けて表示する。そして、コマンドリスト表示領域401に表示された各種コマンドのアイコンを指でタッチして選択し、そのままコマンド連携作成領域402にドラッグして配置する。例えば図22では、指1で起動トリガのアイコンをドラッグして配置し、次に指2で静止画撮影のアイコンをドラッグして配置する。そして、指3で起動トリガのアイコンから静止画撮影のアイコンまでスライドさせると、コマンド連結用の矢印403が表示される。同様の操作を繰り返すことにより、複数のコマンドを連結することができる。尚、設定された条件に応じて分岐する場合は、分岐方向に応じて複数の矢印で連結することができる。
ここで、コマンドのパラメータ入力は、例えば図22に示すように、パラメータを設定したり、するアイコンにタッチ(又はクリック)すればポップアップウィンドウ404が表示され、当該アイコンに関係するパラメータの設定を行うことができる。さらに、例えばアイコンをダブルクリックすることで、コマンドの機能や使い方などを表示するようにしてもよい。これにより、初めて使用するコマンドであっても簡単に使用することができる。さらに、コマンドを実行する機器が分かるように、コマンドのアイコンの一部に機器の形状を示す画像を表示するようにしてもよいし、アイコンの形状自体を機器の画像やイラストにしてもよい。
このようにして、複数のコマンドを連携させて自由に特定の機能を実現することができる。
[コマンド連携の応用例]
次に、GUIインターフェースを用いたコマンド連携の応用例について説明する。図7や図20で説明したように、表示部206にGUI画面を表示して、コマンドをアイコンで表示できる場合、GUI画面上で複数のコマンドのアイコンを組み合わせて連携させることにより、単独のコマンドでは達成できないオリジナルの機能を実現することができる。特に単純な動作コマンドだけではなく、論理式やWAIT機能なども組み合わせて高機能化することができる。
以下、GUI画面上で複数のコマンドのアイコンを組み合わせて連携させるいくつかの例を挙げて説明する。
(GUIコマンド連携の例1)
図23は、先に説明した図17の構成(電子カメラ101、携帯電話102、プリンタ103、サーバ104)で複数のコマンドのアイコンを組み合わせて連携させる一例を示す図である。この場合の使用想定シーンでは、特定の被写体(富士山など)を撮影できるように設置された電子カメラ101で、晴れた朝の富士山を露出を変えて2枚自動撮影し、その場のGPS情報を携帯電話102で取得してWeb上のサーバ104の画像合成機能で1枚の画像に合成(レイアウト)後、プリンタ103で印刷し、携帯電話102から合成した画像を電子メールで指定のアドレスに送信することができる。このような一連の処理を実行するためのコマンド連携について説明する。
図23の電子カメラ101の表示部205に表示されるGUI画面において、先ず、電子カメラ101のレリーズボタンの押下が「起動トリガ:シャッタ」のイベントを発生する。そして、”晴れた朝”であるか否かを判別するためにWeb上のサーバ104の「天気情報取得コマンド」を実行するが、「起動トリガ」と「天気情報取得コマンド」との間にジャンプ先を示す「ラベル:LABEL1」を配置しておく。「天気情報取得コマンド」で取得した天気情報は、携帯電話102の処理「変数格納:A」により変数Aに格納し、「変数分岐:A=晴れ」により変数Aに格納された天気情報が晴れであるか否かに応じて分岐する。尚、分岐先を示す矢印は、判定結果がYesの場合とNoの場合とで色分けしてもよいし、”Yes”や”No”の表示をしてもよい。また、”Yes”や”No”の分岐条件の設定は、例えば矢印をタッチ(又はクリック)するとポップアップメニューが表示され、メニューリストから選択する。図23の例では、天気が晴れの場合はサーバ104の「日時情報取得コマンド」を実行し、天気が晴れではない場合は「ジャンプ:LABEL1」を実行して「ラベル:LABEL1」に戻り、天気が晴れになるまで同様の処理を繰り返す。
天気が晴れの場合、サーバ104の「日時情報取得コマンド」により取得した日時情報をサーバ104の処理「変数格納:B」により変数Bに格納し、変数Bに格納された日時情報が7:00を過ぎたか否かに応じて分岐する。7:00を過ぎた場合は電子カメラ101の「静止画撮影コマンド:自動1(例えばオートフォーカスなど)」を実行し、7:00を過ぎていない場合は「WAIT:10sec」により10秒間待機して再び「日時情報取得コマンド」を実行する。ここで、先の「変数分岐:A=晴れ」から「天気情報取得コマンド」に戻る場合は、「ジャンプ:LABEL1」と「ラベル:LABEL1」のアイコンで連結したが、「日時情報取得コマンド」と「WAIT:10sec」のように、アイコンが近くにある場合は、直接、矢印で連結してもよい。図23の例では、日時が7:00を過ぎるまで待機する。
日時が7:00を過ぎた場合、電子カメラ101の「静止画撮影コマンド:自動1」を実行し、撮影した画像を「変数格納:C」により変数Cに格納する。そして、電子カメラ101の「露出調整コマンド:+1」により、露出を+1する処理を行い、再び「静止画撮影コマンド:自動1」を実行して2枚目の画像を撮影し、撮影した画像を「変数格納:D」により変数Dに格納する。
そして、携帯電話102の「GPS情報コマンド」を実行し、取得したGPS情報(位置情報など)を「変数格納:E」により変数Eに格納する。さらに、ここまでの処理で取得した情報(変数A,B,C,D,E)をサーバ104上で1枚の画像に合成する「画像合成コマンド:ABCDE」を実行し、合成後の画像を「変数格納:F」により変数Fに格納する。変数Fに格納された画像は、プリンタ103の「印刷コマンド:F」を実行して印刷した後、携帯電話102の「メール送信コマンド:F」を実行して指定されたアドレスに変数Fに格納された合成後の画像を送信する。
このようにして、複数の機器の複数のコマンドのアイコンをGUI画面で連結することにより、簡単に独自のアプリケーション機能を実現することができる。特に図23のGUI画面によるコマンドの連結操作は、電子カメラ101や携帯電話102の液晶画面で行ってもよいし、プリンタ103の液晶画面やサーバ104で行ってもよい。また、電子カメラ101のシャッタボタンは人が操作してもよいし、携帯電話102の特定ボタンやプリンタ103の印刷ボタンを電子カメラ101のシャッタボタンに割り当てて遠隔操作するようにしてもよい。この場合は、「起動トリガ:シャッタ」のイベントのパラメータで他機器のボタンを指定できるようにしてもよいし、「起動トリガ:シャッタ」のイベントの代わりに他機器のボタンの操作情報を取得するコマンドを配置するようにしてもよい。
(GUIコマンド連携の例2)
次に、プリンタ103から操作する、GUIコマンド連携の例について説明する。図24は、プリンタ103と電子カメラ101とを用いて、プリンタ103の印刷ボタンを電子カメラ101のシャッタボタンとして利用するアプリケーションを示している。この場合、プリンタ103の液晶画面103aを表示部(電子カメラ101の表示部206に相当)として、GUIによるコマンド連結操作を行う。
図24の例では、「起動トリガ:印刷ボタン」のイベントにより処理が開始される。尚、プリンタ103と電子カメラ101との間では、先の例と同様に、通信が確立されて互いのコマンドリストを送受信されているものとする。
(ステップS401)プリンタ103の印刷ボタンが押下されたか否かを判別する。印刷ボタンが押下された場合はステップS402に進み。印刷ボタンが押下されていない場合はステップS401で印刷ボタンが押下されるまで待機する。
(ステップS402)プリンタ103は、「静止画撮影コマンド」を実行する。この「静止画撮影コマンド」は自機器の内部コマンドではないので、「静止画撮影コマンド」を実行する機器である電子カメラ101に転送する。
(ステップS403)電子カメラ101は、プリンタ103から転送された自機器の内部コマンドである「静止画撮影コマンド」を実行する。
(ステップS404)電子カメラ101は、撮影した画像を変数Aに格納する。そして、「静止画撮影コマンド」の転送元のプリンタ103に変数Aに格納された画像を送信する。
(ステップS405)プリンタ103は、電子カメラ101から「静止画撮影コマンド」の実行結果である変数Aを受信する。
(ステップS406)プリンタ103は、変数Aに格納された画像を印刷する。
このようにして、プリンタ103から操作を行い、印刷ボタンを押下するだけで、離れた場所にある電子カメラ101で画像を撮影し、撮影した画像を印刷することができる。この場合、プリンタのカーソルボタンなどで露出などの撮影条件を変えられるようにしてもよい。
(GUIコマンド連携の例3)
図25は、電子カメラ101と録画機器107と人感センサ付きのエアコン108とを連携させて、エアコン108の人感センサで人間を検知した時に電子カメラ101で撮影した画像をそのまま録画機器107に保存する例を示している。
図25の電子カメラ101の表示部206に表示されるGUI画面において、先ず、エアコン108の人感センサで人間を感知した時に「起動トリガ:シャッタ」のイベントを発生する。「起動トリガ:シャッタ」のイベントは、電子カメラ101の「静止画撮影コマンド:自動1」を実行させる。そして、撮影された画像は電子カメラ101の処理「変数格納:A」により変数Aとして内部バッファなどに一時的に取り込まれる。さらに、変数Aに格納された画像は、録画機器107に送信され、録画機器107のハードディスクなどに保存される。
このようにして、エアコン108の人感センサで人間を感知した時に電子カメラ101で撮影した画像を録画機器107に保存することができる。この場合、不審者の侵入を検知して画像を撮影する監視カメラシステムとして使用することができる。
(GUIコマンド連携の例4)
図26は、カメラ付き携帯電話102とカメラ付きスマートフォン109とを連携させて、両方のカメラで同じ被写体を撮影し、スマートフォン109側にある画像処理ソフトでステレオ画像を合成する例を示している。この場合、例えば両手に携帯電話102とスマートフォン109とを持って、携帯電話102側のボタンでシャッタのトリガーをかける。
図26の携帯電話102の液晶画面102aに表示されるGUI画面において、先ず、携帯電話102の撮影ボタンの押下が「起動トリガ:シャッタ」のイベントを発生する。「起動トリガ:シャッタ」のイベントは、携帯電話102の内部コマンド「静止画撮影コマンド:自動1」を実行して「変数格納:A」により変数Aに撮影画像を格納する。同時に、「起動トリガ:シャッタ」のイベントは、スマートフォン109の外部コマンド「静止画撮影コマンド:自動1」を実行してスマートフォン109での撮影画像を「変数格納:B」により変数Bに格納する。そして、スマートフォン109は、「画像合成コマンド:AB」を実行して、変数Aに格納された画像と変数Bに格納された画像とを視差画像として立体画像を合成し、「変数格納:C」により変数Cに格納する。さらに、変数Cに格納された立体画像を携帯電話102に保存する。
このようにして、2台のカメラを連携して立体画像を撮影することができる。
(その他の例について)
上記以外の例として、メモリインターフェースが付いていないスマートフォン109と、メモリインターフェース付きのプリンタ103とを連携させて、プリンタ103に接続したUSBメモリに記憶された画像をスマートフォン109で読み出したり、画像を閲覧することができる。さらに、閲覧した画像の中から選択した画像をスマートフォン109で操作してプリンタ103で印刷することもできる。
或いは、携帯電話102の電子メール機能と連携して、プリンタ103側から携帯電話102で受信した電子メールを閲覧したり、電子メールの添付されている画像を選択して印刷することも可能である。
また、プリンタ103の表示モニタでインターネットにアクセスすることも可能である。この場合は、プリンタ103側から携帯電話102などのインターネットアクセス機能(例えばネットアクセスコマンド)を利用してインターネットに接続し、プリンタ103の表示モニタにインターネット情報を表示することができ、印刷ボタンでそのまま印刷することも可能である。
さらに、プリンタ103とテレビとを連携させて、プリンタ103のモニタ画面にテレビ放送の画面を表示させて、そのまま印刷ボタンを押下することによりテレビ画面を印刷する機能を実現することもできる。
同様に、プリンタ103とゲーム機器とを連携させて、プリンタ103のモニタ画面にゲーム機器の画面を表示させて、印刷ボタンの押下でゲーム画面を印刷する機能を実現することもできる。
以上、GUIによるコマンド連携の例について説明してきたように、各機器の表示デバイスの画面にコマンドのアイコンを配置して連結するだけの簡単な操作で複数の機器の複数のコマンドを連携させて任意の様々な機能を実現することができる。
尚、GUIによるコマンド連携で複数のコマンドを実行している途中で、実行中のコマンドが分かるように、実行中のコマンドのアイコンの色、形状、サイズなどを変えたり、アニメーション表示するようにしてもよい。アニメーション表示は、アイコンを振動させたり光らせたりしてもよいし、アイコンが機器の形状を示す画像やイラストで表示されている場合は、動作中の部位(例えばシャッタボタンなど)をアニメーションで動かすように表示してもよい。これにより、使用者が実行中のコマンドや実行内容を容易に認識することができる。
以上、各実施形態で説明してきたように、本発明に係る電子機器および電子機器連携システム並びに電子機器制御方法は、以下のような効果が得られる。
・同様の通信手段とコマンド共有機能を有する電子機器間で、機器情報、実行可能なコマンドおよびイベントを共有して、他機器のコマンドを自機器のコマンドと同様に使用できるので、自機器にはない他機器の機能を自機器の機能として取り込むことができる。
・各コマンドは、コマンドを実行可能な機器上で実行されるので、自機器のCPUやOSに依存せず、様々な機能を実現することができる。
・コマンド自体にそのコマンドを実行する機器のIDやコマンドの実行結果を返信するための返信先機器ID(コマンド送信元ID)などのパラメータを含むので、複数の機器間でコマンドを転送することにより、直接通信できない機器の機能を利用することができる。
・内部コマンドと外部コマンドを区別なく同じ手続きで実行できる。
・機器が追加された場合でも、追加された機器の制御情報を接続されている全ての機器で共有することができる。
・自機器で必要な機能を他機器のコマンドリストから検索して、指定したコマンドのみをコマンドリストに取り込むことができ、不要なコマンドリストを保持する必要がない。
・コマンド自体が自らの機能やパラメータ或いは使用方法、返信データの種類などの情報を保持するので、コマンドの使い方を調べる必要がなく、簡単に他機器の機能を利用できる。
・コマンドのネスティング(バッチ処理化)が可能なので、例えば複数の電子機器の機能を組み合わせて、新たな機能を実現することができる。
・イベントをトリガーとしてコマンドを実行するので、コマンドを実行するタイミングを自機器で管理する必要がなく、他機器から実行結果が含まれるコマンド応答を受信するまで待機するか、別の処理を行うことができる。
・コマンドの適用範囲(他機器に公開するコマンドの種類)を指定できるので、不特定多数の機器に利用されたくない機能を保護することができる。
・また、課金条件などの付加情報を付けることによって様々なビジネスやサービスに利用することができる。
尚、本発明に係る電子機器および電子機器連携システム並びに電子機器制御方法について、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
10・・・電子機器;11・・・ハードウェア;12・・・ソフトウェア;13・・・電子機器用回路;14・・・通信回路;15・・・制御プログラム;16・・・C機能プラットホーム;17・・・コマンド処理部;18・・・コマンド共有部;19・・・通信処理部;20,131a,132a・・・コマンドリスト;100・・・電子機器連携システム;101,901・・・電子カメラ;102・・・携帯電話;103・・・プリンタ;104,105,904・・・サーバ;106・・・パソコン;107・・・録画機器;108・・・エアコン;109・・・スマートフォン;151・・・撮影コマンド;152・・・電子メールコマンド;153・・・GPSコマンド;154・・・印刷コマンド;155・・・合成コマンド;201・・・光学系;202・・・撮像部;203・・・バッファ;204・・・制御部;205・・・操作部;206・・・表示部;207・・・メモリカードIF;208・・・メモリ;209・・・通信回路;261・・・電源ボタン;262・・・シャッターボタン;263・・・モード選択ダイヤル;264・・・メニューボタン;265・・・十字キー

Claims (10)

  1. 他機器と通信を行う通信部と、
    前記通信部により、自機器のコマンドを他機器へ送信し、他機器のコマンドを受信して他機器のコマンドを取得し、前記自機器のコマンドと他機器のコマンドとを管理するコマンド管理部と、
    前記コマンド管理部で管理されているコマンドのうち、選択されたコマンドが前記自機器のコマンドである場合は、前記自機器のコマンドに対応する機能の処理を前記自機器で実行し、選択されたコマンドが他機器のコマンドである場合は、前記他機器のコマンドに対応する機能の処理を前記他機器に実行させるコマンド処理部と
    を有することを特徴とする電子機器。
  2. 請求項1に記載の電子機器において、
    前記コマンド処理部は、選択されたコマンドが他機器のコマンドである場合、前記他機器コマンドを前記通信部により前記他機器に送信し、前記他機器のコマンドの実行結果を前記通信部により前記他機器から受信する
    ことを特徴とする電子機器。
  3. 請求項1または2に記載の電子機器において、
    前記コマンド管理部は、機器情報、コマンド実行のタイミングを与えるイベント情報を管理することを特徴とする電子機器。
  4. 請求項1から3のいずれか一項に記載の電子機器において、
    前記コマンド管理部は、第1機器との間で第1コマンドを受信した後で、新たに第2機器との間で第2コマンドを受信した場合、前記第2コマンドのうち前記第1コマンドに含まれないコマンドを前記第1機器に送信する
    ことを特徴とする電子機器。
  5. 請求項1から4のいずれか一項に記載の電子機器において、
    前記通信部を介して接続される他機器の中からコマンドを検索するコマンド検索部をさらに設け、
    前記コマンド管理部は、前記コマンド検索部が検索したコマンドを加える
    ことを特徴とする電子機器。
  6. 請求項1から5のいずれか一項に記載の電子機器において、
    前記コマンド毎に公開範囲を設定する公開範囲設定部を更に設け、
    前記コマンド管理部は、前記自機器のコマンドを他機器に送信する際、前記自機器のコマンドの公開範囲に前記他機器が含まれていない場合、前記自機器のコマンドを送信しない
    ことを特徴とする電子機器。
  7. 請求項1から6のいずれか一項に記載の電子機器において、
    前記コマンドに課金情報を設定する課金情報設定部を更に設け、
    前記コマンド管理部は、前記課金情報が付加された前記自機器のコマンドを他機器に送信し、
    前記コマンド処理部は、前記他機器から前記課金情報が設定された前記自機器のコマンドを受信した場合に、前記自機器のコマンドの実行結果に課金結果を付加して前記他機器に送信する
    ことを特徴とする電子機器。
  8. 複数の電子機器を有し、
    それぞれの電子機器が個々に有する機能の処理を実行するためのコマンドを所持し、
    前記複数の電子機器はコマンドを互いに共有し、
    共有したコマンドのうち使用するコマンドを第1の電子機器で選択し、選択された前記コマンドが第1の電子機器のコマンドである場合は、前記第1の電子機器のコマンドの機能に対応する処理を前記第1の電子機器で実行し、選択されたコマンドが第1の電子機器のコマンドでない場合は、前記選択されたコマンドを第2の電子機器に送信し、
    前記選択されたコマンドを受信した第2の電子機器は、受信した前記選択されたコマンドが前記第2の電子機器のコマンドである場合は、前記第2の電子機器のコマンドの機能に対応する処理を実行して、実行結果を送信元の電子機器に返信し、受信した前記選択されたコマンドが第2の電子機器のコマンドではない場合は、前記コマンドを前記第2の電子機器とは異なる第3の電子機器へ送信する
    ことを特徴とする電子機器連携システム。
  9. 複数の電子機器間で自機器が保持するコマンドを送信し、他機器のコマンドを受信して他機器のコマンドを取得し、自機器が実行する自機器のコマンドと他機器が実行する他機器のコマンドとを管理するコマンド管理手順と、
    管理されているコマンドのうち、選択されたコマンドが自機器のコマンドである場合は、前記自機器のコマンドに対応する機能の処理を自機器で実行し、前記選択したコマンドが他機器のコマンドである場合は、前記他機器のコマンドに対応する機能の処理を他機器に実行させるコマンド処理手順と
    を有することを特徴とする電子機器制御方法。
  10. 請求項9に記載の電子機器において、
    前記コマンド処理手順は、選択したコマンドが他機器のコマンドである場合、前記他機器のコマンドを前記他機器に送信し、前記他機器のコマンドの実行結果を前記他機器から受信する
    ことを特徴とする電子機器制御方法。
JP2012109419A 2011-05-13 2012-05-11 電子機器、制御方法およびプログラム Active JP6127382B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012109419A JP6127382B2 (ja) 2011-05-13 2012-05-11 電子機器、制御方法およびプログラム
EP12786563.2A EP2709019A4 (en) 2011-05-13 2012-05-14 ELECTRONIC DEVICE, SYSTEM FOR COORDINATING THE ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE ELECTRONIC DEVICE
US14/001,026 US20130332706A1 (en) 2011-05-13 2012-05-14 Electronic device, electronic device cooperating system, and electronic device controlling method
CN201280009838.6A CN103380420B (zh) 2011-05-13 2012-05-14 电子设备、电子设备协同***以及电子设备控制方法
PCT/JP2012/003133 WO2012157245A1 (ja) 2011-05-13 2012-05-14 電子機器および電子機器連携システム並びに電子機器制御方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011108384 2011-05-13
JP2011108384 2011-05-13
JP2012109419A JP6127382B2 (ja) 2011-05-13 2012-05-11 電子機器、制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2012256319A true JP2012256319A (ja) 2012-12-27
JP6127382B2 JP6127382B2 (ja) 2017-05-17

Family

ID=47176596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012109419A Active JP6127382B2 (ja) 2011-05-13 2012-05-11 電子機器、制御方法およびプログラム

Country Status (5)

Country Link
US (1) US20130332706A1 (ja)
EP (1) EP2709019A4 (ja)
JP (1) JP6127382B2 (ja)
CN (1) CN103380420B (ja)
WO (1) WO2012157245A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014132465A1 (ja) * 2013-02-28 2017-02-02 株式会社ニコン 電子機器および表示方法
JPWO2015080197A1 (ja) * 2013-11-27 2017-03-16 京セラ株式会社 操作端末、プログラム、及び方法
JP2018536924A (ja) * 2015-10-16 2018-12-13 グーグル エルエルシー モバイルコンピューティング装置によってキャプチャしたメディアを電子文書に添付するための技術

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5893338B2 (ja) * 2011-10-25 2016-03-23 キヤノン株式会社 画像処理装置及び画像処理方法並びにプログラム
US20140210989A1 (en) * 2012-06-01 2014-07-31 Mark S. Olsson Systems and methods involving a smart cable storage drum and network node for transmission of data
US9769538B2 (en) * 2012-12-17 2017-09-19 Cox Communications, Inc. Systems and methods for content delivery
WO2014103312A1 (ja) 2012-12-27 2014-07-03 パナソニック株式会社 電子機器
JP6123732B2 (ja) * 2013-05-10 2017-05-10 株式会社リコー 連携処理システム及び連携処理方法
JP5527492B1 (ja) * 2013-08-19 2014-06-18 ソニー株式会社 撮像装置、制御方法、およびプログラム
JP2015088786A (ja) * 2013-10-28 2015-05-07 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、撮像システムの制御方法、及びプログラム
CN104333669A (zh) * 2014-11-03 2015-02-04 重庆电子工程职业学院 一种电子信息显示***
JP6693167B2 (ja) * 2016-02-25 2020-05-13 コニカミノルタ株式会社 情報端末、画像処理システム、および、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003071178A (ja) * 2001-09-04 2003-03-11 Sanyo Electric Co Ltd 洗濯機
JP2005011124A (ja) * 2003-06-19 2005-01-13 Sanyo Electric Co Ltd 処理装置、その装置の制御コマンドを提供するコマンド提供装置、およびそれらの装置を有する機器制御システム
JP2009146146A (ja) * 2007-12-13 2009-07-02 Panasonic Corp 情報処理装置およびホームネットワークシステム
JP2011150606A (ja) * 2010-01-22 2011-08-04 Sharp Corp 機器操作システム、操作端末、***作機器、機器操作方法、機器操作プログラムおよび記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4235263B2 (ja) 1993-07-30 2009-03-11 キヤノン株式会社 制御装置
US6898645B2 (en) * 2002-04-17 2005-05-24 Canon Kabushiki Kaisha Dynamic generation of a user interface based on automatic device detection
US7522549B2 (en) * 2004-04-16 2009-04-21 Broadcom Corporation Registering access device multimedia content via a broadband access gateway
US8972872B2 (en) * 2006-03-27 2015-03-03 Fujitsu Limited Building computing applications based upon metadata
JP2010128948A (ja) * 2008-11-28 2010-06-10 Ricoh Co Ltd ワークフロー情報生成装置、ワークフロー情報生成方法、画像処理装置、制御プログラム及び記録媒体
WO2012000553A1 (en) * 2010-07-01 2012-01-05 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for service sharing
FI123439B (fi) * 2011-07-06 2013-04-30 Powerwave Finland Oy Säädettävä resonaattorisuodin ja menetelmä resonaattorionteloiden välisen kytkennän säätämiseksi

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003071178A (ja) * 2001-09-04 2003-03-11 Sanyo Electric Co Ltd 洗濯機
JP2005011124A (ja) * 2003-06-19 2005-01-13 Sanyo Electric Co Ltd 処理装置、その装置の制御コマンドを提供するコマンド提供装置、およびそれらの装置を有する機器制御システム
JP2009146146A (ja) * 2007-12-13 2009-07-02 Panasonic Corp 情報処理装置およびホームネットワークシステム
JP2011150606A (ja) * 2010-01-22 2011-08-04 Sharp Corp 機器操作システム、操作端末、***作機器、機器操作方法、機器操作プログラムおよび記録媒体

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014132465A1 (ja) * 2013-02-28 2017-02-02 株式会社ニコン 電子機器および表示方法
US10178338B2 (en) 2013-02-28 2019-01-08 Nikon Corporation Electronic apparatus and method for conditionally providing image processing by an external apparatus
JP2019054536A (ja) * 2013-02-28 2019-04-04 株式会社ニコン 電子機器
US10455180B2 (en) 2013-02-28 2019-10-22 Nikon Corporation Electronic apparatus and method for conditionally providing image processing by an external apparatus
JPWO2015080197A1 (ja) * 2013-11-27 2017-03-16 京セラ株式会社 操作端末、プログラム、及び方法
US10416699B2 (en) 2013-11-27 2019-09-17 Kyocera Corporation Automated identification of available operations for equipment
JP2018536924A (ja) * 2015-10-16 2018-12-13 グーグル エルエルシー モバイルコンピューティング装置によってキャプチャしたメディアを電子文書に添付するための技術
US10574726B2 (en) 2015-10-16 2020-02-25 Google Llc Techniques for attaching media captured by a mobile computing device to an electronic document

Also Published As

Publication number Publication date
EP2709019A1 (en) 2014-03-19
EP2709019A4 (en) 2014-12-03
WO2012157245A1 (ja) 2012-11-22
US20130332706A1 (en) 2013-12-12
CN103380420A (zh) 2013-10-30
CN103380420B (zh) 2016-08-10
JP6127382B2 (ja) 2017-05-17

Similar Documents

Publication Publication Date Title
JP6127382B2 (ja) 電子機器、制御方法およびプログラム
CN102714698B (zh) 用于拍摄图像的电子设备和方法
JP5020135B2 (ja) 携帯端末装置およびコンピュータプログラム
US8848085B2 (en) Photographing apparatus capable of communication with external apparatus and method of controlling the same
WO2013153711A1 (ja) 携帯型電子機器及び表示制御方法
JP6139829B2 (ja) 情報処理装置およびその制御方法、プログラム
JP2016123137A (ja) 画像通信装置および撮像装置
JP2001268490A (ja) 画像と位置データを関連付ける方法
KR20190013308A (ko) 이동 단말기 및 그 제어 방법
CN105681647A (zh) 摄像设备及其控制方法
EP2985980B1 (en) Method and device for playing stream media data
JP2009048310A (ja) 表示インターフェース、表示制御装置、表示方法、及びプログラム
JP2012099889A (ja) カメラ、撮影方法、撮影プログラム
CN115514882B (zh) 一种分布式拍摄方法,电子设备及介质
US20230208790A1 (en) Content sharing method, apparatus, and system
US8271030B2 (en) Method of providing preview image and mobile communication terminal
JP7485780B2 (ja) デバイス位置特定方法及び関連装置
CN105530428B (zh) 场所信息指定装置和场所信息指定方法
JP2013206220A (ja) 電子機器、およびプログラム
CN108780426A (zh) 服务提供***、服务递送***、服务提供方法和程序
CN109074327A (zh) 服务提供***、服务递送***、服务提供方法和程序
KR20180014616A (ko) 이동 단말기 및 그 제어방법
JP2022053356A (ja) 通信装置、通信装置の制御方法、プログラム
CN114007202A (zh) 一种绑定关系的建立方法以及相关设备
JP6869656B2 (ja) 送信装置、受信装置、及び、通信システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160614

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170327

R150 Certificate of patent or registration of utility model

Ref document number: 6127382

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250