JP6481225B2 - 情報端末装置、情報支援方法及び情報支援プログラム - Google Patents

情報端末装置、情報支援方法及び情報支援プログラム Download PDF

Info

Publication number
JP6481225B2
JP6481225B2 JP2015034488A JP2015034488A JP6481225B2 JP 6481225 B2 JP6481225 B2 JP 6481225B2 JP 2015034488 A JP2015034488 A JP 2015034488A JP 2015034488 A JP2015034488 A JP 2015034488A JP 6481225 B2 JP6481225 B2 JP 6481225B2
Authority
JP
Japan
Prior art keywords
communication
unit
information
captured image
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015034488A
Other languages
English (en)
Other versions
JP2016158109A (ja
Inventor
佳之 福谷
佳之 福谷
和彦 志村
和彦 志村
和男 神田
和男 神田
金田一 剛史
剛史 金田一
野中 修
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015034488A priority Critical patent/JP6481225B2/ja
Priority to CN201610030716.5A priority patent/CN105916097A/zh
Priority to US15/043,825 priority patent/US9924087B2/en
Publication of JP2016158109A publication Critical patent/JP2016158109A/ja
Application granted granted Critical
Publication of JP6481225B2 publication Critical patent/JP6481225B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/14Direct-mode setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0015Control of image communication with the connected apparatus, e.g. signalling capability
    • H04N2201/0027Adapting to communicate with plural different types of apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Description

本発明は、複数の機器を連携して所望の機器を実現する、いわゆるIoT(Internet of Things)に関し、必要な情報処理を行う情報端末装置、情報支援方法及び情報支援プログラムに関する。
近年、スマートフォンやタブレットPC、ノートPCなどの携帯情報端末と他の機器を連携させて、遠隔操作や情報管理の一元化、これまでの様々な制約を超えた機器制御の技術が模索されている。
通信可能な機器が多くなる一方で、携帯情報端末自身が有するセンサ類、カメラ類なども、操作部や表示部と共に進化しており、こうしたIoTの環境下における利用機器の最適化は重要な課題となっていた。
このような環境下では、スマートフォンやタブレットPCなどは、制御機器としても機能し、無線、有線で他の機器を操作するためのリモコン的な役割も果たし、表示部に設けられたタッチパネル等を利用して、他の機器に対する遠隔操作や、そこからの情報収集などが可能である。そのため、迅速な接続や機能の起動は、こうした技術の重要なファクターとなっている。
例えば、特許文献1には、特定のデバイスとの接触を介して通信接続のためのデバイス情報を交換し、交換したデバイス情報に基づいて特定のデバイスとの通信を行う近距離通信モジュールを制御する技術が開示されている。この技術を利用することで、スマートフォン等によってレンズ型カメラを制御することもできる。
近年、デジタルカメラなどの撮影機能付き携帯機器(撮影装置)が普及している。この種の撮影装置においては表示部を有して、撮影画像を表示する機能を有するものもある。また、表示部にメニュー画面を表示して、撮影装置の操作を容易にしたものもある。このような表示部は、携帯機器本体の背面に設けられることが多く、ユーザは撮影時に、背面の表示部に表示されたスルー画を確認しながら撮影操作をすることも可能である。
また、近年、撮像画像の表示部を有しておらず、撮影と記録機能のみを備えたレンズ型カメラが採用されることがある。この種のレンズ型カメラは、一般的に、スマートフォンやタブレットPC等に取り付けられ、取り付けられたスマートフォンやタブレットPC等を制御機器として撮影が制御される。また、このようなスマートフォンやタブレットPC等の制御機器は、レンズ型カメラからの撮像画像を表示する撮像表示装置としても機能する。
スマートフォンやタブレットPC等の制御機器は、レンズ型カメラとの間で無線又は有線通信によって接続され、表示部に設けられたタッチパネル等を利用して、レンズ型カメラの撮影操作が可能である。
ところで、スマートフォン等によるレンズ型カメラ等の連携機器の制御には、例えばブルートゥース(登録商標)等の近距離無線規格に対応した通信モジュールを利用することが可能である。しかし、画像伝送など通信容量が大きい場合には、比較的伝送レートが高いWiFi(Wireless Fidelity)等の規格に対応した通信モジュールが採用されることが多い。これに限らず赤外通信やLTEなど通信容量の異なる複数の通信が採用されている。
特開2013−115828号公報
ところが、スマートフォン等とレンズ型カメラ等の連携機器との間のWiFi通信の確立には比較的長時間(数秒から数十秒)を要する。混信等の影響もあって、チャンネルの空いて居るところを探すなどの制御が必要だったりして手間取る。また、比較的遠距離のものとの通信を想定し、必要な電力も大きいので、常時接続が困難で、通信開始してからの手続きを行う必要がある。このため、例えば、レンズ型カメラの電源投入時等においては、WiFi通信が確立してレンズ型カメラによって撮像されて得られた画像がスマートフォン等に転送されてその表示画面上にスルー画表示されるまでには諸処の通信の手続きを要し、シャッターチャンスを逃す虞があるという問題があった。
本発明は、複数の機器の連携した表示制御により、画像などが再生されたり表示されたりするまでの無駄な時間を軽減することができる情報端末装置、情報支援方法及び情報支援プログラムを提供することを目的とする。
本発明に係る情報端末装置は、第1の撮像画像を得る第1の撮像部を設けた情報端末装置であって、上記情報端末装置とは異なる撮像装置に配設された第2の撮像部によって得られた第2の撮像画像を第1の通信規格に従って受信する第1の通信部と、上記第1の通信規格とは異なる第2の通信規格に従って上記撮像装置と通信を行う第2の通信部と、上記第1の通信部の通信が確立していない場合に、上記第2の通信部の通信中に上記第1の撮像画像を表示するための表示制御部と、上記第1の通信部の通信が確立していない場合に、上記第2の撮像部に関する情報が上記第2の通信部を介して伝送されると、上記第1の撮像画像中に上記第2の撮像部に関する情報に基づく表示を重ねて表示するように、上記表示制御部を制御する制御部と、を具備する。
また、本発明に係る情報端末装置は、第1の撮像画像を得る第1の撮像部と、上記第1の撮像画像を表示するための表示制御部と、を有する機器に対して第1の通信規格に従って通信を行う第3の通信部と、上記機器に対して上記第1の通信規格とは異なる第2の通信規格に従って通信を行う第4の通信部と、第2の撮像画像を得る第2の撮像部と、上記第2の撮像部によって得られた第2の撮像画像を上記第3の通信部を介して上記機器に送信させると共に、上記第3の通信部の通信が確立していない場合には、上記第2の撮像部に関する情報を上記第4の通信部を介して上記機器に送信させ、かつ、上記第1の撮像画像中に上記第2の撮像部に関する情報に基づく表示を重ねて表示するように、上記機器における上記表示制御部に対して指示をする制御部と、を具備する。
また、本発明に係る情報支援方法は、第1の撮像画像を得る第1の撮像部を設けた情報端末装置の情報支援方法であって、画像伝送に用いる第1の通信規格に従った通信を確立するための処理を行うステップと、上記第1の通信規格とは異なる第2の通信規格に従った通信を確立するための処理を行うステップと、上記第1の撮像部によって第1の撮像画像を取得するステップと、上記第1の撮像画像を表示するステップと、上記第1の通信規格に従った通信が確立していない場合に、上記第2の通信規格に従った通信が確立すると、上記情報端末装置とは異なる撮像装置における第2の撮像部に関する情報を上記第2の通信規格による通信によって取得するステップと、上記第1の撮像画像中に上記第2の撮像部に関する情報に基づく表示を重ねて表示するステップと、上記第1の通信規格に従った通信が確立すると、上記第2の撮像部によって得られる第2の撮像画像を表示するステップと、を具備する。
また、本発明に係る情報支援プログラムは、コンピュータに、第1の撮像画像を得る第1の撮像部を設けた情報端末装置の情報支援を実行させるための情報支援プログラムであって、画像伝送に用いる第1の通信規格に従った通信を確立するための処理を行うステップと、上記第1の通信規格とは異なる第2の通信規格に従った通信を確立するための処理を行うステップと、第1の撮像部によって第1の撮像画像を取得するステップと、上記第1の撮像画像を表示するステップと、上記第1の通信規格に従った通信が確立していない場合に、上記第2の通信規格に従った通信が確立すると、上記情報端末装置とは異なる撮像装置における第2の撮像部に関する情報を上記第2の通信規格による通信によって取得するステップと、上記第1の撮像画像中に上記第2の撮像部に関する情報に基づく表示を重ねて表示するステップと、上記第1の通信規格に従った通信が確立すると、上記第2の撮像部によって得られる第2の撮像画像を表示するステップと、を実行させる。
本発明によれば、複数の機器の連携した表示制御により、通信開始、通信遮断時トラブルを回避し、画像などが表示や再生されるまでの無駄な時間を短縮することができるという効果を有する。
本発明の第1の実施の形態に係る情報端末装置を示すブロック図。 本実施の形態を内蔵カメラを有するスマートフォンとレンズ型カメラとによって実現した場合の外観を示す説明図。 第1の実施の形態のスマートフォン20による制御を示すフローチャート。 撮影の様子を示す説明図。 第2の実施の形態において採用されるカメラ制御を示すフローチャート。 第2の実施の形態において採用されるカメラ制御を示すフローチャート。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る情報端末装置を示すブロック図であり、図2は本実施の形態を内蔵カメラを有するスマートフォンとレンズ型カメラとによって実現した場合の外観を示す説明図である。なお、スマートフォンに代えてタブレットPCや携帯電話を採用してもよい。また、レンズ型カメラに限らず撮像部を有する各種撮影機器を採用してもよい。
一般的に、スマートフォンは、表示画面はオフであっても常時起動状態で使用される。従って、スマートフォンは、操作の開始から比較的短時間に表示画面をオンにして内蔵カメラによる画像を表示することができる。そこで、本実施の形態においては、比較的短時間で通信を確立することができるブルートゥース(登録商標)等の近距離無線通信を利用してスマートフォンとレンズ型カメラとを連携させて使用すると共に、スマートフォンの内蔵カメラによる撮像及び表示を有効利用することで、シャッタチャンスを逃さない高速な撮影を可能にする。なお、一般的には、WiFi等の第1の通信規格に従った無線LAN通信は、比較的伝送レートが高い通信(以下、高速通信ともいう)であるが、比較的多大な電力を要するため、使いたい時だけ通信の確立制御を最初から行わなければならず、端末サーチやセキュリティのキー交換など複雑な通信手続きが規格で決まっている問題もあり、通信確立に比較的長い時間を要するのに対し、第2の通信規格に従った近距離無線通信は、比較的伝送レートが低い通信(以下、低速通信ともいう)であるが、電力量が少ないメリットを有して、常時接続や間欠的な接続を行えるなど、通信確立に要する時間は短く出来る可能性がある。特に、さらに転送レートを落として、通信内容を限定してでも消費電力の少なくしたタイプも提案されている。周波数ホッピングなど安定通信も可能である。最近では、特に消費電力を抑えて、ほぼ常時通信待機が可能なタイプの通信規格が出来ており、データ通信量を抑えることで、こうした工夫が出来ていることを考えると、低速通信は接続が速いと単純化して言い換えることも可能である。本実施の形態においては、主に画像伝送(または高音質の音声)については高速通信を採用するものとして説明する。つまり、本実施例では、高速通信がすぐに出来ず、満足すべきデータがすぐに取得できない時、他の手段を講じて代用手段を提示することによってユーザの不満を軽減させる。代用手段としては、低速通信で出来ることを組み合わせて、足りない部分を補おうとするものであったり、通信を要しない内部の機能で代用させるものである。そのためには、外部機器で利用される機能が、どのような内部機能で補助できるかをあらかじめ決めておくような工夫も必要である。
図2に示すように、スマートフォン20(図1)の筐体20aには取り付け器具31が着脱自在に取り付けられるようになっており、取り付け器具31にはレンズ型カメラ10(図1)を取り付けるための取付部32が設けられている。レンズ型カメラ10は撮像部11が収納された鏡筒33を有しており、鏡筒33の基端側に取付部34が設けられている。この取付部34を取り付け器具31の取付部32に、嵌込み又はねじ込み等によって取り付けることができるようになっている。
図1において、スマートフォン20には高速通信部21及び低速通信部22が設けられている。一方、レンズ型カメラ10にも高速通信部13及び低速通信部14が設けられている。高速通信部13,21は、例えば、WiFi等の無線LANによる高速通信が可能である。また、低速通信部14,22は、例えば、ブルートゥース(登録商標)等の近距離無線による低速通信が可能である。
スマートフォン20とレンズ型カメラ10とは、高速通信部21,13を介して相互に通信可能に構成されていると共に、低速通信部14,22を介して相互に通信可能に構成されている。スマートフォン20には表示部29が設けられており、表示制御部28は、レンズ型カメラ10からの撮像画像を、表示部29の表示画面29a(図4参照)に表示させることができるようになっている。
レンズ型カメラ10には鏡筒33内に光学系11aが収納された撮像部11が設けられており、光学系11aは、鏡筒33内にピント合わせによりフォーカス(合焦)状態に設定するために可動されるフォーカスレンズやフォーカス状態で変倍するズームレンズ等(図示せず)を有する。また、光学系11aは、これらのレンズ及び絞りを駆動する図示しない機構部を有する。
撮像部11にはCCDやCMOSセンサ等によって構成された図示しない撮像素子が設けられており、光学系11aによって被写体光学像が撮像素子の撮像面に導かれるようになっている。制御部12は光学系11aの機構部を制御して、これらのフォーカスレンズ、ズームレンズ及び絞りを駆動制御するようになっている。撮像素子は被写体光学像を光電変換して撮像画像を得る。
レンズ型カメラ10の制御部12は、例えばCPU等のプロセッサによって構成されており、後述するスマートフォン20からの信号に基づいて、レンズ型カメラ10の各部を制御する。また、レンズ型カメラ10には操作部16も設けられており、操作部16は、ユーザ操作に基づく操作信号を制御部12に与える。制御部12は、操作部16からの操作信号に基づいて、レンズ型カメラ10の各部を制御することもできるようになっている。
撮影制御部12bは、フォーカス信号、ズーム信号及び絞り制御信号を発生して、光学系11aのフォーカス、ズーム及び絞りを駆動制御する。また、撮影制御部12bは、撮像素子に駆動信号を供給して、被写体の撮像を制御する。また、画角制御部12aは、ユーザ操作に基づいて或いはスマートフォン20の指定によって撮影画角が設定されて、撮像部11を制御して撮影画角を調整することができるようになっている。
制御部12は、撮像部11からの撮像画像が与えられ、所定の画像信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を施した後、記録部18に与えて記録することができる。記録部18としては例えばICメモリを採用することができる。制御部12は、撮像画像を高速通信部13を介してスマートフォン20に転送することもできるようになっている。
制御部12は、撮影情報取得部12cを有している。撮影情報取得部12cは、ズームレンズ、フォーカスレンズ等のレンズ状態、絞り状態等のレンズに関するレンズ情報及び画角等の撮影に関する情報等の少なくとも1つを含む撮影情報を取得する。撮影情報取得部12cは、取得した撮影情報を、低速通信部14を介してスマートフォン20に転送することができるようになっている。レンズ情報には、ピント位置、被写界深度の範囲等の光軸方向の距離の情報も含まれる。
また、レンズ型カメラ10には仰角方位センサ15も設けられている。仰角方位センサ15は、レンズ型カメラ10の撮像部11の姿勢を検出して検出結果を制御部12に出力するようになっている。制御部12は仰角方位センサ15の検出結果に基づいて、撮像部11の撮影方向を判定することができる。なお、制御部12は、撮像部11の撮影方向に関する情報についても撮影情報としてスマートフォン20の制御部25に出力するようになっている。
高速通信部13は、スマートフォン20に設けられた高速通信部21との間で所定の伝送路を介して通信が可能である。伝送路としては、有線及び無線による各種伝送路、例えば、USB(Universal Serial Bus)ケーブルやWiFi(Wireless Fidelity)等の無線LANの伝送路等を採用することができるようになっている。
また、低速通信部14は、スマートフォン20に設けられた低速通信部22との間で所定の伝送路を介して通信が可能である。伝送路としては、例えば、ブルートゥース(登録商標)等の近距離無線通信の伝送路等を採用することができるようになっている。
制御部12は、スマートフォン20との間で低速通信部14,22を介して通信が確立すると、スマートフォン20の制御部25に従って撮影が制御されると共に、撮影に関する各種情報(撮影情報)をスマートフォン20に転送することができるようになっている。また、制御部12は、スマートフォン20との間で高速通信部13,21を介して通信が確立すると、撮像部11が取得した撮像画像をスマートフォン20に転送することができるようになっている。
スマートフォン20は、例えばCPU等のプロセッサによって構成された制御部25を有しており、制御部25はスマートフォン20の各部を制御する。制御部25は、低速通信部22,14を介してレンズ型カメラ10の制御部12に対して撮像素子を駆動するための駆動制御信号を送信すると共に、制御部12から送信された撮影情報を受信するようになっている。また、制御部25は、高速通信部13,21を介してレンズ型カメラ10からの撮像画像を受信する。
本実施の形態においては、スマートフォン20には、内蔵カメラ部23が設けられている。内蔵カメラ部23は、CCDやCMOSセンサ等によって構成された図示しない撮像素子が設けられており、この撮像素子の撮像面には、筐体20aに設けられたレンズ35を介して入射した被写体光学像が入射するようになっている。内蔵カメラ部23は、制御部25に制御されて被写体を撮像し、撮像画像を制御部25に出力することができる。制御部25は、内蔵カメラ部23の撮像に際して、ピント制御、露出制御、ホワイトバランス制御、画角制御等の各種撮影制御を行うことができるようになっている。
制御部25は、高速通信部21を介して受信した撮像画像(以下、外部撮像画像ともいう)及び内蔵カメラ部23からの撮像画像(以下、内蔵カメラ画像ともいう)に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。
制御部25は、撮像画像の記録及び再生に関する処理を行うことができる。例えば、制御部25は、信号処理後の撮影画像を圧縮処理し、圧縮後の画像を記録部24に与えて記録させることができる。記録部24としては、例えばICメモリ等の各種記録媒体を採用することができ、記録部24は記録媒体に画像情報及び音声情報等を記録可能である。また、外部機器で利用される機能が、どのような内部機能で補助できるかをあらかじめ決めておくような工夫も必要である。そこで、外部機器に対応して、どの内部機能が代用できるか、記録部24に代用データベース24aを設けてもよい。これは、外部機器を制御するアプリソフトなどで、書き込みがなされるようにしても良い。また、低速通信時に送られる情報をここに関連づけて記録しておいてもよい。
表示制御部28は表示に関する各種処理を実行する。表示制御部28は、制御部25から信号処理後の撮影画像が与えられて、表示部29に与えて表示させることができる。表示部29は、LCD等の表示画面29aを有しており、表示制御部28から与えられた画像を表示する。また、表示制御部28は、各種メニュー表示等を表示部29の表示画面29aに表示させることもできるようになっている。制御部25は、記録部24に記録されている撮像画像を読み出して伸張処理することができる。表示制御部28は伸張処理された撮像画像を表示部29に与えることで、記録画像の再生が可能である。
スマートフォン20には、操作部27も配設されている。操作部27は、スマートフォン20に設けられた図示しないスイッチ、キー、ソフトウェアキーボード等の各種の操作部によって構成され、ユーザ操作に基づく操作信号を発生して、制御部25に出力するようになっている。制御部25は、操作信号に基づいて、各部を制御する。
表示部29の表示画面29a上には、図示しないタッチパネルが設けられている。タッチパネルは、ユーザが指で指し示した表示画面29a上の位置に応じた操作信号を発生することができる。この操作信号は、制御部25に供給される。これにより、制御部25は、ユーザが表示画面29a上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を閉じ離間させる操作(ピンチ操作)、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。
なお、表示画面29aは、スマートフォン20の筐体20aの例えば前面の略全域を占めるように配設されており、ユーザは、レンズ型カメラ10による撮影時に表示部29の表示画面29a上に表示された撮像画像を確認することができ、撮像画像を確認しながら撮影操作を行うことができる。
方位・画角判定部30は、スマートフォン20の向き及び内蔵カメラ部23の撮影画角を判定して判定結果を制御部25に出力することができるようになっている。制御部25は、方位・画角判定部30の判定結果に基づいて、内蔵カメラ部23の撮影方向及び撮影範囲を把握することができるようになっている。
本実施の形態においては、制御部25は、レンズ型カメラ10による撮影と内蔵カメラ部23による撮影とを連携して行う連携モードでの動作を行うことができるようになっている。制御部25は、連携モードにおいては、高速通信部21,13の通信が確立するまでは、内蔵カメラ部23によって得られる撮像画像を表示部29に表示するように表示制御部28を制御する。また、制御部25は、連携モードにおいて低速通信部22,14の通信が確立すると、レンズ型カメラ10の制御部12から通信部22,14を介して撮影情報を取得するようになっている。本実施の形態においては、制御部25は、取得した撮影情報に基づいて、レンズ型カメラ10の撮影に関する情報の表示を表示部29に表示させる。
また、制御部25は、内蔵カメラ画像中に含まれる外部撮像画像の画像部分の範囲(以下、外部撮像画像範囲ともいう)を判定することができるようになっている。レンズ型カメラ10から取得する撮影情報には、レンズ型カメラ10の撮像部11の撮影方向の情報及びズーム情報等が含まれており、制御部25は、方位・画角判定部30の判定結果及びレンズ型カメラ10からの撮影情報を用い、或いは更に筐体20aに対する取り付け器具31の取付け位置及び内蔵カメラ部23の撮影条件の情報等を用いることで、外部撮像画像範囲を求めることができる。制御部25は、求めた外部撮像画像範囲の情報を表示制御部28に与えることで、外部撮像画像範囲を示す枠画像を内蔵カメラ画像中に表示させることができるようになっている。
制御部25は、受信する外部撮像画像から画像の特徴を求めて内蔵カメラ画像と比較することで外部撮像画像範囲を判定することも可能であるが、本実施の形態においては、画角や撮影方向に関する撮影情報等に基づいて外部撮像画像範囲を判定することにより、スマートフォン20に外部撮像画像が伝送される前に、外部撮像画像範囲を求めることが可能である。
このように、制御部25は、撮影情報に基づく表示として、例えばレンズ型カメラ10の撮影条件の情報表示を内蔵カメラ部23による撮像画像上に重ねて表示することもできる。例えば、情報表示としては、レンズ型カメラ10の焦点距離の数字を表示するものであってよく、また、レンズ型カメラ10の画角の範囲、即ち、外部撮像画像範囲を示す枠画像を表示するものであってもよい。更に、制御部25は、レンズ型カメラ10及び内蔵カメラ部23の撮影条件の一方に基づいて他方の撮影条件を変更することもできるようになっていてもよい。
例えば、通信部14,22が起動直後の短時間で通信可能となるものとすると、連携モード時には、この通信部14,22を介して画像画角や撮影方向に関する撮影情報を送信可能である。起動直後のように、高速通信部13,21の通信が確立されておらずレンズ型カメラ10の撮像部11からの撮像画像がスマートフォン20に伝送されていない期間には、制御部25は、表示画面29a上に内蔵カメラ画像を表示させることもできる。更に、外部撮像画像が受信される前に、内蔵カメラ画像上に、レンズ型カメラ10による外部撮像画像の範囲を示す枠画像を表示させることも可能である。これにより、ユーザは、レンズ型カメラ10の撮影範囲を事前に確認することも可能である。
次に、このように構成された実施の形態の動作について図3及び図4を参照して説明する。図3は第1の実施の形態のスマートフォン20による制御を示すフローチャートである。図4は撮影の様子を示す説明図であり、表示部29の表示画面29a上の表示を示している。
撮影者はスマートフォン20に取り付けた取り付け器具31にレンズ型カメラ10を装着する。図4はこの状態を示している。撮影者41は、例えば、スマートフォン20の筐体20a及び鏡筒33を左手42で把持して、表示部29の表示画面29a上に表示されたスルー画を見ながら被写体を視野範囲に捉えた状態で、撮影を行うことができる。ここでは、情報のやり取りの代表例として画像をもとに説明するが、通信が出来ない時、他の手段を講じて代用手段でユーザの不満を軽減するという観点では、画像に限らず取得可能な情報であれば何にでも応用可能で、画像以外の情報の代表としては音声データがある。音声情報もマイクの向きなどが重要な要素となり、撮影時と同様の所作が要求される。
スマートフォン20の連携モード時には、図3に示す制御が行われる。図3のステップS1において、制御部25は、高速通信部21による高速通信及び低速通信部22による低速通信を要求する。高速通信部21及び低速通信部22は、それぞれレンズ型カメラ10の高速通信部13又は低速通信部14との間の通信を確立するための処理を行う。
制御部25は、ステップS2において高速通信部21,13による高速通信が確立したか否かを判定する。高速通信の確立には比較的長時間を要することから、高速通信の要求からの時間が比較的短い場合には、高速通信は確立しておらず、処理はステップS3に移行する。高速通信が確立していない場合には、制御部25は、ステップS3において、内蔵カメラ部23からの内蔵カメラ画像を取得する。制御部25は取得した内蔵カメラ画像を表示制御部28に与えて表示部29の表示画面29a上に表示させる(ステップS4)。図3(a)はこの状態を示しており、表示部29の表示画面29a上には、被写体である鳥43に基づく画像44を含む内蔵カメラ画像が表示されている。また、カメラのような画像情報のみならず、マイク26を有して、音声情報を取得してその音量など関連情報を表示してもよい。これによって、音量レベルのゲイン調整やイコライザやノイズキャンセルなどをあらかじめ設定することが可能となり、事前準備などが便利になる。前述のように、高速通信できない時に代用される機能は、代用データベース24aで検索して、指定するような工夫を行っても良いことは言うまでもない。このデータをユーザが任意に書き直してカスタマイズが出来るようにして良いことは言うまでもない。例えば、カメラが繋がる前には、ネット情報を取得するなど、画像と関係ない設定でも、ユーザは時間つぶしが可能となり、不満を軽減できる。ネットでサンプル画像が検索されるような仕様なら、必ずしも撮影と無関係とは言えない。
次に、制御部25は、ステップS5において撮影指示が発生したか否かを判定する。撮影指示が発生していない場合には、制御部25はステップS6において低速通信が確立したか否かを判定する。低速通信が確立していない場合には、制御部25は処理をステップS2に戻して同様の処理を繰り返す。
低速通信は、低速通信の要求から比較的短時間に確立する。低速通信が確立すると、制御部25は処理をステップS7に移行して外部カメラであるレンズ型カメラ10から撮影情報や撮影方向情報や姿勢情報など(どれかが欠けてもよい)を取得する。レンズ型カメラ10の撮影情報取得部12cは、取得した撮影情報を低速通信部22,14を介して制御部25に出力する。制御部25は取得した撮影情報に基づく表示を内蔵カメラ画像上に表示させるように表示制御部28を制御する(ステップS8)。こうして、表示部29の表示画面29a上に、レンズ型カメラ10の撮影情報に基づく情報表示45が表示される。なお、ステップS8で通信される内容は、比較的情報量の少ない音声情報などでも良い。
図4(b)はこの状態を示しており、表示部29の表示画面29a上には、画像44を含む内蔵カメラ画像上に、レンズ型カメラ10の焦点距離の情報表示45が表示されている。この情報表示45によって、ユーザは、高速通信が確立してレンズ型カメラ10からの撮像画像がスマートフォン20の表示画面29a上に表示されるようになる前に、レンズ型カメラ10による撮像に関する情報を知ることができ、レンズ型カメラ10による撮像画像についてある程度予測することが可能となる。なお、レンズ型カメラ10との間で通信の確立中であり、表示画面29a上にはレンズ型カメラ10からの撮像画像がまだ表示されていないことを示す、例えば「通信確立中」というメッセージを内蔵カメラ画像に重ねて表示させてもよい。
更に、表示画面29a上には、方位・画角判定部30の判定結果及びレンズ型カメラ10の撮影情報に基づく外部撮像画像範囲を示す枠画像46も表示されている。制御部25は、低速通信によってレンズ型カメラ10から送信された撮影情報と、レンズ型カメラ10の撮影方向及び画角の範囲等の情報とに基づいて外部撮像画像が内蔵カメラ画像中のいずれの範囲に相当するかを判定する。制御部25は、表示制御部28を制御して、判定結果である外部撮像画像範囲を示す枠画像46を表示画面29a上に表示させる。
この枠画像46の表示によって、ユーザは、高速通信が確立してレンズ型カメラ10からの撮像画像がスマートフォン20の表示画面29a上に表示されるようになる前に、レンズ型カメラ10による撮像画像の撮影範囲を知ることができる。
制御部25は、ステップS5において、ユーザによって撮影を指示する操作が行われたものと判定すると、ステップS12において撮影処理を行う。例えば、ユーザによる撮影操作が内蔵カメラ部23に対する撮影操作である場合には、制御部25は、内蔵カメラ部23からの撮像画像に対して所定の静止画画像処理を施して、処理後の静止画像を記録部24に与えて記録させる。
即ち、この場合には、高速通信が確立してレンズ型カメラ10からの撮像画像がスマートフォン20の表示画面29a上に表示されるようになる前に、内蔵カメラ部23の撮像画像によるスルー画を確認しながら撮影を行うことができ、例えばレンズ型カメラ10の起動時においてもシャッターチャンスを逃すことなく撮影を行うことができる。
また、制御部25は、ユーザによる撮影操作がレンズ型カメラ10に対する撮影操作であった場合には、ステップS12において低速通信部22を介してレンズ型カメラ10による撮影を指示する。レンズ型カメラ10の制御部12は低速通信部14を介して撮影指示の情報を受信すると、撮像部11を制御して撮像を行う。制御部12は、撮像部からの撮像画像に対して所定の静止画画像処理を施して、処理後の撮像画像を記録部18に与えて記録させる。
即ち、この場合には、ユーザは、高速通信が確立してレンズ型カメラ10からの撮像画像がスマートフォン20の表示画面29a上に表示されるようになる前に、内蔵カメラ部23の撮像画像によるスルー画によって、レンズ型カメラ10による撮像画像を推測することができ、ある程度ユーザが希望する構図等でレンズ型カメラ10による撮影が可能である。これにより、高速通信の確立前であっても高速通信の要求から比較的短時間にユーザの希望に添った撮像画像をレンズ型カメラ10によって得ることができる。
高速通信の要求から所定の時間が経過すると、高速通信部13,21相互間で高速通信が確立する。制御部25はステップS2において、高速通信が確立したものと判定すると、処理をステップS9に移行して、レンズ型カメラ10からの撮像画像や音声情報を取得する。レンズ型カメラ10の制御部12は撮像部11からの撮像画像を高速通信部13,21を介してスマートフォン20に伝送する。制御部25は高速通信部21を介して受信した撮像画像を表示制御部28に与えて、表示部29の表示画面29a上にスルー画表示させる。ここでは、情報量の多い画像について説明しているが、音声などもハイレゾ化など高音質化させ、多チャンネル化させると、このような通信が好ましくなる場合がある。
図4(c)はこの場合の画面表示を示しており、表示部29の表示画面29a上には、被写体である鳥43の画像47を含む外部撮像画像が表示されている。制御部25は、ステップS10において、ユーザによって撮影を指示する操作が行われたか否かを判定する。ユーザによって撮影操作が行われると、制御部25は、ステップS11において、低速通信部22を介してレンズ型カメラ10に撮影を指示する。レンズ型カメラ10の制御部12は低速通信部14を介して撮影指示の情報を受信すると、撮像部11を制御して撮像を行う。制御部12は、撮像部からの撮像画像に対して所定の静止画画像処理を施して、処理後の撮像画像を記録部18に与えて記録させたり、高速通信部13,21を介してスマートフォン20に与えてスマートフォン20の記録部24において記録させることができる。
このように本実施の形態においては、外部カメラであるレンズ型カメラからの撮像画像を高速通信によって受信し、レンズ型カメラからの撮影情報を低速通信によって受信する情報端末装置において、高速通信の確立前には、内蔵カメラによる撮像画像を表示部に表示すると共に、レンズ型カメラからの撮影情報に基づく情報表示を重ねて表示する。これにより、レンズ型カメラによる撮像画像の表示前に、レンズ型カメラによる撮像画像を予測することができ、スルー画を全く確認することなく撮影を行う場合に比べて、ある程度ユーザが希望する撮影を行うことが可能である。これにより、高速通信の確立前であっても、シャッターチャンスを逃すこと無く、ある程度希望する撮影を行うことができる。
(第2の実施の形態)
図5及び図6は本発明の第2の実施の形態において採用されるカメラ制御を示すフローチャートである。図5はレンズ型カメラ10のカメラ制御(外部カメラ制御)を示し、図6はスマートフォン20のカメラ制御(スマートフォン制御)を示している。本実施の形態におけるハードウェア構成は第1の実施の形態と同様である。
第1の実施の形態においては、高速通信確立前は内蔵カメラ画像を表示し、高速通信確立後は外部撮像画像を表示する連携表示を行う例を説明した。本実施の形態は高速通信確立前に、連携表示を行うだけでなく、内蔵カメラ部23と撮像部11とで連携撮影制御を行う例を説明するものである。
スマートフォン20の制御部25は、図6のステップS51において、カメラ連携モードが指定されているか否かを判定する。カメラ連携モードが指定されている場合には、制御部25はレンズ型カメラ10との間の通信を確立するための制御を行い、ステップS52において高速通信が確立しているか否かを判定する。高速通信要求からの時間が比較的短い場合のように、高速通信が確立されていない場合には、制御部25は低速通信の待機状態となる。
制御部25は低速通信が開始されるまでの間に、内蔵カメラ部23による撮影に関する各種制御及び情報の取得を行う。例えば、制御部25は、ステップS54において内蔵カメラ部23を起動し、ステップS55において内蔵カメラ画像のスルー画を取得し、ステップS56において画像判定を行い、対象部位についてオートフォーカス、自動露出及び自動ホワイトバランスの各設定値を求め、ステップS57において姿勢の判定結果を得る。このとき、内蔵マイクを起動して音声取得や判定などは先に始めてもよい。制御部25は、方位・画角判定部30の出力に基づいて撮影姿勢を判定している。制御部25は、この判定結果と後述するレンズ型カメラ10の姿勢の判定結果とに基づいて、スマートフォン20の内蔵カメラ部23の撮影方向と撮像部11の撮影方向とが一致しているか否か、つまり同一の被写体を撮影することができるか否かを判定することが可能である。このとき、ユーザが混乱しないように、表示されている画像が内蔵カメラの画像であることが分かるように表示制御してもよい。その旨を表記してもよいし、枠を変えたり白黒にしたり音声で伝えるなど、様々な方法がある。このように、ユーザがいらいらしないように、機器が最善を尽くしている様子を表示するようにしており、なおかつ、通信が確立する前に、対象物を観察したり画像記録を始めることも可能である。ここでは画像について説明しているが、鳥の声を別体のマイクやレコーダで録音する際、鳥が逃げる前にとにかく記録したい用途など、音声においても同様の工夫が重要である。また、鳥の画像も撮影したいが、通信確立前に、せめて声だけでも記録したいニーズもある。このように、画像や音声やその他情報に対して応用すれば、第1の情報を得る第1の情報取得部と、第2の情報取得部によって得られた第2の情報を第1の通信規格に従って受信する第1の通信部と、上記第1の通信規格とは異なる第2の通信規格に従って通信を行う第2の通信部と、上記第1の通信部の通信が確立していない場合に、上記第2の通信部の通信中に上記第1の情報をユーザに認知させる表示制御部と、を具備したことを特徴とする情報取得装置であれば、ここに説明したような効果を奏することが可能となる。
低速通信部22,14相互間での低速通信が確立すると、制御部25は、ステップS59において高速通信の確立処理を開始する。なお、制御部25は、カメラ連携モードの開始時に、低速通信及び高速通信の両方の通信を確立させるための制御を同時に開始してもよい。制御部25はステップS60において高速通信が確立したか否かを判定する。高速通信が確立していない場合には、制御部25は、ステップS61において、内蔵カメラ画像に基づくスルー画表示を行う。なお、スマートフォン20においては、内蔵カメラ部23として前方を撮影するアウトカメラ部及び後方を撮像するインカメラ部を有するものがあり、オンとなったカメラ部からの内蔵カメラ画像がスルー画として用いられる。外部カメラの姿勢情報や方位情報などを取得して、これらのカメラのうち適切なもの(同じ向きに近い方)を選択してもよい。
一方、レンズ型カメラ10の制御部12は、図5のステップS21において、低速通信確立の待機状態となる。例えば、低速通信部14をNFC(Near Field Communication)やBLE(Bluetooth(登録商標) Low Energy)等によって構成することで、低速通信部14における消費電力を十分に小さくすることができ、レンズ型カメラ10の主要部の電源をオフにしていれば、比較的小さい容量のバッテリによって、低速通信部14を常時オンにした待機状態が可能である。低速通信部14,22における低速通信が確立すると、制御部12はスマートフォン20の制御部25からレンズ型カメラ10の電源をオンにする指示が送信されたか否かを判定する(ステップS22)。
制御部12は、電源オンの指示が発生すると、レンズ型カメラ10の各部に電源を投入し、撮影モードが指示されたか否かを判定する(ステップS23)。撮影モードが指示されると、制御部12は高速通信部13に高速通信の確立処理を開始させる(ステップS24)。
制御部12は、ステップS25〜S29において、撮影情報及びスルー画を取得する。即ち、ステップS25において、撮影情報取得部12cは、レンズ仕様を判定する。また、ステップS26において、制御部12は、仰角方位センサ15の出力に基づいて撮影姿勢を判定する。レンズ型カメラ10はスマートフォン20から分離されて使用されることがあり、必ずしもスマートフォン20の内蔵カメラ部23と同一の撮影範囲を撮影することができるとは限らない。制御部12は、仰角方位センサ15の出力に基づいて撮影姿勢を判定し、この判定結果と上述したスマートフォン20の姿勢の判定結果とに基づいて、スマートフォン20の内蔵カメラ部23の撮影方向と撮像部11の撮影方向とが一致しているか否か、つまり同一の被写体を撮影することができるか否かを判定することが可能である。
撮像部11は撮像画像を制御部12に出力する。制御部12は撮像部11の撮像画像に基づくスルー画を取得する(ステップS27)。制御部12は取得した撮像画像中の対象物についての画像特徴を求めると共に、当該対象物の撮像画像中の位置の情報を取得する(ステップS28)。なお、このタイミングで画像記録を始めてしまい、後で使えるようにしても良い。動画などに対応し、音声を取得開始してもよい。また、制御部12は画像判定を行って、対象部位についてオートフォーカス、自動露出及び自動ホワイトバランスの各設定値を求める(ステップS29)。
本実施の形態においては、制御部12は、ステップS30において高速通信が確立しているか否かを判定し、確立していない場合には、ステップS41〜S44において、取得した撮影情報を低速通信を利用してスマートフォン20に送信する。即ち、制御部12は、ステップS41においてレンズ仕様の情報を送信し、ステップS42において姿勢の情報を送信し、ステップS43において画像特徴と位置情報を送信し、ステップS44において対象部位についてのオートフォーカス、自動露出及び自動ホワイトバランスの各設定値の情報を送信する。また、これらのタイミングで音声情報などは先に送り始めてもよい。
なお、制御部12は、撮像部11と内蔵カメラ部23との撮影方向が相互に異なることを示す判定結果が得られた場合には、ステップS41〜S44の送信に代えて、撮影方向が異なることを示す判定結果や撮影方向差の情報を送信するようにしてもよい。
一方、スマートフォン20の制御部52は、図6のステップS62〜S5において、レンズ型カメラ10からのレンズ仕様の情報、撮影姿勢の情報、画像特徴及び位置の情報並びに対象部位についてのオートフォーカス、自動露出及び自動ホワイトバランスの各設定値の情報を受信する。
制御部52は、ステップS57において取得した自機の撮影姿勢と、ステップS63によって取得したレンズ型カメラ10の撮影姿勢とに基づいて、内蔵カメラ部23の撮影方向とレンズ型カメラ10の撮像部11の撮影方向とが一致しているか否かを判定する。一致していない場合には、制御部52は、ステップS67において、両者の撮影方向の差異の情報を内蔵カメラ画像に基づくスルー画上に重ねて表示する。
制御部52は、撮影方向が一致していると判定した場合には、ステップS71において、内蔵カメラ画像の画像特徴を求めると共に、求めた画像特徴の情報とステップS64において取得した画像特徴の情報とに基づいて、内蔵カメラ画像と外部撮像画像とに共通の対象が存在するか否かを判定する。制御部52は、共通の対象が存在すると判定した場合には、内蔵カメラ画像に基づくスルー画に、取得した各種設定値を反映させる。例えば、制御部52は、レンズ型カメラ10のオートフォーカス、自動露出及び自動ホワイトバランスの各設定値を内蔵カメラ部23に設定する。レンズ型カメラ10おいて取得した撮影設定値を用いることで、内蔵カメラ部23における撮像画像の品質を向上させることができる可能性がある。音声に関しても、共通の音声があるかどうかで取得するかどうかを判定してもよい。
なお、スマートフォン20の制御部25が内蔵カメラ部23に設定した撮影条件に基づいて、レンズ型カメラ10の撮影条件を設定するようにしてもよい。この場合にも、レンズ型カメラ10による撮像画像の品質を向上させることができる可能性がある。
更に、制御部52は、ステップS73において、情報表示45及び枠画像46(図4参照)を表示する。これらの表示によって、ユーザはレンズ型カメラ10による撮像画像を予測することが可能である。ユーザは、枠画像46によって、レンズ型カメラ10から撮像画像がスマートフォン20に転送される前に、レンズ型カメラ10の撮影範囲を知ることができる。
ここで、ユーザが撮影を指示するものとする。制御部25は、ステップS74において撮影指示があったか否かを判定しており、撮影操作が行われると、ステップS75において撮影を行う。例えば、ユーザによる撮影操作が内蔵カメラ部23に対する撮影操作である場合には、制御部25は、内蔵カメラ部23からの撮像画像に対して所定の静止画画像処理を施して、処理後の静止画像を記録部24に与えて記録させる。例えば、制御部25は、内蔵カメラ画像に対して、外部撮像画像範囲に応じてトリミングを施してもよい。ここでは画像取得を重視して説明しているが、音声を取得したりするのも同様の考え方で良い。外部カメラが高性能のマイクを持っている場合などは、あらかじめ音声だけは、この高性能マイクによって収録されたものをステップS75で録音可能とすれば、鳥の画像は撮り逃しても、声だけは記録できたり、得られた声を、後で撮影した画像と一緒に再生する時に使ったりできる。
また、ユーザによる撮影操作がレンズ型カメラ10に対する撮影操作であった場合には、制御部25は、低速通信部22を介してレンズ型カメラ10による撮影を指示する。レンズ型カメラ10の制御部12は低速通信部14を介して撮影指示の情報を受信すると、撮像部11を制御して撮像を行う。この場合には、制御部12は、撮像画像を記録部18に記録してもよく、また、高速通信が確立した後に、スマートフォン20に転送するようにしてもよい。
このように、レンズ型カメラ10の撮影情報に応じて内蔵カメラ部23の撮影条件が設定されることで、内蔵カメラ部23による撮像画像の画質を向上させることができる。また、内蔵カメラ画像中にレンズ型カメラ10の撮像画像の撮影範囲が表示されることから、レンズ型カメラ10の撮像部11によって得られる撮像画像の構図を内蔵カメラ画像によって認識することができる。従って、本実施の形態においては、レンズ型カメラ10からの撮像画像がスマートフォン20に転送される前において、ユーザはある程度満足できる撮像画像を内蔵カメラ部23又はレンズ型カメラ10の撮影によって得ることができる。
更に、制御部25はステップS76において撮影に対する調整の指示があったか否かを判定する。ユーザは撮影結果を見ながら、撮影条件等の調整を行う。制御部25は、この調整結果をカメラ制御に反映させる(ステップS77)。例えば、スマートフォン20によって拡大等の操作を行った場合には、この操作に応じてレンズ型カメラ10の撮像部11にズームを設定することができる。
レンズ型カメラ10の制御部12は、ステップS30において、高速通信が確立したことを判定すると、ステップS31において高速通信部13,21を介してスルー画をスマートフォン20に送信する。なお、ここで、ステップS27で取得していた画像を送信して、通信が遅れた分を遡って見られるようにしてもよい。スマートフォン20の制御部25は、ステップS81においてレンズ型カメラ10からのスルー画を受信すると、このスルー画を表示制御部28に与える。表示制御部28は、内蔵カメラ画像に代えてレンズ型カメラ10からの撮像画像(外部撮像画像)を表示部29に与えて表示させる。なお、遡った分から画像を再生するようにして、そこから選んで撮影できるようにしてもよい。遡った画像は高速再生してあたかも連続でスルー画が見えているようにしても良いし、マルチ画面にしてサブ画面に繰り返し表示しても良い。内蔵カメラ部23は省エネのためオフしてもよく、オンしたまま内蔵カメラ画像を別画像として記録できるようにしてもよい。
スマートフォン20の制御部25は、ステップS82において撮影指示が発生したか否かを判定する。ユーザによる撮影操作が行われると、制御部25は、ステップS83において、レンズ型カメラ10に低速通信部22,14を介して撮影の要求を発する。レンズ型カメラ10の制御部12は、ステップS32において撮影指示があったか否かを判定しており、スマートフォン20の制御部25からの撮影要求が発生すると、撮像部11に撮影を指示する。制御部12は、撮像部11からの撮像画像を高速通信部13,21を介してスマートフォン20に転送する(ステップS33)。
制御部25は、ステップS83において、レンズ型カメラ10に対する撮影要求に対してレンズ型カメラ10の撮像画像の転送を要求するモードであるか否かを判定する。撮像画像を要求するモードの場合には、制御部25は、ステップS85においてレンズ型カメラ10から高速通信部11,21を介して転送された撮像画像を受信し、所定の画像処理を施した後記録部24に与えて記録させる。
また、レンズ型カメラ10においても撮影操作を行うことができるようになっており、制御部12は、ステップS34において撮影操作が行われたか否かを判定する。レンズ型カメラ10の操作部16によって撮影操作が行われると、制御部12は撮像部11を制御して撮影を行う。制御部12は、この撮影によって得られた撮像画像を記録部18に与えて記録させる(ステップS36)。また、レンズ型カメラ10において撮像画像をスマートフォン20に転送するモードが設定されている場合には、制御部12は、ステップS37からステップS38に処理を移行して、撮像画像を高速通信部13,21を介してスマートフォン20に転送する(ステップS38)。
なお、レンズ型カメラ10において、高速通信の確立前に撮影を行うことも可能である。制御部12は、ステップS45において撮影操作が行われたか否かを判定する。レンズ型カメラ10の操作部16によって撮影操作が行われると、制御部12は撮像部11を制御して撮影を行う(ステップS46)。制御部12は、この撮影によって得られた撮像画像を記録部18に与えて記録させる(ステップS47)。
このように本実施の形態においても第1の実施の形態と同様の効果が得られる。更に、本実施の形態においては、レンズ型カメラからスマートフォンに対して撮像画像を転送する高速通信が確立する前において、低速通信を利用してレンズ型カメラの撮影情報等をスマートフォンに転送するようになっており、スマートフォンはレンズ型カメラの撮影情報を利用して内蔵カメラの撮影を制御することが可能であり、内蔵カメラによって高品質の撮像画像を得ることができる。
なお、上記各実施の形態においては、2つの撮像部のうちの一方の撮影情報を用いて他方の撮影条件を設定する例を説明したが、2つの撮像部のうちの一方の撮影情報を用いて他方の撮像部からの撮像画像に対する画像処理を制御するようにしてもよい。
また、この実施例では、撮影の高速化の説明を重点的に行ったが、消費電力対策として、必要な時以外は、Wi−Fi通信を切って、ブルートゥース(登録商標)で代用するようにする応用も有効である。例えば、モード設定時には、スマートフォンの画面を見ながら画質調整するようにすれば、Wi−Fiの消費電力を抑えて、機器を長時間使うことが可能となる。
画質や画像のイメージを把握するだけなら、レンズ型カメラの画像にこだわる必要はない。
なお、常時接続では、電力が短時間しか保たない機器の場合、Wi−Fiを間欠的に行って、あらかじめ通信開始設定を早めに行うような工夫を併用すれば、ブルートゥース(登録商標)ではなくてもよい。消費電力を気にすることなく、ペアリングが不要で瞬時に接続が可能な、近接無線通信(NFCやトランスファージェット等)を第2の通信に代用してもよい。この場合も、画像以外の通信を優先して行ってもよい。画像以外のデータ通信を説明したが、小容量の画像を含むことも可能である。
上記各実施の形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末(PDA:Personal Digital Assist)等に内蔵されるカメラでも勿論構わない。
画像のような大きな容量のデータと、それに付随した比較的小容量のデータを送るシステムであれば、コンシューマ分野のみならず、産業用、医療用の分野でも使える。例えば、撮像部と表示部または操作部が別体になっている構成の画像機器であれば応用が可能である。例えば、身体や機械などの内側の検査をする時に、撮像部を内部に入れて、まず、身体や機械などの表面を操作部側で撮影して無駄な時間を軽減する。また、第1の通信規格の通信での内部の撮像部からの観察画像転送に先立って第2の通信規格の通信で位置の情報だけを先に出して、位置合わせを行うような用途にも使える。そうすれば他の観察を先に行い、第1の通信規格の通信の待ち時間なく次の観察や診断に早く入れる。
また、ここでは比較的高速のレスポンスを要する撮影シーンにおける例に説明してきたが、上記各実施の形態は、通信が出来ない時、他の手段を講じて代用手段でユーザの不満を緩和するものであれば、この撮影という限定された範囲を超える技術思想を含んでいる。画像のみならず、ICレコーダなどで録音される音声に適用することも考えられる。音声でもマルチチャンネルでハイレゾ音声では、画像と同様、通信に時間がかかることがある。その他、測定可能な情報を機器連携で得るものであれば通信開始時だけでなく、通信遮断時トラブルの回避を行う場合にも利用できる発明であることは言うまでもない。
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
10…レンズ型カメラ、11…撮像部、12…制御部、13,21…高速通信部、14,22…低速通信部、15…仰角方位センサ、16,27…操作部、18…記録部、20…スマートフォン、23…内蔵カメラ部、24…記録部、25…制御部、28…表示制御部、29…表示部、30…方位・画角判定部。

Claims (9)

  1. 第1の撮像画像を得る第1の撮像部を設けた情報端末装置であって、
    上記情報端末装置とは異なる撮像装置に配設された第2の撮像部によって得られた第2の撮像画像を第1の通信規格に従って受信する第1の通信部と、
    上記第1の通信規格とは異なる第2の通信規格に従って上記撮像装置と通信を行う第2の通信部と、
    上記第1の通信部の通信が確立していない場合に、上記第2の通信部の通信中に上記第1の撮像画像を表示するための表示制御部と、
    上記第1の通信部の通信が確立していない場合に、上記第2の撮像部に関する情報が上記第2の通信部を介して伝送されると、上記第1の撮像画像中に上記第2の撮像部に関する情報に基づく表示を重ねて表示するように、上記表示制御部を制御する制御部と、
    を具備したことを特徴とする情報端末装置。
  2. 上記制御部は、上記第2の撮像部に関する情報又は姿勢情報に基づいて上記第1の撮像部を設定する
    ことを特徴とする請求項1に記載の情報端末装置。
  3. 上記制御部は、上記第1の通信部の通信が確立すると、上記表示制御部を制御して上記第2の撮像画像を表示させる
    ことを特徴とする請求項1または2に記載の情報端末装置。
  4. 上記制御部は、上記第2の撮像部に関する情報に基づく表示として、上記第1の撮像画像中における上記第2の撮像画像の撮像範囲を示す画像、または音声に基づく画像を表示させる
    ことを特徴とする請求項1−3のいずれか1項に記載の情報端末装置。
  5. 第1の撮像画像を得る第1の撮像部と、上記第1の撮像画像を表示するための表示制御部と、を有する機器に対して第1の通信規格に従って通信を行う第3の通信部と、
    上記機器に対して上記第1の通信規格とは異なる第2の通信規格に従って通信を行う第4の通信部と、
    第2の撮像画像を得る第2の撮像部と、
    上記第2の撮像部によって得られた第2の撮像画像を上記第3の通信部を介して上記機器に送信させると共に、上記第3の通信部の通信が確立していない場合には、上記第2の撮像部に関する情報を上記第4の通信部を介して上記機器に送信させ、かつ、上記第1の撮像画像中に上記第2の撮像部に関する情報に基づく表示を重ねて表示するように、上記機器における上記表示制御部に対して指示をする制御部と、
    を具備したことを特徴とする情報端末装置。
  6. 第1の撮像画像を得る第1の撮像部を設けた情報端末装置の情報支援方法であって、
    画像伝送に用いる第1の通信規格に従った通信を確立するための処理を行うステップと、
    上記第1の通信規格とは異なる第2の通信規格に従った通信を確立するための処理を行うステップと、
    上記第1の撮像部によって第1の撮像画像を取得するステップと、
    上記第1の撮像画像を表示するステップと、
    上記第1の通信規格に従った通信が確立していない場合に、上記第2の通信規格に従った通信が確立すると、上記情報端末装置とは異なる撮像装置における第2の撮像部に関する情報を上記第2の通信規格による通信によって取得するステップと、
    上記第1の撮像画像中に上記第2の撮像部に関する情報に基づく表示を重ねて表示するステップと、
    上記第1の通信規格に従った通信が確立すると、上記第2の撮像部によって得られる第2の撮像画像を表示するステップと、
    を具備したことを特徴とする情報支援方法。
  7. 上記第1の通信規格に従った通信の確立前に、上記第2の撮像部に関する情報に基づいて上記第1の撮像部を設定するステップ
    を具備することを特徴とする請求項6に記載の情報支援方法。
  8. コンピュータに、第1の撮像画像を得る第1の撮像部を設けた情報端末装置の情報支援を実行させるための情報支援プログラムであって、
    画像伝送に用いる第1の通信規格に従った通信を確立するための処理を行うステップと、
    上記第1の通信規格とは異なる第2の通信規格に従った通信を確立するための処理を行うステップと、
    第1の撮像部によって第1の撮像画像を取得するステップと、
    上記第1の撮像画像を表示するステップと、
    上記第1の通信規格に従った通信が確立していない場合に、上記第2の通信規格に従った通信が確立すると、上記情報端末装置とは異なる撮像装置における第2の撮像部に関する情報を上記第2の通信規格による通信によって取得するステップと、
    上記第1の撮像画像中に上記第2の撮像部に関する情報に基づく表示を重ねて表示するステップと、
    上記第1の通信規格に従った通信が確立すると、上記第2の撮像部によって得られる第2の撮像画像を表示するステップと、
    を実行させるための情報支援プログラム。
  9. 上記第1の通信規格に従った通信の確立前に、上記第2の撮像部に関する情報に基づいて上記第1の撮像部を設定するステップ
    を具備することを特徴とする請求項8に記載の情報支援プログラム。
JP2015034488A 2015-02-24 2015-02-24 情報端末装置、情報支援方法及び情報支援プログラム Active JP6481225B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015034488A JP6481225B2 (ja) 2015-02-24 2015-02-24 情報端末装置、情報支援方法及び情報支援プログラム
CN201610030716.5A CN105916097A (zh) 2015-02-24 2016-01-18 信息终端装置、信息取得装置和信息援助方法
US15/043,825 US9924087B2 (en) 2015-02-24 2016-02-15 Information terminal apparatus, information acquisition apparatus, information support method, and recording medium recording information support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015034488A JP6481225B2 (ja) 2015-02-24 2015-02-24 情報端末装置、情報支援方法及び情報支援プログラム

Publications (2)

Publication Number Publication Date
JP2016158109A JP2016158109A (ja) 2016-09-01
JP6481225B2 true JP6481225B2 (ja) 2019-03-13

Family

ID=56690095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015034488A Active JP6481225B2 (ja) 2015-02-24 2015-02-24 情報端末装置、情報支援方法及び情報支援プログラム

Country Status (3)

Country Link
US (1) US9924087B2 (ja)
JP (1) JP6481225B2 (ja)
CN (1) CN105916097A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542601B (zh) * 2016-06-20 2024-01-23 麦克赛尔株式会社 摄像装置、显示装置和摄像显示***
JP2018045558A (ja) * 2016-09-16 2018-03-22 オリンパス株式会社 制御装置、制御システム及び制御方法
JP6809090B2 (ja) * 2016-09-28 2021-01-06 カシオ計算機株式会社 撮像装置、撮影システム、電源管理方法及びプログラム
KR20180040451A (ko) * 2016-10-12 2018-04-20 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
JP2018078365A (ja) * 2016-11-07 2018-05-17 オリンパス株式会社 制御装置、制御システム及び制御方法
WO2018235258A1 (ja) * 2017-06-23 2018-12-27 オリンパス株式会社 画像伝送システム、撮像端末、表示端末、調整方法、調整補助方法、調整プログラム、および調整補助プログラム
JP7101525B2 (ja) * 2018-04-20 2022-07-15 キヤノン株式会社 電子機器およびその制御方法、並びに、プログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3944726B2 (ja) * 2002-09-25 2007-07-18 ソニー株式会社 撮像装置および方法
JP2007188321A (ja) * 2006-01-13 2007-07-26 Sony Corp 通信装置および通信方法、プログラム、並びに記録媒体
JP2007306433A (ja) * 2006-05-12 2007-11-22 Fujifilm Corp レンズ交換式カメラ
JP4989417B2 (ja) * 2007-10-26 2012-08-01 キヤノン株式会社 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム
JP2010136216A (ja) * 2008-12-05 2010-06-17 Olympus Imaging Corp 携帯機器
JP2012186698A (ja) * 2011-03-07 2012-09-27 Ricoh Co Ltd 画像撮影装置
JP5705000B2 (ja) * 2011-04-11 2015-04-22 オリンパス株式会社 映像送受信システム、映像送信装置、受信映像表示装置、無線制御装置および映像送受信方法
KR20130060556A (ko) 2011-11-30 2013-06-10 삼성전자주식회사 휴대단말기의 디바이스 연결 장치 및 방법
KR20130061511A (ko) * 2011-12-01 2013-06-11 삼성전자주식회사 디지털 촬영 시스템 및 디지털 촬영 시스템의 동작 방법
US9031610B2 (en) * 2011-12-09 2015-05-12 Charles J. Kulas Camera attachment for phone
JP6033032B2 (ja) * 2012-10-09 2016-11-30 オリンパス株式会社 撮像表示システム
US20140132781A1 (en) * 2012-11-09 2014-05-15 I.Am.Symbolic, Llc Mobile device camera accessory
JP5746244B2 (ja) * 2013-03-06 2015-07-08 オリンパス株式会社 撮像操作端末、撮像システム、撮像操作方法、およびプログラム
JP6245843B2 (ja) * 2013-05-21 2017-12-13 オリンパス株式会社 カメラ操作端末、撮像システム、撮像方法、およびプログラム
JP2015019226A (ja) * 2013-07-10 2015-01-29 キヤノン株式会社 受信装置、制御方法、プログラム及び記録媒体
JP5769032B2 (ja) * 2013-07-29 2015-08-26 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
KR102148001B1 (ko) * 2013-10-17 2020-08-25 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
JP6209952B2 (ja) * 2013-11-19 2017-10-11 ソニー株式会社 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム
JP5769789B2 (ja) * 2013-12-13 2015-08-26 オリンパス株式会社 画像受信装置、撮像装置、撮像システム、画像受信方法、およびプログラム
JP6257336B2 (ja) * 2014-01-14 2018-01-10 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP6370056B2 (ja) * 2014-02-20 2018-08-08 オリンパス株式会社 撮像装置、通信機器、及び撮像方法
KR101460112B1 (ko) * 2014-06-11 2014-11-11 김산 동영상 출력이 가능한 감시 카메라 및 이 감시 카메라를 포함하는 동영상 송수신 시스템
JP6234333B2 (ja) * 2014-06-25 2017-11-22 オリンパス株式会社 撮像システム及び撮像方法
US9602191B2 (en) * 2014-06-27 2017-03-21 X Development Llc Streaming display data from a mobile device using backscatter communications
US10200618B2 (en) * 2015-03-17 2019-02-05 Disney Enterprises, Inc. Automatic device operation and object tracking based on learning of smooth predictors
US9854162B2 (en) * 2015-03-19 2017-12-26 Casio Computer Co., Ltd. Photographing apparatus that sends an image to an external apparatus with a specific restriction to prevent a flaw
JP6558527B2 (ja) * 2015-03-30 2019-08-14 カシオ計算機株式会社 電子機器、電子機器の制御方法、プログラム及び無線通信システム
US10284774B2 (en) * 2015-12-25 2019-05-07 Olympus Corporation Information terminal apparatus, image pickup apparatus, image-information processing system, and image-information processing method for controlling time-lapse imaging

Also Published As

Publication number Publication date
US20160248965A1 (en) 2016-08-25
CN105916097A (zh) 2016-08-31
JP2016158109A (ja) 2016-09-01
US9924087B2 (en) 2018-03-20

Similar Documents

Publication Publication Date Title
JP6481225B2 (ja) 情報端末装置、情報支援方法及び情報支援プログラム
KR102145542B1 (ko) 촬영 장치, 복수의 촬영 장치를 이용하여 촬영하는 촬영 시스템 및 그 촬영 방법
JP2016123137A (ja) 画像通信装置および撮像装置
TWI464513B (zh) 無線通訊系統、可攜式電子裝置以及遠端閃光源控制方法
US8692666B2 (en) Communication system and communication terminal
JP6139829B2 (ja) 情報処理装置およびその制御方法、プログラム
KR20150132802A (ko) 촬영 파라미터를 설정하는 방법, 장치, 프로그램 및 기록매체
US20150271414A1 (en) Display apparatus and display method
JP2015186021A (ja) 撮影機器、撮像観察機器、画像比較表示方法、画像比較表示プログラム及び画像比較表示システム
US10404902B2 (en) Information terminal apparatus, information processing system, information processing method and recording medium that records information processing program
US20150189151A1 (en) Information processing apparatus, imaging apparatus, information processing method, information processing program, and imaging system
US20180131800A1 (en) Control apparatus, control system, and method for controlling control apparatus
JP5392141B2 (ja) 電子機器
JP2016220261A (ja) 電子機器
JP5754500B2 (ja) 電子機器および電子機器用プログラム
KR20170129557A (ko) 휴대용 촬영 장치 및 시스템
JP2016127451A (ja) 撮像装置及び撮像方法
JP5448913B2 (ja) 電子機器および電子機器用プログラム
WO2014208179A1 (ja) 電子機器及びプログラム
JP6351394B2 (ja) 表示装置、通信システム、表示装置の制御方法及びプログラム
JP5644976B2 (ja) 電子機器及び電子機器用プログラム
JP5614487B2 (ja) 電子機器および電子機器用プログラム
JP2018125890A (ja) 電子機器および電子機器用プログラム
JP2020013114A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2011172091A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190123

R151 Written notification of patent or utility model registration

Ref document number: 6481225

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250