JP2014220775A - 撮像装置および合焦方法 - Google Patents

撮像装置および合焦方法 Download PDF

Info

Publication number
JP2014220775A
JP2014220775A JP2013100714A JP2013100714A JP2014220775A JP 2014220775 A JP2014220775 A JP 2014220775A JP 2013100714 A JP2013100714 A JP 2013100714A JP 2013100714 A JP2013100714 A JP 2013100714A JP 2014220775 A JP2014220775 A JP 2014220775A
Authority
JP
Japan
Prior art keywords
imaging
color
light
light emission
remote control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013100714A
Other languages
English (en)
Other versions
JP6119410B2 (ja
Inventor
寛人 伊藤
Hiroto Ito
寛人 伊藤
輝彦 佐藤
Teruhiko Sato
輝彦 佐藤
雅昭 ▲高▼木
雅昭 ▲高▼木
Masaaki Takagi
篤志 松坂
Atsushi Matsuzaka
篤志 松坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Semiconductor Ltd
Original Assignee
Fujitsu Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Semiconductor Ltd filed Critical Fujitsu Semiconductor Ltd
Priority to JP2013100714A priority Critical patent/JP6119410B2/ja
Publication of JP2014220775A publication Critical patent/JP2014220775A/ja
Application granted granted Critical
Publication of JP6119410B2 publication Critical patent/JP6119410B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Selective Calling Equipment (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Accessories Of Cameras (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

【課題】遠隔操作装置が発光する光を確実に認識し、遠隔操作装置の位置を特定することができる撮像装置および合焦方法を提供すること。
【解決手段】撮像装置101は、撮像光を受光する撮像部301と、遠隔操作装置に発光させる光の色に関する色情報を決定する色情報決定部302と、色情報決定部302によって決定された色情報を遠隔操作装置へ送信する送信部303と、撮像部301によって受光された、遠隔操作装置が色情報に基づいて発光した光を含む撮像光と、色情報決定部302によって決定された色情報と、に基づいて、撮像領域における遠隔操作装置の位置を特定する特定部304と、を有する。
【選択図】図3

Description

本発明は、撮像装置および合焦方法に関する。
カメラで撮影者本人を撮影する場合に、カメラから離れたところから、リモコンを使用してシャッターを切ることができる遠隔撮影機能を備えたカメラが存在する。その際、リモコン、すなわちリモコンを保持している撮影者に合焦したい場合がある。
関連する先行技術としては、たとえば、リモコンから可視光線を発光し、その可視光線の位置にオートフォーカスのための測距領域を移動(設定)して、撮像をおこなうものがある(たとえば、下記特許文献1を参照)。
また、関連する先行技術としては、たとえば、撮像部で得られた画像の中から、リモコンからの発光信号の発光色に対応した特定の色を抽出することで、リモコンの位置を特定するものがある(たとえば、下記特許文献2を参照)。
特開2000−227542号公報 特開2001−343698号公報
しかしながら、従来技術では、撮像背景、すなわちカメラ側が受光する撮像光によっては、リモコンからの光を識別することができず、それによって、リモコンの位置を特定することができなくなってしまう虞があるという問題点がある。
本発明は、上述した従来技術による問題点を解消するため、遠隔操作装置が発光する光を確実に認識し、遠隔操作装置の位置を特定することができる撮像装置および合焦方法を提供することを目的とする。
上述した課題を解決し、目的を達成するため、本発明の一側面によれば、遠隔操作装置が発光させる光の色に関する色情報を決定し、決定した色情報を前記遠隔操作装置へ送信し、前記遠隔操作装置が前記色情報に基づいて発光した光を含む撮像光を受光し、受光した撮像光と、決定した色情報と、に基づいて、撮像領域における前記遠隔操作装置の位置を特定する、処理を実行する撮像装置および合焦方法が提案される。
本発明の一側面によれば、撮像装置が、遠隔操作装置が発光する光を確実に認識し、遠隔操作装置の位置を特定することができるという効果を奏する。
図1は、実施の形態にかかる撮像装置およびその撮像装置を用いた合焦方法の態様例を示す説明図である。 図2は、実施の形態にかかる撮像装置の表示画面の表示例を示す説明図である。 図3は、実施の形態にかかる撮像装置の機能的構成の一例を示すブロック図である。 図4は、実施の形態にかかる遠隔操作装置の機能的構成の一例を示すブロック図である。 図5は、発光色/発光パターンテーブルの記憶内容の一例を示す説明図である。 図6は、実施の形態にかかる撮像装置の外観例を示す説明図である。 図7は、実施の形態にかかる撮像装置のハードウェア構成例を示すブロック図である。 図8は、実施の形態にかかる遠隔操作装置の外観例を示す説明図(その1)である。 図9は、実施の形態にかかる遠隔操作装置の外観例を示す説明図(その2)である。 図10は、実施の形態にかかる遠隔操作装置のハードウェア構成例を示すブロック図である。 図11は、撮像装置と遠隔操作装置との間のシーケンスを示す説明図である。 図12は、発光パターン決定処理の手順を示すフローチャートである。 図13は、撮像領域(フレーム)ごとの重み付けの状態を示す説明図である。 図14は、実施の形態にかかる撮像装置による撮影処理の処理手順を示すフローチャートである。 図15は、実施の形態にかかる撮像装置によるフレーム内色識別処理の処理手順を示すフローチャートである。 図16は、実施の形態にかかる撮像装置による発光色通知処理の処理手順を示すフローチャートである。 図17は、実施の形態にかかる遠隔操作装置による発光色通知処理の処理手順を示すフローチャートである。 図18は、実施の形態にかかる撮像装置による発光処理の処理手順を示すフローチャートである。 図19は、実施の形態にかかる遠隔操作装置による発光処理の処理手順を示すフローチャートである。 図20は、実施の形態にかかる撮像装置による発光検出処理の処理手順を示すフローチャートである。 図21は、実施の形態にかかる遠隔操作装置による発光検出処理の処理手順を示すフローチャートである。
以下に添付図面を参照して、この発明にかかる撮像装置および合焦方法の実施の形態を詳細に説明する。
(実施の形態)
図1は、実施の形態にかかる撮像装置およびその撮像装置を用いた合焦方法の態様例を示す説明図である。図1は、撮影者100が撮像装置(たとえば、デジタルカメラ、ムービーカメラ、撮影機能を備えた情報端末装置など)101を三脚に固定し、撮影者100自らを含めた画像を撮影する状況を示している。その際、撮影者100は遠隔操作装置(たとえば、リモコン)102を用いて、遠隔から無線信号により撮像装置101のシャッターを操作する。
図2は、実施の形態にかかる撮像装置の表示画面の表示例を示す説明図である。図2は、図1に示した撮像装置101の表示画面201(たとえば、後述するLCD画面704)に表示された映像を示している。表示画面201には、撮影者100が画面の左側に映し出されている。また、図1に示したように、表示画面201において、撮影者100は遠隔操作装置102を左手に保持している。
表示画面201に表示された内容について撮影する場合に、撮像装置101は、撮影者100に合焦するために、撮影者100が撮像領域(表示画面201)内におけるどこにいるかを認識する必要がある。そのため、遠隔操作装置102の位置を特定し、それによって、遠隔操作装置102の位置、すなわち図2において表示画面201の左側に映し出されている撮影者100に合焦することが可能となる。このように、撮像領域内における遠隔操作装置102の位置を撮像装置101が認識するために、撮像装置101は以下のような機能的構成を有している。
図3は、実施の形態にかかる撮像装置の機能的構成の一例を示すブロック図である。また、図4は、実施の形態にかかる遠隔操作装置の機能的構成の一例を示すブロック図である。図3において、撮像装置101は、撮像部301と、色情報決定部302と、送信部303と、特定部304と、発光色/発光パターンテーブル305と、を有している。また、図4において、遠隔操作装置102は、受信部401と、発光色決定部402と、発光色/発光パターンテーブル403と、発光部404と、を有している。さらに、図示は省略するが、遠隔操作装置102は、遠隔操作装置102から所定の応答信号を送信する送信部を有し、撮像装置101は、当該応答信号を受信する受信部を有している。
撮像部301は、撮像光を受光する。受光した撮像光は、たとえば図2に示した表示画面201に映像として表示される。
色情報決定部302は、遠隔操作装置102に発光させる光の色に関する色情報を、たとえば発光色/発光パターンテーブル305を用いて決定する。後述するように、遠隔操作装置102の発光部404は、複数色の光を発光することができる。色情報決定部302は、遠隔操作装置102が発光可能な色の光のうち、どの色の光をどのようなタイミングで遠隔操作装置102から発光させるかについての情報を決定する。色情報決定部302による決定処理の詳細については後述する。
送信部303は、色情報決定部302によって決定された色情報を遠隔操作装置102へ送信する。色情報の送信は、たとえば赤外線通信、Wi−Fi、Bluetooth(登録商標)などの無線通信による通信方式を用いることができる。通信方式については特に限定せず、他の通信方式であってもよい。また、送信部303は、色情報の通知以外に、遠隔操作装置102に対する所定の通知信号などを送信する。
遠隔操作装置102には、撮像装置101の送信部303によって送信された色情報を受信する受信部401と、受信した色情報に基づいて、発光色/発光パターンテーブル403を用いて、発光色、発光のタイミングなどを決定する発光色決定部402と、発光色決定部402によって決定された色を所定のタイミングで発光する発光部404と、を有している。
特定部304は、撮像部301によって受光された、遠隔操作装置102が色情報に基づいて発光した光を含む撮像光と、色情報決定部302によって決定された色情報と、に基づいて、遠隔操作装置102から発光された当該色の光を認識する。そうすることによって、撮像領域における遠隔操作装置102の位置、すなわち図2の表示画面201における遠隔操作装置102の位置(表示画面201における左側の中央の高さの位置)を特定する。
このように構成することによって、撮像装置101は、撮像領域における遠隔操作装置102の位置、すなわち撮影者100の位置をより確実かつ正確に把握することができ、それによって、遠隔操作装置102を保持する撮影者100に対して確実かつ正確に合焦することができる。
遠隔操作装置102から発光される光が、任意の一色の光では、たとえば撮像領域における遠隔操作装置102が存在する位置とは別の位置に、同一または類似の色の光が存在した場合に、発光元の遠隔操作装置102を特定することができなくなる場合がある。そこで、色情報決定部302は、遠隔操作装置102が発光可能な色のうちの複数色の光を所定のタイミングで切り替えて発光させるように色情報を決定するようにしてもよい。具体的な決定処理については後述する。
特定部304は、遠隔操作装置102によって各色の光が発光されたタイミングにおける撮像光ごとに当該撮像光の色を分析する。そして、特定部304は、それぞれの分析結果に基づいて、撮像領域(たとえば、図2における表示画面201の表示領域)における遠隔操作装置102の位置を特定するようにしてもよい。
特定部304は、撮像光の分析として、たとえば、撮像領域を複数の小領域に分け、遠隔操作装置102によって発光された光の色が含まれる小領域に重み付けをする。そして、特定部304は、当該重み付けに基づいて、前記撮像領域における遠隔操作装置102の位置となる小領域を特定するようにしてもよい。小領域は、たとえば、後述する図13に示すように、縦横複数個に分割した小領域の矩形(エリア1302)によって構成される。
このように構成することによって、遠隔操作装置102によって所定のタイミングで切り替えて発光された複数色の光が同一箇所から発光され、撮像装置101が、発光されたそれぞれの色を認識することができるので、撮像装置101は、発光元である遠隔操作装置102の位置をより確実かつ正確に特定することができる。
また、色情報決定部302は、遠隔操作装置102を発光させる前に、撮像領域における撮像光の色を分析し、当該分析結果に基づいて、色情報を決定するようにしてもよい。たとえば、色情報決定部302は、遠隔操作装置102が発光可能な色のうち、撮像領域における撮像光に存在する割合が少ない色を、遠隔操作装置102に発光させる光の色とするように色情報を決定するようにしてもよい。
具体的には、たとえば、遠隔操作装置102の発光可能な色が、赤(R)、緑(G)、青(B)、白(W)であり、撮像光に、空の青(B)や、森の緑(G)が多く含まれる場合には、含まれる割合が少ない赤(R)、白(W)を発光させる光の色とする。このように、撮像光の各色ごとの含まれる割合を算出し、算出の結果、発光可能な色のうち、撮像光に含まれる割合が少ない色を、遠隔操作装置102に発光させる色とするとよい。これによって、遠隔操作装置102が発光する光の色を撮像装置101がより認識しやすくなる。
図5は、発光色/発光パターンテーブルの記憶内容の一例を示す説明図である。発光色/発光パターンテーブルは、同様のテーブルが、撮像装置101と遠隔操作装置102にそれぞれ設けられている。図5において、発光色/発光パターンテーブル305(403)には、シリアルな番号(発光パターン番号)と、その番号に対応する発光パターンおよび発光色とが、1対1で対応付けられて記憶されている。
具体的には、たとえば、図5において、「No.1」は、発光パターンが「Full Time」であり、発光色が「R」であることを示している。また、「No.5」は、発光パターンが「Repeat」であり、発光色が「R(1s)→G(1s)」であることを示している。
また、発光色/発光パターンテーブル305(403)において、「R」は赤、「G」は緑、「B」は青、「W」は白を表している。また、発光パターンが「Full Time」は、一色のみを連続的に発光することを表しており、発光パターンが「Repeat」は、複数色を順次切り替えて繰り返し発光することを表している。また、「R(1s)→G(1s)」は、赤を1秒発光し、その後、緑を1秒発光することを表している。「No.5」では、発光パターンが「Repeat」なので、1秒ごとに赤と緑を交互に発光することを表している。
ここで、「Repeat」の各色の発光時間は同じ時間(1秒)である場合に限らず、図示は省略するが、色ごとに発光時間を可変にするような発光パターンを記憶していてもよい。撮像光の分析結果に基づいて、たとえば、W(白)だけを他の色よりも長く発光するようにしてもよい。また、発光を連続的におこなうだけでなく、消灯することによって発光しないタイミングが存在する発光パターンを記憶しておいてもよい。消灯を含める発光パターンには、発光パターンが「Full Time」でも「Repeat」のいずれであってもよい。
「Repeat」に消灯を含める場合は、色が変化するタイミングで消灯する発光パターンでもよく、任意の色の発光中に消灯を含めるような発光パターンでもよい。このように、色情報決定部302が、遠隔操作装置102からの光を発光する前の撮像光の分析結果に基づいて、遠隔操作装置102の位置がより明確に特定できるような発光パターンを発光色/発光パターンテーブル305(403)に記憶するとよい。
色情報決定部302は、撮像光の分析結果に基づいて、発光パターンを決定し、その発光パターン番号を抽出し、当該発光パターン番号を色情報として、送信部303が遠隔操作装置102へ送信する。そして、遠隔操作装置102の受信部401が、撮像装置101の送信部303から送信された色情報である発光パターン番号を受信し、発光色決定部402が、発光色/発光パターンテーブル403から、当該発光パターン番号に該当する発光パターン、発光色を抽出し、当該発光パターン、発光色を、後述する所定のタイミングで発光する。
図6は、実施の形態にかかる撮像装置の外観例を示す説明図である。また、図7は、実施の形態にかかる撮像装置のハードウェア構成例を示すブロック図である。図6および図7において、601はシャッターボタンであり、602は撮像レンズであり、603は撮影可能通知用LEDであり、604は発光開始信号受信部であり、605は発光色指定信号送信部である。
また、図7において、700は制御部であり、701はCCD/CMOS(CCDイメージセンサ/CMOSイメージセンサ)であり、702はAFE(アナログフォロントエンド)であり、703は画像処理部であり、704はLCD画面(液晶ディスプレイ)であり、705は画像表示部であり、706は発光信号通知部であり、707は画像解析部である。また、図6において、撮像装置101は、一般的な形体のカメラとして記載しているが、これに限定されるものではなく、ムービーカメラや、スマートフォンなどの携帯情報端末装置であってもよい。
撮影可能通知用LED603は、撮像装置101において、撮影が可能となった場合、具体的には、遠隔操作装置102の撮像領域内における位置が特定でき、撮影の準備が完了した場合に、たとえば緑色に点灯し、その旨を撮影者100に通知する。撮影者100は、その通知があった後、遠隔操作装置102に設けられた、後述する撮影用ボタン801を押下することで撮影を実行する。また、撮影の準備が完了せず、エラーが生じた場合には、別の色(たとえば赤色)に点灯または点滅し、エラーである旨を撮影者100に通知する。
発光開始信号受信部604は、遠隔操作装置102において発光と同時に撮像装置101に対して発信される発光開始信号を受信する。これによって、撮像装置101は、遠隔操作装置102が発光を開始したことを認識することができる。
制御部700は、撮像装置101の全体の制御を司る。CCD/CMOS701、AFE702、画像処理部703などによって、図3に示した撮像部301の機能を実現する。画像解析部707、発光信号通知部706などによって、図3に示した色情報決定部302の機能を実現する。発光色指定信号送信部605などによって、図3に示した送信部303の機能を実現する。
図8および図9は、実施の形態にかかる遠隔操作装置の外観例を示す説明図である。また、図10は、実施の形態にかかる遠隔操作装置のハードウェア構成例を示すブロック図である。図8は、遠隔操作装置102を上から見た図であり、図9は、遠隔操作装置102を正面から見た図である。
図8において、遠隔操作装置102は、撮影用ボタン801と、光源点灯/消灯用ボタン802を備えている。撮影用ボタン801が撮影者100によって押下されることによって、撮像装置101のシャッターが切られる。光源の点灯/消灯は、撮像装置101からの信号によって自動的におこなわれるが、光源点灯/消灯用ボタン802の押下によって、撮影者100の手動によっても光源の点灯/消灯をおこなうことができる。
図9および図10において、901は撮影信号送信部であり、902は発光色指定信号受信部であり、903は光源部である。また、1000は発光色制御部であり、1001は撮影信号生成回路であり、1002はボタン操作検出回路であり、1003は発光色指定信号解析回路であり、1004はLED発光色制御回路である。
ボタン操作検出回路1002において、撮影用ボタン801が撮影者100によって押下されたことが検出されると、撮影信号生成回路1001において撮影信号が生成され、撮影信号送信部901などによって、撮像装置101へ送信される。これにより、撮像装置101のシャッターが切られる。
発光色指定信号受信部902などによって、図4に示した受信部401の機能を実現する。また、発光色制御部1000、撮影信号生成回路1001などによって、図4に示した発光色決定部402の機能を実現する。また、光源部903、LED発光色制御回路1004などによって、図4に示した発光部404の機能を実現する。さらに、図示を省略するが、各種応答信号を撮像装置101へ送信したり、各種通知信号を撮像装置101から受信したりする送受信部を備えている。
つぎに、撮影を開始するまでの撮像装置101と遠隔操作装置102との間のシーケンスについて説明する。図11は、撮像装置と遠隔操作装置との間のシーケンスを示す説明図である。図11において、撮像装置101は、色情報が決定した後、決定した色情報である発光パターン番号を遠隔操作装置102へ通知する(S1101)。
遠隔操作装置102は、S1101の発光パターン番号の通知があった場合に、当該発光パターン番号の受信応答を撮像装置101へ送信する(S1102)。その後、撮像装置101は、発光開始要求を遠隔操作装置102へ送信する(S1103)。遠隔操作装置102は、S1103の発光開始要求を受信した場合に、発光を開始する(S1104)とともに、発光開始要求の受信応答を撮像装置101へ送信する(S1105)。
撮像装置101は、S1105の発光開始要求の受信応答があり次第、発光位置検出処理を開始する(S1106)。発光パターンが「Repeat」の場合は、各発光色の発光時間に基づいて、撮像装置101側の受光のタイミングを設定する。このようにして、S1104の発光の開始と、S1106の発光位置検出処理の開始とは、同期を取るようにしている。
その後、撮像装置101は、発光位置検出処理をおこなった結果、発光位置が検出された場合(検出がOKの場合)は、発光停止要求を遠隔操作装置102へ送信する(S1107)。遠隔操作装置102は、S1107の発光停止要求を受信すると、発光を停止する(S1108)とともに、発光停止要求の受信応答を撮像装置101へ送信する(S1109)。撮像装置101は、S1109の発光停止要求の受信応答があった場合に、撮影可能通知用LED603等による検出通知を撮影者100に対しておこなう(S1110)。その後、S1118へ移行する。
一方、撮像装置101は、発光位置検出処理をおこなった結果、発光位置が検出されなかった場合(検出がNGの場合)は、発光停止要求を遠隔操作装置102へ送信する(S1111)。遠隔操作装置102は、S1111の発光停止要求を受信すると、発光を停止する(S1112)とともに、発光停止要求の受信応答を撮像装置101へ送信する(S1113)。撮像装置101は、S1113の発光停止要求の受信応答があった場合は、発光パターンを変更し、上記S1101〜S1105を繰り返しおこなう。発光パターンの変更処理については、後述する。
そして、撮像装置101は、別の発光パターンによって、発光位置が検出された場合は、S1107へ移行する。一方、全ての発光パターンにおいて、発光位置が検出されなかった場合は、全パターン検出不可のため、撮像装置101は、発光停止要求を遠隔操作装置102へ送信する(S1114)。
遠隔操作装置102は、S1114の発光停止要求を受信すると、発光を停止する(S1115)とともに、発光停止要求の受信応答を撮像装置101へ送信する(S1116)。撮像装置101は、S1116の発光停止要求の受信応答があった場合は、撮影可能通知用LED603等による検出不可通知を撮影者100に対しておこない(S1117)、S1118へ移行する。
その後、S1118において、撮像装置101は、発光位置検出処理を停止し、S1118の発光位置検出処理の停止に引き続き、撮影処理をおこなう(S1119)。このようにして、一連のシーケンスは終了する。
つぎに、発光パターン決定処理について説明する。図12は、発光パターン決定処理の手順を示すフローチャートである。図12のフローチャートにおいて、まず、R/G/B/Wの「Full Time」の発光パターン(図5の発光色/発光パターンテーブル305の「No.1」〜「No.4」)の中から、フレーム(撮像領域)内に一番少ない色を選択する(ステップS1201)。ここで、フレーム内に少ない色の順にR→G→B→Wであるとする。したがって、ここでは、「R」(「No.1」)が選択されることになる。
そして、「No.1」が遠隔操作装置102から発光され、それによって遠隔操作装置102の発光位置が特定できたか否かを判断する(ステップS1202)。ここで、遠隔操作装置102の発光位置が特定できた場合(ステップS1202:Yes)は、発光位置検出がなされた(ステップS1203)ので、図11に示したシーケンスのS1107へ移行する。
一方、ステップS1202において、遠隔操作装置102の発光位置が特定できなかった場合(ステップS1202:No)は、つぎに、2色の「Repeat」の発光パターン(図5の発光色/発光パターンテーブル305の「No.5」〜「No.10」)の中から、フレーム(撮像領域)内に少ない2色の組み合わせを選択する(ステップS1204)。フレーム内に少ない色の順にR→G→B→Wであるから、「R(1s)→G(1s)」(「No.5」)が選択される。
そして、「No.5」が遠隔操作装置102から発光され、それによって遠隔操作装置102の発光位置が特定できたか否かを判断する(ステップS1205)。ここで、遠隔操作装置102の発光位置が特定できた場合(ステップS1205:Yes)は、発光位置検出がなされた(ステップS1203)ので、図11に示したシーケンスのS1107へ移行する。
一方、ステップS1205において、遠隔操作装置102の発光位置が特定できなかった場合(ステップS1205:No)は、つぎに、3色の「Repeat」の発光パターン(図5の発光色/発光パターンテーブル305の「No.11」〜「No.14」)の中から、フレーム(撮像領域)内に少ない3色の組み合わせを選択する(ステップS1206)。フレーム内に少ない色の順にR→G→B→Wであるから、「R(1s)→G(1s)→B(1s)」(「No.11」)が選択される。
そして、「No.11」が遠隔操作装置102から発光され、それによって遠隔操作装置102の発光位置が特定できたか否かを判断する(ステップS1207)。ここで、遠隔操作装置102の発光位置が特定できた場合(ステップS1207:Yes)は、発光位置検出がなされた(ステップS1203)ので、図11に示したシーケンスのS1107へ移行する。
一方、ステップS1207において、遠隔操作装置102の発光位置が特定できなかった場合(ステップS1207:No)は、つぎに、4色の「Repeat」の発光パターン(図5の発光色/発光パターンテーブル305の「No.15」)を選択する(ステップS1208)。
そして、「No.15」が遠隔操作装置102から発光され、それによって遠隔操作装置102の発光位置が特定できたか否かを判断する(ステップS1209)。ここで、遠隔操作装置102の発光位置が特定できた場合(ステップS1209:Yes)は、発光位置検出がなされた(ステップS1203)ので、図11に示したシーケンスのS1107へ移行する。
一方、ステップS1209において、遠隔操作装置102の発光位置が特定できなかった場合(ステップS1209:No)は、発光位置検出がなされなかった(ステップS1210)ので、図11に示したシーケンスのS1114へ移行する。これにより、発光パターン決定の一連の処理は終了する。
図13は、撮像領域(フレーム)ごとの重み付けの状態を示す説明図である。図13において、4つの矩形は、それぞれ、撮像領域(フレーム)1301a〜1301dを表している。フレーム1301a〜1301cの矩形はそれぞれ、遠隔操作装置102からA色、B色、C色と異なった色を発光させた際のフレームを表している。
各フレーム1301a〜1301cは、複数の小領域(エリア)1302に分割されている。そして、遠隔操作装置102から発光された発光色またはそれに近い色が検出された場合に、重み付けとして、検出されたエリアを「10」とし、遠隔操作装置102から発光された発光色またはそれに近い色が検出されなかったエリアを「0」とする。
フレーム1301a〜1301cとも、発光色と同じまたは近い色(たとえば光源)が、遠隔操作装置102の位置が含まれるエリア以外のエリアにも存在するため、フレーム1301a〜1301cをそれぞれ単独で判断しても、正確に遠隔操作装置102の位置が含まれるエリアは特定できない。そこで、フレーム1301a〜1301cの重み付けを積算したものが、右下の矩形であるフレーム1301dである。フレーム1301dでは、積算されて「30」となったエリア1303、1304が隣同士で存在することがわかる。
遠隔操作装置102から発光される光の色の変化はパターンが決まっており、それと同様の変化をする光源が存在しにくい。したがって、重み付けが「30」となったエリア1303、1304が、光を発光した遠隔操作装置102の位置であると特定することができる。
図13の例では特定できないが、任意の1色による1つのフレームによって特定できる場合もある。その場合には、1つのフレームのみから特定した時点で、他の色によるフレームの解析処理を省略する。このようにすることで、より迅速に遠隔操作装置102の位置を特定することができる。
図14は、実施の形態にかかる撮像装置による撮影処理の処理手順を示すフローチャートである。図14のフローチャートにおいて、まず、撮影者100によって、撮影モードが選択される(ステップS1401)。撮影モードには、一般的なカメラと同様に、通常撮影モード(ステップS1402)、セルフタイマモード(ステップS1403)、リモコンモード(ステップS1406)の3つのモードがある。
通常撮影モード(ステップS1402)は、撮影者100が、図示を省略するファインダーまたは図7に示したLCD画面704を見ながら、図6に示した撮像装置101のシャッターボタン601を直接押下することによって、撮影処理をおこなう(ステップS1416)。通常撮影モードによる撮影処理はこれで終了する。
また、セルフタイマモード(ステップS1403)では、所定の操作によりセルフタイマモードに変更し、セルフタイマを有効にした後、撮影用ボタン(通常は、図6に示した撮像装置101のシャッターボタン601、または、図示を省略する別ボタン)を押下(ON)する(ステップS1404)。そうすると、タイマがONとなり(ステップS1405)、それから所定時間経過後(通常10秒から20秒程度)に、撮影処理をおこなう(ステップS1416)。セルフタイマモードによる撮影処理はこれで終了する。
また、リモコンモード(ステップS1406)では、さらに2つのモードがあり、一つは、通常モード(ステップS1407)である。通常モードは、図8に示した遠隔操作装置102の撮影用ボタン801を押下(ON)する(ステップS1408)ことによって、撮影処理(ステップS1416)をおこなうモードである。この通常モードでは、本発明とは異なる方法(たとえば、いわゆる顔認証処理など)によって、撮影者100の位置を認識する。
リモコンモード(ステップS1406)のもう一つのモードが、本発明による光源検出モード(ステップS1409)である。以下、光源検出モード(ステップS1409)の具体的処理の内容について説明する。
光源検出モード(ステップS1409)では、まず、フレーム内色識別処理をおこなう(ステップS1410)。図15は、実施の形態にかかる撮像装置によるフレーム内色識別処理の処理手順を示すフローチャートである。図15のフローチャートにおいて、まず、図7に示した画像処理部703が、1フレームを取り込む(ステップS1501)。つぎに、図7に示した画像解析部707が、取り込まれたフレーム内の色分析をおこなう(ステップS1502)。そして、フレーム内に少ない色、すなわち、遠隔操作装置102が発光可能な色のうち、フレーム内に含まれる割合が少ない色を特定し(ステップS1503)、フレーム内色識別処理を終了する。
図14のフローチャートにおいて、つぎに、発光色通知処理をおこなう(ステップS1411)。図16は、実施の形態にかかる撮像装置による発光色通知処理の処理手順を示すフローチャートである。また、図17は、実施の形態にかかる遠隔操作装置による発光色通知処理の処理手順を示すフローチャートである。
図16のフローチャートにおいて、まず、図7に示した撮像装置101の発光信号通知部706が、遠隔操作装置102へ送信する発光パターン番号通知信号を設定する(ステップS1601)。そして、図6および図7に示した発光色指定信号送信部605が、ステップS1601において設定された発光パターン番号通知信号を遠隔操作装置102へ送信し(ステップS1602)、撮像装置101における発光色通知処理を終了する。
また、図17のフローチャートにおいて、まず、図9および図10に示した遠隔操作装置102の発光色指定信号受信部902が、発光パターン番号通知信号を受信する(ステップS1701)。つぎに、図10に示した発光色指定信号解析回路1003が、発光パターン番号を解析し、図10に示した発光色制御部1000が、図5に示した発光色/発光パターンテーブル403を用いて発光設定をおこなう(ステップS1702)。そして、発光色制御部1000が、発光パターン番号通知受信応答を図10において図示を省略した送受信部から、撮像装置101へ送信し(ステップS1703)、遠隔操作装置102における発光色通知処理を終了する。
図14のフローチャートにおいて、つぎに、発光処理をおこなう(ステップS1412)。図18は、実施の形態にかかる撮像装置による発光処理の処理手順を示すフローチャートである。また、図19は、実施の形態にかかる遠隔操作装置による発光処理の処理手順を示すフローチャートである。
図18のフローチャートにおいて、まず、図6および図7に示した撮像装置101の発光開始信号受信部604が発光開始要求通知をおこなう(ステップS1801)。つぎに、遠隔操作装置102からの応答を受けて、発光位置検出処理を開始し(ステップS1802)、撮像装置101における発光処理を終了する。
また、図19のフローチャートにおいて、図10において図示を省略した送受信部が、発光開始要求を受信する(ステップS1901)。ステップS1901の発光開始要求を受信するとすぐに、図10に示したLED発光色制御回路1004を駆動して、光源部903から、指定された発光色/発光パターンで発光し、同時に、図10において図示を省略した送受信部が、撮像装置101へ発光開始要求応答を送信し(ステップS1902)、遠隔操作装置102における発光処理を終了する。
図14のフローチャートにおいて、つぎに、発光検出処理をおこなう(ステップS1413)。図20は、実施の形態にかかる撮像装置による発光検出処理の処理手順を示すフローチャートである。また、図21は、実施の形態にかかる遠隔操作装置による発光検出処理の処理手順を示すフローチャートである。
図20のフローチャートにおいて、まず、遠隔操作装置102へ発光色を通知した後、フレーム内に発光色に近い色の有無をエリア(小領域)ごとにチェックし、エリアごとの重み付けをおこなう(ステップS2001)。そして、1回目は、ステップS2001における重み付けを算出データとして保存し、2回目以降は前回のエリアごとの重み付けに、今回の重み付けを積算する(ステップS2002)。
つぎに、発光位置が検出できたか否かを判断する(ステップS2003)。具体的には、ステップS2002における重み付けの積算後、重み付けの数値が突出している部分をチェックする。数値が突出している(あらかじめ定められた閾値を超えている)部分があれば、その部分が発光位置、すなわち撮影者100が存在するエリアであると判断することができる。ここで、発光位置が検出できた場合(ステップS2003:Yes)は、遠隔操作装置102に対する発光停止要求通知を含む発光位置検出処理をおこない(ステップS2004)、撮像装置101における発光検出処理を終了する。
一方、ステップS2003において、発光位置が検出できなかった場合(ステップS2003:No)は、つぎに、全パターンをチェックしたか否かを判断する(ステップS2005)。すなわち、発光色が複数色(図5に示した発光色/発光パターンテーブル305における発光パターンが「Repeat」)である場合は、複数色をすべてチェックしたか否かを判断する。また、ここで、発光色が1色(図5に示した発光色/発光パターンテーブル305における発光パターンが「Full Time」)である場合は、全発光パターンをチェックしたと判断する。
ステップS2005において、全パターンをチェックしていない場合(ステップS2005:No)は、ステップS2001へ戻って、ステップS2001〜S2003を繰り返しおこなう。一方、全パターンをチェックした場合(ステップS2005:Yes)は、つぎに、4色の「Repeat」の発光パターン(発光パターン番号「No.15」)のチェックであるか否かを判断する(ステップS2006)。すなわち、1色の「Full Time」、2色の「Repeat」、3色の「Repeat」についてもすでにチェックが終わっているか否かを判断する。
ここで、4色の「Repeat」の発光パターンのチェックではない場合(ステップS2006:No)は、つぎに、発光色/発光パターンを切り替えるために、遠隔操作装置102に対して発光停止要求通知をおこない(ステップS2007)、その発光停止要求通知に対する応答を遠隔操作装置102から受信し(ステップS2008)、その後、発光色/発光パターンを変更して,再度、発光色通知処理、発光処理をおこない(ステップS2009)、ステップS2001へ戻る。すなわち、ステップS2006においては、1色の「Full Time」、2色の「Repeat」、3色の「Repeat」についてもチェックが終わっていない場合は、ステップS2007〜S2009の各処理をおこない、発光色/発光パターンを変更して、同様の処理を繰り返しおこなう。
ステップS2006において、4色の「Repeat」の発光パターンのチェックである場合(ステップS2006:Yes)は、もはや発光色/発光パターンを変更することはできないため、発光位置を検出することができなかったとして、ステップS2010へ移行し、遠隔操作装置102に対する発光停止要求通知を含む発光位置未検出処理をおこない(ステップS2010)、一連の処理を終了する。
図21のフローチャートにおいて、まず、撮像装置101からの発光停止要求の受信をおこなう(ステップS2101)。発光停止要求は、図20におけるステップS2004、S2007、S2010において通知がなされる。つぎに、発光を停止し(ステップS2102)、発光停止要求に対する応答処理をおこない(ステップS2103)、遠隔操作装置102における発光検出処理を終了する。
図14のフローチャートにおいて、つぎに、AE・AF設定をおこなう(ステップS1414)。そして、撮影準備完了通知をおこなう(ステップS1415)。その後、ステップS1416へ移行し、撮影処理をおこない(ステップS1416)、一連の撮影処理を終了する。
以上説明したように、実施の形態にかかる撮像装置101は、遠隔操作装置102が発光させる光の色に関する色情報を決定し、決定した色情報を遠隔操作装置102に送信し、遠隔操作装置102が、受信した色情報に基づいて発光した光を含む撮像光を受光し、受光した撮像光と、決定した色情報と、に基づいて、撮像領域における遠隔操作装置102の位置を特定する。このため、実施の形態にかかる撮像装置101が決定した色の光を遠隔操作装置102から発光させることができる。したがって、撮像装置101側で、遠隔操作装置102が発光した光を撮像光から確実に抽出することができ、それによって、遠隔操作装置102の位置を特定することができる。
この際、撮像領域における撮像光の色を分析し、当該分析結果に基づいて、たとえば、遠隔操作装置102が発光可能な色のうち、撮像領域における撮像光に存在する割合が少ない色を、遠隔操作装置102に発光させる光の色とするように色情報を決定するため、遠隔操作装置102が発光した光を撮像光からより確実に抽出することができる。
また、遠隔操作装置102が発光可能な色のうちの複数色の光を所定のタイミングで切り替えて発光させるように色情報を決定し、遠隔操作装置102によって各色の光が発光されたタイミングにおける撮像光ごとに当該撮像光の色を分析し、それぞれの分析結果に基づいて、たとえば、撮像領域を複数の小領域に分け、遠隔操作装置102によって発光された光の色が含まれる小領域に重み付けをし、当該重み付けに基づいて、撮像領域における遠隔操作装置102の位置となる小領域を特定するため、遠隔操作装置102が発光した光を撮像光からより確実に抽出することができる。
これにより、たとえば顔検出処理などの処理を用いなくても、精度良くAF・AEエリアを設定することが可能となる。また、顔検出を用いる必要がないため、顔が横向きであっても、後ろ向きであっても、その人をAF・AEエリアに設定することが可能である。また、遠隔操作装置102を保持している人がAF・AEの対象となるため、複数人が写る場合であっても、任意の人をAF・AEエリアに設定することが可能となる。
このように、遠隔操作装置102の位置を特定することができ、遠隔操作装置102、すなわち撮影者100に確実にかつ正確に合焦することができ、撮像装置における撮影者100の使い勝手の向上および撮影品質の向上に寄与することができる。
101 撮像装置
102 遠隔操作装置
301 撮像部
302 色情報決定部
303 送信部
304 特定部
305、403 発光色/発光パターンテーブル
401 受信部
402 発光色決定部
404 発光部

Claims (6)

  1. 撮像光を受光する撮像部と、
    遠隔操作装置に発光させる光の色に関する色情報を決定する色情報決定部と、
    前記色情報決定部によって決定された色情報を前記遠隔操作装置へ送信する送信部と、
    前記撮像部によって受光された、前記遠隔操作装置が前記色情報に基づいて発光した光を含む撮像光と、前記色情報決定部によって決定された色情報と、に基づいて、撮像領域における前記遠隔操作装置の位置を特定する特定部と、
    を有することを特徴とする撮像装置。
  2. 前記色情報決定部は、前記遠隔操作装置が発光可能な色のうちの複数色の光を所定のタイミングで切り替えて発光させるように前記色情報を決定し、
    前記特定部は、前記遠隔操作装置によって各色の光が発光されたタイミングにおける撮像光ごとに当該撮像光の色を分析し、それぞれの分析結果に基づいて、前記撮像領域における前記遠隔操作装置の位置を特定することを特徴とする請求項1に記載の撮像装置。
  3. 前記特定部は、前記撮像領域を複数の小領域に分け、前記遠隔操作装置によって発光された光の色が含まれる小領域に重み付けをし、当該重み付けに基づいて、前記撮像領域における前記遠隔操作装置の位置となる小領域を特定することを特徴とする請求項2に記載の撮像装置。
  4. 前記色情報決定部は、前記撮像領域における前記撮像光の色を分析し、当該分析結果に基づいて、前記色情報を決定することを特徴とする請求項1〜3のいずれか一つに記載の撮像装置。
  5. 前記色情報決定部は、前記遠隔操作装置が発光可能な色のうち、前記撮像領域における前記撮像光に存在する割合が少ない色を、前記遠隔操作装置に発光させる光の色とするように前記色情報を決定することを特徴とする請求項4に記載の撮像装置。
  6. 撮像装置が、
    遠隔操作装置が発光させる光の色に関する色情報を決定し、
    決定した色情報を前記遠隔操作装置へ送信し、
    前記遠隔操作装置が前記色情報に基づいて発光した光を含む撮像光を受光し、
    受光した撮像光と、決定した色情報と、に基づいて、撮像領域における前記遠隔操作装置の位置を特定する、
    処理を実行することを特徴とする合焦方法。
JP2013100714A 2013-05-10 2013-05-10 撮像装置および合焦方法 Active JP6119410B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013100714A JP6119410B2 (ja) 2013-05-10 2013-05-10 撮像装置および合焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013100714A JP6119410B2 (ja) 2013-05-10 2013-05-10 撮像装置および合焦方法

Publications (2)

Publication Number Publication Date
JP2014220775A true JP2014220775A (ja) 2014-11-20
JP6119410B2 JP6119410B2 (ja) 2017-04-26

Family

ID=51938822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013100714A Active JP6119410B2 (ja) 2013-05-10 2013-05-10 撮像装置および合焦方法

Country Status (1)

Country Link
JP (1) JP6119410B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017049789A (ja) * 2015-09-01 2017-03-09 エヌ・ティ・ティ・ソフトウェア株式会社 表示制御装置、制御方法及び制御プログラム
JP2021079880A (ja) * 2019-11-21 2021-05-27 本田技研工業株式会社 車両制御装置、車両、車両制御装置の動作方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346088A (ja) * 2000-06-01 2001-12-14 Olympus Optical Co Ltd 電子カメラシステム
JP2005003813A (ja) * 2003-06-10 2005-01-06 Matsushita Electric Ind Co Ltd 撮像装置、撮像システムおよび撮像方法
JP2010041292A (ja) * 2008-08-04 2010-02-18 Nikon Corp カメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346088A (ja) * 2000-06-01 2001-12-14 Olympus Optical Co Ltd 電子カメラシステム
JP2005003813A (ja) * 2003-06-10 2005-01-06 Matsushita Electric Ind Co Ltd 撮像装置、撮像システムおよび撮像方法
JP2010041292A (ja) * 2008-08-04 2010-02-18 Nikon Corp カメラ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017049789A (ja) * 2015-09-01 2017-03-09 エヌ・ティ・ティ・ソフトウェア株式会社 表示制御装置、制御方法及び制御プログラム
JP2021079880A (ja) * 2019-11-21 2021-05-27 本田技研工業株式会社 車両制御装置、車両、車両制御装置の動作方法およびプログラム
JP7000401B2 (ja) 2019-11-21 2022-01-19 本田技研工業株式会社 車両制御装置、車両、車両制御装置の動作方法およびプログラム
US11586224B2 (en) 2019-11-21 2023-02-21 Honda Motor Co., Ltd. Vehicle control apparatus, vehicle, operation method for vehicle control apparatus, and storage medium

Also Published As

Publication number Publication date
JP6119410B2 (ja) 2017-04-26

Similar Documents

Publication Publication Date Title
JP5769032B2 (ja) 撮像装置、撮像方法及びプログラム
US20170045358A1 (en) Distance measurement device, distance measurement method, and distance measurement program
US8743270B2 (en) Focus adjustment apparatus and focus adjustment method
US10547787B2 (en) Distance measurement device, distance measurement method, and distance measurement program
JPWO2013088917A1 (ja) 画像処理装置、画像処理方法、及び記録媒体
CN102645818A (zh) 成像装置、聚焦控制方法和程序
CN108139561B (zh) 摄像装置及摄像方法
US9609224B2 (en) Imaging device and image display method
JP6119410B2 (ja) 撮像装置および合焦方法
EP2597863A3 (en) Digital Photographing Apparatus and Control Method Thereof
JP2001346090A (ja) 電子カメラシステム及び電子カメラ
JP7422911B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム及び記録媒体
JP6044272B2 (ja) 補助撮像装置
JP6197907B2 (ja) 撮像装置、システム、電子機器およびプログラム
JP6136189B2 (ja) 補助撮像装置および主撮像装置
JP6515966B2 (ja) 撮像装置、システム、電子機器およびプログラム
US20190198058A1 (en) Image recording control apparatus, image recording method, recording medium storing image recording program, image pickup apparatus, and image recording control system
JP5910073B2 (ja) 撮像装置、システム、電子機器およびプログラム
JP6729750B2 (ja) 撮像装置、システム、電子機器およびプログラム
JP4347499B2 (ja) 電子カメラシステム
JP2003153045A (ja) カメラ
JP6111831B2 (ja) 疑似撮像装置および疑似レンズ鏡筒
JP6476539B2 (ja) 焦点検出装置および撮像装置
US9866755B2 (en) Image capture apparatus and method for controlling the same
CN115989670A (zh) 摄像装置、摄像指示方法及摄像指示程序

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150611

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170313

R150 Certificate of patent or registration of utility model

Ref document number: 6119410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150