JP6790223B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP6790223B2
JP6790223B2 JP2019501088A JP2019501088A JP6790223B2 JP 6790223 B2 JP6790223 B2 JP 6790223B2 JP 2019501088 A JP2019501088 A JP 2019501088A JP 2019501088 A JP2019501088 A JP 2019501088A JP 6790223 B2 JP6790223 B2 JP 6790223B2
Authority
JP
Japan
Prior art keywords
irradiation
person
unit
information processing
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019501088A
Other languages
English (en)
Other versions
JPWO2018154954A1 (ja
Inventor
裕一郎 斉藤
裕一郎 斉藤
晋治 松田
晋治 松田
朋希 浜島
朋希 浜島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Mobile Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Mobile Communications Inc filed Critical Sony Mobile Communications Inc
Publication of JPWO2018154954A1 publication Critical patent/JPWO2018154954A1/ja
Application granted granted Critical
Publication of JP6790223B2 publication Critical patent/JP6790223B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Or Security For Electrophotography (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
特許文献1には、各種の画像情報を照射可能な照射部を備える投影装置が開示されている。
特開2003−044839号公報
ところで、このような投影装置には、ユーザがさらに快適に画像情報を閲覧できる技術が求められていた。
そこで、本開示では、ユーザがより快適に画像情報を閲覧することが可能な、新規かつ改良された情報処理装置を提案する。
本開示によれば、各種の画像情報を照射可能な照射部が画像情報を照射する照射方向と逆方向に検知領域を形成する人物検知部を、照射方向に基づいて制御する制御部を備える、情報処理装置が提供される。
また、本開示によれば、制御部が、各種の画像情報を照射可能な照射部が画像情報を照射する照射方向と逆方向に検知領域を形成する人物検知部を、照射方向に基づいて制御することを含む、情報処理方法が提供される。
また、本開示によれば、コンピュータに、各種の画像情報を照射可能な照射部が画像情報を照射する照射方向と逆方向に検知領域を形成する人物検知部を、照射方向に基づいて制御する制御機能を実現させる、プログラムが提供される。
以上説明したように本開示によれば、人物検知部を照射方向に基づいて制御するので、ユーザの意図しない動作を行いにくくなる。したがって、ユーザは、より快適に画像情報を閲覧できる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理装置の機能ブロック図である。 情報処理装置の設置例を示す説明図である。 情報処理装置の設置例を示す説明図である。 情報処理装置の使用例を示す説明図である。 情報処理装置の使用例を示す説明図である。 情報処理装置による処理の手順を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.情報処理装置の構成
2.情報処理装置による処理
2−0.基本処理
2−1.基本処理の変形例1
2−2.基本処理の変形例2
2−3.基本処理の変形例3
<1.情報処理装置の構成>
まず、図1〜図3に基づいて、本実施形態に係る情報処理装置10の構成について説明する。情報処理装置10は、照射部11、人物検知部12、位置検知部13、姿勢検知部14、距離検知部15、操作部16、通信部17、及び制御部18を備える。情報処理装置10は、例えば投影装置である。情報処理装置10は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ、照射装置、人物検知装置、位置検知装置、姿勢検知装置、距離検知装置、操作ボタン、及び通信装置等のハードウェア構成を有する。ROMには、情報処理装置10の動作に必要な情報、例えばプログラム等が記録されている。CPUは、ROMに記録されているプログラムを読み出して実行する。これにより、照射部11、人物検知部12、位置検知部13、姿勢検知部14、操作部16、通信部17、及び制御部18が実現される。
照射部11は、例えば照射装置によって構成され、図2に示すように、各種の画像情報を照射領域11A内で照射する。この例では、照射部11は、水平面100に画像情報を照射している。この場合、照射領域11A及び水平面100が交差する面が照射面11Bとなる。照射面11Bに画像情報が表示される。ここで、水平面100は、例えば机等を構成するテーブルトップ、床等が挙げられる。
照射部11の光軸(すなわち、照射領域11Aの中心軸)は、情報処理装置10の外壁面に垂直な方向から外壁面側に少し傾いている。そして、情報処理装置10の設置状態(すなわち、姿勢)によって、光軸の向き、すなわち照射方向が変わりうる。照射方向は、例えば図2に示す下方向または図3に示す上方向である。下方向は、水平方向よりも下の方向であり、上方向は、水平方向よりも上の方向である。図3に示すように、照射方向が上方向となる場合、照射部11は、例えば垂直面200に画像情報を照射する。図3の例では、情報処理装置10は水平面300に設置されている。そして、照射領域11A及び垂直面200が交差する面が照射面11Bとなる。照射面11Bに画像情報が表示される。ここで、垂直面200は、例えば壁面、各種物体の側面等が挙げられる。ユーザ(図2に示す人物U)は、情報処理装置10を水平面100上に設置し、照射方向を下方向とすることで、水平面100上に画像情報を表示させることができる。また、ユーザは、垂直面200の近傍に情報処理装置10を設置し、照射方向を上方向とすることで、垂直面200上に画像情報を表示させることができる。このように、情報処理装置10は、ユーザが所望する様々な位置に画像情報を表示させることができる。もちろん、照射部11の光軸と情報処理装置10の外壁面とのなす角度、照射方向の種類については上記に限られない。また、照射対象となる面は水平面100、垂直面200に限られない。
人物検知部12は、例えば人物検知装置によって構成され、人物を検知する。ここで、人物検知装置は、例えば人感センサ、カメラなどである。人感センサは、人物が有する熱や、熱の移動を検知することで、人物を検知する。カメラは、人物を撮像することで、人物を検知する。情報処理装置10は、人感センサ及びカメラのどちらかを備えていればよいが、両方を備えていても良い。人物検知部12は、図2に示すように、照射部11が画像情報を照射する照射方向(すなわち、照射部11の光軸)と逆方向に検知領域12Aを形成する。ここで、検知対象となる人物は、例えば情報処理装置10のユーザである。人物検知部12は、検知領域12A内の人物を検知する。検知領域12Aの光軸(すなわち、検知領域12Aの中心軸)と、照射部11の光軸とのなす角度は、例えば90°よりも大きい。人物検知部12は、人物を検知した場合には、その旨の人物検知情報を生成し、制御部18に出力する。制御部18は、人物検知情報を取得した場合には、照射部11に画像情報を照射させる。なお、単に情報処理装置10に人物検知部12を備えさせただけでは、後述するように、ユーザの意図しない動作が行われる可能性がある。本実施形態では、人物検知部12を照射部11の照射方向に基づいて制御するため、ユーザが意図しない動作を行いにくくすることができる。なお、本実施形態において人物検知部12は、照射部11が画像情報を照射する照射方向と逆方向に検知領域12Aを形成するが、これに限定されず、照射方向(照射面)と異なる方向に検知領域12Aを形成するものでも構わない。
位置検知部13は、例えば位置検知装置によって構成され、画像情報の照射領域11A内に存在する物体を検知する。位置検知装置は、例えば赤外線センサである。位置検知部13は、具体的には、制御部18照射部11に連動して駆動され、検知領域13A内に存在する物体を検知する。本実施形態では、検知領域13Aは、照射面11Bのほぼ全域をカバーしている。位置検知部13の検知対象は、例えば人物の手(より詳細には指)である。このため、ユーザは、照射面11Bに表示された画像情報に対して入力操作(例えば、タップ操作、ドラッグ操作、ピンチイン、アウト操作等)を行うことができる。位置検知部13は、このような入力操作を検知し、検知結果に関する位置検知情報を制御部18に出力する。制御部18は、位置検知情報に基づく処理、例えば画像情報を変動させる処理を行う。もちろん、位置検知部13の検知領域13Aは上記の例に限られず、例えば照射面11Bの一部だけをカバーしていても良い。
姿勢検知部14は、例えば姿勢検知装置によって構成され、情報処理装置10の姿勢を検知する。姿勢検知装置は、例えばジャイロセンサ、加速度センサなどである。姿勢検知部14は、検知結果に関する姿勢検知情報を制御部18に出力する。制御部18は、姿勢検知情報に基づいて、照射方向を判定する。そして、制御部18は、照射方向に基づいて人物検知部12を制御する。詳細な制御内容は後述する。
距離検知部15は、例えば距離検知装置によって構成され、情報処理装置10と照射面11Bとの距離を測定する。距離検知装置は、例えば測距センサである。測距センサは、レーザあるいは超音波等を用いて情報処理装置10と照射面11Bとの距離を測定する。具体的には、距離検知部15は、情報処理装置10の外壁面のうち、照射面11Bに対向する面から照射面11Bまでの距離を測定する。この距離は、照射面11Bに対向する面から照射面11Bを含む平面(図3の例では垂直面200に下ろした垂線の長さに相当する。距離検知部15は、検知した距離に関する距離検知情報を制御部18に出力する。
操作部16は、例えば操作ボタン等で構成され、ユーザによる入力操作が可能となっている。ここでの操作ボタンには、例えばパワーボタンが含まれる。操作部16は、ユーザによる入力操作がなされた場合には、当該入力操作に関する入力操作情報を制御部18に出力する。制御部18は、入力操作に応じた処理を行う。例えば、制御部18は、ユーザがパワーボタンを押下した場合、情報処理装置10を起動する。また、制御部18は、情報処理装置10の起動中にユーザがパワーボタンを押下した場合、すなわち、照射停止操作を行った場合、照射部11に画像情報の照射を停止させる。これにより、制御部18は、情報処理装置10をスリープモードに移行させる。なお、このような状態は、スタンバイモード、サスペンドモード等とも称される。制御部18は、スリープモード中にユーザがパワーボタンを押下した場合、すなわち、照射再開操作を行った場合、照射部11に画像情報の照射を再開させる。
通信部17は、例えば通信装置によって構成され、他の情報処理装置等と通信を行う。これにより、通信部17は、他の情報処理装置等から各種の情報、例えば画像情報等を取得する。
制御部18は、例えばCPU等によって構成され、情報処理装置10の各構成要素を制御する。また、制御部18は、照射方向に基づいて人物検知部12を制御する。また、制御部18は、上述した各処理を行う。詳細な処理内容については後述する。
<2.情報処理装置による処理>
(2−0.基本処理)
次に、情報処理装置による処理の手順を図6に示すフローチャートに沿って説明する。まず、基本処理について説明する。ステップS10において、姿勢検知部14は、情報処理装置10の姿勢(例えば、どの向きに照射するように置かれているか)を検知する。姿勢検知部14は、検知結果に関する姿勢検知情報を制御部18に出力する。ステップS11において、制御部18は、姿勢検知情報に基づいて、照射方向を判定する。ここで、制御部18は、照射方向が図2に示す下方向及び図3に示す上方向のいずれであるかを判定する。
ステップS12において、制御部18は、照射方向が下方向(第1の方向)であるか否かを判定する。制御部18は、照射方向が下方向(第1の方向)である場合、すなわち照射方向が地面に対して水平方向であり、照射面が机の上や床の上である場合には、ステップS13に進む。一方、制御部18は、照射方向が上方向(第1の方向と異なる第2の方向)である場合、すなわち照射方向が地面に対して垂直方向であり、照射面が壁上である場合には、ステップS14に進む。
ステップS13において、制御部18は、人物検知部12の動作を停止する。これによって、例えば以下の効果が期待できる。すなわち、図2に示すように、照射方向が下方向となる場合、人物検知部12の検知領域12Aは上向きとなる。このため、人物検知部12の検知領域12A内に天井のライト等が入る可能性がある。このようなライトは、熱源でもある。このため、人物検知部12が人感センサで構成される場合、ライトを人物と誤検知する場合がある。この場合、人物検知部12は、人物検知情報を制御部18に出力するので、制御部18は、照射部11に画像情報を照射させる。したがって、ユーザが画像情報の視認を意図しない場合であっても、照射部11が画像情報を照射する可能性がある。さらに、ユーザは画像情報の視認を意図していないので、照射面11Bに何らかの物体(例えばコップ等)を置いている場合がある。この場合、位置検知部13は、物体の存在を検知し、位置検知情報を制御部18に出力する可能性がある。この場合、制御部18は、ユーザが意図しない処理を行う可能性がある。例えば、物体の位置に何らかのアイコンが表示されている場合、制御部18は、ユーザがそのアイコンを選択したと誤判定する可能性がある。したがって、情報処理装置10は、ユーザの意図しない動作を行う場合がある。そこで、本実施形態では、制御部18は、照射方向が下方向となる場合、人物検知部12の動作を停止する。
なお、この場合、ユーザは、パワーボタンの押下によって照射の有無を切り替える。すなわち、ユーザは、照射部11が画像情報の照射を行っていない(すなわち、スリープモード中である)場合、パワーボタンをオンする。これにより、制御部18は、照射部11に画像情報の照射を再開させる。また、ユーザは、照射を停止させたい場合、再度パワーボタンを押下する。これにより、制御部18は、照射部11に画像情報の照射を停止させる。すなわち、情報処理装置10は、スリープモードに移行する。これにより、情報処理装置10は、ユーザの意図に沿った処理を行うことができるので、ユーザは、より快適に画像情報を閲覧できる。その後、制御部18は、本基本処理を終了する。
一方、制御部18は、ステップS12からステップS14に進んだ場合、パワーボタンが押下されたか否かを判定する。制御部18は、パワーボタンが押下された場合には、ステップS15に進み、パワーボタンが押下されていない場合には、本基本処理を終了する。
ステップS15において、制御部18は、照射部11が画像情報を照射中であるか否かを判定する。制御部18は、照射部11が画像情報を照射中である場合には、ステップS16に進む。制御部18は、照射部11が画像情報を照射していない、すなわち、スリープモード中である場合には、ステップS20に進む。
ステップS16において、制御部18は、照射部11による画像情報の照射を停止させる。すなわち、制御部18は、情報処理装置10をスリープモードに移行させる。この場合、ステップS14におけるパワーボタンの押下は、照射停止操作となる。
ステップS17において、制御部18は、人物検知部12の動作を停止させる。ステップS18において、制御部18は、所定の照射再開条件が満たされたか否かを判定する。制御部18は、照射再開条件が満たされた場合には、ステップS19に進み、照射再開条件が満たされていない場合には、ステップS17に戻る。すなわち、制御部18は、照射再開条件が満たされるまで待機する。本基本処理では、照射再開条件は、照射停止操作がなされてから所定時間が経過したという条件になる。
ステップS19において、制御部18は、人物検知部12の動作を再開する。その後、人物検知部12が人物(例えばユーザ)を検知した場合、制御部18は、照射部11に画像情報の照射を再開させる。その後、制御部18は、本基本処理を終了する。
このように、制御部18は、情報処理装置10がスリープモードに移行した後には、所定の照射再開条件が満たされるまで、人物検知部12の動作を停止する。これによって、以下の効果が期待できる。すなわち、ステップS14以降の処理が行われる場合、照射方向は図3に示す上方向となっている。したがって、人物検知部12の検知領域12Aは、垂直面200から離れる方向に向いている。したがって、人物検知部12は、垂直面200に対向する人物を検知することができる。
したがって、情報処理装置10がスリープモードに移行した際に人物検知部12の動作が継続している場合、人物検知部12は、人物検知情報を制御部18に出力する。そして、制御部18は、人物検知情報に基づいて、照射部11に画像情報の照射を再開させる。したがって、情報処理装置10は、スリープモードに移行した後に直ちにスリープモードを解除する可能性がある。
しかし、上記の動作はユーザが意図していない可能性がある。つまり、ユーザは、このような動作を意図してパワーボタンを押下するのではなく、照射部11による照射をしばらく停止させたいために、パワーボタンを押下することが多い。このような状況が生じる場合は様々であるが、例えば、ユーザに他の用事が発生した場合が想定される。この場合、ユーザは、図4に示すように、情報処理装置10から離れることが想定される。
そこで、本実施形態では、制御部18は、情報処理装置10がスリープモードに移行した後には、所定の照射再開条件が満たされるまで、人物検知部12の動作を停止する。より具体的には、制御部18は、照射停止操作がなされてから所定時間が経過するまで、人物検知部12の動作を停止する。この所定時間は、図5に示すように、ユーザが人物検知部12の検知領域12Aの外に出るまでの時間を想定したものである。したがって、所定時間は、例えば検知領域12Aの広さ、ユーザの移動速度(例えば平均的な歩行速度)等に基づいて設定されても良い。一例として、所定時間は10秒であってもよい。
したがって、制御部18は、ユーザが人物検知部12の検知領域12Aの外に出た後に、人物検知部12の動作を再開させることができる。この場合、ユーザは検知領域12Aの外にいるので、人物検知部12の動作が再開されても、スリープモードは解除されない。その後、ユーザは、他の用事を済ませ、検知領域12Aの中に入る。これに応じて、人物検知部12は人物検知情報を制御部18に出力する。制御部18は、照射部11に画像情報の照射を再開させる。したがって、情報処理装置10は、ユーザの意図に沿った処理を行うことができる。ここで、人物検知部12としてカメラを使用している場合、制御部18は、カメラがユーザの顔を検知した場合に、照射部11に照射を再開させても良い。つまり、ユーザが画像情報の視認を開始したことを確認した上で、照射部11に照射を再開させても良い。また、カメラ及び人感センサを併用しても良い。この場合、制御部18は、人物検知部12の動作を再開する場合、まず、人感センサの動作のみ再開する。そして、制御部18は、人感センサが人物を検知した場合に、カメラの動作も再開する。そして、制御部18は、カメラがユーザの顔を検知した場合に、照射部11に照射を再開させても良い。
ステップS20において、制御部18は、照射部11に画像情報の照射を再開させる。この場合、ステップS14におけるパワーボタンの押下は、照射開始操作となる。その後、制御部18は、本基本処理を終了する。
(2−1.基本処理の変形例1)
次に、基本処理の変形例1について説明する。変形例1では、制御部18は、情報処理装置10と照射面11Bとの距離に基づいて、上述した所定時間を設定する。当該距離に関する情報は、距離検知部15から与えられる。これによって、以下の効果が期待できる。すなわち、ユーザは、照射面11Bが大きいために、情報処理装置10から離れて画像情報を視認したいと考える場合がある。この場合、ユーザは、一旦情報処理装置10をスリープモードにしてから、情報処理装置10から離れることが想定される。そして、ユーザが程度情報処理装置10から離れる距離は、照射面11Bが大きいほど長くなると想定される。つまり、照射面11Bが大きいほど、ユーザが移動する時間が長くなる。そして、照射面11Bは、情報処理装置10と照射面11Bとの距離が長いほど大きくなる。そこで、制御部18は、情報処理装置10と照射面11Bとの距離に基づいて、上述した所定時間を設定する。具体的には、制御部18は、情報処理装置10と照射面11Bとの距離が長いほど、所定時間を長い時間に設定する。これにより、制御部18は、ユーザが所望の位置に到達した後に人物検知部12の動作を再開することができる。したがって、情報処理装置10は、ユーザの意図に沿った処理を行うことができる。
なお、人物検知部12が人感センサであり、かつ、感度を調整可能である場合、制御部18は、情報処理装置10と照射面11Bとの距離に基づいて人物検知部12の感度を調整しても良い。これにより、ユーザが情報処理装置10から離れていても、人物検知部12は、より確実にユーザを検知することができる。また、人物検知部12としてカメラを使用している場合、制御部18は、カメラがユーザの顔を検知した場合に、照射部11に照射を再開させても良い。カメラと人感センサを併用しても良い。具体的な処理内容は上述した通りである。
(2−2.基本処理の変形例2)
本変形例2では、人物検知部12はカメラとなる。すなわち、人物検知部12は、人物の顔を検知可能となっている。そして、ステップS17において、制御部18は、人物検知部12の動作を継続する。ただし、制御部18は、人物検知部12が人物検知情報を出力しても、照射部11に照射を再開させない。その後、ステップS18において、制御部18は、照射再開条件が満たされたか否かを判定する。ここで、照射再開条件は、人物検知部12が人物の顔を検知しなくなり、再度人物の顔を検知することである。
つまり、情報処理装置10をスリープモードにしたユーザは、情報処理装置10に対して背面を向けて情報処理装置10から離れることが想定される。この場合、人物検知部12は人物の顔、すなわちユーザの顔を検知しなくなる。その後、ユーザが情報処理装置10の近傍に戻ってきた場合、ユーザは、情報処理装置10に顔を向ける。したがって、人物検知部12は人物の顔、すなわちユーザの顔を再度検知する。このタイミングで、制御部18は、ステップS19に進む。そして、ステップS19において、制御部18は、照射部11に画像情報の照射を再開させる。したがって、変形例2においても、情報処理装置10は、ユーザの意図に沿った処理を行うことができる。特に、変形例2では、人物検知部12がユーザの顔を検知するので、より正確な処理が可能となる。
(2−3.基本処理の変形例3)
本変形例3では、人物検知部12はカメラとなる。すなわち、人物検知部12は、人物の視線を検知可能となっている。そして、ステップS17において、制御部18は、人物検知部12の動作を継続する。ただし、制御部18は、人物検知部12が人物検知情報を出力しても、照射部11に照射を再開させない。その後、ステップS18において、制御部18は、照射再開条件が満たされたか否かを判定する。ここで、照射再開条件は、人物検知部12によって検知された人物の視線が画像情報の照射領域11A(より具体的には、照射面11B)から外れ、その後、人物の視線が画像情報の照射領域11A(より具体的には、照射面11B)に戻ることである。
つまり、情報処理装置10をスリープモードにしたユーザは、照射面11Bから視線を離すことが想定される。この場合、人物検知部12は人物の視線、すなわちユーザの視線が照射面11Bから離れたことを検知する。その後、ユーザは、画像情報を視認したいと考えた場合に、照射面11Bに視線を戻す。したがって、人物検知部12は人物の視線、すなわちユーザの視線が照射面11Bに戻ったことを検知する。このタイミングで、制御部18は、ステップS19に進む。そして、ステップS19において、制御部18は、照射部11に画像情報の照射を再開させる。したがって、変形例3においても、情報処理装置10は、ユーザの意図に沿った処理を行うことができる。特に、変形例3では、人物検知部12がユーザの視線を検知するので、より正確な処理が可能となる。
したがって、本実施形態によれば、制御部18は、照射方向に基づいて人物検知部12を制御する。したがって、制御部18は、ユーザの意図しない動作を行いにくくなる。言い換えれば、制御部18は、よりユーザの意図に沿った処理を行うことができる。したがって、ユーザは、より快適に画像情報を閲覧できる。
ここで、照射方向には、下方向及び上方向のうち少なくとも1種が含まれるので、照射方向がこれらの方向となった場合であっても、ユーザの意図に沿った処理を行うことができる。
また、制御部18は、人物検知部12が人物を検知した場合、または所定の照射開始操作がなされた場合に、照射部11に画像情報を照射させ、照射方向が下方向となる場合、人物検知部12の動作を停止する。したがって、制御部18は、よりユーザの意図に沿った処理を行うことができる。
また、制御部18は、位置検知部13を照射部11に連動させて駆動する。そして、制御部18は、上述した処理を行うので、位置検知部13による誤検知を抑制することができる。したがって、制御部18は、よりユーザの意図に沿った処理を行うことができる。
また、人物検知部12は、熱を検知することで人物を検知する人感センサとなる場合がある。この場合であっても、制御部18は、よりユーザの意図に沿った処理を行うことができる。
また、制御部18は、人物検知部12が人物を検知した場合、または所定の照射開始操作がなされた場合に、照射部11に画像情報を照射させる。また、制御部18は、所定の照射停止操作がなされた場合に、照射部11に画像情報の照射を停止させる。また、制御部18は、照射方向が上方向となる場合に、照射停止操作がなされてから所定の照射再開条件が満たされるまで、人物検知部12の動作を停止する。したがって、制御部18は、よりユーザの意図に沿った処理を行うことができる。
また、照射再開条件は、照射停止操作がなされてから所定時間が経過することであってもよい。この場合、制御部18は、よりユーザの意図に沿った処理を行うことができる。
また、制御部18は、情報処理装置10と照射面11Bとの距離に基づいて、所定時間を設定する。したがって、制御部18は、よりユーザの意図に沿った処理を行うことができる。
また、人物検知部12は、熱を検知することで人物を検知する人感センサであり、かつ、感度を調整可能である場合がある。この場合、制御部18は、情報処理装置10と照射面11Bとの距離に基づいて、人物検知部12の感度を調整する。したがって、制御部18は、よりユーザの意図に沿った処理を行うことができる。
また、人物検知部12は、人物の顔を検知可能なカメラとなる場合がある。この場合、照射再開条件は、人物検知部12が人物の顔を検知しなくなり、再度人物の顔を検知することであってもよい。これにより、制御部18は、よりユーザの意図に沿った処理を行うことができる。
人物検知部12は、人物の視線を検知可能なカメラとなる場合がある。この場合、照射再開条件は、人物検知部12によって検知された人物の視線が照射面11Bから外れ、その後、人物の視線が照射面11Bに戻ることであってもよい。これにより、制御部18は、よりユーザの意図に沿った処理を行うことができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、図1に示す構成要素の一部が省略されても良い。例えば、位置検知部13、距離検知部15、及び通信部17は省略されても良い。また、制御部18の機能を他の情報処理装置に行わせても良い。この場合、他の情報処理装置中の制御部18は、情報処理装置10から必要な情報(例えば、人物検知情報、位置検知情報、姿勢検知情報、距離検知情報、入力操作情報等)を情報処理装置10から取得し、情報処理装置10に対して上述した処理を行う。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
各種の画像情報を照射可能な照射部が前記画像情報を照射する照射方向と逆方向に検知領域を形成する人物検知部を、前記照射方向に基づいて制御する制御部を備える、情報処理装置。
(2)
前記照射方向には、下方向及び上方向のうち少なくとも1種が含まれる、前記(1)記載の情報処理装置。
(3)
前記制御部は、前記人物検知部が人物を検知した場合、または所定の照射開始操作がなされた場合に、前記照射部に前記画像情報を照射させ、前記照射方向が前記下方向となる場合、前記人物検知部の動作を停止する、前記(2)記載の情報処理装置。
(4)
前記制御部は、前記画像情報の照射領域中の物体の位置を検知する位置検知部を前記照射部に連動させて駆動する、前記(3)記載の情報処理装置。
(5)
前記人物検知部は、熱を検知することで人物を検知する、前記(3)または(4)に記載の情報処理装置。
(6)
前記制御部は、前記人物検知部が人物を検知した場合、または所定の照射開始操作がなされた場合に、前記照射部に前記画像情報を照射させ、所定の照射停止操作がなされた場合に、前記照射部に前記画像情報の照射を停止させ、前記照射方向が前記上方向となる場合に、前記照射停止操作がなされてから所定の照射再開条件が満たされるまで、前記人物検知部の動作を停止する、前記(2)〜(5)の何れか1項に記載の情報処理装置。
(7)
前記照射再開条件は、前記照射停止操作がなされてから所定時間が経過することである、前記(6)記載の情報処理装置。
(8)
前記制御部は、前記情報処理装置と前記画像情報が照射される照射面との距離に基づいて、前記所定時間を設定する、前記(7)記載の情報処理装置。
(9)
前記人物検知部は、熱を検知することで人物を検知し、かつ、感度を調整可能であり、
前記制御部は、前記情報処理装置と前記画像情報が照射される照射面との距離に基づいて、前記人物検知部の感度を調整する、前記(8)記載の情報処理装置。
(10)
前記人物検知部は、人物の顔を検知可能であり、
前記照射再開条件は、前記人物検知部が人物の顔を検知しなくなり、再度人物の顔を検知することである、前記(6)〜(9)の何れか1項に記載の情報処理装置。
(11)
前記人物検知部は、人物の視線を検知可能であり、
前記照射再開条件は、前記人物検知部によって検知された人物の視線が前記画像情報の照射領域から外れ、その後、前記人物の視線が前記画像情報の照射領域に戻ることである、前記(6)〜(10)の何れか1項に記載の情報処理装置。
(12)
前記照射部及び前記人物検知部を備える、前記(1)〜(11)の何れか1項に記載の情報処理装置。
(13)
制御部が、各種の画像情報を照射可能な照射部が前記画像情報を照射する照射方向と逆方向に検知領域を形成する人物検知部を、前記照射方向に基づいて制御することを含む、情報処理方法。
(14)
コンピュータに、
各種の画像情報を照射可能な照射部が前記画像情報を照射する照射方向と逆方向に検知領域を形成する人物検知部を、前記照射方向に基づいて制御する制御機能を実現させる、プログラム。
10 情報処理装置
11 照射部
11A 照射領域
11B 照射面
12 人物検知部
12A 検知領域
13 位置検知部
13A 検知領域
14 姿勢検知部
15 距離検知部
16 操作部
17 通信部
18 制御部

Claims (14)

  1. 各種の画像情報を照射可能な照射部が前記画像情報を照射する照射方向と逆方向に検知領域を形成する人物検知部を、前記照射方向に基づいて制御する制御部を備える、情報処理装置。
  2. 前記照射方向には、下方向及び上方向のうち少なくとも1種が含まれる、請求項1記載の情報処理装置。
  3. 前記制御部は、前記人物検知部が人物を検知した場合、または所定の照射開始操作がなされた場合に、前記照射部に前記画像情報を照射させ、前記照射方向が前記下方向となる場合、前記人物検知部の動作を停止する、請求項2記載の情報処理装置。
  4. 前記制御部は、前記画像情報の照射領域中の物体の位置を検知する位置検知部を前記照射部に連動させて駆動する、請求項3記載の情報処理装置。
  5. 前記人物検知部は、熱を検知することで人物を検知する、請求項3記載の情報処理装置。
  6. 前記制御部は、前記人物検知部が人物を検知した場合、または所定の照射開始操作がなされた場合に、前記照射部に前記画像情報を照射させ、所定の照射停止操作がなされた場合に、前記照射部に前記画像情報の照射を停止させ、前記照射方向が前記上方向となる場合に、前記照射停止操作がなされてから所定の照射再開条件が満たされるまで、前記人物検知部の動作を停止する、請求項2記載の情報処理装置。
  7. 前記照射再開条件は、前記照射停止操作がなされてから所定時間が経過することである、請求項6記載の情報処理装置。
  8. 前記制御部は、前記情報処理装置と前記画像情報が照射される照射面との距離に基づいて、前記所定時間を設定する、請求項7記載の情報処理装置。
  9. 前記人物検知部は、熱を検知することで人物を検知し、かつ、感度を調整可能であり、
    前記制御部は、前記情報処理装置と前記画像情報が照射される照射面との距離に基づいて、前記人物検知部の感度を調整する、請求項8記載の情報処理装置。
  10. 前記人物検知部は、人物の顔を検知可能であり、
    前記照射再開条件は、前記人物検知部が人物の顔を検知しなくなり、再度人物の顔を検知することである、請求項6記載の情報処理装置。
  11. 前記人物検知部は、人物の視線を検知可能であり、
    前記照射再開条件は、前記人物検知部によって検知された人物の視線が前記画像情報の照射領域から外れ、その後、前記人物の視線が前記画像情報の照射領域に戻ることである、請求項6記載の情報処理装置。
  12. 前記照射部及び前記人物検知部を備える、請求項1記載の情報処理装置。
  13. 制御部が、各種の画像情報を照射可能な照射部が前記画像情報を照射する照射方向と逆方向に検知領域を形成する人物検知部を、前記照射方向に基づいて制御することを含む、情報処理方法。
  14. コンピュータに、
    各種の画像情報を照射可能な照射部が前記画像情報を照射する照射方向と逆方向に検知領域を形成する人物検知部を、前記照射方向に基づいて制御する制御機能を実現させる、プログラム。
JP2019501088A 2017-02-24 2017-12-22 情報処理装置、情報処理方法、及びプログラム Active JP6790223B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017033594 2017-02-24
JP2017033594 2017-02-24
PCT/JP2017/046255 WO2018154954A1 (ja) 2017-02-24 2017-12-22 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018154954A1 JPWO2018154954A1 (ja) 2019-12-26
JP6790223B2 true JP6790223B2 (ja) 2020-11-25

Family

ID=63252604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019501088A Active JP6790223B2 (ja) 2017-02-24 2017-12-22 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US10976648B2 (ja)
EP (1) EP3588247B1 (ja)
JP (1) JP6790223B2 (ja)
CN (1) CN110168474A (ja)
WO (1) WO2018154954A1 (ja)

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3086406B2 (ja) * 1995-10-04 2000-09-11 オプテックス株式会社 受動型赤外線式人体検知装置
DE19640404A1 (de) * 1996-09-30 1998-04-09 Ldt Gmbh & Co Vorrichtung zur Darstellung von Bildern
JP4269425B2 (ja) * 1999-09-03 2009-05-27 ソニー株式会社 投影装置およびその安全装置
JP4620909B2 (ja) 2001-07-26 2011-01-26 日東光学株式会社 画像入出力装置
DE112006000918T5 (de) 2005-04-19 2008-04-17 Virtek Vision International Inc., Bedford Verfahren und Vorrichtung zum Schützen von Mitarbeitern, die ein Laserprojektionssystem verwenden
JP2008287142A (ja) 2007-05-21 2008-11-27 Brother Ind Ltd 画像投影装置
JP5277703B2 (ja) * 2008-04-21 2013-08-28 株式会社リコー 電子機器
JP5832069B2 (ja) 2009-02-25 2015-12-16 京セラ株式会社 携帯電子機器
JP5254906B2 (ja) * 2009-08-27 2013-08-07 京セラ株式会社 電子機器
JP5560721B2 (ja) * 2010-01-12 2014-07-30 セイコーエプソン株式会社 画像処理装置、画像表示システム、及び画像処理方法
JP5740822B2 (ja) * 2010-03-04 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5648298B2 (ja) * 2010-03-15 2015-01-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2013065061A (ja) * 2011-09-15 2013-04-11 Funai Electric Co Ltd プロジェクタ
JP6186869B2 (ja) * 2012-05-23 2017-08-30 株式会社リコー 画像処理方法及び画像処理装置
JP6015218B2 (ja) * 2012-08-06 2016-10-26 富士通株式会社 方位検出装置
JP2014115488A (ja) * 2012-12-11 2014-06-26 Funai Electric Co Ltd 画像表示装置
JP6167529B2 (ja) * 2013-01-16 2017-07-26 株式会社リコー 画像投影装置、画像投影システム、制御方法およびプログラム
JP6075122B2 (ja) * 2013-03-05 2017-02-08 株式会社リコー システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
EP3051345B1 (en) * 2013-09-27 2019-12-18 Maxell, Ltd. Video projection device
JP5974189B2 (ja) * 2013-12-19 2016-08-23 日立マクセル株式会社 投写型映像表示装置及び投写型映像表示方法
JP6222830B2 (ja) * 2013-12-27 2017-11-01 マクセルホールディングス株式会社 画像投射装置
WO2016035231A1 (ja) * 2014-09-03 2016-03-10 パナソニックIpマネジメント株式会社 ユーザインターフェース装置およびプロジェクタ装置
WO2016129489A1 (ja) * 2015-02-10 2016-08-18 シャープ株式会社 表示装置、表示装置の制御方法、制御プログラム、記録媒体

Also Published As

Publication number Publication date
EP3588247A4 (en) 2020-01-08
EP3588247B1 (en) 2023-07-12
JPWO2018154954A1 (ja) 2019-12-26
US10976648B2 (en) 2021-04-13
US20190310538A1 (en) 2019-10-10
WO2018154954A1 (ja) 2018-08-30
CN110168474A (zh) 2019-08-23
EP3588247A1 (en) 2020-01-01

Similar Documents

Publication Publication Date Title
US9747537B2 (en) Power controlling device, image processing apparatus, computer readable medium, and power controlling method
EP2600220B1 (en) Method for operating user functions based on eye tracking and mobile device adapted thereto
EP3143477B1 (en) System and method for providing haptic feedback to assist in capturing images
JP5832069B2 (ja) 携帯電子機器
KR102449593B1 (ko) 카메라 장치를 제어하기 위한 방법 및 그 전자 장치
EP3208699B1 (en) Control device, control method, and program
US20160191746A1 (en) Apparatus that produces guidance display for login, control method of the apparatus, and storage medium
US8599200B2 (en) Information processing apparatus, display controlling method, and display controlling apparatus
JP2007074296A5 (ja)
EP2648402A1 (en) Photography control method, photography control device, and photographic device
WO2016188188A1 (zh) 投影设备及其控制方法,计算机存储介质
JP2011166332A (ja) 情報処理装置
CN107102502B (zh) 一种投影设备控制方法及装置
CN105302404A (zh) 鼠标指针快速移动的方法及***
JP2015082806A5 (ja) 情報処理装置及びその制御方法、並びにプログラム
JP6790223B2 (ja) 情報処理装置、情報処理方法、及びプログラム
RU2012127769A (ru) Способ и аппаратура для управления состоянием устройства
JP2015082805A5 (ja) 情報処理装置及びその制御方法、並びにプログラム
EP3187984A1 (en) Method and device for determining touch gesture, computer program and recording medium
US20210092281A1 (en) Control apparatus, control method, and recording medium
EP3139258A1 (en) Method and apparatus for controlling automatic rotation of screen, and terminal
KR20150026423A (ko) 화면 제어 방법 및 장치
WO2014117675A1 (zh) 一种信息处理方法及电子设备
JP6197887B2 (ja) 情報処理装置およびセンサ出力制御プログラム
JP7374581B2 (ja) ロボット、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201104

R150 Certificate of patent or registration of utility model

Ref document number: 6790223

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150