JP2016142988A - Display device and display control program - Google Patents

Display device and display control program Download PDF

Info

Publication number
JP2016142988A
JP2016142988A JP2015020430A JP2015020430A JP2016142988A JP 2016142988 A JP2016142988 A JP 2016142988A JP 2015020430 A JP2015020430 A JP 2015020430A JP 2015020430 A JP2015020430 A JP 2015020430A JP 2016142988 A JP2016142988 A JP 2016142988A
Authority
JP
Japan
Prior art keywords
display
color
luminance
value
luminance value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015020430A
Other languages
Japanese (ja)
Inventor
一木　篤史
Atsushi Ichiki
篤史 一木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015020430A priority Critical patent/JP2016142988A/en
Publication of JP2016142988A publication Critical patent/JP2016142988A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

PROBLEM TO BE SOLVED: To display superposition information in an identifiable manner even when a display illuminance value exceeds a limit value of illuminance which can be output by a display device.SOLUTION: A display device is provided in which the display device displaying superposition information superposed on outside scenery acquires an image capturing the outside scenery, and includes: acquisition means for acquiring a luminance value of the outside scenery; a background luminance value showing luminance of the display region of the superposition information of the acquired image; a whole luminance value showing the luminance of the region including a peripheral region of the display region of the superposition information of the image; calculation means for calculating the luminance value according to the acquired luminance value; luminance setting means for setting a display luminance value based on the calculated whole luminance value, the background luminance value, and the luminance value; and color control means for controlling a color displaying the superposition information or a density of the color when the set display luminance value is determined to exceed the limit value of the luminance which can be output by the display device.SELECTED DRAWING: Figure 7

Description

本発明は、表示装置及び表示制御プログラムに関する。   The present invention relates to a display device and a display control program.

視野内の外界の風景にディジタル情報を重畳表示するヘッドマウントディスプレイ（以下、「ＨＭＤ（Head Mounted Display）」ともいう。）の技術が開示されている（例えば、特許文献１及び特許文献２参照）。ＨＭＤでは、メガネ型のディスプレイに表示する文字等のディジタル情報を外界の風景と重ねて表示する。その際、奥側に表示される風景が透けて見えるシースルー映像を表示することができる。また、シースルー映像の手前側に表示されるディジタル情報には、ＡＲ（拡張現実）の技術を用いて、現実に見えている対象物に貼られたバーコード等から読み取った情報を重ねて表示することができる。外界の風景に重畳された情報（以下、「重畳情報」ともいう。）は、ディスプレイの明るさが、見えやすいように外界の照度に応じた輝度値（以下、「表示輝度値」ともいう。）に設定される。   A technique of a head mounted display (hereinafter also referred to as “HMD (Head Mounted Display)”) that displays digital information superimposed on an external scene in the field of view is disclosed (for example, see Patent Document 1 and Patent Document 2). . In the HMD, digital information such as characters to be displayed on a glasses-type display is displayed so as to be superimposed on the outside landscape. At that time, it is possible to display a see-through video in which the scenery displayed on the back side can be seen through. In addition, the digital information displayed on the near side of the see-through video is displayed by superimposing information read from a barcode or the like affixed to an object that is actually visible using AR (augmented reality) technology. be able to. Information superimposed on the outside landscape (hereinafter also referred to as “superimposition information”) is a luminance value (hereinafter also referred to as “display luminance value”) corresponding to the illuminance of the outside world so that the brightness of the display can be easily seen. ).

特開平０８−１６０３４０号公報Japanese Patent Laid-Open No. 08-160340 特開平０９−１０１４７７号公報Japanese Patent Laid-Open No. 09-101477 特開２０１０−１７７７８８号公報JP 2010-177788 A

しかしながら、ＨＭＤ等の表示装置は、ハードウェアの構成上、出力可能な輝度値に限界値が存在する。このため、設定された表示輝度値が表示装置から出力可能な輝度の限界値を超えている場合、ディスプレイの明るさは設定された輝度値よりも暗くなるため、重畳情報が見えにくくなる。   However, a display device such as an HMD has a limit value in luminance values that can be output due to the hardware configuration. For this reason, when the set display luminance value exceeds the limit value of the luminance that can be output from the display device, the brightness of the display is darker than the set luminance value, so that the superimposition information becomes difficult to see.

そこで、一側面では、本発明は、表示輝度値が、表示装置により出力可能な輝度の限界値を超える場合においても重畳情報を識別可能に表示することを目的とする。   In view of this, an object of one aspect of the present invention is to display superimposition information so that it can be identified even when a display luminance value exceeds a limit value of luminance that can be output by a display device.

一つの案では、外景に重畳させて重畳情報を表示する表示装置であって、外界を撮影した画像を取得し、外界の照度値を取得する取得手段と、取得した前記画像の前記重畳情報の表示領域の輝度を示す背景輝度値と、該画像の前記重畳情報の表示領域の周りの領域を含む領域の輝度を示す全体輝度値と、を算出し、取得した前記照度値に応じた輝度値を算出する算出手段と、算出した前記全体輝度値と前記背景輝度値と前記輝度値とに基づき、表示輝度値を設定する輝度設定手段と、設定した前記表示輝度値が前記表示装置が出力可能な輝度の限界値を超えると判定された場合、前記重畳情報を表示する色又は色の濃さを制御する色制御手段と、を有する、表示装置が提供される。   In one proposal, a display device that displays superimposition information superimposed on an outside scene, obtains an image of the outside world, obtains an illuminance value of the outside world, and obtains the superimposition information of the acquired image. A luminance value corresponding to the acquired illuminance value by calculating a background luminance value indicating the luminance of the display area and an overall luminance value indicating the luminance of the area including the area around the display area of the superimposition information of the image Based on the calculated overall brightness value, the background brightness value, and the brightness value, brightness setting means for setting a display brightness value, and the display device capable of outputting the set display brightness value When it is determined that the luminance limit value is exceeded, a display device is provided that includes color control means for controlling the color or color intensity for displaying the superimposition information.

一側面によれば、表示輝度値が、表示装置により出力可能な輝度の限界値を超える場合においても重畳情報を識別可能に表示することができる。   According to one aspect, even when the display luminance value exceeds a limit value of luminance that can be output by the display device, the superimposition information can be displayed in an identifiable manner.

一実施形態にかかるＨＭＤの機能構成の一例を示す図。The figure which shows an example of the function structure of HMD concerning one Embodiment. 一実施形態にかかる重畳情報の一例を示す図。The figure which shows an example of the superimposition information concerning one Embodiment. 一実施形態にかかる照度／輝度テーブルの一例を示す図。The figure which shows an example of the illumination intensity / luminance table concerning one Embodiment. 一実施形態にかかる透過率／色テーブルの一例を示す図。The figure which shows an example of the transmittance | permeability / color table concerning one Embodiment. 一実施形態にかかる重畳情報の表示例を示す図。The figure which shows the example of a display of the superimposition information concerning one Embodiment. 第１実施形態にかかる重畳情報の表示例を示す図。The figure which shows the example of a display of the superimposition information concerning 1st Embodiment. 第１実施形態にかかる色制御処理の一例を示すフローチャート。5 is a flowchart illustrating an example of color control processing according to the first embodiment. 第２実施形態にかかる色制御処理の一例を示すフローチャート。10 is a flowchart illustrating an example of color control processing according to the second embodiment. 第２実施形態にかかる重畳情報の表示例を示す図。The figure which shows the example of a display of the superimposition information concerning 2nd Embodiment. 一実施形態にかかる重畳情報の表示例を示す図。The figure which shows the example of a display of the superimposition information concerning one Embodiment. 一実施形態にかかるＨＭＤのハードウェア構成の一例を示す図。The figure which shows an example of the hardware constitutions of HMD concerning one Embodiment.

以下、本発明の一実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。   Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, the duplicate description is abbreviate | omitted by attaching | subjecting the same code | symbol.

［ＨＭＤ１０の機能構成］
まず、本発明の一実施形態に係るＨＭＤ１０（ヘッドマウントディスプレイ：Head Mounted Display）の構成について、図１を参照しながら説明する。図１は、一実施形態にかかるＨＭＤ１０の機能構成の一例を示す。一実施形態に係るＨＭＤ１０は、取得手段１１、読取手段１２、重畳情報生成手段１３、記憶手段１４、算出手段１５、輝度設定手段１６、色制御手段１７及び重畳情報表示手段１８を有する。
（重畳情報のシースルー表示）
ＨＭＤ１０では、図２に示すメガネ型のディスプレイ４０の重畳情報の表示領域４３には、重畳情報（文字情報４５及び背景画像４４）が外界の風景４２（以下、「外景」ともいう。）に重ねて表示されている。本実施形態にかかるＨＭＤ１０は、重畳情報の表示領域４３において重畳情報に重なる外景４２が透けて見えるシースルー映像を表示できる。 [Functional configuration of HMD10]
First, the configuration of an HMD 10 (Head Mounted Display) according to an embodiment of the present invention will be described with reference to FIG. FIG. 1 shows an example of a functional configuration of an HMD 10 according to an embodiment. The HMD 10 according to an embodiment includes an acquisition unit 11, a reading unit 12, a superimposition information generation unit 13, a storage unit 14, a calculation unit 15, a luminance setting unit 16, a color control unit 17, and a superimposition information display unit 18.
(See-through display of overlay information)
In the HMD 10, superimposition information (character information 45 and background image 44) is superimposed on an external landscape 42 (hereinafter also referred to as “outside scene”) in the superimposition information display area 43 of the glasses-type display 40 shown in FIG. Is displayed. The HMD 10 according to the present embodiment can display a see-through video in which the outside scene 42 overlapping the superimposition information can be seen through in the superimposition information display area 43.

外景４２の対象物にはＡＲマーカー４６が貼られている。ＨＭＤ１０は、撮影された画像に含まれるＡＲマーカー４６から重畳位置（重畳情報の表示領域４３を示す座標）を読み取り、重畳位置に基づき特定される表示領域４３にＡＲマーカー４６から読み取られた重畳情報である文字情報４５を表示する。これにより、ＡＲ（拡張現実）の技術を用いて現実に見えている外景４２に重畳情報「バルブを緩めます」を重ねて表示できる。   An AR marker 46 is attached to the object of the outside scene 42. The HMD 10 reads the superimposition position (coordinates indicating the superimposition information display area 43) from the AR marker 46 included in the captured image, and the superimposition information read from the AR marker 46 in the display area 43 specified based on the superposition position. The character information 45 is displayed. Thereby, it is possible to display the superimposition information “loose valve” superimposed on the outside scene 42 that is actually visible using AR (augmented reality) technology.

ＨＭＤ１０は、外景４２に重畳させて重畳情報を表示する際に、シースルーで外景４２が見えるように表示（以下、「シースルー表示」ともいう。）させることが可能な表示装置の一例である。なお、表示装置の他の例としては、上記シースルー表示が可能な携帯側機器やタブレット型機器等が挙げられる。   The HMD 10 is an example of a display device that can display the outside scene 42 so that the outside scene 42 can be seen through (see also as “see-through display”) when superimposed information is displayed on the outside scene 42. Other examples of the display device include portable devices and tablet devices capable of the see-through display.

図１に戻り、本実施形態にかかるＨＭＤ１０には、ディスプレイ４０の他、撮像カメラ２０及び照度センサ３０が備えられている。撮像カメラ２０は、ＨＭＤ１０の周囲の外景（対象物、風景）を撮影する。照度センサ３０は、ＨＭＤ１０の周囲の照度値を検出する。   Returning to FIG. 1, the HMD 10 according to the present embodiment includes an imaging camera 20 and an illuminance sensor 30 in addition to the display 40. The imaging camera 20 captures an outside scene (object, landscape) around the HMD 10. The illuminance sensor 30 detects the illuminance value around the HMD 10.

重畳情報表示手段１８は、ＡＲマーカー４６から読み取られた重畳位置（つまり、重畳情報の表示領域４３）に、外景４２に重ねて重畳情報をシースルー表示する。また、重畳情報表示手段１８は、照度センサ３０から取得した照度値に対応する輝度値に応じてディスプレイ４０の表示輝度値を制御する。ディスプレイ４０の表示輝度値は、ディスプレイの明るさを示す。   The superimposition information display unit 18 displays the superimposition information on the superimposition position read from the AR marker 46 (that is, the superimposition information display area 43) on the outside scene 42 in a see-through manner. The superimposing information display unit 18 controls the display luminance value of the display 40 according to the luminance value corresponding to the illuminance value acquired from the illuminance sensor 30. The display brightness value of the display 40 indicates the brightness of the display.

ＨＭＤ１０は、ＨＭＤ１０を構成するハードウェアにより出力可能な輝度の限界値（以下、「限界輝度値」ともいう。）を有する。よって、照度値に対応する輝度値がハードウェアの限界輝度値を超えた場合、重畳情報表示手段１８が、照度値に対応する輝度値から算出された表示輝度値でディスプレイ４０を制御しても、ディスプレイ４０の実際の明るさは限界輝度値が示す明るさとなる。この場合、ディスプレイ４０の明るさは、本来制御すべき表示輝度値よりも低くなるため、重畳情報が見難くなることがある。   The HMD 10 has a luminance limit value (hereinafter also referred to as “limit luminance value”) that can be output by the hardware constituting the HMD 10. Therefore, when the luminance value corresponding to the illuminance value exceeds the limit luminance value of the hardware, the superimposition information display means 18 controls the display 40 with the display luminance value calculated from the luminance value corresponding to the illuminance value. The actual brightness of the display 40 is the brightness indicated by the limit luminance value. In this case, since the brightness of the display 40 is lower than the display luminance value that should be originally controlled, it may be difficult to see the superimposed information.

そこで、本実施形態に係るＨＭＤ１０は、表示輝度値がハードウェアの制約上の限界輝度値を超えた場合、重畳情報の色又は色の濃さを自動制御する。これにより、重畳情報の見難さを抑制し、重畳情報を識別可能に表示することができる。なお、重畳情報のうちの文字情報４５及び背景画像４４の少なくともいずれかの色又は色の濃さが自動制御される。   Therefore, the HMD 10 according to the present embodiment automatically controls the color or the color density of the superimposition information when the display luminance value exceeds the limit luminance value due to hardware restrictions. Thereby, it is possible to suppress the difficulty of seeing the superimposition information and display the superimposition information in an identifiable manner. Note that at least one of the color information 45 and the background image 44 in the superimposition information is automatically controlled.

取得手段１１は、撮像カメラ２０が撮影した画像と撮像パラメータとを取得する。撮像パラメータとしては、絞り、シャッタースピード、ＩＳＯ感度等が挙げられる。撮像パラメータは撮像カメラ２０に保存されている。よって、取得手段１１は、例えば撮像カメラ２０から出力された信号から撮像パラメータを読み取ることができる。   The acquisition unit 11 acquires an image captured by the imaging camera 20 and imaging parameters. Imaging parameters include aperture, shutter speed, ISO sensitivity, and the like. Imaging parameters are stored in the imaging camera 20. Therefore, the acquisition unit 11 can read the imaging parameter from the signal output from the imaging camera 20, for example.

取得手段１１は、照度センサ３０からＨＭＤ１０の周囲の照度値を取得する。なお、照度値は、ＨＭＤ１０のディスプレイ４０の面に入射される光の強さを示す。よって、取得手段１１は、ディスプレイ４０面に入射される光の強さを取得する。これに対して、輝度値は、ＨＭＤ１０のディスプレイ４０の面から出射する光の強さを示す。ディスプレイ４０は、見易くするために周りの照度に対応した輝度で情報を表示する。   The acquisition unit 11 acquires the illuminance value around the HMD 10 from the illuminance sensor 30. The illuminance value indicates the intensity of light incident on the surface of the display 40 of the HMD 10. Therefore, the acquisition unit 11 acquires the intensity of light incident on the display 40 surface. On the other hand, the luminance value indicates the intensity of light emitted from the surface of the display 40 of the HMD 10. The display 40 displays information with luminance corresponding to the surrounding illuminance for easy viewing.

読取手段１２は、撮像画像に含まれるＱＲ（Quick Response）コードや二次元のバーコード等のＡＲマーカー４６を読み取り、マーカー情報を抽出する。   The reading unit 12 reads an AR marker 46 such as a QR (Quick Response) code or a two-dimensional bar code included in the captured image, and extracts marker information.

重畳情報生成手段１３は、読取手段１２が抽出したマーカー情報を入力し、重畳情報及び重畳位置情報を生成する。図２では、生成された重畳情報により特定される文字情報４５及び背景画像４４が、生成された重畳位置情報により特定される重畳情報の表示領域４３に表示されている。   The superimposition information generation unit 13 receives the marker information extracted by the reading unit 12 and generates superimposition information and superposition position information. In FIG. 2, the character information 45 and the background image 44 specified by the generated superposition information are displayed in the superimposition information display area 43 specified by the generated superposition position information.

記憶手段１４は、照度／輝度テーブル１４１、透過率／色テーブル１４５を保存する。図３は、一実施形態にかかる照度／輝度テーブル１４１の一例を示す。照度／輝度テーブル１４１は、照度値１４２と輝度値１４３とを対応付けて記憶する。照度／輝度テーブル１４１は、予め記憶手段１４に記憶されている。図３の照度／輝度テーブル１４１の例では、照度値が１０００ルクス以上の場合、輝度値は５００（ｃｄ／ｍ２）となっている。これにより、５００（ｃｄ／ｍ２）の輝度値が、ＨＭＤ１０のハードウェアの制約上の限界輝度値であることがわかる。照度／輝度テーブル１４１に基づき、照度センサ３０が検出した照度値にする輝度値が算出される。 The storage unit 14 stores an illuminance / luminance table 141 and a transmittance / color table 145. FIG. 3 shows an example of the illuminance / luminance table 141 according to the embodiment. The illuminance / luminance table 141 stores the illuminance value 142 and the luminance value 143 in association with each other. The illuminance / luminance table 141 is stored in the storage unit 14 in advance. In the example of the illuminance / luminance table 141 in FIG. 3, when the illuminance value is 1000 lux or more, the luminance value is 500 (cd / m 2 ). As a result, it can be seen that the luminance value of 500 (cd / m 2 ) is the limiting luminance value due to hardware limitations of the HMD 10. Based on the illuminance / luminance table 141, the luminance value to be used as the illuminance value detected by the illuminance sensor 30 is calculated.

図４は、一実施形態にかかる透過率／色テーブル１４５の一例を示す。透過率／色テーブル１４５は、透過率１４６と背景色(黒)の濃さ１４７とを対応付けて記憶する。透過率／色テーブル１４５は、予め記憶手段１４に記憶されている。図４の透過率／色テーブル１４５の例では、透過率１４６が０％のとき、図５に示すように、重畳情報の背景画像４４の色は黒となり、その下の外景４２は全く見えない（全く透過しない）。   FIG. 4 shows an example of the transmittance / color table 145 according to an embodiment. The transmittance / color table 145 stores the transmittance 146 and the background color (black) density 147 in association with each other. The transmittance / color table 145 is stored in the storage unit 14 in advance. In the example of the transmittance / color table 145 in FIG. 4, when the transmittance 146 is 0%, the background image 44 of the superimposition information has a black color as shown in FIG. (Not transparent at all).

透過率１４６が高くなる程、背景色(黒)の濃さ１４７は薄くなり、濃いグレーから薄いグレーに段階的に変更される。これにより、重畳情報の背景色４４の下の外景４２が徐々に透けて見えるようになる。透過率１４６が０％になると、背景色(黒)の濃さ１４７は白になる（すべて透過する）。   As the transmittance 146 increases, the background color (black) darkness 147 becomes lighter and is gradually changed from dark gray to light gray. Thereby, the outside scene 42 under the background color 44 of the superimposition information gradually becomes transparent. When the transmittance 146 becomes 0%, the density 147 of the background color (black) becomes white (all is transmitted).

算出手段１５は、照度／輝度テーブル１４１に基づき、取得した照度値に応じた輝度値を算出する。また、算出手段１５は、画像全体の表示領域４１（図２参照）の輝度（以下、「全体輝度値」ともいう。）と重畳情報の表示領域４３（図２参照）の背景画像４４の輝度（以下、「背景輝度値」ともいう。）とを算出する。   The calculating unit 15 calculates a luminance value corresponding to the acquired illuminance value based on the illuminance / luminance table 141. The calculation means 15 also calculates the brightness of the display area 41 (see FIG. 2) of the entire image (hereinafter also referred to as “total brightness value”) and the brightness of the background image 44 of the superimposition information display area 43 (see FIG. 2). (Hereinafter also referred to as “background luminance value”).

すなわち、算出手段１５は、画像全体の表示領域４１に含まれる各画素の輝度値の平均値を算出し、「全体輝度値（ＢＶ ＡＶＥ）」とする。また、算出手段１５は、重畳情報の表示領域４３に含まれる各画素の輝度値の平均値を算出し、「背景輝度値（ＢＢ ＡＶＥ）」とする。   That is, the calculation unit 15 calculates the average value of the luminance values of the respective pixels included in the display area 41 of the entire image and sets it as “total luminance value (BV AVE)”. Further, the calculation means 15 calculates the average value of the luminance values of the respective pixels included in the display area 43 of the superimposition information and sets it as “background luminance value (BB AVE)”.

なお、全体輝度値は、画像全体の表示領域４１の輝度値を示す場合の他、画像の重畳情報の表示領域４３の周りの領域を含む領域（画像全体でなくてもよい）の輝度を示す場合を含む。   Note that the overall luminance value indicates the luminance of an area including the area around the display area 43 of the superimposition information of the image (not necessarily the entire image) in addition to the case of indicating the luminance value of the display area 41 of the entire image. Including cases.

（全体輝度値及び背景輝度値の算出方法の一例）
ここで、算出手段１５によって実行される、全体輝度値（ＢＶ ＡＶＥ）及び背景輝度値（ＢＢ ＡＶＥ）の算出方法について説明する。なお、下記の算出方法は一例であり、全体輝度値（ＢＶ ＡＶＥ）及び背景輝度値（ＢＢ ＡＶＥ）の算出には他の算出方法を用いても構わない。本実施形態では、ＡＰＥＸ規格に基づいた算出方法で全体輝度値及び背景輝度値を算出する。 (Example of calculation method of overall luminance value and background luminance value)
Here, a method of calculating the overall luminance value (BV AVE) and the background luminance value (BB AVE), which is executed by the calculating unit 15, will be described. Note that the following calculation method is an example, and other calculation methods may be used to calculate the overall luminance value (BV AVE) and the background luminance value (BB AVE). In the present embodiment, the overall luminance value and the background luminance value are calculated by a calculation method based on the APEX standard.

まず、式（１）を用いて撮像画像全体の輝度（絶対輝度）を計算する。   First, the luminance (absolute luminance) of the entire captured image is calculated using Equation (1).

Figure 2016142988
Figure 2016142988

ここで、Ｂａは絶対輝度（ｃｄ／ｍ２）、Ｆは絞り値（Ｆ値）、Ｔはシャッタースピード（ｓｅｃ）、ＳはＩＳＯ感度である。 Here, Ba is the absolute luminance (cd / m 2 ), F is the aperture value (F value), T is the shutter speed (sec), and S is the ISO sensitivity.

次に、式（２）を用いて撮像画像全体の輝度（絶対輝度）から各画素の輝度値ｌ（ｘ，ｙ）を算出する。   Next, the luminance value l (x, y) of each pixel is calculated from the luminance (absolute luminance) of the entire captured image using Expression (2).

Figure 2016142988
Figure 2016142988

ここで、Ｙ（ｘ，ｙ）はＣＩＥ ＸＹＺ表色系でのＹ値（輝度値）、ｍａｘＹは画像中のＹ値の最大値（輝度値の最大値）である。   Here, Y (x, y) is the Y value (luminance value) in the CIE XYZ color system, and maxY is the maximum Y value (maximum luminance value) in the image.

以上の算出方法で、画像全体の表示領域４１の全体輝度値（ＢＶ＿ＡＶＥ）及び重畳情報の表示領域４３の背景輝度値（ＢＢ＿ＡＶＥ）が得られる。   With the above calculation method, the overall brightness value (BV_AVE) of the display area 41 of the entire image and the background brightness value (BB_AVE) of the display area 43 of superimposition information are obtained.

色制御手段１７は、重畳情報の表示領域４３の照度値が、ハードウェアの制約上サポート可能な照度の限界値内になるように式（３）を用いて透過率を計算する。色制御手段１７は、その透過率になる背景色（黒）の濃さを決定し、その色で重畳情報を表示させる。
τ＝Ｅｔ／Ｅ・・・（３）
ここで、τは透過率、Ｅｔは透過後の重畳情報の表示領域４３の背景照度（ハードウェアの制約上サポート可能な照度値の限界値）、Ｅは背景照度である。 The color control unit 17 calculates the transmittance using Equation (3) so that the illuminance value of the display area 43 of the superimposition information is within the limit value of illuminance that can be supported due to hardware restrictions. The color control means 17 determines the darkness of the background color (black) that becomes the transmittance, and displays the superimposition information in that color.
τ = Et / E (3)
Here, τ is the transmittance, Et is the background illuminance (limit value of the illuminance value that can be supported due to hardware restrictions) of the display area 43 of the superimposed information after transmission, and E is the background illuminance.

なお、透過率と背景色（黒）の濃さとの関係は、ＨＭＤ１０で使用する光学系により異なる。よって、ＨＭＤ１０の種類毎に設計値や測定値を用いて透過率／色テーブル１４５を予め作成し、ＨＭＤ１０の種類毎に透過率／色テーブル１４５を記憶手段１４に記憶することが好ましい。又は、透過率と背景色（黒）の濃さに変換する計算式を予め設定しておくことが好ましい。色制御手段１７は、これらのテーブルや計算式を用いて、所定の透過率に対する表示色（濃さ）を特定する。例えば、色制御手段１７は、透過率／色テーブル１４５に基づき、重畳情報の画像の色又は色の濃さを段階的に変更してもよい。   Note that the relationship between the transmittance and the darkness of the background color (black) differs depending on the optical system used in the HMD 10. Therefore, it is preferable to create a transmittance / color table 145 in advance using design values and measurement values for each type of HMD 10 and store the transmittance / color table 145 in the storage unit 14 for each type of HMD 10. Alternatively, it is preferable to set in advance a calculation formula for converting the transmittance and the darkness of the background color (black). The color control means 17 specifies the display color (darkness) for a predetermined transmittance using these tables and calculation formulas. For example, the color control unit 17 may change the color or the color density of the image of the superimposition information stepwise based on the transmittance / color table 145.

輝度設定手段１６は、算出手段１５が算出した全体輝度値と背景輝度値と輝度値とに基づき、表示輝度値を設定する。輝度設定手段１６は、背景輝度値（ＢＢ＿ＡＶＥ）が全体輝度値（ＢＶ＿ＡＶＥ）よりも大きい（つまり、重畳情報の表示領域４３が、その周りよりも明るい）場合には、照度値から算出した輝度値に差分の絶対値｜（ＢＢ＿ＡＶＥ）−（ＢＶ＿ＡＶＥ）｜を加算する。加算した輝度値が表示輝度値となる。   The luminance setting unit 16 sets a display luminance value based on the overall luminance value, the background luminance value, and the luminance value calculated by the calculating unit 15. When the background brightness value (BB_AVE) is larger than the overall brightness value (BV_AVE) (that is, the superimposition information display area 43 is brighter than the surrounding area), the brightness setting unit 16 calculates the brightness value calculated from the illuminance value. To the absolute value | (BB_AVE)-(BV_AVE) | of the difference. The added luminance value becomes the display luminance value.

輝度設定手段１６は、背景輝度値（ＢＢ＿ＡＶＥ）が全体輝度値（ＢＶ＿ＡＶＥ）よりも低い（つまり、重畳情報の表示領域４３が、その周りよりも暗い）場合には、照度値から算出した輝度値から差分の絶対値｜（ＢＢ＿ＡＶＥ）−（ＢＶ＿ＡＶＥ）｜を減算する。減算した輝度値が表示輝度値となる。   The luminance setting means 16 calculates the luminance value calculated from the illuminance value when the background luminance value (BB_AVE) is lower than the overall luminance value (BV_AVE) (that is, the superimposition information display area 43 is darker than the surrounding area). Is subtracted from the absolute value | (BB_AVE) − (BV_AVE) |. The subtracted luminance value becomes the display luminance value.

輝度設定手段１６は、設定した背景輝度値（ＢＢ ＡＶＥ）が、ＨＭＤ１０が出力可能な限界輝度を超えるかを判定する。輝度設定手段１６は、設定した背景輝度値（ＢＢ ＡＶＥ）が限界輝度を超えると判定した場合、色制御手段１７は、重畳情報の画像の色又は色の濃さを制御する。重畳情報の画像の色又は色の濃さには、図２に示す重畳情報の背景画像４４の色又は色の濃さと、文字情報４５の色又は色の濃さとの少なくともいずれかが含まれる。   The brightness setting unit 16 determines whether the set background brightness value (BB AVE) exceeds the limit brightness that the HMD 10 can output. If the luminance setting unit 16 determines that the set background luminance value (BB AVE) exceeds the limit luminance, the color control unit 17 controls the color or color density of the image of the superimposition information. The color or color density of the superimposition information image includes at least one of the color or color density of the background image 44 of the superimposition information shown in FIG.

色制御手段１７は、重畳情報の画像の色又は色の濃さを段階的に変更してもよい。例えば、色制御手段１７は、透過率／色テーブル１４５に基づき、透過率に応じて段階的に色又は色の濃さを制御することができる。   The color control means 17 may change the color of the image of superimposition information or the color intensity in steps. For example, the color control unit 17 can control the color or the color density stepwise based on the transmittance based on the transmittance / color table 145.

なお、色制御手段１７は、重畳情報の表示領域４３内の背景画像４４及び文字情報４５の少なくともいずれかの色又は色の濃さを変更する。例えば、色制御手段１７は、背景画像４４の色のみ変更してもよいし、文字情報４５の色のみ変更してもよいし、背景画像４４及び文字情報４５の両方の色を変更してもよい。重畳情報の文字情報４５は、重畳情報の表示領域４３内に表示される伝達情報の一例であり、伝達情報は、文字だけでなく、記号、数値、マーク等の何らかの形状のオブジェクトが含まれる。   The color control means 17 changes the color or the color intensity of at least one of the background image 44 and the character information 45 in the superimposition information display area 43. For example, the color control means 17 may change only the color of the background image 44, may change only the color of the character information 45, or may change the colors of both the background image 44 and the character information 45. Good. The superimposition information character information 45 is an example of transmission information displayed in the superimposition information display area 43. The transmission information includes not only characters but also objects of some shape such as symbols, numerical values, and marks.

例えば、輝度設定手段１６にて表示輝度値が設定されたとき、表示輝度値がハードウェアの制約上の限界輝度値を超えている場合、色制御手段１７において、図６の（ａ）に示す重畳情報の色を、図６の（ｂ）に示すように制御できる。ここでは、具体的には、背景画像４４の色が白から黒に変更され、文字情報４５の色が黒から白に変更されている。これは、背景画像４４の色の濃さが最も薄い（白）からもっとも濃い（黒）に変更され、文字情報４５の色がもっとも濃い（黒）から最も薄い（白）に変更されているともいえる。   For example, when the display brightness value is set by the brightness setting means 16 and the display brightness value exceeds the limit brightness value due to hardware restrictions, the color control means 17 shows that shown in FIG. The color of the superimposition information can be controlled as shown in FIG. Specifically, the color of the background image 44 is changed from white to black, and the color of the character information 45 is changed from black to white. This is because the color of the background image 44 is changed from the lightest (white) to the darkest (black), and the color of the character information 45 is changed from the darkest (black) to the lightest (white). I can say that.

同様にして、例えば、背景の照度値がハードウェアの制約上でサポート可能な限界照度値を超えている場合、色制御手段１７において、図６の（ａ）及び図６の（ｂ）に示すように、重畳情報の背景画像４４の色を白から黒に変更し、文字情報４５の色を黒から白に変更してもよい。   Similarly, for example, when the illuminance value of the background exceeds a limit illuminance value that can be supported due to hardware restrictions, the color control means 17 shows the results shown in FIGS. 6 (a) and 6 (b). As described above, the color of the background image 44 of the superimposition information may be changed from white to black, and the color of the character information 45 may be changed from black to white.

重畳情報表示手段１８は、輝度設定手段１６が設定した表示輝度値にディスプレイ４０を制御する。重畳情報表示手段１８は、色制御手段１７が制御した表示色で重畳情報を重畳情報の表示領域４３に表示する。   The superimposition information display unit 18 controls the display 40 to the display luminance value set by the luminance setting unit 16. The superimposition information display means 18 displays the superimposition information in the superimposition information display area 43 in the display color controlled by the color control means 17.

なお、読取手段１２及び重畳情報生成手段１３は、ＨＭＤ１０内ではなく、ＨＭＤ１０に接続されるスマートフォン、タブレット型機器、ＰＣ（パーソナルコンピュータ）及びサーバ等に備えられてもよい。
＜第１実施形態＞
［色制御処理］
次に、第１実施形態に係る色制御処理について図７を参照して説明する。図７は、第１実施形態にかかる色制御処理の一例を示すフローチャートである。 Note that the reading unit 12 and the superimposing information generation unit 13 may be provided not in the HMD 10 but in a smartphone, a tablet device, a PC (personal computer), a server, or the like connected to the HMD 10.
<First Embodiment>
[Color control processing]
Next, color control processing according to the first embodiment will be described with reference to FIG. FIG. 7 is a flowchart illustrating an example of a color control process according to the first embodiment.

まず、取得手段１１は、照度センサ３０から照度値を取得する（ステップＳ１０）。次に、取得手段１１は、撮像カメラ２０から撮影画像と撮影パラメータ（絞り、シャッタースピード、ＩＳＯ感度等）を取得する（ステップＳ１１）。   First, the acquisition unit 11 acquires an illuminance value from the illuminance sensor 30 (step S10). Next, the acquisition unit 11 acquires a captured image and shooting parameters (aperture, shutter speed, ISO sensitivity, etc.) from the imaging camera 20 (step S11).

次に、読取手段１２は、取得した画像に含まれるＡＲマーカー４６を読み取り、マーカー情報を抽出し、重畳情報生成手段１３は、読取手段１２が抽出したマーカー情報に基づき重畳情報及び重畳位置情報を生成する（ステップＳ１２）。重畳位置情報は、重畳情報の表示領域を示し、例えば表示画面の左上を「０」とした二次元座標と水平方向及び垂直方向の長さとで示される。   Next, the reading unit 12 reads the AR marker 46 included in the acquired image and extracts marker information, and the superimposition information generation unit 13 obtains superimposition information and superposition position information based on the marker information extracted by the reading unit 12. Generate (step S12). The superimposition position information indicates a display area of superimposition information, and is indicated by, for example, two-dimensional coordinates with the upper left of the display screen being “0” and lengths in the horizontal direction and the vertical direction.

次に、算出手段１５は、照度／輝度テーブル１４１に基づき、取得した照度値に対応する輝度値を算出する（ステップＳ１３）。次に、算出手段１５は、取得した画像と撮影パラメータとから、全体輝度値と重畳情報の表示領域における背景輝度値とを、式（１）及び式（２）を用いて算出する（ステップＳ１４）。これにより、全体輝度値（ＢＶ＿ＡＶＥ）と背景輝度値（ＢＢ＿ＡＶＥ）とが得られる。   Next, the calculation means 15 calculates a luminance value corresponding to the acquired illuminance value based on the illuminance / luminance table 141 (step S13). Next, the calculation means 15 calculates the overall luminance value and the background luminance value in the display area of the superimposition information from the acquired image and the shooting parameter using the equations (1) and (2) (step S14). ). Thereby, the overall luminance value (BV_AVE) and the background luminance value (BB_AVE) are obtained.

輝度設定手段１６は、背景輝度値（ＢＢ＿ＡＶＥ）が全体輝度値（ＢＶ＿ＡＶＥ）よりも高いか（重畳情報の表示領域４の背景が周りよりも明るいか）を判定する（ステップＳ１５）。輝度設定手段１６は、背景輝度値が全体輝度値よりも高い（（重畳情報の表示領域４の背景が周りよりも明るい）と判定した場合、照度値から算出した輝度値にその差分の絶対値｜（ＢＢ＿ＡＶＥ）−（ＢＶ＿ＡＶＥ）｜を加算する（ステップＳ１６）。加算した輝度値が、表示輝度値である。   The brightness setting means 16 determines whether the background brightness value (BB_AVE) is higher than the overall brightness value (BV_AVE) (whether the background of the display area 4 of the superimposition information is brighter than the surroundings) (step S15). If the luminance setting means 16 determines that the background luminance value is higher than the overall luminance value ((the background of the superimposition information display area 4 is brighter than the surroundings), the absolute value of the difference is added to the luminance value calculated from the illuminance value. | (BB_AVE)-(BV_AVE) | is added (step S16), and the added luminance value is the display luminance value.

輝度設定手段１６は、背景輝度値（ＢＢ＿ＡＶＥ）が全体輝度値（ＢＶ＿ＡＶＥ）よりも低い（重畳情報の表示領域４の背景が周りよりも暗い）と判定した場合、照度値から算出した輝度値からその差分の絶対値｜（ＢＢ＿ＡＶＥ）−（ＢＶ＿ＡＶＥ）｜を減算する（ステップＳ１７）。減算した輝度値が、表示輝度値である。   If the luminance setting means 16 determines that the background luminance value (BB_AVE) is lower than the overall luminance value (BV_AVE) (the background of the superimposition information display area 4 is darker than the surroundings), the luminance setting means 16 determines the luminance value calculated from the illuminance value. The absolute value | (BB_AVE) − (BV_AVE) | of the difference is subtracted (step S17). The subtracted luminance value is the display luminance value.

次に、輝度設定手段１６は、表示輝度値がＨＭＤ１０のハードウェアの制約上の限界輝度値を超えているかを判定する（ステップＳ１８）。輝度設定手段１６は、表示輝度値がハードウェアの制約上の限界輝度値を超えていないと判定した場合、ステップＳ２１に進む。   Next, the luminance setting means 16 determines whether or not the display luminance value exceeds a limit luminance value due to hardware restrictions of the HMD 10 (step S18). If the luminance setting unit 16 determines that the display luminance value does not exceed the limit luminance value due to hardware restrictions, the luminance setting unit 16 proceeds to step S21.

一方、輝度設定手段１６は、表示輝度値がハードウェアの制約上の限界輝度値を超えていると判定した場合、色制御手段１７は、重畳情報の背景輝度値が、ハードウェアの制約上の限界輝度値に収まるような透過率を、上記式（３）を用いて計算する（ステップＳ１９）。次に、色制御手段１７は、透過率／色テーブル１４５に基づき、計算した透過率になる背景画像４４の表示色の濃さを決定する（ステップＳ２０）。   On the other hand, when the luminance setting unit 16 determines that the display luminance value exceeds the limit luminance value due to hardware restrictions, the color control unit 17 determines that the background luminance value of the superimposition information is due to hardware restrictions. The transmittance that falls within the limit luminance value is calculated using the above equation (3) (step S19). Next, the color control unit 17 determines the darkness of the display color of the background image 44 having the calculated transmittance based on the transmittance / color table 145 (step S20).

本実施形態では、図６に示すように、重畳情報の文字情報４５の色の濃さが、図６（ａ）の黒（最も濃い）から図６（ｂ）の白（最も薄い）へ変更されている。また、背景画像４４の表示色が、図６（ａ）の白（最も薄い）から図６（ｂ）のグレー（やや薄い）へ変更されている。これにより、本実施形態に係るＨＭＤ１０では、重畳情報を識別可能に表示し、重畳情報の視認性を高めることができる。しかしながら、それ以外の組み合わせであってもよい。例えば、黒以外の色（例えば青など）の色の濃淡を制御してもよい。   In the present embodiment, as shown in FIG. 6, the color density of the superimposition information character information 45 is changed from black (darkest) in FIG. 6 (a) to white (lightest) in FIG. 6 (b). Has been. The display color of the background image 44 is changed from white (the lightest) in FIG. 6A to gray (somewhat light) in FIG. Thereby, in HMD10 which concerns on this embodiment, superimposition information is displayed so that identification is possible, and the visibility of superimposition information can be improved. However, other combinations may be used. For example, shades of colors other than black (for example, blue) may be controlled.

次に、重畳情報表示手段１８は、決定された表示色（濃さ）で重畳情報の文字情報４５及び背景画像４４をそれぞれ表示する。その際、重畳情報表示手段１８は、ディスプレイ４０を設定された表示輝度値の明るさに制御し（ステップＳ２１）、以上により本処理が終了する。   Next, the superimposition information display means 18 displays the character information 45 and background image 44 of the superimposition information in the determined display color (darkness). At that time, the superimposition information display means 18 controls the display 40 to the brightness of the set display luminance value (step S21), and the process is thus completed.

このとき、表示輝度値がハードウェアの制約上の限界輝度値を超えている場合、設定された表示輝度値よりも暗い状態で重畳情報が表示されることになる。これに対して、本実施形態にかかるＨＭＤ１０によれば、表示輝度値が、ＨＭＤ１０のハードウェアの制約上の限界輝度値を超えている場合、重畳情報を表示する色（文字情報４５や背景画像４４の色）又は色の濃さが変更される。これにより、重畳情報の背景輝度値を抑えることで重畳情報の見難さを抑制し、重畳情報を認識可能に表示することが可能になる。
＜第２実施形態＞
次に、第２実施形態にかかるＨＭＤ１０の構成及び動作について説明する。第１実施形態では、重畳情報の背景画像４４を黒に設定し、その濃淡を制御する場合の例を挙げた。これに対して、第２実施形態では、重畳情報の表示領域４３が重なった外景４２の色を考慮して重畳情報の背景画像４４を制御する例を示す。具体的には、色制御手段１７は、重畳情報の表示領域４３に重なる外景４２の色を考慮して、重畳情報の背景画像４４の色を該外景４２の色の補色に変更する。補色は、色相環で正反対に位置する関係の色の組み合わせを指す。例えば、赤と緑、黄と紫、青と橙などがある。 At this time, when the display luminance value exceeds the limit luminance value due to hardware restrictions, the superimposition information is displayed in a darker state than the set display luminance value. On the other hand, according to the HMD 10 according to the present embodiment, when the display luminance value exceeds the limit luminance value due to hardware limitations of the HMD 10, the color (character information 45 or background image) for displaying the superimposition information is displayed. 44 colors) or the color intensity is changed. Accordingly, it is possible to suppress the difficulty of viewing the superimposition information by suppressing the background luminance value of the superimposition information, and to display the superimposition information so that it can be recognized.
Second Embodiment
Next, the configuration and operation of the HMD 10 according to the second embodiment will be described. In the first embodiment, an example in which the background image 44 of the superimposition information is set to black and the density is controlled has been described. On the other hand, in the second embodiment, an example in which the background image 44 of the superimposition information is controlled in consideration of the color of the outside scene 42 where the superimposition information display area 43 overlaps is shown. Specifically, the color control unit 17 changes the color of the background image 44 of the superimposition information to a color complementary to the color of the external scene 42 in consideration of the color of the external scene 42 overlapping the display area 43 of the superimposition information. Complementary color refers to a combination of related colors that are located exactly opposite in the hue circle. For example, red and green, yellow and purple, and blue and orange.

第２実施形態における基本的な構成は、図１と同じである。異なる点は、輝度設定手段１６が、重畳位置の表示領域４３に重なる外景４２の色情報を取得し、色制御手段１７に送る点と、色制御手段１７が重畳位置の表示領域４３に重なる外景４２の色を考慮して、情報を取得し、色制御手段１７に送る点と、色制御手段１７が、重畳する外景４２の色を考慮して、重畳情報の背景画像４４の色を制御する点である。   The basic configuration in the second embodiment is the same as in FIG. The difference is that the luminance setting means 16 acquires the color information of the outside scene 42 that overlaps the display area 43 at the superimposition position and sends it to the color control means 17, and the outside scene where the color control means 17 overlaps the display area 43 at the superposition position. The color control unit 17 controls the color of the background image 44 of the superimposition information in consideration of the color of the external scene 42 to be superimposed and the point that the information is acquired in consideration of the color 42 and sent to the color control unit 17. Is a point.

［色制御処理］
次に、第２実施形態に係る色制御処理について図８を参照して説明する。図８は、第２実施形態にかかる色制御処理の一例を示すフローチャートである。 [Color control processing]
Next, color control processing according to the second embodiment will be described with reference to FIG. FIG. 8 is a flowchart illustrating an example of color control processing according to the second embodiment.

第２実施形態では、図７に示す第１実施形態に図８のステップＳ３０、Ｓ３１が追加されたことのみ相異する。よって、ステップＳ３０、Ｓ３１の処理を中心に説明し、ステップＳ１０〜Ｓ２１の各ステップの説明は省略する。   The second embodiment is different from the first embodiment shown in FIG. 7 only in that steps S30 and S31 of FIG. 8 are added. Therefore, it demonstrates centering on the process of step S30, S31, and description of each step of step S10-S21 is abbreviate | omitted.

第１実施形態と同様に、ステップＳ１０〜Ｓ１７を処理した後、輝度設定手段１６は、表示輝度値がＨＭＤ１０のハードウェアの制約上の限界輝度値を超えているかを判定する（ステップＳ１８）。輝度設定手段１６は、表示輝度値がハードウェアの制約上の限界輝度値を超えていないと判定した場合、ステップＳ２１に進む。   Similar to the first embodiment, after processing steps S10 to S17, the luminance setting unit 16 determines whether the display luminance value exceeds a limit luminance value due to hardware limitations of the HMD 10 (step S18). If the luminance setting unit 16 determines that the display luminance value does not exceed the limit luminance value due to hardware restrictions, the luminance setting unit 16 proceeds to step S21.

一方、輝度設定手段１６は、表示輝度値がハードウェアの制約上の限界輝度値を超えていると判定した場合、色制御手段１７は、重畳情報の表示領域４３の背景色情報（表示領域４３の背景に当たる外景４２部分の表示色）を取得し、背景色の平均値を計算する（ステップＳ３０）。次に、図８のステップＳ１９〜Ｓ２１を処理した後、本処理が終了する。   On the other hand, when the luminance setting unit 16 determines that the display luminance value exceeds the limit luminance value due to hardware restrictions, the color control unit 17 determines that the background color information (display region 43) of the display region 43 for superimposition information. The display color of the portion of the outside scene 42 corresponding to the background of the image is acquired, and the average value of the background colors is calculated (step S30). Next, after processing steps S19 to S21 in FIG.

以下では、ステップＳ３０におけるＲ／Ｇ／Ｂの各色の補色を計算する一例を示す。例えば、平均色のＲ／Ｇ／Ｂ値がＲ：３０、Ｇ：７０、Ｂ：２５５だった場合、Ｒ／Ｇ／Ｂ値の最大と最小を加算したものから、Ｒ／Ｇ／Ｂ値のそれぞれを引いたものが補色となる。
Ｒ：（３０＋２５５）−３０＝２５５
Ｇ：（３０＋２５５）−７０＝２１５
Ｂ：（３０＋２５５）−２５５＝３０
次に、色制御手段１７は、算出した背景色の平均値に対する補色を重畳情報の背景画像４４の表示色とする（ステップＳ３１）。 Below, an example which calculates the complementary color of each color of R / G / B in step S30 is shown. For example, when the average color R / G / B values are R: 30, G: 70, and B: 255, the maximum R / G / B value is added to the R / G / B value. Each subtracted color is a complementary color.
R: (30 + 255) -30 = 255
G: (30 + 255) -70 = 215
B: (30 + 255) −255 = 30
Next, the color control means 17 sets the complementary color for the calculated average value of the background colors as the display color of the background image 44 of the superimposition information (step S31).

重畳情報の背景画像４４を補色で表示した例を図９に示す。第１実施形態では、図６の（ｂ）に示すように、重畳情報の背景画像４４の表示色は、透過率に応じた背景画像４４の色の濃淡に変更されている。これに対して、第２実施形態では、図９に示すように、重畳情報の背景画像４４における外景４２の表示色を考慮して、外景４２の表示色の補色に背景画像４４の表示色が変更されている。変更された背景画像４４の表示色に応じて、文字情報４５の色や色の濃さを変更してもよい。   An example in which the background image 44 of the superimposition information is displayed in a complementary color is shown in FIG. In the first embodiment, as shown in FIG. 6B, the display color of the background image 44 of the superimposition information is changed to the shade of the color of the background image 44 corresponding to the transmittance. On the other hand, in the second embodiment, as shown in FIG. 9, the display color of the background image 44 is complementary to the display color of the external scene 42 in consideration of the display color of the external scene 42 in the background image 44 of the superimposition information. has been changed. Depending on the display color of the changed background image 44, the color of the character information 45 and the color density may be changed.

本実施形態にかかるＨＭＤ１０によれば、照度値に応じた輝度値と背景輝度値と全体輝度値とに基づき表示輝度値が設定される。そして、表示輝度値が、ＨＭＤ１０のハードウェアの制約上の限界輝度値を超えている場合、重畳情報の表示色（文字情報４５や背景画像４４の色）やその濃淡が変更される。これにより、重畳情報の表示領域４３内の背景輝度値を抑えることで重畳情報の見難さを防ぎ、重畳情報の認識可能に表示することが可能になる。   According to the HMD 10 according to the present embodiment, the display luminance value is set based on the luminance value according to the illuminance value, the background luminance value, and the overall luminance value. When the display luminance value exceeds the limit luminance value due to hardware restrictions of the HMD 10, the display color of the superimposition information (the color of the character information 45 and the background image 44) and the density thereof are changed. Accordingly, it is possible to prevent the superimposition information from being difficult to see by suppressing the background luminance value in the superimposition information display area 43 and to display the superimposition information in a recognizable manner.

また、本実施形態では、重畳情報の表示領域４３の背景に当たる部分の表示色を考慮して重畳情報の表示色を変更する。これにより、表示輝度値が、ＨＭＤ１０のハードウェアの制約上の限界輝度値を超えている場合においても、重畳情報の見難さをより抑制し、重畳情報の視認性を高めることができる。なお、本実施形態では、重畳情報の背景画像４４の表示色のみ変更したが、これに限らず、重畳情報の表示領域４３の背景に当たる部分の表示色に応じて重畳情報の背景画像４４及び文字情報４５の少なくともいずれかの表示色を変更することができる。   In this embodiment, the display color of the superimposition information is changed in consideration of the display color of the portion corresponding to the background of the display area 43 of the superimposition information. Thereby, even when the display luminance value exceeds the limit luminance value due to hardware restrictions of the HMD 10, it is possible to further suppress the difficulty of seeing the superimposition information and increase the visibility of the superimposition information. In this embodiment, only the display color of the background image 44 of the superimposition information is changed. However, the present invention is not limited to this. The display color of at least one of the information 45 can be changed.

更に、第１及び第２実施形態では、吹き出しの重畳情報の背景画像４４の全体の色を制御したが、図１０に示すように、重畳情報の文字情報４５の周りの背景画像のみの色を変更して表示してもよい。これによれば、重畳情報により外景４２が見難くなる範囲を最小限に抑えることができる。   Furthermore, in the first and second embodiments, the overall color of the background image 44 of the speech balloon superimposition information is controlled, but as shown in FIG. 10, only the color of the background image around the text information 45 of the superimposition information is changed. You may change and display. According to this, it is possible to minimize the range in which the outside scene 42 is difficult to see due to the superimposition information.

以上、第１及び第２実施形態にかかるＨＭＤ１０について説明した。上記実施形態において、色（黒の場合）の濃淡については、「０」が最も薄い色（白）とし、「２５５」が最も濃い色（黒）とし、その間の「１」〜「２５４」の範囲がグレーであって「０」に近づく程薄いグレー、「２５５」に近づく程濃いグレーとして説明した。表示色が黒以外の有色の場合にも同様に、「０」がその色の最も薄い色、「２５５」が最も濃い色を示し、「１」〜「２５４」の範囲では「０」に近づく程薄い色、「２５５」に近づく程濃い色となる。   The HMD 10 according to the first and second embodiments has been described above. In the above embodiment, regarding the shade of the color (in the case of black), “0” is the lightest color (white), “255” is the darkest color (black), and “1” to “254” between them. In the description, the range is gray, and the lighter gray becomes closer to “0” and the darker gray becomes closer to “255”. Similarly, when the display color is a color other than black, “0” indicates the lightest color of the color, “255” indicates the darkest color, and approaches “0” in the range of “1” to “254”. The lighter the color, the darker the color approaches “255”.

（ハードウェア構成例）
最後に、本実施形態に係るＨＭＤ１０のハードウェア構成について、図１１を参照して説明する。図１１は、本実施形態に係るＨＭＤ１０のハードウェア構成の一例を示す。ＨＭＤ１０は、入力装置１１１、表示装置１１２、外部Ｉ／Ｆ１１３、ＲＡＭ（Random Access Memory）１１４、ＲＯＭ（Read Only Memory）１１５、ＣＰＵ（Central Processing Unit）１１６、通信Ｉ／Ｆ１１７、及びＨＤＤ（Hard Disk Drive）１１８などを備え、それぞれがバスＢで相互に接続されている。 (Hardware configuration example)
Finally, the hardware configuration of the HMD 10 according to the present embodiment will be described with reference to FIG. FIG. 11 shows an example of a hardware configuration of the HMD 10 according to the present embodiment. The HMD 10 includes an input device 111, a display device 112, an external I / F 113, a RAM (Random Access Memory) 114, a ROM (Read Only Memory) 115, a CPU (Central Processing Unit) 116, a communication I / F 117, and an HDD (Hard Disk). Drive) 118 and the like are connected to each other via a bus B.

入力装置１１１は、キーボードやマウスなどを含み、ＨＭＤ１０に各操作信号を入力するために用いられる。表示装置１１２は、ディスプレイなどを含み、各種の処理結果を表示する。通信Ｉ／Ｆ１１７は、ＨＭＤ１０をネットワークに接続するインタフェースである。これにより、ＨＭＤ１０は、通信Ｉ／Ｆ１１７を介して、他の機器とデータ通信を行うことができる。   The input device 111 includes a keyboard and a mouse, and is used to input each operation signal to the HMD 10. The display device 112 includes a display and displays various processing results. The communication I / F 117 is an interface that connects the HMD 10 to a network. Accordingly, the HMD 10 can perform data communication with other devices via the communication I / F 117.

ＨＤＤ１１８は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、ＨＭＤ１０の全体を制御する基本ソフトウェア及びアプリケーションソフトウェアがある。例えば、ＨＤＤ１１８には、各種のデータベースやプログラム等が格納されてもよい。   The HDD 118 is a nonvolatile storage device that stores programs and data. The stored programs and data include basic software and application software that control the entire HMD 10. For example, the HDD 118 may store various databases and programs.

外部Ｉ／Ｆ１１３は、外部装置とのインタフェースである。外部装置には、記録媒体１１３ａなどがある。これにより、ＨＭＤ１０は、外部Ｉ／Ｆ１１３を介して記録媒体１１３ａの読み取り及び／又は書き込みを行うことができる。記録媒体１１３ａには、フロッピー（商標又は登録商標）ディスク、ＣＤ（Compact Disk）、及びＤＶＤ（Digital Versatile Disk）、ならびに、ＳＤメモリカード（SD Memory card）やＵＳＢメモリ（Universal Serial Bus memory）等がある。   The external I / F 113 is an interface with an external device. The external device includes a recording medium 113a. Thereby, the HMD 10 can read and / or write to the recording medium 113 a via the external I / F 113. The recording medium 113a includes a floppy (trademark or registered trademark) disk, a CD (Compact Disk), a DVD (Digital Versatile Disk), an SD memory card, a USB memory (Universal Serial Bus memory), and the like. is there.

ＲＯＭ１１５は、電源を切っても内部データを保持することができる不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１１５には、ネットワーク設定等のプログラム及びデータが格納されている。ＲＡＭ１１４は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。ＣＰＵ１１６は、上記記憶装置（例えば「ＨＤＤ１１８」や「ＲＯＭ１１５」など）から、プログラムやデータをＲＡＭ１１４上に読み出し、処理を実行することで、装置全体の制御や搭載機能を実現する演算装置である。   The ROM 115 is a nonvolatile semiconductor memory (storage device) that can retain internal data even when the power is turned off. The ROM 115 stores programs such as network settings and data. The RAM 114 is a volatile semiconductor memory (storage device) that temporarily stores programs and data. The CPU 116 is an arithmetic device that realizes control and mounting functions of the entire apparatus by reading programs and data from the storage device (for example, “HDD 118” and “ROM 115”) onto the RAM 114 and executing processing.

かかる構成により、本実施形態に係るＨＭＤ１０では、ＣＰＵ１１６が、ＲＯＭ１１５やＨＤＤ１１８内に格納されたデータ及びプログラムを用いて色制御処理を実行する。なお、照度／輝度テーブル１４１及び透過率／色テーブル１４５に記憶された情報は、ＲＡＭ１１４、ＨＤＤ１１８、又はネットワークを介してＨＭＤ１０に接続されるクラウド上のサーバ等に格納され得る。   With this configuration, in the HMD 10 according to the present embodiment, the CPU 116 executes color control processing using data and programs stored in the ROM 115 and the HDD 118. The information stored in the illuminance / luminance table 141 and the transmittance / color table 145 can be stored in the RAM 114, the HDD 118, or a server on the cloud connected to the HMD 10 via the network.

以上、表示装置及び表示制御プログラムを上記実施形態により説明したが、本発明にかかる表示装置及び表示制御プログラムは上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。   The display device and the display control program have been described in the above embodiment, but the display device and the display control program according to the present invention are not limited to the above embodiment, and various modifications and improvements are within the scope of the present invention. Is possible. In addition, when there are a plurality of the above-described embodiments and modifications, they can be combined within a consistent range.

以上の説明に関し、更に以下の項を開示する。
（付記１）
外景に重畳させて重畳情報を表示する表示装置であって、
外界を撮影した画像を取得し、外界の照度値を取得する取得手段と、
取得した前記画像の前記重畳情報の表示領域の輝度を示す背景輝度値と、該画像の前記重畳情報の表示領域の周りの領域を含む領域の輝度を示す全体輝度値と、を算出し、取得した前記照度値に応じた輝度値を算出する算出手段と、
算出した前記全体輝度値と前記背景輝度値と前記輝度値とに基づき、表示輝度値を設定する輝度設定手段と、
設定した前記表示輝度値が前記表示装置が出力可能な輝度の限界値を超えると判定された場合、前記重畳情報を表示する色又は色の濃さを制御する色制御手段と、
を有する、表示装置。
（付記２）
前記色制御手段は、
前記重畳情報を表示する色又は色の濃さを段階的に制御する、
付記１に記載の表示装置。
（付記３）
前記色制御手段１７は、
前記重畳情報の表示領域内の背景画像及び伝達情報の少なくともいずれかの色又は色の濃さを変更する、
付記１又は２に記載の表示装置。
（付記４）
前記色制御手段１７は、
前記重畳情報の背景画像の色を変更する場合、前記重畳情報の背景領域のすべての領域又は前記重畳情報の背景領域のうちの前記伝達情報の周りの領域の色又は色の濃さを変更する、
付記１〜３のいずれか一項に記載の表示装置。
（付記５）
外景に重畳させて重畳情報を表示する処理をコンピュータに実行させるための表示制御プログラムであって、
外界を撮影した画像を取得し、外界の照度値を取得し、
取得した前記画像の前記重畳情報の表示領域の輝度を示す背景輝度値と、該画像の前記重畳情報の表示領域の周りの領域を含む領域の輝度を示す全体輝度値と、を算出し、取得した前記照度値に応じた輝度値を算出し、
算出した前記全体輝度値と前記背景輝度値と前記輝度値とに基づき、表示輝度値を設定し、
設定した前記表示輝度値が前記表示装置が出力可能な輝度の限界値を超えると判定された場合、前記重畳情報を表示する色又は色の濃さを制御する、
表示制御プログラム。
（付記６）
前記重畳情報を表示する色又は色の濃さを段階的に制御する、
付記５に記載の表示制御プログラム。
（付記７）
前記重畳情報の表示領域内の背景画像及び伝達情報の少なくともいずれかの色又は色の濃さを変更する、
付記５又は６に記載の表示制御プログラム。
（付記８）
前記重畳情報の背景画像の色を変更する場合、前記重畳情報の背景領域のすべての領域又は前記重畳情報の背景領域のうちの前記伝達情報の周りの領域の色又は色の濃さを変更する、
付記５〜７のいずれか一項に記載の表示制御プログラム。 Regarding the above description, the following items are further disclosed.
(Appendix 1)
A display device that displays superimposed information superimposed on an outside scene,
An acquisition means for acquiring an image of the outside world and acquiring an illuminance value of the outside world;
Obtain and obtain a background luminance value indicating the luminance of the display area of the superimposition information of the acquired image and an overall luminance value indicating the luminance of an area including the area around the display area of the superimposition information of the image Calculating means for calculating a luminance value according to the illuminance value,
Brightness setting means for setting a display brightness value based on the calculated overall brightness value, the background brightness value, and the brightness value;
When it is determined that the set display luminance value exceeds a limit value of luminance that can be output by the display device, a color control unit that controls a color or color intensity for displaying the superimposition information;
A display device.
(Appendix 2)
The color control means includes
Step by step to control the color or color intensity for displaying the superimposition information,
The display device according to appendix 1.
(Appendix 3)
The color control means 17
Changing the color or the color intensity of at least one of the background image and the transmission information in the display area of the superimposition information;
The display device according to appendix 1 or 2.
(Appendix 4)
The color control means 17
When changing the color of the background image of the superimposition information, the color or the color intensity of all the areas of the background area of the superimposition information or the area around the transmission information in the background area of the superimposition information is changed. ,
The display device according to any one of appendices 1 to 3.
(Appendix 5)
A display control program for causing a computer to execute processing for displaying superimposition information superimposed on an outside scene,
Get an image of the outside world, get the illuminance value of the outside world,
Obtain and obtain a background luminance value indicating the luminance of the display area of the superimposition information of the acquired image and an overall luminance value indicating the luminance of an area including the area around the display area of the superimposition information of the image Calculating a luminance value according to the illuminance value,
Based on the calculated overall brightness value, the background brightness value, and the brightness value, a display brightness value is set,
When it is determined that the set display luminance value exceeds a limit value of luminance that can be output by the display device, the color for displaying the superimposition information or the color intensity is controlled.
Display control program.
(Appendix 6)
Step by step to control the color or color intensity for displaying the superimposition information,
The display control program according to attachment 5.
(Appendix 7)
Changing the color or the color intensity of at least one of the background image and the transmission information in the display area of the superimposition information;
The display control program according to appendix 5 or 6.
(Appendix 8)
When changing the color of the background image of the superimposition information, the color or the color intensity of all the areas of the background area of the superimposition information or the area around the transmission information in the background area of the superimposition information is changed. ,
The display control program according to any one of appendices 5 to 7.

１０：ＨＭＤ
１１：取得手段
１２：読取手段
１３：重畳情報生成手段
１４：記憶手段
１５：算出手段
１６：輝度設定手段
１７：色制御手段
１８：重畳情報表示手段
２０：撮像カメラ
３０：照度センサ
４０：ディスプレイ
４１：画像全体の表示領域
４３：重畳情報の表示領域
４４：文字情報
４５：背景画像
１４１：照度／輝度テーブル
１４２：照度値
１４３：輝度値
１４５：透過率／色テーブル
１４６：透過率
１４７：背景色の濃さ 10: HMD
11: Acquisition means 12: Reading means 13: Superimposition information generation means 14: Storage means 15: Calculation means 16: Brightness setting means 17: Color control means 18: Superimposition information display means 20: Imaging camera 30: Illuminance sensor 40: Display 41 : Display area of entire image 43: Display area of superimposition information 44: Character information 45: Background image 141: Illuminance / luminance table 142: Illuminance value 143: Luminance value 145: Transmissivity / color table 146: Transmissivity 147: Background color Darkness of

Claims (5)

外景に重畳させて重畳情報を表示する表示装置であって、
外界を撮影した画像を取得し、外界の照度値を取得する取得手段と、
取得した前記画像の前記重畳情報の表示領域の輝度を示す背景輝度値と、該画像の前記重畳情報の表示領域の周りの領域を含む領域の輝度を示す全体輝度値と、を算出し、取得した前記照度値に応じた輝度値を算出する算出手段と、
算出した前記全体輝度値と前記背景輝度値と前記輝度値とに基づき、表示輝度値を設定する輝度設定手段と、
設定した前記表示輝度値が前記表示装置が出力可能な輝度の限界値を超えると判定された場合、前記重畳情報を表示する色又は色の濃さを制御する色制御手段と、
を有する、表示装置。 A display device that displays superimposed information superimposed on an outside scene,
An acquisition means for acquiring an image of the outside world and acquiring an illuminance value of the outside world;
Obtain and obtain a background luminance value indicating the luminance of the display area of the superimposition information of the acquired image and an overall luminance value indicating the luminance of an area including the area around the display area of the superimposition information of the image Calculating means for calculating a luminance value according to the illuminance value,
Brightness setting means for setting a display brightness value based on the calculated overall brightness value, the background brightness value, and the brightness value;
When it is determined that the set display luminance value exceeds a limit value of luminance that can be output by the display device, a color control unit that controls a color or color intensity for displaying the superimposition information;
A display device. 前記色制御手段は、
前記重畳情報を表示する色又は色の濃さを段階的に制御する、
請求項１に記載の表示装置。 The color control means includes
Step by step to control the color or color intensity for displaying the superimposition information,
The display device according to claim 1. 前記色制御手段は、
前記重畳情報の表示領域内の背景画像及び伝達情報の少なくともいずれかの色又は色の濃さを変更する、
請求項１又は２に記載の表示装置。 The color control means includes
Changing the color or the color intensity of at least one of the background image and the transmission information in the display area of the superimposition information;
The display device according to claim 1. 前記色制御手段は、
前記重畳情報の背景画像の色を変更する場合、前記重畳情報の背景領域のすべての領域又は前記重畳情報の背景領域のうちの前記伝達情報の周りの領域の色を変更する、
請求項１〜３のいずれか一項に記載の表示装置。 The color control means includes
When changing the color of the background image of the superimposition information, change the color of all the areas of the background area of the superimposition information or the area around the transmission information of the background area of the superimposition information,
The display apparatus as described in any one of Claims 1-3. 外景に重畳させて重畳情報を表示する処理をコンピュータに実行させるための表示制御プログラムであって、
外界を撮影した画像を取得し、外界の照度値を取得し、
取得した前記画像の前記重畳情報の表示領域の輝度を示す背景輝度値と、該画像の前記重畳情報の表示領域の周りの領域を含む領域の輝度を示す全体輝度値と、を算出し、取得した前記照度値に応じた輝度値を算出し、
算出した前記全体輝度値と前記背景輝度値と前記輝度値とに基づき、表示輝度値を設定し、
設定した前記表示輝度値が前記表示装置が出力可能な輝度の限界値を超えると判定された場合、前記重畳情報を表示する色又は色の濃さを制御する、
表示制御プログラム。 A display control program for causing a computer to execute processing for displaying superimposition information superimposed on an outside scene,
Get an image of the outside world, get the illuminance value of the outside world,
Obtain and obtain a background luminance value indicating the luminance of the display area of the superimposition information of the acquired image and an overall luminance value indicating the luminance of an area including the area around the display area of the superimposition information of the image Calculating a luminance value according to the illuminance value,
Based on the calculated overall brightness value, the background brightness value, and the brightness value, a display brightness value is set,
When it is determined that the set display luminance value exceeds a limit value of luminance that can be output by the display device, the color for displaying the superimposition information or the color intensity is controlled.
Display control program.
JP2015020430A 2015-02-04 2015-02-04 Display device and display control program Pending JP2016142988A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015020430A JP2016142988A (en) 2015-02-04 2015-02-04 Display device and display control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015020430A JP2016142988A (en) 2015-02-04 2015-02-04 Display device and display control program

Publications (1)

Publication Number Publication Date
JP2016142988A true JP2016142988A (en) 2016-08-08

Family

ID=56570365

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015020430A Pending JP2016142988A (en) 2015-02-04 2015-02-04 Display device and display control program

Country Status (1)

Country Link
JP (1) JP2016142988A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018120022A (en) * 2017-01-23 2018-08-02 株式会社ジャパンディスプレイ Display
JP2018120024A (en) * 2017-01-23 2018-08-02 株式会社ジャパンディスプレイ Display device
JP2018156055A (en) * 2017-03-16 2018-10-04 株式会社デンソーウェーブ Information display system
US10629106B2 (en) 2016-09-26 2020-04-21 Fujifilm Corporation Projection display device, projection display method, and projection display program
US10657722B2 (en) 2017-03-22 2020-05-19 Seiko Epson Corporation Transmissive display device, display control method, and computer program
JP2022040118A (en) * 2020-08-26 2022-03-10 ソフトバンク株式会社 Display control device, program, and system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015023381A (en) * 2013-07-18 2015-02-02 セイコーエプソン株式会社 Transmissive display device and method of controlling transmissive display device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015023381A (en) * 2013-07-18 2015-02-02 セイコーエプソン株式会社 Transmissive display device and method of controlling transmissive display device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10629106B2 (en) 2016-09-26 2020-04-21 Fujifilm Corporation Projection display device, projection display method, and projection display program
JP2018120022A (en) * 2017-01-23 2018-08-02 株式会社ジャパンディスプレイ Display
JP2018120024A (en) * 2017-01-23 2018-08-02 株式会社ジャパンディスプレイ Display device
JP2018156055A (en) * 2017-03-16 2018-10-04 株式会社デンソーウェーブ Information display system
US10657722B2 (en) 2017-03-22 2020-05-19 Seiko Epson Corporation Transmissive display device, display control method, and computer program
JP2022040118A (en) * 2020-08-26 2022-03-10 ソフトバンク株式会社 Display control device, program, and system
JP7285904B2 (en) 2020-08-26 2023-06-02 ソフトバンク株式会社 Display controller, program and system

Similar Documents

Publication Publication Date Title
JP2016142988A (en) Display device and display control program
KR102338576B1 (en) Electronic device which stores depth information associating with image in accordance with Property of depth information acquired using image and the controlling method thereof
JP6704910B2 (en) Video processor
US9118876B2 (en) Automatic skin tone calibration for camera images
WO2017090454A1 (en) Information processing device, information processing method, and program
TWI420405B (en) System and method for replacement of face images in a portable electronic device
US20170309075A1 (en) Image to item mapping
US20140292811A1 (en) Mixed reality image processing apparatus and mixed reality image processing method
US20170332009A1 (en) Devices, systems, and methods for a virtual reality camera simulator
JP6799017B2 (en) Terminal devices, systems, programs and methods
CN109639959B (en) Image processing apparatus, image processing method, and recording medium
KR20200043432A (en) Technology for providing virtual lighting adjustments to image data
JP2010193037A (en) Apparatus and program for creating pseudo-color image
US20240062030A1 (en) Colored visual markers for variable use
US20140301638A1 (en) Color extraction-based image processing method, computer-readable storage medium storing the same, and digital image apparatus
JP5202190B2 (en) Image processing method and image processing apparatus
US20180367776A1 (en) Image processing apparatus
US11842236B2 (en) Colored visual markers for variable use
KR101488647B1 (en) Virtual illumination of operating method and apparatus for mobile terminal
JP6168872B2 (en) Image processing apparatus, image processing method, and program
JP5418791B2 (en) Image processing apparatus, image processing method, and program
CN112655015A (en) Electronic device and method for controlling the same
JP5448799B2 (en) Display control apparatus and display control method
JP6914369B2 (en) Vector format small image generation
US11935285B1 (en) Real-time synthetic out of focus highlight rendering

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180831

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190305