Method and system for alignment of near-eye display

Abstract

A method for aligning a near-eye display (110) with an imaging module (120) includes placing the near-eye display (110) and the imaging module (120) at respective initial positions. The method also includes aligning a center of a virtual image rendered by the near-eye display (110) with an optical axis of the imaging module (120). The method further includes positioning the imaging module (120) at an eye point of an eye box of the near-eye display (110).

Description

METHOD AND SYSTEM FOR ALIGNMENT OF NEAR-EYE DISPLAYTECHNICAL FIELD

[0001] The present disclosure generally relates to near-eye display technology, and more particularly, to a method and system for aligning a near-eye display with an imaging module.BACKGROUND

[0002] Near-eye displays are typically used in Augmented Reality (AR) or Virtual Reality VR head-mounted display systems or head-up display systems. These display systems are composed of two principal components: an image generator and an optical combiner which transfers a projected image from the image generator to human eyes. The image generator generally takes the form of a projector equipped with micro displays and integrated optical lenses. The micro displays may be micro-Light Emitting Diodes (micro-LEDs) , micro-Organic Light Emitting Diodes (micro-OLEDs) , Liquid Crystal on Silicon (LCOS) , or Digital Light Processing (DLP) . Meanwhile, the optics combiner employs a group of reflective and / or diffractive optics, such as freeform mirrors / prisms, birdbath reflectors, cascaded mirrors, or grating couplers (waveguides) . Through the combined effort of the image generator and optical combiner, a virtual image is rendered and presented to the human eye.

[0003] To assess the quality of imagery, including contrast, field of view, modulation transfer function, distortion, and other factors, as well as to correct any artifacts (such as by De-MURA, which refers to a process for eliminating / suppressing visual artefacts and achieving relative uniformity for luminance and / or color in a display) present in near eye displays, tests and systems are typically constructed. The first fundamental step in setting up a near-eye display test system is alignment, which involves positioning a sample being tested (i.e., a near-eye display)  in relation to a light measuring device (LMD) . In near-eye displays, such as waveguide displays, there is typically an eye box, which is a 2D or 3D space in which the full field of view of the near-eye display can be observed. An eye point is defined as a central point within this space. Prior to conducting tests, the LMD is positioned at the eye point, and the rendered virtual image is aligned with the LMD (such as a camera) . The alignment method employed plays a role in determining the accuracy and repeatability of the entire testing system, and is a factor in high volume manufacturing processes.

[0004] In the existing technology, the detection of the eye point of the eye box is realized through the measurement of brightness and contrast (e.g., using a modulation transfer function (MTF) ) . However, certain near-eye displays may exhibit an uneven distribution of brightness or modulation contrast, thereby impeding the precise determination of the eye point position, and consequently inhibiting the accurate evaluation of the imaging quality of the near-eye display.

[0005] SUMMARY OF THE DISCLOSURE

[0006] Embodiments of the present disclosure provide a method for aligning a near-eye display with an imaging module. The method may include placing the near-eye display and the imaging module at respective initial positions. The method may also include aligning a center of a virtual image rendered by the near-eye display with an optical axis of the imaging module. The method may furthermore include positioning the imaging module at an eye point of an eye box of the near-eye display.

[0007] In another aspect, embodiments of the present disclosure provide a test system for a near-eye display. The test system may include an imaging module, and a positioning device coupled to the imaging module and the near-eye display. The test system may also include one  or more processors configured to: control the positioning device to place the near-eye display and the imaging module at respective initial positions; control the positioning device to align a center of a virtual image rendered by the near-eye display with an optical axis of the imaging module; and control the positioning device to position the imaging module at an eye point of an eye box of the near-eye display.

[0008] In still another aspect, embodiments of the present disclosure provide a method for determining a position of an eye point of an eye box of a near-eye display. The method may include determining a first boundary of the eye box along a first direction along a plane perpendicular to an optical axis of an imaging module. The method may also include determining a second boundary of the eye box along a second direction along the plane, the second direction being opposite to the first direction. The method may furthermore include determining a third boundary of the eye box along a third direction along the plane, the third direction being orthogonal to the first direction. The method may in addition include determining a fourth boundary of the eye box along a fourth direction along the plane, the fourth direction being opposite to the third direction. The method may moreover include determining a center of the eye box based on the first boundary, the second boundary, the third boundary, and the fourth boundary of the eye box. The method may also include designating the center of the eye box as the position of the eye point of the eye box of the near-eye display.

[0009] Other embodiments of this aspect include corresponding computer systems, apparatus, and computer programs recorded on one or more computer storage devices, each configured to perform the actions of the methods.BRIEF DESCRIPTION OF THE DRAWINGS

[0010] Embodiments and various aspects of the present disclosure are illustrated in the following detailed description and the accompanying figures. Various features shown in the figures are not drawn to scale.

[0011] FIG. 1A schematically illustrates a test system for a near-eye display (NED) , in accordance with certain embodiments of the present disclosure.

[0012] FIG. 1B schematically illustrates a planar partial view of a near-eye display (NED) , according to an embodiment of the present disclosure.

[0013] FIG. 2 illustrates a flowchart of an exemplary process for aligning a near-eye display with an imaging module, according to an embodiment of the present disclosure.

[0014] FIG. 3 illustrates a flowchart of an exemplary initial aligning process, according to an embodiment of the present disclosure.

[0015] FIG. 4 illustrates various images captured by an imaging module during an imaging-center aligning process and an eye-point aligning process, according to an embodiment of the present disclosure.

[0016] FIGS. 5A and 5B schematically illustrate a system in which an image-center alignment is performed, according to an embodiment of the present disclosure.

[0017] FIG. 6 illustrates a flowchart of an exemplary image-center aligning process, according to an embodiment of the present disclosure.

[0018] FIG. 7 schematically illustrates a system designed to detect a location of an eye point of an eye box of a near-eye display, in accordance with an embodiment of the present disclosure.

[0019] FIG. 8 illustrates a flowchart of an exemplary eye-point aligning process, according to an embodiment of the present disclosure.

[0020] FIGS. 9A and 9B schematically illustrate an example of various directions of movements of an imaging module, according to an embodiment of the present disclosure.

[0021] FIG. 10 schematically illustrates a system to detect a location of the eye point of the eye box of the NED, in accordance with certain embodiments of the present disclosure.

[0022] FIG. 11 illustrates a flowchart of an exemplary eye-point aligning process, according to another embodiment of the present disclosure.DETAILED DESCRIPTION

[0023] Reference will now be made in detail to exemplary embodiments, examples of which are illustrated in the accompanying drawings. The following description refers to the accompanying drawings in which the same numbers in different drawings represent the same or similar elements unless otherwise represented. The implementations set forth in the following description of exemplary embodiments do not represent all implementations consistent with the invention. Instead, they are merely examples of apparatuses and methods consistent with aspects related to the invention as recited in the appended claims. Particular aspects of the present disclosure are described in greater detail below. The terms and definitions provided herein control, if in conflict with terms and / or definitions incorporated by reference.

[0024] Embodiments of the present disclosure provide methods for aligning near-eye displays for testing purposes and a system for practicing the methods. The methods facilitate an efficacious means of positioning imaging modules and the near-eye displays and aligning the virtual image. This approach serves as a basis for near-eye display testing and system.

[0025] FIG. 1A schematically illustrates a test system 100 to detect visual artefacts of a near eye display (NED) , in accordance with certain embodiments of the present disclosure. Test system 100 includes a NED 110 that projects images onto human eyes (not shown) , an imaging module 120, a positioning device 130, and a processing module 140. Additionally, test system 100 may include an ambient light module (not shown) that may provide ambient light.

[0026] Specifically, NED 110 may be one of an AR (augmented reality) display, a VR (virtual reality) display, a Head-Up / Head-Mount display, or other displays. NED 110 may receive display data (e.g., a test pattern) provided by processing module 140, and render a virtual image based on the display data.

[0027] Positioning device 130 is coupled to NED 110 and imaging module 120, and is controlled by processing module 140 to adjust spatial positions of NED 110 and imaging module 120, thereby establishing an appropriate spatial relationship between NED 110 and imaging module 120. For instance, positioning device 130 can set the distance between NED 110 and imaging module 120 within a range of 10 mm to 25 mm. Moreover, positioning device 130 can adjust the relative orientations of NED 110 and imaging module 120. Positioning device 130 may, for example, be provided as a six-axis positioning system.

[0028] Imaging module 120 is configured to emulate the human eye to measure optical characteristics of NED 110 and to observe display performance of NED 110. In some embodiments, imaging module 120 includes a light measuring device (LMD) 122 and a lens 121. LMD 122 may be a colorimeter or an imaging camera such as a CCD (charge coupled device) or a CMOS (complementary metal oxide semiconductor) image sensor. Lens 121 is provided with a front aperture that has a small diameter of, for example, 1 mm to 6 mm. As a result, lens 121 can provide a wide view field (e.g., 60 -180 degrees) in front, and can emulate a human eye to  observe NED 110. Imaging module 120 measures the optical properties of a virtual image rendered by NED 110, and provides the measured data to processing module 140.

[0029] In some embodiments, NED 110 can include an image generator 111 configured to project an image, and an optical combiner (not shown) , also referred to herein as image optics (not shown in FIG. 1A) , configured to transfer the projected image to human eyes. Image generator 111 can be a micro display such as a micro-LED, micro-OLED, LCOS, or DLP display, and can be configured as a light engine with an additional projector lens, to project an image. In some embodiments, the micro display includes a micro display panel and a plurality of lenses. The micro display panel includes a micro light emitting array which can form an active emitting area. For example, the micro display panel can be a micro inorganic-LED display panel, a micro-OLED display panel, or a micro-LCD display panel. The image projected by image generator 111 is transferred to human eyes through the optical combiner. The optical combiner may include one or more of reflective and / or diffractive optics, such as a free form mirror / prism, birdbath, cascaded mirrors, or grating coupler (waveguide) , etc.

[0030] FIG. 1B schematically illustrates a planar partial view of NED 110, according to an embodiment of the present disclosure. In particular, FIG. 1B illustrates a left-side lens 113 of NED 110. As illustrated in FIG. 1B, NED 110 includes an outcoupling lighting region 115. Outcoupling lighting region 115 is a specific area within NED 110, where light output from NED 110 is extracted out of NED 110 and into the human eyes. Normally, outcoupling lighting region 115 is not located in the central region of the left-side lens 113 of NED 110, given that the human eye position is not typically aligned with the central region of the left-side lens 113 of NED 110.

[0031] Processing module 140 is configured to evaluate and improve uniformity / nonuniformity for the virtual image rendered in NED 110. In some embodiments, processing module 140 can be included in a computer or a server. In some embodiments, processing module 140 can be deployed in the cloud, which is not limited herein. In some embodiments, processing module 140 can include one or more processors.

[0032] In some embodiments, test system 100 may further include a driving module (not shown in FIG. 1A) for driving the image for display by NED 110. The driving module can be coupled to communicate with NED 110, specifically to communicate with image generator 111 of NED 110. For example, the driving module can be configured to adjust the gray values of image generator 111.

[0033] In certain embodiments, particularly those involving an augmented reality (AR) application, the ambient light module plays a role by providing ambient light. The ambient light module is configured to produce a uniform light source, complete with an appropriate color (D65, for example) , that facilitates background measurements and enables simulation of diverse scenarios, such as indoor, outdoor, or daylight conditions.

[0034] During a testing process of NED 110, and with a display driving system, NED 110 displays virtual images rendered according to specific test patterns. The alignment of imaging module 120 and NED 110 is controlled by positioning device 130, allowing for the acquisition of optical characteristics of the virtual images such as CIEXYZ distribution by imaging module 120. Subsequently, the acquired data of the optical characteristics is processed by processing module 140 (e.g., a PC-based processing system) for further calculations and analysis to obtain optical characteristics of NED 110, including contrast modulation transfer function (MTF) and demura (i.e., uniformation) , among others.

[0035] Prior to the testing process, an alignment process is performed to align NED 110 with imaging module 120. FIG. 2 illustrates a flowchart of an exemplary process 200 for aligning NED 110 with imaging module 120, according to an embodiment of the present disclosure. As illustrated in FIG. 2, firstly, an initial aligning is performed at step 210, which places NED 110 and imaging module 120 at respective initial positions. Secondly, an image-center aligning is performed at step 220, which aligns a center of a virtual image rendered by NED 110 with an optical axis of imaging module 120. Finally, an eye-point aligning is performed at step 230, which positions imaging module 120 at an eye point of an eye box of NED 110.

[0036] During the initial aligning at step 210, first, NED 110 is placed in a fixture (not shown) in front of imaging module 120. Then, the fixture is controlled by positioning device 130 to adjust the initial position of NED 110 relative to imaging module 120 to facilitate the capturing of virtual images, rendered by NED 110, by imaging module 120, as well as the subsequent processes of eye-point and image center alignment. In some embodiments, the position adjustment may be performed for imaging module 120 instead of NED 110.

[0037] FIG. 3 illustrates a flowchart showing further details of initial aligning process 210 (FIG. 2) , according to an embodiment of the present disclosure. As illustrated in FIG. 3, first, geo-center aligning of NED 110 is performed at step 212. Specifically, first, NED 110 is fixed in the fixture, and angles (such as pitch, yaw, and roll) of the fixture are adjusted (e.g., by positioning device 130) to ensure that a two-dimension surface of an optical display of NED 110 is perpendicular to an optical axis 124 of imaging module 120. For example, when NED 110 includes a waveguide, the two-dimensional surface of the optical display of NED 110 refers to a surface of the waveguide facing a light extracting direction of NED 110. Hereinafter,  the two-dimensional surface of the optical display of NED 110 is referred to as a “display surface” of NED 110. Subsequently, the fixture is translated in X-and Y-directions (as illustrated in FIG. 1A) to align an outcoupling lighting center of NED 110 with an optical center of LMD 122 of imaging module 120. The outcoupling lighting center of NED 110 is a center of outcoupling lighting region 115 of NED 110 (as illustrated in FIG. 1B) . The outcoupling lighting center of NED 110 can be accurately determined by imaging the outcoupling lighting region 115 by using a camera. For example, the camera can be a general camera that can capture images of the outcoupling lighting region 115 at a close range, and the outcoupling lighting center can be determined by extracting an outline of the outcoupling lighting region 115 from the captured image, and determining the center based on the extracted outline. During this step, the optical center of LMD 122 needs to be roughly positioned within the range of an eye box of NED 110, and more accurate alignment can then be achieved by the subsequent eye-point aligning process at step 220.

[0038] In certain embodiments, step 212 employs a line scan camera to obtain a spatial position and a structure of NED 110. Subsequently, a geo-center aligning of NED 110 is performed, taking into account the aforementioned spatial position and structure of NED 110 provided by the line scan camera. Here, a line scan camera is a type of digital camera that captures images one line at a time. Instead of capturing the entire image at once like traditional cameras, a line scan camera captures an image of an object through line by line scanning . Each line image is captured as a series of pixels, and the final image is created by combining these line images together.

[0039] At step 213, an eye relief setting is performed to adjust a distance in a Z direction (as illustrated in FIG. 1A) between NED 110 and imaging module 120 based on an eye relief  distance of NED 110. The eye relief distance may be defined in a specification of NED 110. The eye relief distance typically falls within a range of 10 mm to 25 mm. In certain embodiments, the distance between NED 110 and imaging module 120 may initially be set to a value greater than the eye relief distance in order to prevent peripheral collision (e.g., with the frames of NED 110) . Once the eye-point aligning at step 220 has been completed, the distance may then be further adjusted to achieve the desired eye relief distance.

[0040] At step 214, the display driving system provides a test pattern (e.g., a point array or a crosshair pattern) to NED 110, which renders a virtual image with the test pattern. Then, LMD 122 of imaging module 120 captures the rendered virtual image, and transmits the captured image to processing module 140. Processing module 140 then adjusts lens 121 of imaging module 120 to focus the rendered virtual image.

[0041] Referring again to FIG. 2, following the initial aligning step 210, the process 200 proceeds to step 220 where the image-center aligning is performed. During the image-center aligning process, the virtual image rendered by NED 110 is aligned with imaging module 120. It is noted that there may be an assembling angle between imaging module 120 and the optical combiner of NED 110, also known as a boresight or clocking angle. In this regard, FIG. 4 illustrates various images captured by an imaging module during the image-center aligning at step 220 and the eye-point aligning process at step 230, according to an embodiment of the present disclosure. Here, image “e” may represent an image captured by imaging module 120 in the presence of such a clocking (roll) angle between imaging module 120 and the optical combiner of NED 110. To ensure that the optical image data is accurately captured, the image-center alignment is performed.

[0042] FIGS. 5A and 5B schematically illustrate a system 500 in which the image-center alignment is performed, according to an embodiment of the present disclosure. FIG. 5A schematically illustrates a projection view of system 500. FIG. 5B schematically illustrates a perspective view of system 500.

[0043] Specifically, in FIGS. 5A and 5B, 501 denotes a region captured by imaging module 120, and A1 denotes an optical center of imaging module 120. Meanwhile, 502 denotes the virtual image (e.g., a test pattern) rendered by NED 110, and A2 denotes a center of virtual image 502. Distances between A1 and A2 in the X-and Y-directions are respectively represented by ΔX and ΔY, respectively. Additionally, L1 denotes an optical axis of imaging module 120, L2 represents an optical axis of virtual image 502, D represents a virtual image distance, and θ represents an angle between L1 and L2. The virtual image distance D is predefined. For example, the virtual image distance D may be 6 meters.

[0044] FIG. 6 illustrates a flowchart showing further details of an exemplary process for the image-center aligning step 220 (FIG. 2) in system 500, according to an embodiment of the present disclosure. The process of the image-center aligning step 220 may be performed by processing module 140.

[0045] With reference to FIGS. 5A, 5B, and 6, at step 221, processing module 140 determines a position of optical center A1 of imaging module 120. At step 222, processing module 140 determines a position of virtual image center A2. At step 223, processing module 140 calculates distances ΔX and ΔY between optical center A1 and virtual image center A2. At step 224, processing module 140 calculates angle θ between optical axes L1 and L2 based on the distances ΔX and ΔY. Angle θ, which is represented by θX in the X-direction and θY in the Y-direction, may be calculated by,

[0046] At step 225, processing module 140 determines whether angle θ (calculated based on θX and θY) reaches a predetermined threshold value, e.g., is less than or equal to 0. If this is not the case (step 225: No) , processing module 140 proceeds to step 226 to control positioning device 130 to adjust the position of imaging module 120 according to the calculated angle θ. Then, processing module 140 iterates through steps 221-226 until the angle θ between optical axis L1 and L2 reaches the predetermined threshold value (step 225: Yes) . In such a case, processing module 140 concludes the image-center aligning process. In addition, after the image-center adjustment, a clocking direction adjustment of image is operated, as shown as image “e” in FIG. 4, through moving imaging module (camera) in RZ (Roll) direction.

[0047] At step 220 of image-center aligning, processing module 140 controls positioning device 130 to move imaging module 120, such that the center of the virtual image rendered by NED 110 is aligned with imaging module 120. For example, image “f” in FIG. 4 represents an image captured when imaging module 120 is not aligned with the image center in the RX-direction (Yaw) ; image “g” in FIG. 4 represents an image captured when imaging module 120 is not aligned with the image center in the RY-direction (Pitch) ; and image “e” in FIG. 4 represents an image captured when imaging module 120 is not aligned with the image center in the RZ-direction (Roll / Clocking) .

[0048] Referring back to FIG. 2, after the image-center aligning step 220, the eye-point aligning is performed at step 230. The eye-point aligning involves detecting the eye point of the eye box of NED 110, and positioning imaging module 120 at the eye point. The detection of the eye point is achieved by scanning the boundary of the eye box, and calculating the center of the  eye box. The boundary may be scanned in two dimensions, vertically and horizontally (X, Y) , and an iterative process can be used to accurately determine the exact boundary.

[0049] FIG. 7 schematically illustrates a system 700 to detect the location of the eye point of the eye box of NED 110, in accordance with certain embodiments of the present disclosure. As illustrated in FIG. 7, system 700 includes NED 110, and imaging module 120 including lens 121 and LMD 122. Imaging module 120 is arranged in an outcoupling optical axis 124 of NED 110. Additionally, system 700 includes processing module 140 and positioning device 130 including a Z-direction translation component 720, an X-direction translation component 730, a Y-direction translation component 740, and an XYZ angle fine-tuning platform 750. Y-direction translation component 740 is connected to X-direction translation component 730 in a sliding manner. X-direction translation component 730 is connected to Z-direction translation component 720 in a sliding manner. XYZ angle fine-tuning platform 750 is connected to Y-direction translation component 740 in a sliding manner. Imaging module 120 is fixedly connected to XYZ angle fine-tuning platform 750. As depicted in FIG. 7, the X-and Y-directions are orthogonal to each other, and are along a plane (X-Y plane) perpendicular to optical axis 124 of imaging module 120. The Z direction is perpendicular to the X-Y plane.

[0050] FIG. 8 illustrates a flowchart showing further details of exemplary eye-point aligning step 230 (FIG. 2) , according to an embodiment of the present disclosure. Eye-point aligning step 230 encompasses steps 231-237 for determining a position of the eye point of the eye box of NED 110, and step 238 for placing imaging module 120 at the determined eye point position. Images “a” , “b” , “c” , and “d” of FIG. 4 are various images captured by imaging module 120 during the eye-point aligning process 230, according to an embodiment of the present disclosure.

[0051] Specifically, at step 231, a maximum image area SX_Max and a maximum image area SY_Max are determined. Maximum image area SX_Max refers to a maximum area of the test pattern present in a captured image when imaging module 120 moves in a horizontal (X) direction. Maximum image area SY_Max refers to a maximum area of the test pattern present in a captured image when imaging module 120 moves in a vertical (Y) direction. The process involves first rendering a virtual image with a test pattern by NED 110. The test pattern is horizontally and vertically symmetrical. In determining the maximum image area SX_Max, imaging module 120 is driven by X-direction translation component 730 to translate left and right horizontally (back and forth in the X-direction) . During these translations, LMD 122 of imaging module 120 captures a series of images of its field of view, which are subsequently transmitted to processing module 140. Processing module 140 employs image threshold segmentation to identify the test pattern present in each captured image, and subsequently calculates an area S of the identified test pattern. As imaging module 120 moves left and right horizontally (in the X-direction) , processing module 140 detects a maximum value of the calculated area S, and designates the maximum value as the maximum image area SX_Max.

[0052] In determining the maximum image area SY_Max, imaging module 120 is driven by Y-direction translation component 740 to translate up and down vertically (back and forth in the Y-direction) . During these translations, LMD 112 of imaging module 120 captures a series of images of its field of view, which are subsequently transmitted to processing module 140, which, for each captured image, identifies the test pattern present in the captured image and calculates an area S of the identified pattern. As imaging module 120 moves up and down vertically (in the Y-direction) , processing module 140 detects a maximum value of the calculated area S, and designates the maximum value as the maximum image area SY_Max.

[0053] At step 232, processing module 140 selects one of left (X+) , right (X-) , up (Y+) , and down (Y-) directions, in order to determine an eye box boundary in the selected direction. FIGS. 9A and 9B schematically illustrate an example of the various directions of movements of imaging module 120, according to an embodiment of the present disclosure. Specifically, FIG. 9A is a planar view of various directions of movements of imaging module 120, and FIG. 9B is a perspective view of various directions of movements of imaging module 120.

[0054] At step 233, processing module 140 controls positioning device 130 to move imaging module 120 in the selected direction. Taking the left (X+) direction as an example. Processing module 140 may control X-direction translation component 730 of positioning device 130 to move imaging module 120 in the X+ direction. The movement may occur in incremental steps, with each step covering a set distance in the X+ direction. Once imaging module 120 completes the incremental movement, processing module 140 controls LMD 122 of imaging module 120 to capture an image of its field of view and to transmit the captured image to processing module 140.

[0055] At step 234, processing module 140 identifies the test pattern in the captured image by means of image threshold segmentation. Then, processing module 140 calculates an area S of the identified test pattern.

[0056] At step 235, processing module 140 determines whether the calculated area S is less than or equal to a predetermined percentage (e.g., 60%) of the maximum image area in the selected direction. Continuing with the example of the left (X+) direction, processing module 140 may determine whether the calculated area S is less than or equal to, for example, 60%×SX_Max. If this condition is not met (step 235: No) , processing module 140 proceeds to iterate steps 233, 234, and 235 until the condition is met. That is, processing module 140 controls  imaging module 120 to move another step in the left (X+) direction and capture an image of its field of view (step 233) , identifies the test pattern in the captured image and calculates an area S of the identified test pattern (step 234) , and compares the calculated area S with 60%× SX_Max. As steps 233, 234, and 235 are repeated and imaging module 120 incrementally moves in the selected direction in a stepwise manner, the area of the test pattern shown in the captured image gradually decreases, until the area finally becomes less than or equal to 60%× SX_Max. In such case, processing module 140 concludes that a left-side boundary of the eye box boundary has been found. For example, image “a” in FIG. 4 is an image captured when a left-side boundary is found. Similarly, image “b” is an image captured when a right-side boundary is found; image “c” is an image captured when a lower boundary is found; and image “d” is an image captured when an upper boundary is found.

[0057] If the calculated area S is less than or equal to a predetermined percentage of the maximum image area in the selected direction, then processing module 140 determines that an eye box boundary in the selected direction has been found (step 235: Yes) . In such case, processing module 140 retains a coordinate of imaging module 120 for the selected direction. For example, when processing module 140 determines that the left-side boundary of the eye box has been found, processing module 140 retains a coordinate of imaging module 120 in the X-direction as X1. Following this, processing module 140 proceeds to step 236.

[0058] At step 236, processing module 140 determines whether all possible directions (left, right, up, down) have been considered. If so (step 236: Yes) , processing module 140 proceeds to step 237. Otherwise (step 236: No) , processing module 140 repeats steps 232-236 until all of the directions have been considered, i.e., until all of the boundaries (left-side, right- side, upper, and lower) have been found, and the corresponding coordinates X1, X2, Y1, and Y2 have been retained.

[0059] At step 237, processing module 140 determines a position of an eye point within the eye box based on the coordinates corresponding to the boundaries of the eye box. The eye point is the center of the eye box. Thus, a position of the eye point in the X-direction is obtained by summing up half of the values of X1 and X2, i.e.,  Similarly, a position of the eye point in the Y-direction is obtained by summing up half of the values of Y1 and Y2, i.e.,

[0060] At step 238, processing module 140 controls positioning device 130 to move imaging module 120 to the eye point position, such that imaging module 120 is aligned with the eye point position. For example, each one of images “a” and “b” in FIG. 4 represents an image captured when imaging module 120 is not aligned with the eye point position in the X-direction; each one of images “c” and “d” in FIG. 4 represents an image captured when imaging module 120 is not aligned with the eye point position in the Y-direction; and image “P” in FIG. 4 represents an image captured when imaging module 120 is aligned with the eye point position in both of the X-and Y-direction.

[0061] FIG. 10 schematically illustrates a system 1000 to detect the location of the eye point of the eye box of NED 110, in accordance with certain embodiments of the present disclosure. The components in system 1000 are similar to those in system 700 of FIG. 7 except that system 1000 additionally includes a secondary camera 1010, distinct from imaging module  120, and positioned at a different location. For example, as illustrated in FIG. 10, secondary camera 1010 is positioned outside optical axis 124 of imaging module 120.

[0062] FIG. 11 illustrates a flowchart of an exemplary eye-point aligning process 1100 using system 1000, according to another embodiment of the present disclosure.

[0063] As illustrated in FIG. 11, first, at step 1101, NED 110 is controlled to generate a virtual image with a test pattern. Secondary camera 1010 then captures an image of an outcoupling lighting region of NED 110 and transmits the captured image to processing module 140. At step 1102, processing module 140 analyzes the captured image and identifies a center of the outcoupling lighting region. This center is then designated as the eye point of the eye box of NED 110. At step 1103, processing module 140 controls positioning device 130 to align imaging module 120 with the eye point.

[0064] The embodiments of the present disclosure present methods and systems that allow for the location of the eye point within the eye box to be determined. With this information, it becomes possible to achieve accurate alignment of the near-eye display with the imaging module. Such alignment ensures that the imaging quality of the near-eye display can be evaluated accurately. By evaluating the imaging quality of the near-eye display with such precision, the system can yield accurate results that will assist in enhancing the overall quality of the display image. Thus, the method and system of the embodiments of the present disclosure can be of great benefit to those involved in the development and optimization of near-eye display systems.

[0065] In the foregoing specification, embodiments have been described with reference to numerous specific details that can vary from implementation to implementation. Certain adaptations and modifications of the described embodiments can be made. Other embodiments  can be apparent to those skilled in the art from consideration of the specification and practice of the invention disclosed herein. It is intended that the specification and examples be considered as exemplary only, with a true scope and spirit of the invention being indicated by the following claims. It is also intended that the sequence of steps shown in figures are only for illustrative purposes and are not intended to be limited to any particular sequence of steps. As such, those skilled in the art can appreciate that these steps can be performed in a different order while implementing the same method.

[0066] In the drawings and specification, there have been disclosed exemplary embodiments. However, many variations and modifications can be made to these embodiments. Accordingly, although specific terms are employed, they are used in a generic and descriptive sense only and not for purposes of limitation.

Claims

1.A method for aligning a near-eye display with an imaging module, the method comprising:placing the near-eye display and the imaging module at respective initial positions;aligning a center of a virtual image rendered by the near-eye display with an optical axis of the imaging module; andpositioning the imaging module at an eye point of an eye box of the near-eye display.2.The method of claim 1, wherein the placing of the near-eye display and the imaging module at the respective initial positions includes:adjusting a position of a display surface of the near-eye display to be perpendicular to an optical axis of the imaging module;aligning an outcoupling lighting center of the near-eye display with an optical center of the imaging module;adjusting a distance between the near-eye display and the imaging module based on an eye relief distance;capturing, by the imaging module, the virtual image rendered by the near-eye display; andadjusting a lens in the imaging module to focus the captured image.3.The method of claim 2, wherein the eye relief distance ranges from approximately 10 mm to approximately 25 mm.4.The method of claim 2, wherein the adjusting of the distance between the near-eye display and the imaging module based on the eye relief distance includes:adjusting the distance between the near-eye display and the imaging module to be greater than the eye relief distance; andafter positioning the imaging module at the position of the eye point, adjusting the distance between the near-eye display and the imaging module to be equal to the eye relief distance.5.The method of claim 2, further comprising:obtaining a spatial position and a structure of the near-eye display using a line scan camera.6.The method of claim 1, wherein the positioning of the imaging module at the eye point of the eye box of the near-eye display includes:determining a position of the eye point of the eye box of the near-eye display based on the virtual image rendered by the near-eye display; andpositioning the imaging module at the determined position.7.The method of claim 6, wherein the determining of the position of the eye point of the eye box of the near-eye display includes:determining a first boundary of the eye box along a first direction along a plane perpendicular to an optical axis of the imaging module;determining a second boundary of the eye box along a second direction along the plane, the second direction being opposite to the first direction;determining a third boundary of the eye box along a third direction along the plane, the third direction being orthogonal to the first direction;determining a fourth boundary of the eye box along a fourth direction along the plane, the fourth direction being opposite to the third direction;determining a center of the eye box based on the first boundary, the second boundary, the third boundary, and the fourth boundary of the eye box; anddesignating the center of the eye box as the position of the eye point of the eye box of the near-eye display.8.The method of claim 7, further comprising determining a first maximum image area and a second maximum image area,wherein the determining of the first maximum image area includes:moving the imaging module back and forth along the first direction and the second direction;obtaining, from the imaging module, a series of captured images of the virtual image while the imaging module moves;for each of the captured images, determining an area of a test pattern present in the captured image;detecting a maximum value of the determined area of the test pattern present in the captured images; anddesignating the maximum value as the first maximum image area, andthe determining of the second maximum image area includes:moving the imaging module back and forth along the third direction and the fourth direction;obtaining, from the imaging module, a series of captured images of the virtual image while the imaging module moves;for each of the captured images, determining an area of a test pattern present in the captured image;detecting a maximum value of the determined area of test pattern present in the captured images; anddesignating the maximum value as the second maximum image area.9.The method of claim 8, wherein the determining of the first boundary of the eye box includes:moving the imaging module along the first direction;obtaining, from the imaging module, a first series of captured images of the virtual image rendered by the near-eye display while the imaging module moves along the first direction;for each of the first series of captured images, determining an area of a test pattern present in the captured image;determining a position of the imaging module in the first direction when the determined area is less than or equal to a predetermined percentage of the first maximum image area; anddesignating the position of the imaging module in the first direction as the first boundary of the eye box.10.The method of claim 8, wherein the determining of the second boundary of the eye box includes:moving the imaging module along the second direction;obtaining, from the imaging module, a second series of captured images of the virtual image while the imaging module moves along the second direction;for each of the second series of captured images, determining an area of a test pattern present in the captured image;determining a position of the imaging module in the second direction when the determined area is less than or equal to the predetermined percentage of the first maximum image area; anddesignating the position of the imaging module in the second direction as the second boundary of the eye box.11.The method of claim 8, wherein the determining of the third boundary of the eye box includes:moving the imaging module along the third direction;obtaining, from the imaging module, a third series of captured images of the virtual image while the imaging module moves along the third direction;for each of the third series of captured images, determining an area of a test pattern present in the captured image;determining a position of the imaging module in the third direction when the determined area is less than or equal to the predetermined percentage of the second maximum image area; anddesignating the position of the imaging module in the third direction as the third boundary of the eye box.12.The method of claim 8, wherein the determining of the fourth boundary of the eye box includes:moving the imaging module along the fourth direction;obtaining, from the imaging module, a fourth series of captured images of the virtual image while the imaging module moves along the fourth direction;for each of the fourth series of captured images, determining an area of a test pattern present in the captured image;determining a position of the imaging module in the fourth direction when the determined area is less than or equal to the predetermined percentage of the second maximum image area; anddesignating the position of the near-eye display in the fourth direction as the fourth boundary of the eye box.13.The method of claim 6, wherein the determining of the position of the eye point of the eye box of the near-eye display includes:capturing an image of an outcoupling lighting region of the near-eye display by an external camera;determining a center of the outcoupling lighting region based on the captured image; anddesignating the center of the virtual image as the position of the eye point of the eye box of the near-eye display.14.The method of claim 1, wherein the aligning the center of the virtual image rendered by the near-eye display with the optical axis of the imaging module includes steps of:determining a position of an optical center of the imaging module;determining a position of the center of the virtual image rendered by the near-eye display;determining an angle between the optical axis of the imaging module and an optical axis of the virtual image, based on a distance between the optical center of the imaging module and the center of the virtual image;adjusting the position of the imaging module based on the angle; andrepeating the above steps until the angle between the optical axis of the imaging module and the optical axis of the virtual image is less than a predetermined value.15.The method of claim 14, wherein the angle between the optical axis of the imaging module and the optical axis of the virtual image is determined by the following equation: where θX is the angle in an X-direction, θY is the angle in a Y-direction, (ΔX, ΔY) represents the distance between the optical center of the imaging module and the center of the virtual image in the X-and Y-direction, and D is a distance between the near-eye display and the virtual image.16.A test system for a near-eye display, comprising:an imaging module;a positioning device coupled to the imaging module and the near-eye display; andone or more processors configured to:control the positioning device to place the near-eye display and the imaging module at respective initial positions;control the positioning device to align a center of a virtual image rendered by the near-eye display with an optical axis of the imaging module; andcontrol the positioning device to position the imaging module at an eye point of an eye box of the near-eye display.17.The test system of claim 16, wherein, in placing the near-eye display and the imaging module at the respective initial positions, the one or more processors are configured to:control the positioning device to adjust a position of a display surface of the near-eye display to be perpendicular to an optical axis of the imaging module;control the positioning device to align an outcoupling lighting center of the near-eye display with an optical center of the imaging module;control the positioning device to adjust a distance between the near-eye display and the imaging module based on an eye relief distance;control the imaging module to capture the virtual image rendered by the near-eye display; andcontrol the imaging module to adjust a lens in the imaging module to focus the captured image.18.The test system of claim 17, wherein the eye relief distance ranges from approximately 10mm to approximately 25mm.19.The test system of claim 17, wherein, in adjusting the distance between the near-eye display and the imaging module based on the eye relief distance, the one or more processors are configured to:control the positioning device to adjust the distance between the near-eye display and the imaging module to be greater than the eye relief distance; andafter positioning the imaging module at the position of the eye point, control the positioning device to adjust the distance between the near-eye display and the imaging module to be equal to the eye relief distance.20.The test system of claim 17, wherein the one or more processors are further configured to:obtain a spatial position and a structure of the near-eye display using a line scan camera.21.The test system of claim 16, wherein, in positioning the imaging module at the eye point of the eye box of the near-eye display, the one or more processors are configured to:determine a position of the eye point of the eye box of the near-eye display based on the virtual image rendered by the near-eye display; andcontrol the positioning device to position the imaging module at the determined position.22.The test system of claim 21, wherein, in determining the position of the eye point of the eye box of the near-eye display, the one or more processors are configured to:determine a first boundary of the eye box along a first direction along a plane perpendicular to an optical axis of the imaging module;determine a second boundary of the eye box along a second direction along the plane, the second direction being opposite to the first direction;determine a third boundary of the eye box along a third direction along the plane, the third direction being orthogonal to the first direction;determine a fourth boundary of the eye box along a fourth direction along the plane, the fourth direction being opposite to the third direction;determine a center of the eye box based on the first boundary, the second boundary, the third boundary, and the fourth boundary of the eye box; anddesignate the center of the eye box as the position of the eye point of the eye box of the near-eye display.23.The test system of claim 22, wherein the one or more processors are further configured to determine a first maximum image area and a second maximum image area,in determining the first maximum image area, the one or more processors are configured to:control the positioning device to move the imaging module back and forth along the first direction and second direction;obtain, from the imaging module, a series of captured images of the virtual image while the imaging module moves;for each of the captured images, determine an area of a test pattern present in the captured image;detect a maximum value of the determined area of the test pattern present in the captured images; anddesignate the maximum value as the first maximum image area, andin determining the second maximum image area, the one or more processors are configured to:control the positioning device to move the imaging module back and forth along the third direction and the fourth direction;obtain, from the imaging module, a series of captured images of the virtual image while the imaging module moves;for each of the captured image, determine an area of a test pattern present in the captured image;detect a maximum value of the determined area of the test pattern present in the captured images; anddesignate the maximum value as the second maximum image area.24.The test system of claim 23, wherein, in determining the first boundary of the eye box, the one or more processors are configured to:control the positioning device to move the imaging module along the first direction;obtain, from the imaging module, a first series of captured images of the virtual image rendered by the near-eye display while the imaging module moves along the first direction;for each of the first series of captured images, determine an area of a test pattern present in the captured image;determine a position of the imaging module in the first direction when the determined area is less than or equal to a predetermined percentage of the first maximum image area; anddesignate the position of the imaging module in the first direction as the first boundary of the eye box.25.The test system of claim 23, wherein, in determining the second boundary of the eye box, the one or more processors are configured to:control the positioning device to move the imaging module along the second direction;obtain, from the imaging module, a second series of captured images of the virtual image rendered by the near-eye display while the imaging module moves along the second direction;for each of the second series of captured images, determine an area of a test pattern present in the captured image;determine a position of the imaging module in the second direction when the determined area is less than or equal to the predetermined percentage of the first maximum image area; anddesignate the position of the imaging module in the second direction as the second boundary of the eye box.26.The test system of claim 23, wherein, in determining the third boundary of the eye box, the one or more processors are configured to:control the positioning device to move the imaging module along the third direction;obtain, from the imaging module, a third series of captured images of the virtual image rendered by the near-eye display while the imaging module moves along the third direction;for each of the third series of captured images, determine an area of a test pattern present in the captured image;determine a position of the imaging module in the third direction when the determined area is less than or equal to the predetermined percentage of the second maximum image area; anddesignate the position of the imaging module in the third direction as the third boundary of the eye box.27.The test system of claim 23, wherein, in determining the fourth boundary of the eye box, the one or more processors are configured to:control the positioning device to move the imaging module along the fourth direction;obtain, from the imaging module, a fourth series of captured images of the virtual image rendered by the near-eye display while the imaging module moves along the fourth direction;for each of the fourth series of captured images, determine an area of a test pattern present in the captured image;determine a position of the imaging module in the fourth direction when the determined area is less than or equal to the predetermined percentage of the second maximum image area; anddesignate the position of the near-eye display in the fourth direction as the fourth boundary of the eye box.28.The test system of claim 21, wherein, in determining the position of the eye point of the eye box of the near-eye display, the one or more processors are configured to:obtain an image of an outcoupling lighting region of the near-eye display captured by an external camera;determine a center of the outcoupling lighting region based on the obtained image; anddesignate the center of the virtual image as the position of the eye point of the eye box of the near-eye display.29.The test system of claim 16, wherein, in aligning the center of the virtual image rendered by the near-eye display with the optical axis of the imaging module, the one or more processors are configured to perform steps of:determine a position of an optical center of the imaging module;determine a position of the center of the virtual image rendered by the near-eye display;determine an angle between the optical axis of the imaging module and an optical axis of the virtual image, based on a distance between the optical center of the imaging module and the center of the virtual image;control the positioning device to adjust the position of the imaging module based on the angle; andrepeat the above steps until the angle between the optical axis of the imaging module and the optical axis of the virtual image is less than a predetermined value.30.The test system of claim 29, wherein the angle between the optical axis of the imaging module and an optical axis of the virtual image is determined by the following equation: where θX is the angle in an X-direction, θY is the angle in a Y-direction, (ΔX, ΔY) represents the distance between the optical center of the imaging module and the center of the virtual image in the X-and Y-direction, and D is a distance between the near-eye display and the virtual image.31.A method for determining a position of an eye point of an eye box of a near-eye display, the method comprising:determining a first boundary of the eye box along a first direction along a plane perpendicular to an optical axis of an imaging module;determining a second boundary of the eye box along a second direction along the plane, the second direction being opposite to the first direction;determining a third boundary of the eye box along a third direction along the plane, the third direction being orthogonal to the first direction;determining a fourth boundary of the eye box along a fourth direction along the plane, the fourth direction being opposite to the third direction;determining a center of the eye box based on the first boundary, the second boundary, the third boundary, and the fourth boundary of the eye box; anddesignating the center of the eye box as the position of the eye point of the eye box of the near-eye display.32.The method of claim 31, further comprising determining a first maximum image area and a second maximum image area,wherein the determining of the first maximum image area includes:moving the imaging module back and forth along the first direction and the second direction;obtaining, from the imaging module, a series of captured images of the virtual image while the imaging module moves;for each of the captured images, determining an area of a test pattern present in the captured image;detecting a maximum value of the determined area of the test pattern present in the captured images; anddesignating the maximum value as the first maximum image area, andwherein the determining of the first maximum image area includes:moving the imaging module back and forth along the third direction and the fourth direction;obtaining, from the imaging module, a series of captured images of the virtual image while the imaging module moves;for each of the captured images, determining an area of a test pattern present in the captured image;detecting a maximum value of the determined area of test pattern present in the captured images; anddesignating the maximum value as the second maximum image area.33.The method of claim 32, wherein the determining of the first boundary of the eye box includes:moving the imaging module along the first direction;obtaining, from the imaging module, a first series of captured images of the virtual image rendered by the near-eye display while the imaging module moves along the first direction;for each of the first series of captured images, determining an area of a test pattern present in the captured image;determining a position of the imaging module in the first direction when the determined area is less than or equal to a predetermined percentage of the first maximum image area; anddesignating the position of the imaging module in the first direction as the first boundary of the eye box.34.The method of claim 32, wherein the determining of the second boundary of the eye box includes:moving the imaging module along the second direction;obtaining, from the imaging module, a second series of captured images of the virtual image while the imaging module moves along the second direction;for each of the second series of captured images, determining an area of a test pattern present in the captured image;determining a position of the imaging module in the second direction when the determined area is less than or equal to the predetermined percentage of the first maximum image area; anddesignating the position of the imaging module in the second direction as the second boundary of the eye box.35.The method of claim 32, wherein the determining of the third boundary of the eye box includes:moving the imaging module along the third direction;obtaining, from the imaging module, a third series of captured images of the virtual image while the imaging module moves along the third direction;for each of the third series of captured images, determining an area of a test pattern present in the captured image;determining a position of the imaging module in the third direction when the determined area is less than or equal to the predetermined percentage of the second maximum image area; anddesignating the position of the imaging module in the third direction as the third boundary of the eye box.36.The method of claim 32, wherein the determining of the fourth boundary of the eye box includes:moving the imaging module along the fourth direction;obtaining, from the imaging module, a fourth series of captured images of the virtual image while the imaging module moves along the fourth direction;for each of the fourth series of captured images, determining an area of a test pattern present in the captured image;determining a position of the imaging module in the fourth direction when the determined area is less than or equal to the predetermined percentage of the second maximum image area; anddesignating the position of the near-eye display in the fourth direction as the fourth boundary of the eye box.37.A system for determining a position of an eye point of an eye box of a near-eye display, the system comprising:an imaging module;a positioning device coupled to the near-eye display; andone or more processors configured to:determine a first boundary of the eye box along a first direction along a first direction along a plane perpendicular to an optical axis of the imaging module;determine a second boundary of the eye box along a second direction along the plane, the second direction being opposite to the first direction;determine a third boundary of the eye box along a third direction along the plane, the third direction being orthogonal to the first direction;determine a fourth boundary of the eye box along a fourth direction along the plane, the fourth direction being opposite to the third direction;determine a center of the eye box based on the first boundary, the second boundary, the third boundary, and the fourth boundary of the eye box; anddesignate the center of the eye box as the position of the eye point of the eye box of the near-eye display.38.The system of claim 37, wherein the one or more processors are further configured to determine a first maximum image area and a second maximum image area,in determining the first maximum image area, the one or more processors are configured to:control the positioning device to move the imaging module back and forth along the first direction and the second direction;obtain, from the imaging module, a series of captured images of the virtual image while the imaging module moves;for each of the captured images, determine an area of a test pattern present in the captured image;detect a maximum value of the determined area of the test pattern present in the captured images; anddesignate the maximum value as the first maximum image area, andin determining the second maximum image area, the one or more processors are configured to:control the positioning device to move the imaging module back and forth along the third direction and the fourth direction;obtain, from the imaging module, a series of captured images of the virtual image while the imaging module moves;for each of the captured image, determine an area of a test pattern present in the captured image;detect a maximum value of the determined area of the test pattern present in the captured images; anddesignate the maximum value as the second maximum image area.39.The system of claim 38, wherein, in determining the first boundary of the eye box, the one or more processors are configured to:control the positioning device to move the imaging module along the first direction;obtain, from the imaging module, a first series of captured images of the virtual image rendered by the near-eye display while the imaging module moves along the first direction;for each of the first series of captured images, determine an area of a test pattern present in the captured image;determine a position of the imaging module in the first direction when the determined area is less than or equal to a predetermined percentage of the first maximum image area; anddesignate the position of the imaging module in the first direction as the first boundary of the eye box.40.The system of claim 38, wherein, in determining the second boundary of the eye box, the one or more processors are configured to:control the positioning device to move the imaging module along the second direction;obtain, from the imaging module, a second series of captured images of the virtual image rendered by the near-eye display while the imaging module moves along the second direction;for each of the second series of captured images, determine an area of a test pattern present in the captured image;determine a position of the imaging module in the second direction when the determined area is less than or equal to the predetermined percentage of the first maximum image area; anddesignate the position of the imaging module in the second direction as the second boundary of the eye box.41.The system of claim 38, wherein, in determining the third boundary of the eye box, the one or more processors are configured to:control the positioning device to move the imaging module along the third direction;obtain, from the imaging module, a third series of captured images of the virtual image rendered by the near-eye display while the imaging module moves along the third direction;for each of the third series of captured images, determine an area of a test pattern present in the captured image;determine a position of the imaging module in the third direction when the determined area is less than or equal to the predetermined percentage of the second maximum image area; anddesignate the position of the imaging module in the third direction as the third boundary of the eye box.42.The system of claim 38, wherein, in determining the fourth boundary of the eye box, the one or more processors are configured to:control the positioning device to move the imaging module along the fourth direction;obtain, from the imaging module, a fourth series of captured images of the virtual image rendered by the near-eye display while the imaging module moves along the fourth direction;for each of the fourth series of captured images, determine an area of a test pattern present in the captured image;determine a position of the imaging module in the fourth direction when the determined area is less than or equal to the predetermined percentage of the second maximum image area; anddesignate the position of the near-eye display in the fourth direction as the fourth boundary of the eye box.

Images