Detection method and system for determining whether a patient suffers from strabismus and / or convergence insufficiency

Abstract

A detection method is provided for determining whether a patient suffers from strabismus and / or convergence insufficiency of eyeballs is provided, which comprises the steps of: acquiring a second detection data set based on images of human eyes by a first terminal during a second time period, extracting a first classification feature and a second classification feature from the second detection data set to obtain classification results of eye positions respectively corresponding to the first classification feature and the second classification feature; and based on the classification results of eye positions, obtaining detection results for determining whether a tested patient suffers from strabismus and / or convergence insufficiency of eyeballs and the severity of the strabismus and / or convergence insufficiency, then outputting at least one of the classification results and the detection results, thereby realizing diagnosis of the strabismus and / or convergence insufficiency. Detection of the strabismus and / or convergence insufficiency can be self-fulfilled by a patient at the first terminal by the method above, and the detection and diagnosis processes of strabismus and / or convergence insufficiency are automated, thereby reducing the high space and healthcare costs of the existing detections and providing a highly efficient and convenient solution for the early screening of strabismus and / or convergence insufficiency.

Description

DETECTION METHOD AND SYSTEM FOR DETERMINING WHETHER A PATIENT SUFFERS FROM STRABISMUS AND / OR CONVERGENCE INSUFFICIENCYTECHNICAL FIELD

[0001] The application relates to the field of ocular disease detection, and particularly to a detection method for determining whether a patient suffers from strabismus and / or convergence insufficiency.BACKGROUND

[0002] In the era of computers and mobile smart devices, the number of users of all ages is increasing. Excessive and unnecessary use of cell phones, computers, etc., as well as prolonged exposure to confined spaces, the eyes may experience symptoms of convergence insufficiency, e.g., some of the muscles controlling the movement of the eyes become weak, the higher the level of fatigue, the more uncontrolled the movement of one of the eyes becomes. Convergence insufficiency is the first step towards strabismus, but it will also cause other, more serious diseases. However, in specialist ophthalmologic examinations, this symptom is often overlooked, thereby leading to underlying serious vision problems.

[0003] Convergence insufficiency is a sign that binocular synergy is problematic in certain scenarios. Both eyes should point to the same position and have the same perception of visual space to provide efficient vision as a whole. Since convergence insufficiency primarily affects close-range visual function, many patients experience discomfort and consequent inefficiency when reading, working on computers, and doing other close work. Convergence insufficiency can be detected during binocular vision evaluations. If this symptom is detected in time, it may be restored with simple repetitive exercises. Many medical institutions do not perform the necessary tests for diagnosing convergence insufficiency during routine eye examinations. Additionally, they do not pay enough attention to this diagnosis due to the requirement of additional testing time and items. In addition, the disregard for convergence insufficiency in patients also contributes to its low diagnosis rate.

[0004] Hence, there is a requirement for a detection method to overcome the existing issues, including time-consuming and laborious convergence insufficiency testing, and the utilization of medical resources. This method will also offer patients convenient testing services, raising awareness about convergence insufficiency and enhancing the overall eye health of the population.SUMMARY

[0005] To solve the problems in the prior art, this application provides a method and a system for quickly and accurately detecting convergence insufficiency in patients using a mobile terminal device. The present application provides the following technical solutions:

[0006] According to one aspect of the present application, a detection method for determining whether a patient suffers from strabismus and / or convergence insufficiency is disclosed, comprising: acquiring a second detection data set based on images of human eyes by a first terminal during a second time period; extracting classification features from the second detection data set, the classification features comprising a first classification feature and a second classification feature; obtaining classification results corresponding to the first classification feature and the second classification feature in relation to the locations of the eyes respectively; obtaining detection results related to whether a patient suffers from strabismus and / or convergence insufficiency based on the classification results; and outputting at least one of the classification results and detection results; wherein the first classification feature and the second classification feature are classification features obtained with respect to different regions of the eyes.

[0007] In particular embodiments, wherein before acquiring the second detection data set by the first terminal during the second time period, the method comprises: acquiring a first detection data set based on images of human faces by the first terminal during a first time period; and obtaining a first instruction based on the first detection data set; wherein when the first instruction indicates that the first detection data set is greater than the first threshold, starting to acquire the second detection data set by the first terminal.

[0008] In particular embodiments, wherein acquiring the first detection data set by the first terminal during a first time period comprises: capturing a face-tracking video of a patient during the first time period by the first terminal, frame-extracting the face-tracking video to obtain a first image set; and pre-processing a first image in the first image set and acquiring a second image to obtain the first detection data set.

[0009] In particular embodiments, wherein obtaining the first instruction based on the first detection data set comprises: extracting a confidence value of the second image in the first detection data set; and obtaining the first instruction based on the confidence value.

[0010] In particular embodiments, wherein when the confidence value of any of the second image in the first detection data set is not less than the first threshold, the first instruction indicates that the first detection data set is greater than the first threshold.

[0011] In particular embodiments, wherein acquiring the second detection data set by the first terminal during the second time period comprises: capturing an eye-tracking video of a patient during the second time period by the first terminal, frame-extracting the eye-tracking video to obtain a second image set; and pre-processing a third image in the second image set and acquiring a fourth image to acquire the second detection data set.

[0012] In particular embodiments, wherein acquiring the second detection data set by the first terminal during the second time period further comprises: capturing the eye-tracking video of the patient by the first terminal during the process of conducting a strabismus and / or convergence insufficiency test to the patient.

[0013] In particular embodiments, wherein the strabismus and / or convergence insufficiency test comprises: a static convergence test section, and a motor convergence test section.

[0014] In particular embodiments, wherein the second time period is at least 20 min, and the frame rate of the eye-tracking video of the patient captured by the first terminal is at least 5 frames / second.

[0015] In particular embodiments, wherein the eye-tracking video comprises the iris position and pupil position of the patient.

[0016] In particular embodiments, wherein after acquiring the second detection data set further comprises: detecting an angle of the human eye orientation in each fourth image in the second detection data set with respect to the forward facing orientation; in response to said angle being greater than a second threshold, calibrating the corresponding fourth image so that the human eye orientation in the fourth image is toward the forward facing orientation.

[0017] In particular embodiments, wherein before pre-processing the third image in the second image set, further comprising: labeling any one of the third images in the second image set as a usable third image / unusable third image; and deleting the unusable third image in the second image set.

[0018] In particular embodiments, wherein extracting the classification features from the second detection data set comprises: extracting eyelid features and pupil features of the each fourth image of the second detection data set, wherein the eyelid features are defined as the first classification feature for determining eye position of the patient; and the pupil features are defined as the second classification feature for determining pupil position of the patient.

[0019] In particular embodiments, wherein the eyelid features comprise: upper eyelid (proximal) , upper eyelid (distal) , lower eyelid (proximal) , lower eyelid (distal) , inner canthus, and outer canthus; and the pupil features comprise: pupil position.

[0020] In particular embodiments, wherein obtaining the classification results corresponding to the first classification feature and the second classification feature respectively comprises: obtaining the classification results of the eyelid position of the patient based on the first classification feature; and obtaining the classification results of the pupil position of the patient based on the second classification feature.

[0021] In particular embodiments, wherein obtaining the detection results related to whether a tested subject suffers from strabismus and / or convergence insufficiency comprises: determining a distance between a pupil and an eyelid based on the classification results of the eyelid position and the classification results of the pupil position; extracting a third classification feature from the second detection data set and obtaining a classification results of corneal reflection point of the patient based on the third classification feature; comparing a positional relationship between the classification results of corneal reflection point and the classification results of the pupil position to obtain the detection results.

[0022] In particular embodiments, wherein comparing a positional relationship between the classification results of corneal reflection point and the classification results of the pupil position to obtain the detection results comprises: the offset distance of the classification results of corneal reflection point relative to the classification results of the pupil position toward the temporal / nasal side is: equal to 0, the detection results is normal alignment) ; greater than 0 and less than or equal to 1 mm, the detection results is very light internal strabismus / very light external strabismus; greater than 1 mm and less than or equal to 2 mm, the detection results is light internal strabismus / light external strabismus; greater than 2 mm and less than or equal to 3 mm, the detection results is mild internal strabismus / mild external strabismus; and greater than 3 mm, preferably greater than 4 mm, the detection results is severe internal strabismus / severe external strabismus.

[0023] In particular embodiments, the method further comprises: obtaining the second detection data set, the classification results, and / or the detection results by a second terminal; and updating at least one of the classification results and detection results by the second terminal.

[0024] In particular embodiments, the method further comprises: obtaining regular examination results by the first terminal; and sending the regular examination results to the second terminal.

[0025] In particular embodiments, the method further comprises: setting a convergence function test content by the second terminal; sending the convergence function test content to the first terminal; and presenting the convergence function test content to the patient by the first terminal during the second time period.

[0026] In particular embodiments, the method further comprises: updating the convergence function test content by the second terminal; and sending updated convergence function test content to the first terminal.

[0027] In particular embodiments, the method further comprises: storing at least one of the eye-tracking videos, the second detection data set, the classification results, the detection results, the regular examination results, and the convergence function test content.

[0028]

[0029] According to another aspect of the present application, a strabismus and / or convergence insufficiency detection system is disclosed, comprising: a second acquisition unit for acquiring third images comprising a human eye using the first terminal during a second time period, pre-processing the third images to obtain fourth images to form a second detection data set; a feature acquisition unit for extracting classification features from the second detection data set, wherein the classification features comprise a first classification feature, a second classification feature, and a third classification feature; a third acquisition unit for obtaining classification results in relation to the locations of the eyes corresponding to the first classification feature, the second classification feature and the third classification feature respectively; a detection unit for obtaining detection results related to whether a tested patient suffers from convergence insufficiency based on the classification results; and an output unit for outputting at least one of the classification results and detection results; wherein at least one of the second acquisition unit, the feature acquisition unit, the third acquisition unit, the detection unit and the output unit is executed on a second terminal or a cloud server.

[0030] In particular embodiments, the system further comprising: a first acquisition unit for acquiring a first detection data set based on images of human faces by the first terminal during a first time period; and an instruction generation unit for obtaining a first instruction based on the first detection data set; wherein when the first instruction indicates that the first detection data set is greater than the first threshold, starting to acquire the second detection data set by the first terminal.

[0031] In particular embodiments, the second acquisition unit further comprises: an image selection unit for labeling any one of the third images as the usable or unusable -using the second terminal; and deleting the unusable third images.

[0032] In particular embodiments, the second acquisition unit further comprises: an image calibration unit for detecting the fourth images in which the human eye is not facing forward, to calibrate the human eye facing angle in the fourth images.

[0033] In particular embodiments, the output unit further comprises: a result updating unit for obtaining the second detection data set, the classification results, and / or the detection results; and updating at least one of the classification results and detection results by the second terminal.

[0034] In particular embodiments, wherein the result updating unit further obtains the regular examination results by the first terminal, and sends the regular examination to the second terminal.

[0035] In particular embodiments, the second acquisition unit further comprises: a content setting unit for setting a convergence function test content by the second terminal; sending the convergence function test content to the first terminal; and presenting the convergence function test content to the patient by the first terminal during the second time period.

[0036] In particular embodiments, the second acquisition unit further comprises: a content updating unit for updating the convergence function test content by the second terminal; and sending the updated convergence function test content to the first terminal.

[0037] In particular embodiments, the system further comprises: a data storage unit for storing at least one of the eye-tracking video, the second detection data set, the classification results, the detection results, the regular examination results, and the convergence function test content.

[0038] In particular embodiments, wherein the first terminal is a smartphone, a tablet, a laptop, or a smart wearable device, and the second terminal is a tablet computer, a laptop computer, a desktop computer, or a smart TV.

[0039] In particular embodiments, wherein the system is applied to one of the following purposes: diagnostic and treatment processes in healthcare and optometry clinics; structured treatment programs in vision therapy and rehabilitation centers; remote vision care platforms in the digital health and telemedicine sector; corporate wellness programs in the workplace; fatigue detection system in automotive industry; quick detection of fatigue in drivers during traffic police operations; vision screenings and reading support programs in educational institutions; eye fatigue reduction in the gaming and VR industry; training programs in military and / or aviation programs; or specialized vision training programs for athletes.

[0040]

[0041] The present application provides a method and a system for detecting strabismus and / or convergence insufficiency, particularly, after obtaining the second detection data set based on images of human eyes by the first terminal during the process of testing the convergence function of a patient in the second time period and extracting classification features from the second detection data set, the video data generated during the testing process of the patient in the second time period can be automatically processed and examined, to obtain the eye positional features associated with the symptoms of strabismus and / or convergence insufficiency, which helps to obtain the information about the symptoms of the patient's strabismus and / or convergence insufficiency by various automated data processing methods, such as statistical methods and machine learning methods thereby replacing the manual examination and improving the efficiency of the process of detecting the strabismus and / or convergence insufficiency.

[0042] By obtaining the first detection data set based on human faces images by the first terminal during the first time period, and obtaining the first instruction based on the first detection data set, the method described herein can help the patient adjust the relative position between the human faces and the detection device before performing the detection at the first terminal, and guide the first terminal to a position closest to the human faces, to obtain a better effect of the subsequent detection, thereby improving the accuracy for the detection of strabismus and / or convergence insufficiency.

[0043] The method and the system described herein are capable of obtaining classification results related to the locations of the eyes based on the classification features and obtaining the detection results related to whether a tested subject suffers from strabismus and / or convergence insufficiency based on the classification results, particularly, obtaining detection data of interest to medical personnel in the detection and supportive for the diagnosis of strabismus and / or convergence insufficiency, for example, pictures or videos marking the symptomatic area of the ocular muscles when the patient exhibits strabismus and / or convergence insufficiency, and results of determining the incidence of strabismus and / or convergence insufficiency occurring in a certain period, etc. In this way, the patient can complete the strabismus and / or convergence insufficiency screening independently with a simple test using mobile devices, and the medical personnel can set reliable test content and view the test results of patients directly, thereby reducing the workload caused by frequent interactions between the medical personnel and the patient during the testing process. Therefore, the method described herein provides a feasible solution for fast, real-time remote strabismus and / or convergence insufficiency testing.

[0044] Furthermore, the method and the system described herein can effectively and conveniently provide a patient with a strabismus and / or convergence insufficiency test by the first terminal, and automatically analyze the patient's test data for possible symptoms of strabismus and / or convergence insufficiency, thereby reducing the high space and medical costs of the existing tests, preventing the patient from exposing his / her personal health information in a public place, and contributing to the early screening of the gradually growing number of eye health problems nowadays.BRIEF DESCRIPTION OF THE DRAWINGS

[0045] The accompanying drawings, which are incorporated in and constitute a part of this specification, illustrate embodiments consistent with the present disclosure and, together with the description, serve to explain the principles of the present disclosure.

[0046] Fig. 1 shows a flowchart of a method for detecting convergence insufficiency according to one embodiment of application;

[0047] Fig. 2 shows a flowchart of the method for detecting convergence insufficiency according to one embodiment of the application prior to obtaining a second set of detection data by a first terminal;

[0048] Fig. 3 shows a schematic diagram of the eyelid features and pupil features according to one embodiment of the application;

[0049] Fig. 4 shows a schematic diagram of the framework of the system for detecting convergence insufficiency according to one embodiment of the application.DETAILED DESCRIPTION

[0050] The following embodiments of the present application are used only to illustrate specific embodiments to realize the present application, and these embodiments are not to be construed as a limitation of the present application. Any other changes, modifications, substitutions, combinations, or simplifications made without departing from the spirit and principle of this application shall be deemed to be equivalent substitutions and shall fall within the scope of protection of this application.

[0051] Overview

[0052] As a prodromal symptom of strabismus, convergence insufficiency is a binocular vision disorder where the eyes struggle to converge (move inward sufficiently to maintain a single image when looking at nearby objects. Convergence insufficiency occurs when the eyes don't work together properly when focusing on a nearby object. The eyes may drift outward instead of converging towards the nose, resulting in double or blurry vision. The diagnosis of convergence insufficiency relies on specific clinical tests that evaluate binocular vision and the eyes'a bility to coordinate during near tasks. The gold standard for convergence insufficiency diagnostics combines NPC measurement, PFV evaluation, and symptom correlation, ensuring both functional and symptomatic criteria are met.

[0053] Although the current methods are efficient, these tests must be performed in a medical institution by qualified medical professionals. This is not just time-consuming, but expensive.

[0054] The convergence insufficiency detection system proposed in the present application will effectively solve the problem mentioned above. This system may comprise a mobile application that is capable of providing accurate diagnostics for both strabismus and convergence insufficiency. Strabismus and convergence insufficiency diagnostics can easily be performed with the system at home and with minimal expenses.

[0055] Firstly, this system acquires a second detection data set which includes potential visual information for convergence insufficiency and strabismus based on images of eyes from users by means of controlling a first terminal that captures the data on the patient’s end by a second acquisition unit; then a feature acquisition unit in the back-end is used for extracting classification features comprising both first classification feature and second classification feature from the second detection data set, and a third acquisition unit is used for obtaining classification results in relation to the locations of the eyes corresponding to the first classification feature and the second classification feature respectively; after that, a detection unit obtains detection results of strabismus and / or convergence insufficiency, further of strabismus based on the classification results; and finally an output unit may output at least one of the classification results and detection results to the front-end for displaying the results in the user interface, providing a reference diagnostic result for medical personnel, medical partners, etc.

[0056] Since each of the aforementioned units may be implanted as a software program in the second terminal or may run on a cloud server that communicates with the first terminal and the second terminal, as well as both the first terminal and the second terminal may be mobile or desktop electronics, this detection system in the present application allows for the convenient diagnosis in a remote, low-cost manner, with lower cost of care for the patient, less effort on the part of the medical personnel, and developers can easily update the content of detection. Therefore, this system in the present application provides an advanced and intelligent solution for convergence insufficiency and strabismus detection, contributing to eye health for the general population.

[0057] It should be noted that convergence insufficiency is when it is not possible to keep the two eyes working together (also called binocular function) , one eye will turn outward (intermittent exotropia) when focusing on a word or object at near. In convergence insufficiency, eye drifting out occurs only when focusing at near, the eyes are straight for focusing on things far away. When eye misalignment occurs over a short period of time (for example, a couple of seconds) , and then the eyes become aligned again, it is convergence insufficiency, but in strabismus, the misalignment in the eyes is permanent. Therefore, the convergence insufficiency can be considered to be parts of the strabismus, e.g., an exotropia that lasts only for a short period of time, and in the detection results that will be discussed in more detail later, the transient occurrence of various degrees of exotropia can be considered to be a convergence insufficiency (e.g., a plurality of fourth images not exceeding a certain number of thresholds that are determined by the detection unit of said system to be “exotropic” results) , while other cases are non-convergent strabismus results or normal results. The explanation and distinction between convergence insufficiency and strabismus will not be made hereinafter.

[0058] After describing the basic principles of the present application, various non-limiting embodiments of the application will be specifically described below with reference to the accompanying drawings.

[0059] Illustrative Method

[0060] Fig. 1 shows a flowchart of a method for detecting strabismus and / or convergence insufficiency according to one embodiment of the application.

[0061] Step S110, acquiring a second detection data set based on images of human eyes by a first terminal during a second time period. The method described in the application utilizes the first terminal to capture an eye-tracking video of a patient during the second time period and extracts the eye-tracking video on a frame-by-frame basis to obtain a plurality of images of the patient during the second time period as the third image in order to form the second image set; a plurality of the third images of the patient are preprocessed to obtain a preprocessed plurality of fourth images to comprise the second detection data set. Herein, the pre-processing of a plurality of the third images of a patient is for optimizing the third images in the second image set for improving the quality of the classification features thereof at the time of feature extraction, so that the pre-processing method is selected from noise reduction, dimensionality reduction, normalization, or format conversion, etc.

[0062] Particularly, acquiring the second test data set based on images of human eyes using the first terminal comprises: capturing the eye-tracking video of the patient using the first terminal during the convergence function test of the patient. As described above, the convergence function of the eyeball may reflect symptoms of strabismus or convergence insufficiency, therefore, the convergence function test specifically includes test for strabismus and for convergence insufficiency, and the testing processes for both are the same, with differences only in the test results. Patients with strabismus and / or convergence insufficiency tend to present with an inability of the eyes to converge only during the performance of specific visual tasks, such as during close gaze on an object or when an object of sustained gaze is displaced. Accordingly, the method described in the present application is set up at the first terminal to provide the patient with an eye test comprising a specific visual test, synchronously capturing the patient's eye-tracking video as he or she performs the test. In this way, it is possible to obtain as much abnormal gaze data from the patient as possible in order to improve the detection rate of strabismus and / or convergence insufficiency and provide accurate judgment for diagnosis.

[0063] In particular, the strabismus and / or convergence insufficiency test comprises the static convergence test section and the motion convergence test section respectively: the patient is guided at the first terminal to continuously gaze at an object at a specified near distance from the screen, which is configured not to be greater than 300 mm, and the patient's continuous gaze time is configured not to be less than 10 s; setting the object at the specified near distance to move in at least one of up / down / left / right / forward / backward directions, guiding the patient at the first terminal to continuously gaze at the object for not be less than 10 s. In this way, it is possible to induce the occurrence of strabismus and / or convergence insufficiency symptoms in potential patients. The present application uses the first terminal for test guidance and obtaining video data of the patient during the strabismus and / or convergence insufficiency testing process. This simulates the role played by medical personnel in detecting strabismus and / or convergence insufficiency, providing a convenient and remote diagnosis method for patients.

[0064] In particular, it should be noted that the first terminal is utilized to capture the eye-tracking video of the patient during the strabismus and / or convergence insufficiency test, the eye tracking video preferably always includes the patient's iris position and pupil position, and the acquisition time of the strabismus and / or convergence insufficiency test process, i.e., the duration of the second time period is at least 10 min, in order to reach the routine examination duration of an ophthalmologic examination so that the test results obtained by the method in the present application are medically interpretable. In addition, the method sets the number of acquisition frames rate of the eye-tracking video of the patient captured by the first terminal to be at least 5 frames / second, by which the images of the patient's eyes captured by the method can contain information about strabismus and / or convergence insufficiency that may occur in a shorter period of time, i.e., a mild symptom of strabismus and / or convergence insufficiency of a patient at the initial stage of strabismus and / or convergence insufficiency that may occur in a considerable short period of time. In this way, the method described in the application provides a feasible solution for early strabismus and / or convergence insufficiency screening, and since the patient's eye image data is steadily captured at high frame rates during the detection process, the present application's ability to detect the symptoms of strabismus and / or convergence insufficiency within a short period of time is superior to that of the medical personnel, therefore, the method further provides an early strabismus and / or convergence insufficiency screening and alerting for prospective patients.

[0065] In one embodiment, before pre-processing the third image in the second image set, further comprising: labeling any one of the third image in the second image set as a usable third image / unusable third image, and deleting the unusable third image in the second image set. Specifically, after obtaining the second image set by the first terminal, each third image may be traversed and each traversed third image is given the usable / unusable label, so that the third image is labeled as the usable third image / unusable third image; the unusable third image is deleted from the second image set and does not participate in the subsequent pre-processing.

[0066] In this way, the present application may remove the third images in the second image set which are ineffective for the detection of strabismus and / or convergence insufficiency, such as an image of a completely closed eye, an image of a non-existent eye, etc., in advance of the pre-processing of the second image set obtained from the eye-tracking video, which may improve the quality of the third images in the second image set, in order to improve the efficacy of the subsequent classification feature extraction.

[0067] In particular, after acquiring the second detection data set may further comprise a calibration step: detecting an angle of the human eye orientation in each fourth image in the second detection data set with respect to the forward facing orientation; and in response to said angle being greater than a second threshold, calibrating the corresponding fourth image so that the human eye orientation in the fourth image is toward the forward facing orientation. This step ensures that the human eye contained in each fourth image in the second detection data set is looking straight ahead and imaged, which can ensure the accuracy of the extracted classification features.

[0068] Step S120, extracting the classification features from the second detection data set, the classification features comprising the first classification feature or the second classification feature. The method described in the present application extracts features of each fourth image of the second detection data set obtained at step S110, including eyelid features and pupil features of the patient, and uses the eyelid features as the first classification feature and the pupil features as the second classification feature. By means of extracting the first classification feature, it is possible to determine the location of the eyes of the patient when the patient performs the strabismus and / or convergence insufficiency test; by means of extracting the second classification feature, the method can determine the location of the pupils of the patient when the patient performs the strabismus and / or convergence insufficiency test. Herein, extracting the eyelid features and pupil features of each of the fourth images in the second test data set is utilized to determine the positions of the patient's eyes and pupils respectively during the test period, as well as to determine changes in the relative positions of the patient's eyes and pupils; therefore, extracting the eyelid features and pupil features of each fourth image in the second detection data set is selected from a machine learning based classification model, a reference template method, or a classification method based on edge feature detection, etc.

[0069] The eyelid features are shown in Fig. 3 and comprise: the upper eyelid (proximal) , upper eyelid (distal) , lower eyelid (proximal) , lower eyelid (distal) , inner canthus, and outer canthus in a total of six types, which are used for determining the position of the upper eyelid (close to the inner canthus) , the upper eyelid (close to the outer canthus) , the lower eyelid (close to the inner canthus) , the lower eyelid (close to the outer canthus) , the inner canthus, and the outer canthus of the patient's eyes, respectively in the screen. The present application obtains the above six eyelid features for determining positional information of the patient's eyelids as an alternative to obtaining the positional information through visual observation by medical personnel. Similarly, the pupil features include pupil position, and in strabismus and / or convergence insufficiency detection, strabismus and / or convergence insufficiency symptoms are usually reflected by changes in the position of one pupil or both two pupils.

[0070] In addition, convergence insufficiency and / or strabismus is finalized by determining a positional relationship between a reflection point of light on the patient's cornea and the pupil, and thus the step needs to include the additional operation of extracting a corneal reflection point position feature (third classification feature) of each fourth image from the second detection data set to determine the corneal reflection point position. The manner of determining whether convergence insufficiency and / or strabismus is produced by the corneal reflection point location will be described below.

[0071] Step S130, obtaining the classification results related to the eye position corresponding to the first classification feature and the second classification feature, respectively. Particularly, the method obtains the classification results of an eyelid position of the patient based on the first classification feature and obtains the classification results of a pupil position of the patient based on the second classification feature. during the strabismus and / or convergence insufficiency test, the strabismus and / or convergence insufficiency of the patient is determined by the degree of change in pupil position but often requires fixation of the eye position, i.e., during the test of the patient by the medical personnel, the patient's head movement is commonly restricted by an instrument, to set the position of the eyelid as a control variable and to ensure that the patient's eyelid position is relatively fixed without interfering with the test. In the application, since an instrument is not used to fix the patient's head, it is necessary to determine the relative position of the pupil to the eyelid, and by obtaining the relative position for the purpose of setting the position of the eyelid as a control variable. When it is determined how the patient's pupils start moving and changing in movement relative to the eyelid, it is possible to determine whether the patient has strabismus and / or convergence insufficiency, thereby enabling automatic detection of strabismus and / or convergence insufficiency symptoms.

[0072] Furthermore, as can be seen above, the step further comprises: obtaining a classification result of the corneal reflection point location of the patient based on the third classification feature.

[0073] Based on the classification results, Step S140, obtaining the detection results to determine if the patient suffers from strabismus and / or convergence insufficiency, i.e., obtaining the detection results of the convergence function test for the patient in combination with the classification results of the eyelid position and the classification results of the pupil position; and obtaining the detection results from the detection results of the convergence function.

[0074] As described in step S130, after obtaining the eyelid position classification results and the pupil position classification results, the method obtains relative position information of the patient's pupils and eyelids in combination with the eyelid position classification results and the pupil position classification results, to obtain the convergence function test results, i.e., the strabismus and / or the convergence insufficiency test results. Particularly, the detection results comprise the incidence of strabismus and / or convergence insufficiency when the results of the strabismus and / or convergence insufficiency test indicate that the patient has symptoms of strabismus and / or convergence insufficiency. Lastly, the classification results and detection results are output at the first terminal, wherein the classification results include the eye position information, and the detection results include normal / abnormal times of convergence, times of blinking, and regions of abnormal muscles of the patient; furthermore, the incidence of strabismus and / or convergence insufficiency in the second time period is also calculated and then output at the first terminal.

[0075] The detection results are capable of strongly determining whether the patient has developed strabismus and / or convergence insufficiency. In one embodiment, the pupil positions of the patient appear to have a pupil position classification that the patient fails to hold the pupils at a specified position in a given time in the strabismus and / or convergence insufficiency test, the method then may determine that the patient has a problem with the strabismus and / or convergence insufficiency; in another embodiment, the pupil positions of the patient do not show any abnormal pupil position classification results when the patient gazes at the stationary content at the specified near distance, while the pupil positions fail to be within a specified position when the patient is continuously gazing at the moving content at the specified near distance in the strabismus and / or convergence insufficiency test; in this way, the method therefore may comprehensively determine that whether the patient exhibits a symptom of strabismus and / or convergence insufficiency or not.

[0076] Furthermore, as described above, more generally, the detection results of the convergence function may be obtained by determining the relationship between the position of the pupil and the position of the corneal reflection light, and then the detection results will be clear. That is, determining a distance between a pupil and an eyelid based on the classification results of the eyelid position and the classification results of the pupil position; extracting a third classification feature from the second detection data set and obtaining a classification results of corneal reflection point of the patient based on the third classification feature; and comparing a positional relationship between the classification results of corneal reflection point and the classification results of the pupil position to obtain the detection results.

[0077] For example, the detection results are next determined herein by means of an exemplary embodiment. The classification results of the eyelid position and the pupil position are first used to determine the distance between the pupils and the contours of the eyes; and then, the detection results are determined by comparing the distance between the classification results of the pupil position and the corneal reflection point position:

[0078] Determining if the reflections are centered equally in both pupils (indicating normal alignment) , or if they are off-center. Specifically, a light source (e.g., from a cell phone or the video it plays) is shined towards the patient’s eyes, and the position of the light reflection on each cornea is examined. If the reflections are symmetrical and centered on both pupils, the eyes are properly aligned. If the reflections are asymmetrical or displaced, it may indicate eye misalignment. This test helps detect and estimate the angle of deviation in conditions like esotropia (e.g. internal strabismus, inward turning) or exotropia (e.g. external strabismus, outward turning) .

[0079] The deviation is typically measured in millimeters from the central corneal position, with each millimeter of displacement roughly corresponding to 7–15 degrees of eye misalignment. A general percentage breakdown that would match the other tests’ results could be:

[0080] Centered Reflex (0 mm displacement) → 0%deviation (normal alignment) ;

[0081] 1 mm displacement → ～10%deviation (very light misalignment) ;

[0082] 2 mm displacement → ～20%deviation (light misalignment) ;

[0083] 3 mm displacement → ～30%deviation (mild misalignment) ; and

[0084] 4 mm displacement → ～40%or more (severe misalignment) .

[0085] It is important to note that the misalignment of the reflection toward the temporal side is classified as esotropia and the misalignment toward the nasal side is classified as exotropia. If the exotropia is temporary and then returns to normal, it is convergence insufficiency, and if it never returns to normal, it is not convergence insufficiency.

[0086] It is important to note that the strabismus and / or convergence insufficiency test of the patient may also refer to the regular examination results of the patients, which are derived from their regular examination at healthcare facilities and / or physical exams, etc., and offer the past diagnosis results of their ocular health status.

[0087] Step S150, at least one of the classification results and detection results is output. It is to be noted that at least one of the classification results and detection results can be output to the first terminal to help the patient grasp his / her test result of the strabismus and / or convergence insufficiency, which realizes the autonomous consultation of patients at the first terminal.

[0088] As shown in Fig. 2, the method before obtaining a second set of detection data by the first terminal further comprises the following steps.

[0089] Step S160, obtaining a first detection data set based on images of human faces by the first terminal during a first time period. Obtaining the first detection data set based on the human facial images utilizing the first terminal comprises utilizing the face-tracking video of the patient captured by any of the first terminals during the first time period and extracting image frames from the face-tracking video to obtain the first image set. When image extraction is performed on the face-tracking video, the number of first images extracted varies according to the number of acquisition frames of any one of the first terminals, and the method may extract images of the face-tracking video captured at different numbers of acquisition frames, and the extracted patient images are set to be the first images in order to obtain the first image set.

[0090] The first image set is used for facial detection of a patient at the first terminal, however, it is necessary to preprocess the first image in the first image set to obtain a high-quality, standardized second image, to obtain the first detection data set, by which it is conducive to improving the effectiveness of the facial detection, and obtaining more accurate detection results. The pre-processing of the first images in the first image set is selected from noise reduction, dimensionality reduction, normalization, or format conversion, etc. By means of the pre-processing, each first image is made transform invariant, and the scale differences between the first images are eliminated, so that the second images obtained have a higher comparability in facial detection.

[0091] Step S170, obtaining the first instruction based on the first detection data set. The first instruction is used to determine the result of the patient's facial detection at the first terminal, and the test is started when it is determined by the first instruction that the patient's face is detected and in the correct position. That is, by obtaining the first instruction, the patient is assisted in adjusting his / her posture for subsequent testing, so that the situation in which the testing is interrupted by an eye detection abnormality during the testing process will be significantly reduced, which helps to improve the efficiency and accuracy of the test.

[0092] Step S180, when the first instruction indicates that the first detection data set is greater than the first threshold, starts acquiring the second detection data set by the first terminal. Particularly, extracting features of each second image in the first detection data set to obtain the first positional information of each second image to obtain a first positional information set. Wherein, after extracting the features of each second image in the first detection data set, a feature map of each second image in the first detection data set is obtained, then traversing the feature map of the second image and generating a series of candidate boxes that may contain the facial location information of the patient; next, a confidence level that a series of candidate frames which contain the patient's facial location information is determined, and an offset of the patient's facial location information is determined to adjust the position of the series of candidate frames, and redundant candidate boxes in the series of candidate boxes are removed, and the remaining candidate boxes become the first positional information in the second image containing the facial location information of the patient. That is, the first positional information is a collection of pixel values of the second image containing face information in the remaining candidate boxes, and in this way, the facial information of the patient is obtained.

[0093] Then, the method calculates the ratio of the first positional information of each second image in the first positional information set to the total pixel value of such a second image to obtain the confidence value. The confidence value reflects the proportion of the patient's face to the area of the entire detection area detected by the first terminal when the patient is utilizing the first terminal for facial detection, such as the proportion of the face of the patient to the screen of the device when the detection is performed using a mobile device. In the strabismus and / or convergence insufficiency test, it is necessary to keep the patients’ faces, especially their eyes, clearly visible at all times, therefore, adjusting the confidence value helps determine the first instruction to ensure that the test is performed properly.

[0094] Finally, the first instruction is obtained based on the confidence value. Particularly, in the first detection data set, when the confidence value of any second image is greater than or equal to the first threshold, the first instruction indicates that the first detection data set is greater than the first threshold. The confidence value indicates the proportion of the patient's face to the total detection area. If the patient experiences facial movement due to external factors, the confidence value shows how easily their eye-related features, crucial for the strabismus and / or convergence insufficiency test, can be separated from the detection area. When the confidence value for the second image of the patient is higher, it indicates that the patient is less likely to disengage the eye from the detection region due to facial movement. Therefore, when the confidence value of any of the second images of the patient is at a high level, none of the patients are prone to disengage their eyes from the detection area due to facial movement within the first time period, which fulfills the spatial conditions required for the strabismus and / or convergence insufficiency test. Preferably, the first threshold is 90.

[0095] It is to be noted that when the patient is in a dark environment and / or the facial angle is too deviated within the first time period, the confidence value of the second image acquired at the first terminal can be changed accordingly in the method. That is, in one embodiment, when the patient is in a dark environment within the first time period, the first position information in the second image containing the patient's facial position information decreases, and the confidence value of the second image decreases as a result; in another embodiment, when the patient's facial angle within the first time period is too skewed with respect to the detection area, only a portion of the first positional information of the patient's face is present in the first positional information in the second image comprising the patient's facial positional information, i.e., the first positional information of at least one of the patient's eyes in each of the patient's eyes is missing, the confidence value will be set to zero. Therefore, by changing the confidence value in this manner, the occurrence of an abnormal situation in which a patient is in an incorrect environment or abnormal posture such that the first instruction indicates that the first detection data set is greater than the first threshold value and proceeds directly to the strabismus and / or convergence insufficiency test can be avoided, the accuracy of the subsequent test is further assured.

[0096] For the confidence value, the higher the confidence value is, the less likely the patient is to have interruptions when performing the test. However, if the confidence value is too high, the patient needs to exert more effort to maintain an excessively high confidence value, which in turn leads to potential interruptions, and at the same time may affect the facial muscles and interfere with the accuracy of the strabismus and / or convergence insufficiency test. Therefore, the present application prefers that the confidence value is 90, which ensures a low interruption probability of the test while also providing the patient with a certain amount of facial movement space to reduce the patient’s discomfort during the test and ensure the validity of the test.

[0097] Specifically, when the first instruction indicates that the confidence value of at least one of the second images in the first testing data set is not greater than the first threshold, repeat steps S160-steps S170 until the confidence values of all of the second images in the first testing data set acquired reach 90. This way, the patient can adjust to the spatial environment, facial posture, and position. This helps to improve the accuracy and responsiveness of the test. The adjustment process does not require the involvement of medical or paramedical personnel, reducing the cost of space and medical resources required for the test.

[0098] The method described in the present application further comprises: obtaining the eye-tracking videos, the classification results, and the detection results by a second terminal, and updating at least one of the classification results and the detection results by the second terminal. Particularly, the present application is capable of utilizing the second terminal to obtain and update at least one of the eyelid position classification results, the pupil position classification results, or the strabismus and / or convergence insufficiency detection results, by manually selecting a position in the patient image where the eyelid position classification results and the pupil position classification results are located and displayed on the second terminal; marking the each fourth image in the second detection data set as available / unavailable; removing the unavailable fourth image and / or changing the value of the strabismus and / or convergence insufficiency detection results, such as the incidence of strabismus and / or convergence insufficiency. In this way, the method offers the correction and updating of the classification results and the detection results.

[0099] The accuracy of the strabismus and / or convergence insufficiency test may be improved. In one embodiment, when the classification feature extraction is performed utilizing the artificial intelligence neural network, the accuracy of the artificial intelligence neural network in the subsequent classification feature extraction task can be improved by correcting and updating at least one of the eyelid position classification results, the pupil position classification results, or the strabismus and / or convergence insufficiency detection results, all of which can be changed to further improve the accuracy of strabismus and / or convergence insufficiency detection to output more accurate detection results.

[0100] Particularly, in one embodiment, the first terminal may also obtain the results of regular examination of the patient and send the results of regular examination to the second terminal, which is used in step S140 of the method to serve as the reference data for the strabismus and / or convergence insufficiency test results.

[0101] In the present application, the second terminal is utilized to set the test content of the strabismus and / or convergence insufficiency test, as well as to be utilized to send the test content to the first terminal and present the test content to the patient by the first terminal during the second time period. In addition, it is also possible to utilize the second terminal to update the strabismus and / or convergence insufficiency test content, and to send the updated strabismus and / or convergence insufficiency test content to the first terminal. In this way, the first terminal can provide different patients with test contents that are personalized and applicable, to further improve the robustness of the method over multiple tests; in addition, in the case of testing patients with strabismus and / or convergence insufficiency under different situational needs, such as early screening and / or rehabilitation assessment, the difficulty of the test can be varied in this way, to satisfy the different testing needs, and to extend the scope of applicability of the method described in the present application.

[0102] In one embodiment, the present application may further store at least one of the eye-tracking video, the second detection data set, the classification results, the detection results, the regular examination results, and the strabismus and / or convergence insufficiency test content, in order to provide feasible solutions for building the medical records of the patient and optimizing the extraction method of classification features, such as optimizing the performance of the classification model using these test data. Moreover, the present application may establish a video database of strabismus and / or convergence insufficiency with a view to contributing to the relevant medical research.

[0103]

[0104] Illustrative System

[0105] In the application, further comprising the strabismus and / or convergence insufficiency detection system, as shown in Fig. 4, comprising:

[0106] the second acquisition unit for acquiring a second detection data set based on images of human eyes by a first terminal during a second time period. Specifically, as can be seen from the “Illustrative Method, ” the second acquisition unit may be used for acquiring third images comprising a human eye using the first terminal during a second time period, pre-processing the third images to obtain fourth images to form the second detection data set;

[0107] the feature acquisition unit for extracting classification features from the second detection data set, wherein the classification features comprise a first classification feature, a second classification feature, and a third classification feature;

[0108] the third acquisition unit for obtaining classification results in relation to the locations of the eyes corresponding to the first classification feature, the second classification feature, and the classification feature respectively;

[0109] the detection unit for obtaining detection results related to whether a tested subject suffers from strabismus and / or convergence insufficiency based on the classification results; and

[0110] the output unit for outputting at least one of the classification results and detection results;

[0111] the first acquisition unit for acquiring a first detection data set based on images of human faces by the first terminal during a first time period; and

[0112] the instruction generation unit for obtaining a first instruction based on the first detection data set;

[0113] wherein when the first instruction indicates that the first detection data set is greater than a first threshold, starting to acquire the second detection data set by the first terminal.

[0114] One or more of said second acquiring unit, said feature acquiring unit, said third acquiring unit, said detection unit, and said output unit may be executed on the second terminal or a cloud server, preferably on the cloud server.

[0115] It will be understood by those skilled in the art that the system performs the aforementioned method of detecting strabismus and / or convergence insufficiency described in “Illustrative Method” , and that the acquisition of classification features, classification results and detection results may be realized by the aforementioned units executing on the second terminal or the cloud server, for example, by using machine learning algorithms (random forests, neural networks, etc. ) to acquire the classification features and output the classification results, and by using a preset formula to process the classification results to obtain the multiple detection results as described in “Illustrative Method” . Accordingly, the specific process for detecting convergence insufficiency and / or strabismus will not be repeated here.

[0116] Each of the aforementioned units, as well as the image selection unit, the image calibration unit, the result updating unit, the content setting unit, and the content updating unit described herein below, may be a plurality of computer program instructions running on the second terminal or the cloud server, preferably the cloud server, said computer program instructions may be written to perform respective functions in any combination of one or more programming languages, said programming language including an object-oriented programming language, such as Java, C++, etc., and conventional procedural programming languages, such as “C” language, Python, or the like.

[0117] The second acquisition unit further comprises an image selection unit for labeling any of the third images as a usable third image / unusable third image, and for deleting the unusable third image by the second terminal, such as a web application, a desktop application, a virtual machine, etc. Specifically, the medical personnel may acquire the second image set by the image selection unit, wherein the second image set is obtained by the first terminal, such as a mobile application, a smart camera, or a single-chip microcomputer, etc. The medical personnel may traverse each third image and give each traversed third image the usable / unusable label to mark the third image as the usable third image / unusable third image; and the medical personnel may also delete the unusable third image from the second image set using the second terminal by the image selection unit, in order to avoid the unusable third image participating in subsequent pre-processing.

[0118] In this way, before pre-processing the second image set obtained from the eye-tracking video of the patient, the third images in the second image set which are ineffective for detecting convergence insufficiency, such as an image of a completely closed eye, an image of a non-existent eye, etc., can be deleted in advance by the medical personnel through professional screening, which may improve the quality of the third images in the second image set, so as to improve the efficiency of the subsequent classification feature extraction.

[0119] The second acquisition unit further comprises an image calibration unit for detecting the fourth image (s) in which the human eye is not facing forward to calibrate the human eye facing angle in the fourth image. For example, this unit may perform the method described in “Illustrative Method” of in response to said angle being greater than a second threshold (e.g., 5°, when the angle exceeds this threshold, the human eye is generally considered not to be looking straight ahead. ) , calibrating the corresponding fourth image so that the human eye orientation in the fourth image is toward the forward facing orientation. The fourth image (s) can be calibrated using pre-trained facial geometry correction models, neural radiance fields (NeRF) reconstruction, etc. These methods are executed in the image calibration unit in the form of computer program code. This has the advantage that the system therefore may check for possible rotations of the face against the camera of the first terminal, and perform the necessary calibration s to ensure that the face is positioned straight towards the camera in the recorded eye-tracking video, in order to ensure high quality of all fourth images and to facilitate the extraction of pupil, eyelid, and corneal reflection light position features therefrom.

[0120] The output unit further comprises the result updating unit, for obtaining and updating at least one of the classification results and detection results by the second terminal. The result updating unit can be directed to medical personnel, technicians, and data engineers to improve the performance of the system described in the present application. Specifically, in one embodiment, the output unit outputs the classification results and / or the detection results to the first terminal and the second terminal for viewing by the patient and the medical personnel, respectively; and the medical personnel, the technicians, and the data engineers utilize the result updating unit to obtain the classification results and / or the test results which comprise: the eye position information, the normal / abnormal times of convergence, the times of blinking, regions of abnormal muscles and the incidence of convergence insufficiency. In addition, the result updating unit may obtain the fourth image with available / unavailable label in the second detection data set from the second acquisition unit.

[0121] The medical personnel, technicians, and data engineers subsequently update the values of the classification results and / or the detection results at the second terminal comprising: adjusting the eye position information, such as changing the values of the classification results by adjusting the classification features; changing the values of the normal / abnormal times of convergences, the times of blinking, and / or the incidence of convergence insufficiency; changing the location of the regions of abnormal muscles; setting the fourth image with available / unavailable label to the fourth image of the unavailable / available label, in order to remove the fourth image with the unavailable label. The classification results and / or the detection results updated in the manner as described above are resent to the output unit via the result updating unit, to update the contents to be viewed by the patient and the medical personnel. As a result, potentially erroneous results may be corrected by professionals, and the detection results possess a higher level of confidence.

[0122] In one embodiment, the result updating unit may utilize the first terminal to obtain the regular examination results of the patient to serve as reference medical data for the strabismus and / or convergence insufficiency test. In the process of updating the classification results and / or the detection results at the second terminal, the medical personnel, technicians, and data engineers may determine the history of eye diseases of the patient by combining the detection results with the past diagnosis of eye health conditions of the patient and provide the patient with professional treatment and / or prevention recommendations through the result updating unit. In this manner, treatment and / or prevention recommendations may be sent to the first terminal via the output unit and presented to the patient. The present application constructs a remote diagnosis and treatment system that prescribes a corresponding prescription to the patient based on the detection results.

[0123] The second acquisition unit further comprises the content setting unit, for setting the strabismus and / or convergence insufficiency test content by the second terminal; sending the strabismus and / or convergence insufficiency test content to the first terminal and presenting the strabismus and / or convergence insufficiency test content to the patient by the first terminal during the second time period. The content setting unit can be oriented towards test content developers, medical personnel, and medical partners -to provide personalized test content for patients.

[0124] Specifically, the test content developers develop multimedia content for the strabismus and / or convergence insufficiency test in the content setting unit; besides, the medical personnel and the medical partners may also upload other multimedia content; the number of multimedia content being four or five or more. The medical staff and partners may access multimedia content through the content setting unit using the second terminal. They may then select, sort, and organize the multimedia content, which is subsequently sent to the first terminal for the patient to view. The present application includes strabismus and / or convergence insufficiency tests that are created, uploaded, selected, and organized before being presented to the patient. This allows the system to provide specialized and customized test content to meet the needs of different categories of patients.

[0125] The second acquisition unit further comprises the content updating unit, for obtaining and updating the strabismus and / or convergence insufficiency test content by the second terminal; and sending the updated strabismus and / or convergence insufficiency test content to the first terminal. The content updating unit is oriented toward test content developers, medical personnel and medical partners to update the test content in real time to further improve the timeliness and accuracy of the test.

[0126] In one embodiment, the results obtained from the patient by regular examination can be used by medical personnel and partners as reference medical data. These data can be used to upload new multimedia content that considers the actual health condition of the patient's eyes. This new content replaces the existing multimedia that may not be suitable, to prevent any discomfort or inability for the patient to undergo the testing process. The system of the present application utilizes the result updating unit, the content setting unit, and the content updating unit to complement the interfaces that are required to control the process of the strabismus and / or convergence insufficiency test, through which medical personnel, test content developers, technicians, data engineers, and medical partners may offer corrections, additions, and protocol optimization for the test at the second terminal. Therefore, the present application establishes a comprehensive remote diagnostic system for convergence insufficiency to provide efficient screening of convergence insufficiency for adolescents, mobility-impaired individuals, and people in areas with shortages of medical resources.

[0127] In one embodiment, the system further comprises a data storage unit, wherein the data storage unit is used to store patient data generated by the -convergence insufficiency test for a short or long term, including at least one of: the eye-tracking video, the second detection data set, the classification results, the detection results, the regular examination results, and the strabismus and / or convergence insufficiency test content. Medical personnel and partners can access this data from the data storage unit at any time using the second terminal.

[0128] This data storage unit may be a computer-readable storage medium wired or wirelessly connected to the first terminal, the second terminal, and / or the cloud server, preferably to the cloud server, in which computer-readable instructions for retrieving the aforementioned data and the aforementioned data itself are stored. Said computer-readable storage medium may employ any combination of one or more readable media, which may be a readable signaling medium or a readable storage medium, including, but not limited to, a system, device, or apparatus, or device of electricity, magnetism, light, electromagnetism, infrared light, or semiconductors, or a combination of any of the above.

[0129] By setting up the data storage unit, the present application collects valuable patient data. This allows medical personnel, data engineers, and others to access and update the data, find solutions for creating patient medical records, and improve the method of extracting classification features. Additionally, the application may create a video database of convergence insufficiency content to support relevant medical research. -

[0130] The first and second terminals of the present application can be set up in multiple regions and used simultaneously. This means that many patients may perform the tests and upload their examination results at the same or different times and in different regions. All the data may be uniformly stored in the data storage unit. Medical personnel, data engineers, test content developers, and medical partners may also use multiple second terminals in different regions to perform tasks such as image screening, correcting detection results, and uploading / updating test content. In one embodiment, three second terminals located in different regions are used simultaneously. Therefore, the present application facilitates multi-terminal works and multi-terminal communication, improving the system’s adaptability in a multi-person diagnosis and treatment environment.

[0131] The wireless communication between the cloud server, the data storage unit, the first terminal, and the second terminal may be selected from WIFI, Bluetooth, UWB, cellular data, satellite cell phone, e.g. All patients using the first terminal and interested people using the second terminal will conveniently operate this system simultaneously or non-simultaneously at different locations, accordingly.

[0132] In the present application, the first terminal is selected from a smartphone, a tablet, a laptop, or a smart wearable device, which provides patients with convenient remote rendezvous for incomplete diagnosis. The second terminal is selected from a tablet computer, a laptop computer, a desktop computer or a smart TV, enabling medical personnel, technicians, data engineers, and test content developers to perform convenient operations to publish and update data at the second terminal.

[0133] The system in the application can be applied in various industries where eye strain and vision issues are common:

[0134] Healthcare and optometry clinics can integrate the system into their diagnostic and treatment processes, helping vision therapists and eye doctors provide effective therapy.

[0135] Vision therapy and rehabilitation centers can use it for structured treatment programs, offering both in-clinic and home-based solutions.

[0136] In the digital health and telemedicine sector, the system can be incorporated into remote vision care platforms, allowing patients to receive therapy from home.

[0137] Corporate wellness programs can adopt the system to help employees who spend long hours on screens, reducing digital eye strain.

[0138] The automotive industry can use it as a fatigue detection system, where the fatigue detection system automatically detects that the driver is starting to experience fatigue and provides several actions. In one embodiment, the first terminal (cell phone, for example) is integrated into the car and performs the scanning of the driver's eyes at all times / periodically by the second acquisition unit, then the images of driver’s eyes is collected by the first terminal, processed to form the second detection data set and sent to the feature acquisition unit in the second terminal (laptop, for example) or the cloud (remote server) to detect the strabismus and / or convergence insufficiency to: (a) warnings and alerts to the driver to stop driving and rest, and (b) possibly send alerts or warnings to police or other authorities when drivers ignore the alerts to stop driving and rest.

[0139] Police can use this system for the quick detection of fatigue in drivers when stopped.

[0140] Educational institutions can utilize it for vision screenings and reading support programs, particularly for students with learning difficulties.

[0141] The gaming and VR industry may benefit by using the system to reduce eye fatigue and improve visual endurance for gamers and e-sports professionals.

[0142] Military and aviation training programs can apply the technology to enhance pilots'a nd soldiers'binocular vision skills.

[0143] Additionally, specialized vision training programs can incorporate the system to improve athletes’ eye coordination and performance.

[0144] Although the above describes the embodiments of the present application, the present application is not limited to the above specific embodiments and fields of application, and the above specific embodiments are merely schematic and instructive, and not restrictive. The person of ordinary skill in the field may also make many kinds of forms under the inspiration of this specification and without departing from the scope of protection of the claims of this application, and all of them belong to the protection of the claims of this application.

Claims

1.A detection method for determining whether a patient suffers from strabismus and / or convergence insufficiency, comprising:acquiring a second detection data set based on images of human eyes by a first terminal during a second time period;extracting classification features from the second detection data set, the classification features comprising a first classification feature and a second classification feature;obtaining classification results corresponding to the first classification feature and the second classification feature in relation to the locations of the eyes, respectively;obtaining detection results related to whether a patient suffers from strabismus and / or convergence insufficiency based on the classification results; andoutputting at least one of the classification results and detection results;wherein the first classification feature and the second classification feature are classification features obtained with respect to different regions of the eyes.2.The method according to claim 1, wherein before acquiring the second detection data set by the first terminal during the second time period, the method comprises:acquiring a first detection data set based on images of human faces by the first terminal during a first time period; andobtaining a first instruction based on the first detection data set;wherein when the first instruction indicates that the first detection data set is greater than the first threshold, starting to acquire the second detection data set by the first terminal.3.The method according to claim 2, wherein acquiring the first detection data set by the first terminal during a first time period comprises:capturing a face-tracking video of a patient during the first time period by the first terminal, frame-extracting the face-tracking video to obtain a first image set; andpre-processing the first image in the first image set and acquiring a second image to obtain the first detection data set.4.The method according to claim 2, wherein obtaining the first instruction based on the first detection data set comprises:extracting a confidence value of the second image in the first detection data set; andobtaining the first instruction based on the confidence value.5.The method according to claim 4, wherein when the confidence value of any of the second image in the first detection data set is not less than the first threshold,the first instruction indicates that the first detection data set is greater than the first threshold.6.The method according to claim 1, wherein acquiring the second detection data set by the first terminal during the second time period comprises:capturing an eye-tracking video of a patient during the second time period by the first terminal, frame-extracting the eye-tracking video to obtain a second image set; andpre-processing a third image in the second image set, and acquiring a fourth image to acquire the second detection data set.7.The method according to claim 6, wherein acquiring the second detection data set by the first terminal during the second time period further comprises:capturing the eye-tracking video of the patient by the first terminal during the process of conducting a strabismus and / or convergence insufficiency test on the patient.8.The method according to claim 7,wherein the strabismus and / or convergence insufficiency test comprises: a static convergence test section, and a motor convergence test section.9.The method according to claim 6, wherein the second time period is at least 20 min, and the frame rate of the eye-tracking video of the patient captured by the first terminal is at least 5 frames / second.10.The method according to claim 6, wherein the eye-tracking video comprises iris position and pupil position of the patient.11.The method according to claim 6, wherein after acquiring the second detection data set further comprises: detecting an angle of the human eye orientation in each fourth image in the second detection data set with respect to the forward facing orientation;in response to said angle being greater than a second threshold, calibrating the corresponding fourth image so that the human eye orientation in the fourth image is toward the forward facing orientation.12.The method according to claim 6, wherein before pre-processing the third image in the second image set, further comprising:labeling any one of the third images in the second image set as a usable third image / unusable third image; anddeleting the unusable third image in the second image set.13.The method according to claim 6, wherein extracting the classification features from the second detection data set comprises:extracting eyelid features and pupil features of each fourth image of the second detection data set, wherein the eyelid features are defined as the first classification feature for determining eye position of the patient; andthe pupil features are defined as the second classification feature for determining the pupil position of the patient.14.The method according to claim 13, wherein the eyelid features comprise: upper eyelid (proximal) , upper eyelid (distal) , lower eyelid (proximal) , lower eyelid (distal) , inner canthus, and outer canthus; andthe pupil features comprise: pupil position.15.The method according to claim 1, wherein obtaining the classification results corresponding to the first classification feature and the second classification feature, respectively, comprises:obtaining the classification results of the eyelid position of the patient based on the first classification feature; andobtaining the classification results of the pupil position of the patient based on the second classification feature.16.The method according to claim 15, wherein obtaining the detection results related to whether a tested subject suffers from strabismus and / or convergence insufficiency comprises:determining a distance between a pupil and an eyelid based on the classification results of the eyelid position and the classification results of the pupil position;extracting a third classification feature from the second detection data set and obtaining classification results of the corneal reflection point of the patient based on the third classification feature;comparing the positional relationship between the classification results of the corneal reflection point and the classification results of the pupil position to obtain the detection results.17.The method according to claim 16, wherein comparing a positional relationship between the classification results of the corneal reflection point and the classification results of the pupil position to obtain the detection results comprises:The offset distance of the classification results of the corneal reflection point relative to the classification results of the pupil position toward the temporal / nasal side is:equal to 0, the detection results are normal alignment;greater than 0 and less than or equal to 1 mm, the detection results are very light internal strabismus / very light external strabismus;greater than 1 mm and less than or equal to 2 mm, the detection results are light internal strabismus / light external strabismus;greater than 2 mm and less than or equal to 3 mm, the detection results are mild internal strabismus / mild external strabismus; andgreater than 3 mm, preferably greater than 4 mm, the detection results are severe internal strabismus / severe external strabismus.18.The method according to claim 6, further comprising:obtaining the second detection data set, the classification results, and / or the detection results by a second terminal; andupdating at least one of the classification results and detection results by the second terminal.19.The method according to claim 1, further comprising:obtaining regular examination results by the first terminal; andsending the regular examination results to the second terminal.20.The method according to claim 18, further comprising:setting a convergence function test content by the second terminal;sending the convergence function test content to the first terminal; andpresenting the convergence function test content to the patient by the first terminal during the second time period.21.The method according to claim 20, further comprising:updating the convergence function test content by the second terminal; andsending updated convergence function test content to the first terminal.22.The method according to any one of claims 1-21, further comprising:storing at least one of the eye-tracking videos, the second detection data set, the classification results, the detection results, the regular examination results, and the convergence function test content.23.A strabismus and / or convergence insufficiency detection system, comprising:a second acquisition unit for acquiring third images comprising a human eye using the first terminal during a second time period, pre-processing the third images to obtain fourth images to form a second detection data set;a feature acquisition unit for extracting classification features from the second detection data set, wherein the classification features comprise a first classification feature, a second classification feature, and a third classification feature;a third acquisition unit for obtaining classification results in relation to the locations of the eyes corresponding to the first classification feature, the second classification feature and the third classification feature respectively;a detection unit for obtaining detection results related to whether a tested patient suffers from convergence insufficiency based on the classification results; andan output unit for outputting at least one of the classification results and detection results;wherein at least one of the second acquisition unit, the feature acquisition unit, the third acquisition unit, the detection unit and the output unit is executed on a second terminal or a cloud server.24.The system according to claim 23, further comprising:a first acquisition unit for acquiring a first detection data set based on images of human faces by the first terminal during a first time period; andan instruction generation unit for obtaining a first instruction based on the first detection data set;wherein when the first instruction indicates that the first detection data set is greater than the first threshold, starting to acquire the second detection data set by the first terminal.25.The system according to claim 23, the second acquisition unit further comprises:an image selection unit for labeling any one of the third image as usable third image or unusable third image used by the second terminal; anddeleting the unusable third image.26.The system according to claim 23, the second acquisition unit further comprises:an image calibration unit for detecting the fourth images in which the human eye is not facing forward, to calibrate the human eye facing angle in the fourth images.27.The system according to claim 23, the output unit further comprises:a result updating unit for obtaining the second detection data set, the classification results, and / or the detection results; andupdating at least one of the classification results and detection results by the second terminal.28.The system according to claim 27, wherein the result updating unit further obtains the regular examination results by the first terminal; andsends the regular examination to the second terminal.29.The system according to claim 23, the second acquisition unit further comprises:a content setting unit for setting a convergence function test content by the second terminal;sending the convergence function test content to the first terminal; andpresenting the convergence function test content to the patient by the first terminal during the second time period.30.The system according to claim 29, the second acquisition unit further comprises:a content updating unit for updating the convergence function test content by the second terminal; andsending the updated convergence function test content to the first terminal.31.The system according to any one of claims 23-30, further comprising:a data storage unit for storing at least one of the eye-tracking video, the second detection data set, the classification results, the detection results, the regular examination results, and the convergence function test content.32.The system according to claim 23, wherein the first terminal is a smartphone, a tablet, a laptop, or a smart wearable device; andthe second terminal is a tablet computer, a laptop computer, a desktop computer, or a smart TV.33.The system according to claim 23, wherein the system is applied to one of the following purposes:diagnostic and treatment processes in healthcare and optometry clinics;structured treatment programs in vision therapy and rehabilitation centers;remote vision care platforms in the digital health and telemedicine sector;corporate wellness programs in the workplace;fatigue detection system in the automotive industry;quick detection of fatigue in drivers during traffic police operations;vision screenings and reading support programs in educational institutions;eye fatigue reduction in the gaming and VR industry;training programs in military and / or aviation programs; orspecialized vision training programs for athletes.

Images