Automated auxiliary diagnosis method, device, equipment and server for depressive disorders

Abstract

An automated auxiliary diagnosis method, device, equipment and server for depressive disorders are described. The device comprises: an image obtaining module (1), which is adapted to obtain a set of test images, wherein the set of test images comprises at least one first-category image containing negative features and at least one second-category image not containing negative features; an image presenting module (2), which is adapted to present the set of test images to a to-be-diagnosed patient according to a preset presentation strategy, wherein the preset presentation strategy comprises presenting each of the first-category images and the second-category images to the to-be-diagnosed patient with a presentation duration of 33-40 milliseconds per image; an EEG data acquisition module (3), adapted to synchronously acquire EEG data of a frontal area of the to-be-diagnosed patient during a period when the image presenting module (2) presents the set of test images; an event-related potential signal extraction module (4), which is adapted to extract event-related potential signals of brain waves before and after presentation times of the first-category images and the second-category images; and a decision-making module (5), which is adapted to generate an auxiliary diagnosis result based on the event-related potential signals.

Description

AUTOMATED AUXILIARY DIAGNOSIS METHOD, DEVICE, EQUIPMENT AND SERVER FOR DEPRESSIVE DISORDERS

[0001] CROSS-REFERENCE TO RELATED APPLICATION

[0002] This patent application claims priority to Chinese Patent Application No. 202410806627. X, filed June 21, 2024, which is incorporated herein by reference in its entirety.

[0003] FIELD OF THE DISCLOSURE

[0004] The present disclosure relates to a technical field of psychological assessment, particularly to an automated auxiliary diagnosis method, device, equipment, and server for depressive disorders.BACKGROUND

[0005] With the improvement of people’s living standards and the development of conventional medical technologies, mental illnesses, represented by depressive disorders, have increasingly shown a trend of prevalence. On the basis of a high prevalence rate, and due to the diversity of depressive disorders symptoms, the subjectivity of self-treatment willingness, the bias of doctors’ diagnoses, the lack of objective biomarkers, as well as individual differences and social cultural factors, the diagnostic process of depressive disorders still has great room for improvement.

[0006] There are a number of deficiencies in the existing diagnostic processes for depressive disorders, mainly including the following aspects. Firstly, symptoms of depressive disorders are often overlooked or misdiagnosed. This is mainly because depressive symptoms vary greatly among individuals. Each patient may exhibit different symptoms due to their respective living environment. Additionally, limited medical resources and the patient’s own stigma of illness hinder treatments in the early stages of the disease. Often, patients only accept systematic treatments when the disease has developed to an irreversible extent.

[0007] Secondly, the tools and criteria for diagnosing depression lack objectivity and accuracy. Current diagnostic processes rely on doctors’ subjective evaluations and self-reports from patients, lacking objective biological markers or imaging examinations. This subjectivity is easily influenced by the doctor’s experience level and personal bias, leading to inconsistency and inaccuracy in diagnoses.

[0008] Additionally, diagnosing depression usually involves relatively lengthy processes and duration. Due to the complexity of causes and the diversity of symptoms, the diagnostic processes often require multiple clinical visits. Because of the limited diagnostic resources, doctors often have difficulty to provide expeditious and interactive diagnosis and guidance on the progress of the patient’s condition, which significantly diminishes the patients’ enthusiasm and effectiveness of the treatments.

[0009] In summary, in order to improve the accuracy and efficiency of diagnosis, it is essential to further research and develop new methods and devices for the auxiliary diagnosis of depressive disorders.SUMMARY OF THE INVENTION

[0010] To solve the above issues, this disclosure provides an automated auxiliary diagnosis method, device, equipment, and server for depressive disorders based on brainwave data.

[0011] The first aspect of the present disclosure provides an automated auxiliary diagnosis method, comprising: presenting a set of test images to a to-be-diagnosed patient according to a preset presentation strategy and synchronously acquiring brain wave data of a frontal area of the to-be-diagnosed patient, wherein the set of test images comprises at least one first-category image containing negative features and at least one second-category image without negative features, and the preset presentation strategy comprises presenting each of the first-category image and the second-category image to the to-be-diagnosed patient with a presentation duration of 33-40 milliseconds per image; and extracting event-related potential signals of brain waves before and after presentation times of the first-category image and the second-category image.

[0012] It can be understood that setting the preset presentation strategy to present each first-category image with negative features to the to-be-diagnosed patient with an image presentation duration of 33-40 milliseconds per image can induce depressive emotions without the patient being aware of the image presentation process. By using event-related potential signals based on EEG data to extract EEG event waveforms related to unconscious depressive emotions, the brain’s response to unconscious negative emotions can be quantified. The extracted event-related potential signals can assist doctors to distinguish and determine the patient’s depressive state based on relevant parameters of the EEG data, thereby reducing doctors’ subjectivity in the diagnostic process of depressive disorders.

[0013] In one possible embodiment, the method further comprises: generating at least one positive expression facial image and at least one negative expression facial image based on one or more neutral facial images of a person associated with the to-be-diagnosed patient, wherein the first-category image is selected from the negative expression facial images, and the second-category image is selected from the neutral facial images and / or the positive expression facial images. It can be understood that based on various facial images of a person associated with the to-be-diagnosed patient, the background of their symptom onset can be regenerated individually, making the diagnosis of depressive disorders more accurate.

[0014] In one possible embodiment, generating the at least one positive expression facial image and the at least one negative expression facial image based on the neutral facial image of a person associated with the to-be-diagnosed patient comprises: obtaining a resting, neutral facial image of the person associated with the to-be-diagnosed patient;  extracting local features from the neutral facial image; and generating the positive expression facial image and the negative expression facial image based on the local features.

[0015] In one possible embodiment, the set of test images is defined by one of the negative expression facial images and one of the positive expression facial images; and, the method further comprises: determining a numerical relationship between a highest potential of the event-related potential signal induced by the negative expression facial image and a highest potential of the event-related potential signal induced by the positive expression facial image.

[0016] In one possible embodiment, the method further comprises: determining whether the numerical relationship meets a first preset criterion.

[0017] In one possible embodiment, the set of test images is defined by one of the negative expression facial images, one of the positive expression facial images and one of the neutral facial images; and, the method further comprises: determining a numerical relationship between a highest potential of the event-related potential signal induced by the negative expression facial image, a highest potential of the event-related potential signal induced by the neutral facial image and a highest potential of the event-related potential signal induced by the positive facial expression image.

[0018] In one possible embodiment, the method further comprises: determining whether the numerical relationship meets a second preset criterion.

[0019] In one possible embodiment, extracting the event-related potential signals of brain waves before and after presentation times of the first-category image and the second-category image comprises: extracting event-related potential signals of brain waves within 100-300 milliseconds before and within 100-300 milliseconds after the presentation times of the first-category image and the second-category image.

[0020] In one possible embodiment, the preset presentation strategy comprises: repeatedly presenting the set of test images at least 30 times.

[0021] In one possible embodiment, the preset presentation strategy comprises: presenting each first-category image and each second-category image to the to-be-diagnosed patient with a same single image presentation duration.

[0022] In one possible embodiment, the preset presentation strategy comprises: after presenting one of the first-category images or the second-category images, presenting a background image once, and then presenting another of the first-category images or the second-category images.

[0023] In one possible embodiment, the preset presentation strategy comprises: presenting the background image with a single presentation duration of 1-5 seconds each time.

[0024] In one possible embodiment, the background image is a masked gray background image.

[0025] The second aspect of the present disclosure provides a device for automated auxiliary diagnosis of depressive disorders, which comprises: an image obtaining module, which is adapted to obtain a set of test images, wherein the set of test images comprises at least one first-category image containing negative features and at least one second-category image not containing negative features; an image presenting module, which is adapted to present the set of test images to a to-be-diagnosed patient according to a preset presentation strategy, wherein the preset presentation strategy comprises presenting each of the first-category images and the second-category images to the to-be-diagnosed patient with a presentation duration of 33-40 milliseconds per image; an EEG data acquisition module, adapted to synchronously acquire EEG data of a frontal area of the to-be-diagnosed patient during a period when the image presenting module presents the set of test images; an event-related potential signal extraction module, which is adapted to extract event-related potential signals of brain waves before and after presentation times of the first-category images and the second-category images; and, a decision-making module, which is adapted to generate an auxiliary diagnosis result based on the event-related potential signals.

[0026] In one possible embodiment, the image obtaining module comprises: an image acquisition module, for acquiring one or more neutral facial images of a person associated with the to-be-diagnosed patient; and an image processing module, adapt for generating a positive expression facial image and a negative expression facial image based on the neutral facial image; wherein, the first-category images are selected from the negative expression facial images, and the second-category images are selected from the neutral facial images and / or the positive expression facial images.

[0027] In one possible embodiment, generating the positive expression facial image and the negative expression facial image based on the neutral facial image comprises: extracting local features from the neutral facial image; and generating the positive expression facial image and the negative expression facial image based on the local features.

[0028] In one possible embodiment, the set of test images is defined by one of the positive expression facial images and one of the negative expression facial images; and the decision-making module pre-stores a first preset criterion and is adapted to: determine a numerical relationship between a highest potential of the event-related potential signal induced by presenting the negative expression facial image and a highest potential of the event-related potential signal induced by presenting the positive facial expression image; and, generate an auxiliary diagnosis result according to whether the numerical relationship meets the first preset criterion.

[0029] In one possible embodiment, the first preset criterion comprises: a difference between the highest potential of the event-related potential signal induced by the negative expression facial image and the highest potential of the event-related potential signal induced by the positive facial expression image is greater than 0.005mV, or, the highest potential of the event-related potential signal induced by the negative  expression facial image is 2 times or more of the highest potential of the event-related potential signal induced by the positive facial expression image.

[0030] In one possible embodiment, the set of test images is defined by one of the positive expression facial images, one of the negative expression facial images and one of the neutral facial images; and, the decision-making module pre-stores a second preset criterion and is adapted to: determine a numerical relationship between a highest potential of the event-related potential signal induced by presenting the negative expression facial image, a highest potential of the event-related potential signal induced by presenting the neutral facial image and a highest potential of the event-related potential signal induced by presenting the positive facial expression image; and, generate an auxiliary diagnosis result according to whether the numerical relationship meets the second preset criterion.

[0031] In one possible embodiment, the second preset criterion comprises: the highest potential of the event-related potential signal induced by the negative expression facial image is greater than a sum of the highest potential of the event-related potential signal induced by the neutral facial image and the highest potential of the event-related potential signal induced by the positive facial expression image.

[0032] In one possible embodiment, the preset presentation strategy comprises: presenting a background image after presenting one of the first-category images or the second-category images, and then presenting another of the first-category images or the second-category images.

[0033] In one possible embodiment, the preset presentation strategy comprises: presenting the background image with a presentation duration of 1-5 seconds each time.

[0034] In one possible embodiment, the event-related potential signal extraction module is adapted to extract the event-related potential signals of the brain waves within 100-300 milliseconds before and within 100-300 milliseconds after the presentation times of each first-category image and each second-category image.

[0035] In one possible embodiment, the event-related potential signal extraction module is adapted to extract the event-related potential signals of the brain waves within 200 milliseconds before and within 200 milliseconds after the presentation times of each first-category image and each second-category image.

[0036] In one possible embodiment, the preset presentation strategy comprises: repeatedly presenting the test images at least 30 times.

[0037] In one possible embodiment, the image presenting module comprises a display, and a refresh rate of the display is greater than or equal to 240 Hz.

[0038] In one possible embodiment the image obtaining module, the image presenting module, the EEG data acquisition module, the event-related potential signal extraction module and the decision-making module are integrated into one or more intelligent devices.

[0039] In one possible embodiment, the one or more smart devices include a portable smart device, and the image obtaining module and / or the image presenting module are provided within the portable smart device and function in response to a control unit within the portable smart device.

[0040] In one possible embodiment, the EEG data acquisition module is a wearable smart device.

[0041] In one possible embodiment, the one or more intelligent devices include a server, and the event-related potential signal extraction module and / or the decision-making module are integrated within the server.

[0042] The third aspect of the present disclosure discloses a device for automated auxiliary diagnosis of depressive disorders, which comprises: an information receiving module, adapted for receiving timeline information of presenting a set of test images to a to-be-diagnosed patient and synchronous brain wave information of the to-be-diagnosed patient during viewing the set of test images, wherein the set of test images comprises at least one first-category image containing negative features and at least one second-category image not containing negative features, and, presenting the set of test images to the to-be-diagnosed patient comprises: presenting each first-category image and each second-category image to the to-be-diagnosed patient with an image presentation duration of 33-40 milliseconds per image, and, the timeline information includes presentation time features of each first-category image and each second-category image; and a result output module, adapted to output the auxiliary diagnosis result to the to-be-diagnosed patient.

[0043] In one possible embodiment, the device further comprises an image presenting module, wherein the image presenting module is adapted to present the test images to the to-be-diagnosed patient.

[0044] In one possible embodiment, the image presenting module comprises a display module.

[0045] In one possible embodiment, the device further comprises an image obtaining module, wherein the image obtaining module is adapted to provide the first-category images and the second-category images to the image presenting module.

[0046] In one embodiment, the image obtaining module comprises a camera module.

[0047] The fourth aspect of the present disclosure discloses a server, comprising: a data receiving module, adapted for receiving timeline data of presenting a set of test images to a to-be-diagnosed patient and brain wave data synchronously acquired when the to-be-diagnosed patient views the set of test images, wherein the set of test images comprises at least one first-category image containing negative features and at least one second-category image not containing negative features, and, each first-category image and each second-category image are presented to the to-be-diagnosed patient with a single image presentation duration of 33-40ms, and, the timeline data comprises presentation time features of each first-category image and  each second-category image; a data processing module, adapted for: extracting event-related potential signals of brain waves before and after the presentation times of each first-category image and each second-category image based on the brain wave data and the timeline data, and, generating auxiliary diagnosis results based on the event-related potential signals; and a data sending module, adapted to send the auxiliary diagnosis result externally.

[0048] The fifth aspect of the present disclosure discloses a device for automated auxiliary diagnosis of depressive disorders, comprising: at least one processor; and at least one storage device, communicatively connected to the at least one processor; wherein the at least one storage device stores at least one instruction, and the at least one instruction is loaded and executed by the at least one processor to implement the method as described in any one of the above embodiments of the first aspect. And this device possesses the beneficial effects brought by the above-mentioned methods, which will not be repeated here.

[0049] The sixth aspect of the present disclosure discloses a computer program product, comprising: at least one instruction; wherein when the at least one instruction is executed on one or more smart devices, the one or more smart devices implement the method in any one of the above embodiments of the first aspect. This computer program product possesses the beneficial effects brought by the above-mentioned methods, which will not be repeated here.BRIEF DESCRIPTION OF THE DRAWINGS

[0050] FIG. 1 is a schematic flowchart of an automated auxiliary diagnostic method for depressive disorders provided by an embodiment of this disclosure.

[0051] FIG. 2 is a block diagram illustrating the principles of an automated auxiliary diagnostic device for depressive disorders provided by an embodiment of this disclosure.

[0052] FIG. 3 is a block diagram illustrating the principles of an image presenting module provided by an embodiment of this disclosure.

[0053] FIG. 4 is a block diagram illustrating the principles of an image acquisition module provided by an embodiment of this disclosure.

[0054] FIG. 5 is a block diagram illustrating the principles of a brainwave data collection module provided by an embodiment of this disclosure.

[0055] FIG. 6 is a schematic diagram of a portable intelligent device that allows a patient to self-assist in diagnosing depressive disorders, provided by an embodiment of this disclosure.

[0056] FIG. 7 is a schematic diagram of another portable intelligent device that allows a patient to self-assist in diagnosing depressive disorders, provided by an embodiment of this disclosure.

[0057] FIG. 8 is a schematic diagram of a device that allows medical staff to assist in diagnosing depressive disorders at the testing site, provided by an embodiment of this disclosure.

[0058] FIG. 9 is a flowchart illustrating the process of using the device in FIG. 8 for automated auxiliary diagnosis of depressive disorders for the patient.

[0059] FIG. 10 is an exemplary set of standard test images provided by an embodiment of this disclosure.

[0060] FIG. 11 is a comparative schematic diagram showing the waveforms of event-related potential signals when patients with depressive disorders and healthy controls view positive facial expression images.

[0061] FIG. 12 is a comparative schematic diagram showing the waveforms of event-related potential signals when patients with depressive disorders and healthy controls view negative facial expression images.

[0062] DESCRIPTION OF THE ILLUSTRATED EMBODIMENTS

[0063] To the present disclosure will be described below with reference to several example embodiments shown in the accompanying drawings. Although preferred embodiments of the present disclosure are shown in the accompanying drawings, it should be understood that these embodiments are described only to enable those skilled in the art to better understand and implement the present disclosure, and are not intended to limit the scope of the present disclosure in any way.

[0064] As used herein, the term “comprising” and its variations represent an open inclusion. Unless otherwise stated, the terms “based on” and “according to” mean “based at least partly on” or “at least partly according to” , respectively. The term “one embodiment” means “at least one example embodiment” .

[0065] The term “people associated with the to-be-diagnosed patient” used in the present disclosure refers to people who have intersections with the to-be-diagnosed patient in daily life, especially people who interact or communicate with the to-be-diagnosed patient in daily life, such as relatives, colleagues, classmates, teachers, friends, neighbors, etc.

[0066] The term “frontal EEG data” used in the present disclosure refers to electroencephalogram (EEG) data recorded from the frontal lobe area of the brain. The frontal area is the frontal lobe, located in the front of the brain, responsible for executive functions, decision-making, emotional control, motor control, etc. Electroencephalogram (EEG) : a technology for recording electrical activity in the brain that captures the synchronous electrical activity of neurons by placing electrodes on the scalp. Frontal EEG data usually includes characteristics such as frequency (such as alpha waves, beta waves, theta waves, delta waves, etc. ) , amplitude, and phase. In the standard electroencephalogram (EEG) electrode arrangement system, the electrode positions in the frontal lobe area are marked according to the international 10-20 system.

[0067] The term “event-related potential signal” used herein refers to the brain response recorded by an EEG recorder associated with a given event (e.g., stimulus) . The given event in this disclosure refers to the stimulus of the to-be-diagnosed patient viewing first-category images or second-category images.

[0068] As mentioned above, most diagnostic devices and criteria for depressive disorders lack objectivity and accuracy. Current diagnostic processes rely on subjective evaluation by doctors and self-reports by patients, lacking objective biological markers or imaging examinations. This subjectivity is easily affected by the doctor’s experience level and personal bias, resulting in inconsistent and inaccurate diagnosis.

[0069] The term “presentation duration” or alike used herein refers to how long an image is displayed, while the term “presentation time” or alike refers to when an image is displayed.

[0070] In the technical solution of the present disclosure “, in order to address the problems of misdiagnosis and missed diagnosis caused by individual differences in depressive disorders, an individualized image acquisition system is preferentially used to regenerate the scene of real symptom induction for each depressed patient, so as to create a diagnostic process adapted to multiple types of patients. And in order to address the problem that the diagnostic process of depressive disorders overly depends on the doctor’s scale judgment results, objective EEG data is used to classify and diagnose the to-be-diagnosed patients, so as to avoid the problem of doctors’ over-empirical judgment. And in order to address the problem of over-reliance on patients’ verbal reports for depressive disorders, a solution of unconscious depression induction that bypasses patients’ subjective consciousness is used, so as to improve the objectivity of the diagnostic process, And in order to address the problem that the existing diagnostic processes have prolonged durations, a set of algorithms deployed on computing devices or smart devices is used to automatically classify and assist in the preliminary diagnosis of to-be-diagnosed patients, so as to reduce the burden on the medical system and improve the patients’ willingness for diagnosis and treatment.

[0071] According to the above description, the technical solution of the present disclosure can improve the accuracy of diagnosis of depressive disorders, thereby providing a reliable solution for the patients to understand their own health conditions.

[0072] The present disclosure provides a method for automated auxiliary diagnosis of depressive disorders, which can be fully implemented by one device or by one or more devices. It can be implemented offline in a fixed place or online in a self-testing manner with the help of some portable devices.

[0073] Automated auxiliary diagnosis method for depressive disorders

[0074] The automated auxiliary diagnosis method for depressive disorders provided by the present disclosure is described below in conjunction with the accompanying drawings. Referring to FIG. 1, a method of an embodiment is demonstrated, and the process of the method comprises the following steps:

[0075] Step 101: Obtaining a set of test images.

[0076] Wherein the set of test images may include at least one first-category image containing negative features and at least one second-category image not containing negative features.

[0077] The test images can be either standard test images or personalized test images customized for each to-be-diagnosed patient.

[0078] For example, the standard test pictures can be used as the first category of pictures as the 3 computer synthesized expression pictures in the upper part of Fig. 10; in these 3 pictures, from left to right , an angry face, a disgusted face and a sad face are presented, respectively, and they all have negative facial features; and the 3 computer synthesized expression pictures as the second category of pictures as in the lower half of Fig. 10; in these 3 computer pictures, from left to right, a surprised face, a neutral face and a happy face are presented, respectively, and they all have positive facial features.

[0079] Personalized test images, which can be test images tailored for each to-be-diagnosed patient, can be better utilized in the diagnostic process compared to standard test images. In some specific embodiments, personalized test images of people associated with the to-be-diagnosed patient, such as relatives of the to-be-diagnosed patient, are used. Negative facial expression images of the relatives are adopted as first-category images containing negative features; and positive facial expression images of the relatives of the to-be-diagnosed patient are adopted as second-category images without negative features. In a typical example of tailored configuration of personalized test images, the personalized test images are defined by a negative facial expression image and a positive facial expression image of a person associated with the to-be-diagnosed patient. In another typical example of tailored configuration of personalized test images, the personalized test images can be defined by a negative facial expression image, a positive facial expression image, and a neutral facial expression (or alternatively called a neutral facial image in this disclosure) of a person associated with the to-be-diagnosed patient.

[0080] The personalized test images can be obtained at the diagnosis site, from a storage device, or downloaded from a storage device of an external device. The selection of various types of images in the personalized test images can be automatically performed by a device according to certain rules, or can be manually performed with the help of a physician.

[0081] The method for obtaining the personalized test images may comprise: acquiring a resting neutral facial image of a person associated with the to-be-diagnosed patient, and processing the neutral facial image through an image processor to generate a positive expression facial image and a negative expression facial image. The image processing methods will later be described in detail in conjunction with the hardware of the present disclosure.

[0082] The purpose of the test images is to provide materials to induce depression of the to-be-diagnosed patient in the subsequent diagnostic process. Qualified test images will ensure the successful implementation of the subsequent induction steps. The above solutions of personalized test images involve selecting facial images of different emotions of people associated with the to-be-diagnosed patient. It helps the to-be-diagnosed patients to relate to the process of generating negative emotions by viewing images of people they interact with in real life, which is more likely to induce depression.

[0083] Step 102: Presenting the set of test images to the to-be-diagnosed patient and synchronously collecting EEG data of a frontal area of the to-be-diagnosed patient.

[0084] In step 102, the presentation of a set of test images to the to-be-diagnosed patient is performed according to a preset presentation strategy, which at least includes presenting each first-category image and each second-category image to the to-be-diagnosed patient with a presentation duration of 33-40 milliseconds per image. The presentation duration of a single image is adapted to be 33-40 milliseconds, which can stimulate the to-be-diagnosed patient and induce depression unconsciously.

[0085] In an example, the test images are defined by one negative expression facial image, one positive expression facial image and one neutral facial image of a person associated with the to-be-diagnosed patient. The preset presentation strategy may comprise: presenting one positive expression facial image for 33-40 milliseconds, presenting one negative expression facial image for 33-40 milliseconds and presenting one neutral facial image for 33-40 milliseconds.

[0086] In some specific embodiments, the preset presentation strategy further comprises: presenting a background image between presenting a first-category image and / or a second-category image. For example: presenting a background image immediately after presenting one of the above-mentioned facial images for 33-40 milliseconds, and then presenting another of the above-mentioned facial images for 33-40 milliseconds; wherein a single presentation duration of the background image can be set within 1-5 seconds; and the background image can be a masked gray background image, etc. The presentation of a background image can help to divert the subjective consciousness of the to-be-diagnosed patient, making it easier to induce the to-be-diagnosed patient to develop depression unconsciously. The single presentation duration of the background image is not limited to 1-5 seconds, but can be set as needed.

[0087] In a typical example of the preset presentation strategy, the distribution of presentation duration of various types of images is as follows: a masked gray background image lasts for 2 seconds, a neutral facial image lasts for 40 milliseconds, a masked gray background image lasts for 2 seconds, a positive expression facial image lasts for 40 milliseconds, a masked gray background image lasts for 2 seconds, and a negative expression facial image lasts for 40 milliseconds.

[0088] The implementation of step 102 induces depression of the to-be-diagnosed patient by presenting first-category images (such as negative facial expression images of relatives of the to-be-diagnosed patient) to the patient for a very short duration without the to-be-diagnosed patient being aware of the presentation process of the negative facial expression images. But durations below 33 milliseconds are very brief, and for most people it may not be possible to form a clear perception of an image.

[0089] In this step, the synchronous acquisition of EEG signals of the to-be-diagnosed patient includes: acquiring EEG data of the frontal area of the to-be-diagnosed patient simultaneously while presenting the test images.

[0090] In some specific embodiments, the implementation of step 102 includes: continuously collecting and recording EEG signals of the to-be-diagnosed patient at a sampling rate of 1000 Hz, and saving the EEG signal data at a rate of 40 times per second.

[0091] In some specific embodiments, the preset presentation strategy further includes: repeatedly presenting the test images to the to-be-diagnosed patient, such as presenting for more than 30 times, and synchronously acquiring EEG signals of the to-be-diagnosed patient during each repeated presentation process. Presentation of the test images for multiple times helps the to-be-diagnosed patient to obtain a depressed mood.

[0092] Step 103: Extracting event-related potential signals of brain waves based on the timeline information of presenting the set of test images and the acquired brain wave data.

[0093] In step 103, based on the timeline information of presenting the test images, the extraction of the event-related potential signals of brain waves includes: extracting event-related potential signals of the brain waves before and after the presentation times of each first-category image and each second-category image in the brain wave data.

[0094] In some specific embodiments, the event-related potential signals of the EEG signals 100-300 milliseconds before and 100-300 milliseconds after the presentation times of each first-category image and each second-category image are extracted.

[0095] In an example, the preset presentation strategy includes: presenting the masked gray background image with a duration of 2 seconds, the neutral facial image with a duration of 40 milliseconds, the masked gray background image with a duration of 2 seconds, the positive expression facial image with a duration of 40 milliseconds, the masked gray background image with a duration of 2 seconds, and the negative expression facial image with a duration of 40 milliseconds. The extraction of event-related potential signals of brain waves includes: extracting the event-related potential signals of brain waves within 200 milliseconds before and within 200 milliseconds after the time point when the neutral facial image is presented, extracting the event-related potential signals of brain waves within 200 milliseconds before and within 200 milliseconds after the time point when the positive expression facial image is presented, and extracting the event-related potential signals of brain waves within 200  milliseconds before and within 200 milliseconds after the time point when the negative expression facial image is presented.

[0096] In step 103, after the induction process of unconscious depression is completed, from the continuous EEG data, the EEG waveforms before and after the stimulation are superimposed according to the recorded stimulation timeline information (i.e., the presentation times of each first-category image and second-category image) , to generate effective event-related potential signal data. For each stimulation type (i.e. each first-category image and each second-category image) , the event-related potential signals will be extracted.

[0097] Step 104: Based on the extracted event-related potential signals, an auxiliary diagnosis result of whether the to-be-diagnosed patient suffers from depressive disorders is obtained.

[0098] In step 104, based on the extracted event-related potential signals, the obtainment of an auxiliary diagnosis result includes: determining the numerical relationship between the highest potentials of the extracted event-related potential signals. For example, comparing the highest potential of the event-related potential signal induced by the first-category image with the highest potential of the event-related potential signal induced by the second-category image. When it is determined that the highest potential of the event-related potential signal induced by the first-category image is “much greater than” the highest potential of the event-related potential signal induced by the second-category image, an auxiliary diagnosis is made that the to-be-diagnosed patient suffers from a depressive disorder or depressive disorders. The determining criteria of “much greater than” here can be based on the numerical magnitude relationship. In different implementations, different determining criteria may be used. For example: whether the highest potential of the event-related potential signal induced by the first-category image is 2 times or more of the highest potential of the event-related potential signal induced by any second-category image, whether the difference between the highest potential of the event-related potential signal induced by the first-category image and the highest potential of the event-related potential signal induced by any second-category image is greater than 0.005mV, etc.

[0099] In the example, where the above-mentioned test images are defined by a negative expression facial image and a positive expression facial image of a person associated with the to-be-diagnosed patient (such as a relative) , the auxiliary diagnosis method includes: when the difference between the highest potential of the event-related potential signal induced by the negative expression facial image and the highest potential of the event-related potential signal induced by the positive expression facial image reaches the criterion of 0.005mV, then this set of EEG potential signal data is auxiliary determined as data from a depressed patient, that is, it is auxiliary diagnosed that the to-be-diagnosed patient may suffer from a depressive disorder or depressive disorders; or, when the highest potential of the event-related potential signal induced by the negative expression facial image is 2 times or more of the highest potential of the event-related potential signal induced by the positive expression facial image, then  this set of EEG potential signal data is auxiliary determined as data from a depressed patient, that is, it is auxiliary diagnosed that the to-be-diagnosed patient may suffer from a depressive disorder or depressive disorders.

[0100] In the example, where the above-mentioned test images are defined by a negative expression facial image, a positive expression facial image and a neutral expression facial image of a relative of the to-be-diagnosed patient, the auxiliary diagnosis method includes: when the highest potential of the event-related potential signal induced by the negative expression facial image is greater than the sum of the highest potential of the event-related potential signal induced by the neutral expression facial image and the highest potential of the event-related potential signal induced by the positive facial expression image, then this data is auxiliary determined as data from a depressed patient, that is, it is determined that the to-be-diagnosed patient may suffer from a depressive disorder or depressive disorders.

[0101] When the preset presentation strategy includes repeatedly presenting the test images, the highest potentials of the event-related potential signals extracted each time when one category of image is presented may be superimposed and the average value is taken as the highest potential of the event-related potential signal for the particular category of image.

[0102] In step 104, the event-related potential signals related to unconscious depressive emotions are extracted from the EEG data, thereby quantifying the brain’s response to unconscious negative emotions, and distinguishing and determining the patient’s depressive state through the relevant parameters of the signals.

[0103] The technical solution of the present disclosure provides a method for automated diagnosis of depressive disorders based on EEG signals. The method performs real-time diagnosis by automatically identifying EEG signals related to depressive symptoms, achieving preliminary screening of patients with depressive disorders through an individualized and objective method, and streamlining the diagnostic process of depressive disorders.

[0104] Referring to FIG. 11 and FIG. 12, they illustrate comparisons of event-related potential signals of patients with depressive disorders and healthy controls without depressive disorders when viewing positive expression images and negative expression images, wherein the group of patients with depressive disorders was 13 and the group of healthy controls was 5, each of whom viewed each type of image 80 repetitions; and wherein they viewed the positive expression images and the negative expression images from FIG. 10.

[0105] FIG. 11 illustrates a comparison of event-related potential signals of patients with depressive disorders and healthy controls when viewing positive expression images, wherein the superimposed curves indicated by the arrow ① are the potential signal corresponding to the patients with depressive disorders, and the superimposed curves indicated by the arrow ② are the potential signal of the healthy controls. FIG. 12 illustrates a comparison of the event-related potential signals of the patients with  depressive disorders and the healthy controls when viewing negative expression images, wherein the superimposed curves indicated by the arrow ③ is the potential signal corresponding to the patients with depressive disorders, and the superimposed curves indicated by the arrow ④ are the potential signal of the healthy controls.

[0106] From the analysis of FIG. 11 and FIG. 12, it can be seen, when viewing positive expression images and negative expression images, the difference between the related potential signals of patients with depressive disorders is larger. Based on this finding, the automated auxiliary diagnosis method for depressive disorders in this disclosure uses objective EEG data to find out more easily whether the to-be-diagnosed patient suffers from depressive disorders.

[0107] In the diagnosis method of the present disclosure, for the same to-be-diagnosed patient, it may be necessary to use multiple sets of test images to perform multiple tests respectively, so as to increase the accuracy of the diagnosis result, wherein the multiple sets of test images may come from relevant facial expression images of different persons, or may be facial expression images of the same person with different expressions.

[0108] Device for automated auxiliary diagnosis of depressive disorders

[0109] The device for automated auxiliary diagnosis of depressive disorders is adapted to meet the requirements of automated auxiliary diagnosis of depressive disorders for to-be-diagnosed patients. The device is able to meet the requirements of testing to-be-diagnosed patients in hospitals and at other places, and can also meet the needs of to-be-diagnosed patients to test depressive disorders at home.

[0110] For the convenience of description, the device is described below in terms of various functional modules. Of course, when implementing the present disclosure, the functions of each module can be implemented in the same or multiple software and / or hardware modules.

[0111] FIG. 2 illustrates a schematic block diagram of an automated auxiliary diagnosis device 10 for depressive disorders. The device 10 can meet the requirements of automated auxiliary diagnosis of depressive disorders for to-be-diagnosed patients.

[0112] The device 10 mainly comprises an image obtaining module 1, an image presenting module 2, an EEG data acquisition module 3, an event-related potential signal extraction module 4 and a decision-making module 5.

[0113] The image obtaining module 1 is adapted to obtain test images; wherein the test images include at least one first-category image containing negative features and at least one second-category image not containing negative features.

[0114] In some specific embodiments, the first-category images and the second-category images are selected from various facial expression images of relatives of the to-be-diagnosed patient, such as negative facial expression images, positive facial images, and neutral facial images of relatives of the to-be-diagnosed patient. Selecting these  images as test images can better regenerate the life scenes of the to-be-diagnosed patient, so that the to-be-diagnosed patient can be more easily induced to have depression when viewing these images. Of course, in other embodiments, the first-category images can also be other-category of images that can induce depression in the to-be-diagnosed patient, and the second-category images are used as comparison images to distinguish from the first-category images containing negative features, and other types of images may also be selected as described above in the methods.

[0115] Referring to FIG. 3, in some specific embodiments, the image obtaining module 1 comprises an image acquisition module 11, an expression recognition module 12, an image preprocessing module 13, an image storage module 14, an image returning module 15 and an image postprocessing module 16.

[0116] The image acquisition module 11 is adapted to acquire a resting neutral facial image of a person associated with the to-be-diagnosed patient. The image acquisition module 11 is a high-definition image acquisition module with a specified number of pixels, such as a high-definition camera, a camera module of a smart device, or a similar equipment.

[0117] The expression recognition module 12 is an algorithm system for checking whether the image contains face information and whether it is a neutral facial image, which is usually integrated in an intelligent device or a computing device with a processor. The algorithm system presets a set of judgment rules for determining expressions. The neutral facial image collected by the image acquisition module 11 will be determined by the expression recognition module 12 whether it is a qualified neutral facial image. If there is an expression, it returns to the previous step. If it is determined to be a neutral facial image, it is transmitted to the image preprocessing module 13.

[0118] The image preprocessing module 13 is an algorithm module deployed on an intelligent device or a computing device (such as a computer or a server) with a processor, which is adapted to perform operations including but not limited to cropping, convolution, and pooling on the image, so as to standardize the image and is suitable to generate a diffusion model. The image preprocessing module 13 extracts multiple local features of the neutral facial image through processes such as pooling and convolution, reducing the amount of data of the facial image, and then transmits these to the image storage module 14 at the same time.

[0119] The image storage module 14 stores the data obtained from the image preprocessing module 13 and transmits the data to the image returning module 15 at the same time. After the image returning module 15 completes the inspection, the data is output to the image postprocessing module 16. In some embodiments, after the image returning module 15 completes the inspection, the data is also saved in an image data storage module (such as an image data storage server) .

[0120] The image postprocessing module 16 is adapted to achieve specific processing of facial images through a pre-trained diffusion model, and to adjust the facial expression through pre-set parameters. The diffusion model is mainly used to generate  positive expression facial images and negative expression facial images. Thus, the image postprocessing module 16 will be able to generate a variety of facial expression images based on the pre-trained diffusion model.

[0121] In some specific embodiments, in addition to the image acquisition module 11, the rest of the image obtaining module 1, including the expression recognition module 12, the image preprocessing module 13, the image storage module 14, the image returning module 15 and the image postprocessing module 16, can be integrated into one computing device.

[0122] This embodiment briefly describes how to use image processing technology to generate the test images described above. For this disclosure, the primary purpose is to utilize these test images rather than to create them, and the image processing method is not limited to the above description. The processing of human facial expression images, including the extraction of local features of the image, and the generation of various images with positive and negative expressions based on the local features, belongs to the prior art, and the image generation and processing methods are not described in detail here.

[0123] Referring to FIG. 4, in some specific embodiments, the image presenting module 2 comprises an image importing module 21, a test image presenting module 22 and a background image presenting module 23.

[0124] The image importing module 21 is adapted to import the test images of the image obtaining module 1 into the test image presenting module 22. For example, the neutral facial image, the positive expression facial image and the negative expression facial image of relatives of the to-be-diagnosed patient generated by the above-mentioned image postprocessing module 16 are imported into the test image presenting module 22 through the image importing module 21.

[0125] The test image presenting module 22 and the background image presenting module 23 mainly utilize a high refresh rate display to present images. The required refresh rate of the display should be 240 Hz or more, that is, it refreshes one frame every 40 milliseconds or faster. A display with such refresh rates ensures that the duration of the test image presentation is short enough.

[0126] The test image presenting module 22 is adapted to present various images to the to-be-diagnosed patient according to the preset presentation strategy. The background image presenting module 23 is adapted to present the background image to the to-be-diagnosed patient according to the preset presentation strategy. During the working process of the test image presenting module 22 and the background image presenting module 23, the test image presenting module 22 and the background image presenting module 23 alternately present images. For example, the corresponding image presentation process can be performed according to the following timeline: the background image presenting module 23 presents a background image for 2 seconds, the test image presenting module 22 presents a neutral facial image for 40 milliseconds, the background image presenting module 23 presents a background  image for a duration of 2 seconds, the test image presenting module 22 presents a positive expression facial image for a duration of 40 milliseconds, the background image presenting module 23 presents a background image for a duration of 2 seconds, and the test image presenting module 22 presents a negative expression facial image for a duration of 40 milliseconds.

[0127] The preset presentation strategy may also be able to repeatedly present images multiple times according to the above timeline, such as more than 30 times.

[0128] The image presenting module 2 induces depression of the to-be-diagnosed patient without the patient being aware of the presentation process of the first-category images by presenting the first-category images containing negative features (such as the negative expression facial images generated by the diffusion model described above) to the to-be-diagnosed patient for a very short duration, thereby inducing depression in the to-be-diagnosed patient unconsciously.

[0129] The EEG data acquisition module 3 is adapted to synchronously record EEG data of the to-be-diagnosed patient while the patient is viewing the test images.

[0130] As shown in FIG. 5, in some specific embodiments, the EEG data acquisition module 3 comprises an EEG data recording module 31, a stimulation time recording module 32 and a multi-structure synchronization module 33.

[0131] The EEG data recording module 31 is a module for recording the frontal EEG of the to-be-diagnosed patient, and it may adopt an EEG data recording system with a high signal-to-noise ratio, comprising nickel-chromium alloy wires and saline electrodes.

[0132] In one embodiment, during the entire induction process of unconscious emotion, the EEG data recording module 31 continuously collects and records EEG data at a sampling rate of 1000 Hz, and saves the data at a rate of 40 times per second.

[0133] While the image presenting module 2 is working, at moments when the first-category images and second-category images, such as the neutral facial images, the positive expression facial images and the negative expression facial images, are presented, the time points of the presenting these “stimulating” images are recorded by the stimulation time recording module 32, and marked in the EEG data by the multi-structure synchronization module 33. In some embodiments, the brain wave data will also be saved to a data storage server.

[0134] The event-related potential signal extraction module 4 is configured to extract the event-related potential signals from the EEG data before and after the presentation times of each first-category image and each second-category image after the unconscious depressive emotion induction process is completed.

[0135] The working process of the event-related potential signal extraction module 4 comprises: in the continuous brain wave data, the waveforms of the brain wave before and after the stimulation is superimposed according to the recorded stimulation time to form effective event-related potential signal data. For each stimulation type, the data analysis server will extract an event-related potential signal. For example, when  the test images are defined by a negative expression facial image, a positive expression facial image and a neutral facial image of a relative of the to-be-diagnosed patient, the event-related potential signal extraction module 4 will respectively extract the event-related potential signals from the brain wave signals before and after the presentation time of the negative expression facial image, the event-related potential signals from the brain wave signals before and after the presentation time of the positive expression facial image, and the event-related potential signals from the brain wave signals before and after the presentation time of the neutral facial image.

[0136] The event-related potential signal extraction module 4 may pre-store a timestamp allocation algorithm, an EEG data extraction and averaging algorithm, and extracts event-related potential signals by averaging the EEG data before and after multiple image presentation times.

[0137] The decision-making module 5 is adapted to assist in determining whether the to-be-diagnosed patient suffers from depressive disorders based on the event-related potential signals provided by the event-related potential signal extraction module 4. One or more preset criteria are pre-stored in the decision-making module 5, and the decision-making module 5 is adapted to assist in determining whether the to-be-diagnosed patient suffers from depressive disorders based on these preset criteria. Specifically, the numerical relationship between the highest potentials (or the average of multiple highest potentials) of the event-related potential signals of the event-related potential signal extraction module 4 is determined, which assists in determining whether the to-be-diagnosed patient suffers from depressive disorders based on the pre-stored one or more preset criteria.

[0138] For example, when the test images are defined by a negative expression facial image, a positive expression facial image, and a neutral facial image of a relative of the to-be-diagnosed patient, the preset criteria pre-stored in the decision-making module 5 may comprise: the highest potential of the event-related potential signal induced by the negative expression facial image is greater than the sum of the highest potential of the event-related potential signal induced by the neutral facial image and the highest potential of the event-related potential signal induced by the positive expression facial image. When the decision-making module 5 determines that the extracted highest potential (or the average of multiple highest potentials) of the event-related potential signal induced by the negative expression facial image is greater than the sum of the highest potential (or the average of multiple amplitudes) of the event-related potential signal induced by the neutral facial image and the highest potential (or the average of multiple amplitudes) of the event-related potential signal induced by the positive expression facial image, the potential signal data of the EEG is determined as data from a depressed patient, and the decision-making module 5 generates an auxiliary diagnosis result that the to-be-diagnosed patient may suffer from depressive disorders. Otherwise, an auxiliary diagnosis result is generated that the to-be-diagnosed patient does not suffer from depressive disorders.

[0139] For another example: when the test images are defined by a negative expression facial image, a positive expression facial image and a neutral facial image of a relative of the to-be-diagnosed patient, the preset criteria pre-stored in the decision-making module 5 comprise: the difference between the highest potential of the event-related potential signal induced by the negative expression facial image and the highest potential of the event-related potential signal induced by the positive facial expression image is greater than 0.005mV, or the highest potential of the event-related potential signal induced by the negative expression facial image is 2 times or more of the highest potential of the event-related potential signal induced by the positive facial expression image. When the decision-making module 5 determines that the difference between the extracted highest potential of the event-related potential signal induced by the negative expression facial image (or the average of multiple amplitudes) and the highest potential of the event-related potential signal induced by the positive facial expression image is greater than 0.005mV, or the extracted highest potential of the event-related potential signal induced by the negative expression facial image (or the average of multiple amplitudes) is 2 times or more of the highest potential of the event-related potential signal induced by the positive facial expression image, the data is determined to be data from a depressed patient, that is, the decision-making module 5 generates an auxiliary diagnosis that the to-be-diagnosed patient may suffer from depressive disorders. Otherwise, it is considered that the to-be-diagnosed patient does not suffer from depressive disorders.

[0140] The preset criteria pre-stored in the decision-making module 5 may also be other criteria different from those in the above examples, and the criteria may come from quantitative analysis results of EEG data from depressed patients and healthy controls. In some specific embodiments, the criteria may also be refined in the decision-making module to achieve not only the ability to determine whether the to-be-diagnosed patient suffers from depressive disorders, but also the ability to grade the degree of the disease on the basis of a diagnosis that the to-be-diagnosed patient suffers from depressive disorders.

[0141] In the present device 10, the image obtaining module 1, the image presenting module 2, the EEG data acquisition module 3, the event-related potential signal extraction module 4 and the decision-making module 5 can be integrated into one or more intelligent devices; wherein, the modules involving algorithms, analysis, judgments, etc. (such as related potential signal extraction modules, decision-making modules) may be implemented on intelligent devices with a storage device and a processor; and the modules involving data storage may be provided on intelligent devices with a storage device; and the modules involving implementation of specific functions may be provided on intelligent devices with specific function modules.

[0142] As shown in FIG. 6, a typical example of the device is a portable intelligent device 50, which is suitable for the to-be-diagnosed patients to carry out self-diagnosis. In some specific embodiments, the portable intelligent device integrates image acquisition, image presentation, EEG acquisition, data processing (including image processing and EEG signal processing) and user control functions. The programs or algorithms  involved in each module can be stored in the storage device of the portable device, and the relevant modules are suitable for self-operation by the users.

[0143] The portable intelligent device also comprises: a processor, and a storage device connected to the processor; wherein the storage device stores a plurality of instructions, and the plurality of instructions are loaded and executed by the processor to implement the above-mentioned method for automated diagnosis of depressive disorders.

[0144] The portable intelligent device can be an integrated device or a modular device assembled from multiple components. As the scheme shown in the attached figure: the image obtaining module, the image presenting module, the event-related potential signal extraction module and the decision-making module are integrated into a unit 51 (such as a mobile phone, a tablet computer, a laptop computer, a desktop computer, a smart wearable device, etc. ) , and the brain wave acquisition module is integrated in another unit 52, and the two units work by communicating with each other.

[0145] As shown in FIG. 7, another typical example of the device is also a device 60 suitable for self-diagnosis of to-be-diagnosed patients. The device 60 comprises a client device 61 located at the end of the to-be-diagnosed patent, and a server 62 located at the end of a hospital or a commercial company. Wherein, the client device 61 comprises one or more devices capable of image acquisition, image presentation, and EEG acquisition; and, the client device and the server located at the hospital or commercial company communicate with each other to achieve information interconnection. The configuration of the device can considerably reduce the hardware requirements for the to-be-diagnosed patient, and can make the hardware equipment at the end of the to-be-diagnosed patient into a cheaper product.

[0146] In some specific embodiments, the client device 61 of the to-be-diagnosed patient may comprise a smart device 611, such as a mobile phone, a smart tablet, a wearable smart device, etc., and the smart device 611 is provided with: an image obtaining module, capable of providing the above-mentioned test images to the image presenting module, and the image presenting module is adapted to present the above-mentioned test images to the to-be-diagnosed patient; and a first-category image and a second-category image; and an information receiving module, used to receive the timeline information of presenting the test images to the to-be-diagnosed patient and the synchronous brain wave information of the to-be-diagnosed patient when viewing the test images; and an information processing module, used to extract the event-related potential signals of the EEG signals before and after the presentation time of each test image, and to generate an auxiliary diagnosis result; and a result output module, used to output the auxiliary diagnosis result to the to-be-diagnosed patient. In some embodiments, the image obtaining module may be a camera module. In some embodiments, the image presenting module may be a display module. In some embodiments, the information receiving module and the information processing module may be a smart device motherboard with several communication interfaces. In  some embodiments, the result output module may also be a display module, which displays the diagnosis result to the to-be-diagnosed patient.

[0147] In some specific embodiments, the client device 61 of the to-be-diagnosed patient may also comprise: an EEG acquisition module 612. In some embodiments, the EEG acquisition module is integrated in an EEG tester, and the EEG tester is adapted to communicate with a smart device. For example, the EEG tester may be physically connected to a communication interface of a smart device motherboard, and the two may also communicate through a wireless connection (such as Bluetooth, WIFI) .

[0148] The server 62 located at the hospital end or at the commercial company end comprises: a data receiving module, which is used to receive timeline data of presenting test images to the to-be-diagnosed patient and brain wave data synchronously collected when the to-be-diagnosed patient views the test images, which are sent from the hardware device at the to-be-diagnosed patient end; and a data processing module, which is used to extract event-related potential signals of the EEG signals before and after the presentation times of each first-category image and each second-category image based on the brain wave data and the timeline data, and to generate an auxiliary diagnosis result for the to-be-diagnosed patient based on the event-related potential signals; and a data sending module, which is used to send the auxiliary diagnosis result data to the hardware device at the to-be-diagnosed patient end.

[0149] In this embodiment, the device is configured to meet the needs of to-be-diagnosed patients to screen for depression symptoms at home. It effectively avoids the stigma associated with to-be-diagnosed patients visiting a psychiatric hospital, while also simplifying the initial consultation process and reducing the burden on psychiatric outpatient clinics.

[0150] As shown in FIG. 8, a third typical example of the device is a device 70 suitable to meet the requirements of medical staff to diagnose to-be-diagnosed patients at a test site, and the device 70 is usually installed in hospitals and similar places. The hardware part of the device 70 may comprise a camera 71, a display 72, an EEG tester 73 and one or more computers 74. The camera 71, the display 72, and the EEG tester 73 are all connected to the one or more computers 74 in communication and are capable of feeding back the measured data to the one or more computers 74 and working under the guidance of the one or more computers 74.

[0151] FIG. 9 illustrates a process of using the device of the present disclosure to perform automated auxiliary diagnosis of depressive disorders on a to-be-diagnosed patient.

[0152] The whole process starts with using the image acquisition module to take facial images of relatives of the to-be-diagnosed patient (or other related persons) , that is, inputting a neutral facial image. First, determine whether the input image contains facial features and whether its expression information is neutral, that is, determine whether it is a neutral facial image or a neutral facial image. If not, it is necessary to re-input a neutral facial image. If yes, proceed to the next step. After the image is  successfully imported, the image is preprocessed, and the preprocessing methods include convolution, pooling, etc. The processed data is saved to an image storage server and simultaneously input to a diffusion server (i.e., an image postprocessing module) to generate diffusion models, and, positive expression facial images and negative expression facial images of relatives of the to-be-diagnosed patient are obtained, and these images are also saved in the image storage server. Import three types of facial expressions, including neutral (or expressionless) , positive and negative expressions, from the image storage server; then present these three types of images with high refresh rate according to the preset image presentation strategy for stimulation. The image presentation strategy in this example is: the masked image (i.e., background image) is presented for 2000 milliseconds for stimulation, the neutral image (i.e., the neutral facial image of a relative of the patient) is presented for 40 milliseconds for stimulation, the masked image is presented for 2000 milliseconds for stimulation, the positive expression image (i.e., the positive expression facial image of a relative of the patient) is presented for 40 milliseconds for stimulation, the masked image is presented for 2000 milliseconds for stimulation and the negative expression image (i.e., the negative expression facial image of a relative of the patient) is presented for 40 milliseconds for stimulation, and the presentation above is repeated multiple times. At the same time, the frontal EEG signals of the to-be-diagnosed patient are synchronously recorded. Then after the image presentation process, the timeline data of presenting the stimulus images to the to-be-diagnosed patient and the synchronously acquired brain wave data are transferred to the EEG signal storage server. The EEG signal storage server then processes these data, specifically extracting the event-related potential signals corresponding to the three types of images based on the timeline data of presenting the stimulus images, and finally assisting in determine whether the to-be-diagnosed patient is a patient with depressive disorders based on the amplitudes of the event-related potential signals. For example, when the highest potential of the event-related potential signal induced by the negative expression facial image is greater than the sum of the highest potential of the event-related potential signal induced by the neutral facial image and the highest potential of the event-related potential signal induced by the positive facial expression image, then this data assists in determining that the data is from a patient with depressive disorders, that is, it assists in determining that the to-be-diagnosed patient may suffer from depressive disorders; otherwise, it assists in determining that the to-be-diagnosed patient does not suffer from depressive disorders.

[0153] The following embodiment lists a specific process of using the above-mentioned device 70 to perform automated auxiliary diagnosis of depressive disorders on to-be-diagnosed patients 1#-5#.

[0154] To-be-diagnosed patients 1#-5#all receive an auxiliary diagnosis by device 70 at a hospital. A high-definition camera (brand and model: TP-link camera) , a high-refresh rate display (brand and model: Dell S2722QC) , an EEG tester (brand and model: Quanlan C64pro) , and a computer (brand and model: Lenovo ThinkStation K) are set up on site.

[0155] The high-definition camera is used to acquire neutral facial images of relatives of each to-be-diagnosed patient, which are sent to a computer for processing to generate multiple positive expression facial images and multiple negative expression facial images. One positive expression facial image and one negative expression facial image for each to-be-diagnosed patient 1#-5#are selected by a medical staff member as test images.

[0156] The preset presentation strategies corresponding to the to-be-diagnosed patients 1#-5#include using one positive expression facial image and one negative expression facial image of the relatives (such as father or mother) of the corresponding to-be-diagnosed patient as test images. Masked gray background images are used as the background images. The single presentation duration of each test image is 40 milliseconds, and the single presentation duration of each masked gray background image is 2 seconds. Each masked gray background image is arranged to be presented between two adjacent test images. The corresponding preset presentation strategies are pre-stored in the computer.

[0157] The display presents the positive expression facial image, the negative expression facial image and the background image according to the above-mentioned preset presentation strategies under the control of the computer, and the computer simultaneously records the timeline information of the positive expression facial images and the negative expression facial images. It is configured that the presentation of the positive expression facial images, the negative expression facial images and the background image is repeated for 50 times.

[0158] The EEG tester synchronously acquires the frontal brain wave data of the corresponding to-be-diagnosed patient during the process of viewing the test images, and sends the brain wave data to the computer.

[0159] The computer extracts the event-related potential signals corresponding to the three types of images based on the timeline information and the EEG data, and determines the nature of the to-be-diagnosed patient through the above-mentioned differential algorithm.

[0160] Table 1 below shows the amplitude data of event-related potential signals corresponding to the two categories of images extracted from patients 1#-5#to be diagnosed and the auxiliary results.

[0161] To-be-diagnosed patient 1#uses his or her mother’s negative expression facial image and positive expression facial image as a set of test images during diagnosis. To-be-diagnosed patient 2#uses his or her mother’s negative expression facial image and positive expression facial image as a set of test images during diagnosis. To-be-diagnosed patient 3#uses his or her mother’s negative expression facial image and positive expression facial image as a set of test images during diagnosis. To-be-diagnosed patient 4#uses his or her mother’s negative expression facial image and positive expression facial image as a set of test images during diagnosis. To-be-diagnosed patient 5#uses his or her mother’s negative expression facial image and  positive expression facial image as a set of test images during diagnosis. Wherein these negative expression facial images and positive expression facial images are images generated by image processing using the corresponding mother’s neutral facial image.

[0162] The presentation strategy used for the test images is: presenting the masked gray background image for 2 seconds, the positive expression facial image for 40 milliseconds, the masked gray background image for 2 seconds, and the negative expression facial image for 40 milliseconds.

[0163] The method for extracting event-related potential signals of brain waves comprises: extracting event-related potential signals of brain waves within a time duration of 200 milliseconds before and 200 milliseconds after a positive expression facial image is presented, and extracting event-related potential signals of brain waves within a time duration of 200 milliseconds before and 200 milliseconds after a negative expression facial image is presented.

[0164] The corresponding test images of each to-be-diagnosed patient were displayed 50 times in loops.

[0165] In Table 1, the first amplitude is the highest potential of the event-related potential signal induced when the corresponding to-be-diagnosed patient watches the negative expression facial image, and the highest potential is the average value of 50 highest potentials. The second amplitude is the highest potential of the event-related potential signal induced when the corresponding to-be-diagnosed patient watches the positive expression facial image, and the highest potential is the average value of 50 highest potentials.

[0166] The determining criteria in the table are: whether the difference between the highest potential of the event-related potential signal induced by the negative facial expression facial image (i.e., the first highest potential) and the highest potential of the event-related potential signal induced by the positive facial expression image (i.e., the second highest potential) is greater than 0.005mV, or whether the highest potential of the event-related potential signal induced by the negative facial expression facial image (i.e., the first highest potential) is 2 times or more of the highest potential of the event-related potential signal induced by the positive facial expression image (i.e., the second highest potential) . If one of the above two criteria is met, it is deemed to meet the determining criteria.

[0167] From the above amplitude data in Table 1, it can be seen that when patients with depressive disorders watch negative expression facial images (i.e., first-category images containing negative features) and positive expression facial images (i.e., second-category images without negative features) , the highest potential of the event-related potential signals of the brain waves of patients with depressive disorders fluctuates greatly. When making an auxiliary diagnosis of whether the to-be-diagnosed patient is suffering from depressive disorders, using the amplitude data as an auxiliary diagnosis basis may obtain a more objective judgment result.

[0168] The auxiliary diagnosis method provided by the present disclosure is based on objective indicators of EEG data, bypasses the patient’s subjective consciousness by controlling the duration of stimulation with image presentation and induces depressive emotions unconsciously. In the stage of repeated event-related potential signal detection, using the EEG data as an objective indicator, the bias of physicians’ empirical judgment in diagnosing depressed patients can be avoided, and the problem of excessive subjectivity in the diagnosis of depressive disorders can be overcome.

[0169] The above embodiments are only specific implementations of the present disclosure, and the protection scope of the present disclosure is not limited thereto. Any person skilled in the art who is familiar with the present technical field can easily think of changes or substitutions within the technical scope disclosed in the present disclosure, which should be included in the protection scope of the present disclosure. Therefore, the protection scope of the present disclosure should be based on the claims.

Claims

1.An automated auxiliary diagnosis method for depressive disorders, wherein the method comprises:presenting a set of test images to a to-be-diagnosed patient according to a preset presentation strategy and synchronously acquiring brain wave data of a frontal area of the to-be-diagnosed patient, wherein the set of test images comprises at least one first-category image containing negative features and at least one second-category image without negative features, and the preset presentation strategy comprises presenting each of the first-category image and the second-category image to the to-be-diagnosed patient with a presentation duration of 33-40 milliseconds per image; andextracting event-related potential signals of brain waves before and after presentation times of the first-category image and the second-category image.2.The method according to claim 1, further comprising:generating at least one positive expression facial image and at least one negative expression facial image based on one or more neutral facial images of a person associated with the to-be-diagnosed patient, wherein the first-category image is selected from the negative expression facial images, and the second-category image is selected from the neutral facial images and / or the positive expression facial images.3.The method according to claim 2, wherein the generating the at least one positive expression facial image and the at least one negative expression facial image based on the neutral facial image of a person associated with the to-be-diagnosed patient comprises:obtaining a resting, neutral facial image of the person associated with the to-be-diagnosed patient;extracting local features from the neutral facial image; andgenerating the positive expression facial image and the negative expression facial image based on the local features.4.The method according to claim 2, wherein the set of test images is defined by one of the negative expression facial images and one of the positive expression facial images; and the method further comprises:determining a numerical relationship between a highest potential of the event-related potential signal induced by the negative expression facial image and a highest potential of the event-related potential signal induced by the positive expression facial image.5.The method according to claim 4, further comprising:determining whether the numerical relationship meets a first preset criterion.6.The method according to claim 2, wherein the set of test images is defined by one of the negative expression facial images, one of the positive expression facial images and one of the neutral facial images; and the method further comprises:determining a numerical relationship between a highest potential of the event-related potential signal induced by the negative expression facial image, a highest potential of the event-related potential signal induced by the neutral facial image and a highest potential of the event-related potential signal induced by the positive facial expression image.7.The method according to claim 6, further comprising:determining whether the numerical relationship meets a second preset criterion.8.The method according to claim 1, wherein the extracting the event-related potential signals of brain waves before and after presentation times of the first-category image and the second-category image comprises: extracting event-related potential signals of brain waves within 100-300 milliseconds before and within 100-300 milliseconds after the presentation times of the first-category image and the second-category image.9.The method according to claim 1, wherein the preset presentation strategy comprises: repeatedly presenting the set of test images at least 30 times.10.The method according to claim 1, wherein the preset presentation strategy comprises: presenting each first-category image and each second-category image to the to-be-diagnosed patient with a same single image presentation duration.11.The method according to claim 1, wherein the preset presentation strategy comprises: after presenting one of the first-category images or the second-category  images, presenting a background image once, and then presenting another of the first-category images or the second-category images.12.The method according to claim 11, wherein the preset presentation strategy comprises: presenting the background image with a single presentation duration of 1-5 seconds each time.13.The method according to claim 11, wherein the background image is a masked gray background image.14.A device for automated auxiliary diagnosis of depressive disorders, wherein the device comprises:an image obtaining module, which is adapted to obtain a set of test images, wherein the set of test images comprises at least one first-category image containing negative features and at least one second-category image not containing negative features;an image presenting module, which is adapted to present the set of test images to a to-be-diagnosed patient according to a preset presentation strategy, wherein the preset presentation strategy comprises presenting each of the first-category images and the second-category images to the to-be-diagnosed patient with a presentation duration of 33-40 milliseconds per image;an EEG data acquisition module, adapted to synchronously acquire EEG data of a frontal area of the to-be-diagnosed patient during a period when the image presenting module presents the set of test images;an event-related potential signal extraction module, which is adapted to extract event-related potential signals of brain waves before and after presentation times of the first-category images and the second-category images; and,a decision-making module, which is adapted to generate an auxiliary diagnosis result based on the event-related potential signals.15.The device according to claim 14, wherein the image obtaining module comprises:an image acquisition module, for acquiring one or more neutral facial images of a person associated with the to-be-diagnosed patient; andan image processing module, adapt for generating a positive expression facial image and a negative expression facial image based on the neutral facial image;wherein, the first-category images are selected from the negative expression facial images, and the second-category images are selected from the neutral facial images and / or the positive expression facial images.16.The device according to claim 15, wherein the generating the positive expression facial image and the negative expression facial image based on the neutral facial image comprises:extracting local features from the neutral facial image; andgenerating the positive expression facial image and the negative expression facial image based on the local features.17.The device according to claim 14, wherein the set of test images is defined by one of the positive expression facial images and one of the negative expression facial images; and the decision-making module pre-stores a first preset criterion and is adapted to:determine a numerical relationship between a highest potential of the event-related potential signal induced by presenting the negative expression facial image and a highest potential of the event-related potential signal induced by presenting the positive facial expression image; and,generate an auxiliary diagnosis result according to whether the numerical relationship meets the first preset criterion.18.The device according to claim 17, wherein the first preset criterion comprises:a difference between the highest potential of the event-related potential signal induced by the negative expression facial image and the highest potential of the event-related potential signal induced by the positive facial expression image is greater than 0.005mV, or,the highest potential of the event-related potential signal induced by the negative expression facial image is 2 times or more of the highest potential of the event-related potential signal induced by the positive facial expression image.19.The device according to claim 14, wherein the set of test images is defined by one of the positive expression facial images, one of the negative expression facial images and one of the neutral facial images; and the decision-making module pre-stores a second preset criterion and is adapted to:determine a numerical relationship between a highest potential of the event-related potential signal induced by presenting the negative expression facial image, a highest potential of the event-related potential signal induced by presenting the neutral facial image and a highest potential of the event-related potential signal induced by presenting the positive facial expression image; and,generate an auxiliary diagnosis result according to whether the numerical relationship meets the second preset criterion.20.The device according to claim 19, wherein the second preset criterion comprises:the highest potential of the event-related potential signal induced by the negative expression facial image is greater than a sum of the highest potential of the event-related potential signal induced by the neutral facial image and the highest potential of the event-related potential signal induced by the positive facial expression image.21.The device according to claim 14, wherein the preset presentation strategy comprises:presenting a background image after presenting one of the first-category images or the second-category images, and then presenting another of the first-category images or the second-category images.22.The device according to claim 21, wherein the preset presentation strategy comprises:presenting the background image with a presentation duration of 1-5 seconds each time.23.The device according to claim 14, wherein the event-related potential signal extraction module is adapted to extract the event-related potential signals of the brain waves within 100-300 milliseconds before and within 100-300 milliseconds after the presentation times of each first-category image and each second-category image.24.The device according to claim 23, wherein the event-related potential signal extraction module is adapted to extract the event-related potential signals of the brain waves within 200 milliseconds before and within 200 milliseconds after the presentation times of each first-category image and each second-category image.25.The device according to claim 14, wherein the preset presentation strategy comprises: repeatedly presenting the test images at least 30 times.26.The device according to claim 14, wherein the image presenting module comprises a display, and a refresh rate of the display is greater than or equal to 240Hz.27.The device according to claim 14, wherein the image obtaining module, the image presenting module, the EEG data acquisition module, the event-related potential signal extraction module and the decision-making module are integrated into one or more intelligent devices.28.The device according to claim 27, wherein the one or more smart devices include a portable smart device, and the image obtaining module and / or the image presenting module are provided within the portable smart device and function in response to a control unit within the portable smart device.29.The device according to claim 27, wherein the EEG data acquisition module is a wearable smart device.30.The device according to claim 27, wherein the one or more intelligent devices include a server, and the event-related potential signal extraction module and / or the decision-making module are integrated within the server.31.A device for automated auxiliary diagnosis of depressive disorders, wherein the device comprises:an information receiving module, adapted for receiving timeline information of presenting a set of test images to a to-be-diagnosed patient and synchronous brain wave information of the to-be-diagnosed patient during viewing the set of test images, whereinthe set of test images comprises at least one first-category image containing negative features and at least one second-category image not containing negative features, and,presenting the set of test images to the to-be-diagnosed patient comprises: presenting each first-category image and each second-category image to the to-be-diagnosed patient with an image presentation duration of 33-40 milliseconds per image, and,the timeline information includes presentation time features of each first-category image and each second-category image;and a result output module, adapted to output the auxiliary diagnosis result to the to-be-diagnosed patient.32.The device according to claim 31, further comprising:an image presenting module, wherein the image presenting module is adapted to present the test images to the to-be-diagnosed patient.33.The device according to claim 32, wherein the image presenting module comprises a display module.34.The device according to claim 31, further comprising:an image obtaining module, wherein the image obtaining module is adapted to provide the first-category images and the second-category images to the image presenting module.35.The device according to claim 34, wherein the image obtaining module comprises a camera module.36.A server, comprising:a data receiving module, adapted for receiving timeline data of presenting a set of test images to a to-be-diagnosed patient and brain wave data synchronously acquired when the to-be-diagnosed patient views the set of test images, whereinthe set of test images comprises at least one first-category image containing negative features and at least one second-category image not containing negative features, and,each first-category image and each second-category image are presented to the to-be-diagnosed patient with a single image presentation duration of 33-40ms, and,the timeline data comprises presentation time features of each first-category image and each second-category image;a data processing module, adapted for:extracting event-related potential signals of brain waves before and after the presentation times of each first-category image and each second-category image based on the brain wave data and the timeline data, and,generating auxiliary diagnosis results based on the event-related potential signals;and a data sending module, adapted to send the auxiliary diagnosis result externally37.A device for automated auxiliary diagnosis of depressive disorders, wherein the device comprises:at least one processor; andat least one storage device, communicatively connected to the at least one processor;wherein the at least one storage device stores at least one instruction, and the at least one instruction is loaded and executed by the at least one processor to implement the method as claimed in any one of claims 1 to 13.38.A computer program product, comprising:at least one instruction;wherein when the at least one instruction is executed on one or more smart devices, the one or more smart devices implement the method as described in any one of claims 1 to 13.

Images