Methods, systems, and storage mediums for providing medical consultation services

Abstract

Provided are methods, systems and storage mediums for providing medical consultation services. The methods may include: presenting, via a first terminal device in a consultation room, a first interface element relating to an electronic health record of the patient to the patient and a doctor; obtaining, based on sensed information, a control instruction issued by the patient and / or the doctor for retrieving at least a portion of the electronic health record, the sensed information being collected by one or more sensing devices in the consultation room during a consultation process; and in response to the control instruction, retrieving the portion of the electronic health record and presenting the portion of the electronic health record via the first terminal device.

Description

METHODS, SYSTEMS, AND STORAGE MEDIUMS FOR PROVIDING MEDICAL CONSULTATION SERVICESTECHNICAL FIELD

[0001] The present disclosure relates to the field of medical services, and in particular, to methods, systems, and storage mediums for providing medical consultation services.BACKGROUND

[0002] Outpatient services, also known as medical consultation services, hold a critical role within hospital systems by facilitating early diagnosis, enhancing disease management, reducing hospitalization needs, providing health education and counseling, improving patient access, and mitigating the burden on healthcare systems. The outpatient services encompass various stages, including registration, waiting, consultation, medication dispensing, among others. Despite their importance, current outpatient services are plagued by significant issues such as difficulties for patients in registering, prolonged waiting times for consultations, inefficiencies in service delivery, and lack of continuity in medical consultation services.

[0003] Therefore, it is desirable to provide systems, methods, and storage mediums for providing medical consultation services to improve the efficiency and the quality of the medical consultation service.SUMMARY

[0004] An aspect of the present disclosure provides a method for providing a medical consultation service. The method may comprise presenting, via a first terminal device in a consultation room, a first interface element relating to an electronic health record of the patient to the patient and a doctor; obtaining, based on sensed information, a control instruction issued by the patient and / or the doctor for retrieving at least a portion of the electronic health record, the sensed information being collected by one or more sensing devices in the consultation room during a consultation process; and in response to the control instruction, retrieving the portion of the electronic health record and presenting the portion of the electronic health record via the first terminal device.

[0005] Another aspect of the present disclosure provides a method for providing a medical consultation service. The method may comprise determining a doctor with whom a patient is registered by causing a terminal device of the patient to conduct a first inquiry on the patient; generating a pre-consultation record of the patient by causing the terminal device of the patient to conduct a second inquiry based on a department of the doctor; in response to detecting that the patient has started consulting, causing a terminal device in a consultation room to present an interface element relating to the pre-consultation record to the doctor and the patient; and generating a preliminary diagnosis record based on sensed information collected by one or more sensing devices in the consultation room during a consultation process.

[0006] Another aspect of the present disclosure provides a method for providing a medical consultation service. The method may comprise determining a doctor with whom a patient is registered by causing a terminal device of the patient to conduct a first inquiry on the patient; generating a pre-consultation record of the patient by causing the terminal device of the patient to conduct second inquiry based a department of the doctor; in response to detecting that the patient has started consulting, controlling the terminal device of the patient and a terminal device of the doctor to present an interface element relating to the pre-consultation record, respectively; and generating a preliminary diagnosis record based on sensed information collected by the terminal device of the patient and the terminal device of the doctor during a consultation process.

[0007] Another aspect of the present disclosure provides a method for providing a medical consultation service. The method may comprise presenting, via at least one terminal device , a first interface element to target users, the first interface element being relating to medical data of a patient who receives the medical consultation service, the target users at least including the patient and a doctor; obtaining, based on sensed information, a control instruction issued by at least one of the target users for presenting at least a portion of the medical data, the sensed information being collected by one or more sensing devices during a consultation process; and in response to the control instruction, retrieving the portion of the medical data and presenting the portion of the electronic data via the at least one terminal device.BRIEF DESCRIPTION OF THE DRAWINGS

[0008] The present disclosure is further described in terms of exemplary embodiments. These exemplary embodiments are described in detail with reference to the drawings. These embodiments are non-limiting exemplary embodiments, in which like reference numerals represent similar structures throughout the several views of the drawings, and wherein:

[0009] FIG. 1 is a block diagram illustrating an exemplary medical service system according to some embodiments of the present disclosure;

[0010] FIG. 2 is a schematic diagram illustrating an exemplary medical service system according to some embodiments of the present disclosure;

[0011] FIG. 3 is a schematic diagram illustrating an exemplary hospital support platform according to some embodiments of the present disclosure;

[0012] FIG. 4 is a schematic diagram illustrating an exemplary medical consultation system according to some embodiments of the present disclosure;

[0013] FIG. 5 is a schematic diagram illustrating an exemplary medical consultation process according to some embodiments of the present disclosure;

[0014] FIG. 6 is a schematic diagram illustrating an exemplary process for determining a doctor with whom a patient is registered according to some embodiments of the present disclosure;

[0015] FIG. 7 is a schematic diagram illustrating an exemplary interface for providing a route planning service and a route guidance service according to some embodiments of the present disclosure;

[0016] FIG. 8 is a schematic diagram illustrating an exemplary process for providing a pre-consultation service according to some embodiments of the present disclosure;

[0017] FIG. 9 is a schematic diagram illustrating an exemplary process for providing a second inquiry according to some embodiments of the present disclosure;

[0018] FIG. 10 is a schematic diagram illustrating an exemplary interface presented by an XR device according to some embodiments of the present disclosure;

[0019] FIG. 11 is a schematic diagram illustrating an exemplary medical consultation system according to some embodiments of the present disclosure;

[0020] FIG. 12 is a flowchart illustrating an exemplary process for presenting medical data to target users during a consultation process according to some embodiments of the present disclosure;

[0021] FIG. 13 is a flowchart illustrating an exemplary process for providing a medical consultation service based on sensed information according to some embodiments of the present disclosure;

[0022] FIG. 14 is a schematic diagram illustrating an exemplary consultation interface according to some embodiments of the present disclosure;

[0023] FIG. 15 is a flowchart illustrating an exemplary process for generating a preliminary diagnosis record according to some embodiments of the present disclosure;

[0024] FIG. 16 is a schematic diagram illustrating an exemplary process for providing a remote accompanying service according to some embodiments of the present disclosure;

[0025] FIG. 17 is a schematic diagram illustrating an exemplary process for providing a health monitoring service according to some embodiments of the present disclosure;

[0026] FIG. 18 is a schematic diagram illustrating an exemplary medical consultation process according to some embodiments of the present disclosure;

[0027] FIG. 19 is a schematic diagram illustrating an exemplary medical consultation process according to some embodiments of the present disclosure.DETAILED DESCRIPTION

[0028] In order to more clearly illustrate the technical solutions relating to the embodiments of the present disclosure, a brief introduction of the drawings referred to the description of the embodiments is provided below. Obviously, the drawings described below are only some examples or embodiments of the present disclosure. Those having ordinary skills in the art, without further creative efforts, may apply the present disclosure to other similar scenarios according to these drawings. Unless obviously obtained from the context or the context illustrates otherwise, the same numeral in the drawings refers to the same structure or operation.

[0029] It should be understood that the “system, ” “device, ” “unit, ” and / or “module” used herein are one method to distinguish different components, elements, parts, sections, or assemblies of different levels. However, if other words can achieve the same purpose, the words can be replaced by other expressions.

[0030] As used in the disclosure and the appended claims, the singular forms “a, ” “an, ” and “the” include plural referents unless the content clearly dictates otherwise; the plural forms may be intended to include singular forms as well. In general, the terms “comprise, ” “comprises, ” and / or “comprising, ” “include, ” “includes, ” and / or “including, ” merely prompt to include steps and elements that have been clearly identified, and these steps and elements do not constitute an exclusive listing. The methods or devices may also include other steps or elements.

[0031] The flowcharts used in the present disclosure illustrate operations that the system implements according to the embodiment of the present disclosure. It should be understood that the foregoing or following operations may not necessarily be performed exactly in order. Instead, the operations may be processed in reverse order or simultaneously. Besides, one or more other operations may be added to these processes, or one or more operations may be removed from these processes.

[0032] FIG. 1 is a block diagram illustrating an exemplary medical service system 100 according to some embodiments of the present disclosure.

[0033] The medical service system 100 can also be referred to as a meta hospital system, and is built based on various innovative technologies including metaverse technology, XR technology (e.g., augmented reality (AR) technology, virtual reality (VR) technology, mixed reality (MR) technology, etc. ) , AI technology,  digital twin technology, IOT technology, data circulation technology (e.g., blockchain technology, data privacy computing technology) , spatial computing technology, image rendering technology, etc.

[0034] As illustrated in FIG. 1, the medical service system 100 may include a physical hospital 110, a virtual hospital 130, at least one user space application 120, and a hospital support platform 140. In some embodiments, the hospital support platform 140 may map data relating to the physical hospital 110 into the virtual hospital 130 corresponding to the physical hospital 110, and provide user services to relevant users of the physical hospital 110 via the at least one user space application 120.

[0035] The physical hospital 110 refers to a hospital that exists in the physical world and has tangible properties. As used herein, healthcare institutions that offer medical, surgical, and psychiatric care and treatment for people are collectively referred to as hospitals.

[0036] As shown in FIG. 1, the physical hospital 110 may include a plurality of physical entities. For example, the plurality of physical entities may include departments, users, hardware devices, user services, public areas, medical service procedures, or the like, or any combination thereof.

[0037] A department refers to a specialized unit or division dedicated to providing specific types of medical care, treatments, and services. Each of the departments may focus on a particular area of medicine and may be staffed by healthcare professionals with expertise in that area. For example, the departments may include a consultation department, a hospitalization department, a surgery department, a support department (e.g., a registration department, a pharmacy department) , an internal medicine department, a surgical department, a specialized medical department, a children’s health department, or the like, or any combination thereof.

[0038] The users may include any users associated with the physical hospital 110 (or referred to as relevant users of the physical hospital 110) . For example, the users may include patients (or a portion of the patients (e.g., organs) ) , companions of the patients, visitors of the patients, hospital staff of the physical hospital 110, suppliers of the physical hospital 110, application developers of the physical hospital 110, or the like, or any combination thereof. The hospital staff of the physical hospital 110 may include medical service providers (e.g., doctors, nurses, technicians, etc. ) , hospital managers, support staff, or the like, or any combination thereof. Exemplary hospital managers may include a departmental nursing manager, a clinical leader, a departmental dean, a hospital dean, a hospital executive, a functional manager, or the like, or any combination thereof.

[0039] The hardware devices may include hardware devices located in the physical hospital 110 and / or hardware devices in a communication with the hardware devices in the physical hospital 110. Exemplary hardware devices may include terminal devices, medical service devices, sensing devices, basic devices, or the like, or any combination thereof.

[0040] The terminal devices may include terminal devices that interact with the users relating to the medical service system 100. For example, the terminal devices may include a terminal device that interacts with a patient (also referred to as a patient terminal device) , a terminal device that interacts with a doctor of the patient (also referred to as a doctor terminal device) , a terminal device that interacts with a nurse (also referred to as a nurse terminal device) , a terminal device that interacts with a remote visitor (also referred to as a remote terminal device) , a public terminal of the hospital (e.g., a consultation room terminal, a bedside terminal device, a terminal device in a waiting region, an intelligent surgery terminal) , or the like, or any combination  thereof. In the present disclosure, unless obviously obtained from the context or the context illustrates otherwise, a terminal device that is owned by a user and a terminal device that is provided to the user by the physical hospital 110 are collectively referred to as a terminal device of the user or a terminal device that interacts with the user.

[0041] The terminal devices may include a mobile terminal, an XR device, a smart wearable device, etc. The mobile terminal may include a smart phone, a personal digital assistant (PDA) , a display, a gaming device, a navigation device, a handheld terminal (POS) , a tablet computer, or the like, or any combination thereof.

[0042] The XR device may include a device that allows a user to be engaged in an extended reality experience. For example, the XR device may include a VR assembly, an AR assembly, an MR assembly, or the like, or any combination thereof. In some embodiments, the XR device may include an XR helmet, XR glasses, an XR patch, a stereoscopic headset, or the like, or any combination thereof. For example, the XR device may include a Google GlassTM, an Oculus RiftTM, a Gear VRTM, an Apple Vision proTM, etc. Specifically, the XR device may include a display component on which virtual content may be rendered and / or displayed. In some embodiments, the XR device may further include an input component. The input component may enable user interactions between a user and the virtual content (e.g., the virtual surgery environment) displayed by the display component. For example, the input component may include a touch sensor, a microphone, an image sensor, etc., configured to receive user input, which may be provided to the XR device and used to control the virtual world by varying the visual content rendered on the display component. The input component may include a handle, a glove, a stylus, a console, etc.

[0043] The smart wearable device may include smart bracelets, smart shoes and socks, smart glasses, smart helmets, smart watches, smart clothes, smart backpacks, smart accessories, or the like, or any combination thereof. In some embodiments, the smart wearable device may obtain physiological data (e.g., heart rate, blood pressure, body temperature, etc. ) of the user.

[0044] The medical service devices may be configured to provide medical services to the patients. For example, the medical service devices may include examination devices, nursing care devices, therapeutic devices, or the like, or any combination thereof.

[0045] The examination devices may be configured to provide examination services to the patients, such as collecting examination data of the patients. Exemplary examination data may include a heart rate, a respiratory rate, a body temperature, blood pressure, medical imaging data, a body fluid test report (e.g., a blood test report) , or the like, or any combination thereof. Correspondingly, the examination devices may include a vital sign monitor (e.g., a blood pressure monitor, a glucometer, a cardiotachometer, a thermometer, a digital stethoscope, etc. ) , a medical imaging device (e.g., a computed tomography (CT) device, a digital subtraction angiography (DSA) device, a magnetic resonance (MR) device, etc. ) , a laboratory device (e.g., a blood routine examination device, etc. ) , or the like, or any combination thereof.

[0046] The nursing care devices may be configured to provide nursing care services to the patients and / or assist the medical service providers to provide the nursing care services. Exemplary nursing care devices may include a hospital bed, a patient-care robot, an intelligent nursing trolley, an intelligent medicine box, an intelligent wheelchair, etc.

[0047] The therapeutic devices may be configured to provide therapeutic services to the patients and / or assist the medical service providers to provide the therapeutic services. Exemplary therapeutic devices may  include surgical devices, radiotherapeutic devices, physical therapy devices, or the like, or any combination thereof.

[0048] The sensing devices may be configured to collect sensed information relating to the environment where it is located. For example, the sensing devices may include an image sensor, an acoustic sensor, etc. The image sensor may be configured to collect image data in the physical hospital 110, and the acoustic sensor may be configured to collect acoustic data in the physical hospital 110. In some embodiments, a sensing device may be an independent device or be integrated into another device. For example, the acoustic sensor may be part of a medical service device or a terminal device.

[0049] The basic devices may be configured to support data transmission, storage, and processing. For example, the basic devices may be networks, machine room facilities, computing devices, computing chips, storage devices, etc.

[0050] In some embodiments, at least part of the hardware devices of the physical hospital 110 are IoT devices. The IoT devices refer to devices with sensors, processing ability, software, and other technologies that connect and exchange data with other devices and systems over the Internet or other communications networks. For example, one or more medical service devices and / or sensing devices of the physical hospital 110 are IoT devices and configured to transmit the collected data to the hospital support platform 140 for storage and / or processing.

[0051] The user services may include any services provided by the hospital support platform 140 to the users. For example, the user services include medical services provided to the patients and / or the companions of the patients, support services provided to the staff of the physical hospital 110 and / or suppliers of the physical hospital 110, etc. In some embodiments, the user services may be provided to patients, doctors, and hospital managers via the user space application (s) 120, which will be described in detail in the following descriptions.

[0052] The public areas refer to shared spaces accessible to the users (or a portion of the users) in the physical hospital 110. For example, the public areas may include a reception area (e.g., a front desk) , waiting areas, corridors and hallways, or the like, or any combination thereof.

[0053] A medical service procedure refers to a procedure that provides a corresponding medical service to the patients. The medical service procedure normally includes serval stages and / or steps that a user needs to go through for receiving the corresponding medical service. Exemplary medical service procedures may include a consultation procedure, a hospitalization procedure, a surgery procedure, or the like, or any combination thereof. In some embodiments, the medical service procedure may include medical service procedures corresponding to different departments, different diseases, etc. In some embodiments, a preset data acquisition protocol may be set and specify standard stages involved in the medical service procedure and how to collect relating to the medical service procedure.

[0054] The at least one user space application 120 provides the users with access to the user services provided by the hospital support platform 140. A user space application 120 may be an application program, a plug-in, a website, an applet, or in any other suitable form. For example, the user space application 120 is an application program installed on a user’s terminal device, and the application program includes user interfaces for the user to initiate requests and receive corresponding services.

[0055] In some embodiments, the at least one user space application 120 may include different applications corresponding to different types of users. For example, the at least one user space application 120 includes a patient space application corresponding to patients, a doctor space application corresponding to doctors, a manager space application corresponding to managers, or the like, or any combination thereof. User services provided via the patient space application, the doctor space application, and the manager space application are also referred to as patient space services, doctor space services, and manager space services, respectively. Exemplary patient space services include registration services, navigation services, pre-consultation services, remote consultation services, hospitalization admission services, hospitalization discharge services, etc. Exemplary doctor space services include scheduling services, surgical planning services, surgical simulation services, patient management services, remote ward round services, remote consultation services, etc. Example manager space services include monitoring services, medical service evaluation services, equipment parameter setting services, service parameter setting services, resource scheduling services, etc.

[0056] In some embodiments, the patient space application, the doctor space application, and the manager space application may be integrated into one user space application 120, and the user space application 120 may be configured to provide access for each type of the users (e.g., the patients, the medical service providers, the managers, etc. ) . Merely by way of example, a specific user may have a corresponding identity that can be used to log into the user space application, view corresponding diagnosis and treatment data, and obtain corresponding user services.

[0057] According to some embodiments of the present disclosure, by providing the user space applications for different types of users, each type of users can easily obtain various user services that he / she may need on his / her corresponding user space application. In addition, at present, the users are usually required to install various applications to obtain different user services, which results in poor user experience and high development costs. Therefore, the user space applications in the present disclosure can improve the user experience, improve the service quality and efficiency, enhance the service safety, and reduce the development or operational costs.

[0058] In some embodiments, the at least one user space application 120 may be configured to provide access for the relevant users of the physical hospital 110 to interact with the virtual hospital 130. For example, via a user space application 120, a user may input an instruction for retrieving digital content of the virtual hospital 130 (e.g., a digital twin model of a hardware device, a patient organ, a public area) , view the digital content, and interact with the digital content. As another example, via a user space application 120, a user may communicate with a virtual character representing an intelligent agent. In some embodiments, a public terminal of the hospital may be installed with a manager space application, and a manager account of the department corresponding to the public terminal may be logged in the manager space application. Users may receive user services via the manager space application installed in the public terminal.

[0059] The virtual hospital 130 is a digital twin (i.e., a virtual representation or virtual copy) of the physical hospital 110 that is used to simulate, analyze, predict, and optimize the operation status of the physical hospital 110. For example, the virtual hospital 130 may be a digital copy of the physical hospital 110 in real time.

[0060] In some embodiments, the virtual hospital 130 may be presented to the users using digital technologies. For example, at least a portion of the virtual hospital 130 may be presented to the relevant users using the XR technology when the relevant users interact with the virtual hospital 130. Merely by way of example, the at least a portion of the virtual hospital 130 may be superimposed on a real-world view of the relevant users using the MR technology.

[0061] In some embodiments, the virtual hospital 130 may include digital twins of the physical entities relating to the physical hospital 110. A digital twin refers to a virtual representation (e.g., a virtual copy, a mapping body, a digital simulator) of a physical entity. The digital twins may reflect and predict status, behaviors, and performances of the physical entities in real time. For example, the virtual hospital 130 may include digital twins of at least a portion of the medical services, the departments, the users, the hardware devices, the user services, the public areas, the medical service procedures, etc., of the physical hospital 110. The digital twin of a physical entity may be in various forms including a model, an image, a graph, text, numerical values, etc. For example, the digital twins may be a virtual hospital corresponding to the physical hospital, virtual personnel (e.g., virtual doctors, virtual nurses, and virtual patients) corresponding to personnel entities (e.g., the doctors, the nurses, and the patients) , virtual devices (e.g., the virtual imaging device and a virtual scalpel) corresponding to medical service devices (e.g., an imaging device and a scalpel) , etc.

[0062] In some embodiments, the digital twins may include one or more first digital twins and / or one or more second digital twins. The status of each first digital twin may be updated based on an update of the status of the corresponding physical entity. For example, the one or more first digital twins may be updated during a process of mapping the data relating to the physical hospital 110 into the virtual hospital 130. The one or more second digital twins may be updatable via at least one of the at least one user space application 120, and the update of each second digital twin may result in a status update of the corresponding physical entity. In other words, when the corresponding physical entity changes its status, a first digital twin may be updated accordingly; when a second digital twin is updated, the status of the corresponding physical entity changes accordingly. For example, the one or more first digital twins may include the digital twins of the public areas, the medical services, the users, the hardware devices, etc., and the one or more second digital twins may include the digital twins of the hardware devices, the user services, the medical service procedures, etc. It should be understood that a digital twin can be both a first digital twin and a second digital twin.

[0063] According to some embodiments of the present disclosure, by generating the virtual hospital 130 including the digital twins of the physical entities relating to the physical hospital 110, the physical hospital 110 (encompassing the hardware device, the users, the user services, the medical service procedures, etc. ) can be simulated and tested in a safe and controllable environment. Through a virtual-real linkage (e.g., real-time interactions between the physical hospital 110 and the virtual hospital 130) , various medical scenarios can be predicted and responded to more accurately, thereby improving the quality and efficiency of the medical services. Additionally, the use of the XR technology and virtual-real integration technology enables more natural and intuitive interactions for the relevant users, providing a more comfortable and efficient medical environment, thereby enhancing the user experience.

[0064] In some embodiments, the virtual hospital 130 may further include intelligent agents that achieve self-evolution based on the data relating to the physical hospital 110 and AI technology.

[0065] An intelligent agent refers to an agent acting in an intelligent manner. For example, the intelligent agent may include a computing / software entity that can learn and evolve autonomously, and perceive and analyze data to perform specific tasks and / or achieve specific goals (e.g., the medical service procedures) . Through AI technology (e.g., reinforcement learning, deep learning, etc. ) , the intelligent agent may continuously learn and self-optimize in the interaction with the environment. In addition, the intelligent agent may collect and analyze massive amounts of data (e.g., the data relating to the physical hospital 110) through big data technology, and mine patterns and learn rules from the data to optimize a decision-making process, so as to identify environmental changes, respond quickly, and make reasonable judgments in uncertain or dynamic environments. For example, the intelligent agents may autonomously learn and evolve based on the AI technology to adapt to changes in the physical hospital 110. Merely by way of example, the intelligent agents may be built based on an NLP technology (e.g., a large language model, etc. ) , and may automatically learn and autonomously update via a large amount of language texts (e.g., hospital business data and patient feedback information) to improve the quality of the user services provided by the physical hospital 110.

[0066] In some embodiments, the intelligent agents may include different types corresponding to different medical service procedures, different user services, different departments, different diseases, different hospital positions (e.g., the nurses, doctors, technicians, etc. ) , different stages in a medical service procedure, etc. An intelligent agent of a specific type is used to handle tasks corresponding to the specific type. In some embodiments, one intelligent agent may correspond to different medical service procedures (or different medical services, or different departments, or different diseases, or different hospital positions) . In some embodiments, the intelligent agent may operate with reference to essential data (e.g., dictionaries, knowledge graphs, templates, etc. ) of the department and / or disease corresponding to the intelligent agent. In some embodiments, a plurality of intelligent bodies may collaborate with each other and share information via network communication to accomplish complex tasks together.

[0067] In some embodiments, configurations of an intelligent agent may be set. For example, essential data used by the intelligent agent in operation may be set. The essential data may include a dictionary, a knowledge database, a template, etc. As another example, usage permissions of the intelligent agent may be set for different users. In some embodiments, a manager of the physical hospital 110 may set configurations of the intelligent agent via a manage space application.

[0068] In some embodiments, an intelligent agent may be integrated into or deployed on a hardware device. For example, an intelligent agent corresponding to the hospitalization services may be integrated into the hospital bed or a presentation device of the hospital bed. In some embodiments, an intelligent agent may be integrated into or deployed on an embodied intelligence robot. The embodied intelligence robot refers to a robotic system that integrates physical presence (embodiment) with intelligent behavior (cognition) . The embodied intelligence robot may be configured to interact with the real world in a manner that mimics or complements human capabilities, utilizing physical form and cognitive functions to perform tasks, make decisions, and adapt to the environment. By leveraging AI and sensor technologies, the embodied intelligence robot may operate autonomously, interact with the environment, and continuously improve the performance. For example, the embodied intelligence robot may be configured with the intelligent agent corresponding to the surgery services and assist the doctors to perform surgeries.

[0069] In some embodiments, at least a portion of the user services may be provided based on the intelligent agents. For example, the at least a portion of the user services may be provided to the relevant users based on a processing result, wherein the processing result is generated by at least one of the intelligent agents based on the data relating to the physical hospital 110. Merely by way of example, the data relating to the physical hospital 110 may include data relating to a medical service procedure of the physical hospital 110, the intelligent agents may include an intelligent agent corresponding to the medical service procedure, and the user services may be provided to relevant users of the medical service procedure by processing the data using the intelligent agent corresponding to the medical service procedure.

[0070] The hospital support platform 140 may be configured to provide technical support for the medical service system 100. For example, the hospital support platform 140 may include computational hardware and software to support the innovative technologies including XR technology, the AI technology, digital twin technology, data circulation technology, etc. In some embodiments, the hospital support platform 140 may at least include a storage device for data storage and a processing device for data computation.

[0071] In some embodiments, the hospital support platform 140 may support the interaction between the physical hospital 110 and the virtual hospital 130. For example, the processing device of the hospital support platform 140 may obtain data relating to the physical hospital 110 from the hardware devices and map the data relating to the physical hospital 110 into the virtual hospital 130. For instance, the processing device of the hospital support platform 140 may update a portion of the digital twins in the virtual hospital 130 (e.g., the one or more first digital twins) based on the obtained data, so that each of the portion of the digital twins in the virtual hospital 130 may reflect an updated status of the corresponding physical entity in the physical hospital 110. Based on such digital twins that are constantly updated with the corresponding physical entities, the users can understand the real-time statuses of the physical entities relating to the physical hospital 110, thereby realizing monitoring and evaluation of the physical entities. As another example, intelligent agent (s) corresponding to the data relating to the physical hospital 110 may be self-evolving and self-learning by training and / or updating based on the data relating to the physical hospital 110.

[0072] In some embodiments, the hospital support platform 140 may support and / or provide the user services to the relevant users of the physical hospital 110. For example, in response to receiving a user service request from a user, the processing device of the hospital support platform 140 may provide the user service corresponding to the service request. As another example, in response to detecting that a user service needs to be provided to a user, the processing device of the hospital support platform 140 may control a physical entity or a virtual entity corresponding to the user service to provide the user service. For instance, in response to detecting that the patient is admitted to a hospital ward, the processing device of the hospital support platform 140 may control the intelligent nursing trolley to guide a nurse to the hospital ward to perform an initial examination on the patient.

[0073] In some embodiments, at least a portion of the user services may be provided to the relevant users based on the interactions between the relevant users and the virtual hospital 130. An interaction refers to a reciprocal action or influence (e.g., conversation, behavior, etc. ) between the relevant users and the virtual hospital 130. For example, the interactions between the relevant users and the virtual hospital 130 may include interactions between the relevant users and the digital twins in the virtual hospital 130, interactions  between the relevant users and the intelligent agents, interactions between the relevant users and the virtual characters, or the like, or any combination thereof.

[0074] In some embodiments, at least a portion of the user services may be provided to the relevant users based on the interactions between the relevant users and at least one of the digital twins. For example, an updating instruction of a second digital twin inputted by a relevant user may be received via the at least one user space application 120, and the corresponding physical entity of the second digital twin may be updated based on the updating instruction. As another example, a user may view a first digital twin of a physical entity (e.g., a 3D digital twin model of a patient’s organ or a hardware device) via the user space application 120 to understand the status of the physical entity. Optionally, the user may change the display angle, the display size, etc., the digital twin.

[0075] In some embodiments, the processing device of the hospital support platform 140 may present a virtual character corresponding to an intelligent agent via the at least one user space application to interact with the relevant users, and provide at least a portion of the user services to the relevant users based on the interactions between the relevant users and the virtual character.

[0076] In some embodiments, the hospital support platform 140 may have a five-layer structure, including a hardware device layer, an interface layer, a data processing layer, an application development layer, and a service layer, which will be described in FIG. 3. In some embodiments, the hardware devices of the physical hospital 110 may be part of the hospital support platform 140.

[0077] According to some embodiments of the present disclosure, by comprehensively integrating various internal and external resources (e.g., the medical service devices, hospital staff, drugs and consumables, etc. ) of the physical hospital, the virtual hospital corresponding to the physical hospital can be established. This virtual hospital can reflect the real-time statuses (e.g., changes, updates, etc. ) of the physical entities relating to the physical hospital, thereby enabling monitoring and evaluation of the physical entities. This integration can provide accurate data support for the operation of the medical services and intelligent decision-making. Furthermore, through the virtual hospital, the relevant users relating to the medical services can collaboratively establish an open and shared ecosystem, thereby fostering innovation and enhancement of medical services.

[0078] In addition, full-life cycle patient medical and health services with in-hospital and out-of-hospital linkage may be provided. The perspective of the medical services is expanded from simple disease treatment to encompass the entire life cycle of the patients, including prevention, diagnosis, treatment, rehabilitation, health management, etc. By establishing the in-hospital and out-of-hospital linkage, the physical hospital can better integrate online and offline resources to provide the patients comprehensive and continuous medical and health services. For example, through remote monitoring and online consultation, the patients’ health status can be tracked in real time, which can adjust treatment plans promptly, and improve treatment outcomes.

[0079] FIG. 2 is a schematic diagram illustrating an exemplary medical service system 200 according to some embodiments of the present disclosure.

[0080] As illustrated in FIG. 2, the medical service system 200 may include a processing device 210, a network 220, a storage device 230, one or more medical service devices 240, one or more sensing devices 250, one or more patient terminal devices 260 of a patient 261, and one or more doctor terminal devices 270 of a doctor 271 associated with the patient 261. In some embodiments, components in the medical service system  200 may be connected to and / or communicate with each other via a wireless connection, a wired connection, or a combination thereof. The connection between the components of the medical service system 200 may be variable.

[0081] The processing device 210 may process data and / or information obtained from the storage device 230, the medical service device (s) 240, the sensing device (s) 250, the patient terminal device (s) 260, and / or the doctor terminal device (s) 270. For example, the processing device 210 may provide user services to the patient 261 and the doctor 271 via the patient terminal device (s) 260 and / or the doctor terminal device (s) 270, respectively.

[0082] In some embodiments, the processing device 210 may be a single server or a server group. The server group may be centralized or distributed. In some embodiments, the processing device 210 may be local to or remote from the medical service system 200. In some embodiments, the processing device 210 may be implemented on a cloud platform. For example, the cloud platform may include a private cloud, a public cloud, a hybrid cloud, a community cloud, a distributed cloud, an inter-cloud, a multi-cloud, or the like, or a combination thereof.

[0083] In some embodiments, the processing device 210 may include one or more processors (e.g., single-core processor (s) or multi-core processor (s) ) . Merely for illustration, only one processing device 210 is described in the medical service system 200. However, it should be noted that the medical service system 200 in the present disclosure may also include multiple processing devices. Thus, operations and / or method steps that are performed by one processing device 210 as described in the present disclosure may also be jointly or separately performed by the multiple processing devices.

[0084] The network 220 may include any suitable network that can facilitate the exchange of information and / or data for the medical service system 200. The network 220 may be or include a wired network, a wireless network (e.g., an 802.11 network, a Wi-Fi network) , a BluetoothTM network, a near field communication (NFC) network, or the like, or any combination thereof.

[0085] The storage device 230 may store data, instructions, and / or any other information. In some embodiments, the storage device 230 may store data obtained from other components of the medical service system 200. In some embodiments, the storage device 230 may store data and / or instructions that the processing device 210 may execute or use to perform exemplary methods described in the present disclosure.

[0086] In some embodiments, the data stored in the storage device 230 may include multimodal data. The multimodal data may include data in multiple forms (e.g., images, graphics, video, text, etc. ) , data of various types, data obtained from different sources, data relating to different medical businesses (e.g., diagnosis, surgery, rehabilitation, etc. ) , data relating to different users (e.g., the patients, the medical staff, managers, etc. ) . For example, the data stored in the storage device 230 may include medical data of the patient 261 reflecting a health condition of the patient 261. For instance, the medical data may include an electronic health record of the patient 261. The electronic health record refers to an electronic file that records various types of patient data (e.g., basic information, examination data, imaging data) . For example, the electronic health record may include three-dimensional models of a plurality of organs and / or tissues of the patient 261.

[0087] In some embodiments, the storage device 230 may include a mass storage device, a removable storage device, a volatile read-and-write memory, a read-only memory (ROM) , or the like, or any combination  thereof. In some embodiments, the storage device 230 may include a data lake and a data warehouse, which will be described in detail in connection with FIG. 3.

[0088] The medical service device (s) 240 may be used to provide or assist medical services. As shown in FIG. 2, the medical service device (s) 240 include a consultation room terminal 240-1, a hospital bed 240-2, an intelligent surgery terminal 240-3, an intelligent nursing trolley 240-4, an intelligent wheelchair 240-5, or the like, or any combination thereof.

[0089] The consultation room terminal 240-1 refers to a terminal device configured in a consultation room for use by doctors and patients in a medical consultation process. For example, the consultation room terminal 240-1 may include one or more of a screen, a sound output component, an image sensor, or an acoustic sensor. The screen of the consultation room terminal 240-1 may present a consultation interface, and data may be presented on the consultation interface for facilitating the communication between patients and doctors. Exemplary data may include an electronic health record (or a portion thereof) , a pre-consultation record, a medical image, a 3D organ model, an examination result, a decision recommendation, etc.

[0090] The hospital bed 240-2 refers to a bed in a hospital ward that can support a patient admitted to the hospital ward and provide user services to the patient. The hospital bed 240-2 may include a bed, a bedside terminal device, a bedside examination device, sensors, or the like, or any combination thereof. The bedside terminal device may include an XR device, a display device, a mobile device, or the like, or any combination thereof. In some embodiments, the hospital bed 240-2 may be controlled by an intelligent agent corresponding to hospitalization services, wherein such a hospital bed may be also referred to as an intelligent hospital bed or a meta-hospital bed.

[0091] The intelligent surgery terminal 240-3 refers to a device configured for assisting surgeries and controlled by an intelligent agent corresponding to the surgery service. The intelligent surgery terminal 240-3 may perceive interactions (e.g., conversation, behavior, etc. ) between the medical service providers, the patients, and the intelligent agent, and obtain data captured by the sensing device (s) 250, so as to provide surgery assistance. In some embodiments, the intelligent surgery terminal 240-3 may be configured to perform risk warnings of surgical operations, generate surgical records for the surgery procedure, etc., based on the intelligent agent configured therein.

[0092] The intelligent nursing trolley 240-4 refers to a nursing trolley that has an automatic driving function and can assist in patient treatment and care. For example, the intelligent nursing trolley 240-4 may be configured to guide a nurse to the hospital ward to perform an initial examination on the patient. In some embodiments, the intelligent nursing trolley can be controlled by an intelligent agent (e.g., an intelligent agent corresponding to the hospitalization services, a nursing intelligent agent) . In some embodiments, the intelligent nursing trolley 240-4 may include a trolley, a presentation device, one or more examination devices and / or nursing tools, sensors (e.g., an image sensor, a GPS sensor, an acoustic sensor, etc. ) , etc. In some embodiments, the intelligent nursing trolley 240-4 may be configured to obtain relevant treatment and care information of the patient and generate measurement data, nursing data, etc. The measurement data may include vital signs data of the patient. The nursing data may include a detailed record of a nursing operation, such as a nursing time, a nursing operator, nursing measures, patient responses, etc.

[0093] The intelligent wheelchair 240-5 refers to a transport device for intelligently picking up and dropping off the patients. In some embodiments, the intelligent wheelchair 240-5 may be configured to  perform autonomous navigation through integrated sensors and maps, locate a location of a patient using a radio frequency identification device (RFID) , Bluetooth, or Wi-Fi signals, identify the patient through biometric technology. In some embodiments, the intelligent wheelchair 240-5 may be controlled by an intelligent agent (e.g., an intelligent agent corresponding to the hospitalization services, an intelligent agent corresponding to the surgery services) . In some embodiments, the intelligent wheelchair 240-5 may be configured to generate data (e.g., records of interaction content between the intelligent agent and the patients) by sensing interaction data through built-in cameras / sensors.

[0094] The sensing device (s) 250 may be configured to collect sensed information relating to the environment where it is located. In some embodiments, the sensing device (s) 250 may include sensing device (s) in the physical hospital 110. For example, the sensing device (s) 250 may include an image sensor 250-1, an acoustic sensor, 250-2, a temperature sensor, a humidity sensor, etc.

[0095] The patient terminal device (s) 260 may be a terminal device that interacts with the patient 261. In some embodiments, the patient terminal device (s) 260 may include a mobile terminal 260-1, an XR device 260-2, a smart wearable device 260-3, etc. The doctor terminal device (s) 270 may be a terminal device that interacts with the doctor 271. In some embodiments, the doctor terminal device (s) 270 may include a mobile terminal 270-1, an XR device 270-2, etc. In some embodiments, the patient 261 may access the user space application (e.g., the patient space application) through a patient terminal device 260, and the doctor 271 may access the user space application (e.g., the doctor space application) through a doctor terminal device 270. In some embodiments, the patient 261 and the doctor 271 may communicate with each other remotely via a patient terminal device 260 and a doctor terminal device 270, so as to provide remote medical services, such as remote consultation service, remote ward round service, remote follow-up service, etc.

[0096] The sensing device (s) 250, the patient terminal device (s) 260, and the doctor terminal device (s) 270 may be configured as data sources to provide information for the medical service system 200. For example, these devices may transmit collected data to the processing device 210, and the processing device 210 may provide user services based on the received data.

[0097] It should be noted that the above description of the medical service systems 100 and 200 is intended to be illustrative, and not to limit the scope of the present disclosure. Many alternatives, modifications, and variations will be apparent to those skilled in the art. The features, structures, methods, and other characteristics of the exemplary embodiments described herein may be combined in various ways to obtain additional and / or alternative exemplary embodiments. For example, the medical service system 200 may include one or more additional components, such as terminal devices of other users, public terminal devices of the hospital, etc. As another example, two or more components of the medical service system 200 may be integrated into a single component.

[0098] FIG. 3 is a schematic diagram illustrating an exemplary hospital support platform 300 according to some embodiments of the present disclosure.

[0099] As shown in FIG. 3, the hospital support platform 300 may include a hardware layer 310 (also referred to as a hardware module) , an interface layer 320 (also referred to as an interface module) , a data processing layer 330 (also referred to as a data processing module) , an application development layer 340 (also referred to as an application development module) , and a service layer 350 (also referred to as a service  module) . It should be understood that the “layer” and “module” in the present disclosure are only used to logically divide the components of the hospital support platform, and are not intended to be limiting.

[0100] The hardware layer 310 may be configured to provide a hardware foundation for the interaction between a real world and a digital world, and may include one or more hardware devices related to hospital operation. An exemplary hardware device may include a medical service device, a sensing device, a terminal device, and a basic device.

[0101] The interface layer 320 may be connected with the hardware layer 310 and the data processing layer 330. The interface layer 320 may be configured to obtain the data collected by the hardware devices of the hardware layer 310 and send the data to the data processing layer 330 for storage and / or processing. The interface layer 320 may also be configured to control at least a portion of the hardware devices of the hardware layer 310. In some embodiments, the interface layer 320 may include hardware interfaces and software interfaces (e.g., data interface, control interface) .

[0102] The data processing layer 330 may be configured to store and / or process data. The data processing layer 330 may include a processing device, and multiple data processing units may be configured on the processing device. The data processing layer 330 may be configured to obtain data from the interface layer 320 and process the data via at least one of the data processing units to implement user services related to the hospital business.

[0103] The data processing units may include various preset algorithms for implementing data processing. In some embodiments, the data processing layer 330 may include a processing device (e.g., the processing device 220 in FIG. 2) . The data processing units may be configured on the processing device. In some embodiments, the data processing units may include XR units configured to process data using XR technologies to achieve XR services, AI units (e.g., intelligent agent units) configured to process the data using AI technologies to achieve AI services, digital twin units configured to process the data using digital twin technologies to achieve digital twin service, data circulation units configured to process the data using data circulation technologies (e.g., blockchain technologies, data privacy computing technologies) to achieve data circulation services, etc.

[0104] In some embodiments, the data processing layer 330 may also include a data center configured to store data. In some embodiments, the data center may adopt a lake-warehouse integrated architecture, which may include a data lake and a data warehouse. The data lake may be used to persistently store massive data in a tamper-proof manner. The data warehouse may be used to store index data corresponding to the data in the data lake. The data stored in the data lake may include native (or raw) data collected by the hardware devices, derived data generated based on the native data, etc. In some embodiments, the data in the data lakehouse may be processed by a processing device (e.g., the processing device 210) .

[0105] The application development layer 340 may be configured to support application development, publishing, subscription, etc. The application development layer 340 is also referred to as an ecological suite layer. In some embodiments, the application development layer 340 may be configured to provide open interfaces for application developers to access or invoke at least a portion of the data processing units and utilize the at least a portion of the data processing units to develop applications. In some embodiments, as shown in FIG. 3, the application development layer 340 may provide a development toolkit, an application  marketplace, a multi-tenant operation platform, a cloud official website, a workspace, and other support kits to assist the developers in their work.

[0106] The service layer 350 may be configured for relevant users of the hospital business to access the user services relating to the hospital business via user space applications.

[0107] The present disclosure provides a hospital support platform designed for the comprehensive management of various resources within a hospital, including hardware resources, software resources, and data resources. In certain embodiments, the platform further incorporates data processing units capable of supporting advanced technologies, such as AI, XR, digital twin, and blockchain. These advanced technologies are harnessed to enhance service efficiency and quality within the healthcare industry. For instance, AI technologies enable autonomous evolution and continuous optimization of hospital operations, while XR and digital twin technologies facilitate the creation and maintenance of a virtual hospital. This virtual hospital can engage with users, offering an immersive and novel service experience. Additionally, the platform includes an application development layer that grants access to these advanced technologies to third-party developers within the healthcare industry. This access fosters an open ecosystem that promotes application development and innovation, thereby driving advancements in healthcare services.

[0108] FIG. 4 is a schematic diagram illustrating an exemplary medical consultation system 400 according to some embodiments of the present disclosure. As shown in FIG. 4, the medical consultation system 400 may include a registration module 410, a waiting module 420, a consultation module 430, and / or a post-consultation service module 440. In some embodiments, one or more modules shown in FIG. 4 may be implemented by the processing device 210.

[0109] The registration module 410 may be configured to perform operations relating to a registration stage and / or provide services relating to the registration stage, such as obtaining / establishing an electronic health record, providing an intelligent registration service, providing a route planning service, providing a route guidance service, etc. More descriptions regarding the registration module 410 may be found in the descriptions relating to the registration stage 510 below.

[0110] The waiting module 420 may be configured to perform operations relating to a waiting stage and / or provide services relating to the waiting stage, such as providing a pre-consultation service, providing force feedback / temperature feedback, etc. More descriptions regarding the waiting module 420 may be found in the descriptions relating to the waiting stage 520 below.

[0111] The consultation module 430 may be configured to perform operations relating to a consultation stage and / or provide services relating to the consultation stage, such as providing an outpatient data preview, presenting medical data, providing a decision recommendation, generating of a diagnosis record, providing a remote accompanying service, etc. More descriptions regarding the consultation module 430 may be found in the descriptions relating to the consultation stage 530 below.

[0112] The post-consultation service module 440 may be configured to perform operations relating to a post-consultation stage and / or to provide services relating to the post-consultation stage, such as providing a prescription pick-up service, providing an examination service, providing a health monitoring service, etc. More descriptions regarding the post-consultation service module 440 may be in the descriptions relating to the post-consultation stage 540 below.

[0113] In some embodiments, the registration module 410, the waiting module 420, the consultation module 430, and / or the post-consultation service module 440 may be implemented on a same processing device or different processing devices. In some embodiments, the medical consultation system 400 may include one or more other modules, and / or one or more modules of the medical consultation system 400 may be omitted. In some embodiments, a module may be split into a plurality of modules, and multiple modules may be combined into a single module.

[0114] FIG. 5 is a schematic diagram illustrating an exemplary medical consultation process 500 according to some embodiments of the present disclosure. As shown in FIG. 5, the medical consultation process 500 may include a plurality of stages such as a registration stage 510, a waiting stage 520, a consultation stage 530, and a post-consultation stage 540. In some embodiments, the processing device 210 and / or the medical consultation system 400 may perform operations involved in the plurality of stages of the medical consultation process 500.

[0115] A patient may make an appointment to see a doctor at the registration stage 510. Operations relating to the registration stage 510 may be performed by the registration module 410. As shown in FIG. 5, the operations relating to the registration stage 510 may include obtaining / establishing an electronic health record, providing an intelligent registration service, providing a route planning service, providing a route guidance service, etc. In some embodiments, the patient may initiate a registration request via a third terminal device (which may also be referred to as a patient terminal device) or a registration terminal of a hospital. After receiving the registration request, the registration module 410 may perform one or more operations corresponding to the registration stage 510. In some embodiments, the patient may initiate the registration request via the third terminal device or the registration terminal at a hospital site, or via the third terminal device at another location outside the hospital. In some embodiments, a patient space application may be installed on the third terminal device, and the patient may initiate the registration request through the patient space application.

[0116] In some embodiments, after receiving the registration request from the patient, the registration module 410 may obtain or establish an electronic health record of the patient. For example, the registration module 410 may obtain the electronic health record of the patient if the electronic health record of the patient has been already stored in the hospital's storage device. Otherwise, the registration module 410 may establish the electronic health record of the patient.

[0117] The electronic health record refers to an electronic file that records various types of patient data. The patient data may include basic patient information, genetic information, medical record information, health management information, or the like, or any combination thereof. The basic patient information may include an identity (ID number, health insurance card number, etc. ) , a name, an age, a gender, a height, a weight, an occupation, etc. of the patient. The genetic information may include family medical history information, genetic testing information, etc. The medical record information may include information generated during a historical consultation of the patient, such as chief complaint, a registration record, a pre-consultation record, a diagnosis record, a hospitalization record, a surgical record, a pathological examination result, imaging data, etc. The health management information relates to behaviors and habits (e.g., lifestyle habits that are beneficial and detrimental to health) that have an impact on health. In some embodiments, the electronic health record may include a three-dimensional model of the patient, three-dimensional models of a  plurality of organs and / or tissues of the patient, etc., which may be used to visually display health / condition of the patient. In some embodiments, the health management information may also include health monitoring information of the patient. More descriptions regarding the health monitoring information may be found in FIG. 17 and the related descriptions thereof.

[0118] In some embodiments, the information recorded in the electronic health record may include multimodal information. For example, the electronic health record may include information in a plurality of forms such as text, pictures, graphics, speech, etc. As another example, the electronic health record may include various types of information, the basic information, the examination data, the imaging data, etc., relating multiple dimensions and / or aspects. In some embodiments, the electronic health record may be updated as the consultation process of the patient progresses. For example, when the patient registers, the electronic health record may include the basic patient information; after the patient completes the registration, the electronic health record may be updated to further include the chief complaint and the registration record of patient; after the patient completes the consultation in a consultation room, the electronic health record may be updated to further include the diagnosis record; and when the patient is at home, the electronic health record may be updated to further include the health monitoring information of the patient.

[0119] In some embodiments, the registration module 410 may obtain the patient data and establish the electronic health record of the patient based on the patient data. In some embodiments, the registration module 410 may determine at least a portion of the patient data (e.g., basic information) based on a patient input. The patient input may include a text input, a speech input, an image input, etc. The patient input may be obtained from the third terminal device or the registration terminal. In some embodiments, the registration module 410 may obtain the at least a portion of the patient data by reading data stored in a storage device. For example, the registration module 410 may obtain an electronic medical examination report of the patient from a database of a medical examination center. As another example, the registration module 410 may obtain exercise information of the patient in the past month from a smart terminal device (e.g., a mobile phone or a smartwatch) authorized by the patient.

[0120] In some embodiments, the registration module 410 may first authenticate the patient using the third terminal device or the registration terminal and obtain authorization permission from the patient before obtaining the patient data. The authentication may be performed through biometric identification (e.g., face recognition, fingerprint recognition, palmprint recognition voiceprint recognition, behavior recognition, etc. ) , ID card chip recognition (e.g., ID card chip recognition, consultation card chip recognition) , and / or password verification.

[0121] In some embodiments, when receiving the registration request from the patient, the registration module 410 may provide an intelligent registration service for the patient. The intelligent registration service may be used to match the patient with a registration department, a registration doctor, and a registration time.

[0122] When a patient has a specific department for registration, he / she can directly select the registration department. If the patient does not have a specific department for registration, the registration module 410 may provide the patient with the intelligent registration service based on the chief complaint of the patient, the examination reports uploaded by the patient, and / or historical patient information stored in a storage device to determine recommended department (s) that match the consultation needs of the patient. After the patient determines the registration department based on the recommended department (s) , the  registration module 410 may generate a registration link and send the registration link to the patient, and the patient may further select the registration doctor and the registration time after clicking the registration link, or provide registration recommendations directly to the patient at the original interface.

[0123] When the patient has a specific doctor for registration, he / she can directly select the registration doctor. When the patient does not have a specific doctor for registration, the registration module 410 may recommend doctors for the patient based on the chief complaint of the patient, and / or display information about the doctors of the registration department to help the patient select the registration doctor.

[0124] When the patient has a specific registration time for registration, he / she can directly select the registration time. When the patient does not have a specific registration time for registration, the registration module 410 may recommend the registration time with fewer appointments for the patient based on appointment information of the registration doctor. In some embodiments, when the patient registers on-site at the hospital, the registration module 410 may recommend the nearest registration time for the patient based on a current location of the patient and a location of the registration department. In some embodiments, when the patient selects multiple registration doctors, the registration module 410 may recommend registration times of the registration doctors based on appointment records, consultation efficiency, locations of the registration doctors, so that the patient may complete the medical consultation services of the registration doctors in the shortest time.

[0125] In some embodiments, after the patient determines the registration doctor and the registration time, the registration module 410 may send a sign-in credential (e.g., a Quick Response (QR) code or a secret key) and the registration information to the patient, and update the electronic health record of the patient based on the registration record.

[0126] In some embodiments, the patient may register remotely via the third terminal device at a location other than the hospital. After registration, the registration module 410 may send an inquiry message to the third terminal device regarding a consultation mode. For example, the inquiry message may be configured to inquire whether the patient wants to go to the hospital or see a doctor remotely for consultation. When the patient chooses to go to the hospital for consultation, the registration module 410 may recommend a suitable departure time to the patient via the third terminal device based on the registration information, the current location of the patient, and location information of the consultation room. When the patient chooses to see a doctor remotely, the registration module 410 may remind the patient before the registration time via the third terminal device.

[0127] In some embodiments, during the registration process, the processing device 210 (e.g., an intelligent agent configured on the processing device) may proactively inquire whether the patient needs to receive remote consultation medical service. When the patient chooses to receive the remote consultation medical service, the registration module 410 may recommend a suitable consultation time to the patient via the third terminal device based on the registration information.

[0128] In some embodiments, the registration module 410 may determine the registration doctor of the patient by conducting a first inquiry on the patient using the third terminal device or the registration terminal. Further description of determining a registration doctor can be found in FIG. 6 and its related descriptions.

[0129] The route planning service may be used to provide the patient with a suggested route to the consultation room of the registration doctor. Specifically, the registration module 410 may generate, based  on the current location of the patient and the location information of the consultation room of the registration doctor, a planned route to the consultation room. In some embodiments, the registration module 410 may generate the planned route after the patient registers at the hospital site. In some embodiments, when the patient registers remotely and arrives at the hospital, the registration module 410 may generate the planned route. More descriptions regarding the route planning service may be found in FIG. 7 and the related descriptions thereof.

[0130] The route guidance service may be used to guide the patient to the consultation room of the registration doctor based on the planned route. In some embodiments, the registration module 410 may display guidance information to the patient via the third terminal device (e.g., an XR device) of the patient. More descriptions regarding the route guidance service may be found in FIG. 7 and the related descriptions thereof.

[0131] In some embodiments, the registration module 410 may provide services relating to the registration stage through the registration terminal of the hospital. The registration terminal of the hospital refers to a terminal device installed at the hospital site, and may include a display screen, an input device (e.g., a keyboard) , a sound output device, an acoustic sensor, an XR device, or the like, or any combination thereof. For example, after the patient arrives at the registration terminal of the hospital, the registration module 410 may interact with the patient via the display screen, the sound output device, the acoustic sensor, etc. on the registration terminal, and provide the patient with services such as the intelligent registration service, the route planning service, etc. As another example, after the patient arrives at the registration terminal of the hospital, the patient may wear the XR device provided by the registration terminal, and the registration module 410 may provide the patient with services such as the intelligent registration service, the route planning service, the route guidance service, etc., through the XR device. After the patient completes the consultation, the XR device may be returned to the hospital.

[0132] In some embodiments, the registration module 410 may provide services relating to the registration stage via the third terminal device of the patient. Specifically, the registration module 410 may interact with the patient through the third terminal device of the patient to provide the patient with services such as the intelligent registration service, the route planning service, the route guidance service, etc. For example, the registration module 410 may provide the remote intelligent registration service for the patient through the third terminal device of the patient. After the patient arrives at the hospital, the registration module 410 may provide the services of route planning and route guidance for the patient through the third terminal device of the patient.

[0133] In some embodiments, the registration module 410 may receive monitoring data collected by one or more monitoring devices (e.g., an infrared monitor) in a registration lobby and monitor the state in the registration lobby based on the monitoring data. For example, the registration module 410 may monitor the degree of crowdedness in the registration lobby and monitor whether there is dangerous event in the registration lobby.

[0134] The patient may wait for and prepare for the consultation at the waiting stage 520. In the waiting stage 520, the patient may be located on-site at the hospital (e.g., in a waiting region in front of the consultation room of the registration doctor) or may be in another location (e.g., at the home of the patient) outside the hospital. Operations relating to the waiting stage 520 may be performed by the waiting module  420. As shown in FIG. 5, the operations relating to the waiting stage 520 may include providing pre-consultation service, providing force feedback / temperature feedback, etc.

[0135] The pre-consultation service may be used to gather information about the patient by conducting an initial inquiry on the patient before the patient enters the consultation room for formal consultation. Specifically, when the patient is waiting for the consultation, the waiting module 420 may conduct a pre-consultation inquiry on the patient through the third terminal device of the patient or a waiting terminal configured in the waiting region to alleviate the anxiety of the patient while waiting, generate a record of the pre-consultation inquiry, and provide the record to the doctor for reference, so as to improve the consultation efficiency of the doctor.

[0136] The force feedback / temperature feedback may be used to provide reassuring feedback to the patient. Specifically, when the patient is waiting for consultation, the waiting module 420 may apply force feedback and / or temperature feedback to the patient via a wearable device of the patient after detecting emotions (e.g., nervousness, fear, anxiety, etc. ) of the patient to make the patient feel actions such as shaking hands and hugging, thereby calming the patient's bad mood.

[0137] More descriptions regarding the pre-consultation service, the force feedback / temperature feedback may be found in FIG. 8 and the related descriptions thereof.

[0138] In some embodiments, the waiting module 420 may provide services relating to the waiting stage through the waiting terminal at the hospital. Similarly to the registration terminal, the waiting terminal of the hospital refers to a terminal device installed at the hospital site, and may include a display screen, a sound output device, an acoustic sensor, an XR device, a wearable device, or a like, or any combination thereof. For example, after the patient arrives at the waiting region of the registration department, the waiting module 420 may interact with the patient through the waiting terminal in the waiting region to provide the patient with the pre-consultation service. As another example, after the patient arrives at the waiting region of the registration department, the patient may wear the wearable device provided by the waiting terminal, and the waiting module 420 may provide the force feedback / temperature feedback service for the patient through the wearable device.

[0139] In some embodiments, the waiting module 420 may provide relevant services of the waiting stage via a hospital XR device. For example, the patient may wear the XR device of the registration terminal and be guided to the waiting region by the XR device, the waiting module 420 may provide the pre-consultation service for the patient via the XR device of the registration terminal. In some embodiments, the waiting terminal may include an XR device, and the waiting module 420 may provide the pre-consultation service for the patient via the XR device of the waiting terminal.

[0140] In some embodiments, the waiting module 420 may receive monitoring data collected by one or more monitoring devices (e.g., an infrared monitor) in the waiting region and monitor the state in the waiting region based on the monitoring data. For example, the waiting module 420 may monitor the waiting time, the temperature, etc., of waiting patients, and monitor whether there is dangerous event in the waiting region.

[0141] In some embodiments, the waiting module 420 may provide services relating to the waiting stage via the third terminal device of the patient. For example, the waiting module 420 may provide a remote pre-consultation service for a patient who is waiting online for the consultation via the third terminal device of the  patient. As another example, the waiting module 420 may provide the pre-consultation service for a patient waiting in the hospital via the third terminal device of the patient.

[0142] The patient may communicate with the registration doctor during the consultation stage 530 to receive the medical consultation service. During consultation stage 530, the patient may receive an on-site consultation service in the consultation room, or receive a remote consultation service at another location (e.g., at the home of the patient) outside the hospital. Specifically, operations relating to the consultation stage 530 may be performed by the consultation module 430. As shown in FIG. 5, the operations relating to the consultation stage 530 may include providing an outpatient data preview, presenting medical data of the patient, providing a decision recommendation, generation of a diagnosis record, providing a remote accompanying service, etc.

[0143] The outpatient data preview may be used to display information about patients waiting to receive medical consultation services on a day to a doctor. For example, the consultation module 430 may display a category of the patients before the doctor starts the consultation. The category of patients may include a first-time patient, a follow-up-patient, etc. When a patient is a follow-up patient, the consultation module 430 may display information relating to changes in the illness of the follow-up patient. In some embodiments, the doctor may view the outpatient data preview via a first terminal device in the consultation room or a second terminal device (e.g., the XR device) of the doctor. In some embodiments, the second terminal device of the doctor may be installed with a doctor space application. The doctor may obtain the outpatient data preview through the doctor space application. Optionally, the doctor space application may send a reminder to the doctor to remind the doctor to check the outpatient data preview before the doctor needs to provide the consultation service.

[0144] In the consultation stage, the medical data (e.g., the electronic health record) of the patient may be displayed to the doctor, the patient, and / or a remote companion. Specifically, the consultation module 430 may display the medical data of the patient synchronously to the doctor, the patient, and / or the remote companion via at least one terminal device. In addition, the display mode and / or display content of the medical data may be updated synchronously based on an interactive instruction issued by the doctor, the patient, and / or the remote companion, so that the doctor, the patient, and / or the remote companion may communication with each other conveniently. More descriptions regarding the display of medical data may be found in FIG. 12 and the relevant descriptions thereof.

[0145] The decision recommendation may be provided to the doctor for reference during the consultation stage 530. An exemplary decision recommendation may include a supplemental inquiry recommendation, an examination recommendation, a prescription recommendation, a treatment plan recommendation, etc. Specifically, the consultation module 430 may generate the decision recommendation based on sensed information collected by a sensing device during the consultation process, so that the doctor may adjust the diagnosis mode, the diagnosis result, and / or the prescription to improve the consultation efficiency and consultation accuracy. More descriptions regarding the decision recommendation may be found in the descriptions of sub-process 1310 in FIG. 13, which will not be repeated herein.

[0146] The diagnosis record may be generated to record information about the patient’s medical condition as diagnosed by the doctor, the doctor’s order, etc. Specifically, the consultation module 430 may generate a preliminary diagnosis record based on sensed information collected by a sensing device during the  consultation process, and generate a target diagnosis record based on feedback information regarding the preliminary diagnosis record input by the doctor, thereby reducing paperwork of the doctor and improving the efficiency and accuracy of the generation of the diagnosis record. More descriptions regarding the generation of a diagnosis record may be found in the relevant descriptions of sub-process 1320 in FIG. 13 and FIG. 15.

[0147] The remote accompanying service may be used to provide an immersive accompanying service for the patient and the remote companion. For example, the consultation module 430 may present, to the remote companion, a virtual consultation room that simulates a real consultation room, a real-time picture of the doctor in the consultation room and a real-time picture of the patient in the consultation room. As another example, the consultation module 430 may present a real-time picture of the remote companion via the first terminal device in the consultation room. As another example, the consultation module 430 may present the real-time picture of the remote companion to the doctor and the patient via the second terminal device of the doctor and the third terminal device of the patient, respectively. As yet another example, the consultation module 430 may obtain force feedback and / or temperature feedback from the remote companion via a wearable device worn by the remote companion, and apply corresponding force feedback and / or temperature feedback to the patient via a wearable device worn by the patient. More descriptions regarding the remote accompanying service may be found in the relevant descriptions of sub-process 1330 in FIG. 13 and FIG. 16, which will not be repeated herein.

[0148] In some embodiments, the consultation module 430 may also provide other services relating to the consultation stage 530, for example, the consultation module 430 may assist the doctor in completing workflow-related work such as calling patients, and approving a request for remote companion accompanying service.

[0149] In some embodiments, the consultation module 430 may provide services relating to the consultation stage to the doctor and the patient via the first terminal device in the consultation room. The first terminal device refers to a terminal device installed at the site of the consultation room and may include a display screen, a sound output device, an acoustic sensor, an XR device, a wearable device, or the like, or any combination thereof. For example, after the patient enters the consultation room, the consultation module 430 may present, to the doctor and / or the patient via the display screen of the first terminal device, the electronic health record, the decision recommendation, the pre-consultation record, the diagnosis record, the real-time picture of the remote companion, etc. As another example, the patient may wear the wearable device of the first terminal device and receive force feedback from the remote companion via the wearable device. As yet another example, the doctor and the patient may wear the XR devices of the first terminal device, and the consultation module 430 may present various types of information to the doctor and / or the patient via the XR devices of the first terminal device. In some embodiments, the XR device worn by the patient may also be an XR device of the registration terminal. More descriptions regarding the content presented by the first terminal device may be found in operation 1130, FIG. 14, and the relevant descriptions thereof.

[0150] In some embodiments, the consultation module 430 may provide services relating to the consultation stage to the doctor and the patient via the second terminal device of the doctor and the third terminal device of the patient. For example, the consultation module 430 may present the electronic health record, the decision recommendation, the diagnosis record, the real-time picture of the remote companion, etc.,  to the doctor and the patient via the second terminal device of the doctor and the third terminal device of the patient, respectively. At least a portion of the content presented by the second terminal device and the third terminal device may be synchronized. For example, the electronic health record presented by the second terminal device and the third terminal device may be synchronized. When the doctor or the patient updates the presentation mode or the presentation content of the electronic health record via the second terminal device of the doctor and the third terminal device of the patient, the electronic health record on the other terminal device may be updated accordingly. In some embodiments, the consultation module 430 may further provide services relating to the consultation stage to the remote companion via a fourth terminal device (e.g., XR terminal device) of the remote companion.

[0151] When the patient finishes the consultation, the patient may enter the post-consultation stage 540. Operations relating to the post-consultation stage 540 may be performed by the post-consultation service module 440. As shown in FIG. 5, the operations relating to the post-consultation stage 540 may include providing a prescription pick-up service, providing an examination service, providing a health monitoring service, etc.

[0152] The prescription pick-up service may be used to assist the patient in picking up medications prescribed by the doctor. For example, the prescription pick-up service may be used to assist the patient in paying for medications, making an appointment with a prescription pick-up counter to pick up medications from the prescription pick-up counter, guiding the patient to the prescription pick-up counter, etc. The examination service may be used to assist the patient in receiving an examination ordered by the doctor. For example, the examination service may be used to assist the patient in paying for the examination, making an appointment with an examination department, guiding the patient to the examination department, etc.

[0153] In some embodiments, in response to detecting that the consultation process has been completed, the post-consultation service module 440 may determine a target service needed to be provided to the patient after the consultation process and make an appointment for the patient with a target department unit that provides the target service. The post-consultation service module 440 may detect whether the consultation process has been completed in various ways. For example, the post-consultation service module 440 may determine that the consultation process of the patient has been completed when detecting that the doctor has submitted the target diagnosis record of the patient or that the doctor has called a next patient.

[0154] In some embodiments, the post-consultation service module 440 may determine the target service needed by the patient based on a target treatment prescription in the target diagnosis record. For example, the target service may include a prescription pick-up service, and the target department unit may include a prescription pick-up counter. When the patient needs the prescription pick-up service, the post-consultation service module 440 may send medication prescription information of the patient to the prescription pick-up counter and make an appointment to pick up the medications. As another example, the target service may include an examination service, and the target department unit may include an examination department. When the patient needs the examination service, the post-consultation service module 440 may send information about the examination prescription of the patient to the examination department and make an appointment for the examination. Optionally, after making an appointment with the target department unit, the post-consultation service module 440 may send appointment information to the third terminal device of the patient. In some embodiments, after detecting that the consultation process has been completed, the post- consultation service module 440 may first send a fee payment reminder to the third terminal device of the patient. After the patient pays the fee of the target service, the post-consultation service module 440 may make an appointment with the target department unit.

[0155] In some embodiments, the post-consultation service module 440 may provide the patient with the route planning service and the route guidance service for going to the target department unit based on the current location of the patient and the location of the target department unit. The route planning service and the route guidance service to the target department unit are similar to the route planning service and the route guidance service provided in the registration stage 510, which will not be repeated herein.

[0156] The health monitoring service may be used to continuously monitor the health status of the patient after the consultation process. More descriptions regarding the health monitoring service may be found in FIG. 17 and the relevant descriptions, which will not be repeated herein.

[0157] In some embodiments, one or more operations in the medical consultation process 500 may be performed by an intelligent agent corresponding to the medical consultation service / process. The intelligent agent refers to a computational entity that is capable of self-learning and self-evolving, and may be able to sense and analyze data so as to perform a specific task and / or achieve a specific goal. The intelligent agent may be able to continuously learn and self-optimize in the interactions with the environment through an Artificial Intelligence (AI) technology such as reinforcement learning, deep learning, etc. In addition, the intelligent agent may collect and analyze massive information using big data technology, and mine patterns and learn patterns from the data, so as to optimize the decision-making process, thereby realizing the identification of changes in the environment, quick response, and making reasonable judgments in an uncertain or dynamic environment.

[0158] In some embodiments, different stages of the medical consultation process 500 may share one intelligent agent, or different stages may correspond to different intelligent agents. For example, the operations relating to the registration stage 510, the waiting stage 520, the consultation stage 530, and the post-consultation stage 540 may be performed by a registration intelligent agent, a waiting intelligent agent, a consultation intelligent agent, and a post-consultation intelligent agent, respectively. As another example, the intelligent registration service in the registration stage 510 may be performed through the registration intelligent agent. The pre-consultation service in the waiting stage 520 may be performed through a pre-consultation intelligent agent. The route planning and route guidance in the registration stage 510 and the post-consultation stage 540 may be performed through a traveling intelligent agent. As another example, multiple stages or operations in the medical consultation process 500 may be performed through one same medical consultation service intelligent agent.

[0159] In some embodiments, different departments, different diseases, and different hospitals may correspond to different intelligent agents. The consultation service corresponding to a specific department and / or a specific disease in a specific hospital may be realized by an intelligent agent corresponding to the department, the disease, and the hospital. In some embodiments, the intelligent agent may operate with reference to knowledge data (e.g., dictionaries, knowledge graphs, templates, etc. ) of the department and / or disease corresponding to the intelligent agent. Optionally, the knowledge data may be set by a hospital manager (e.g., a department director) . In some embodiments, a plurality of intelligent bodies may collaborate with each other and share information via network communication to accomplish complex tasks together.

[0160] FIG. 6 is a schematic diagram illustrating an exemplary process for determining a doctor with whom a patient is registered (also referred to as a registration doctor of the patient) according to some embodiments of the present disclosure. The process 600 shown in FIG. 6 may be performed in the registration stage 510.

[0161] In 610, a chief complaint of the patient may be obtained.

[0162] The chief complaint of the patient refers to descriptions regarding a condition and / or symptoms self-reported by the patient. For example, the chief complaint of the patient may include descriptions regarding the affected area, the duration of the condition, the intensity of symptoms, the frequency of symptoms, related life events, and the purpose of the medical consultation. In some embodiments, the chief complaint of the patient may be in the form of text, speech, pictures, gestures, etc. For example, the chief complaint of the patient may include textual descriptions, speech descriptions, sign-language descriptions of the condition of the patient. As another example, the chief complaint of the patient may include a picture of the affected area of the patient. As yet another example, the chief complaint of the patient may include descriptions of a pain level of the patient.

[0163] In some embodiments, the registration module 410 may obtain the chief complaint of the patient via a third terminal device of the patient or a registration terminal of a hospital. For example, the registration module 410 may obtain the chief complaint of the patient in the form of text via a keyboard (e.g., physical keyboard, on-screen keyboard, and / or virtual keyboard) of the third terminal device or the registration terminal. As another example, the registration module 410 may obtain the chief complaint of the patient in the form of speech via an acoustic sensor of the third terminal device or the registration terminal. As yet another example, the registration module 410 may obtain the picture of the affected area of the patient collected by an image sensor of the third terminal device or the registration terminal.

[0164] In 620, at least one candidate department may be determined based on the chief complaint of the patient.

[0165] The candidate department refers to a department preliminarily determined based on the condition and / or symptoms of the patient.

[0166] Specifically, the registration module 410 may extract a first keyword of the chief complaint of the patient. The first keyword may include key words that summarize the condition and / or the symptoms, such as the disease site, symptoms, time, intensity, frequency, etc. For example, the registration module 410 may extract the first keyword in the chief complaint of the patient in the form of text through a keyword extraction algorithm. The keyword extraction algorithm may include a term frequency / inverse document frequency (TF / IDF) algorithm, a Topic Model algorithm, a text rank algorithm, a rake algorithm, etc. As another example, the registration module 410 may recognize the first keyword in the chief complaint of the patient in the form of speech through a speech recognition technology. The speech recognition technology may include an automatic speech recognition (ASR) technology, a computer speech recognition technology, a speech-to-text recognition (STT) technology, etc. As another example, the registration module 410 may recognize a part, symptom, etc., in the chief complaint of the patient in the form of a picture as the first keyword through an image recognition technology. The image recognition technology may include an image feature extraction technology, a target detection technology, a target recognition technology, etc. As yet another example, the registration module 410 may recognize the first keyword in the chief complaint of the patient in the form of a  gesture through a gesture recognition technology. The gesture recognition technology may include a gesture trajectory recognition technology, a gesture posture recognition technology, a gesture analysis technology, etc.

[0167] Further, the registration module 410 may determine the at least one candidate department based on the first keyword. For example, the registration module 410 may determine the at least one candidate department by retrieving a preset keyword-department look-up table. The preset keyword-department look-up table may be generated in advance based on information such as medical knowledge, doctor experience, and historical registration records, etc. The preset keyword-department look-up table may record various types of keywords of the chief complaint and departments corresponding to the keywords. As another example, the registration module 410 may determine the at least one candidate department by inputting the first keyword into a department determination model. The department determination model refers to a pre-trained machine learning model that can output a recommended candidate department by processing a model input. In some embodiments, the preset keyword-department look-up table and / or the department determination model may be learned by intelligent agents corresponding to the medical consultation process from the historical registration records.

[0168] In 630, the third terminal device or the registration terminal may be caused to conduct a first inquiry on the patient based on the at least one candidate department.

[0169] The first inquiry may be used to further clarify consultation needs of the patient, so that a matched registration department and / or registration doctor may be determined for the patient. In some embodiments, the first inquiry may include multiple rounds of inquiries. Each round of inquiry may include one inquiry and one patient response.

[0170] In some embodiments, the registration module 410 may determine first inquiry content of the first inquiry based on the chief complaint of the patient and the at least one candidate department.

[0171] The first inquiry content may at least include the content of a first round of inquiry. For example, the registration module 410 may input the chief complaint of the patient and the at least one candidate department into a first inquiry model, and the first inquiry model may output the content of the first round of inquiry. In some embodiments, the first inquiry model may include a Convolutional Neural Network (CNN) model, a Recurrent Neural Network (RNN) model, a Long Short Term Memory (LSTM) model, a BERT model, a ChatGPT model, etc. In some embodiments, the first inquiry model may be obtained by performing model training using a first sample training set. The first training sample set may include a plurality of first training samples and a plurality of first training labels corresponding thereto. A first training sample may include a chief complaint of a sample patient and a sample candidate department, and a corresponding first training label may include the content of a sample first round of inquiry. The first training sample and the first training label may be determined based on historical registration records and / or artificially by a user. In some embodiments, the first training sample may be input into an initial model, a value of a loss function may be determined based on data output by the initial model and the first training label, and parameters of the initial model may be iteratively updated based on the value of the loss function until the value of the loss function reaches a preset value or a count of iterations reaches a preset count of iterations, and the trained first inquiry model may be obtained.

[0172] As another example, the registration module 410 may obtain, based on the preset keyword-department look-up table, the keyword corresponding to each candidate department. The registration module  410 may further determine a difference word between the keywords corresponding to any two candidate departments, and determine the content of the first round of inquiry based on the difference word. For example, if the keyword corresponding to the orthopedic department is "localized pain, fever, " and the keyword corresponding to the vascular department is "leg pain and coldness, " the different word between the keywords corresponding to the orthopedic department and the vascular department may include "fever" and "coldness" and the content of the first round of inquiry may include "Do you feel hot or cold in your leg ? " .

[0173] In some embodiments, for subsequent rounds of inquiry in the first inquiry, the registration module 410 may determine the inquiry content based on the chief complaint of the patient, the at least one candidate department, and a historical round of inquiry using a second inquiry model. The second inquiry model may include a CNN model, an RNN model, an LSTM model, a BERT model, a ChatGPT model, etc. In some embodiments, the second inquiry model may be obtained by performing model training using a second sample training set. The second training sample set may include a plurality of second training samples and a plurality of second training labels corresponding thereto. A second training sample may include a chief complaint of a sample patient, a sample candidate department, and a sample historical round of inquiry, and the second training label may include the content of a sample current round of inquiry. The second training sample and the second training label may be determined based on historical registration records and / or artificially by the user. The training process of the second inquiry model is similar to that of the first inquiry model, which will not be repeated herein.

[0174] In some embodiments, the registration module 410 may conduct the first inquiry by causing the third terminal device or the registration terminal to display or play the first inquiry content. For example, the first inquiry content may be displayed on a screen of the third terminal device or the registration terminal. As another example, the first inquiry content may be played by a microphone of the third terminal device or the registration terminal.

[0175] In some embodiments, the registration module 410 may cause the third terminal device or the registration terminal to present a first virtual character that conducts the first inquiry. The first virtual character refers to a digitized character with specific features (e.g., specific appearance features, acoustic features, etc. ) , which may communicate with the patient and assist the patient in registration. Specifically, the registration module 410 may present the first virtual character through the screen of the third terminal device or the registration terminal, and play the first inquiry content through the microphone of the third terminal device or the registration terminal. At the same time, the first virtual character may simulate human speech expressions, gestures, etc., providing the patient with a realistic communication experience.

[0176] In some embodiments, the first virtual character may have preset appearance features. For example, the first virtual character may be a virtual nurse. In some embodiments, the registration module 410 may determine the appearance features of the first virtual character based on basic patient information. The basic patient information may include age, gender, occupation, etc. of the patient. Specifically, the registration module 410 may determine the appearance features of the first virtual character based on the basic patient information, and generate the first virtual character based on the appearance features. Merely by way of example, the appearance features may include body shape features, skin features, clothing features, etc. For example, for a 70-year-old female patient, the first virtual character may be a virtual female nurse with strong affinity. As another example, for a patient who is a doctor, the first virtual character may be a virtual  professional doctor. In some embodiments, the registration module 410 may determine the first virtual character from a plurality of candidate virtual characters based on the basic patient information.

[0177] In some embodiments, the third terminal device or the registration terminal may include an XR device. The registration module 410 may cause the XR device to present the first virtual character that conducts the first inquiry. The XR device may display the first virtual character within a field of view of the patient and play the first inquiry content. The field of view of the patient may present a real-world within the field of view of the patient, or present a virtual background. In some embodiments, the registration module 410 may synchronously present the first inquiry content within the field of view of the patient via the XR device. FIG. 10 is a schematic diagram illustrating an exemplary interface presented by an XR device according to some embodiments of the present disclosure. As shown in FIG. 10, the XR device may synchronously present a virtual character 1010 (e.g., the first virtual character) and inquiry content 1020 (e.g., the first inquiry content) within the field of view of the patient.

[0178] In some embodiments, the registration module 410 may end the first inquiry based on a first preset condition. The first preset condition may be that a count of rounds of inquiries reaches a threshold, such as 10 rounds. The preset condition may include that a count of the rounds of inquiries reaches a threshold (e.g., 10 rounds) , the patient has given a preset answer, the inquiry content of the current round is preset content, etc. For example, when the answer of the patient is “it’s over” or “no other symptoms, ” the first preset condition may be met. As another example, the inquiry content of the current round is “No further questions, thank you, ” the preset condition may be met.

[0179] In some embodiments of the present disclosure, the first inquiry is conducted using the first virtual character capable of communicating with the patient in natural language, which can enhance the patient's sense of interaction, and improve the quality and efficiency of the registration service. In some embodiments of the present disclosure, the first inquiry content of the first inquiry may be determined using machine learning models (e.g., the first inquiry model and / or the second inquiry model) . Compared with using preset inquiry content, the methods disclosed herein enhance the efficiency and quality of the first inquiry, as well as the accuracy in determining the appropriate registration department and / or doctor subsequently based on the first inquiry.

[0180] In 640, the doctor with whom the patient is registered may be determined based on first data collected by the third terminal device or the registration terminal during the first inquiry.

[0181] The first data may include speech data, text data, and image data input by the patient via the third terminal device or the registration terminal. Specifically, the registration module 410 may determine a confidence level of each candidate department based on the first data, the chief complaint of the patient, and the at least one candidate department. The confidence level of the candidate department indicates a matching degree between the candidate department and the condition / symptoms of the patient. The higher the confidence level of the candidate department is, the higher the matching degree.

[0182] For example, for each candidate department, the registration module 410 may determine the keyword of the candidate department based on a preset keyword-department look-up table. The registration module 410 may determine a number and occurrence time of the keyword (s) of the candidate department in the first data and the chief complaint of the patient, and determine the confidence level of the candidate department based on the number and the occurrence time. As another example, the first data, the chief  complaint of the patient, and the at least one candidate department may be processed using a trained department determination model, and the confidence level of each candidate department may be output by the trained department determination model.

[0183] Further, the registration module 410 may determine at least one recommended department based on the confidence level of the at least one candidate department, so that the patient may select at least one registration department based on the at least one recommended department. For example, the registration module 410 may determine candidate department (s) with a confidence level greater than a preset threshold as the at least one recommended department, and cause the third terminal device or the registration terminal to present the at least one recommended department. The patient may determine the registration department from the at least one recommended department. After the registration department is determined, the third terminal device or the registration terminal may display a registration link corresponding to the registration department, and the patient may further select the registration doctor and the registration time by clicking the registration link through the third terminal device or the registration terminal.

[0184] In some embodiments, the registration module 410 may present the basic information and available registration time of each doctor corresponding to the registration department via the third terminal device or the registration terminal. Merely by way of example, the registration module 410 may cause the XR device of the third terminal device or the registration terminal to present a virtual character of a doctor, and the virtual character may introduce the basic information and the available registration time of the doctor. In some embodiments, the registration module 410 may recommend a registration doctor and a registration time to the patient.

[0185] In some embodiments of the present disclosure, the first inquiry is conducted to communicate with the patient, thereby fully understanding the patient's consultation needs. This may enhance the accuracy of the registration recommendations provided to the patient, improve the efficiency of the registration process, and simultaneously enhance the patient's interactive experience.

[0186] In some embodiments, the process 600 may be performed by the intelligent agent corresponding to the medical consultation service / medical consultation process. For example, the intelligent registration service may be provided by a registration intelligent agent. The registration intelligent agent may understand and process natural language and images, allow the patient to describe the symptoms in his or her own words, and accurately assess the patient's condition in order to give a high-confidence-level registration recommendation. At the same time, the registration intelligent agent may continuously improve the accuracy and efficiency of the intelligent registration service by learning from knowledge data and historical service data, thereby enhancing the user experience.

[0187] In some embodiments, a manager of the hospital may set configuration parameters of the registration intelligent agent, for example, through a manager space application installed on a terminal of the manager. The configuration parameters of the registration intelligent agent may include common parameters. The common parameters may relate to hardware configuration, concurrent request handling, caching policies, security settings, model parameters, error handling and logging, performance monitoring and alarming, version management, etc. The configuration parameters of the registration intelligent agent may further include business parameters. The business parameters may relate to available departments, a list of doctors, a count of inquiry rounds, etc.

[0188] FIG. 7 is a schematic diagram illustrating an exemplary interface for providing a route planning service and a route guidance service according to some embodiments of the present disclosure. The route planning service and the route guidance service may relate to the registration stage 510.

[0189] After a patient has registered with a doctor, the registration module 410 may generate a planned route based on a current location of the patient and location information of a consultation room corresponding to the doctor. The current location of the patient refers to a location where the patient is at the current moment. The registration module 410 may obtain the current location of the patient based on positioning information of the third terminal device or the registration terminal. The planned route refers to a route that guides the patient to the consultation room. In some embodiments, the registration module 410 may determine a route from the current location of the patient to the location of the consultation room based on a real-time three-dimensional (3D) map of the hospital. The real-time 3D map of the hospital refers to a 3D map reflecting a layout and a real-time condition of the hospital.

[0190] In some embodiments, when the patient registers with more than one doctor and needs to go to more than one consultation room, the registration module 410 may determine an order of the consultation rooms and a planned route passing the consultation rooms based on information such as the current location of the patient, the registration record, the location information of the consultation rooms, etc., or any combination thereof. For example, the registration module 410 may determine an estimated waiting time corresponding to each consultation room based on a daily consultation record of the doctor of the consultation room and the registration record of the patient. More descriptions regarding the determining the estimated waiting time may be found in the relevant descriptions of operation 810. Further, the registration module 410 may sort the plurality of consultation rooms in descending order according to the estimated waiting times, and determine a planned route passing through the sorted consultation rooms.

[0191] After the planned route is generated, the registration module 410 may cause the third terminal device of the patient or the registration terminal to present guidance information relating to the planned route. The guidance information refers to information that instructs the patient to move along the planned route. For example, the guidance information may include a guidance gesture, guidance speeches, etc., of a virtual guidance character (e.g., a first virtual character) . As another example, the guidance information may include arrows, text, etc.

[0192] In some embodiments, the third terminal device or the registration terminal may include an XR device, and the registration module 410 may cause the XR device to overlay guidance information on a real-world view of the patient through augmented reality (AR) techniques or magnetic resonance (MR) techniques. That is, the patient may see both the real world around him or her and the guidance information while wearing the XR device. The real-world view of the patient refers to the real world within the field of view of the patient. When the field of view of the patient changes with the head movements of the patient, the corresponding real-world view of the patient may change.

[0193] For example, when the head of the patient is in the direction shown in FIG. 7, the corresponding real-world view of the patient may include a real hospital scene in the dashed box, the registration module 410 may superimpose the virtual guidance character on the real-world view corresponding to the dashed box, and guide the patient to move along the planned route through gestures and speeches of the virtual guidance character. As another example, the registration module 410 may superimpose virtual arrows on the real- world view corresponding to the dashed box to guide the patient to move along the planned route. When the patient moves along the planned route and the real-world view of the patient changes in real-time, the registration module 410 may superimpose updated guidance information on the real-world view to guide the patient.

[0194] In some embodiments of the present disclosure, a route planning service and a route guidance service may be provided to the patient. These services can assist the patient in reaching the consultation room quickly, thereby improving the efficiency of the consultation process. Additionally, in certain embodiments, the route guidance may be delivered through augmented reality (AR) or mixed reality (MR) techniques. This approach can present guidance information to the patient in a more accurate manner, enhancing the precision of the guidance without disrupting the patient's perception of the real world.

[0195] FIG. 8 is a schematic diagram illustrating an exemplary process for providing a pre-consultation service according to some embodiments of the present disclosure. The process 800 shown in FIG. 8 may be performed in the waiting stage 520.

[0196] In 810, second inquiry content of a second inquiry may be determined based on a department of a doctor.

[0197] The second inquiry may also be referred to as a pre-consultation inquiry, which is used to preliminarily inquiry the patient before the formal consultation. The second inquiry may include multiple rounds of inquiry. The second inquiry content may include the inquiry content of each round of inquiry. Alternatively, the second inquiry content may only include inquiry content of a first round of inquiry.

[0198] In some embodiments, the waiting module 420 may obtain a pre-consultation record template corresponding to the department of the doctor and determine the second inquiry content based on the pre-consultation record template. For example, the pre-consultation record template may record various types of information about the patient that needs to be collected in the pre-consultation, and the waiting module 420 may determine the second inquiry content based on the information. Optionally, the doctor may modify the pre-consultation record template or set a personalized pre-consultation record template.

[0199] In some embodiments, the waiting module 420 may obtain known information (e.g., an electronic health record, chief complaint, etc. ) about the patient, and determine missing information that has not been collected in the pre-consultation record template by comparing the pre-consultation record template with the known information. For example, if the known information includes the patient’s family medical history, the missing information does not need to include the family medical history. As another example, if the chief complaint includes the patient’s medical history, the missing information does not need to include the medical history. In some embodiments, the missing information may be determined based on the patient’s profile information. For example, for a male patient, the missing information does not need to include the menstrual history, the fertility history. Further, the waiting module 420 may determine the second inquiry content based on the missing information. Specifically, the inquiry content of each round of inquiry may include questions about one or more types of missing information. For example, if the waiting module 420 may compare the electronic health record of the patient with the pre-consultation record template and determine that an allergy history and a pain level in the pre-consultation record template are not included in the electronic health record, the allergy history and the pain level may be determined as the missing information. The waiting module 420 may determine that the second inquiry content includes the question about the allergy history and the question  about the pain level. In some embodiments, before conducting the pre-consultation, the waiting module 420 may first present the electronic health record to the patient via the third terminal device of the patient, and determine the second inquiry content after the patient confirms that the electronic health record is correct.

[0200] In some embodiments, the waiting module 420 may determine the second inquiry content based on the department of the doctor and the known information about the patient using a third inquiry model. The third inquiry model may include a CNN model, an RNN model, an LSTM model, a BERT model, a ChatGPT model, etc. In some embodiments, the third inquiry model may include a missing information determination model and a first inquiry content determination model.

[0201] The missing information determination model may be configured to output the missing information by processing the department of the doctor and the known information about the patient. In some embodiments, the missing information determination model may be obtained by performing model training using a third training sample set. The third training sample set may include a plurality of third training samples and a plurality of third training labels corresponding thereto. A third training sample may include known information about a sample patient and a department of a sample doctor corresponding to the sample patient, and A third training label may include sample missing information. The third training sample set may be determined based on historical pre-consultation records or determined artificially by a user. In some embodiments, the waiting module 420 may determine the sample missing information based on the third training samples and a knowledge database corresponding to the department of the sample doctor. The knowledge database may include consultation specifications of the corresponding department, such as disease description specifications, diagnosis specifications, prescription specifications, specifications of doctor's order, etc. Specifically, the waiting module 420 may traverse the third training samples based on the knowledge database, and determine that content in the knowledge database not included in the third training sample is the sample missing information.

[0202] The first inquiry content determination model may be configured to output the second inquiry content based on the missing information of the patient. The first inquiry content determination model may be configured to output the second inquiry content of each round of inquiry or the second inquiry content of the first round of inquiry in the second inquiry by processing the missing information. The first inquiry content determination model may be obtained by performing model training using a fourth training sample set. The fourth training sample set may include a plurality of fourth training samples and a plurality of fourth training labels corresponding thereto. A fourth training sample may include sample missing information, and a fourth training label may include sample inquiry content. The fourth training sample set may be determined based on the historical pre-consultation records or determined artificially by the user.

[0203] In 820, the third terminal device of the patient may be caused to conduct the second inquiry on the patient based on the second inquiry content.

[0204] In some embodiments, after the patient registers with the doctor, the waiting module 420 may determine an estimated waiting time for the patient to receive the medical consultation service. For example, the estimated waiting time may be a time difference between a current moment and a registration time of the patient. As another example, the estimated waiting time may be determined based on a daily consultation record of the doctor and the registration time of the patient. The daily consultation record of the doctor refers to a record reflecting a consultation condition of the doctor on the day. Merely by way of example, the  waiting module 420 may determine, based on the daily consultation record of the doctor and the registration time of the patient, a count of waiting patients before the patient and an average consultation time of the doctor, obtain a product by multiplying the count and the average consultation time, and use the product as the estimated waiting time.

[0205] In some embodiments, in response to determining that the estimated waiting time is greater than a first preset time threshold, the waiting module 420 may cause the third terminal device of the patient to conduct the second inquiry on the patient or present a recommendation to perform the second inquiry. For example, if the estimated waiting time of the patient is 10 min greater than 5 min, the waiting module 420 may cause the third terminal device of the patient to conduct the second inquiry on the patient. In some embodiments of the present disclosure, the second inquiry may be determined to be conducted based on the estimated waiting time of the patient, which can ensure that there is sufficient time for the pre-consultation, and prevent that doctor calls the patient in the process of the pre-consultation.

[0206] In some embodiments, in response to determining that the estimated waiting time is smaller than a second preset time threshold, the waiting module 420 may cause the third terminal device of the patient to conduct the second inquiry on the patient or present the recommendation to perform the second inquiry. The second preset time threshold may be greater than the first preset time threshold. For example, when it is detected that the current moment is shorter than 24 hours from the registration time (i.e., the estimated waiting time is smaller than 24 hours) , the third terminal device may present the recommendation for conducting the second inquiry (e.g., presenting the recommendation through a virtual character) to the patient, thereby reminding the patient to conduct the pre-consultation promptly.

[0207] In some embodiments, the waiting module 420 may detect that the patient initiates a pre-consultation request via the third terminal device. In response to the pre-consultation request, the waiting module 420 may cause the third terminal device of the patient to conduct the second inquiry on the patient. In some embodiments, the third terminal device may be installed with a patient space application, and the second inquiry may be conducted using the patient space application. The patient space application refers to an interactive entrance between the patient and the third terminal device. The patient may obtain various healthcare services through the patient space application.

[0208] In some embodiments, a second virtual character may be presented by the third terminal device. The second virtual character may be configured to conduct the second inquiry based on the second inquiry content. The second virtual character refers to a digitized character with specific features (e.g., specific appearance features, acoustic features, etc. ) , and may communicate with the patient to conduct the pre-consultation on the patient. Specifically, the waiting module 420 may display a second virtual character through a screen of the third terminal device and play the second inquiry content through a sound output device of the third terminal device. At the same time, the second virtual character may simulate human speech expressions, gestures, etc., providing patients with a realistic communication experience. For example, the third terminal device may include an XR device, and the waiting module 420 may present the second virtual character via the XR device. Merely by way of example, as shown in FIG. 10, the XR device may synchronously present the virtual character 1010 (e.g., the second virtual character) and the inquiry content 1020 (e.g., the second inquiry content) within the field of view of the patient.

[0209] In some embodiments, the second virtual character may have preset appearance features. In some embodiments, the appearance features of the second virtual character may be determined based on optical image data of the doctor with whom the patient is registered. Specifically, the waiting module 420 may extract the appearance features (e.g., body shape information or clothing information) of the doctor from the optical image data of the doctor, and generate the second virtual character with the same appearance features as or similar appearance features to those of the doctor based on the appearance features of the doctor. In some embodiments, the appearance features of the second virtual character may be determined based on basic patient information, which is similar to how the appearance features of the first virtual character are determined as described in connection with operation 630. In some embodiments, the waiting module 420 may select a suitable virtual character from a library of virtual characters as the second virtual character based on the appearance features of the doctor and / or the basic patient information.

[0210] In some embodiments, the second inquiry may include multiple rounds of inquiries. The second inquiry content may include inquiry content of each round of inquiry in the second inquiry, and the second inquiry may be performed by the process 900 shown in FIG. 9.

[0211] As shown in FIG. 9, for the first round of inquiry, the waiting module 420 may cause the third terminal device to conduct the first round of inquiry based on the inquiry content corresponding to the first round of inquiry.

[0212] For each current round of inquiry other than the first round of inquiry (also referred to as a current inquiry) , the waiting module 420 may adjust the inquiry content of the current inquiry (also referred to as current inquiry content) based on second data collected before the current inquiry, so as to make the inquiry content more consistent with the condition of the patient. Specifically, the waiting module 420 may determine semantic information and emotional information of historical answers of the patient based on the second data collected before the current inquiry. The second data may include speech signals, image data, text data, etc., collected by the third terminal device. The historical answers refer to answers of the patient to historical rounds of inquiries. For example, if the current inquiry is the third round of inquiry, the historical answers may include answers of the patient to the first round of inquiry and the second round of inquiry.

[0213] The semantic information of the historical answers may indicate the content of the historical answers. The emotional information of the historical answers may indicate the emotion (e.g., calm, nervous, anxious, afraid, doubtful, irritable, etc. ) of the patient at the time of providing the historical answers. The waiting module 420 may determine the semantic information by performing text transcription, speech content recognition, etc., on the second data. The waiting module 420 may determine the emotional information by analyzing features such as content, tone, intonation, speed of speech of the second data, etc.

[0214] Continuing to refer to FIG. 9, the waiting module 420 may adjust the current inquiry content based on the semantic information and the emotional information. For example, when the emotional information of the patient is "nervous" or "afraid, " the waiting module 420 may add reassuring words to the current inquiry content. As another example, when the emotional information of the patient is "doubtful, " the waiting module 420 may add explanatory words to the current inquiry content. As yet another example, when the semantic information indicates that the patient has not explicitly answered the historical inquiry, the waiting module 420 may adjust the current inquiry content to repeat the historical inquiry, so as to guide the  patient to explicitly answer the historical inquiry. The current inquiry content originally determined may be used as the inquiry content of a next round of inquiry.

[0215] In some embodiments of the present disclosure, the current inquiry content may be adjusted based on the semantic information and the emotional information of the historical answers of the patient, so that the current inquiry content may be adjusted in time according to the state of the patient, thereby improving the quality of the pre-consultation service.

[0216] In some embodiments, in addition to adjusting the current inquiry content, acoustic features used for the current inquiry may be adjusted in real-time based on the state of the patient. The acoustic features may include speech rate features, tone features, intonation features, volume features, etc. As shown in FIG. 9, the waiting module 420 may determine the acoustic features of the current inquiry based on the semantic information and the emotional information of the historical answers of the patient, and cause the third terminal device to conduct the current inquiry based on the adjusted inquiry content and the acoustic features of the current inquiry. Specifically, the waiting module 420 may determine the acoustic features of the current inquiry based on the semantic information and the emotional information according to a preset corresponding relationship. The preset corresponding relationship may indicate a corresponding relationship between the semantic information, the emotional information, and the acoustic features. Merely by way of example, the preset corresponding relationship may indicate that when the semantic information is positive answers and the emotional information is calm, the speed of speech may be moderate, the tone may be polite, the intonation may be calm, and the volume may be medium.

[0217] In some embodiments of the present disclosure, the acoustic features used in the second inquiry may be adjusted based on the semantic information and the emotional information of the historical answers of the patient in real-time, which may better take care of emotional changes of the patient, thereby enhancing the anthropomorphizing effect of the second virtual character, and improve the quality of the pre-consultation service.

[0218] In some embodiments, as shown in FIG. 9, the waiting module 420 may further obtain physiological state information of the patient. The physiological state information of the patient may reflect a real-time physiological state of the patient. The physiological state information may include physiological parameter values (e.g., heart rate, pulse rate, respiratory rate, etc. ) of the patient. The physiological state information may also include information relating to the posture, limb behavior, facial expression, muscle status, etc. of the patient. In some embodiments, the physiological state information of the patient may be obtained using a wearable device worn by the patient. For example, the physiological parameter values of the patient may be collected by a physiological sensor integrated into the wearable device. In some embodiments, the physiological state information of the patient may be collected by an image sensor in the environment of the patient. For example, the posture, facial expression, etc., of the patient may be collected by a monitoring device in the waiting region.

[0219] Further, the waiting module 420 may adjust the current inquiry content based on the semantic information, the emotional information, and the physiological state information. Specifically, the waiting module 420 may update the emotional information of the patient based on the physiological state information of the patient. Understandably, the internal emotions of the patient may not always be fully expressed through the answers of the patient, so the emotional information of the patient may be updated or modified  based on the physiological state information of the patient. For example, assuming that the patient is determined to be in a calm state based on the second data, but the physiological state information of the patient indicates that the patient is in a tense state (e.g., the heart rate exceeds a preset threshold) , the consultation module 430 may modify the emotional information of the patient to a tense state. Further, the waiting module 420 may adjust the current inquiry content based on the semantic information and the updated emotional information.

[0220] According to some embodiments of the present disclosure, the accuracy of the emotional information of the patient can be improved by further considering the physiological state data of the patient, which can improve the accuracy of the adjustment of the current inquiry content, thereby improving the service quality of the pre-consultation service.

[0221] As shown in FIG. 9, in some embodiments, the waiting module 420 may determine feedback parameters based on at least a portion of the semantic information, the emotional information, and the physiological state information, and control a wearable device to apply feedback to the patient based on the feedback parameters. The feedback may include at least one of force feedback or temperature feedback. The feedback parameters may be used to control the way in which the feedback is applied, e.g., a type of feedback, a part of the body to which the feedback is applied, a strength of the feedback, etc. In some embodiments, the waiting module 420 may determine the emotion and the emotion level of the patient based on the at least a portion of the semantic information, the emotional information, and the physiological state information, and determine the feedback parameters based on the emotion and the emotion level. For example, the emotion of the patient may be used to determine the type of feedback and the part of the body to which the feedback is applied, and the emotion level may be configured to determine the strength of the feedback.

[0222] In some embodiments of the present disclosure, the feedback parameters may be determined based on at least a portion of the semantic information, the emotional information, and the physiological state information, and the wearable device may be controlled to apply the feedback to the patient according to the feedback parameters, which may provide timely appeasement of the patient's bad emotions, thereby improving the quality of the pre-consultation service.

[0223] In some embodiments, the waiting module 420 may end the second inquiry based on a second preset condition. The second preset condition may be that a count of remaining missing information is 0. The second preset condition may be that a time difference between the current time and the estimated waiting time of the patient is smaller than a threshold. The second preset condition may also be similar to the first preset condition. For example, the second preset condition may be that a count of conducted rounds of inquiry is equal to a threshold. As another example, the second preset condition may be that the current inquiry content or the answer of the patient includes preset content.

[0224] In some embodiments, the second inquiry content determined in the operation 810 may include only the inquiry content of the first round of inquiry. The current inquiry content of each current inquiry other than the first round of inquiry may be determined during the second inquiry. For example, during the current inquiry, the waiting module 420 may input the inquiry content of the historical inquiry, the historical answers of the patient, the known information of the patient, etc. into the second inquiry content determination model, and the current inquiry content may be output by the second inquiry content determination model.

[0225] The second inquiry content determination model may be obtained by performing model training using a fifth sample training set. The fifth training sample set may include a plurality of fifth training samples and a plurality of fifth training labels corresponding to the fifth training samples. A fifth training sample may include inquiry content of sample history inquiries, sample history answers of the sample patient, and sample known information of the sample patient, and a fifth training label may include the content of a sample current inquiry. The fifth training sample set may be determined based on historical pre-consultation records or determined artificially by the user. The training process of the second inquiry content determination model is similar to that of the first inquiry model, which will not be repeated herein.

[0226] In some embodiments of the present disclosure, communication with the patient may be carried out through a second inquiry, enabling a comprehensive understanding of various types of patient information. This improves the accuracy of the pre-consultation record and provides more precise reference information for subsequent medical consultations. Additionally, in some embodiments of the present disclosure, the second inquiry may be conducted using a second virtual character, which enhances the patient's sense of interaction without increasing labor costs. This results in an improved quality and efficiency of the pre-consultation service. Furthermore, in some embodiments of the present disclosure, the content of the second inquiry may be determined using a machine learning model (e.g., a missing information determination model, a first inquiry content determination model, or a second inquiry content determination model) , thereby making the second inquiry more natural and flexible.

[0227] In 830, a pre-consultation record may be generated based on second data collected by the third terminal device during the second inquiry.

[0228] The second data may include speech data, text data, and image data input by the patient via the third terminal device during the second inquiry. The pre-consultation record may be used to record patient information collected during the second inquiry (i.e., the pre-consultation inquiry) . Optionally, some known information of the patient may also be recorded in the pre-consultation record. In some embodiments, the pre-consultation record may be generated according to a pre-consultation record template. The pre-consultation record template may be a template corresponding to the department of the doctor or a template set by the doctor. In some embodiments, the pre-consultation record may be presented to the doctor for reference during the consultation process of the patient, which will be described in detail in connection with FIG. 11.

[0229] For example, when the second data includes speech signals, the waiting module 420 may first transcribe the speech signals into text, and extract a second keyword from the text via a keyword extraction algorithm. Further, the waiting module 420 may convert the second keyword into medical terminology. Furthermore, the waiting module 420 may obtain a plurality of template fields in the pre-consultation record template, retrieve content corresponding to each template field from the medical terminology, and fill the content in a corresponding position of the pre-consultation record template. The conversion of the second keyword may be performed based on a terminology conversion model or may be performed based on a knowledge dictionary. More descriptions regarding the knowledge dictionary may be found in the operation 1520. The terminology conversion model may be configured to convert spoken descriptions into the medical terminology, which may be obtained by performing model training using a sixth sample training set. The sixth training sample set may include a plurality of sixth training samples and a plurality of sixth training  labels corresponding thereto. A sixth training sample may include a sample keyword and a sixth training label may include sample medical terminology corresponding to the sample keyword. The sixth training sample set may be determined based on historical pre-consultation records or determined artificially by the user. The training process of the terminology conversion model is similar to that of the first inquiry model, which will not be repeated herein.

[0230] In some embodiments of the present disclosure, the pre-consultation service may be provided for the patient when the patient is waiting for medical consultation and the pre-consultation record may be generated, which may reduce the bad mood of the patient during waiting, and improve the efficiency of the consultation of the doctor through the pre-consultation record.

[0231] In some embodiments, the second inquiry may be performed through a terminal device other than the third terminal device. For example, the patient may wait in the waiting region of a hospital. The waiting region may be configured with a waiting terminal. The waiting terminal may be used to conduct the second inquiry on the patient. The process of conducting the second inquiry on the patient using another terminal device is similar to the process of conducting the second inquiry on the patient using the third terminal device, which will not be repeated herein.

[0232] In some embodiments, process 800 may be executed by an intelligent agent corresponding to the medical consultation service or medical consultation process. For instance, the pre-consultation service may be provided by a pre-consultation intelligent agent. This pre-consultation intelligent agent is capable of understanding and processing multimodal data such as natural language and images. Based on patient data and knowledge data (e.g., dictionaries, knowledge graphs, knowledge databases, or templates) specific to the consultation department, the intelligent agent can provide personalized and professional pre-consultation services to the patient. Moreover, the pre-consultation intelligent agent may convert data collected during the pre-consultation inquiry into accurate medical terminology, facilitating the doctor's review of a structured pre-consultation report during the consultation process and thereby reducing the paperwork burden on the doctor. Additionally, the pre-consultation intelligent agent is self-evolving and self-learning, continually improving the accuracy and efficiency of the pre-consultation service by learning from the knowledge data and historical service data, thus enhancing the overall user experience.

[0233] In some embodiments, a manager of the hospital may set configuration parameters of the pre-consultation intelligent agent, for example, through a manager space application installed on the terminal of the manager. The configuration parameters of the pre-consultation intelligent agent may include common parameters. The common parameters may relate to hardware configuration, concurrent request handling, caching policies, security settings, model parameters, error handling and logging, performance monitoring and alerting, version management, etc. The configuration parameters of the pre-consultation intelligent agent may also include business parameters. The business parameters may relate to department dictionary configuration, answers to common questions, a count of rounds of inquiries, pre-consultation key fields, structured rules, etc.

[0234] FIG. 11 is a schematic diagram illustrating an exemplary medical consultation system 1100 according to some embodiments of the present disclosure. The medical consultation system 1100 may be configured to provide user services to target users relating to the consultation stage 530. As shown in FIG. 11, the medical consultation system 1100 may include a processing device 210, terminal device (s) 1110,  sensing device (s) 1120, and examination device (s) 1130. The processing device 210 may be communicatively connected to the terminal device (s) 1110, the sensing device (s) 1120, and the examination device (s) 1130. The target users may include a patient and a doctor who provides the medical consultation service to the patient. In some embodiments, the target users may also include a remote companion.

[0235] A sensing device 1120 may sense a surrounding environment in which the sensing device 1120 is located to collect sensed information. Exemplary sensing devices may include various types of sensor devices such as an acoustic sensor, an image sensor, a temperature sensor, a humidity sensor, etc. The sensing device 1120 may be a stand-alone device, such as a monitoring device installed in a consultation room. The sensing device 1120 may also be integrated into other devices. For example, the acoustic sensor may be integrated into a terminal device 1110. In some embodiments, the sensing device 1120 may transmit (e.g., in real-time) the collected sensed information via a network to the processing device 210. In some embodiments, the sensing device 1120 may be an Internet of Things (IoT) device.

[0236] When the medical consultation system 1100 is configured to provide an on-site medical consultation service, the sensing device (s) 1120 may be located in the consultation room for sensing the environment of the consultation room. When the medical consultation system 1100 is configured to provide a remote medical consultation service, the sensing device (s) 1120 may include first sensing device (s) located in the environment of the doctor and second sensing device (s) located in an environment of the patient. The first sensing device (s) may be configured to collect first sensed information relating to the environment in which the doctor is located. The second sensing device (s) may be configured to collect second sensed information relating to the environment where the patient is located.

[0237] In some embodiments, the sensing device (s) 1120 may further include third sensing device (s) located in an environment of the remote companion for collecting sensed information relating to the environment of the remote companion.

[0238] An examination device 1130 refers to a device that collects measurement data of the patient by performing an examination on the patient. Exemplary examination devices may include a stethoscope, a sphygmomanometer, a thermometer, a heart rate monitor, an oximeter, etc. The examination device 1130 may be a stand-alone device or may be integrated into other devices (e.g., a wearable device) . In some embodiments, the examination device 1130 may transmit (e.g., in real-time) the collected measurement data via a network to the processing device 210. In some embodiments, the examination device 1130 may be an Internet of Things (IoT) device.

[0239] When the medical consultation system 1100 is configured to provide the on-site medical consultation service, the examination device (s) 1130 may be located in the consultation room, and the doctor may operate the examination device (s) 1130 to perform the health examination on the patient. When the medical consultation system 1100 is configured to provide the remote medical consultation service, the examination device (s) 1130 may be located in the environment where the patient is located, and the patient may operate the examination device (s) 1130 to perform the health examination on his / her own. Alternatively, the doctor may remotely manipulate the examination device (s) 1130 to perform the health examination on the patient via a second terminal device (e.g., a second XR device) . In some embodiments, the examination device (s) 1130 may be worn on the patient as a wearable device for continually collecting the measurement data of the patient during the consultation process.

[0240] A terminal device 1110 refers to a device that interacts with a target user. In some embodiments, the terminal device (s) 1110 may include at least one of a first terminal device 1111, a second terminal device 1112, a third terminal device 1113, and / or a fourth terminal device 1114. The at least one terminal device may be configured to present data to the target users corresponding to the at least one terminal device during the consultation process.

[0241] The first terminal device 1111 refers to a terminal device equipped by the hospital for the consultation room. The first terminal device 1111 may include a display screen, a sound output device, an acoustic sensor, an image sensor, or the like, or any combination thereof. The second terminal device 1112, the third terminal device 1113, and the fourth terminal device 1114 may be terminal devices that interact with the doctor, the patient, and the remote companion, respectively. The second terminal device 1112, the third terminal device 1113, and the fourth terminal device 1114 may include a mobile phone, a computer device, a wearable device, an XR device, or the like, or any combination thereof. For example, as shown in FIG. 11, the second terminal device 1112 may include a second XR device, the third terminal device 1113 may include a first XR device, and the fourth terminal device 1114 may include a third XR device.

[0242] When the patient receives the on-site medical consultation service in the consultation room, a consultation interface may be simultaneously presented to the patient and the doctor via the first terminal device 1111, and the consultation interface may present various data to facilitate communication between the patient and the doctor. In some embodiments, patient data (e.g., patient-related medical data) may be presented on the consultation interface. Exemplary medical data may include an electronic health record (or a portion thereof) , a pre-consultation record, a medical image, a 3D organ model, an examination result, etc. In some embodiments, the data presented on the consultation interface may include multimodal data. The multimodal data may include data in multiple forms (e.g., images, graphics, video, text, etc. ) and / or of various types.

[0243] FIG. 14 is a schematic diagram illustrating an exemplary consultation interface according to some embodiments of the present disclosure. As shown in FIG. 14, the consultation interface 1400 may include a first interface element 1410 relating to an electronic health record of a patient, a second interface element 1420 relating to a remote accompanying service, a third interface element 1430 relating to a medical record, and a fourth interface element 1440 relating to a decision recommendation. It should be understood that the consultation interface 1400 is provided for the purpose of illustration. The consultation interface 1400 may include one or more other interface elements, and / or one or more interface elements shown in FIG. 14 may be omitted.

[0244] The presentation content and / or presentation form of the consultation interface 1400 may change as the consultation process progresses. For example, the doctor and / or the patient may issue a control instruction to adjust the content presented in the consultation interface 1400. The control instruction may include various forms of instruction such as a speech control instruction, a gesture control instruction, a touch control instruction, and a control instruction input by an input device (e.g., mouse, keyboard, etc. ) . In some embodiments, a manager of the hospital may set configurations of the consultation interface 1400, e.g., via a manager space application installed on a terminal of the manager.

[0245] The first interface element 1410 may be an icon corresponding to the electronic health record or may be used to present the content of the electronic health record. During the consultation, the doctor and / or  the patient may retrieve at least a portion of the electronic health record for presentation via the first interface element 1410 by issuing a control instruction. More descriptions regarding the presenting the at least a portion of the electronic health record may be found in FIG. 12 and the relevant descriptions thereof.

[0246] The second interface element 1420 may be an icon corresponding to the remote accompanying service or may be used to present a picture of a remote companion. When a request for the remote accompanying service is approved by the doctor, the patient may communicate with the remote companion during the consultation process and view the picture of the remote companion via the second interface element 1420. More descriptions regarding the remote accompanying service may be found in FIG. 16 and the relevant descriptions thereof.

[0247] The third interface element 1430 may be an icon corresponding to the medical record or may be used to present the medical record such as a pre-consultation record, a diagnosis record (apreliminary diagnosis record or a target diagnosis record) , etc. During the consultation process, in response to detecting that the patient has started consultation, the pre-consultation record may be presented through the third interface element 1430. When the doctor and the patient have completed the communication, the third interface element 1430 may be updated to present a preliminary diagnosis record. When the doctor confirms or modifies the preliminary diagnosis record, the third interface element 1430 may be updated to present a target diagnosis record.

[0248] In some embodiments, the consultation module 430 may determine that the patient has started consultation based on a call instruction. The call instruction refers to an instruction issued by the doctor to start the consultation of the next patient. The doctor may initiatively issue the call instruction via the first terminal device or the second terminal device. Alternatively, after the doctor submits the target diagnosis record of a previous patient, the consultation module 430 may automatically generate the call instruction. In some embodiments, when the patient receives the on-site medical consultation service, the consultation module 430 may determine that the patient has started consultation based on positioning information of the third terminal device of the patient. Alternatively, the consultation module 430 may determine that the patient has started consultation by obtaining an image of the patient entering the consultation room collected by the sensing device (e.g., an image sensor) . When the patient receives the remote medical consultation service, the consultation module 430 may determine that the patient has started consultation by obtaining confirmation messages sent by the doctor and the patient via the second terminal device of the doctor and the third terminal device of the patient, respectively. More descriptions regarding the pre-consultation record and the diagnosis record may be found in FIG. 13 and the relevant descriptions thereof.

[0249] The fourth interface element 1440 may be an icon corresponding to a decision recommendation or may be used to present the content of the decision recommendation. The consultation recommended generated based on sensed information during the consultation process may be presented through the fourth interface element 1440. More descriptions regarding the decision recommendation may be found in FIG. 13 and the relevant descriptions thereof.

[0250] In some embodiments, various data may be presented synchronously to the patient and the doctor via the second terminal device 1112 and the third terminal device 1113, respectively. For example, the doctor and the patient may wear XR devices separately, and the various data may be synchronously shared by the doctor and the patient through the mixed reality technology and augmented reality technology while sensing  the real physical world. The second terminal device 1112 and the third terminal device 1113 may present content similar to the consultation interface. When the remote companion participates in the consultation process, the fourth terminal device 1114 may present the remote companion with a real-time picture of the consultation room scene and content similar to that presented on the consultation interface.

[0251] When the patient receives the remote medical consultation service, a virtual consultation room may be presented to the doctor via the first terminal device 1111 or the second terminal device 1112, and to the patient via the third terminal device 1113. For the convenience of description, the following describes an example in which data is presented to the doctor through the second terminal device 1112. For example, the third terminal device of the patient may include a first XR device, the second terminal device of the doctor may include a second XR device, and the virtual consultation room may be presented to the patient and the doctor by the first XR device and the second XR device, respectively.

[0252] In some embodiments, various data may be presented synchronously to the doctor and the patient via the second terminal device 1112 and the third terminal device 1113, respectively. For example, the first XR device and the second XR device may make the patient and the doctor synchronously share the various data while sensing the virtual consultation room. The second terminal device 1112 and the third terminal device 1113 may present content similar to the consultation interface. When the remote companion participates in the consultation process, the virtual consultation room and the various data may be presented to the remote companion via the third XR device of the fourth terminal device 1114.

[0253] The virtual consultation room refers to a virtual space that can interact with a user participating in the consultation. In some embodiments, the virtual consultation room may include a virtual consultation room environment and a virtual consultation participant. The virtual consultation room environment may be virtually created or generated based on real-time information about the environment (e.g., the consultation room) in which the doctor or the patient is located. Further, the virtual consultation participant may be generated based on real-time information of a consultation participant, and the virtual consultation space may be generated based on the virtual consultation room environment and the virtual consultation participant. The consultation module 430 may present a first-view picture of the virtual consultation room to the patient via the first XR device, present a second-view picture of the virtual consultation room to the doctor via the second XR device, and present a third-view picture of the virtual consultation room to the remote companion. The first view, the second view, and the third view of the virtual consultation room may be views of the virtual doctor, the virtual patient, and the virtual remote companion, respectively, in the virtual consultation room environment. In some embodiments, when the consultation participant wearing an XR device moves or rotates, the consultation module 430 may obtain a moving distance and a rotation angle of the consultation participant through the XR device. The consultation module 430 may change the view picture corresponding to the consultation participant based on the moving distance and the rotation angle of the consultation participant.

[0254] The processing device 210 may provide and / or support services relating to the medical consultation stage 530 by processing the sensed information and the measurement data. More descriptions regarding the services relating to the consultation stage 530 may be found in FIG. 5 and the related descriptions thereof.

[0255] In some embodiments, the processing device 210 may provide and / or support services relating to the consultation stage through the intelligent agent corresponding to the medical consultation service / medical consultation process. For example, the consultation intelligent agent may process the sensed information, the measurement data, and data from other sources (e.g., the electronic health record) to provide services such as displaying medical data, providing the decision recommendation, and generating the diagnosis record.

[0256] In some embodiments, the manager of the hospital may set configuration parameters of the consultation intelligent agent, for example, through the manager space application installed on the terminal of the manager. The configuration parameters of the consultation intelligent agent may include common parameters. The common parameters may relate to hardware configuration, concurrent request handling, caching policies, security settings, model parameters, error handling and logging, performance monitoring and alerting, version management, etc. The configuration parameters of the consultation intelligent agent may also include business parameters. The business parameters may relate to specialty knowledge graphs, document templates such as medical records, customized vocabularies, etc.

[0257] FIG. 12 is a flowchart illustrating an exemplary process for presenting medical data to target users during a consultation process according to some embodiments of the present disclosure. The process 1200 shown in FIG. 12 may be performed in the consultation stage 530.

[0258] In 1210, a first interface element relating to medical data of a patient who receives a medical consultation service may be presented to the target users via at least one terminal device. The target users may include at least the patient and a doctor.

[0259] The medical data of the patient may include various data (e.g., an electronic health record, a medical image, a medical examination result, etc. ) reflecting a health condition of the patient. In some embodiments, the medical data may include multimodal data, which may include data of multiple forms (such as text, pictures, graphics, speech, etc. ) and / or data of multiple dimensions. In some embodiments, the medical data may include the electronic health record, and the first interface element may relate to the electronic health record of the patient. The electronic health record refers to an electronic file that records various types of patient data. For example, the electronic health record may include three-dimensional models of a plurality of organs and / or tissues of the patient.

[0260] The first interface element may be in various forms. For example, the first interface element may present at least a portion of the medical data. Merely by way of example, the first interface element may present a first page or key information of the electronic health record. As another example, the first interface element may be an icon corresponding to the medical data of the patient (e.g., an icon corresponding to the electronic health record) .

[0261] In some embodiments, the medical consultation service may be an on-site medical consultation service performed in a consultation room, i.e., both the patient and the doctor may be in the consultation room. In this case, the at least one terminal device may include a first terminal device (e.g., the first terminal device 1111 shown in FIG. 11) in the consultation room, and the first terminal device may present the first interface element to the patient and the doctor together. Alternatively, the at least one terminal device may include a second terminal device (e.g., the second terminal device 1112 shown in FIG. 11) of the doctor and a third terminal device (e.g., the third terminal device 1113 shown in FIG. 11) of the patient. For example, the patient and the doctor may each wear an XR device during the consultation process. The XR device worn by  the patient may superimpose the first interface element in a real-world view of the patient using AR / MR techniques. The XR device worn by the doctor may superimpose the first interface element in a real-world view of the patient using AR / MR techniques. The patient and the doctor may view the first interface elements together while sensing the real-world environment of the consultation room.

[0262] In some embodiments, the medical consultation service may be a remote consultation service, that is, both the patient and the doctor may be outside the consultation room, or only the patient may be outside the consultation room.

[0263] When both the patient and the doctor are outside the consultation room, the at least one terminal device may include the second terminal device (e.g., the second terminal device 1112 shown in FIG. 11) of the doctor and the third terminal device (e.g., the third terminal device 1113 shown in FIG. 11) of the patient. In some embodiments, the second terminal device and the third terminal device may include a second XR device and a first XR device presenting a virtual consultation room to the doctor and the patient, respectively. The first XR device worn by the patient may present the virtual consultation room and the first interface element to the patient. The second XR device worn by the doctor may present the virtual consultation room and the first interface element to the doctor. The patient and the doctor may view the first interface element and the virtual consultation room respectively.

[0264] When the patient is outside the consultation room and the doctor is in the consultation room, the at least one terminal device may include the second terminal device (e.g., the second terminal device 1112 shown in FIG. 11) of the doctor and the third terminal device (e.g., the third terminal device 1113 shown in FIG. 11) of the patient. Alternatively, the at least one terminal device may further include the first terminal device (e.g., the first terminal device 1111 shown in FIG. 11) in the consultation room, and the first terminal device may present interface elements synchronized with the third terminal device to the doctor.

[0265] In some embodiments, the target users may further include a remote companion of the patient, and the at least one terminal device may further include a fourth terminal device of the remote companion. For example, the fourth terminal device may be a third XR device worn by the remote companion. The third XR device may present the virtual consultation room and the first interface element to the remote companion. More descriptions regarding the virtual consultation room may be found in FIG. 19 and the relevant descriptions thereof.

[0266] In some embodiments, the consultation module 430 may present the first interface element via the at least one terminal device based on a trigger condition. For example, the trigger condition may include detecting that the patient has started consultation.

[0267] In 1220, a control instruction issued by at least one of the target users may be obtained based on sensed information collected by one or more sensing devices during the consultation process.

[0268] The control instruction refers to an instruction to retrieve at least a portion of medical data (e.g., the electronic health record) for display. For example, the control instruction may be used to retrieve a three-dimensional model of an organ of interest of the patient in the electronic health record for display. In some embodiments, the control instruction may be used to set display parameters (e.g., display angle, display size, or display position) . In some embodiments, the control instruction may be used to label key data on the medical data (e.g., the three-dimensional model of the organ of interest) .

[0269] For the on-site medical consultation service, the sensing device (s) may include one or more sensing devices located in the consultation room. For example, the sensing device (s) may include an image sensor, an acoustic sensor, etc. in the consultation room. The sensing device (s) may be installed anywhere in the consultation room. For example, the image sensor may be installed on a wall or ceiling of the consultation room. In some embodiments, a sensing device in the consultation room may be integrated into a terminal device in the consultation room. For example, the acoustic sensor may be integrated into the first terminal device. As another example, the acoustic sensor may be integrated into the second terminal device of the doctor and / or the third terminal device of the patient.

[0270] For the remote medical consultation service, the sensing device (s) may include the one or more sensing devices in an environment where the doctor is located (e.g., the consultation room, the residence of the doctor) and one or more sensing devices in an environment where the patient is located (e.g., the residence of the patient) . The sensing device (s) in the environment where the doctor is located may be a stand-alone sensing device or integrated into the second terminal device. The sensing device (s) in the environment where the patient is located may be a stand-alone sensing device or integrated into the third terminal device.

[0271] In some embodiments, the sensed information may include speech signals collected by an acoustic sensor, and the control instruction may be obtained by performing semantic analysis on the speech signals. The semantic analysis refers to analyzing content of speech contained in the speech signals. For example, when the consultation module 430 detects that the content of speech includes keywords (e.g., "display, " "present, " "retrieve, " etc. ) relating to the interface display, the consultation module 430 may determine that the control instruction has been received, and determine a type of medical data that the user wants to retrieve and / or the display parameters that the user wants to set based on the content of the speech. In some embodiments, the target users may issue a control instruction by saying preset wake-up words. When the consultation module 430 detects that the content of the speech includes the wake-up words, the consultation module 430 may determine that the control instruction has been received.

[0272] In some embodiments, the sensed information may include optical image data of the target users (e.g., the patient and / or the doctor) collected by an image sensor, and the control instruction may be obtained by performing gesture recognition on the target users in the optical image data. For example, the target users may issue the control instruction by performing preset gestures (e.g., tap gestures, swipe gestures, rotation gestures, expansion or contraction gestures with two fingers, etc. ) . When the consultation module 430 detects a preset gesture in the optical image data, the consultation module 430 may determine that the control instruction has been received, and determine the type of medical data the user wants to retrieve and / or the display parameters that the user wants to set based on the type of the detected gesture.

[0273] In some embodiments, the target users may issue the control instructions using a control device. For example, during the on-site medical consultation service in the consultation room, the doctor and / or the patient may issue the control instruction via a remote controller, a smart control glove, etc., to control the first terminal device to display the at least a portion of the medical data.

[0274] In some embodiments of the present disclosure, the target users may adjust the display content and / or the display parameters flexibly, such as by speech, gestures, etc., so that the user experience may be optimized, and the efficiency of the medical consultation may be improved.

[0275] In 1230, in response to the control instruction, the at least a portion of the medical data may be retrieved and the at least a portion of the medical data may be presented via the at least one terminal device.

[0276] For example, the consultation module 430 may retrieve the at least a portion of the medical data from a storage device and control the at least one terminal device to present the at least a portion of the medical data. When the control instruction includes the display parameters, the consultation module 430 may control the at least one terminal device to present the at least a portion of the medical data based on the display parameters.

[0277] In some embodiments of the present disclosure, the plurality of target users may browse the medical data together via the at least one terminal device, and the presentation content and presentation mode of the medical data on different terminal devices may be changed synchronously, which may help to improve the communication efficiency of the target users and enhance the interactivity of the consultation process.

[0278] FIG. 13 is a flowchart illustrating an exemplary process for providing a medical consultation service based on sensed information according to some embodiments of the present disclosure. In some embodiments, the process 1300 may include one or more of sub-processes 1310, 1320, and 1330.

[0279] The sub-process 1310 may be used to provide a decision recommendation based on the sensed information. The sub-process 1310 may be executed in the consultation stage 530. As shown in FIG. 13, the sub-process 1310 may include operations 1312 and 1314.

[0280] In 1312, the decision recommendation may be generated based on the sensed information and patient data of a patient.

[0281] More descriptions regarding the sensed information may be found in the relevant descriptions of FIG. 11 and FIG. 12. More descriptions regarding the patient data may be found in the relevant descriptions of the registration stage 510. The decision recommendation refers to a recommendation to assist a doctor in providing the medical consultation service. An exemplary decision recommendation may include a supplemental inquiry recommendation, an examination recommendation, a prescription recommendation, a treatment scheme recommendation, etc.

[0282] In some embodiments, the decision recommendation may be determined based on a knowledge database, consultation specifications, etc. corresponding to a registration department. For example, the consultation module 430 may determine the communication content between the doctor and the patient based on the speech signals collected by the acoustic sensor, and determine the decision recommendation by searching the knowledge database, the consultation specifications, etc., based on the communication content and / or the patient data. Merely by way of example, what information in the consultation specifications has not been collected may be determined by searching the consultation specifications based on the communication content and / or the patient data, and the supplemental inquiry recommendation may be provided based on the information.

[0283] In some embodiments, the decision recommendation may be generated based on a diagnostic model. Specifically, the consultation module 430 may determine a model input based on the sensed information and the patient data, input the model input to the diagnostic model, and the diagnostic model may output the decision recommendation corresponding to the model input. For example, the model input may include the patient data, the communication content determined based on the speech signals, state information of the patient determined based on the image data, or the like, or any combination thereof.

[0284] In some embodiments, the diagnostic model may be obtained by performing model training using a seventh sample training set. The seventh training sample set may include a plurality of seventh training samples and a plurality of seventh training labels corresponding thereto. A seventh training sample may include a sample model input similar to the model input, and the seventh training label may include a sample decision recommendation. The seventh training sample set may be determined based on historical consultation records and / or determined artificially by users. The training process of the diagnostic model is similar to that of the first inquiry model, which will not be repeated herein.

[0285] In some embodiments, the decision recommendation may be generated by an intelligent agent corresponding to the medical consultation service. The intelligent agent may learn a mechanism for generating the decision recommendation from various data (such as historical consultation records, the knowledge database, and the consultation specifications) , and provide the decision recommendation by processing the sensed information and the patient data based on the learned mechanism.

[0286] In 1314, at least a portion of the at least one terminal device may be controlled to present the decision recommendation.

[0287] For example, when the patient receives an on-site medical consultation service in the consultation room, the consultation module 430 may send the decision recommendation to a first terminal device, and the first terminal device may present the decision recommendation to the patient and the doctor via a fourth interface element. As another example, the consultation module 430 may send the decision recommendation to a second terminal device of the doctor, and the second terminal device may present the decision recommendation to the doctor. As yet another example, when the patient receives a remote medical consultation service, the consultation module 430 may control the second terminal device of the doctor and a third terminal device of the patient to present the decision recommendation, respectively.

[0288] As the consultation process progresses, the sensed information may be updated in real-time and the decision recommendation may be updated accordingly. For example, the decision recommendation may include the examination recommendation before the doctor examines the patient. When the doctor completes the examination of the patient, the decision recommendation may be updated and include the prescription recommendation.

[0289] In some embodiments of the present disclosure, the decision recommendation may be automatically generated based on the sensed information, which may improve the accuracy of the diagnosis and prescription, and improve the efficiency of the medical consultation service.

[0290] The sub-process 1320 may be used to generate a target diagnosis record based on the sensed information. The sub-process 1320 may be performed at the end of the consultation stage 530. As shown in FIG. 13, the sub-process 1320 may include operations 1322, 1324, and 1326.

[0291] In 1322, a preliminary diagnosis record may be generated based on the sensed information.

[0292] The preliminary diagnosis record may be a diagnosis record automatically generated. In some embodiments, the preliminary diagnosis record may include a preliminary patient medical record, a preliminary diagnostic opinion, a preliminary diagnostic prescription (e.g., a preliminary treatment prescription and a preliminary examination prescription) , a preliminary doctor’s order, etc. More description regarding the generating the preliminary diagnosis record may be found in FIG. 15 and the relevant descriptions thereof.

[0293] In some embodiments, the preliminary diagnosis record may be generated by an intelligent agent corresponding to the medical consultation service. The intelligent agent may learn a mechanism for generating the diagnosis record from various data (such as a diagnosis record template, a knowledge dictionary, a knowledge database, etc. ) and generate the diagnosis record by processing the sensed information and the patient data based on the learned mechanism.

[0294] In 1324, the preliminary diagnosis record may be presented to the doctor.

[0295] For example, the consultation module 430 may send the preliminary diagnosis record to the first terminal device, and the first terminal device may present the preliminary diagnosis record. Merely by way of example, the third interface element may present a pre-consultation record to the patient and the doctor when the patient has started the consultation. When the consultation is completed, the third interface element may be updated to present the preliminary diagnosis record.

[0296] As another example, the consultation module 430 may send the preliminary diagnosis record to the second terminal device of the doctor, and the second terminal device may present the preliminary diagnosis record to the doctor. In some embodiments, the second terminal device may present the preliminary diagnosis record to the doctor at a preset time (e.g., after the doctor has finished consultation on the day) . Alternatively, the second terminal device may present the preliminary diagnosis record to the doctor after the doctor requests document review. In some embodiments, a doctor space application may be installed on the second terminal device, and the doctor may obtain the preliminary diagnosis record through the doctor space application and give feedback information on the preliminary diagnosis record.

[0297] In 1326, the target diagnosis record may be generated based on the preliminary diagnosis record and the feedback information regarding the preliminary diagnosis record input by the doctor.

[0298] The feedback information input by the doctor may include modifications and / or confirmations of the preliminary diagnosis record input by the doctor. The target diagnosis record refers to a diagnosis record modified and / or confirmed by the doctor. In some embodiments, the target diagnosis record may include a target patient medical record, a target diagnostic opinion, a target diagnostic prescription (e.g., a target treatment prescription and a target examination prescription) , a target doctor’s order, etc. In some embodiments, the doctor may input the feedback information via the first terminal device or the second terminal device in many ways (e.g., typing, speech, gestures, etc. ) .

[0299] In some embodiments of the present disclosure, the preliminary diagnosis record may be generated based on the sensed information, and the target diagnosis record may be generated based on the feedback information regarding the preliminary diagnosis record input by the doctor. On the one hand, manual writing errors of the target diagnosis record may be reduced, and the efficiency of generating the target diagnosis record may be improved. On the other hand, the paperwork of the doctor may be reduced, so that the doctor can focus more on direct patient care rather than administrative tasks, thereby improving the quality of the medical consultation service.

[0300] The sub-process 1330 may be used to provide the remote accompanying service based on the sensed information. The patient may issue a request for the remote accompanying service before the consultation process, which will be described in detail in connection with FIG. 16. The sub-process 1330 may be performed in the consultation stage 530. As shown in FIG. 13, the sub-process 1330 may include operations 1332 and 1334.

[0301] In 1332, whether the patient needs to communicate with a remote companion may be determined based on the sensed information.

[0302] In some embodiments, the consultation module 430 may detect, based on the sensed information (e.g., speech data and / or image data) , whether the patient has issued a request to communicate with the remote companion. For example, the patient may initiate the request through verbal communication or making a specific gesture.

[0303] In some embodiments, the consultation module 430 may determine state information of the patient based on the sensed information, and determine whether the patient needs to communicate with the remote companion based on the state information of the patient. For example, the consultation module 430 may determine that the patient needs to communicate with the remote companion when the state information indicates that the patient is in a state of high tension, fear, etc. As another example, when the state information indicates that the patient is unable to select or determine a treatment plan on his or her own, the consultation module 430 may determine that the patient needs to communicate with the remote companion.

[0304] When determining that the patient needs to communicate with the remote companion, the consultation module 430 may perform operation 1334.

[0305] In 1334, the at least a portion of the at least one terminal device may be controlled to enlarge a second interface element.

[0306] When the patient receives an on-site medical consultation service in the consultation room, the consultation module 430 may control the first terminal device to enlarge the second interface element. When the patient receives the remote medical consultation service, the consultation module 430 may control the third terminal device of the patient to enlarge the second interface element. With the enlarged second interface element, the patient may view a real-time picture of the remote companion and better communicate with the remote companion.

[0307] In some embodiments, when the patient receives the on-site medical consultation service in the consultation room, when detecting that the patient needs to communicate with the remote companion, the consultation module 430 may remind the patient to wear an XR device and control the XR device to present image data of the remote companion.

[0308] In some embodiments of the present disclosure, the communication need of the patient may be detected based on the sensed information and the communication need may be promptly satisfied, thereby providing more humanized care for the patient, and providing a more realistic and immersive companion experience.

[0309] FIG. 15 is a flowchart illustrating an exemplary process for generating a preliminary diagnosis record according to some embodiments of the present disclosure. The process 1500 shown in FIG. 15 may be used to implement operation 1322.

[0310] In 1510, key content may be extracted from sensed information based on a diagnosis record template.

[0311] The diagnosis record template is used to define the format and content of a diagnosis record. For example, the diagnosis record template may include a plurality of template fields arranged in a particular format. The template fields represent content that needs to be included in the diagnosis record. In some embodiments, the diagnosis record template may include template fields such as a patient medical record  (including basic patient information, a description of a condition of the patient, measurement data, etc. ) , diagnostic opinion, diagnostic prescription (e.g., a treatment prescription and an examination prescription) , a doctor’s order, etc.

[0312] The key content refers to content relating to the template fields in the diagnosis record template. In some embodiments, the sensed information may include speech signals. Since the speech signals record a dialogue between the patient and the doctor, the key content extracted from the speech signals may include content in the form of natural language. Specifically, the consultation module 430 may transcribe the speech signals into text and extract the key content from the transcribed text based on the plurality of template fields in the diagnosis record template. For example, based on the template field "examination prescription, " the key content "take a CT of the leg" may be extracted from the transcribed text.

[0313] In some embodiments, the consultation module 430 may extract the key content from the measurement data collected by an examination device during the consultation process. For example, when the diagnosis record template includes the template field "blood pressure, " a blood pressure value of the patient may be extracted from the data collected by a sphygmomanometer as the key content.

[0314] In 1520, the key content may be converted into professional content based on a knowledge dictionary.

[0315] The knowledge dictionary is a reference dictionary that provides a correspondence between natural language descriptions and professional language descriptions. Specifically, the consultation module 430 may use the key content as an index to retrieve the professional language corresponding to natural language from the knowledge dictionary as the professional content. For example, based on the knowledge dictionary, the key content "take a CT of the leg" may be converted into the professional content "leg CT. "

[0316] In some embodiments, the consultation module 430 may convert the key content to the professional content based on a terminology conversion model. More descriptions regarding the terminology conversion model may be found in the relevant descriptions of operation 830.

[0317] In some embodiments, different departments may correspond to different knowledge dictionaries and / or terminology transformation models, so that the professional content may be generated using the dictionary and / or terminology transformation model corresponding to the registration department of the patient.

[0318] In 1530, the preliminary diagnosis record may be generated by updating the diagnosis record template based on the professional content and a knowledge database.

[0319] The knowledge database refers to a knowledge database of the registration department. The knowledge database may include consultation specifications (e.g., disease description specifications, diagnosis specifications, prescription specifications, doctor’s order specifications, etc. ) of the department. In some embodiments, the consultation module 430 may evaluate and / or adjust the professional content based on the knowledge database to make the professional content conform to the consultation specifications of the registration department. Further, the consultation module 430 may generate the preliminary diagnosis record by filling the evaluated or adjusted professional content into the corresponding template fields in the diagnosis record template. In some embodiments, the consultation module 430 may further generate the preliminary diagnosis record based on an electronic health record of the patient. For example, the consultation module 430 may search for content corresponding to the template fields in the electronic health record, evaluate and / or  adjust the content based on the knowledge database, and fill the evaluated or adjusted content into the corresponding template fields in the diagnosis record template.

[0320] In some embodiments of the present disclosure, the preliminary diagnosis record may be generated based on the knowledge database, which may make the preliminary diagnosis record conform to the consultation specifications of the registration department, thereby improving the accuracy of the preliminary diagnosis record.

[0321] FIG. 16 is a schematic diagram illustrating an exemplary process for providing a remote accompanying service according to some embodiments of the present disclosure. The process 1600 shown in FIG. 15 may be used to implement operation 1330.

[0322] In 1610, a request for a remote accompanying service may be received, wherein the request may be issued by a patient before the consultation process.

[0323] The request for remote accompanying service may be used to request that a remote companion participate in the consultation process and communicate remotely with a doctor and the patient. In some embodiments, the request for the remote accompanying service may include patient information (e.g., basic information, registration information, consultation mode) , remote companion information, information about a fourth terminal device of the remote companion, etc. In some embodiments, the patient may issue the request for the remote accompanying service via a patient space application installed on a third terminal device.

[0324] In 1620, the request may be sent to a second terminal device of the doctor for approval.

[0325] Merely by way of example, the consultation module 430 may send the request to the second terminal device of the doctor via a network, and the second terminal device may remind the doctor to approve the request. In some embodiments, before the doctor provides the outpatient service on a given day, the second terminal device may display all patient-issued requests for remote accompanying services to the doctor for approval. In some embodiments, an outpatient data preview may include information regarding whether patients submitted requests for the remote accompanying service, and the doctor may approve the requests when reviewing the outpatient data preview. More descriptions regarding the outpatient data preview may be found in FIG. 5.

[0326] In 1630, in response to determining that the request is approved, at least one terminal device may be caused to present a second interface element relating to the remote accompanying service.

[0327] When the patient receives an on-site medical consultation service in the consultation room, the at least one terminal device may include the first terminal device and / or the third terminal device. The second interface element on the first terminal device and / or the third terminal device may be used to present a real-time picture of the remote companion. Meanwhile, a sound output device of the first terminal device and / or the third terminal device may play a real-time sound of the remote companion. The at least one terminal device may also include the fourth terminal device of the remote companion. The second interface element on the fourth terminal device may be used to present a real-time picture of the doctor and the patient in the consultation room. Meanwhile, a sound output device of the fourth terminal device may play a real-time sound of the doctor and the patient. In some embodiments, the fourth terminal device of the remote companion may be an XR device. The consultation module 430 may generate a virtual consultation room based on real-time monitoring information of the consultation room, and present the virtual consultation room to the remote companion via the XR device of the remote companion, which may make the remote companion  have an immersive experience of being in the consultation room. More descriptions regarding the virtual consultation room may be found in FIG. 11 and the relevant descriptions thereof.

[0328] When the patient receives the remote medicine consultation service, the at least one terminal device may include the second terminal device of the doctor, the third terminal device of the patient, and the fourth terminal device of the remote companion. The second interface element on the second terminal device and the third terminal device may be used to present the real-time picture of the remote companion. The second interface element on the fourth terminal device may be used to present the real-time picture of the patient and the doctor. Meanwhile, the sound output device of each terminal device may play the real-time sound of other participants in the consultation process.

[0329] In some embodiments, the consultation module 430 may send an accompanying entrance link to the third terminal device of the patient and / or the fourth terminal device of the remote companion when the request is approved. During the consultation process of the patient, the remote companion may access the remote accompanying service via the accompanying entrance link.

[0330] In some embodiments of the present disclosure, barrier-free real-time communication between the patient, the doctor, and the remote companion may be achieved through the remote accompanying service, thereby improving the experience of the consultation.

[0331] FIG. 17 is a schematic diagram illustrating an exemplary process for providing a health monitoring service according to some embodiments of the present disclosure. The process 1700 shown in FIG. 17 may be performed in the post-consultation stage 540.

[0332] In 1710, a health monitoring plan may be generated based on a target diagnosis record.

[0333] The health monitoring plan may be used to monitor a health status of the patient after the patient has finished the consultation. In some embodiments, the health monitoring plan may monitor whether the patient complies with the prescriptions and the doctor’s orders. In some embodiments, the monitoring of the health status may include medication monitoring, health habit monitoring, and physiological data monitoring, or the like, or any combinations. The medication monitoring may be used to monitor the medication situation of the patient (e.g., when and how the patient takes the medication, the type of medication, and the dosage of the medication) . The health habit monitoring may be used to monitor the lifestyle habits (e.g., exercise, diet, etc. ) of the patient. The physiological data monitoring may be used to monitor the physiological data of the patient. Monitoring parameters, monitoring frequency, monitoring duration, and relevant thresholds may be specified in the health monitoring plan.

[0334] The health monitoring plan may be generated based on a target diagnostic prescription, target doctor’s orders, etc., in the target diagnosis record. For example, the post-consultation service module 440 may generate the medication monitoring plan based on the target diagnostic prescription, and may generate the health habit monitoring plan and the physiological data monitoring plan based on the target doctor’s orders in the target diagnosis record. In some embodiments, the post-consultation service module 440 may further generate the health monitoring plan based on other data (e.g., other data in the electronic health record) of the patient.

[0335] After the health monitoring plan is generated, one or more monitoring devices of the patient may be controlled to collect health monitoring information of the patient based on the health monitoring plan. The one or more monitoring devices may include any device (e.g., home monitoring devices (e.g., image sensors or  acoustic sensors) , smart pill boxes, smart injection devices, smartwatches, examination devices, etc. ) that can collect the health monitoring information of the patient. Specifically, operations 1720-1740 may be performed to collect the health monitoring information.

[0336] In 1720, a health monitoring instruction may be generated based on the health monitoring plan. In 1730, the health monitoring instruction may be sent to the one or more monitoring devices. In 1740, the health monitoring information of the patient may be obtained from the one or more monitoring devices.

[0337] The health monitoring instruction refers to an instruction that instructs the one or more monitoring devices to monitor the health of the patient. In some embodiments, corresponding to the health monitoring plan, the health monitoring instruction may include a medication monitoring instruction, a health habit monitoring instruction, and a physiological data monitoring instruction, or the like, or any combination thereof. The health monitoring information may include medication information, health habit information (e.g., exercise information or diet information) , physiological parameter information, etc. of the patient. For example, the medication monitoring instruction may instruct a smart pill box to remind the patient to take medication at a medication time and collect medication information of the patient. As another example, the health habit monitoring instruction may instruct a smartwatch to remind the patient to exercise at an exercise time and collect exercise information of the patient. As another example, the physiological data monitoring instruction may instruct an examination device to remind the patient to collect specific physiological parameters at an examination time and collect physiological parameter information of the patient.

[0338] After receiving the health monitoring instruction, the monitoring device (s) may perform a specific operation based on the health monitoring instruction and send the collected health monitoring information to the processing device 210.

[0339] In 1750, the health monitoring plan may be updated based on the health monitoring information.

[0340] Specifically, the post-consultation service module 440 may evaluate the health status of the patient based on the health monitoring information of the patient and update the health monitoring plan based on an evaluation result of the health condition. For example, when determining that the patient is in a poor health status based on the health status information of the patient, the post-consultation service module 440 may update and modify the medication monitoring plan (e.g., a dosage of medication) , the health habit monitoring plan (e.g., increase an exercise duration) , and the physiological data monitoring plan (decrease the time interval for blood pressure monitoring) of the patient. In some embodiments, the post-consultation service module 440 may evaluate a health risk level of the patient based on the health monitoring information of the patient and update the health monitoring plan based on the health risk level.

[0341] In some embodiments, when detecting a change in the health status (e.g., improvement or deterioration) of the patient, the post-consultation service module 440 may send the health monitoring information to the doctor. The doctor may determine whether the health monitoring plan of the patient needs to be updated. In some embodiments, when detecting an abnormality in the health status of the patient, the post-consultation service module 440 may send a suggestion for medical consultation to the patient, for example, sending the suggestion through the patient space application of the third terminal device of the patient.

[0342] In some embodiments of the present disclosure, the health monitoring plan may be generated based on the target diagnosis record, the health status of the patient may be monitored based on the health  monitoring plan, and the health monitoring plan may be updated again based on the health monitoring information. On the one hand, the patient may be reminded to comply with the doctor’s orders and prescriptions in the target diagnosis record, and on the other hand, the health status of the patient may be understood in depth, so that the medication and lifestyle habits of the patient may be adjusted in time.

[0343] FIG. 18 is a schematic diagram illustrating an exemplary medical consultation process 1800 according to some embodiments of the present disclosure. The medical consultation process 1800 may be used to provide an on-site medical consultation service. A patient may need to go to the hospital to meet face-to-face with a doctor in a consultation room. As shown in FIG. 18, the medical consultation process 1800 may include a registration stage 1810, a waiting stage 1820, and a consultation stage 1830.

[0344] During the registration stage 1810, a registration doctor of the patient may be determined by causing a third terminal device of the patient to conduct a first inquiry on the patient. Specifically, relevant operations of the registration stage 1810 may be performed by the registration module 410.

[0345] More descriptions regarding the first inquiry, the third terminal device, and determining the registration doctor may be found in FIGs. 5 -7 and the relevant descriptions thereof.

[0346] During the waiting stage 1820, a pre-consultation record may be generated by causing the third terminal device of the patient to conduct a second inquiry on the patient. Specifically, relevant operations of the waiting stage 1820 may be performed by the waiting module 420.

[0347] More descriptions regarding the second inquiry and generating the pre-consultation record may be found in FIG. 5 and FIG. 8 and the relevant descriptions thereof.

[0348] During the consultation stage 1830, in response to detecting that the patient has started consultation, the first terminal device may be caused to present a third interface element to the doctor and the patient. The third interface element may relate to the pre-consultation record. More descriptions regarding the third interface element and the pre-consultation record may be found in FIG. 8, FIG. 9, and FIG. 11, and the related descriptions thereof.

[0349] During the consultation session 1830, the preliminary diagnosis record may be further generated based on sensed information collected by one or more sensing devices in the consultation room during the consultation process. More descriptions regarding the preliminary diagnosis record may be found in FIG. 13 and FIG. 15 and the relevant descriptions thereof.

[0350] In some embodiments of the present disclosure, the first inquiry may be conducted on the patient via the third terminal device of the patient, which can facilitate the registration process, thereby enhancing the efficiency and accuracy of patient registration. The second inquiry may be conducted while the patient is awaiting consultation, also through the patient's third terminal device, providing a pre-consultation service and generating a pre-consultation record. This pre-consultation record may be made available to both the patient and the doctor in the consultation room upon the commencement of the consultation, thereby improving the doctor's consultation efficiency. Additionally, the preliminary diagnosis record may be generated based on the sensed information, thereby reducing the paperwork burden on the doctor and improving the overall operational efficiency.

[0351] FIG. 19 is a schematic diagram illustrating an exemplary medical consultation process 1900 according to some embodiments of the present disclosure. The medical consultation process 1900 may be configured to provide a remote medical consultation service. A patient may communicate with a doctor  online in any place without having to travel to the hospital. As shown in FIG. 19, the medical consultation process 1900 may include a registration stage 1910, a waiting stage 1920, and a consultation stage 1930.

[0352] The registration stage 1910 is similar to the registration stage 1810 in FIG. 18. The waiting stage is similar to the waiting stage 1820 in FIG. 18.

[0353] During the consultation stage 1930, in response to detecting that the patient has started consultation, the second terminal device of the doctor and the third terminal device of the patient may be controlled to present a third interface element relating to a pre-consultation record, respectively. More descriptions regarding the third interface element and the pre-consultation record may be found in FIG. 8, FIG. 9, and FIG. 11, and the relevant descriptions thereof.

[0354] In some embodiments, the second terminal device may include a second XR device. The first terminal device may include a first XR device. The first XR device and the second XR device may present a virtual consultation room to the patient and the doctor, respectively. More descriptions regarding the presenting the virtual consultation room may be found in FIG. 11 and the relevant descriptions thereof.

[0355] When a remote companion participates in the consultation process, the virtual consultation room may be synchronously presented by a third XR device of the remote companion. In some embodiments of the present disclosure, the virtual consultation room may be presented, so that participants (e.g., patient, doctor, remote companion, etc. ) of the consultation may communicate with each other remotely, which may reduce the limitations of distance and time on the patient and the remote companion.

[0356] During the consultation stage 1930, a preliminary diagnosis record may be generated based on sensed information collected by the second terminal device and the third terminal device during the consultation process. In some embodiments, the consultation module 430 may collect measurement data of the patient via the second XR device of the doctor and the wearable device of the patient. The preliminary diagnosis record may be generated based on the sensed information and the measurement data. More descriptions regarding the generating the preliminary diagnosis record may be found in FIG. 11, FIG. 15 and the relevant descriptions thereof.

[0357] Specifically, the consultation module 430 may obtain or generate a three-dimensional patient model. The 3D patient model may correspond to the patient or a part of the patient (e.g., upper body) . Merely by way of example, the consultation module 430 may obtain an initial three-dimensional patient model from the electronic health record of the patient, and obtain the three-dimensional patient model by updating the initial three-dimensional patient model based on real-time dynamic data and physiological data of the patient. Further, the consultation module 430 may present the three-dimensional patient model to the doctor and obtain an examination instruction input by the doctor via the second XR device. Specifically, the consultation module 430 may present the three-dimensional patient model on a second field of view of the doctor via the second XR device. The examination instruction input by the doctor may include an examination part, an examination device, and an examination operation. The doctor may input the examination instruction through various ways, for example, speech, gestures, and operation input devices (e.g., smart gloves, smart grips, etc. ) . For example, the second XR device may present virtual examination devices corresponding to a plurality of examination devices. The doctor may select the virtual examination device via the input device and perform a virtual examination operation on the three-dimensional patient model using the virtual examination device. The consultation module 430 may determine the examination part, the examination  device, the examination operation, etc., based on the virtual examination operation performed by the doctor, and generate the examination instruction. In addition to the examination instruction, the doctor may input other instructions to instruct the second XR device to rotate, zoom in, zoom out, etc., the three-dimensional patient model.

[0358] After obtaining the examination instruction of the doctor, the consultation module 430 may control the wearable device of the patient to collect the measurement data of the patient. For example, the consultation module 430 may control the smartwatch of the patient to collect the pulse of the patient over one minute based on the examination instruction.

[0359] In some embodiments of the present disclosure, the doctor and the patient may communicate remotely in the virtual consultation space via the second XR device and the third XR device, which may provide the doctor and the patient with a barrier-free and immersive consultation experience. In addition, the three-dimensional patient model of the patient may be presented to the doctor, so that the remote examination may be performed more accurately and conveniently, thereby improving the accuracy of the diagnosis.

[0360] It should be noted that the process 1800 and the process 1900 are provided for illustration purposes, and not intended to be limiting. In some embodiments, the process 1800 and / or the process 1900 may include one or more other stages and / or one or more other operations as described in connection with FIG. 5.

[0361] Having thus described the basic concepts, it may be rather apparent to those skilled in the art after reading this detailed disclosure that the foregoing detailed disclosure is intended to be presented by way of example only and is not limiting. Although not explicitly stated here, those skilled in the art may make various modifications, improvements and amendments to the present disclosure. These alterations, improvements, and modifications are intended to be suggested by this disclosure, and are within the spirit and scope of the exemplary embodiments of this disclosure.

[0362] Moreover, certain terminology has been used to describe embodiments of the present disclosure. For example, the terms “one embodiment, ” “an embodiment, ” and / or “some embodiments” mean that a particular feature, structure or characteristic described in connection with the embodiment is included in at least one embodiment of the present disclosure. Therefore, it is emphasized and should be appreciated that two or more references to “an embodiment” or “one embodiment” or “an alternative embodiment” in various parts of this specification are not necessarily all referring to the same embodiment. In addition, some features, structures, or features in the present disclosure of one or more embodiments may be appropriately combined.

[0363] Furthermore, the recited order of processing elements or sequences, or the use of numbers, letters, or other designations therefore, is not intended to limit the claimed processes and methods to any order except as may be specified in the claims. Although the above disclosure discusses through various examples what is currently considered to be a variety of useful embodiments of the disclosure, it is to be understood that such detail is solely for that purpose, and that the appended claims are not limited to the disclosed embodiments, but, on the contrary, are intended to cover modifications and equivalent arrangements that are within the spirit and scope of the disclosed embodiments. For example, although the implementation of various components described above may be embodied in a hardware device, it may also be implemented as a software only solution, e.g., an installation on an existing server or mobile device.

[0364] Similarly, it should be appreciated that in the foregoing description of embodiments of the present disclosure, various features are sometimes grouped together in a single embodiment, figure, or description thereof for the purpose of streamlining the disclosure aiding in the understanding of one or more of the various embodiments. However, this disclosure does not mean that the present disclosure object requires more features than the features mentioned in the claims. Rather, claimed subject matter may lie in less than all features of a single foregoing disclosed embodiment.

[0365] In some embodiments, the numbers expressing quantities or properties used to describe and claim certain embodiments of the present disclosure are to be understood as being modified in some instances by the term “about, ” “approximate, ” or “substantially. ” For example, “about, ” “approximate, ” or “substantially” may indicate ±20%variation of the value it describes, unless otherwise stated. Accordingly, in some embodiments, the numerical parameters set forth in the written description and attached claims are approximations that may vary depending upon the desired properties sought to be obtained by a particular embodiment. In some embodiments, the numerical parameters should be construed in light of the number of reported significant digits and by applying ordinary rounding techniques. Notwithstanding that the numerical ranges and parameters setting forth the broad scope of some embodiments of the present disclosure are approximations, the numerical values set forth in the specific examples are reported as precisely as practicable.

[0366] Each of the patents, patent applications, publications of patent applications, and other material, such as articles, books, specifications, publications, documents, things, and / or the like, referenced herein is hereby incorporated herein by this reference in its entirety for all purposes, excepting any prosecution file history associated with same, any of same that is inconsistent with or in conflict with the present document, or any of same that may have a limiting affect as to the broadest scope of the claims now or later associated with the present document. By way of example, should there be any inconsistency or conflict between the description, definition, and / or the use of a term associated with any of the incorporated material and that associated with the present document, the description, definition, and / or the use of the term in the present document shall prevail.

[0367] In closing, it is to be understood that the embodiments of the present disclosure disclosed herein are illustrative of the principles of the embodiments of the present disclosure. Other modifications that may be employed may be within the scope of the present disclosure. Thus, by way of example, but not of limitation, alternative configurations of the embodiments of the present disclosure may be utilized in accordance with the teachings herein. Accordingly, embodiments of the present disclosure are not limited to that precisely as shown and described.

Claims

1.A method for providing a medical consultation service, implemented on a computing device having one or more processors and one or more storage devices, comprising:presenting, via a first terminal device in a consultation room, a first interface element relating to an electronic health record of the patient to the patient and a doctor;obtaining, based on sensed information, a control instruction issued by the patient and / or the doctor for retrieving at least a portion of the electronic health record, the sensed information being collected by one or more sensing devices in the consultation room during a consultation process; andin response to the control instruction, retrieving the portion of the electronic health record and presenting the portion of the electronic health record via the first terminal device.2.The method of claim 1, whereinthe sensed information includes speech signals collected by an acoustic sensor, and the control instruction is obtained by performing semantic analysis on the speech signals; orthe sensed information includes optical image data of the patient and / or the doctor collected by an image sensor, and the control instruction is obtained by performing gesture recognition on the patient and / or the doctor in the optical image data.3.The method of claim 1, wherein the portion of the electronic health record includes a three-dimensional (3D) model of an organ of interest of the patient.4.The method of claim 1, wherein the method further comprises:generating, based on the sensed information, a preliminary diagnosis record;causing a second terminal device of the doctor or the first terminal device to present the preliminary diagnosis record to the doctor; andgenerating a target diagnosis record based on the preliminary diagnosis record and feedback information regarding the preliminary diagnosis record input by the doctor via the first terminal device or the second terminal device.5.The method of claim 1, wherein the method further comprises:generating a decision recommendation based on the sensed information and patient data of the patient; andcontrolling the first terminal device or a second terminal device of the doctor to present the decision recommendation.6.The method of claim 1, further comprising:receiving a request for remote accompanying service issued by the patient before the consultation process;sending the request to a second terminal device of the doctor for approval; andin response to determining that the request is approved, causing the first terminal device to present a second interface element relating to the remote accompanying service.7.The method of claim 6, further comprising:during the consultation process,determining, based on the sensed information, whether the patient needs to communicate with a remote companion;in response to determining that the patient needs to communicate with the remote companion,controlling the first terminal device to enlarge the second interface element; orcontrolling an XR device of the patient to present image data of the remote companion through XR techniques.8.The method of claim 1, further comprising determining the doctor with whom the patient is registered by:obtaining chief complaint of the patient through a third terminal device of the patient or a registration terminal;determining, based on the chief complaint, at least one candidate department;causing, based on the at least one candidate department, the third terminal device or the registration terminal to conduct a first inquiry on the patient; anddetermining the doctor based on first data collected by the third terminal device or the registration terminal during the first inquiry.9.The method of claim 8, wherein the third terminal device or the registration terminal includes an XR device, and the causing the third terminal device or the registration terminal to conduct a first inquiry on the patient includes:determining first inquiry content of the first inquiry based on the chief complaint and the at least one candidate department; andcausing, based on the first inquiry content, the XR device to present a first virtual character that conducts the first inquiry.10.The method of claim 9, further comprising:after the patient registers with the doctor, generating a planned route based on a current location of the patient and location information of the consultation room;causing the XR device to overlay guidance information relating to the planned route on a real-world view of the patient through augmented reality (AR) techniques.11.The method of claim 1, further comprising:in response to detecting that the patient has started consulting, causing the first terminal device to present a third interface element relating to a pre-consultation record of the patient, wherein the pre-consultation record is obtained by:determining second inquiry content of a second inquiry based on a department of the doctor;causing, based on the second inquiry content, a third terminal device of the patient to conduct a second inquiry on the patient; andgenerating the pre-consultation record based on second data collected by the third terminal device during the second inquiry.12.The method of claim 11, wherein the third terminal device includes an XR device, and the causing a third terminal device of the patient to conduct a second inquiry on the patient includes:causing, based on the second inquiry content, the XR device to present a second virtual character that conducts the second inquiry.13.The method of claim 11, wherein causing a third terminal device of the patient to conduct a second inquiry on the patient includes:after the patient registers with the doctor, determining an estimated waiting time for consultation based on a daily consultation record of the doctor and a registration record of the patient; andin response to determining that the estimated waiting time is greater than a preset time threshold, causing the third terminal device of the patient to conduct the second inquiry on the patient.14.The method of claim 12, wherein the second inquiry includes multiple rounds of inquiries, the second inquiry content includes inquiry content of each round of inquiry, and the performing a second inquiry on the patient includes:for each current round of inquiry other than the first round of inquiry,determining semantic information and emotional information of historical answers of the patient based on second data collected before the current round of inquiry;adjusting the inquiry content of the current round of inquiry based on the semantic information and the emotional information;causing, based on the adjusted inquiry content of the current round of inquiry, the third terminal device to conduct the current round of inquiry.15.The method of claim 14, wherein the causing, based on the adjusted inquiry content of the current round of inquiry, the third terminal device to conduct the current round of inquiry includes:determining, based on the semantic information and the emotional information, acoustic features of the current round of inquiry; andcausing, based on the adjusted inquiry content and the acoustic features of the current round of inquiry, the third terminal device to conduct the current round of inquiry.16.The method of claim 14, wherein the adjusting the inquiry content of the current round of inquiry based on the semantic information and the emotional information includes:obtaining physiological state information of the patient corresponding to the current round of inquiry, the physiological state information being collected by a wearable device worn by the patient; andadjusting the inquiry content of the current round of inquiry based on the semantic information, the emotional information, and the physiological state information.17.The method of claim 16, further comprising:determining feedback parameters based on at least a portion of the semantic information, the emotional information, and the physiological state information; andcontrolling the wearable device to apply feedback to the patient based on the feedback parameters, the feedback including at least one of force feedback or temperature feedback.18.The method of claim 1, further comprising:in response to detecting that the consultation process has been completed, determining, based on a target consultation record, a target service needs to be provided to the patient after the consultation process; andmaking an appointment for the patient with a target department unit that provides the target service.19.The method of claim 1, wherein the computing device is configured with an intelligent agent corresponding to the medical consultation service, and the method is performed by the intelligent agent.20.A method for providing a medical consultation service, implemented on a computing device having one or more processors and one or more storage devices, comprising:determining a doctor with whom a patient is registered by causing a terminal device of the patient to conduct a first inquiry on the patient;generating a pre-consultation record of the patient by causing the terminal device of the patient to conduct a second inquiry based on a department of the doctor;in response to detecting that the patient has started consulting, causing a terminal device in a consultation room to present an interface element relating to the pre-consultation record to the doctor and the patient; andgenerating a preliminary diagnosis record based on sensed information collected by one or more sensing devices in the consultation room during a consultation process.21.A method for providing a medical consultation service, implemented on a computing device having one or more processors and one or more storage devices, comprising:determining a doctor with whom a patient is registered by causing a terminal device of the patient to conduct a first inquiry on the patient;generating a pre-consultation record of the patient by causing the terminal device of the patient to conduct second inquiry based a department of the doctor;in response to detecting that the patient has started consulting, controlling the terminal device of the patient and a terminal device of the doctor to present an interface element relating to the pre-consultation record, respectively; andgenerating a preliminary diagnosis record based on sensed information collected by the terminal device of the patient and the terminal device of the doctor during a consultation process.22.The method of claim 21, wherein the terminal device of the patient includes a first XR device, the  terminal device of the doctor includes a second XR device, the method further comprises:causing the first XR device and the second XR device to present a virtual consultation room to the patient and the doctor, respectively.23.The method of claim 22, wherein the generating a preliminary diagnosis record comprises:causing the second XR device to present a 3D patient model of the patient to the doctor;obtaining an examination instruction input by the doctor via the second XR device;causing, based on the examination instruction, a wearable device worn by the patient to collect measurement data of the patient; andgenerating the preliminary diagnosis record based on the measurement data and the sensed information.24.A method for providing a medical consultation service, implemented on a computing device having one or more processors and one or more storage devices, comprising:presenting, via at least one terminal device, a first interface element to target users, the first interface element being relating to medical data of a patient who receives the medical consultation service, the target users at least including the patient and a doctor;obtaining, based on sensed information, a control instruction issued by at least one of the target users for presenting at least a portion of the medical data, the sensed information being collected by one or more sensing devices during a consultation process; andin response to the control instruction, retrieving the portion of the medical data and presenting the portion of the electronic data via the at least one terminal device.25.The method of claim 24, whereinthe sensed information includes speech signals collected by an acoustic sensor, and the control instruction is obtained by performing semantic analysis on the speech signals; orthe sensed information includes optical image data of the patient and / or the doctor collected by an image sensor, and the control instruction is obtained by performing gesture recognition on the patient and / or the doctor in the optical image data.26.The method of claim 24, wherein the portion of the medical data includes a three-dimensional (3D) model of the patient.27.The method of claim 24, wherein the method further comprises:generating, based on the sensed information, a preliminary diagnosis record;presenting the preliminary diagnosis record to the doctor; andgenerating a target diagnosis record based on the preliminary diagnosis record and feedback information regarding the preliminary diagnosis record input by the doctor.28.The method of claim 24, wherein the method further comprises:generating a decision recommendation based on the sensed information and patient data of the patient; andcontrolling at least a portion of the at least one terminal device to present the decision recommendation.29.The method of claim 24, further comprising:receiving a request for remote accompanying service issued by the patient before the consultation process;sending the request to a second terminal device of the doctor for approval; andin response to determining that the request is approved, causing the at least one terminal device to present a second interface element relating to the remote accompanying service.30.The method of claim 29, further comprising:during the consultation process,determining, based on the sensed information, whether the patient needs to communicate with a remote companion;in response to determining that the patient needs to communicate with the companion,controlling at least a portion of the at least one terminal device to enlarge the second interface element.31.The method of claim 24, further comprising determining the doctor with whom the patient is registered by:obtaining chief complaint of the patient through a third terminal device of the patient or a registration terminal;determining, based on the chief complaint, at least one candidate department;causing, based on the at least one candidate department, the third terminal device or the registration terminal to conduct a first inquiry on the patient; anddetermining the doctor based on first data collected by the third terminal device or the registration terminal during the first inquiry.32.The method of claim 31, wherein the third terminal device or the registration terminal includes an XR device, and the causing the third terminal device or the registration terminal to conduct a first inquiry on the patient includes:determining first inquiry content of the first inquiry based on the chief complaint and the at least one candidate department; andcausing, based on the first inquiry content, the XR device to present a first virtual character that conducts the first inquiry.33.The method of claim 32, further comprising:after the patient registers with the doctor, generating a planned route based on a current location of the patient and location information of the consultation room;causing the XR device to overlay guidance information relating to the planned route on a real-world view of the patient through augmented reality (AR) techniques.34.The method of claim 24, further comprising:in response to detecting that the patient has started consulting, causing the at least one terminal device to present a third interface element relating to a pre-consultation record of the patient, wherein the pre-consultation record is obtained by:determining second inquiry content of a second inquiry based on a department of the doctor;causing, based on the second inquiry content, a third terminal device of the patient to conduct a second inquiry on the patient; andgenerating the pre-consultation record based on second data collected by the third terminal device during the second inquiry.35.The method of claim 24, further comprising:generating, based on the target diagnosis record, a health monitoring plan;causing, based on the health monitoring plan, one or more monitoring devices to obtain health monitoring information of the patient; andupdating, based on the health monitoring information, the health monitoring plan.36.A system for providing a medical consultation service, comprising:at least one storage device storing a set of instructions; andat least one processor configured to communicate with the at least one storage device, wherein when executing the set of instructions, the at least one processor is configured to direct the system to perform operations including:presenting, via a first terminal device in a consultation room, a first interface element relating to an electronic health record of the patient to the patient and a doctor;obtaining, based on sensed information, a control instruction issued by the patient and / or the doctor for retrieving at least a portion of the electronic health record, the sensed information being collected by one or more sensing devices in the consultation room during a consultation process; andin response to the control instruction, retrieving the portion of the electronic health record and presenting the portion of the electronic health record via the first terminal device.37.A system for providing a medical consultation service, comprising:at least one storage device storing a set of instructions; andat least one processor configured to communicate with the at least one storage device, wherein when executing the set of instructions, the at least one processor is configured to direct the system to perform operations including:determining a doctor with whom a patient is registered by causing a terminal device of the patient to conduct a first inquiry on the patient;generating a pre-consultation record of the patient by causing the terminal device of the patient to conduct a second inquiry based on a department of the doctor;in response to detecting that the patient has started consulting, causing a terminal device in a consultation room to present an interface element relating to the pre-consultation record to the doctor and the patient; andgenerating a preliminary diagnosis record based on sensed information collected by one or more sensing devices in the consultation room during a consultation process.38.A system for providing a medical consultation service, comprising:at least one storage device storing a set of instructions; andat least one processor configured to communicate with the at least one storage device, wherein when executing the set of instructions, the at least one processor is configured to direct the system to perform operations including:determining a doctor with whom a patient is registered by causing a terminal device of the patient to conduct a first inquiry on the patient;generating a pre-consultation record of the patient by causing the terminal device of the patient to conduct second inquiry based a department of the doctor;in response to detecting that the patient has started consulting, controlling the terminal device of the patient and a terminal device of the doctor to present an interface element relating to the pre-consultation record, respectively; andgenerating a preliminary diagnosis record based on sensed information collected by the terminal device of the patient and the terminal device of the doctor during a consultation process.39.A system for providing a medical consultation service, comprising:at least one storage device storing a set of instructions; andat least one processor configured to communicate with the at least one storage device, wherein when executing the set of instructions, the at least one processor is configured to direct the system to perform operations including:presenting, via at least one terminal device, a first interface element to target users, the first interface element being relating to medical data of a patient who receives the medical consultation service, the target users at least including the patient and a doctor;obtaining, based on sensed information, a control instruction issued by at least one of the target users for presenting at least a portion of the medical data, the sensed information being collected by one or more sensing devices during a consultation process; andin response to the control instruction, retrieving the portion of the medical data and presenting the portion of the electronic data via the at least one terminal device.40.A non-transitory computer readable medium storing instructions, the instructions, when executed by at least one processor, causing the at least one processor to implement a method comprising:presenting, via a first terminal device in a consultation room, a first interface element relating to an electronic health record of the patient to the patient and a doctor;obtaining, based on sensed information, a control instruction issued by the patient and / or the doctor for retrieving at least a portion of the electronic health record, the sensed information being collected by one or more sensing devices in the consultation room during a consultation process; andin response to the control instruction, retrieving the portion of the electronic health record and presenting the portion of the electronic health record via the first terminal device.41.A non-transitory computer readable medium storing instructions, the instructions, when executed by at least one processor, causing the at least one processor to implement a method comprising:determining a doctor with whom a patient is registered by causing a terminal device of the patient to conduct a first inquiry on the patient;generating a pre-consultation record of the patient by causing the terminal device of the patient to conduct a second inquiry based on a department of the doctor;in response to detecting that the patient has started consulting, causing a terminal device in a consultation room to present an interface element relating to the pre-consultation record to the doctor and the patient; andgenerating a preliminary diagnosis record based on sensed information collected by one or more sensing devices in the consultation room during a consultation process.42.A non-transitory computer readable medium storing instructions, the instructions, when executed by at least one processor, causing the at least one processor to implement a method comprising:determining a doctor with whom a patient is registered by causing a terminal device of the patient to conduct a first inquiry on the patient;generating a pre-consultation record of the patient by causing the terminal device of the patient to conduct second inquiry based a department of the doctor;in response to detecting that the patient has started consulting, controlling the terminal device of the patient and a terminal device of the doctor to present an interface element relating to the pre-consultation record, respectively; andgenerating a preliminary diagnosis record based on sensed information collected by the terminal device of the patient and the terminal device of the doctor during a consultation process.43.A non-transitory computer readable medium storing instructions, the instructions, when executed by at least one processor, causing the at least one processor to implement a method comprising:presenting, via at least one terminal device, a first interface element to target users, the first interface element being relating to medical data of a patient who receives the medical consultation service, the target users at least including the patient and a doctor;obtaining, based on sensed information, a control instruction issued by at least one of the target users for presenting at least a portion of the medical data, the sensed information being collected by one or more sensing devices during a consultation process; andin response to the control instruction, retrieving the portion of the medical data and presenting the portion of the electronic data via the at least one terminal device.

Images