Medical service systems, devices, and methods

Abstract

It provides medical services systems, devices, and methods. The systems may include a processing device, one or more sensing devices, and a medical service device. The one or more sensing devices and the medical service device may be communicatively connected with the processing device and used in a target medical scenario. The one or more sensing devices may be configured for collecting sensed information related to the target medical scenario and send the sensed information to the processing device. The processing device may be configured for maintaining a first intelligent agent corresponding to the medical service device, and achieving user services relating to the target medical scenario by engaging the first intelligent agent in processing the sensed information.

Description

MEDICAL SERVICE SYSTEMS, DEVICES, AND METHODSTECHNICAL FIELD

[0001] The present disclosure generally relates to the field of medical services, and more particularly, relates to medical service systems, devices, and methods built based on XR technologies, AI technologies, and / or other pioneering technologies.BACKGROUND

[0002] Presently, when a patient necessitates multiple medical services within a hospital, he / she needs to go through intricate and discrete medical service procedures. This can be cumbersome and time-intensive for the patient, complicating their comprehension of the medical service procedures and the identification of the appropriate facilities. Consequently, this diminishes the overall efficacy of the medical services provided. Concurrently, these complexities also present significant challenges for hospital personnel in the provision of medical services and the management of associated medical resources.

[0003] The rapid advancement of pioneering technologies, such as Extended Reality (XR) technologies (e.g., augmented reality (AR) technology, virtual reality (VR) technology, mixed reality (MR) technology, etc. ) , Artificial Intelligence (AI) technologies, Digital Twin technologies, Internet of Things (IOT) technologies, Blockchain technologies, spatial computing technologies, image rendering technologies, etc., has induced transformative changes and conferred substantial benefits across diverse systems. However, notwithstanding these advancements, the full utilization of these innovative technologies within hospital systems has not yet been realized. Therefore, it is desirable to develop medical service systems, devices, and methods that integrate these state-of-the-art technologies to enhance service efficiency, service accuracy, and patient satisfaction (e.g., patient experience, more importantly immersive healthcare service experience) .SUMMARY

[0004] In an aspect of the present disclosure, a medical services system is provided. The system may include a processing device, one or more sensing devices, and a medical service device. The one or more sensing devices and the medical service device may be communicatively connected with the processing device and used in a target medical scenario. The one or more sensing devices may be configured for collecting sensed information related to the target medical scenario and send the sensed information to the processing device. The processing device may be configured for maintaining a first intelligent agent corresponding to the medical service device, and achieving user services relating to the target medical scenario by engaging the first intelligent agent in processing the sensed information.

[0005] Additional features will be set forth in part in the description which follows, and in part will become apparent to those skilled in the art upon examination of the following and the accompanying drawings or may be learned by production or operation of the examples. The features of the present disclosure may be realized and attained by practice or use of various aspects of the methodologies, instrumentalities, and combinations set forth in the detailed examples discussed below.BRIEF DESCRIPTION OF THE DRAWINGS

[0006] The present disclosure is further described in terms of exemplary embodiments. These exemplary embodiments are described in detail with reference to the drawings. These embodiments are non-limiting exemplary embodiments, in which like reference numerals represent similar structures throughout the several views of the drawings, and wherein:

[0007] FIG. 1 is a block diagram illustrating an exemplary medical service system according to some embodiments of the present disclosure;

[0008] FIG. 2 is a schematic diagram illustrating an exemplary medical service system according to some embodiments of the present disclosure;

[0009] FIG. 3 is a schematic diagram illustrating an exemplary hospital support platform according to some embodiments of the present disclosure;

[0010] FIG. 4 is a block diagram illustrating an exemplary processing device according to some embodiments of the present disclosure;

[0011] FIG. 5 is a schematic diagram illustrating an exemplary process for providing user services according to some embodiments of the present disclosure;

[0012] FIG. 6 is a schematic diagram illustrating an exemplary medical consultation process according to some embodiments of the present disclosure;

[0013] FIG. 7 is a schematic diagram illustrating an exemplary process for determining a doctor with whom a patient is registered according to some embodiments of the present disclosure;

[0014] FIG. 8 is a schematic diagram illustrating an exemplary process for providing a pre-consultation service according to some embodiments of the present disclosure;

[0015] FIG. 9 is a flowchart illustrating an exemplary process for conducting a second inquiry according to some embodiments of the present disclosure;

[0016] FIG. 10 is a flowchart illustrating an exemplary process for providing a medical consultation service based on sensed information according to some embodiments of the present disclosure;

[0017] FIG. 11 is a schematic diagram illustrating an exemplary consultation interface according to some embodiments of the present disclosure;

[0018] FIG. 12 is a schematic diagram illustrating an exemplary hospitalization process according to some embodiments of the present disclosure;

[0019] FIG. 13 is a flowchart illustrating an exemplary process for providing hospitalization services according to some embodiments of the present disclosure;

[0020] FIG. 14 is a schematic diagram illustrating an exemplary process for providing a hospitalization admission service according to some embodiments of the present disclosure;

[0021] FIG. 15 is a schematic diagram illustrating an exemplary process for providing an admission inquiry service according to some embodiments of the present disclosure;

[0022] FIG. 16 is a schematic diagram illustrating an exemplary process for providing a nursing service according to some embodiments of the present disclosure;

[0023] FIG. 17 is a schematic diagram illustrating an exemplary process for providing a ward round service according to some embodiments of the present disclosure;

[0024] FIG. 18 is a schematic diagram illustrating an exemplary process for surgery planning and executing according to some embodiments of the present disclosure;

[0025] FIG. 19 is a flowchart illustrating an exemplary process of a surgery execution according to some other embodiments of the present disclosure; and

[0026] FIG. 20 is a flowchart illustrating an exemplary process of a preoperative preparation and a surgery execution according to some other embodiments of the present disclosure.DETAILED DESCRIPTION

[0027] In the following detailed description, numerous specific details are set forth by way of examples in order to provide a thorough understanding of the relevant disclosure. However, it should be apparent to those skilled in the art that the present disclosure may be practiced without such details. In other instances, well-known methods, procedures, systems, components, and / or circuitry have been described at a relatively high level, without detail, in order to avoid unnecessarily obscuring aspects of the present disclosure. Various modifications to the disclosed embodiments will be readily apparent to those skilled in the art, and the general principles defined herein may be applied to other embodiments and applications without departing from the spirit and scope of the present disclosure. Thus, the present disclosure is not limited to the embodiments shown, but to be accorded the widest scope consistent with the claims.

[0028] The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting. As used herein, the singular forms “a, ” “an, ” and “the” may be intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprise, ” “comprises, ” and / or “comprising, ” “include, ” “includes, ” and / or “including, ” when used in this specification, specify the presence of stated features, integers, steps, operations, elements, and / or components, but do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, and / or groups thereof.

[0029] It will be understood that when a unit, engine, module, or block is referred to as being “on, ” “connected to, ” or “coupled to, ” another unit, engine, module, or block, it may be directly on, connected or coupled to, or communicate with the other unit, engine, module, or block, or an intervening unit, engine, module, or block may be present, unless the context clearly indicates otherwise. As used herein, the term “and / or” includes any and all combinations of one or more of the associated listed items.

[0030] These and other features, and characteristics of the present disclosure, as well as the methods of operation and functions of the related elements of structure and the combination of parts and economies of manufacture, may become more apparent upon consideration of the following description with reference to the accompanying drawings, all of which form a part of this disclosure. It is to be expressly understood, however, that the drawings are for the purpose of illustration and description only and are not intended to limit the scope of the present disclosure. It is understood that the drawings are not to scale.

[0031] FIG. 1 is a block diagram illustrating an exemplary medical service system 100 according to some embodiments of the present disclosure.

[0032] The medical service system 100 can also be referred to as a meta hospital system, and is built based on various innovative technologies including metaverse technology, XR technology (e.g., AR technology, VR technology, MR technology, etc. ) , AI technology, digital twin technology, IOT technology, data circulation  technology (e.g., blockchain technology, data privacy computing technology) , spatial computing technology, image rendering technology, etc.

[0033] As illustrated in FIG. 1, the medical service system 100 may include a physical hospital 110, a virtual hospital 130, at least one user space application 120, and a hospital support platform 140. In some embodiments, the hospital support platform 140 may map data relating to the physical hospital 110 into the virtual hospital 130 corresponding to the physical hospital 110, and provide user services to relevant users of the physical hospital 110 via the at least one user space application 120. For example, at least a portion of the user services may be provided to the relevant users based on the interactions between the relevant users and the virtual hospital 130.

[0034] The physical hospital 110 refers to a hospital that exists in the physical world and has tangible properties (e.g., has measurable properties such as mass, volume, shape, etc., and can be perceived through human senses or instruments) . As used herein, healthcare institutions that offer medical, surgical, and psychiatric care and treatment for people are collectively referred to as hospitals.

[0035] As shown in FIG. 1, the physical hospital 110 may include a plurality of physical entities. For example, the plurality of physical entities may include departments, users, hardware devices, user services, public areas, medical service procedures, or the like, or any combination thereof.

[0036] A department refers to a specialized unit or division dedicated to providing specific types of medical care, treatments, and services. Each of the departments may focus on a particular area of medicine and may be staffed by healthcare professionals with expertise in that area. For example, according to a medical service procedure corresponding to each department, the departments may include a consultation department, a hospitalization department, a surgery department, a support department (e.g., a registration department, a pharmacy department) , or the like, or any combination thereof. As another example, according to an area of medicine corresponding to each department, the departments may include an internal medicine department, a surgical department, a specialized medical department, a children’s health department, or the like, or any combination thereof.

[0037] The users may include any users associated with the physical hospital 110 (or referred to as relevant users of the physical hospital 110) . For example, the users may include patients (or a portion of the patients (e.g., organs) ) , companions of the patients, visitors of the patients, hospital staff of the physical hospital 110, suppliers of the physical hospital 110, application developers of the physical hospital 110, or the like, or any combination thereof. The hospital staff of the physical hospital 110 may include medical service providers (e.g., doctors, nurses, technicians, etc. ) , hospital managers, support staff, or the like, or any combination thereof. Exemplary hospital managers may include a departmental nursing manager, a clinical leader, a departmental dean, a hospital dean, a hospital executive, a functional manager, or the like, or any combination thereof.

[0038] The hardware devices may include hardware devices located in the physical hospital 110 and / or hardware devices in a communication with the hardware devices in the physical hospital 110. Exemplary hardware devices may include terminal devices, medical service devices, sensing devices, basic devices, or the like, or any combination thereof.

[0039] The terminal devices may include terminal devices that interact with the users relating to the medical service system 100. For example, the terminal devices may include a terminal device that interacts with a  patient (also referred to as a patient terminal device) , a terminal device that interacts with a doctor of the patient (also referred to as a doctor terminal device or a second terminal device) , a terminal device that interacts with a nurse (also referred to as a nurse terminal device) , a terminal device that interacts with a remote visitor (also referred to as a remote terminal device) , a public terminal of the hospital (e.g., a consultation room terminal, a bedside terminal device, a terminal device in a waiting region, an intelligent surgery terminal) , or the like, or any combination thereof. In the present disclosure, unless obviously obtained from the context or the context illustrates otherwise, a terminal device that is owned by a user and a terminal device that is provided to the user by the physical hospital 110 are collectively referred to as a terminal device of the user or a terminal device that interacts with the user.

[0040] The terminal devices may include a mobile terminal, an XR device, a smart wearable device, etc. The mobile terminal may include a smart phone, a personal digital assistant (PDA) , a display, a gaming device, a navigation device, a handheld terminal (POS) , a tablet computer, or the like, or any combination thereof.

[0041] The XR device may include a device that allows a user to be engaged in an extended reality experience. For example, the XR device may include a VR assembly, an AR assembly, an MR assembly, or the like, or any combination thereof. In some embodiments, the XR device may include an XR helmet, XR glasses, an XR patch, a stereoscopic headset, or the like, or any combination thereof. For example, the XR device may include a Google GlassTM, an Oculus RiftTM, a Gear VRTM, an Apple Vision proTM, etc. Specifically, the XR device may include a display component on which virtual content may be rendered and / or displayed. In some embodiments, the XR device may further include an input component. The input component may enable user interactions between a user and the virtual content (e.g., the virtual surgery environment) displayed by the display component. For example, the input component may include a touch sensor, a microphone, an image sensor, etc., configured to receive user input, which may be provided to the XR device and used to control the virtual world by varying the visual content rendered on the display component. The input component may include a handle, a glove, a stylus, a console, etc.

[0042] The smart wearable device may include smart bracelets, smart shoes and socks, smart glasses, smart helmets, smart watches, smart clothes, smart backpacks, smart accessories, or the like, or any combination thereof. In some embodiments, the smart wearable device may obtain physiological data (e.g., heart rate, blood pressure, body temperature, etc. ) of the user.

[0043] The medical service devices may be configured to provide medical services to the patients. For example, the medical service devices may include examination devices, nursing care devices, therapeutic devices, or the like, or any combination thereof.

[0044] The examination devices may be configured to provide examination services to the patients, such as collecting examination data of the patients. Exemplary examination data may include a heart rate, a respiratory rate, a body temperature, blood pressure, medical imaging data, a body fluid test report (e.g., a blood test report) , or the like, or any combination thereof. Correspondingly, the examination devices may include a vital sign monitor (e.g., a blood pressure monitor, a glucometer, a cardiotachometer, a thermometer, a digital stethoscope, etc. ) , a medical imaging device (e.g., a computed tomography (CT) device, a digital subtraction angiography (DSA) device, a magnetic resonance (MR) device, etc. ) , a laboratory device (e.g., a blood routine examination device, etc. ) , or the like, or any combination thereof.

[0045] The nursing care devices may be configured to provide nursing care services to the patients and / or assist the medical service providers to provide the nursing care services. Exemplary nursing care devices may include a hospital bed, a patient-care robot, an intelligent nursing trolley, an intelligent medicine box, an intelligent wheelchair, etc.

[0046] The therapeutic devices may be configured to provide therapeutic services to the patients and / or assist the medical service providers to provide the therapeutic services. Exemplary therapeutic devices may include surgical devices, radiotherapeutic devices, physical therapy devices, or the like, or any combination thereof.

[0047] The sensing devices may be configured to collect sensed information relating to the environment (e.g., a target medical scenario) where it is located. For example, the sensing devices may include an image sensor, an acoustic sensor, etc. The image sensor may be configured to collect image data in the physical hospital 110, and the acoustic sensor may be configured to collect acoustic data in the physical hospital 110. In some embodiments, a sensing device may be an independent device or be integrated into another device. For example, the acoustic sensor may be part of a medical service device.

[0048] The basic devices may be configured to support data transmission, storage, and processing. For example, the basic devices may be networks, machine room facilities, computing devices, computing chips, storage devices, etc.

[0049] In some embodiments, at least part of the hardware devices of the physical hospital 110 are Internet of Things (IoT) devices. The IoT devices refer to devices with sensors, processing ability, software, and other technologies that connect and exchange data with other devices and systems over the Internet or other communications networks. For example, one or more medical service devices and / or sensing devices of the physical hospital 110 are IoT devices and configured to transmit the collected data to the hospital support platform 140 for storage and / or processing.

[0050] The user services may include any services provided by the hospital support platform 140 to the users. For example, the user services include medical services provided to the patients and / or the companions of the patients, support services provided to the staff of the physical hospital 110 and / or suppliers of the physical hospital 110, etc. In some embodiments, the user services may be provided to patients, doctors, and hospital managers via the user space application (s) 120, which will be described in detail in the following descriptions.

[0051] The public areas refer to shared spaces accessible to the users (or a portion of the users) in the physical hospital 110. For example, the public areas may include a reception area (e.g., a front desk) , waiting areas, corridors and hallways, or the like, or any combination thereof.

[0052] A medical service procedure refers to a procedure that provides a corresponding medical service to the patients. The medical service procedure normally includes serval stages and / or steps that a user needs to go through for receiving the corresponding medical service. Exemplary medical service procedures may include a consultation procedure, a hospitalization procedure, a surgery procedure, or the like, or any combination thereof. In some embodiments, the medical service procedure may include medical service procedures corresponding to different departments, different diseases, etc. In some embodiments, a preset data acquisition protocol may be set and specify standard stages involved in the medical service procedure and how  to collect relating to the medical service procedure. More descriptions regarding a medical service procedure may be found elsewhere in the present disclosure. See, e.g., FIG. 5 and relevant descriptions thereof.

[0053] The at least one user space application 120 provides the users with access to the user services provided by the hospital support platform 140. A user space application 120 may be an application program, a plug-in, a website, an applet, or in any other suitable form. For example, the user space application 120 is an application program installed on a user’s terminal device, and the application program includes user interfaces for the user to initiate requests and receive corresponding services.

[0054] In some embodiments, the at least one user space application 120 may include different applications corresponding to different types of users. For example, the at least one user space application 120 includes a patient space application corresponding to patients, a doctor space application corresponding to doctors, a manager space application corresponding to managers, or the like, or any combination thereof. User services provided via the patient space application, the doctor space application, and the manager space application are also referred to as patient space services, doctor space services, and manager space services, respectively. Exemplary patient space services include registration services, navigation services, pre-consultation services, remote consultation services, hospitalization admission services, hospitalization discharge services, etc. Exemplary doctor space services include scheduling services, surgical planning services, surgical simulation services, patient management services, remote ward round services, remote consultation services, etc. Example manager space services include monitoring services, medical service evaluation services, equipment parameter setting services, service parameter setting services, resource scheduling services, etc.

[0055] In some embodiments, the patient space application, the doctor space application, and the manager space application may be integrated into one user space application 120, and the user space application 120 may be configured to provide access for each type of the users (e.g., the patients, the medical service providers, the managers, etc. ) . Merely by way of example, a specific user may have a corresponding identity that can be used to log into the user space application, view corresponding diagnosis and treatment data, and obtain corresponding user services.

[0056] According to some embodiments of the present disclosure, by providing the user space applications for different types of users, each type of users can easily obtain various user services that he / she may need on his / her corresponding user space application. In addition, at present, the users are usually required to install various applications to obtain different user services, which results in poor user experience and high development costs. Therefore, the user space applications in the present disclosure can improve the user experience and efficiency, enhance the service safety, improve the service quality, and reduce the development or operational costs.

[0057] In some embodiments, the at least one user space application 120 may be configured to provide access for the relevant users of the physical hospital 110 to interact with the virtual hospital 130. For example, via a user space application 120, a user may input an instruction for retrieving digital content of the virtual hospital 130 (e.g., a digital twin model of a hardware device, a patient organ, a public area) , view the digital content, and interact with the digital content. As another example, via a user space application 120, a user may communicate with a virtual character representing an intelligent agent. In some embodiments, a public terminal of the hospital may be installed with a manager space application, and a manager account of the  department corresponding to the public terminal may be logged in the manager space application. Users may receive user services via the manager space application installed in the public terminal.

[0058] The virtual hospital 130 is a digital twin (i.e., a virtual representation or virtual copy) of the physical hospital 110 that is used to simulate, analyze, predict, and optimize the operation status of the physical hospital 110. For example, the virtual hospital 130 may be a digital copy of the physical hospital 110 in real time.

[0059] In some embodiments, the virtual hospital 130 may be presented to the users using digital technologies. For example, at least a portion of the virtual hospital 130 may be presented to the relevant users using the XR technology when the relevant users interact with the virtual hospital 130. Merely by way of example, the at least a portion of the virtual hospital 130 may be superimposed on a real-world view of the relevant users using the MR technology.

[0060] In some embodiments, the virtual hospital 130 may include digital twins of the physical entities relating to the physical hospital 110. A digital twin refers to a virtual representation (e.g., a virtual copy, a mapping body, a digital simulator) of a physical entity. The digital twins may reflect and predict status, behaviors, and performances of the physical entities in real time. For example, the virtual hospital 130 may include digital twins of at least a portion of the medical services, the departments, the users, the hardware devices, the user services, the public areas, the medical service procedures, etc., of the physical hospital 110. The digital twin of a physical entity may be in various forms including a model, an image, a graph, text, numerical values, etc. For example, the digital twins may be a virtual hospital corresponding to the physical hospital, virtual personnel (e.g., virtual doctors, virtual nurses, and virtual patients) corresponding to personnel entities (e.g., the doctors, the nurses, and the patients) , virtual devices (e.g., the virtual imaging device and a virtual scalpel) corresponding to medical service devices (e.g., an imaging device and a scalpel) , etc.

[0061] In some embodiments, the digital twins may include one or more first digital twins and / or one or more second digital twins. The status of each first digital twin may be updated based on an update of the status of the corresponding physical entity. For example, the one or more first digital twins may be updated during a process of mapping the data relating to the physical hospital 110 into the virtual hospital 130. The one or more second digital twins may be updatable via at least one of the at least one user space application 120, and the update of each second digital twin may result in a status update of the corresponding physical entity. In other words, when the corresponding physical entity changes its status, a first digital twin may be updated accordingly; when a second digital twin is updated, the status of the corresponding physical entity changes accordingly. For example, the one or more first digital twins may include the digital twins of the public areas, the medical services, the users, the hardware devices, etc., and the one or more second digital twins may include the digital twins of the hardware devices, the user services, the medical service procedures, etc. It should be understood that a digital twin can be both a first digital twin and a second digital twin.

[0062] According to some embodiments of the present disclosure, by generating the virtual hospital 130 including the digital twins of the physical entities relating to the physical hospital 110, the physical hospital 110 (encompassing the hardware device, the users, the user services, the medical service procedures, etc. ) can be simulated and tested in a safe and controllable environment. Through a virtual-real linkage (e.g., real-time interactions between the physical hospital 110 and the virtual hospital 130) , various medical scenarios can be predicted and responded to more accurately, thereby improving the quality and efficiency of the medical services. Additionally, the use of the XR technology and virtual-real integration technology enables more  natural and intuitive interactions for the relevant users, providing a more comfortable and efficient medical environment, thereby enhancing the user experience.

[0063] In some embodiments, the virtual hospital 130 may further include intelligent agents that achieve self-evolution based on the data relating to the physical hospital 110 and AI technology.

[0064] An intelligent agent refers to an agent acting in an intelligent manner. For example, the intelligent agent may include a computing / software entity that can learn and evolve autonomously, and perceive and analyze data to perform specific tasks and / or achieve specific goals (e.g., the medical service procedures) . Through AI technology (e.g., reinforcement learning, deep learning, etc. ) , the intelligent agent may continuously learn and self-optimize in the interaction with the environment. In addition, the intelligent agent may collect and analyze massive amounts of data (e.g., the data relating to the physical hospital 110) through big data technology, and mine patterns and learn rules from the data to optimize a decision-making process, so as to identify environmental changes, respond quickly, and make reasonable judgments in uncertain or dynamic environments. For example, the intelligent agents may autonomously learn and evolve based on the AI technology to adapt to changes in the physical hospital 110. Merely by way of example, the intelligent agents may be built based on an NLP technology (e.g., a large language model, etc. ) , and may automatically learn and autonomously update via a large amount of language texts (e.g., hospital business data and patient feedback information) to improve the quality of the user services provided by the physical hospital 110.

[0065] In some embodiments, the intelligent agents may include different types corresponding to different medical service procedures, different user services, different departments, different diseases, different hospital positions (e.g., the nurses, doctors, technicians, etc. ) , different stages in a medical service procedure, etc. An intelligent agent of a specific type is used to handle tasks corresponding to the specific type. In some embodiments, one intelligent agent may correspond to different medical service procedures (or different medical services, or different departments, or different diseases, or different hospital positions) . In some embodiments, the intelligent agent may operate with reference to essential data (e.g., dictionaries, knowledge graphs, templates, etc. ) of the department and / or disease corresponding to the intelligent agent. In some embodiments, a plurality of intelligent bodies may collaborate with each other and share information via network communication to accomplish complex tasks together.

[0066] In some embodiments, the intelligent agents may include first intelligent agents and / or second intelligent agents. Each of the first intelligent agents may correspond to a medical service device, and be configured to provide user services relating to a target medical scenario where the medical service device is located. For example, the first intelligent agents may include an intelligent agent corresponding to an intelligent hospital bed, which can provide hospitalization services in a hospital ward by processing sensed information collected by sensing device (s) in the hospital ward. In some embodiments, the first intelligent agents may achieve self-evolution based on historical service data relating to the target medical scenario and the AI technology.

[0067] Each of the second intelligent agents may correspond to at least one of the one or more sensing devices. In some embodiments, the second intelligent agents may be utilized to control the one or more sensing devices to collect the sensed information. For example, a second intelligent agent may learn an optimal sensed information collection mechanism (e.g., which sensed information needs to be collected, the  way how the sensed information is collected, quality standards of the sensed information, etc. ) from historical data, and control the one or more sensing devices based on the learned mechanism.

[0068] In some embodiments, configurations of an intelligent agent may be set. For example, essential data used by the intelligent agent in operation may be set. The essential data may include a dictionary, a knowledge database, a template, etc. As another example, usage permissions of the intelligent agent may be set for different users. In some embodiments, a manager of the physical hospital 110 may set configurations of the intelligent agent via a manage space application.

[0069] In some embodiments, an intelligent agent may be integrated into or deployed on a hardware device. For example, an intelligent agent corresponding to the hospitalization services may be integrated into the intelligent hospital bed or a presentation device of the intelligent hospital bed. In some embodiments, an intelligent agent may be integrated into or deployed on an embodied intelligence robot. The embodied intelligence robot refers to a robotic system that integrates physical presence (embodiment) with intelligent behavior (cognition) . The embodied intelligence robot may be configured to interact with the real world in a manner that mimics or complements human capabilities, utilizing physical form and cognitive functions to perform tasks, make decisions, and adapt to the environment. By leveraging AI and sensor technologies, the embodied intelligence robot may operate autonomously, interact with the environment, and continuously improve the performance. For example, the embodied intelligence robot may be configured with the intelligent agent corresponding to the surgery services and assist the doctors to perform surgeries. As another example, the one or more sensing devices and a processing device (e.g., the processing device 210) may be integrated into the embodied intelligence robot, and at least a portion of the user services may be provided to a relevant user of a target medical scenario via the embodied intelligence robot.

[0070] In some embodiments, at least a portion of the user services may be provided based on the intelligent agents. For example, the at least a portion of the user services may be provided to the relevant users based on a processing result, wherein the processing result is generated by at least one of the intelligent agents based on the data relating to the physical hospital 110. Merely by way of example, the data relating to the physical hospital 110 may include data relating to a medical service procedure of the physical hospital 110, the intelligent agents may include an intelligent agent corresponding to the medical service procedure, and the user services may be provided to relevant users of the medical service procedure by processing the data using the intelligent agent corresponding to the medical service procedure.

[0071] The hospital support platform 140 may be configured to provide technical support for the medical service system 100. For example, the hospital support platform 140 may include computational hardware and software to support the innovative technologies including XR technology, the AI technology, digital twin technology, data circulation technology, etc. In some embodiments, the hospital support platform 140 may at least include a storage device for data storage and a processing device for data computation.

[0072] In some embodiments, the hospital support platform 140 may support the interaction between the physical hospital 110 and the virtual hospital 130. For example, the processing device of the hospital support platform 140 may obtain data relating to the physical hospital 110 from the hardware devices and map the data relating to the physical hospital 110 into the virtual hospital 130. For instance, the processing device of the hospital support platform 140 may update a portion of the digital twins in the virtual hospital 130 (e.g., the one or more first digital twins) based on the obtained data, so that each of the portion of the digital twins in the  virtual hospital 130 may reflect an updated status of the corresponding physical entity in the physical hospital 110. Based on such digital twins that are constantly updated with the corresponding physical entities, the users can understand the real-time statuses of the physical entities relating to the physical hospital 110, thereby realizing monitoring and evaluation of the physical entities. Merely by way of example, the processing device of the hospital support platform 140 may monitor real-time operational data of the medical service device, and update a digital twin corresponding to the medical service device based on the real-time operational data. As another example, intelligent agent (s) corresponding to the data relating to the physical hospital 110 may be self-evolving and self-learning by training and / or updating based on the data relating to the physical hospital 110.

[0073] In some embodiments, the hospital support platform 140 may support and / or provide the user services to the relevant users of the physical hospital 110. For example, in response to receiving a user service request from a user, the processing device of the hospital support platform 140 may provide the user service corresponding to the service request. As another example, in response to detecting that a user service needs to be provided to a user, the processing device of the hospital support platform 140 may control a physical entity or a virtual entity corresponding to the user service to provide the user service. For instance, in response to detecting that an abnormality exists in a physiological condition of the patient, the processing device of the hospital support platform 140 may control the intelligent nursing trolley to guide a nurse to the hospital ward of the patient.

[0074] In some embodiments, at least a portion of the user services may be provided to the relevant users based on the interactions between the relevant users and the virtual hospital 130. An interaction refers to a reciprocal action or influence (e.g., conversation, behavior, etc. ) between the relevant users and the virtual hospital 130. For example, the interactions between the relevant users and the virtual hospital 130 may include interactions between the relevant users and the digital twins in the virtual hospital 130, interactions between the relevant users and the intelligent agents, interactions between the relevant users and the virtual characters, or the like, or any combination thereof.

[0075] In some embodiments, at least a portion of the user services may be provided to the relevant users based on the interactions between the relevant users and at least one of the digital twins. For example, an updating instruction of a second digital twin inputted by a relevant user may be received via the at least one user space application 120, and the corresponding physical entity of the second digital twin may be updated based on the updating instruction. As another example, a user may view a first digital twin of a physical entity (e.g., a 3D digital twin model of a patient’s organ or a hardware device) via the user space application 120 to understand the status of the physical entity. Optionally, the user may change the display angle, the display size, etc., the digital twin. More descriptions regarding the digital twins of the physical entities may be found elsewhere in the present disclosure (e.g., FIG. 25 and the descriptions thereof) .

[0076] In some embodiments, the processing device of the hospital support platform 140 may present a virtual character corresponding to an intelligent agent via the at least one user space application to interact with the relevant users, and provide at least a portion of the user services to the relevant users based on the interactions between the relevant users and the virtual character.

[0077] In some embodiments, the hospital support platform 140 may have a five-layer structure, including a hardware device layer, an interface layer, a data processing layer, an application development layer, and a  service layer. In some embodiments, the hardware devices of the physical hospital 110 may be part of the hospital support platform 140. More descriptions regarding the hospital support platform may be found elsewhere in the present disclosure (e.g., FIG. 3 and the descriptions thereof) .

[0078] According to some embodiments of the present disclosure, by comprehensively integrating various internal and external resources (e.g., the medical service devices, hospital staff, drugs and consumables, etc. ) of the physical hospital, the virtual hospital corresponding to the physical hospital can be established. This virtual hospital can reflect the real-time statuses (e.g., changes, updates, etc. ) of the physical entities relating to the physical hospital, thereby enabling monitoring and evaluation of the physical entities. This integration can provide accurate data support for the operation of the medical services and intelligent decision-making. Furthermore, through the virtual hospital, the relevant users relating to the medical services can collaboratively establish an open and shared ecosystem, thereby fostering innovation and enhancement of medical services.

[0079] In addition, full-life cycle patient medical and health services with in-hospital and out-of-hospital linkage may be provided. The perspective of the medical services is expanded from simple disease treatment to encompass the entire life cycle of the patients, including prevention, diagnosis, treatment, rehabilitation, health management, etc. By establishing the in-hospital and out-of-hospital linkage, the physical hospital can better integrate online and offline resources to provide the patients comprehensive and continuous medical and health services. For example, through remote monitoring and online consultation, the patients’ health status can be tracked in real time, which can adjust treatment plans promptly, and improve treatment outcomes.

[0080] FIG. 2 is a schematic diagram illustrating an exemplary medical service system 200 according to some embodiments of the present disclosure.

[0081] As illustrated in FIG. 2, the medical service system 200 may include a processing device 210, a network 220, a storage device 230, one or more medical service devices 240, one or more sensing devices 250, one or more patient terminal devices 260 of a patient 261, and one or more doctor terminal devices 270 of a doctor 271 associated with the patient 261. In some embodiments, components in the medical service system 200 may be connected to and / or communicate with each other via a wireless connection, a wired connection, or a combination thereof. For example, the one or more sensing devices 250 and the one or more medical service devices 240 may be communicatively connected with the processing device 210 and used in a target medical scenario. The target medical scenario refers to a scenario where at least one medical service is provided. For example, the target medical scenario may occur in a hospital or a portion of the hospital, such as a consultation room, a hospital ward, a waiting room, an operating room, etc. The connection between the components of the medical service system 200 may be variable. Merely by way of example, the medical service device (s) 240 may be connected to the processing device 210 through the network 220 or directly. As another example, the storage device 230 may be connected to the processing device 210 through the network 220 or directly.

[0082] The processing device 210 may process data and / or information obtained from the storage device 230, the medical service device (s) 240, the sensing device (s) 250, the patient terminal device (s) 260, and / or the doctor terminal device (s) 270. For example, the processing device 210 may provide user services to the patient 261 and the doctor 271 via the patient terminal device (s) 260 and / or the doctor terminal device (s) 270, respectively. As another example, the processing device 210 may obtain data relating to the patient 261 in the  target medical scenario, and provide a target service by processing sensed information related to the target medical scenario and the data relating to the patient 261.

[0083] In some embodiments, the processing device 210 may be configured with intelligent agents. For example, the processing device 210 may be configured for maintaining first intelligent agent (s) corresponding to the medical service device (s) 240, and achieving the user services relating to the target medical scenario by engaging the first intelligent agent (s) in processing the sensed information relating to the target medical scenario collected by the sensing device (s) 250. As another example, the processing device 210 may be configured for maintaining a second intelligent agent corresponding to the sensing device (s) 250, and utilizing the second intelligent agent to control the sensing device (s) 250 to collect the sensed information.

[0084] In some embodiments, the processing device 210 may be a single server or a server group. The server group may be centralized or distributed. In some embodiments, the processing device 210 may be local to or remote from the medical service system 200. In some embodiments, the processing device 210 may be implemented on a cloud platform. For example, the cloud platform may include a private cloud, a public cloud, a hybrid cloud, a community cloud, a distributed cloud, an inter-cloud, a multi-cloud, or the like, or a combination thereof. In some embodiments, the processing device 210 may be implemented by a computing device.

[0085] In some embodiments, the processing device 210 may include one or more processors (e.g., single-core processor (s) or multi-core processor (s) ) . Merely for illustration, only one processing device 210 is described in the medical service system 200. However, it should be noted that the medical service system 200 in the present disclosure may also include multiple processing devices. Thus, operations and / or method steps that are performed by one processing device 210 as described in the present disclosure may also be jointly or separately performed by the multiple processing devices. For example, if in the present disclosure the processing device 210 of the medical service system 200 executes both process A and process B, it should be understood that the process A and the process B may also be performed by two or more different processing devices jointly or separately in the medical service system 200 (e.g., a first processing device executes process A and a second processing device executes process B, or the first and second processing devices jointly execute processes A and B) . In some embodiments, the processing device 210 may be a portion of the medical service device (s) 240. For example, the processing device 210 may be integrated into the medical service device (s) 240.

[0086] The network 220 may include any suitable network that can facilitate the exchange of information and / or data for the medical service system 200. The network 220 may be or include a wired network, a wireless network (e.g., an 802.11 network, a Wi-Fi network) , a BluetoothTM network, a near field communication (NFC) network, or the like, or any combination thereof.

[0087] The storage device 230 may store data, instructions, and / or any other information. In some embodiments, the storage device 230 may store data obtained from other components of the medical service system 200. In some embodiments, the storage device 230 may store data and / or instructions that the processing device 210 may execute or use to perform exemplary methods described in the present disclosure.

[0088] In some embodiments, the data stored in the storage device 230 may include multimodal data. The multimodal data may include data in multiple forms (e.g., images, graphics, video, text, etc. ) , data of various types, data obtained from different sources, data relating to different medical businesses (e.g., diagnosis,  surgery, rehabilitation, etc. ) , data relating to different users (e.g., the patients, the medical staff, managers, etc. ) . For example, the data stored in the storage device 230 may include medical data of the patient 261 reflecting a health condition of the patient 261. For instance, the medical data may include an electronic health record of the patient 261. The electronic health record refers to an electronic file that records various types of patient data (e.g., basic information, examination data, imaging data) . For example, the electronic health record may include three-dimensional models of a plurality of organs and / or tissues of the patient 261.

[0089] In some embodiments, the storage device 230 may include a mass storage device, a removable storage device, a volatile read-and-write memory, a read-only memory (ROM) , or the like, or any combination thereof. In some embodiments, the storage device 230 may include a data lake and a data warehouse, which will be described in detail in connection with FIG. 3.

[0090] The medical service device (s) 240 may be used to provide or assist medical services. As shown in FIG. 2, the medical service device (s) 240 include a consultation room terminal 240-1, a hospital bed 240-2, an intelligent surgery terminal 240-3, an intelligent nursing trolley 240-4, an intelligent wheelchair 240-5, a registration terminal 240-6, an intelligent mechanical nurse 240-7, or the like, or any combination thereof.

[0091] The consultation room terminal 240-1 is also referred to as a first terminal device herein and is configured in a consultation room for use by doctors and patients in a medical consultation process. For example, the consultation room terminal 240-1 may include one or more of a screen, a sound output component, an image sensor, or an acoustic sensor. The screen of the consultation room terminal 240-1 may present a consultation interface, and data may be presented on the consultation interface for facilitating the communication between patients and doctors. Exemplary data may include an electronic health record (or a portion thereof) , a pre-consultation record, a medical image, a 3D organ model, an examination result, a decision recommendation, etc. In some embodiments, the first terminal device is used in a target medical scenario relating to a medical consultation service provided to a patient in the consultation room, the first intelligent agents include a consultation intelligent agent corresponding to the first terminal device, and at least a portion of the user services relating to the target medical scenario are achieved based on the consultation intelligent agent.

[0092] The intelligent hospital bed 240-2 (or a meta-hospital bed) refers to a bed in a hospital ward that can support a patient admitted to the hospital ward and provide user services to the patient. The intelligent hospital bed 240-2 may include a bed, a bedside terminal device (also referred to as third terminal device herein) , a bedside examination device, sensors, or the like, or any combination thereof. The bedside terminal device may include an XR device, a presentation device, a mobile device, or the like, or any combination thereof. In some embodiments, the intelligent hospital bed 240-2 is used in a target medical scenario relating to a hospitalization service provided to a patient in the hospital ward, the first intelligent agents include a hospitalization intelligent agent corresponding to the intelligent hospital bed, and at least a portion of the user services relating to the target medical scenario are achieved based on the hospitalization intelligent agent.

[0093] The intelligent surgery terminal 240-3 refers to a device for assisting surgeries in an operating room. The intelligent surgery terminal 240-3 may perceive interactions (e.g., conversation, behavior, etc. ) between the medical service providers, the patients, and the intelligent agent, and obtain data captured by the sensing device (s) 250, so as to provide surgery assistance. In some embodiments, the intelligent surgery terminal 240-3 may be configured to perform risk warnings of surgical operations, generate surgical records for the surgery  procedure, etc., based on the intelligent agent configured therein. In some embodiments, the intelligent surgery terminal is used in a target medical scenario relating to a surgery service provided to a patient in the operating room, the first intelligent agents include a surgery intelligent agent corresponding to the intelligent surgery terminal 240-3, and at least a portion of the user services relating to the target medical scenario are achieved based on the surgery intelligent agent.

[0094] The intelligent nursing trolley 240-4 refers to a nursing trolley that has an automatic driving function and can assist in patient treatment and care. For example, the intelligent nursing trolley 240-4 may be configured to guide a nurse to the hospital ward to perform an initial examination on the patient. In some embodiments, the intelligent nursing trolley 240-4 may include a trolley, a presentation device, one or more examination devices and / or nursing tools, sensors (e.g., an image sensor, a GPS sensor, an acoustic sensor, etc. ) , etc. In some embodiments, the intelligent nursing trolley 240-4 may be configured to obtain relevant treatment and care information of the patient and generate measurement data, nursing data, etc. The measurement data may include vital signs data of the patient. The nursing data may include a detailed record of a nursing operation, such as a nursing time, a nursing operator, nursing measures, patient responses, etc. In some embodiments, the intelligent nursing trolley 240-4 is used in a target medical scenario relating to a hospitalization service provided to a patient in the hospital ward, the first intelligent agents include a nursing intelligent agent corresponding to the intelligent nursing trolley 240-4, and at least a portion of the user services relating to the target medical scenario are achieved based on the nursing intelligent agent.

[0095] The intelligent wheelchair 240-5 refers to a transport device for intelligently picking up and dropping off the patients. In some embodiments, the intelligent wheelchair 240-5 may be configured to perform autonomous navigation through integrated sensors and maps (e.g., using a simultaneous localization and mapping (SLAM) technology or pre-built environmental models) , locate a location of a patient using a radio frequency identification device (RFID) , Bluetooth, or Wi-Fi signals, identify the patient through biometric technology. In some embodiments, the intelligent wheelchair 240-5 may be controlled by an intelligent agent (e.g., an intelligent agent corresponding to the hospitalization services, an intelligent agent corresponding to the surgery services) . In some embodiments, the intelligent wheelchair 240-5 may be configured to generate data (e.g., records of interaction content between the intelligent agent and the patients) by sensing interaction data through built-in cameras / sensors.

[0096] The registration terminal 240-6 refers to a terminal device installed at a hospital site for providing registration services, and may include a display screen, an input device (e.g., a keyboard) , a sound output device, an acoustic sensor, an XR device, or the like, or any combination thereof. In some embodiments, the registration terminal 240-6 is used in a target medical scenario relating to a registration service provided to a patient, the first intelligent agents include a registration intelligent agent corresponding to the registration terminal 240-6, and at least a portion of the user services relating to the target medical scenario are achieved based on the registration intelligent agent.

[0097] The intelligent mechanical nurse 240-7 refers to a robot designed to assist with healthcare tasks and provide support to the medical staff. In some embodiments, the intelligent mechanical nurse 240-7 may include a display screen, robotic arm (s) , sensors (e.g., an image sensor, a GPS sensor, an acoustic sensor, etc. ) , etc. For example, the intelligent mechanical nurse 240-7 may be an embodied intelligence robot including one or more sensing devices and a processing device. In some embodiments, the intelligent mechanical nurse 240- 7 is used in a target medical scenario relating to a surgery service provided to a patient in an operating room, the first intelligent agent includes a mechanical nurse intelligent agent corresponding to the intelligent mechanical nurse 240-7, and at least a portion of the user services relating to the target medical scenario are achieved based on the mechanical nurse intelligent agent. For example, the mechanical nurse intelligent agent may cause the intelligent mechanical nurse 240-7 to pass target surgery tools to a surgery participant, replenish the surgery tools, etc.

[0098] In some embodiments, the medical service device (s) 240 may further include a pre-consultation terminal device which is used to provide pre-consultation services. For example, the pre-consultation terminal device may be installed at the waiting region near a consultation room, and include a display screen, a sound output device, an acoustic sensor, an XR device, a wearable device, or a like, or any combination thereof. In some embodiments, the pre-consultation terminal device is used in a target medical scenario relating to a pre-consultation service provided to a patient, the first intelligent agents include a pre-consultation intelligent agent corresponding to the pre-consultation terminal device, and at least a portion of the user services relating to the target medical scenario are achieved based on the pre-consultation intelligent agent.

[0099] In some embodiments, the first intelligent agent corresponding to a medical service device may be configured on a processing device integrated into the medical service device. In some embodiments, the first intelligent agent corresponding to a medical service device may be configured to control the medical service device to perform certain operations so as to provide user services in the target medical scenario corresponding to the medical service device.

[0100] In some embodiments, a medical service device 240 may include a display component configured to present a virtual character representing the corresponding first intelligent agent. In some embodiments, at least a portion of the user services may be achieved based on the interaction between the users of the target medical scenario and the virtual character. More descriptions regarding the interactions with a virtual character may be found elsewhere in the present disclosure. See, e.g., FIG. 5 and relevant descriptions thereof.

[0101] It should be noted that the above examples of the medical service devices and their corresponding intelligent agents are provided for illustration purposes, and not intended to be limiting. In some embodiments, multiple medical service devices may share the same intelligent agent, for example, the mechanical nurse intelligent agent and the surgery intelligent agent may both correspond to the surgery intelligent agent, the intelligent hospital bed and the intelligent nursing trolley may both correspond to the hospitalization intelligent agent.

[0102] The sensing device (s) 250 may be configured to collect sensed information relating to the environment where it is located. In some embodiments, the sensing device (s) 250 may include sensing device (s) in the physical hospital 110. For example, the sensing device (s) 250 may include an image sensor 250-1, an acoustic sensor 250-2, a temperature sensor, a humidity sensor, etc.

[0103] The patient terminal device (s) 260 may be a terminal device that interacts with the patient 261. In some embodiments, the patient terminal device (s) 260 may include a mobile terminal 260-1, an XR device 260-2, a smart wearable device 260-3, etc. The doctor terminal device (s) 270 may be a terminal device that interacts with the doctor 271. In some embodiments, the doctor terminal device (s) 270 may include a mobile terminal 270-1, an XR device 270-2, etc. In some embodiments, the patient 261 may access the user space application (e.g., the patient space application) through a patient terminal device 260, and the doctor 271 may  access the user space application (e.g., the doctor space application) through a doctor terminal device 270. In some embodiments, the patient 261 and the doctor 271 may communicate with each other remotely via a patient terminal device 260 and a doctor terminal device 270, so as to provide remote medical services, such as remote consultation service, remote ward round service, remote follow-up service, etc.

[0104] The sensing device (s) 250, the patient terminal device (s) 260, and the doctor terminal device (s) 270 may be configured as data sources to provide information for the medical service system 200. For example, these devices may transmit collected data to the processing device 210, and the processing device 210 may provide user services based on the received data.

[0105] It should be noted that the above description of the medical service systems 100 and 200 is intended to be illustrative, and not to limit the scope of the present disclosure. Many alternatives, modifications, and variations will be apparent to those skilled in the art. The features, structures, methods, and other characteristics of the exemplary embodiments described herein may be combined in various ways to obtain additional and / or alternative exemplary embodiments. For example, the medical service system 200 may include one or more additional components, such as terminal devices of other users, public terminal devices of the hospital, etc. As another example, two or more components of the medical service system 200 may be integrated into a single component.

[0106] FIG. 3 is a schematic diagram illustrating an exemplary hospital support platform 300 according to some embodiments of the present disclosure.

[0107] As shown in FIG. 3, the hospital support platform 300 may include a hardware layer 310 (also referred to as a hardware module) , an interface layer 320 (also referred to as an interface module) , a data processing layer 330 (also referred to as a data processing module) , an application development layer 340 (also referred to as an application development module) , and a service layer 350 (also referred to as a service module) . It should be understood that the “layer” and “module” in the present disclosure are only used to logically divide the components of the hospital support platform, and are not intended to be limiting.

[0108] The hardware layer 310 may be configured to provide a hardware foundation for the interaction between a real world and a digital world, and may include one or more hardware devices related to hospital operation. An exemplary hardware device may include a medical service device, a sensing device, a terminal device, and a basic device. More descriptions regarding the hardware devices may be found elsewhere in the present disclosure. See, e.g., FIG. 1 and relevant descriptions thereof.

[0109] The interface layer 320 may be connected with the hardware layer 310 and the data processing layer 330. The interface layer 320 may be configured to obtain the data collected by the hardware devices of the hardware layer 310 and send the data to the data processing layer 330 for storage and / or processing. The interface layer 320 may also be configured to control at least a portion of the hardware devices of the hardware layer 310. In some embodiments, the interface layer 320 may include hardware interfaces and software interfaces (e.g., data interface, control interface) .

[0110] The data processing layer 330 may be configured to store and / or process data. The data processing layer 330 may include a processing device, and multiple data processing units may be configured on the processing device. The data processing layer 330 may be configured to obtain data from the interface layer 320 and process the data via at least one of the data processing units to implement user services related to the hospital business.

[0111] The data processing units may include various preset algorithms for implementing data processing, which may be in the form of software, programs, computer codes and / or instructions implemented by various computer programming languages (e.g., Java, C / C++) . In some embodiments, the data processing layer 330 may include a processing device (e.g., the processing device 220 in FIG. 2) . The data processing units may be configured on the processing device. In some embodiments, the data processing units may include XR units configured to process data using XR technologies to achieve XR services, AI units (e.g., intelligent agent units) configured to process the data using AI technologies to achieve AI services, digital twin units configured to process the data using digital twin technologies to achieve digital twin service, data circulation units configured to process the data using data circulation technologies (e.g., blockchain technologies, data privacy computing technologies) to achieve data circulation services, etc.

[0112] In some embodiments, the data processing layer 330 may also include a data center configured to store data. In some embodiments, the data center may adopt a lake-warehouse integrated architecture, which may include a data lake and a data warehouse. The data lake may be used to persistently store massive data in a tamper-proof manner. The data warehouse may be used to store index data corresponding to the data in the data lake. The data stored in the data lake may include native (or raw) data collected by the hardware devices, derived data generated based on the native data, etc. In some embodiments, the data in the data lakehouse may be processed by a processing device (e.g., the processing device 210) .

[0113] The application development layer 340 may be configured to support application development, publishing, subscription, etc. The application development layer 340 is also referred to as an ecological suite layer. In some embodiments, the application development layer 340 may be configured to provide open interfaces for application developers to access or invoke at least a portion of the data processing units and utilize the at least a portion of the data processing units to develop applications. In some embodiments, as shown in FIG. 3, the application development layer 340 may provide a development toolkit, an application marketplace, a multi-tenant operation platform, a cloud official website, a workspace, and other support kits to assist the developers in their work.

[0114] The service layer 350 may be configured for relevant users of the hospital business to access the user services relating to the hospital business via user space applications. More descriptions regarding the user services and the user space applications may be found elsewhere in the present disclosure. See, e.g., FIG. 1 and relevant descriptions thereof.

[0115] The present disclosure provides a hospital support platform designed for the comprehensive management of various resources within a hospital, including hardware resources, software resources, and data resources. In certain embodiments, the platform further incorporates data processing units capable of supporting advanced technologies, such as AI, XR, digital twin, and blockchain. These advanced technologies are harnessed to enhance service efficiency and quality within the healthcare industry. For instance, AI technologies enable autonomous evolution and continuous optimization of hospital operations, while XR and digital twin technologies facilitate the creation and maintenance of a virtual hospital. This virtual hospital can engage with users, offering an immersive and novel service experience. Additionally, the platform includes an application development layer that grants access to these advanced technologies to third-party developers within the healthcare industry. This access fosters an open ecosystem that promotes application development and innovation, thereby driving advancements in healthcare services.

[0116] FIG. 4 is a block diagram illustrating an exemplary processing device 210 according to some embodiments of the present disclosure. In some embodiments, the processing device 210 may be in communication with a computer-readable storage medium (e.g., the storage device 230 illustrated in FIG. 2) and execute instructions stored in the computer-readable storage medium. The processing device 210 may include an obtaining module 410 and a service module 420.

[0117] The obtaining module 410 may be configured to obtain data relating to a patient 261 in a target medical scenario. More descriptions regarding the obtaining the data relating to the patient may be found elsewhere in the present disclosure. See, e.g., FIGs. 1 and 5 and relevant descriptions thereof.

[0118] The service module 420 may be configured to provide a target service by processing sensed information related to the target medical scenario and the data relating to the patient. More descriptions regarding the user services may be found elsewhere in the present disclosure. See, e.g., FIGs. 1 and 5-7 and relevant descriptions thereof.

[0119] In some embodiments, the processing device 210 may include one or more other modules. For example, the processing device 210 may include a storage module to store data generated by the modules in the processing device 210. In some embodiments, any two of the modules may be combined as a single module, and any one of the modules may be divided into two or more units. For example, the service module 420 may include multiple units configured to support and / or achieve different user services.

[0120] FIG. 5 is a schematic diagram illustrating an exemplary process 500 for providing user services according to some embodiments of the present disclosure.

[0121] As illustrated in FIG. 5, one or more sensing devices 250 (e.g., an image sensor 250-1, an acoustic sensor 250-2, etc. ) may collect sensed information 510 related to a target medical scenario.

[0122] The target medical scenario refers to a scenario where at least one medical service is provided. For example, the target medical scenario may include a hospital or a portion of the hospital, such as a consultation room, a hospital ward, a waiting room, an operating room, etc. In some embodiments, the one or more sensing devices and medical service device (s) may be used in the target medical scenario.

[0123] In some embodiments, the processing device 210 may be configured for maintaining a second intelligent agent corresponding to the one or more sensing devices, and utilizing the second intelligent agent to control the one or more sensing devices to collect the sensed information. For example, the processing device 210 may utilize the second intelligent agent to control the image sensor 250-1 to collect image data related to the target medical scenario, and control the acoustic sensor 250-2 to collect acoustic data related to the target medical scenario.

[0124] In some embodiments, the processing device 210 may obtain the sensed information 510. For example, the one or more sensing devices 250 may send the sensed information 510 to the processing device 210. As another example, the one or more sensing devices 250 may store the sensed information 510 in a storage device (e.g., the storage device 230) , and the processing device 210 may retrieve the sensed information 510 from the storage device.

[0125] In some embodiments, the processing device 210 may provide user services 540 relating to the target medical scenario by processing the sensed information 510. For example, the processing device 210 may be configured for maintaining a first intelligent agent 520 corresponding to each of the medical service device (s) used in the target medical scenario, and achieving at least a portion of the user services relating to the target  medical scenario by engaging the first intelligent agent 520 in processing the sensed information. For instance, the processing device 210 may present a virtual character 534 corresponding to the first intelligent agent 520 via a display component 530 of the medical service device (s) , and the user services 540 may be provided based on interactions between relevant users (e.g., a patient, hospital staff (e.g., the doctor, the nurse, the hospital manager) ) of the target medical scenario and the virtual character 534. In some embodiments, the relevant users may interact with the virtual character 534 via a user terminal device (e.g., an XR device 532 shown in FIG. 5) .

[0126] A virtual character refers to a computer-generated person or entity designed to interact with the relevant users in a digital environment. The virtual character 534 may be configured to interact with the relevant users to provide the user services 540. For example, the virtual character 534 may communicate with a user by simulating human speech expressions, gestures, etc., providing the user with a realistic communication experience. During the communication, the user may express his / her needs or requests via voice, text, gestures, etc., using natural language, the first intelligent agent 520 may be built based on natural language processing algorithms to understand and analyze the users’ input, determine feedback information, and communicate the feedback information to the user via the virtual character 534.

[0127] In some embodiments, the virtual character 534 may be a digital character with certain appearance features, acoustic features, etc. For instance, the processing device 210 may determine the appearance features and / or the acoustic features of the virtual character 534 based on patient data of the patient. As another example, the processing device 210 may determine the appearance features and / or the acoustic features of the virtual character 534 based on data of a doctor or a nurse of the patient, such that the virtual character 534 may simulate the doctor or the nurse.

[0128] In some embodiments, the processing device 210 may be further configured to obtain data 560 relating to the patient in the target medical scenario. The data 560 may include multimodal data. The multimodal data may include data in multiple forms (e.g., images, graphics, video, text, etc. ) , data of various types, data obtained from different sources, etc. For example, the data 560 may include an electronic medical record, interaction information relating to interactions between the patient and a patient terminal device of the patient, examination data of the patient (e.g., an examination report, a medical image, vital signs) , doctor’s order, clinical path of the patient, data relating to the patient input by a medical service provider (e.g., a doctor, a nurse) , or the like, or any combination thereof. As another example, the data 560 may be collected from one or more hardware devices, such as a storage device of a hospital (e.g., the target medical scenario) , the patient terminal device of the patient, a terminal device of the medical service provider, an examination device (e.g., a vital sign monitor, a medical imaging device, a wearable examination device) , a public terminal device of a hospital, or the like, or any combination thereof.

[0129] In some embodiments, the processing device 210 may obtain the data 560 according to a predefined data acquisition protocol corresponding to the target medical scenario. For example, at least one hardware device may collect the data 560 relating to the patient according to the predefined data acquisition protocol, and the processing device 210 may obtain the data 560 from the at least one hardware device.

[0130] In some embodiments, the processing device 210 may provide the user services 540 by engaging the first intelligent agent 520 in processing the sensed information 510 and the data 560.

[0131] Exemplary user services 540 may include a medical consultation service, a registration service, a pre-consultation service, a hospitalization service, an admission inquiry service, a ward round service, a nursing service, a route guidance service, a discharge service, a follow-up service, or the like, or any combination thereof. Some of these services may be provided by different intelligent agents. For example, the registration service may be provided by a registration intelligent agent corresponding to a registration terminal based on interactions between the patient and a nurse virtual character representing the registration intelligent agent. As another example, the admission inquiry service may be provided by a hospitalization intelligent agent corresponding to an intelligent hospital bed based on interactions between the patient and a doctor virtual character representing the registration intelligent agent.

[0132] In some embodiments, the first intelligent agent 520 may generate a processing result 550 based on the sensed information 510 and / or the data 560, and the user services 540 may be provided to the relevant users based on the processing result 550. For example, the processing result 550 may include speech recognition result, image recognition result, abnormality detection result, etc. The first intelligent agent 520 may leverage various AI technologies (e.g., machine learning models) to generate the processing result 550. For example, the relevant users may include the hospital staff (e.g., the doctor, the nurse, the hospital manager) , and the user services 540 provided to the hospital staff may include providing a record, a notification, a suggestion, etc., based on the processing result 550.

[0133] According to some embodiments of the present disclosure, by integrating the intelligent agent, the user services can be provided automatically, which can reduce the need for extensive human labor, lowering operational costs and enhancing the efficiency of the providing the user services. In addition, the intelligent agent can continuously optimize the learned rules and mechanisms to enhance accuracy, efficiency, and service quality in the user services. Moreover, the present disclosure provides different types of intelligent agents that can handle tasks of different medical service providers, different departments, different hospital positions, etc., each intelligent agent can achieve self-optimization and evolution from specific data to better handle the corresponding tasks.

[0134] FIG. 6 is a schematic diagram illustrating an exemplary medical consultation process 600 according to some embodiments of the present disclosure. As shown in FIG. 6, the medical consultation process 600 may include a plurality of stages such as a registration stage 610, a waiting stage 620, a consultation stage 630, and a post-consultation stage 640. In some embodiments, the processing device 210 (e.g., the service module 420, an intelligent agent corresponding to medical service device (s) used in the consultation service / procedure configured on the processing device 210) may perform operations involved in the plurality of stages of the medical consultation process 600.

[0135] A patient may make an appointment to see a doctor at the registration stage 610. As shown in FIG. 6, the operations relating to the registration stage 610 may include obtaining / establishing an electronic health record, providing an intelligent registration service, providing a route planning service, providing a route guidance service, etc. In some embodiments, the patient may initiate a registration request via a patient terminal device or a registration terminal at a hospital site, or via the patient terminal device at another location outside the hospital.

[0136] In some embodiments, after receiving the registration request from the patient, the processing device 210 may obtain or establish an electronic health record of the patient. The electronic health record refers to an  electronic file that records various types of patient data. In some embodiments, the electronic health record may be updated as the consultation process of the patient progresses. For example, when the patient registers, the electronic health record may include basic patient information; after the patient completes the registration, the electronic health record may be updated to further include a chief complaint and a registration record of the patient.

[0137] In some embodiments, when receiving the registration request from the patient, the processing device 210 may provide an intelligent registration service for the patient. The intelligent registration service may be used to match the patient with a registration department, a registration doctor, and a registration time. In some embodiments, the processing device 210 may provide services relating to the registration stage through the registration terminal of the hospital or the patient terminal device of the patient. In some embodiments, the processing device 210 may determine the registration doctor of the patient by performing the process 700 in FIG. 7.

[0138] The route planning service may be used to provide the patient with a suggested route to the consultation room of the registration doctor. Specifically, the processing device 210 may generate, based on the current location of the patient and the location information of the consultation room of the registration doctor, a planned route to the consultation room. In some embodiments, the processing device 210 may generate the planned route after the patient registers at the hospital site. In some embodiments, when the patient registers remotely and arrives at the hospital, the processing device 210 may generate the planned route.

[0139] The route guidance service may be used to guide the patient to the consultation room of the registration doctor based on the planned route. In some embodiments, the processing device 210 may display guidance information to the patient via the patient terminal device (e.g., an XR device) of the patient. For example, the processing device 210 may cause the XR device to overlay the guidance information relating to the planned route on a real-world view of the patient through AR technologies.

[0140] The patient may wait for and prepare for the consultation at the waiting stage 620. In the waiting stage 620, the patient may be located on-site at the hospital (e.g., in a waiting region in front of the consultation room of the registration doctor) or may be in another location (e.g., at the home of the patient) outside the hospital. As shown in FIG. 6, the operations relating to the waiting stage 620 may include providing pre-consultation service, providing force feedback / temperature feedback, etc.

[0141] The pre-consultation service may be used to gather information about the patient by conducting an initial inquiry on the patient before the patient enters the consultation room for formal consultation. Specifically, when the patient is waiting for the consultation, the processing device 210 may conduct a pre-consultation inquiry on the patient through the patient terminal device of the patient or a waiting terminal configured in the waiting region to alleviate the anxiety of the patient while waiting, generate a record of the pre-consultation inquiry, and provide the record to the doctor for reference, so as to improve the consultation efficiency of the doctor.

[0142] The force feedback / temperature feedback may be used to provide reassuring feedback to the patient. Specifically, when the patient is waiting for consultation, the processing device 210 may apply force feedback and / or temperature feedback to the patient via a wearable device of the patient after detecting emotions (e.g.,  nervousness, fear, anxiety, etc. ) of the patient to make the patient feel actions such as shaking hands and hugging, thereby calming the patient's bad mood.

[0143] The patient may communicate with the registration doctor during the consultation stage 630 to receive the medical consultation service (e.g., an on-site consultation service in the consultation room, a remote consultation service) . As shown in FIG. 6, the operations relating to the consultation stage 630 may include providing an outpatient data preview, presenting medical data of the patient, providing a decision recommendation, generation of a diagnosis record, providing a remote accompanying service, etc.

[0144] The outpatient data preview may be used to display information about patients waiting to receive medical consultation services on a day to a doctor. For example, the processing device 210 may display a category of the patients before the doctor starts the consultation. The category of patients may include a first-time patient, a follow-up-patient, etc. In some embodiments, the doctor may view the outpatient data preview via a first terminal device in the consultation room or a doctor terminal device (e.g., the XR device) of the doctor.

[0145] In the consultation stage 630, the medical data (e.g., the electronic health record) of the patient may be displayed to the doctor, the patient, and / or a remote companion. Specifically, the processing device 210 may display the medical data of the patient synchronously to the doctor, the patient, and / or the remote companion via at least one terminal device. In addition, the display mode and / or display content of the medical data may be updated synchronously based on an interactive instruction issued by the doctor, the patient, and / or the remote companion, so that the doctor, the patient, and / or the remote companion may communication with each other conveniently.

[0146] The decision recommendation may be provided to the doctor for reference during the consultation stage 630. Specifically, the processing device 210 may generate the decision recommendation based on sensed information collected by a sensing device during the consultation process, so that the doctor may adjust the diagnosis mode, the diagnosis result, and / or the prescription to improve the consultation efficiency and consultation accuracy.

[0147] The diagnosis record may be generated to record information about the patient’s medical condition as diagnosed by the doctor, the doctor’s order, etc.

[0148] The remote accompanying service may be used to provide an immersive accompanying service for the patient and the remote companion. For example, the processing device 210 may present, to the remote companion, a virtual consultation room that simulates a real consultation room, a real-time picture of the doctor in the consultation room, and a real-time picture of the patient in the consultation room. As another example, the processing device 210 may present a real-time picture of the remote companion via the first terminal device in the consultation room. As another example, the processing device 210 may present the real-time picture of the remote companion to the doctor and the patient via the doctor terminal device of the doctor and the patient terminal device of the patient, respectively.

[0149] More descriptions regarding the display of medical data, the decision recommendation, the diagnosis record, and the remote accompanying service may be found in the relevant descriptions of FIG. 10, which will not be repeated herein.

[0150] In some embodiments, the processing device 210 may provide services relating to the consultation stage to relevant users (e.g., the doctor, the patient, the remote companion) via at least one terminal device.  The at least one terminal device includes a first terminal device in the consultation room, a patient terminal device, a doctor terminal device of the doctor, a terminal device of the remote companion, etc.

[0151] The first terminal device in the consultation room refers to a terminal device installed at the site of the consultation room and may include a display screen, a sound output device, an acoustic sensor, an XR device, a wearable device, or the like, or any combination thereof. For example, after the patient enters the consultation room, the processing device 210 may present, to the doctor and / or the patient via the display screen of the first terminal device, the electronic health record, the decision recommendation, the pre-consultation record, the diagnosis record, the real-time picture of the remote companion, etc. As another example, the patient may wear the wearable device of the first terminal device and receive force feedback from the remote companion via the wearable device. As yet another example, the doctor and the patient may wear the XR devices of the first terminal device, and the processing device 210 may present various types of information to the doctor and / or the patient via the XR devices of the first terminal device. In some embodiments, the XR device worn by the patient may also be an XR device of the registration terminal.

[0152] Referring to FIG. 11, FIG. 11 is a schematic diagram illustrating an exemplary consultation interface 1100 according to some embodiments of the present disclosure. As shown in FIG. 11, the consultation interface 1100 may include a first interface element 1110 relating to an electronic health record of a patient, a second interface element 1120 relating to a remote accompanying service, a third interface element 1130 relating to a medical record, and a fourth interface element 1140 relating to a decision recommendation.

[0153] The presentation content and / or presentation form of the consultation interface 1100 may change as the consultation process progresses. For example, the doctor and / or the patient may issue a control instruction to adjust the content presented in the consultation interface 1100. The control instruction may include various forms of instruction such as a speech control instruction, a gesture control instruction, a touch control instruction, and a control instruction input by an input device (e.g., mouse, keyboard, etc. ) .

[0154] The first interface element 1110 may be an icon corresponding to the electronic health record or may be used to present the content of the electronic health record. During the consultation, the doctor and / or the patient may retrieve at least a portion of the electronic health record for presentation via the first interface element 1110 by issuing a control instruction.

[0155] The second interface element 1120 may be an icon corresponding to the remote accompanying service or may be used to present a picture of a remote companion. When a request for the remote accompanying service is approved by the doctor, the patient may communicate with the remote companion during the consultation process and view the picture of the remote companion via the second interface element 1120.

[0156] The third interface element 1130 may be an icon corresponding to the medical record or may be used to present the medical record such as a pre-consultation record, a diagnosis record (apreliminary diagnosis record or a target diagnosis record) , etc. During the consultation process, in response to detecting that the patient has started consultation, the pre-consultation record may be presented through the third interface element 1130. When the doctor and the patient have completed the communication, the third interface element 1130 may be updated to present a preliminary diagnosis record. When the doctor confirms or modifies the preliminary diagnosis record, the third interface element 1130 may be updated to present a target diagnosis record.

[0157] In some embodiments, the processing device 210 may determine that the patient has started consultation based on a call instruction. The call instruction refers to an instruction issued by the doctor to start the consultation of the next patient. The doctor may initiatively issue the call instruction via the public terminal device or the doctor terminal device. Alternatively, after the doctor submits the target diagnosis record of a previous patient, the processing device 210 may automatically generate the call instruction. In some embodiments, when the patient receives the on-site medical consultation service, the processing device 210 may determine that the patient has started consultation based on positioning information of the patient terminal device of the patient. Alternatively, the processing device 210 may determine that the patient has started consultation by obtaining an image of the patient entering the consultation room collected by the sensing device (e.g., an image sensor) . When the patient receives the remote medical consultation service, the processing device 210 may determine that the patient has started consultation by obtaining confirmation messages sent by the doctor and the patient via the doctor terminal device and the patient terminal device, respectively.

[0158] The fourth interface element 1140 may be an icon corresponding to a decision recommendation or may be used to present the content of the decision recommendation.

[0159] In some embodiments, the processing device 210 may provide services relating to the consultation stage to the doctor and the patient via the doctor terminal device of the doctor and the patient terminal device of the patient. At least a portion of the content presented by the doctor terminal device and the patient terminal device may be synchronized.

[0160] In some embodiments, the processing device 210 may further provide services relating to the consultation stage to the remote companion via a remote terminal device (e.g., XR terminal device) of the remote companion. When the remote companion participates in the consultation process, the virtual consultation room may be synchronously presented by the remote terminal device of the remote companion.

[0161] In some embodiments, the processing device 210 may provide a remote medical consultation service. For example, the processing device 210 may obtain or generate a three-dimensional patient model. The 3D patient model may correspond to the patient or a part of the patient (e.g., upper body) . Merely by way of example, the processing device 210 may obtain an initial three-dimensional patient model from the electronic health record of the patient, and obtain the three-dimensional patient model by updating the initial three-dimensional patient model based on real-time dynamic data and physiological data of the patient. Further, the processing device 210 may present the three-dimensional patient model to the doctor and obtain an examination instruction input by the doctor via the doctor terminal device. Specifically, the processing device 210 may present the three-dimensional patient model on a field of view of the doctor via the doctor terminal device. The examination instruction input by the doctor may include an examination part, an examination device, and an examination operation. The doctor may input the examination instruction through various ways, for example, speech, gestures, and operation input devices (e.g., smart gloves, smart grips, etc. ) . For example, the doctor terminal device may present virtual examination devices corresponding to a plurality of examination devices. The doctor may select the virtual examination device via the input device and perform a virtual examination operation on the three-dimensional patient model using the virtual examination device. The processing device 210 may determine the examination part, the examination device, the examination operation, etc., based on the virtual examination operation performed by the doctor, and generate the  examination instruction. In addition to the examination instruction, the doctor may input other instructions to instruct the doctor terminal device to rotate, zoom in, zoom out, etc., the three-dimensional patient model.

[0162] In some embodiments of the present disclosure, the doctor and the patient may communicate remotely in the virtual consultation space via the doctor terminal device and the patient terminal device, which may provide the doctor and the patient with a barrier-free and immersive consultation experience. In addition, the three-dimensional patient model of the patient may be presented to the doctor, so that the remote examination may be performed more accurately and conveniently, thereby improving the accuracy of the diagnosis.

[0163] When the patient finishes the consultation, the patient may enter the post-consultation stage 640. As shown in FIG. 6, the operations relating to the post-consultation stage 640 may include providing a prescription pick-up service, providing an examination service, providing a health monitoring service, etc.

[0164] The prescription pick-up service may be used to assist the patient in picking up medications prescribed by the doctor. For example, the prescription pick-up service may be used to assist the patient in paying for medications, making an appointment with a prescription pick-up counter to pick up medications from the prescription pick-up counter, guiding the patient to the prescription pick-up counter, etc. The examination service may be used to assist the patient in receiving an examination ordered by the doctor. For example, the examination service may be used to assist the patient in paying for the examination, making an appointment with an examination department, guiding the patient to the examination department, etc.

[0165] In some embodiments, in response to detecting that the consultation process has been completed, the processing device 210 may determine a target service needed to be provided to the patient after the consultation process and make an appointment for the patient with a target department unit that provides the target service. The processing device 210 may detect whether the consultation process has been completed in various ways. For example, the processing device 210 may determine that the consultation process of the patient has been completed when detecting that the doctor has submitted the target diagnosis record of the patient or that the doctor has called a next patient.

[0166] In some embodiments, the processing device 210 may determine the target service needed by the patient based on a target treatment prescription in the target diagnosis record. For example, the target service may include a prescription pick-up service, and the target department unit may include a prescription pick-up counter. When the patient needs the prescription pick-up service, the processing device 210 may send medication prescription information of the patient to the prescription pick-up counter and make an appointment to pick up the medications. As another example, the target service may include an examination service, and the target department unit may include an examination department. When the patient needs the examination service, the processing device 210 may send information about the examination prescription of the patient to the examination department and make an appointment for the examination. Optionally, after making an appointment with the target department unit, the processing device 210 may send appointment information to the patient terminal device of the patient.

[0167] The health monitoring service may be used to continuously monitor the health status of the patient after the consultation process. For example, the processing device 210 may generate a health monitoring plan based on the target diagnosis record, and cause one or more monitoring devices to obtain health monitoring  information of the patient based on the health monitoring plan. Optionally, the processing device 210 may further update the health monitoring plan based on the health monitoring information.

[0168] In some embodiments, one or more operations in the medical consultation process 600 may be performed by an intelligent agent corresponding to the medical service device (s) used in the medical consultation service / process. In some embodiments, different stages of the medical consultation process 600 may share one intelligent agent, or different stages may correspond to different intelligent agents.

[0169] FIG. 7 is a schematic diagram illustrating an exemplary process for determining a doctor with whom a patient is registered (also referred to as a registration doctor of the patient) according to some embodiments of the present disclosure. The process 700 shown in FIG. 7 may be performed in a target medical scenario relating to a registration service provided to a patient in the registration stage 610.

[0170] In 710, a chief complaint of the patient may be obtained.

[0171] The chief complaint of the patient refers to descriptions regarding a condition and / or symptoms self-reported by the patient. In some embodiments, the chief complaint of the patient may be in the form of text, speech, pictures, gestures, etc. In some embodiments, the processing device 210 may obtain the chief complaint of the patient via a patient terminal device of the patient or a registration terminal of a hospital.

[0172] In 720, at least one candidate department may be determined based on the chief complaint of the patient.

[0173] The candidate department refers to a department preliminarily determined based on the condition and / or symptoms of the patient. Specifically, the processing device 210 may extract a first keyword of the chief complaint of the patient. The first keyword may include key words that summarize the condition and / or the symptoms, such as the disease site, symptoms, time, intensity, frequency, etc. Further, the processing device 210 may determine the at least one candidate department based on the first keyword. For example, the processing device 210 may determine the at least one candidate department by retrieving a preset keyword-department look-up table. As another example, the processing device 210 may determine the at least one candidate department by inputting the first keyword into a department determination model. The department determination model refers to a pre-trained machine learning model that can output a recommended candidate department by processing a model input. In some embodiments, the preset keyword-department look-up table and / or the department determination model may be learned by the registration intelligent agent from the historical registration records.

[0174] In 730, the patient terminal device or the registration terminal may be caused to conduct a first inquiry on the patient based on the at least one candidate department.

[0175] The first inquiry may be used to further clarify consultation needs of the patient, so that a matched registration department and / or registration doctor may be determined for the patient. In some embodiments, the first inquiry may include multiple rounds of inquiries. Each round of inquiry may include one inquiry and one patient response.

[0176] In some embodiments, the processing device 210 may determine first inquiry content of the first inquiry based on the chief complaint of the patient and the at least one candidate department. The first inquiry content may at least include the content of a first round of inquiry. For example, the processing device 210 may input the chief complaint of the patient and the at least one candidate department into a first inquiry model, and the first inquiry model may output the content of the first round of inquiry. In some embodiments,  for subsequent rounds of inquiry in the first inquiry, the processing device 210 may determine the inquiry content based on the chief complaint of the patient, the at least one candidate department, and a historical round of inquiry using a second inquiry model.

[0177] In some embodiments, the processing device 210 may conduct the first inquiry by causing the patient terminal device or the registration terminal to display or play the first inquiry content. In some embodiments, the processing device 210 may cause the patient terminal device or the registration terminal to present a first virtual character that conducts the first inquiry. The first virtual character refers to a digitized character with specific features (e.g., specific appearance features, acoustic features, etc. ) , which may communicate with the patient and assist the patient in registration. In some embodiments of the present disclosure, the first inquiry is conducted using the first virtual character capable of communicating with the patient in natural language, which can enhance the patient’s sense of interaction, and improve the quality and efficiency of the registration service.

[0178] In 740, a recommended doctor for the patient to register may be determined based on first data collected during the first inquiry.

[0179] In some embodiments, the first data includes sensed information that may be collected by one or more sensing devices in the target medical scenario relating to the registration service. The sensed information may include speech data, text data, image data, etc. Further, the processing device 210 may determine at least one recommended department based on the confidence level of the at least one candidate department, so that the patient may select at least one registration department based on the at least one recommended department. After the registration department is determined, the patient terminal device or the registration terminal may display a registration link corresponding to the registration department, and the patient may further select the registration doctor and the registration time by clicking the registration link through the patient terminal device or the registration terminal.

[0180] In some embodiments, the processing device 210 may present the basic information and available registration time of each doctor corresponding to the registration department via the patient terminal device or the registration terminal. Merely by way of example, the processing device 210 may cause the XR device of the patient terminal device or the registration terminal to present a virtual character of a doctor, and the virtual character may introduce the basic information and the available registration time of the doctor. In some embodiments of the present disclosure, the first inquiry is conducted to communicate with the patient, thereby fully understanding the patient’s consultation needs. This may enhance the accuracy of the registration recommendations provided to the patient, improve the efficiency of the registration process, and simultaneously enhance the patient’s interactive experience.

[0181] In some embodiments, at least a portion of the process 700 may be performed by the intelligent agent corresponding to the registration terminal (also referred to as a registration intelligent agent) . The registration intelligent agent may understand and process natural language and images, allow the patient to describe the symptoms in his or her own words, and accurately assess the patient’s condition in order to give a high-confidence-level registration recommendation. At the same time, the registration intelligent agent may continuously improve the accuracy and efficiency of the intelligent registration service by learning from knowledge data and historical service data, thereby enhancing the user experience.

[0182] FIG. 8 is a schematic diagram illustrating an exemplary process 800 for providing a pre-consultation service according to some embodiments of the present disclosure. The process 800 shown in FIG. 8 may be performed in a target medical scenario relating to a pre-consultation service provided to a patient in the waiting stage 620. In some embodiments, at least a portion of the process 800 may be performed by a pre-consultation intelligent agent.

[0183] In 810, second inquiry content of a second inquiry may be determined based on a department of a doctor.

[0184] The second inquiry may also be referred to as a pre-consultation inquiry, which is used to preliminarily inquiry the patient before the formal consultation. The second inquiry may include multiple rounds of inquiry. The second inquiry content may include the inquiry content of each round of inquiry. Alternatively, the second inquiry content may only include inquiry content of a first round of inquiry. In some embodiments, the processing device 210 may obtain a pre-consultation record template corresponding to the department of the doctor and determine the second inquiry content based on the pre-consultation record template.

[0185] In some embodiments, the processing device 210 may obtain known information (e.g., an electronic health record, chief complaint, etc. ) about the patient, and determine missing information that has not been collected in the pre-consultation record template by comparing the pre-consultation record template with the known information. Further, the processing device 210 may determine the second inquiry content based on the missing information.

[0186] In some embodiments, the processing device 210 may determine the second inquiry content based on the department of the doctor and the known information about the patient using a third inquiry model. The third inquiry model may include a CNN model, an RNN model, an LSTM model, a BERT model, a ChatGPT model, etc. In some embodiments, the third inquiry model may include a missing information determination model and a first inquiry content determination model. The missing information determination model may be configured to output the missing information by processing the department of the doctor and the known information about the patient. The first inquiry content determination model may be configured to output the second inquiry content based on the missing information of the patient.

[0187] In 820, a pre-consultation terminal device or the patient terminal device of the patient may be caused to conduct the second inquiry on the patient based on the second inquiry content.

[0188] In some embodiments, after the patient registers with the doctor, the processing device 210 may determine an estimated waiting time for the patient to receive the medical consultation service. For example, the estimated waiting time may be a time difference between a current moment and a registration time of the patient. As another example, the estimated waiting time may be determined based on a daily consultation record of the doctor and the registration time of the patient. The daily consultation record of the doctor refers to a record reflecting a consultation condition of the doctor on the day.

[0189] In some embodiments, in response to determining that the estimated waiting time is greater than a first preset time threshold, the processing device 210 may cause the pre-consultation terminal device or the patient terminal device of the patient to conduct the second inquiry on the patient or present a recommendation to perform the second inquiry. This approach can ensure that there is sufficient time for the pre-consultation, and prevent the doctor calls the patient in the process of the pre-consultation.

[0190] In some embodiments, in response to determining that the estimated waiting time is smaller than a second preset time threshold, the processing device 210 may cause the pre-consultation terminal device or the patient terminal device of the patient to conduct the second inquiry on the patient or present the recommendation to perform the second inquiry. The second preset time threshold may be greater than the first preset time threshold. For example, when it is detected that the current moment is shorter than 24 hours from the registration time (i.e., the estimated waiting time is smaller than 24 hours) , the pre-consultation terminal device or the patient terminal device may present the recommendation for conducting the second inquiry (e.g., presenting the recommendation through a virtual character) to the patient, thereby reminding the patient to conduct the pre-consultation promptly.

[0191] In some embodiments, the processing device 210 may detect that the patient initiates a pre-consultation request via the pre-consultation terminal device or the patient terminal device, and then cause the pre-consultation terminal device or the patient terminal device of the patient to conduct the second inquiry on the patient.

[0192] In some embodiments, a second virtual character may be presented by the pre-consultation terminal device or the patient terminal device to conduct the second inquiry based on the second inquiry content. The second virtual character refers to a digitized character with specific features (e.g., specific appearance features, acoustic features, etc. ) , and may communicate with the patient to conduct the pre-consultation on the patient. Specifically, the processing device 210 may display a second virtual character through a screen of the patient terminal device (e.g., an XR device) and play the second inquiry content through a sound output device of the patient terminal device. At the same time, the second virtual character may simulate human speech expressions, gestures, etc., providing patients with a realistic communication experience.

[0193] In some embodiments, the second virtual character may have preset appearance features. In some embodiments, the appearance features of the second virtual character may be determined based on optical image data of the doctor with whom the patient is registered. In some embodiments, the appearance features of the second virtual character may be determined based on basic patient information. In some embodiments, the processing device 210 may select a suitable virtual character from a library of virtual characters as the second virtual character based on the appearance features of the doctor and / or the basic patient information.

[0194] In some embodiments, the second inquiry may include multiple rounds of inquiries. The second inquiry content may include inquiry content of each round of inquiry in the second inquiry, and the second inquiry may be performed by the process 900 shown in FIG. 9.

[0195] As shown in FIG. 9, for the first round of inquiry, the processing device 210 may cause the pre-consultation terminal device or the patient terminal device to conduct the first round of inquiry based on the inquiry content corresponding to the first round of inquiry.

[0196] For each current round of inquiry other than the first round of inquiry (also referred to as a current inquiry) , the processing device 210 may adjust the inquiry content of the current inquiry (also referred to as current inquiry content) based on second data collected before the current inquiry, so as to make the inquiry content more consistent with the condition of the patient. Specifically, the processing device 210 may determine semantic information and emotional information of historical answers of the patient based on the second data collected before the current inquiry. The second data may include speech signals, image data, text  data, etc., collected by the pre-consultation terminal device or the patient terminal device. The historical answers refer to answers of the patient to historical rounds of inquiries.

[0197] The semantic information of the historical answers may indicate the content of the historical answers. The emotional information of the historical answers may indicate the emotion (e.g., calm, nervous, anxious, afraid, doubtful, irritable, etc. ) of the patient at the time of providing the historical answers. The processing device 210 may determine the semantic information by performing text transcription, speech content recognition, etc., on the second data. The processing device 210 may determine the emotional information by analyzing features such as content, tone, intonation, speed of speech of the second data, etc.

[0198] Continuing to refer to FIG. 9, the processing device 210 may adjust the current inquiry content based on the semantic information and the emotional information. For example, when the emotional information of the patient is “nervous” or “afraid, ” the processing device 210 may add reassuring words to the current inquiry content. As another example, when the semantic information indicates that the patient has not explicitly answered the historical inquiry, the processing device 210 may adjust the current inquiry content to repeat the historical inquiry, so as to guide the patient to explicitly answer the historical inquiry. The current inquiry content originally determined may be used as the inquiry content of a next round of inquiry. In this way, that the current inquiry content may be adjusted in time according to the status of the patient, thereby improving the quality of the pre-consultation service.

[0199] In some embodiments, in addition to adjusting the current inquiry content, acoustic features used for the current inquiry may be adjusted in real-time based on the status of the patient. The acoustic features may include speech rate features, tone features, intonation features, volume features, etc. As shown in FIG. 9, the processing device 210 may determine the acoustic features of the current inquiry based on the semantic information and the emotional information of the historical answers of the patient, and cause the pre-consultation terminal device or the patient terminal device to conduct the current inquiry based on the adjusted inquiry content and the acoustic features of the current inquiry. This approach may better take care of emotional changes of the patient, thereby enhancing the anthropomorphizing effect of the second virtual character, and improving the quality of the pre-consultation service.

[0200] In some embodiments, as shown in FIG. 9, the processing device 210 may further obtain physiological state information of the patient. The physiological state information of the patient may reflect a real-time physiological state of the patient. The physiological state information may include physiological parameter values (e.g., heart rate, pulse rate, respiratory rate, etc. ) of the patient. The physiological state information may also include information relating to the posture, limb behavior, facial expression, muscle status, etc. of the patient. In some embodiments, the physiological state information of the patient may be obtained using a wearable device worn by the patient, an image sensor in the environment of the patient.

[0201] Further, the processing device 210 may adjust the current inquiry content based on the semantic information, the emotional information, and the physiological state information. Specifically, the processing device 210 may update the emotional information of the patient based on the physiological state information of the patient. Understandably, the internal emotions of the patient may not always be fully expressed through the answers of the patient, so the emotional information of the patient may be updated or modified based on the physiological state information of the patient. Further, the processing device 210 may adjust the current inquiry content based on the semantic information and the updated emotional information.

[0202] According to some embodiments of the present disclosure, the accuracy of the emotional information of the patient can be improved by further considering the physiological state data of the patient, which can improve the accuracy of the adjustment of the current inquiry content, thereby improving the service quality of the pre-consultation service.

[0203] As shown in FIG. 9, in some embodiments, the processing device 210 may determine feedback parameters based on at least a portion of the semantic information, the emotional information, and the physiological state information, and control a wearable device to apply feedback to the patient based on the feedback parameters. The feedback may include at least one of force feedback or temperature feedback. The feedback parameters may be used to control the way in which the feedback is applied, e.g., a type of feedback, a part of the body to which the feedback is applied, a strength of the feedback, etc. In some embodiments, the processing device 210 may determine the emotion and the emotion level of the patient based on the at least a portion of the semantic information, the emotional information, and the physiological state information, and determine the feedback parameters based on the emotion and the emotion level. This approach may provide timely appeasement of the patient’s bad emotions, thereby improving the quality of the pre-consultation service.

[0204] In some embodiments, the processing device 210 may end the second inquiry based on a second preset condition. The second preset condition may be that a count of remaining missing information is 0. The second preset condition may be that a time difference between the current time and the estimated waiting time of the patient is smaller than a threshold. The second preset condition may also be similar to the first preset condition.

[0205] In some embodiments, the second inquiry content determined in the operation 810 may include only the inquiry content of the first round of inquiry. The current inquiry content of each current inquiry other than the first round of inquiry may be determined during the second inquiry. For example, during the current inquiry, the processing device 210 may input the inquiry content of the historical inquiry, the historical answers of the patient, the known information of the patient, etc. into the second inquiry content determination model, and the current inquiry content may be output by the second inquiry content determination model.

[0206] In 830, a pre-consultation record may be generated based on second data collected during the second inquiry.

[0207] In some embodiments, the second data includes sensed information may be collected by one or more sensing devices in the target medical scenario relating to the pre-consultation service. The sensed information may include speech data, text data, and image data, etc. The pre-consultation record may be used to record patient information collected during the second inquiry (i.e., the pre-consultation inquiry) . Optionally, some known information of the patient may also be recorded in the pre-consultation record. In some embodiments, the pre-consultation record may be generated according to a pre-consultation record template. The pre-consultation record template may be a template corresponding to the department of the doctor or a template set by the doctor.

[0208] For example, when the second data includes speech signals, the processing device 210 may first transcribe the speech signals into text, and extract a second keyword from the text via a keyword extraction algorithm. Further, the processing device 210 may convert the second keyword into medical terminology. Then, the processing device 210 may obtain a plurality of template fields in the pre-consultation record  template, retrieve content corresponding to each template field from the medical terminology, and fill the content in a corresponding position of the pre-consultation record template. The conversion of the second keyword may be performed based on a terminology conversion model or may be performed based on a knowledge dictionary. The terminology conversion model may be configured to convert spoken descriptions into the medical terminology.

[0209] FIG. 10 is a flowchart illustrating an exemplary process 1000 for providing a medical consultation service based on sensed information according to some embodiments of the present disclosure. In some embodiments, the process 1000 shown in FIG. 10 may be performed in a target medical scenario relating to a medical consultation service provided to a patient in a consultation room in the consultation stage 630. The process 1000 may include one or more of sub-processes 1010, 1020, 1030, 1040, and 1050. In some embodiments, at least a portion of the process 1000 may be performed by the consultation intelligent agent corresponding to the first terminal device.

[0210] The sub-process 1010 may be used to present an interface element relating to a pre-consultation record of the patient based on sensed information collected by one or more sensing devices in the consultation room. The sub-process 1010 may be executed in the consultation stage 630. As shown in FIG. 10, the sub-process 1010 may include operations 1012 and 1014.

[0211] In 1012, whether the patient has started consulting may be determined based on the sensed information.

[0212] For example, the processing device 210 may determine that the patient has started consulting based on the sensed information (e.g., an image) of the patient entering the consultation room collected by a sensing device (e.g., an image sensor) .

[0213] In 1014, in response to determining that the patient has started consulting, a first terminal device may be caused to present an interface element relating to the pre-consultation record of the patient (e.g., the third interface element 1130) . More descriptions regarding the pre-consultation record may be found in the relevant descriptions of FIG. 8.

[0214] The sub-process 1020 may be used to generate a target diagnosis record based on the sensed information. The sub-process 1020 may be performed at the end of the consultation stage 630. As shown in FIG. 10, the sub-process 1020 may include operations 1022, 1024, and 1026.

[0215] In 1022, a preliminary diagnosis record may be generated based on the sensed information.

[0216] The preliminary diagnosis record may be a diagnosis record automatically generated. In some embodiments, the preliminary diagnosis record may include a preliminary patient medical record, a preliminary diagnostic opinion, a preliminary diagnostic prescription (e.g., a preliminary treatment prescription and a preliminary examination prescription) , a preliminary doctor’s order, etc. In some embodiments, key content may be extracted from the sensed information based on a diagnosis record template. The key content refers to content relating to the template fields in the diagnosis record template. The key content may be converted into professional content based on a knowledge dictionary or a terminology conversion model. Further, the preliminary diagnosis record may be generated by updating the diagnosis record template based on the professional content and a knowledge database. The knowledge database refers to a knowledge database of the registration department, for example, including consultation specifications (e.g., disease description  specifications, diagnosis specifications, prescription specifications, doctor’s order specifications, etc. ) of the department.

[0217] In some embodiments, measurement data of the patient collected by one or more examination devices during the consultation process may be obtained, and the preliminary diagnosis record may be generated further based on the measurement data. In some embodiments, the preliminary diagnosis record may be generated by the consultation intelligent agent. The consultation intelligent agent may learn a mechanism for generating the diagnosis record from various data (such as a diagnosis record template, a knowledge dictionary, a knowledge database, etc. ) and generate the diagnosis record by processing the sensed information and the patient data based on the learned mechanism.

[0218] In 1024, the preliminary diagnosis record may be presented to the doctor.

[0219] For example, the processing device 210 may control the first terminal device to present the preliminary diagnosis record. As another example, the processing device 210 may control a doctor terminal device of the doctor to present the preliminary diagnosis record to the doctor. In some embodiments, the doctor terminal device may present the preliminary diagnosis record to the doctor at a preset time (e.g., after the doctor has finished the consultation on the day) .

[0220] In 1026, the target diagnosis record may be generated based on the preliminary diagnosis record and feedback information regarding the preliminary diagnosis record input by the doctor.

[0221] The feedback information input by the doctor may include modifications and / or confirmations of the preliminary diagnosis record input by the doctor. For example, the feedback information regarding the preliminary diagnosis record may be input by the doctor via the first terminal device or the doctor terminal device. The target diagnosis record refers to a diagnosis record modified and / or confirmed by the doctor. In some embodiments, the target diagnosis record may include a target patient medical record, a target diagnostic opinion, a target diagnostic prescription (e.g., a target treatment prescription and a target examination prescription) , a target doctor’s order, etc.

[0222] By generating the target diagnosis record, manual writing errors of the target diagnosis record may be reduced, and the efficiency of generating the target diagnosis record may be improved. On the other hand, the paperwork of the doctor may be reduced, so that the doctor can focus more on direct patient care rather than administrative tasks, thereby improving the quality of the medical consultation service.

[0223] The sub-process 1030 may be used to provide a decision recommendation based on the sensed information. The sub-process 1030 may be executed in the consultation stage 630. As shown in FIG. 10, the sub-process 1030 may include operations 1032 and 1034.

[0224] In 1032, the decision recommendation may be generated based on the sensed information and patient data of a patient. The decision recommendation refers to a recommendation to assist a doctor in providing the medical consultation service. An exemplary decision recommendation may include a supplemental inquiry recommendation, an examination recommendation, a prescription recommendation, a treatment scheme recommendation, etc.

[0225] In some embodiments, the decision recommendation may be determined based on a knowledge database, consultation specifications, etc. corresponding to a registration department. For example, the processing device 210 may determine the communication content between the doctor and the patient based on the speech signals collected by the acoustic sensor, and determine the decision recommendation by searching  the knowledge database, the consultation specifications, etc., based on the communication content and / or the patient data. In some embodiments, the decision recommendation may be generated based on a diagnostic model. Specifically, the processing device 210 may determine a model input based on the sensed information and the patient data, input the model input to the diagnostic model, and the diagnostic model may output the decision recommendation corresponding to the model input.

[0226] In some embodiments, the decision recommendation may be generated by the consultation intelligent agent. The consultation intelligent agent may learn a mechanism for generating the decision recommendation from various data (such as historical consultation records, the knowledge database, and the consultation specifications) , and provide the decision recommendation by processing the sensed information and the patient data based on the learned mechanism.

[0227] In 1034, the first terminal device or the doctor terminal device may be controlled to present the decision recommendation. The decision recommendation may improve the accuracy of the diagnosis and prescription, and improve the efficiency of the medical consultation service.

[0228] The sub-process 1040 may be used to switch presentation content of the first terminal device based on the sensed information. The sub-process 1040 may be performed in the consultation stage 630. As shown in FIG. 10, the sub-process 1040 may include operations 1042 and 1044.

[0229] In 1042, one or more keywords in a conversation between the doctor and the patient may be determined based on the sensed information.

[0230] The keyword may relate to the consultation service. For example, the one or more keywords may include key words that summarize the condition and / or the symptoms, such as the disease site, symptoms, time, intensity, frequency, etc. As another example, the keyword (s) may include a command word. In some embodiments, the processing device 210 may extract the one or more keywords in the conversation based on a keyword extraction algorithm, a speech recognition technology, an image recognition technology, a gesture recognition technology, etc.

[0231] In 1044, the presentation content of the first terminal device may be switched based on the one or more keywords.

[0232] For example, the processing device 210 may switch current presentation content of the first terminal device with presentation content corresponding to the one or more keywords. For instance, when the one or more keywords include examination data, the processing device 210 may present the examination data of the patient collected by examination devices to replace the current presentation content of the first terminal device.

[0233] The sub-process 1050 may be used to provide the remote accompanying service based on the sensed information. The patient may issue a request for the remote accompanying service before the consultation process. The sub-process 1050 may be performed in the consultation stage 630. As shown in FIG. 10, the sub-process 1050 may include operations 1052 and 1054.

[0234] In 1052, whether the patient needs to communicate with a remote companion may be determined based on the sensed information.

[0235] In some embodiments, the processing device 210 may detect, based on the sensed information (e.g., speech data and / or image data) , whether the patient has issued a request to communicate with the remote companion. In some embodiments, the processing device 210 may determine status information of the patient based on the sensed information, and determine whether the patient needs to communicate with the remote  companion based on the status information of the patient. For example, the processing device 210 may determine that the patient needs to communicate with the remote companion when the status information indicates that the patient is in a status of high tension, fear, etc.

[0236] When determining that the patient needs to communicate with the remote companion, the processing device 210 may perform operation 1054.

[0237] In 1054, the first terminal device may be controlled to enlarge an interface element relating to the remote accompanying service (also referred to as a second interface element) .

[0238] With the enlarged second interface element, the patient may view a real-time picture of the remote companion and better communicate with the remote companion. In some embodiments, when the patient receives the on-site medical consultation service in the consultation room, when detecting that the patient needs to communicate with the remote companion, the processing device 210 may remind the patient to wear an XR device and control the XR device to present image data of the remote companion.

[0239] In some embodiments of the present disclosure, the communication need of the patient may be detected based on the sensed information and the communication need may be promptly satisfied, thereby providing more humanized care for the patient, and providing a more realistic and immersive companion experience.

[0240] In some embodiments, the processing device 210 may further present medical data to target users based on the sensed information. For example, a control instruction issued by at least one of the target users may be obtained based on the sensed information for retrieving at least a portion of the medical data. In response to the control instruction, the at least a portion of the medical data may be retrieved and the at least a portion of the medical data may be presented via the first terminal device.

[0241] FIG. 12 is a schematic diagram illustrating an exemplary hospitalization process 1200 according to some embodiments of the present disclosure. As illustrated in FIG. 12, the hospitalization process 1200 includes a hospitalization admission stage 1210, an admission inquiry stage 1220, a hospitalization stage 1230, a discharge stage 1240, a follow-up stage 1250, or the like, or any combination thereof. When a patient is in different stages in the hospitalization process 1200, different user services may be provided to relevant users of the hospitalization process 1200. The relevant users of the hospitalization process may include the patient, medical service providers who provide medical services to the patient (e.g., a doctor, a nurse, etc. ) in the hospitalization process, visitors of the patient, etc.

[0242] In some embodiments, the processing device 210 (e.g., the service module 420, the hospitalization intelligent agent configured on the processing device 210) may perform operations involved in the plurality of stages of the hospitalization process 1200.

[0243] In the hospitalization admission stage 1210, the patient may handle related procedures to be admitted to a hospital. In some embodiments, a hospitalization admission service relating to the hospitalization admission stage 1210 may be provided to the relevant users. Merely by way of example, in response to a hospitalization guidance request, the processing device 210 may obtain a first position of a patient terminal device of the patient and a second position of the hospital ward, and determining a planned route from the first position to the second position based on a real-time map of the hospital. Further, the processing device 210 may direct the patient terminal device to present guidance information relating to the planned route to the patient. For instance, the processing device 210 may direct the patient terminal device to overlay the guidance  information on a real-world view of the patient through augmented reality (AR) techniques. As another example, the processing device 210 may direct the patient terminal device to illustrate hospitalization rules. As still another example, the processing device 210 may determine whether the patient satisfies a condition for performing an initial examination in the hospital ward. More descriptions regarding the hospitalization admission service may be found elsewhere in the present disclosure. See, e.g., FIG. 14 and relevant descriptions thereof.

[0244] In the admission inquiry stage 1220, the patient may receive an admission inquiry, which is used to gather essential information relating to the patient. In some embodiments, an admission inquiry service relating to the admission inquiry stage 1220 may be provided to the relevant users. For example, the admission inquiry service may include performing one or more inquiries on the patient, generating an admission record for the patient, or the like, or any combination thereof. More descriptions regarding the admission inquiry service may be found elsewhere in the present disclosure. See, e.g., FIG. 15 and relevant descriptions thereof.

[0245] In the hospitalization stage 1230, the patient may stay in the hospital (e.g., a hospital ward) for a period to receive round-the-clock medical attention. In some embodiments, a hospital ward service relating to the hospitalization stage 1230 may be provided to the relevant users. For example, the hospital ward service may include a nursing service 1232, a ward round service 1234, a visitation service 1236, or the like, or any combination thereof.

[0246] The nursing service 1232 is used to provide direct care to the patient, including administering medications, performing physical examinations, monitoring vital signs, and assisting with activities of daily living. More descriptions regarding the nursing service may be found elsewhere in the present disclosure. See, e.g., FIG. 16 and relevant descriptions thereof.

[0247] The ward round service 1234 relates to ward round performed by healthcare teams (e.g., at least one doctor) of the patient in the hospital ward, wherein the healthcare teams may review and discuss the status and care plans of the patient in the ward round. For example, the ward round service 1234 may include presenting data for facilitating communication between the doctor and the patient, generating a ward round record, presenting a virtual ward space to one or more remote doctors, or the like, or any combination thereof. More descriptions regarding the ward round service may be found elsewhere in the present disclosure. See, e.g., FIG. 17 and relevant descriptions thereof.

[0248] The visitation service 1236 allows a remote visitor to communicate with the patient remotely. For example, the visitation service 1236 may include generating a virtual visitation space for the patient and the remote visitor, presenting the virtual visitation space to the patient and the remote visitor, or the like, or any combination thereof.

[0249] Merely by way of example, in response to a visitation request, the processing device 210 may obtain first current information of the patient and second current information of a remote visitor, and generate the virtual visitation space for the patient and the remote visitor based on the first current information and the second current information. The first current information may indicate the current status and / or the current environment of the patient. The second current information may indicate the current status and / or the current environment of the remote visitor. The virtual visitation space refers to a digital environment presented to the patient and the remote visitor during visitation. Further, the processing device 210 may present, via a public  terminal device in the hospital ward and a remote terminal device of the remote visitor, the virtual visitation space to the patient, and the remote visitor, respectively.

[0250] In the discharge stage 1240, the patient may go through the discharge formalities. In some embodiments, a discharge service relating to the discharge stage 1240 may be provided to the relevant users to guide the patient to discharge from the hospital. Merely by way of example, in response to a discharge instruction received from a doctor terminal device of the doctor of the patient, the processing device 210 may obtain a target hospitalization record of the patient. The target hospitalization record may record information of the patient’s hospitalization process, for example, medical history, treatments received, medications prescribed, test results, and discharge summaries. Further, the processing device 210 may generate discharge data based on the target hospitalization record, and present the discharge data to the patient via the public terminal device in the hospital ward. The discharge data may include a discharge summary, doctor’s order regarding the discharge, guidance information regarding discharge formalities, guidance information regarding discharge procedure, discharge fee, payment manner, or the like, or any combination thereof. In response to determining that a discharge operation is performed by the patient, the processing device 210 may generate a discharge record corresponding to the patient. The discharge record is used to record data regarding the discharge, including discharge time, the discharge summary, the doctor’s order regarding the discharge, the discharge fee, the payment manner, a status of the patient when the patient discharges, etc.

[0251] In the follow-up stage 1250, ongoing care may be provided to the patient after he / she has been discharged from the hospital for ensuring continued recovery, managing any lingering health issues, and preventing readmission. In some embodiments, a follow-up service relating to the follow-up stage 1250 may be provided to the relevant users. Merely by way of example, the processing device 210 may determine a follow-up plan for the patient based on the target hospitalization record of the patient. The follow-up plan is used to direct how to provide the follow-up service for the patient. In some embodiments, the follow-up plan may include one or more follow-ups to be performed at one or more planned times. Further, the processing device 210 may cause the doctor terminal device of the doctor and the patient terminal device of the patient to remind the doctor and the patient based on the follow-up plan, respectively. A follow-up may be performed offline or remotely in a virtual follow-up space.

[0252] In some embodiments, after the follow-up is performed, the processing device 210 may generate a follow-up record corresponding to the patient. The follow-up record is used to record data regarding the follow-up, including time corresponding to the follow-up, an updated doctor’s order corresponding to the follow-up, the health monitoring information corresponding to the follow-up, etc. In some embodiments, the processing device 210 may update the follow-up plan. For example, the processing device 210 may obtain health monitoring information of the patient, and update the follow-up plan based on the health monitoring information. The health monitoring information may be collected by one or more home monitoring devices in the home of the patient.

[0253] FIG. 13 is a flowchart illustrating an exemplary process 1300 for providing hospitalization services according to some embodiments of the present disclosure. At least a portion of the process 1300 may be performed by the hospitalization intelligent agent.

[0254] In 1302, the processing device 210 may monitor data sources that collect data relating to a hospitalization process of a patient.

[0255] The data relating to the hospitalization process may indicate the progress of the hospitalization process, the status of the patient in the hospitalization process, and / or various aspects of the hospitalization process. A data source refers to a source (e.g., a hardware device) that provides (e.g., collects) the data relating to the hospitalization process. More descriptions regarding the hardware device may be found elsewhere in the present disclosure. See, e.g., FIG. 1 and relevant descriptions thereof.

[0256] In some embodiments, the processing device 210 may monitor the data sources to detect data update in at least one data source of the data sources. The data update may be detected when the at least one data source of the data sources collects updated data 1304 that have not been processed by the processing device 210. The updated data refers to data collected by the at least one data source that has not been processed by the processing device 210. In some embodiments, the processing device 210 may have a direct communication connection with the at least one data source, and directly monitor the at least one data source. Alternatively, the processing device 210 may have a communication connection with storage device (s) (e.g., the storage device 230) that store the data relating to the patient collected by the at least one data source, and monitor the at least one data source by monitoring the storage device (s) .

[0257] In response to detecting data updates 1304 in the at least one data source of the data sources, the processing device 210 may perform an EOI detection 1306 on updated data 1304 collected by the at least one data source. An EOI refers to a specific occurrence or action that needs to be paid attention to. The EOI detection 1306 refers to processing the updated data collected by the at least one data source to detect whether one or more EOIs occur. For example, exemplary EOIs may include that the patient is admitted to the hospital ward, that an initial examination is performed on the patient, that at least one doctor makes ward round in the hospital ward, that a nursing operation or a medical examination is performed on the patient, that the patient initiates a service request, that a doctor’s order of the patient is obtained or updated, that the physiological status of the patient is abnormal, that a doctor issues an instruction with respect to the patient, or the like, or any combination thereof.

[0258] In some embodiments, the at least one data source may include multiple data sources that collect data relating to the same EOI. In some embodiments, the at least one data source may include a data source that collects data relating to multiple EOIs.

[0259] In some embodiments, the processing device 210 may perform the EOI detection 1306 based on an EOI detection rule 1312. The EOI detection rule 1312 refers to a rule that needs to be followed when performing the EOI detection 1306. In some embodiments, the EOI detection rule 1312 may be determined based on historical records of EOI detections, or set manually by a user (e.g., a doctor, a nurse, a technician, etc. ) .

[0260] In some embodiments, each stage of the hospitalization process may correspond to one or more EOIs, and different stages of the hospitalization process may correspond to different types of EOIs. Therefore, the processing device 210 may perform the EOI detection 1306 on the updated data 1304 based on the current stage of the patient in the hospitalization process.

[0261] If there is an occurrence 1308 of EOI, the processing device 210 may perform one or more predetermined operations 1310 corresponding to the EOI to provide user services to relevant users. In the meantime, the processing device 210 may continue performing operation 1302 and the EOI detection 1306 to continuously monitor data updates and detect EOIs.

[0262] In some embodiments, the processing device 210 may perform one or more predetermined operations 1310 corresponding to the EOI to provide the hospitalization services to the relevant users.

[0263] The relevant users may include any users associated with the hospitalization procedure.

[0264] The predetermined operations 1310 may include a general operation and / or a specific operation. The general operation refers to an operation that needs to be performed as long as an EOI occurs regardless of the type of the EOI. For example, the general operation may include generating a record relating to the EOI, transmitting the record relating to the EOI to a relevant user for confirmation or a storage device for storage, etc. The specific operation refers to an operation that is performed when a specific type of EOI occurs. For example, updating a daily plan of the patient based on the updated data may be determined as a specific operation corresponding to the EOI that the doctor’s order of the patient is updated.

[0265] For example, when the EOI includes that the patient is admitted to the hospital ward, the one or more predetermined operations 1310 may include determining, based on patient data of the patient, inquiry content of an inquiry that is to be made for the patient after the patient is admitted to the hospital ward, causing a terminal device in the hospital ward to conduct the inquiry based on the inquiry content, obtaining sensed information collected by the one or more sensing devices in the hospital ward during the inquiry, and generating an admission record for the patient based on the sensed information.

[0266] As another example, when the EOI includes that a hospitalization guidance request is obtained, the one or more predetermined operations 1310 may include obtaining a first position of a terminal device of the patient and a second position of the hospital ward of the patient, determining a planned route from the first position to the second position based on a real-time map of the hospital, and directing the terminal device of the patient to present guidance information relating to the planned route to the patient.

[0267] As still another example, when the EOI includes that a condition for performing an initial examination is satisfied, the one or more predetermined operations 1310 may include controlling an intelligent nursing trolley to guide a nurse to the hospital ward to perform the initial examination on the patient.

[0268] As still another example, when the EOI includes that a doctor’s order of the patient is obtained or updated, the one or more predetermined operations 1310 may include for every day when the patient is hospitalized, determining a daily plan of the patient based on the patient data of the patient and the doctor’s order or the updated doctor’s order, presenting the daily plan to the patient via the terminal device in the hospital ward of the patient, and presenting the daily plan to a nurse corresponding to the patient via a terminal device of the nurse. The daily plan may include at least one medical operation needed to be performed on the patient in the day.

[0269] As still another example, when the EOI includes that at least one doctor makes word rounds in the hospital ward of the patient, the one or more predetermined operations 1310 may include obtaining sensed information collected by the one or more sensing devices in the hospital ward when the at least one doctor makes ward round in the hospital ward, and generating a ward round record based on the sensed information.

[0270] As still another example, when the EOI includes that a visitation request is obtained, the one or more predetermined operations 1310 may include obtaining first current information of the patient and second current information of a remote visitor, generating a virtual visitation space for the patient and the remote visitor based on the first current information and the second current information, and presenting the virtual visitation space to the patient and the remote visitor, respectively.

[0271] As still another example, when the EOI includes that a discharge instruction received, the one or more predetermined operations 1310 may include obtaining a target hospitalization record of the patient, generating discharge data based on the target hospitalization record, and presenting the discharge data to the patient via the terminal device in the hospital ward of the patient.

[0272] As still another example, when the EOI includes that the patient has been discharged from a hospital, the one or more predetermined operations 1310 may include determining a follow-up plan for the patient based on the target hospitalization record of the patient. The follow-up plan may include one or more follow-ups to be performed at one or more planned times. For each of the one or more follow-ups, the one or more predetermined operations may further include causing a terminal device of the doctor and a terminal device of the patient to remind the doctor and the patient based on the planned time of the follow-up, respectively.

[0273] In some embodiments, the processing device 210 may determine a corresponding relationship 1314 between EOIs and predetermined operations, and determine the one or more predetermined operations 1310 corresponding to the detected EOI based on the corresponding relationship 1314. The corresponding relationship 1314 may indicate one or more predetermined operations 1310 need to be performed when a specific type of EOI occurs. For example, the corresponding relationship 1314 may be in the form of a look-up table.

[0274] According to some embodiments of the present disclosure, the data sources that capture information regarding a patient’s hospitalization process are monitored. This monitoring facilitates timely detection of data updates and occurrence of EOIs, triggering corresponding predetermined operations promptly. Consequently, hospitalization services can be automatically and efficiently provided to relevant users, thereby enhancing service efficiency and quality. Furthermore, the monitored data sources gather multimodal data across different stages of the whole hospitalization process, enabling patient-centric healthcare and comprehensive hospital services.

[0275] In some embodiments, the processing device 210 may be configured with an intelligent agent (e.g., a hospitalization intelligent agent corresponding to the intelligent hospital bed, a nursing intelligent agent corresponding to the intelligent nursing trolley, etc. ) , and the intelligent agent may perform at least part of the process 1300. For example, the intelligent agent may learn the EOI detection rule 1312 from the historical records, and perform the EOI detection 1306 based on the EOI detection rule 1312. As another example, the intelligent agent may learn the corresponding relationship 1314 between EOIs and predetermined operations from the historical records, and determine the one or more predetermined operations 1314 corresponding to the EOI based on the corresponding relationship.

[0276] In some embodiments, the intelligent agent may learn the EOI detection rule 1312 and / or the corresponding relationship 1314 between EOIs and predetermined operations further based on patient data of different patients.

[0277] By integrating the intelligent agent, the system is enabled to continuously learn the EOI detection rules and / or the corresponding relationships utilizing big data technology, machine learning techniques, and other advanced methodologies. This ongoing optimization of the EOI detection rules and / or corresponding relationships leads to enhanced accuracy, efficiency, and service quality in hospitalization services.

[0278] FIG. 14 is a schematic diagram illustrating an exemplary process 1400 for providing a hospitalization admission service according to some embodiments of the present disclosure. The process 1400  may be performed when the processing device 210 detects that the patient is admitted to the hospital (e.g., the patient finishes related procedures to be admitted to the hospital) or in a target medical scenario relating to a hospitalization service provided to a patient in a hospital ward. In some embodiments, at least a portion of the process 1400 may be performed by a nursing intelligent agent corresponding to the intelligent nursing trolley used in the hospital ward.

[0279] As illustrated in FIG. 14, when the patient 261 is admitted to a hospital ward, the processing device 210 (e.g., the service module 420) may control the intelligent nursing trolley 240-4 to guide a nurse to the hospital ward based on a real-time map of a hospital to perform the initial examination 1402 on the patient 261.

[0280] After the initial examination 1402 is performed, the processing device 210 may obtain first measurement data 1404 relating to the patient 261 collected by one or more examination devices during the initial examination 1404. Optionally, the one or more examination devices may be accommodated in the intelligent nursing trolley 240-4. Further, the processing device 210 may generate a registration record 1406 of the patient 261 based on the first measurement data 1404.

[0281] In some embodiments, the processing device 210 may present the registration record 1406 to the nurse via the intelligent nursing trolley 240-4, and obtain feedback information 1408 regarding the registration record 1406 input by the nurse via the intelligent nursing trolley 240-4. The feedback information 1408 may include a confirmation instruction, a modification instruction, etc., input by the nurse. Then, the processing device 210 may generate a target registration record 1410 based on the registration record 1406 and the feedback information 1408. For example, the processing device 210 may generate the target registration record 1410 by updating the registration record 1406 based on the feedback information 1408.

[0282] According to some embodiments of the present disclosure, the hospitalization admission service (e.g., the initial examination) can be provided to the patient in a semi-automated manner with the assistance of the intelligent nursing trolley and / or the nursing intelligent agent corresponding to the intelligent nursing trolley, which can reduce labor costs and enhance the efficiency of the hospitalization admission service.

[0283] FIG. 15 is a schematic diagram illustrating an exemplary process 1500 for providing an admission inquiry service according to some embodiments of the present disclosure. In some embodiments, the process 1500 may be performed in the admission inquiry stage or in a target medical scenario relating to a hospitalization service provided to the patient in a hospital ward. In some embodiments, the process 1500 may be performed when the processing device 210 detects that the patient has arrived at the hospital ward and / or the initial examination has been completed. In some embodiments, at least a portion of the process 1500 may be performed by a hospitalization intelligent agent corresponding to the intelligent hospital bed.

[0284] In 1502, the processing device 210 (e.g., the service module 420) may determine, based on patient data of a patient, third inquiry content of a third inquiry that is to be made for the patient after the patient is admitted to the hospital ward.

[0285] The patient data may include basic data (e.g., name, age, gender, weight, address, job, etc. ) , health data (e.g., the disease type, the disease symptom) , historical data (e.g., historical clinical data, historical hospitalization data, etc. ) , registration data (e.g., a target registration record, etc. ) , or the like, or any combination thereof. In some embodiments, the patient data may include an electronic health record of the patient.

[0286] The third inquiry is also referred to as an admission inquiry, which is used to gather essential information of the patient to initially determine a condition of the patient and / or initially solve confusion (s) of the patient. The third inquiry content may include questions that need to be answered by the patient in the third inquiry.

[0287] In some embodiments, the processing device 210 may determine the third inquiry content of the third inquiry based on the patient data of the patient. The determination manner of the third inquiry may be similar to that of the first inquiry or the second inquiry.

[0288] In some embodiments, the third inquiry may include multiple rounds of inquiries, and each round of inquiry may include one inquiry and one answer of the patient. The third inquiry content may include the inquiry content of each round of inquiry. Alternatively, the third inquiry content may only include the inquiry content of the third round of inquiry.

[0289] In 1504, the processing device 210 (e.g., the service module 420) may cause, based on the third inquiry content, a third terminal device in the hospital ward to conduct the third inquiry.

[0290] The third terminal device may include an XR device and / or a presentation device.

[0291] The third inquiry may be conducted in a similar manner as how the second inquiry is conducted in as described in FIGs. 8 and 9, which is not repeated herein.

[0292] In 1506, the processing device 210 (e.g., the service module 420) may obtain sensed information collected by one or more sensing devices in the hospital ward during the third inquiry.

[0293] The sensed information may include information regarding answers of the patient during the third inquiry. The sensed information may include speech signals collected by one or more acoustic sensors, video signals collected by one or more image sensors, etc.

[0294] In 1508, the processing device 210 (e.g., the service module 420) may generate an admission record for the patient based on the sensed information.

[0295] The admission record is used to record details about the patient’s admission to the hospital. In some embodiments, the admission record may include information about the patient (e.g., the patient data) , information about the admission, information about the first inquiry, etc. In some embodiments, the processing device 210 may generate the admission record for the patient based on the sensed information and optionally the patient data. For example, the processing device 210 may obtain an admission template, and generate the admission record based on the admission template, the sensed information, and the patient data.

[0296] In some embodiments, after the admission record is generated, the processing device 210 may cause the doctor terminal device to present the admission record to the doctor for confirmation. If the doctor confirms the admission record, the processing device 210 may transmit the admission record to a storage device for storage. If the doctor provides feedback that more information needs to be included in the admission record, the processing device 210 may update the admission record.

[0297] In some embodiments, the processing device 210 may obtain feedback information regarding the admission record input by the doctor via the doctor terminal device. The feedback information may include information that is absent in the admission record but is deemed essential by the doctor. Further, the processing device 210 may determine supplementary inquiry content of a supplementary inquiry based on the feedback information, and cause the third terminal device in the hospital ward to conduct the supplementary inquiry based on the supplementary inquiry content. The supplementary inquiry may be conducted in a similar  manner as how the admission inquiry is conducted. And then, the processing device 210 may obtain supplementary sensed information collected by one or more sensing devices during the supplementary inquiry, and update the admission record based on the supplementary sensed information. Alternatively, the doctor may directly go to the hospital ward to make the supplementary inquiry for the patient. The processing device 210 may obtain the supplementary sensed information collected by the one or more sensing devices during the supplementary inquiry. The processing device 210 may further update the admission record based on the supplementary sensed information.

[0298] According to some embodiments of the present disclosure, the admission inquiry can be performed using the third terminal device automatically, and the admission record can be generated automatically, which can reduce the workload of the medical service providers.

[0299] FIG. 16 is a schematic diagram illustrating an exemplary process 1600 for providing a nursing service according to some embodiments of the present disclosure. In some embodiments, the process 1600 may be performed for every day when the patient is hospitalized to provide a nursing service for the patient or in a target medical scenario relating to a hospitalization service provided to the patient in a hospital ward.

[0300] In 1602, the processing device 210 may determine, based on patient data of the patient and a doctor’s order of the patient, a daily plan of the patient.

[0301] The doctor’s order of the patient refers to instructions or directives given by a doctor to the patient. In some embodiments, the doctor’s order of the patient may be stored in a storage device and be updated if any doctor gives a new doctor’s order for the patient. The processing device 210 may obtain the latest version of the doctor’s order from the storage device. In some embodiments, the processing device 210 may monitor various hardware devices to detect whether the doctor’s order of the patient is updated. For example, when an admission inquiry service and / or a ward round service is provided to the patient, a doctor of the patient may give a new doctor’s order to the patient. The processing device 210 may detect the new doctor’s order based on sensed information collected by sensing device (s) during the admission inquiry service and / or the ward round service. Once the new doctor’s order is detected, the new doctor’s order may be stored in the storage device. As another example, the doctor may update the doctor’s order of the patient stored in the storage device via the doctor terminal device. In some embodiments, the processing device 210 may determine the doctor’s order based on the electronic health record of the patient.

[0302] In some embodiments, the processing device 210 may determine the daily plan of the patient based on the patient data of the patient and the doctor’s order of the patient. The daily plan may include at least one medical operation needed to be performed on the patient in the day. Exemplary medical operations may include a nursing operation, an examination operation, etc.

[0303] In 1604, the processing device 210 may present the daily plan to the patient via a public terminal device in the hospital ward (e.g., the third terminal device) .

[0304] In 1606, the processing device 210 may present the daily plan to a nurse corresponding to the patient via a nurse terminal device, such as a terminal device in the nurse’s workstation, etc.

[0305] In 1608, when the daily plan includes at least one nursing operation, the nurse may perform the at least one nursing operation on the patient, and the processing device 210 may assist the nurse to perform the at least one nursing operation based on the daily plan.

[0306] As shown in FIG. 16, for each of the at least one nursing operation, the processing device 210 may control an intelligent nursing trolley to guide the nurse to the hospital ward to perform the nursing operation based on a planned time of the nursing operation. For example, before the planned time of a nursing operation, the intelligent nursing trolley may be controlled to move to the nurse’s workstation to notify the nurse that the nursing operation needs to be performed for the patient. Then, the intelligent nursing trolley may be controlled to move and guide the nurse to the hospital ward of the patient. The processing device 210 may further control the intelligent nursing trolley to present nursing illustrations regarding the nursing operation after the nurse arrives at the hospital ward.

[0307] In 1610, the processing device 210 may generate a nursing record.

[0308] The nursing record refers to a record regarding nursing operations that have been applied to the patient and / or the patient’s status (e.g., vital signs and other physiological measurements) before, after, or when the nursing operations are performed. In some embodiments, the processing device 210 may obtain sensed information collected by one or more sensing devices in the hospital ward when the at least one nursing operation is performed, and generate the nursing record based on the sensed information. In some embodiments, the nursing record may be displayed to the nurse via the intelligent nursing trolley or the nurse terminal device for confirmation.

[0309] In some embodiments, the daily plan may further include monitor the patient’s physiological condition. For example, the processing device 210 may determine whether there is an abnormality in a physiological condition of the patient based on sensed information collected in the hospital ward. In response to determining that an abnormality exists in the physiological condition of the patient, the processing device 210 may control the intelligent nursing trolley to guide the nurse to the hospital ward of the patient.

[0310] In some embodiments, the processing device 210 may be configured with an intelligent agent (e.g., the nursing intelligent agent corresponding to the intelligent nursing trolley) , and the intelligent agent may be engaged in performing at least a portion of the process 1600. In some embodiments, the processing device 210 configured with the nursing intelligent agent may be integrated into the intelligent hospital bed, or the third terminal device in the hospital ward, or the intelligent nursing trolley.

[0311] According to some embodiments of the present disclosure, the automatic generation of the daily plan and the nursing record can significantly alleviate the workload of nurses. This automation allows nurses to focus more on direct patient care rather than administrative tasks. Furthermore, the monitoring of updates to doctor’s orders ensures timely updates to the daily plan. This proactive approach enhances nursing effectiveness and quality of care by ensuring that interventions and care plans are promptly adjusted according to the latest medical instructions.

[0312] FIG. 17 is a schematic diagram illustrating an exemplary process 1700 for providing a ward round service according to some embodiments of the present disclosure. In some embodiments, the process 1700 may be performed in the hospitalization stage. In some embodiments, the process 1700 may be performed when the processing device 210 detects that at least one doctor makes ward round in the hospital ward of the patient or in a target medical scenario relating to a hospitalization service provided to the patient in a hospital ward. In some embodiments, at least a portion of the process 1700 may be performed by the hospitalization intelligent agent.

[0313] In 1702, the processing device 210 (e.g., the service module 420) may obtain sensed information. The sensed information may be collected by sensing device (s) in the hospital ward when at least one doctor makes ward round in the hospital ward. In some embodiments, the processing device 210 may detect the ward round (i.e., an EOI) by analyzing sensed information collected by the sensing device (s) .

[0314] In 1706, the processing device 210 (e.g., the service module 420) may generate a ward round record.

[0315] The ward round record is used to record data regarding the ward round, including the time, the participants, the patient data, the communication content between the patient and the at least one doctor, the doctor’s order given in the ward round, etc. In some embodiments, the ward round record may be presented to the at least one doctor (or a portion thereof) for confirmation.

[0316] In some embodiments, the processing device 210 may generate the ward round record based on the sensed information and second measurement data. As illustrated in FIG. 17, in 1704, the processing device 210 may further obtain second measurement data of the patient. The second measurement data may be collected by one or more examination devices during the ward round. The second measurement data may be similar to the first measurement data as described in connection with FIG. 14.

[0317] In some embodiments, one or more remote doctors may participate in the ward round remotely. For example, the processing device 210 may generate a virtual ward space 1710 based on the sensed information, and present the virtual ward space 1710 to one or more remote doctors (e.g., a doctor 1722, a doctor 1724, and a doctor 1726) via one or more XR devices of the one or more remote doctors. A remote doctor refers to a doctor who is not located in the hospital ward. The virtual ward space refers to a digital environment for ward rounds. For example, the virtual ward space may be a digital twin space of the hospital ward of the patient, which mirrors the real-time situation in the hospital ward and offers remote doctors an immersive experience akin to being physically present. Optionally, a remote doctor can communicate with the at least one doctor and the patient in the hospital ward via an XR device.

[0318] In some embodiments, the process 1700 may further include operation 1712. In 1712, before the ward round service is provided, the processing device 210 may present patient data of the patient to the at least one doctor (or a portion thereof) via a second terminal device of each of the at least one doctor (or a portion thereof) .

[0319] FIG. 18 is a schematic diagram illustrating an exemplary process 1800 for surgery planning and executing according to some embodiments of the present disclosure.

[0320] As illustrated in FIG. 18, the surgery process 1800 includes a surgery planning stage 1810, a surgery simulation stage 1820, a preoperative preparation stage 1830, a surgery execution stage 1840, a postoperative review stage 1850, or the like, or any combination thereof. When a patient is in different stages in the surgery process 1800, different user services may be provided to relevant users of the surgery process 1800. The relevant users of the surgery process 1800 may include the patient, medical service providers who provide medical services to the patient (e.g., a doctor, a nurse, etc. ) in the surgery process, companions of the patient, etc.

[0321] In some embodiments, the processing device 210 (e.g., the service module 420, an intelligent agent corresponding to medical service device (s) used in the surgery service / procedure configured on the processing device 210) may perform operations involved in the plurality of stages of the surgery process 1800. For  example, the medical service device may include an intelligent surgery terminal, an intelligent mechanical nurse in an operating room, etc.

[0322] In 1810, surgery planning is performed.

[0323] The surgery planning refers to a process of formulating a surgery plan (e.g., an optimal surgery plan or multiple feasible surgery plans) for a patient. In some embodiments, the processing device 210 may generate a surgery plan based on patient data (e.g., patient personal data, historical diagnosis and treatment data, medical examination data, etc. ) , doctor feedback information, and / or sensed information (e.g., second sensed information) . In some embodiments, the processing device 210 may generate a preliminary surgery plan based on the patient data, present the patient data to a doctor via a doctor terminal device, and generate the surgery plan based on the preliminary surgery plan and feedback information regarding the preliminary surgery plan input by the doctor through the doctor terminal device.

[0324] In some embodiments, the processing device 210 may determine a surgery difficulty factor based on the patient data and further determine whether to convene an expert meeting based on the surgery difficulty factor. In response to determining that an expert meeting is needed, the processing device 210 presents a virtual meeting space separately through the doctor terminal device of the doctor and the remote terminal device (e.g., an XR device) of the remote expert. During the expert meeting, the processing device 210 obtains second sensed information collected by the doctor terminal device and the remote terminal device. The processing device 210 generates the surgery plan based on the patient data and the second sensed information.

[0325] In some embodiments, the processing device 210 may generate a risk assessment result of the surgery plan by processing the surgery plan and at least a portion of the patient data using a risk assessment model. The processing device 210 determines risk prevention measures based on the risk assessment result and presents the risk assessment result and the risk prevention measures of the surgery plan to the doctor.

[0326] In 1820, surgery simulation is performed.

[0327] The surgery simulation refers to a process of practicing a surgery in a safe and controlled environment by a doctor to improve the surgery plan and / or improve surgery skills of the doctor. For example, for a complex surgery or a rare surgery, the doctor may perform a simulation surgery on a virtual patient in a virtual surgery scene (such as an extended reality surgery scene) using an XR device based on the surgery plan. Potential risk points during the surgery are identified and corresponding risk prevention measures are formulated. Additionally, for multiple surgery plans, the doctor may use an extended reality device to simulate each surgery plan in a virtual surgery scene, in order to compare the advantages and disadvantages of different surgery plans and determine the optimal surgery plan.

[0328] In some embodiments, the processing device 210 may generate a virtual surgery scene for the surgery simulation based on the surgery plan and present the virtual surgery scene to the doctor through the doctor terminal device of the doctor. The processing device 210 may obtain an interaction instruction related to virtual surgery equipment input by the doctor through the doctor terminal device or an interactive device corresponding to the virtual surgery equipment. The processing device 210 may update a virtual surgery site and the virtual surgery equipment in the virtual surgery scene based on the interaction instruction.

[0329] In some embodiments, the processing device 210 may determine a possible emergency condition in the virtual surgery scene based on the interaction instruction. Based on the possible emergency condition, the processing device 210 may update the virtual surgery site and the virtual surgery equipment in the virtual  surgery scene. Merely by way of example, the processing device 210 may obtain simulation data of the virtual surgery site and the virtual surgery equipment during the surgery simulation process. The processing device 210 may determine whether the surgery plan is required to be optimized based on the simulation data. In response to determining that the surgery plan is required to be optimized, the processing device 210 may update the surgery plan based on the simulation data. In some embodiments, operation 1620 be omitted.

[0330] In 1830, preoperative patient preparation is performed.

[0331] The preoperative patient preparation refers to preparatory matters for the patient before the surgery process or before entering an operating room for conducting the surgery process. As shown in FIG. 18, the preoperative patient preparation may include preoperative education (or referred to as a preoperative care) 1832 and preoperative guidance 1834.

[0332] The preoperative education refers to a process of explaining the patient’s condition, a surgery plan to the patient and / or the patient’s family, and a process of deducing the patient’s postoperative rehabilitation status. For example, the processing device 210 may determine preoperative education materials for the patient based on patient data and a surgery plan. During the process of transporting the patient to the waiting area, the processing device 210 may cause a patient terminal device of the patient to deliver preoperative care to the patient based on the preoperative education materials. As another example, the processing device 210 may generate explanatory materials for explaining a surgery plan, and simultaneously present the explanatory materials to the patient and a doctor via at least one terminal device. The explanatory materials may be generated based on a digital twin model of a surgery site of the patient. For example, the explanatory materials may include a surgery video presenting a process of a surgery to be performed according to the surgery plan on a surgery site of the patient.

[0333] In some embodiments, during the process of transporting the patient to the waiting area, the processing device 210 may obtain third sensed information related to a portion of the planned route from the current position of the intelligent chair to the waiting area (e.g., the portion of the planned route that the intelligent chair has not traveled) through one or more fourth sensing devices in the hospital. Based on the third sensed information, the processing device 210 may determine potential risks in the untraveled portion of the planned route and update the untraveled portion based on the potential risks.

[0334] In some embodiments, the processing device 210 may generate explanatory notes for the surgery plan based on the second sensed information, and generate an explanatory video for the surgery plan based on the surgery video and the explanatory notes of the surgery plan.

[0335] In some embodiments, the explanatory materials may include a rehabilitation process of the patient, and the processing device 210 may predict the rehabilitation process of the patient after the surgery based on the patient data of the patient.

[0336] In some embodiments, the processing device 210 may obtain interaction instructions related to the explanatory materials from at least one terminal device and update the explanatory materials displayed through the at least one terminal device based on the interaction instructions. The interaction instructions refer to control or modification instructions for the explanatory materials input by the patient through the patient terminal device or by the doctor through the doctor terminal device.

[0337] In some embodiments, the processing device 210 may determine feedback information with respect to the surgery plan based on the second sensed information collected by one or more second sensing devices  during an explaining process of the surgery plan, and confirm or update the surgery plan for the patient based on the feedback information. In some embodiments, after determining the target surgery plan from multiple surgery plans, the processing device 210 may further obtain a first confirmation instruction and a second confirmation instruction. The first confirmation instruction is an instruction regarding the surgery plan input by the patient through the patient terminal device. The second confirmation instruction is an instruction regarding the surgery plan input by the family of the patient through the family terminal device. In response to receiving the first confirmation instruction and the second confirmation instruction, the processing device 210 may cause the patient terminal device, the doctor terminal device, and the family terminal device to present the operation agreement respectively. The processing device 210 may obtain signature information of the operation agreement from the patient terminal device, the doctor terminal device, and the family terminal device, respectively.

[0338] The preoperative guidance refers to a process of guiding the patient to complete a preoperative preparation before the surgery process.

[0339] In some embodiments, the processing device 210 may determine a planned route from the patient’s current position to the waiting area and control an intelligent chair to transport the patient to the waiting area along the planned route. For example, as shown in FIG. 18, before performing preoperative procedures on the patient based on the surgery plan, the processing device 210 may determine the planned route from the current position of the patient 261 (such as a hospital ward 1803) to the waiting area 1810. The processing device 210 may control an intelligent chair 240-5 to transport the patient 261 from the hospital ward 1803 to the waiting area 1810 along the planned route.

[0340] In 1840, a surgery execution is performed.

[0341] The surgery execution refers to surgery-related operations performed on the patient after entering the operating room. In some embodiments, the processing device 210 may obtain first sensed information collected by one or more sensing devices in the operating room during the patient’s surgery process and perform EOI detection on the first sensed information. In response to determining that an EOI has occurred, the processing device 210 may execute one or more predetermined operations corresponding to the EOI. More descriptions regarding the one or more predetermined operations may be found elsewhere in the present disclosure (e.g., FIG. 19 and the descriptions thereof) .

[0342] In 1850, a postoperative review is performed.

[0343] The postoperative review may include at least one of updating a medical advice report, generating a surgery outcome and an operational record of the doctor (to facilitate a review of the surgery process) , and creating a postoperative care plan, etc.

[0344] FIG. 19 is a flowchart illustrating an exemplary process 1900 of a surgery execution according to some other embodiments of the present disclosure. In some embodiments, the process 1900 may be executed by the processing device 210 or an intelligent agent corresponding to medical service device (s) used in the surgery service / procedure configured on the processing device 210 or a target medical scenario relating to the surgery service provided to a patient in an operating room.

[0345] In 1910, an intelligent mechanical nurse is controlled to prepare surgery tools in an operation room based on a surgery plan.

[0346] In some embodiments, the processing device 210 may determine types and quantities of required surgery tools based on the surgery plan, and control the intelligent mechanical nurse to prepare the surgery tools according to the types and quantities, and place the surgery tools at predetermined positions on the surgery table. In some embodiments, operation 1910 may be performed by the mechanical nurse intelligent agent.

[0347] In 1921, first sensed information collected by one or more sensing devices in an operation room is obtained during a surgery process of a patient.

[0348] A sensing device refers to a sensing device in the operating room. For example, the sensing device may be a sound sensing device, a gesture recognition device, a motion recognition device, a force sensing device, an image capture device, etc. In some embodiments, the sensing device may be part of a terminal device in the operating room (e.g., the second terminal device of the doctor) . The first sensed information may include voice data, motion data, and / or image data. In some embodiments, the first sensed information includes images of the surgery tools captured by image sensors.

[0349] As shown in FIG. 19, in some embodiments, the processing device 210 may perform an EOI detection on the first sensed information (operation 1922) . In response to detecting an occurrence of an EOI, one or more predetermined operations corresponding to the EOI are executed (operation 1923) .

[0350] In 1922, an EOI detection on the first sensed information is performed.

[0351] The EOI refers to an event that may occur during the surgery process and affect the surgery process or cause risks to the patient. For example, the EOI may include that the patient is experiencing a risky condition during the surgery process, a surgery participant makes incorrect operations, an insufficient quantity of the surgery tools or consumables, etc. In some embodiments, the EOI includes at least one of an instruction issued by the surgery participants, a detected surgery risk, an abnormal physiological state of the patient, a count of the surgery tools being less than a threshold, a surgery completion, etc.

[0352] The EOI detection refers to a process of identifying whether an EOI occurs during the surgery process based on the first sensed information. The EOI detection may include a speech or gesture detection, an image detection, a physiological sign detection, etc. For example, the processing device 210 may perform a speech recognition on the voice information in the first sensed information to determine whether the voice information is an instruction issued by a surgery participant (e.g., an instruction regarding a target surgery tool or consumable issued by a surgery participant) . As another example, the processing device 210 may perform an image recognition on the images of surgery tools in the first sensed information to determine a count of each type of surgery tools and further determine whether the count of any type of surgery tool is less than a threshold.

[0353] The physiological sign detection refers to a monitoring of the patient’s vital signs (e.g., heart rate, blood pressure, respiratory rate, etc. ) to determine whether an EOI during the surgery process has occurred. For example, the processing device 210 may monitor the patient’s heart rate in real-time during the surgery process and compare the heart rate with a normal heart rate range. In response to determining that the patient’s heart rate is not within the normal range, the processing device 210 may consider that the EOI is detected and determine that the EOI is an abnormal physiological state of the patient, specifically, an abnormal heart rate.

[0354] In some embodiments, operation 1922 is performed by the surgery intelligent agent and / or the mechanical nurse intelligent agent. In some embodiments, the EOI detection is performed based on EOI  detection rules learned by the surgery intelligent agent and / or the mechanical nurse intelligent agent from historical records. In some embodiments, the surgery intelligent agent and the mechanical nurse intelligent agent are configured to detect different types of EOIs. For example, the surgery intelligent agent is configured to detect the patient’s state, the completion of the surgery, etc. ; the mechanical nurse intelligent agent is configured to detect EOIs relating to the surgery tools, EOIs that need to be handled by the intelligent mechanical nurse. In some embodiments, as shown in FIG. 19, the EOI detection may be further based on the patient’s data. For example, different patients may have different EOI detection rules.

[0355] In 1923, in response to detecting that the EOI occurs, one or more predetermined operations corresponding to the EOI are performed.

[0356] The predetermined operations refer to preset actions taken in response to the EOIs. For example, if the EOI is severe bleeding in a patient, the predetermined operation may be hemostatic measures (e.g., blood transfusion, suture ligation for hemostasis, etc. ) .

[0357] In some embodiments, the one or more predetermined operations corresponding to the EOI are determined based on a corresponding relationship between the EOI and the predetermined operations. The predetermined relationship is learned by the surgery intelligent agent and / or the mechanical nurse intelligent agent from the historical records. In some embodiments, as shown in FIG. 19, the one or more predetermined operations corresponding to the EOI are further determined based on the patient data of the patient.

[0358] In some embodiments, executing one or more predetermined operations corresponding to the EOI may include: after detecting the occurrence of an EOI, the processing device 210 sends a reminder message to surgery participants or controls a surgery equipment (e.g., the intelligent mechanical nurse 240-7) to perform the predetermined operation.

[0359] In some embodiments, the EOI includes an instruction issued by a surgery participant for a target surgery tool, and the one or more predetermined operations corresponding to the EOI include controlling the intelligent mechanical nurse 240-7 to pass the target surgery tool to the surgery participant. The target surgery tool refers to a surgery tool that the surgery participant currently wants to obtain. In some embodiments, the processing device 210 may send the above instruction to the intelligent mechanical nurse 240-7, and the intelligent mechanical nurse 240-7 may identify the target surgery tool from the surgery table and pass the target surgery tool to the surgery participant (e.g., the surgeon) .

[0360] In some embodiments, the EOI includes that a count of surgery tools is less than a preset value, and the one or more predetermined operations corresponding to the EOI include controlling the intelligent mechanical nurse 240-7 to replenish the surgery tools. In some embodiments, for each type of surgery tool, the processing device 210 may determine whether the count of surgery tools is less than the preset value based on an image of the surgery tools. In some embodiments, the processing device 210 may predetermine the preset values corresponding to various surgery tools based on the surgery plan. In some embodiments, the processing device 210 may adjust the preset values corresponding to various surgery tools in real-time according to the progress of the surgery process.

[0361] In some embodiments, the EOI includes detected surgery risks, and one or more predetermined operations corresponding to the EOI include providing reminders about surgery risks. The reminders may be in the form of voice reminders, text reminders, etc. For example, a notification regarding the surgery risks may be provided to the doctor.

[0362] In some embodiments, the EOI includes the completion of the surgery process, and one or more predetermined operations corresponding to the EOI include generating a surgery report based on the first sensed information.

[0363] In some embodiments, as shown in FIG. 19, the processing device 210 may generate a preliminary surgery report based on the first sensed information (operation 1930) . The processing device 210 may present the preliminary surgery report to the doctor (operation 1940) . The processing device 210 may generate the surgery report based on the preliminary surgery record and feedback information from the doctor about the preliminary surgery report.

[0364] The surgery report refers to the original recorded data of surgery-related information and events occurring during the surgery process. For example, the preliminary surgery report may include surgery-related information, patient-related records, participant-related records, etc. In some embodiments, the processing device 210 may use a report generation model or a preset report template to generate a preliminary surgery report based on the first sensed information. The feedback information refers to modifications or confirmations made by the doctor to the preliminary surgery record. The doctor may input the feedback information in forms such as a text input or a voice input. The surgery report refers to a surgery report obtained after updating the preliminary surgery record based on the feedback information.

[0365] In some embodiments, the processing device 210 may also generate a preliminary medical advice report simultaneously with, before, or after generating the preliminary surgery report. In some embodiments, the processing device 210 may generate a preliminary medical advice report based on the first sensed information (e.g., voice data of the surgeon) .

[0366] The preliminary medical advice report refers to an original postoperative medical advice. The preliminary medical advice report may include a normal range of postoperative vital signs, medication prescriptions, expected complications and corresponding measures, nursing requirements, etc. The normal range of postoperative vital signs, medication prescriptions (including medication types, frequency, and total amount) , and expected complications (e.g., fever, infection, etc. ) may be determined based on the patient data, the surgery report, or the doctor’s voice signals.

[0367] In some embodiments, the processing device 210 may present the preliminary medical advice report to the doctor. In some embodiments, the processing device 210 may present the preliminary medical advice report to the doctor through the doctor terminal device. The processing device 210 may obtain feedback information input by the doctor related to the medical advice report through a sensing device (e.g., a microphone on the doctor terminal device) . The feedback information related to the medical advice report includes modifications or confirmations (e.g., confirming that the preliminary medical advice report is correct) made by the doctor to the preliminary medical advice report. The processing device 210 may further generate a medical advice report based on the preliminary medical advice report and the feedback information related to the medical advice report.

[0368] In some embodiments, the processing device 210 may simultaneously present the preliminary medical advice report and the preliminary surgery report to the doctor. In this scenario, the processing device 210 may obtain the feedback information input by the doctor related to the preliminary surgery report and the feedback information related to the preliminary medical advice report.

[0369] In some embodiments, operations 1930-1950 may be performed by the surgery intelligent agent corresponding to the intelligent surgery terminal or the intelligent mechanical nurse corresponding to the intelligent mechanical nurse.

[0370] FIG. 20 is a flowchart illustrating an exemplary process 2000 of a preoperative preparation and a surgery execution according to some other embodiments of the present disclosure. In some embodiments, the process 2000 may be executed by the processing device 210 or an intelligent agent corresponding to medical service device (s) used in the surgery service / procedure configured on the processing device 210 or a target medical scenario relating to the surgery service provided to a patient in an operating room.

[0371] In 2010, a surgery plan for the patient is developed.

[0372] In some embodiments, the processing device 210 may determine the operation difficulty factor based on the patient data. The processing device 210 may determine whether to convene an expert meeting based on the surgery difficulty factor. In response to determining that the expert meeting is required, the processing device 210 may control the doctor terminal device of the doctor and the terminal device of the remote expert to present a virtual meeting space respectively. The processing device 210 may acquire sensed information collected by the doctor terminal device and the terminal device during the expert meeting. The processing device 210 may generate the surgery plan based on the patient data and the acquired sensed information.

[0373] In some embodiments, the processing device 210 may generate a preliminary surgery plan based on the patient data. The processing device 210 may present the preliminary surgery plan to the doctor. The processing device 210 may generate a surgery plan based on the preliminary surgery plan and feedback information on the preliminary surgery plan input by the doctor through the doctor terminal device.

[0374] In 2020, a preoperative care is provided to the patient based on the surgery plan.

[0375] In some embodiments, the processing device 210 may determine preoperative care materials for the patient based on the patient data and the surgery plan. The processing device 210 may provide the preoperative care to the patient based on the preoperative care materials using the patient terminal device during the process of transporting the patient to the waiting area.

[0376] In 2030, based on the surgery plan, an intelligent mechanical nurse 240-7 is controlled to prepare surgery tools in the operating room before the surgery process.

[0377] In some embodiments, the processing device 210 may determine the types and counts of surgery tools needed based on the surgery plan, and control the intelligent mechanical nurse 240-7 to prepare surgery tools according to the types and the counts, and place the corresponding surgery tools at predetermined positions in the operation room.

[0378] In 2040, the intelligent mechanical nurse 240-7 is controlled to assist in the surgery based on sensed information collected by one or more sensing devices in the operating room during the surgery process.

[0379] In some embodiments, the processing device 210 may control the intelligent mechanical nurse 240-7 to replenish the surgery tools. In some embodiments, the processing device 210 may control the intelligent mechanical nurse 240-7 to pass target surgery tools to surgery participants. In some embodiments, operations 2030 and 2040 may be performed by the mechanical nurse intelligent agent.

[0380] Having thus described the basic concepts, it may be rather apparent to those skilled in the art after reading this detailed disclosure that the foregoing detailed disclosure is intended to be presented by way of example only and is not limiting. Various alterations, improvements, and modifications may occur and are  intended for those skilled in the art, though not expressly stated herein. These alterations, improvements, and modifications are intended to be suggested by this disclosure, and are within the spirit and scope of the exemplary embodiments of this disclosure.

[0381] Moreover, certain terminology has been used to describe embodiments of the present disclosure. For example, the terms “one embodiment, ” “an embodiment, ” and / or “some embodiments” mean that a particular feature, structure, or characteristic described in connection with the embodiment is included in at least one embodiment of the present disclosure. Therefore, it is emphasized and should be appreciated that two or more references to “an embodiment” or “one embodiment” or “an alternative embodiment” in various portions of this disclosure are not necessarily all referring to the same embodiment. Furthermore, the particular features, structures, or characteristics may be combined as suitable in one or more embodiments of the present disclosure.

[0382] Furthermore, the recited order of processing elements or sequences, or the use of numbers, letters, or other designations therefore, is not intended to limit the claimed processes and methods to any order except as may be specified in the claims. Although the above disclosure discusses through various examples what is currently considered to be a variety of useful embodiments of the disclosure, it is to be understood that such detail is solely for that purpose, and that the appended claims are not limited to the disclosed embodiments, but, on the contrary, are intended to cover modifications and equivalent arrangements that are within the spirit and scope of the disclosed embodiments. For example, although the implementation of various components described above may be embodied in a hardware device, it may also be implemented as a software only solution, e.g., an installation on an existing service or mobile device.

[0383] Similarly, it should be appreciated that in the foregoing description of embodiments of the present disclosure, various features are sometimes grouped together in a single embodiment, figure, or description thereof for the purpose of streamlining the disclosure aiding in the understanding of one or more of the various inventive embodiments. This method of disclosure, however, is not to be interpreted as reflecting an intention that the claimed subject matter requires more features than are expressly recited in each claim. Rather, inventive embodiments lie in less than all features of a single foregoing disclosed embodiment.

[0384] In some embodiments, the numbers expressing quantities or properties used to describe and claim certain embodiments of the application are to be understood as being modified in some instances by the term “about, ” “approximate, ” or “substantially. ” For example, “about, ” “approximate, ” or “substantially” may indicate ±20%variation of the value it describes, unless otherwise stated. Accordingly, in some embodiments, the numerical parameters set forth in the written description and attached claims are approximations that may vary depending upon the desired properties sought to be obtained by a particular embodiment. In some embodiments, the numerical parameters should be construed in light of the number of reported significant digits and by applying ordinary rounding technologies. Notwithstanding that the numerical ranges and parameters setting forth the broad scope of some embodiments of the application are approximations, the numerical values set forth in the specific examples are reported as precisely as practicable.

[0385] Each of the patents, patent applications, publications of patent applications, and other material, such as articles, books, specifications, publications, documents, things, and / or the like, referenced herein is hereby incorporated herein by this reference in its entirety for all purposes, excepting any prosecution file history associated with same, any of same that is inconsistent with or in conflict with the present document, or any of  same that may have a limiting effect as to the broadest scope of the claims now or later associated with the present document. By way of example, should there be any inconsistency or conflict between the description, definition, and / or the use of a term associated with any of the incorporated material and that associated with the present document, the description, definition, and / or the use of the term in the present document shall prevail.

[0386] In closing, it is to be understood that the embodiments of the application disclosed herein are illustrative of the principles of the embodiments of the application. Other modifications that may be employed may be within the scope of the application. Thus, by way of example, but not of limitation, alternative configurations of the embodiments of the application may be utilized in accordance with the teachings herein. Accordingly, embodiments of the present application are not limited to that precisely as shown and described.

Claims

A system for providing medical services, comprising a processing device, one or more sensing devices, and a medical service device, wherein:the one or more sensing devices and the medical service device are communicatively connected with the processing device and used in a target medical scenario,the one or more sensing devices are configured for collecting sensed information related to the target medical scenario and send the sensed information to the processing device, andthe processing device is configured for maintaining a first intelligent agent corresponding to the medical service device, and achieving user services relating to the target medical scenario by engaging the first intelligent agent in processing the sensed information.The system of claim 1, wherein the processing device is further configured for maintaining a second intelligent agent corresponding to the one or more sensing devices, and utilizing the second intelligent agent to control the one or more sensing devices to collect the sensed information.The system of claim 1, wherein the first intelligent agent achieves self-evolution based on historical service data relating to the target medical scenario and artificial intelligence (AI) technology.[Rectified under Rule 91, 29.08.2024]The system of claim 1, wherein the processing device is further configured to obtain data relating to a patient in the target medical scenario, andthe user services are achieved by engaging the first intelligent agent in processing the sensed information and the data relating to the patient.The system of claim 1, wherein the medical service device includes a display component configured to present a virtual character corresponding to the first intelligent agent, and at least a portion of the user services is achieved based on the interaction between a relevant user of the target medical scenario and the virtual character.The system of claim 1, wherein the one or more sensing devices and the processing device are integrated into an embodied intelligence robot, and at least a portion of the user services is provided to a relevant user of the target medical scenario via the embodied intelligence robot.The system of claim 1, wherein:the target medical scenario relates to a medical consultation service provided to a patient in a consultation room;the medical service device includes a first terminal device in the consultation room; andthe first intelligent agent includes a consultation intelligent agent corresponding to the first terminal device.The system of claim 7, wherein at least a portion of the user services is achieved by utilizing the consultation intelligent agent to perform operations including:determining, based on the sensed information, whether the patient has started consulting; andin response to determining that the patient has started consulting, causing the first terminal device to present an interface element relating to a pre-consultation record of the patient.The system of claim 7, wherein at least a portion of the user services is achieved by utilizing the consultation intelligent agent to perform operations including:generating, based on the sensed information, a preliminary diagnosis record;causing the first terminal device or a second terminal device of a doctor to present the preliminary diagnosis record to the doctor; andgenerating a target diagnosis record based on the preliminary diagnosis record and feedback information regarding the preliminary diagnosis record input by the doctor via the first terminal device or the second terminal device.The system of claim 7, wherein at least a portion of the user services is achieved by utilizing the consultation intelligent agent to perform operations including:generating a decision recommendation based on the sensed information and patient data of the patient; andcontrolling the first terminal device or a second terminal device of a doctor to present the decision recommendation.The system of claim 7, wherein at least a portion of the user services is achieved by utilizing the consultation intelligent agent to perform operations including:determining one or more keywords in a conversation between a doctor and the patient based on the sensed information; andswitching presentation content of the first terminal device based on the one or more keywords.The system of claim 7, wherein at least a portion of the user services is achieved by utilizing the consultation intelligent agent to perform operations including:during the consultation process,determining, based on the sensed information, whether the patient needs to communicate with a remote companion;in response to determining that the patient needs to communicate with the remote companion,controlling the first terminal device to enlarge an interface element relating to a remote accompanying service; orcontrolling an XR device of the patient to present image data of the remote companion through XR techniques.The system of claim 1, wherein the target medical scenario relates to a registration service provided to a patient;the medical service device includes a registration terminal; andthe first intelligent agent includes a registration intelligent agent corresponding to the registration terminal.The system of claim 13, wherein at least a portion of the user services is achieved by utilizing the registration intelligent agent to perform operations including:obtaining chief complaint of the patient through the registration terminal;determining, based on the chief complaint, at least one candidate department;causing, based on the at least one candidate department, the registration terminal to conduct a first inquiry on the patient; anddetermining, based on the sensed information, a recommended doctor for the patient to register.The system of claim 1, wherein the target medical scenario relates to a pre-consultation service provided to a patient;the medical service device includes a pre-consultation terminal device; andthe first intelligent agent includes a pre-consultation intelligent agent corresponding to the pre-consultation terminal device.The system of claim 15, wherein at least a portion of the user services is achieved by utilizing the pre-consultation intelligent agent to perform operations including:determining second inquiry content of a second inquiry based on a department of a doctor to whom the patient is registered;causing, based on the second inquiry content, the pre-consultation terminal device to conduct a second inquiry on the patient; andgenerating, based on the sensed information, a pre-consultation record.[Rectified under Rule 91, 29.08.2024]The system of claim 1, wherein:the target medical scenario relates to a hospitalization service provided to a patient in a hospital ward,the medical service device includes an intelligent hospital bed in the hospital ward, the intelligent hospital bed including a bed body and a third terminal device provided to the patient, andthe first intelligent agent includes a hospitalization intelligent agent corresponding to the intelligent hospital bed.The system of claim 17, wherein at least a portion of the user services is achieved by utilizing the hospitalization intelligent agent to perform operations including:monitoring data sources that collect data relating to a hospitalization process of the patient, the data sources at least including the one or more sensing devices;in response to detecting data updates in at least one data source of the data sources,performing event of interest (EOI) detection based on updated data obtained from the at least one data source, the updated data at least including the sensed information; andin response to detecting that an EOI occurs, performing one or more predetermined operations corresponding to the EOI.The system of claim 18, wherein the EOI includes that the patient is admitted to a hospital ward, and the one or more predetermined operations include:determining, based on patient data of the patient, third inquiry content of a third inquiry that is to be made for the patient after the patient is admitted to the hospital ward;causing, based on the third inquiry content, the third terminal device to conduct the third inquiry; andgenerating an admission record for the patient based on at least part of the sensed information, the at least part of the sensed information being collected during the third inquiry.The system of claim 18, wherein the EOI includes that at least one doctor makes ward rounds in a hospital ward of the patient, and the one or more predetermined operations include:generating a ward round record based on at least part of the sensed information, the at least part of the sensed information being collected when at least one doctor makes the ward rounds in the hospital ward.The system of claim 1, whereinthe target medical scenario relates to a hospitalization service provided to a patient in a hospital ward,the medical service device includes an intelligent nursing trolley that has autonomous driving functions, andthe first intelligent agent includes a nursing intelligent agent corresponding to the intelligent nursing trolley.The system of claim 21, wherein at least a portion of the user services is achieved by utilizing the nursing intelligent agent to perform operations including:determining whether the patient satisfies a condition for performing an initial examination in the hospital ward based on the sensed information; andin response to determining that the patient satisfies the condition, controlling the intelligent nursing trolley to guide a nurse to the hospital ward to perform the initial examination on the patient.The system of claim 21, wherein at least a portion of the user services is achieved by utilizing the nursing intelligent agent to perform operations including:for every day when the patient is hospitalized,determining, based on the patient data and a doctor order of the patient, a daily nursing plan of the patient, wherein the daily nursing plan includes at least one nursing operation needed to be performed on the patient in the day,for each of the at least one nursing operation,controlling the intelligent nursing trolley to guide the nurse to the hospital ward to perform the nursing operation based on a planned time of the nursing operation; andgenerating a nursing record based on at least a portion of the sensed information, the at least a portion of the sensed information being collected when the at least one nursing operation is performed.[Rectified under Rule 91, 29.08.2024]The system of claim 21, wherein at least a portion of the user services is achieved by utilizing the nursing intelligent agent to perform operations including:determining whether there is an abnormality in a physiological condition of the patient based on the sensed information; andin response to determining that an abnormality exists in the physiological condition of the patient, controlling the intelligent nursing trolley to guide the nurse to the hospital ward of the patient.[Rectified under Rule 91, 29.08.2024]The system of claim 1, wherein:the target medical scenario relates to a surgery service provided to a patient in an operating room,the medical service device includes an intelligent surgery terminal, andthe first intelligent agent includes a surgery intelligent agent corresponding to the intelligent surgery terminal.[Rectified under Rule 91, 29.08.2024]The system of claim 25, wherein at least a portion of the user services is achieved by utilizing the surgery intelligent agent to perform operations includingperforming event of interest (EOI) detection on the sensed information; andin response to detecting that an EOI occurs, performing one or more predetermined operations corresponding to the EOI.[Rectified under Rule 91, 29.08.2024]The system of claim 26, wherein the EOI includes that surgery risks are detected, and the one or more predetermined operations corresponding to the EOI include:controlling the intelligent surgery terminal to issue an alert regarding the surgery risk.[Rectified under Rule 91, 29.08.2024]The system of claim 25, wherein the EOI includes that the surgery is completed, and the one or more predetermined operations corresponding to the EOI include:generating a surgery record based on the sensed information.[Rectified under Rule 91, 29.08.2024]The system of claim 1, wherein:the target medical scenario relates to a surgery service provided to a patient in an operating room,the medical service device includes an intelligent mechanical nurse, andthe first intelligent agent includes a mechanical nurse intelligent agent corresponding to the intelligent mechanical nurse.[Rectified under Rule 91, 29.08.2024]The system of claim 29, wherein at least a portion of the user services is achieved by utilizing the mechanical nurse intelligent agent to perform operations including:causing, based on a surgery plan, an intelligent mechanical nurse to prepare surgery tools in an operating room before the surgery is performed;identifying, based on the sensed information, an instruction for a target surgery tool issued by a surgery participant; andin response to the instruction, causing the intelligent mechanical nurse to pass the target surgery tools to the surgery participant.[Rectified under Rule 91, 29.08.2024]The system of claim 29, wherein the sensed information includes an image of a surgery tool captured by an image sensor; and at least a portion of the user services is achieved by utilizing the mechanical nurse intelligent agent to perform operations including:determining, based on the image of the surgery tool, whether a count of the surgery tool is less than a preset value; andin response to determining that the count of the surgery tool is less than the preset value, controlling the intelligent mechanical nurse to replenish the surgery tool.[Rectified under Rule 91, 29.08.2024]The system of claim 1, wherein the processing device is further configured for:monitoring real-time operational data of the medical service device; andupdating, based on the real-time operational data, a digital twin corresponding to the medical service device.

Images