Methods and systems for surgery planning and executing

Abstract

Embodiments of the present disclosure provides a method for surgery planning and executing, implemented on a computing device having at least one processor and at least one storage device, comprising: obtaining first sensed information collected by one or more first sensing devices in an operating room during a surgery of a patient; performing event of interest (EOI) detection on the first sensing data; and in response to detecting that an EO1 occurs, performing one or more predetermined operations corresponding to the EO1.

Description

METHODS AND SYSTEMS FOR SURGERY PLANNING AND EXECUTINGTECHNICAL FIELD

[0001] The present disclosure relates to the field of surgery planning technology, in particular to a method and a system for surgery planning and executing.BACKGROUND

[0002] Before performing a surgery on a patient, a doctor first formulates a surgery plan based on patient data (such as an examination report, a scan image of the patient, etc. ) . Whether a pathological feature (such as a complex geometric feature of the lesion, etc. ) of the patient's lesion (such as a tumor) and surrounding tissues or organs of the patient's lesion is comprehensively and intuitively displayed directly of the affects the accuracy of the surgery plan, and thus affects the execution and outcome of the surgery.

[0003] Based on this, it is desirable to propose a method and a system for surgery planning and executing to assist in reasonable and safe surgery planning and execution.SUMMARY

[0004] One or more embodiments of the present disclosure provide a method for surgery planning and executing, implemented on a computing device having at least one processor and at least one storage device. The method for surgery planning and executing may comprise: obtaining first sensed information collected by one or more first sensing devices in an operating room during a surgery of a patient; performing event of interest (EOI) detection on the first sensing data; and in response to detecting that an EOI occurs, performing one or more predetermined operations corresponding to the EOI.

[0005] In some embodiments, the computing device may be configured with an intelligent agent, and the method may be performed by the intelligent agent.

[0006] In some embodiments, the EOI detection may be performed based on an EOI detection rule that is learned by the intelligent agent from historical records.

[0007] In some embodiments, the EOI detection may be performed further based on patient data of the patient.

[0008] In some embodiments, the EOI may include at least one of: that an instruction is issued by a surgery participant; that surgery risks are detected; that the physiological status of the patient is abnormal, that the count of a surgery tool is smaller than a threshold, or that the surgery is completed.

[0009] In some embodiments, the one or more predetermined operations corresponding to the EOI may be determined based on a corresponding relationship between EOIs and predetermined operations, and the corresponding relationship may be learned by the intelligent agent from historical records.

[0010] In some embodiments, the one or more predetermined operations corresponding to the EOI may be determined further based on patient data of the patient.

[0011] In some embodiments, the EOI may include that an instruction for a target surgery tool is issued by a surgery participant, and the one or more predetermined operations corresponding to the EOI may include: causing an intelligent mechanical nurse to pass the target surgery tool to the surgery participant.

[0012] In some embodiments, the first sensed information may include an image of a surgery tool captured by an image sensor, the EOI may include that a count of the surgery tool is less than a preset value, and the one or more predetermined operations corresponding to the EOI may include: controlling an intelligent mechanical nurse to replenish the surgery tool.

[0013] In some embodiments, the EOI may include that surgery risks are detected, and the one or more predetermined operations corresponding to the EOI may include: providing a notification regarding the surgery risks.

[0014] In some embodiments, the EOI may include that the surgery is completed, and the one or more predetermined operations corresponding to the EOI may include: generating a surgery record based on the first sensed information.

[0015] In some embodiments, before the surgery is performed, the method may further comprise: generating explanatory materials for explaining a surgery plan; simultaneously presenting the explanatory materials to the patient and a doctor via at least one terminal device.

[0016] In some embodiments, the method may further comprise: determining first feedback information with respect to the surgery plan based on second sensed information collected by one or more second sensing devices during an explaining process of the surgery plan; and confirming or updating the surgery plan for the patient based on the first feedback information.

[0017] In some embodiments, the explanatory materials may be generated based on a digital twin model of a surgery site of the patient.

[0018] In some embodiments, the explanatory materials may include a surgery video presenting a process of a surgery to be performed according to the surgery plan on a surgery site of the patient.

[0019] In some embodiments, the method may further comprise: predicting, based on patient data of the patient, a rehabilitation process of the patient after the surgery, the explanatory materials may include the rehabilitation process of the patient.

[0020] In some embodiments, the method may further comprise: generating explanatory notes for the surgery plan based on the second sensed information; and generating an explanatory video for the surgery plan based on the surgery video and the explanatory notes of the surgery plan.

[0021] In some embodiments, the method may further comprise: obtaining interaction instructions with respect to the explanatory materials from the at least one terminal device; updating the explanatory materials presented via the at least one terminal device based on the interaction instructions.

[0022] In some embodiments, the at least one terminal device may include a first terminal device of the patient, a second terminal device of the doctor, and a third terminal device of a family of the patient.

[0023] In some embodiments, the method may further comprise: obtaining a first confirmation instruction regarding the surgery plan input by the patient via the first terminal device; obtaining a second confirmation instruction regarding the surgery plan input by the family via the third terminal device; in response to the first confirmation instruction and the second confirmation instruction, causing the first terminal device, the second terminal device, and the third terminal device to present an operation consent form, respectively; and obtaining signature information of the operation consent form from the first terminal device, the second terminal device, and the third terminal device, respectively.

[0024] In some embodiments, the at least one terminal device may include a first extended reality (XR)  device worn by the patient and a second XR device worn by the doctor.

[0025] In some embodiments, before the surgery, the method may further comprise: determining a planned route from a current position of the patient to a waiting area of an operating room; controlling an intelligent chair to transport the patient to the waiting area along the planned route; and authenticating the patient.

[0026] In some embodiments, the method may further comprise: determining, based on patient data and a surgery plan, preoperative education materials for the patient; and during the process of transporting the patient to the waiting area, causing a first terminal device of the patient to deliver preoperative care to the patient based on the preoperative education materials.

[0027] In some embodiments, the method may further comprise: during the process of transporting the patient to the waiting area, obtaining, from one or more fourth sensing devices in a hospital, third sensed information relating to a portion of the planned route from a current position of the intelligent chair to the waiting area; determining, based on the third sensed information, potential risks along the portion of the planned route; updating the portion of the planned route based on the potential risks.

[0028] In some embodiments, before the surgery, the method may further comprise generating a surgery plan by: determining an operation difficulty factor based on patient data of the patient; determining whether a Multi-Disciplinary Team Meeting is needed based on the operation difficulty factor; in response to determining that a Multi-Disciplinary Team Meeting is needed, causing a second terminal device of the doctor and a fourth terminal device of a remote expert to present a virtual meeting space, respectively; obtaining fourth sensed information collected by the second terminal device and the fourth terminal device during the Multi-Disciplinary Team Meeting; and generating the surgery plan based on the patient data and the fourth sensed information.

[0029] In some embodiments, before the surgery, the method may further comprise generating a surgery plan by: generating a preliminary surgery plan based on patient data of the patient; presenting the preliminary surgery plan to the doctor; and generating the surgery plan based on the preliminary surgery plan and second feedback information regarding the preliminary surgery plan input by the doctor via the second terminal device.

[0030] In some embodiments, the method may further comprise: generating a risk assessment result of the surgery plan by processing the surgery plan and at least a portion of the patient data using a risk assessment model, the risk assessment model being a trained machine learning model; determining risk prevention measures based on the risk assessment result; and presenting the risk assessment result and the risk prevention measures of the surgery plan to the doctor.

[0031] In some embodiments, before the surgery is performed, the method may further comprise: generating, based on a surgery plan, a virtual surgery scene for surgery simulation, the virtual surgery scene including a virtual surgery site and one or more virtual surgery devices; causing a second terminal device of the doctor to present the virtual surgery scene to the doctor; obtaining an interaction instruction with respect to the one or more virtual surgery devices input by the doctor via the second terminal device or an interactive device corresponding to the one or more virtual surgery devices; updating the virtual surgery site and the one or more virtual surgery devices in the virtual surgery scene based on the interaction instruction.

[0032] In some embodiments, the updating the virtual surgery site and the one or more virtual surgery devices in the virtual surgery scene based on the interaction instruction may comprise: determining a possible  emergency condition to occur in the virtual surgery scene based on the interaction instruction; and updating the virtual surgery site and the one or more virtual surgery devices in the virtual surgery scene based on the possible emergency condition.

[0033] In some embodiments, the method may further comprise: obtaining simulation data relating to the virtual surgery site and the one or more virtual surgery devices during the surgery simulation; determining whether the surgery plan needs to be optimized based on the simulation data; and in response to determining that the surgery plan needs to be optimized, updating the surgery plan based on the simulation data.

[0034] In some embodiments, before the surgery is performed, the method may further comprise: causing, based on a surgery plan, an intelligent mechanical nurse to prepare surgery tools in an operation room.

[0035] One or more embodiments provide a method for surgery planning and executing, implemented on a computing device having at least one processor and at least one storage device. The method for surgery planning and executing may comprise: determining whether a Multi-Disciplinary Team Meeting is needed based on patient data of a patient who needs to receive a surgery; in response to determining that a Multi-Disciplinary Team Meeting is needed, causing a terminal device of a doctor corresponding to the patient and a terminal device of a remote expert to present a virtual meeting space, respectively; obtaining sensed information collected by the terminal device of the doctor and the terminal device of the remote expert during the Multi-Disciplinary Team Meeting; and generating a surgery plan based on the patient data and the sensed information.

[0036] One or more embodiments provide a method for surgery planning and executing, implemented on a computing device having at least one processor and at least one storage device. The method for surgery planning and executing may comprise: generating a surgery plan for a patient; performing preoperative education on the patient based on the surgery plan; causing, based on the surgery plan, an intelligent mechanical nurse to prepare surgery tools in an operation room before a surgery is performed; causing the intelligent mechanical nurse to assist the surgery based on sensed information collected by one or more sensing devices in the operation room during the surgery.

[0037] In some embodiments, the generating a surgery plan for a patient may comprise: generating a preliminary surgery plan based on patient data of the patient; presenting the preliminary surgery plan to the doctor; and generating the surgery plan based on the preliminary surgery plan and second feedback information regarding the preliminary surgery plan input by the doctor via the second terminal device.

[0038] In some embodiments, the generating a surgery plan for a patient may comprise: determining an operation difficulty factor based on patient data of the patient; determining whether a Multi-Disciplinary Team Meeting is needed based on the operation difficulty factor; in response to determining that a Multi-Disciplinary Team Meeting is needed, causing a second terminal device of the doctor and a fourth terminal device of a remote expert to present a virtual meeting space, respectively; obtaining fourth sensed information collected by the second terminal device and the fourth terminal device during the Multi-Disciplinary Team Meeting; and generating the surgery plan based on the patient data and the fourth sensed information.

[0039] In some embodiments, the performing preoperative education on the patient based on the surgery plan may comprise: determining, based on patient data and the surgery plan, preoperative education materials for the patient; and during a process of transporting the patient to a waiting area of an operating room, causing a first terminal device of the patient to deliver preoperative care to the patient based on the preoperative education  materials.BRIEF DESCRIPTION OF THE DRAWINGS

[0040] This description will be further explained in the form of exemplary embodiments, which will be described in detail by means of accompanying drawings. These embodiments are not restrictive, in which the same numbering indicates the same structure, wherein:

[0041] FIG. 1 is a block diagram illustrating an exemplary medical service system 100 according to some embodiments of the present disclosure;

[0042] FIG. 2 is a schematic diagram illustrating an exemplary medical service system 200 according to some embodiments of the present disclosure;

[0043] FIG. 3 is a schematic diagram illustrating an exemplary hospital support platform 300 according to some embodiments of the present disclosure;

[0044] FIG. 4 is an exemplary module schematic diagram illustrating a system for surgery planning and executing according to some embodiments of the present disclosure;

[0045] FIG. 5 is an exemplary schematic diagram illustrating a process of a method for surgery planning and executing according to some embodiments of the present disclosure;

[0046] FIG. 6 is an exemplary schematic diagram illustrating a process of a surgery plan according to some embodiments of the present disclosure;

[0047] FIG. 7 is an exemplary schematic diagram illustrating a process of a generation of a surgery plan according to some embodiments of the present disclosure;

[0048] FIG. 8 is another exemplary schematic diagram illustrating a process of a generation of a surgery plan according to some other embodiments of the present disclosure;

[0049] FIG. 9 is an exemplary schematic diagram illustrating a process of a surgery simulation according to some embodiments of the present disclosure;

[0050] FIG. 10 is another exemplary schematic diagram illustrating a process of a surgery simulation according to some embodiments of the present disclosure;

[0051] FIG. 11 is an exemplary schematic diagram illustrating a preoperative education according to some embodiments of the present disclosure;

[0052] FIG. 12 is an exemplary schematic diagram illustrating a process of a preoperative education according to some embodiments of the present disclosure;

[0053] FIG. 13 is an exemplary schematic diagram illustrating a process of an agreement signing according to some embodiments of the present disclosure;

[0054] FIG. 14 is an exemplary schematic diagram illustrating a preoperative guidance according to some embodiments of the present disclosure;

[0055] FIG. 15 is an exemplary schematic diagram illustrating a surgery execution according to some embodiments of the present disclosure;

[0056] FIG. 16 is an exemplary schematic diagram illustrating a process of a surgery execution according to some embodiments of the present disclosure;

[0057] FIG. 17 is another exemplary schematic diagram illustrating a process of a surgery execution according to some other embodiments of the present disclosure; and

[0058] FIG. 18 is an exemplary schematic diagram illustrating a process of a surgery review according to some embodiments of the present disclosure;

[0059] FIG. 19 is another exemplary schematic diagram illustrating a process of a generation of a surgery plan according to some other embodiments of the present disclosure; and

[0060] FIG. 20 is an exemplary schematic diagram illustrating a process of a preoperative preparation and a surgery execution according to some other embodiments of the present disclosure.DETAILED DESCRIPTION

[0061] In order to more clearly illustrate the technical solutions of the embodiments of the present disclosure, the accompanying drawings required to be used in the description of the embodiments are briefly described below. Obviously, the accompanying drawings in the following description are only some examples or embodiments of the present disclosure, and it is possible for a person of ordinary skill in the art to apply the present disclosure to other similar scenes in accordance with these drawings without creative labor. Unless obviously obtained from the context or the context illustrates otherwise, the same numeral in the drawings refers to the same structure or operation.

[0062] It should be understood that the terms “system” , “device” , “unit” and / or “module” used herein are a way to distinguish between different components, elements, parts, sections, or assemblies at different levels. However, the terms may be replaced by other expressions if other words accomplish the same purpose.

[0063] Usually, the terms “module” , “unit” , or “block” are used here to refer to the logic or collection of software instructions embodied in hardware or firmware, or a collection of software instructions. Modules, units, or blocks described herein may be implemented as software and / or hardware, and may be stored in any type of non-transitory computer-readable medium or another storage device. In some embodiments, the software module / unit / block may be compiled and linked into an executable program. It should be appreciated that the software modules may be called from other modules / units / blocks or from themselves, and / or may be called in response to a detected event or interrupt. Software modules / units / blocks configured to be executed on a computing device may be provided on a computer-readable medium (e.g., a CD-ROM, a digital video diskette, a flash drive, a diskette, or any other tangible medium) , or as a digital download (which may preliminarily be stored in a compressed or installable format that needs to be installed, decompressed, or decrypted prior to execution) . Software code herein may be stored in part or in whole in a storage device of a computing device that performs an operation and is applied in the operation of the computing device. The software instructions may be embedded in firmware, such as an EPROM. It should also be understood that hardware modules / units / blocks may be included in connected logic assemblies, such as gates and flip-flops, and / or may include programmable units, such as programmable gate arrays or processors. The modules / units / blocks or computing device functions described herein may be implemented as software modules / units / blocks, but may be represented in hardware or firmware. Usually, the modules / units / blocks described herein refer to logical modules / units / blocks, which may be combined with other modules / units / blocks or divided into sub-modules / sub-units / sub-blocks, even though they are physical organizations or memory pieces. This description may apply to a system, an engine, or a portion thereof.

[0064] It is to be understood that, unless the context explicitly states otherwise, when a unit, engine, module, or block is said to be “on” another unit, engine, module, or block, “connected” or “coupled to”  another unit, engine, module, or block, it may be directly on, connected or coupled to, or in communication with, other units, engines, modules, or blocks, or there may be intermediate units, engines, modules, or blocks. In the present disclosure, the term "and / or" may include any one or more of the relevant listed entries or combinations thereof. In the present disclosure, the term “image” may refer to a 2D image, a 3D image, or a 4D image.

[0065] These and other features, characteristics, and methods of functioning and operation of the relevant structural elements, as well as combinations of components and economies of manufacture of the present disclosure may be rendered more apparent in the light of the following description in conjunction with the accompanying drawings, which form a part. It should be understood, however, that the accompanying drawings are for illustrative and descriptive purposes only and are not intended to limit the scope of the present disclosure. It should be understood that the accompanying drawings are not to scale.

[0066] As shown in the present disclosure and in the claims, unless the context clearly suggests an exception, the words “one” , “a” , “an” , “one kind” , and / or “the” do not refer specifically to the singular, but may also include the plural. Generally, the terms “including” and “comprising” suggest only the inclusion of clearly identified steps and elements, however, the steps and elements that do not constitute an exclusive list, and the method or apparatus may also include other steps or elements.

[0067] Flowcharts are used in the present disclosure to illustrate the operations performed by a system according to embodiments of the present disclosure, and the related descriptions are provided to aid in a better understanding of the magnetic resonance imaging method and / or system. It should be appreciated that the preceding or following operations are not necessarily performed in an exact sequence. Instead, steps can be processed in reverse order or simultaneously. Also, it is possible to add other operations to these processes or to remove a step or steps from these processes.

[0068] In surgery executing and planning scenes, when encountering complex or highly difficult surgeries that cannot be completed solely by local doctors or doctors from a single department, the traditional approach is to invite experts (e.g., medical experts) from other positions or departments to conduct joint discussions and / or participate in the surgery locally. This traditional approach incurs high labor and time costs. In some embodiments, the medical experts from different positions or departments may participate in discussions or surgery planning through online consultations. However, if only traditional forms of presentation (e.g., text, images, videos, etc. ) are relied upon during online consultations to display patient information (e.g., patient examination reports, scan images, etc. ) , it is not possible to comprehensively and intuitively present pathological features of the lesion (e.g., a tumor) and surrounding tissues or organs of the lesion (e.g., complex geometric features of the lesion) , resulting in doctors (especially experts participating remotely in online meetings) potentially unable to make accurate judgments, which further affects their surgery plan. On the other hand, patients and their families often lack professional medical knowledge and may not have a clear understanding of the severity of the lesion, the scheduled surgery process, and surgery risks.

[0069] Some embodiments of the present disclosure provide a method and a system for surgery planning and executing. The method and the system for surgery planning and executing combine a physical hospital with a digital twin hospital, thereby enabling a surgery plan, a surgery simulation, a preoperative patient preparation, a surgery execution, and a postoperative review through the integration of virtual and real-world elements, eliminating the informational incompleteness of 2D images, assisting doctors in precisely  conducting surgery planning and execution, and improving surgery success rates. For more information about the above method, please refer to FIGs. 5 to 18 and their related descriptions.

[0070] FIG. 1 is a block diagram illustrating an exemplary medical service system 100 according to some embodiments of the present disclosure.

[0071] The medical service system 100 can also be referred to as a meta hospital system, and is built based on various innovative technologies including metaverse technology, XR technology (e.g., augmented reality (AR) technology, virtual reality (VR) technology, mixed reality (MR) technology, etc. ) , AI technology, digital twin technology, IOT technology, data circulation technology (e.g., blockchain technology, data privacy computing technology) , spatial computing technology, image rendering technology, etc.

[0072] As illustrated in FIG. 1, the medical service system 100 may include a physical hospital 110, a virtual hospital 130, at least one user space application 120, and a hospital support platform 140. In some embodiments, the hospital support platform 140 may map data relating to the physical hospital 110 into the virtual hospital 130 corresponding to the physical hospital 110, and provide user services to relevant users of the physical hospital 110 via the at least one user space application 120.

[0073] The physical hospital 110 refers to a hospital that exists in the physical world and has tangible properties. As used herein, healthcare institutions that offer medical, surgical, and psychiatric care and treatment for people are collectively referred to as hospitals.

[0074] As shown in FIG. 1, the physical hospital 110 may include a plurality of physical entities. For example, the plurality of physical entities may include departments, users, hardware devices, user services, public areas, medical service procedures, or the like, or any combination thereof.

[0075] A department refers to a specialized unit or division dedicated to providing specific types of medical care, treatments, and services. Each of the departments may focus on a particular area of medicine and may be staffed by healthcare professionals with expertise in that area. For example, the departments may include a consultation department, a hospitalization department, a surgery department, a support department (e.g., a registration department, a pharmacy department) , an internal medicine department, a surgical department, a specialized medical department, a children’s health department, or the like, or any combination thereof.

[0076] The users may include any users associated with the physical hospital 110 (or referred to as relevant users of the physical hospital 110) . For example, the users may include patients (or a portion of the patients (e.g., organs) ) , companions of the patients, visitors of the patients, hospital staff of the physical hospital 110, suppliers of the physical hospital 110, application developers of the physical hospital 110, or the like, or any combination thereof. The hospital staff of the physical hospital 110 may include medical service providers (e.g., doctors, nurses, technicians, etc. ) , hospital managers, support staff, or the like, or any combination thereof. Exemplary hospital managers may include a departmental nursing manager, a clinical leader, a departmental dean, a hospital dean, a hospital executive, a functional manager, or the like, or any combination thereof.

[0077] The hardware devices may include hardware devices located in the physical hospital 110 and / or hardware devices in a communication with the hardware devices in the physical hospital 110. Exemplary hardware devices may include terminal devices, medical service devices, sensing devices, basic devices, or the like, or any combination thereof.

[0078] The terminal devices may include terminal devices that interact with the users relating to the medical service system 100. For example, the terminal devices may include a terminal device that interacts with a patient  (also referred to as a patient terminal device) , a terminal device that interacts with a doctor of the patient (also referred to as a doctor terminal device) , a terminal device that interacts with a nurse (also referred to as a nurse terminal device) , a terminal device that interacts with a remote visitor (also referred to as a remote terminal device) , a public terminal of the hospital (e.g., a consultation room terminal, a bedside terminal device, a terminal device in a waiting region, an intelligent surgery terminal) , or the like, or any combination thereof. In the present disclosure, unless obviously obtained from the context or the context illustrates otherwise, a terminal device that is owned by a user and a terminal device that is provided to the user by the physical hospital 110 are collectively referred to as a terminal device of the user or a terminal device that interacts with the user.

[0079] The terminal devices may include a mobile terminal, an XR device, a smart wearable device, etc. The mobile terminal may include a smart phone, a personal digital assistant (PDA) , a display, a gaming device, a navigation device, a handheld terminal (POS) , a tablet computer, or the like, or any combination thereof.

[0080] The XR device may include a device that allows a user to be engaged in an extended reality experience. For example, the XR device may include a VR assembly, an AR assembly, an MR assembly, or the like, or any combination thereof. In some embodiments, the XR device may include an XR helmet, XR glasses, an XR patch, a stereoscopic headset, or the like, or any combination thereof. For example, the XR device may include a Google GlassTM, an Oculus RiftTM, a Gear VRTM, an Apple Vision proTM, etc. Specifically, the XR device may include a display component on which virtual content may be rendered and / or displayed. In some embodiments, the XR device may further include an input component. The input component may enable user interactions between a user and the virtual content (e.g., the virtual surgery environment) displayed by the display component. For example, the input component may include a touch sensor, a microphone, an image sensor, etc., configured to receive user input, which may be provided to the XR device and used to control the virtual world by varying the visual content rendered on the display component. The input component may include a handle, a glove, a stylus, a console, etc.

[0081] The smart wearable device may include smart bracelets, smart shoes and socks, smart glasses, smart helmets, smart watches, smart clothes, smart backpacks, smart accessories, or the like, or any combination thereof. In some embodiments, the smart wearable device may obtain physiological data (e.g., heart rate, blood pressure, body temperature, etc. ) of the user.

[0082] The medical service devices may be configured to provide medical services to the patients. For example, the medical service devices may include examination devices, nursing care devices, therapeutic devices, or the like, or any combination thereof.

[0083] The examination devices may be configured to provide examination services to the patients, such as collecting examination data of the patients. Exemplary examination data may include a heart rate, a respiratory rate, a body temperature, blood pressure, medical imaging data, a body fluid test report (e.g., a blood test report) , or the like, or any combination thereof. Correspondingly, the examination devices may include a vital sign monitor (e.g., a blood pressure monitor, a glucometer, a cardiotachometer, a thermometer, a digital stethoscope, etc. ) , a medical imaging device (e.g., a computed tomography (CT) device, a digital subtraction angiography (DSA) device, a magnetic resonance (MR) device, etc. ) , a laboratory device (e.g., a blood routine examination device, etc. ) , or the like, or any combination thereof.

[0084] The nursing care devices may be configured to provide nursing care services to the patients and / or assist the medical service providers to provide the nursing care services. Exemplary nursing care devices may  include a hospital bed, a patient-care robot, an intelligent nursing trolley, an intelligent medicine box, an intelligent wheelchair, etc.

[0085] The therapeutic devices may be configured to provide therapeutic services to the patients and / or assist the medical service providers to provide the therapeutic services. Exemplary therapeutic devices may include surgical devices, radiotherapeutic devices, physical therapy devices, or the like, or any combination thereof.

[0086] The sensing devices may be configured to collect sensed information relating to the environment where it is located. For example, the sensing devices may include an image sensor, an acoustic sensor, etc. The image sensor may be configured to collect image data in the physical hospital 110, and the acoustic sensor may be configured to collect acoustic data in the physical hospital 110. In some embodiments, a sensing device may be an independent device or be integrated into another device. For example, the acoustic sensor may be part of a medical service device or a terminal device.

[0087] The basic devices may be configured to support data transmission, storage, and processing. For example, the basic devices may be networks, machine room facilities, computing devices, computing chips, storage devices, etc.

[0088] In some embodiments, at least part of the hardware devices of the physical hospital 110 are IoT devices. The IoT devices refer to devices with sensors, processing ability, software, and other technologies that connect and exchange data with other devices and systems over the Internet or other communications networks. For example, one or more medical service devices and / or sensing devices of the physical hospital 110 are IoT devices and configured to transmit the collected data to the hospital support platform 140 for storage and / or processing.

[0089] The user services may include any services provided by the hospital support platform 140 to the users. For example, the user services include medical services provided to the patients and / or the companions of the patients, support services provided to the staff of the physical hospital 110 and / or suppliers of the physical hospital 110, etc. In some embodiments, the user services may be provided to patients, doctors, and hospital managers via the user space application (s) 120, which will be described in detail in the following descriptions.

[0090] The public areas refer to shared spaces accessible to the users (or a portion of the users) in the physical hospital 110. For example, the public areas may include a reception area (e.g., a front desk) , waiting areas, corridors and hallways, or the like, or any combination thereof.

[0091] A medical service procedure refers to a procedure that provides a corresponding medical service to the patients. The medical service procedure normally includes serval stages and / or steps that a user needs to go through for receiving the corresponding medical service. Exemplary medical service procedures may include a consultation procedure, a hospitalization procedure, a surgery procedure, or the like, or any combination thereof. In some embodiments, the medical service procedure may include medical service procedures corresponding to different departments, different diseases, etc. In some embodiments, a preset data acquisition protocol may be set and specify standard stages involved in the medical service procedure and how to collect relating to the medical service procedure.

[0092] The at least one user space application 120 provides the users with access to the user services provided by the hospital support platform 140. A user space application 120 may be an application program, a plug-in, a website, an applet, or in any other suitable form. For example, the user space application 120 is an application program installed on a user’s terminal device, and the application program includes user interfaces for the user to initiate requests and receive corresponding services.

[0093] In some embodiments, the at least one user space application 120 may include different applications corresponding to different types of users. For example, the at least one user space application 120 includes a patient space application corresponding to patients, a doctor space application corresponding to doctors, a manager space application corresponding to managers, or the like, or any combination thereof. User services provided via the patient space application, the doctor space application, and the manager space application are also referred to as patient space services, doctor space services, and manager space services, respectively. Exemplary patient space services include registration services, navigation services, pre-consultation services, remote consultation services, hospitalization admission services, hospitalization discharge services, etc. Exemplary doctor space services include scheduling services, surgical planning services, surgical simulation services, patient management services, remote ward round services, remote consultation services, etc. Example manager space services include monitoring services, medical service evaluation services, equipment parameter setting services, service parameter setting services, resource scheduling services, etc.

[0094] In some embodiments, the patient space application, the doctor space application, and the manager space application may be integrated into one user space application 120, and the user space application 120 may be configured to provide access for each type of the users (e.g., the patients, the medical service providers, the managers, etc. ) . Merely by way of example, a specific user may have a corresponding identity that can be used to log into the user space application, view corresponding diagnosis and treatment data, and obtain corresponding user services.

[0095] According to some embodiments of the present disclosure, by providing the user space applications for different types of users, each type of users can easily obtain various user services that he / she may need on his / her corresponding user space application. In addition, at present, the users are usually required to install various applications to obtain different user services, which results in poor user experience and high development costs. Therefore, the user space applications in the present disclosure can improve the user experience, improve the service quality and efficiency, enhance the service safety, and reduce the development or operational costs.

[0096] In some embodiments, the at least one user space application 120 may be configured to provide access for the relevant users of the physical hospital 110 to interact with the virtual hospital 130. For example, via a user space application 120, a user may input an instruction for retrieving digital content of the virtual hospital 130 (e.g., a digital twin model of a hardware device, a patient organ, a public area) , view the digital content, and interact with the digital content. As another example, via a user space application 120, a user may communicate with a virtual character representing an intelligent agent. In some embodiments, a public terminal of the hospital may be installed with a manager space application, and a manager account of the department corresponding to the public terminal may be logged in the manager space application. Users may receive user services via the manager space application installed in the public terminal.

[0097] The virtual hospital 130 is a digital twin (i.e., a virtual representation or virtual copy) of the physical hospital 110 that is used to simulate, analyze, predict, and optimize the operation status of the physical hospital 110. For example, the virtual hospital 130 may be a digital copy of the physical hospital 110 in real time.

[0098] In some embodiments, the virtual hospital 130 may be presented to the users using digital technologies. For example, at least a portion of the virtual hospital 130 may be presented to the relevant users using the XR technology when the relevant users interact with the virtual hospital 130. Merely by way of example, the at least a portion of the virtual hospital 130 may be superimposed on a real-world view of the relevant users using the  MR technology.

[0099] In some embodiments, the virtual hospital 130 may include digital twins of the physical entities relating to the physical hospital 110. A digital twin refers to a virtual representation (e.g., a virtual copy, a mapping body, a digital simulator) of a physical entity. The digital twins may reflect and predict status, behaviors, and performances of the physical entities in real time. For example, the virtual hospital 130 may include digital twins of at least a portion of the medical services, the departments, the users, the hardware devices, the user services, the public areas, the medical service procedures, etc., of the physical hospital 110. The digital twin of a physical entity may be in various forms including a model, an image, a graph, text, numerical values, etc. For example, the digital twins may be a virtual hospital corresponding to the physical hospital, virtual personnel (e.g., virtual doctors, virtual nurses, and virtual patients) corresponding to personnel entities (e.g., the doctors, the nurses, and the patients) , virtual devices (e.g., the virtual imaging device and a virtual scalpel) corresponding to medical service devices (e.g., an imaging device and a scalpel) , etc.

[0100] In some embodiments, the digital twins may include one or more first digital twins and / or one or more second digital twins. The status of each first digital twin may be updated based on an update of the status of the corresponding physical entity. For example, the one or more first digital twins may be updated during a process of mapping the data relating to the physical hospital 110 into the virtual hospital 130. The one or more second digital twins may be updatable via at least one of the at least one user space application 120, and the update of each second digital twin may result in a status update of the corresponding physical entity. In other words, when the corresponding physical entity changes its status, a first digital twin may be updated accordingly; when a second digital twin is updated, the status of the corresponding physical entity changes accordingly. For example, the one or more first digital twins may include the digital twins of the public areas, the medical services, the users, the hardware devices, etc., and the one or more second digital twins may include the digital twins of the hardware devices, the user services, the medical service procedures, etc. It should be understood that a digital twin can be both a first digital twin and a second digital twin.

[0101] According to some embodiments of the present disclosure, by generating the virtual hospital 130 including the digital twins of the physical entities relating to the physical hospital 110, the physical hospital 110 (encompassing the hardware device, the users, the user services, the medical service procedures, etc. ) can be simulated and tested in a safe and controllable environment. Through a virtual-real linkage (e.g., real-time interactions between the physical hospital 110 and the virtual hospital 130) , various medical scenarios can be predicted and responded to more accurately, thereby improving the quality and efficiency of the medical services. Additionally, the use of the XR technology and virtual-real integration technology enables more natural and intuitive interactions for the relevant users, providing a more comfortable and efficient medical environment, thereby enhancing the user experience.

[0102] In some embodiments, the virtual hospital 130 may further include intelligent agents that achieve self-evolution based on the data relating to the physical hospital 110 and AI technology.

[0103] An intelligent agent refers to an agent acting in an intelligent manner. For example, the intelligent agent may include a computing / software entity that can learn and evolve autonomously, and perceive and analyze data to perform specific tasks and / or achieve specific goals (e.g., the medical service procedures) . Through AI technology (e.g., reinforcement learning, deep learning, etc. ) , the intelligent agent may continuously learn and self-optimize in the interaction with the environment. In addition, the intelligent agent may collect  and analyze massive amounts of data (e.g., the data relating to the physical hospital 110) through big data technology, and mine patterns and learn rules from the data to optimize a decision-making process, so as to identify environmental changes, respond quickly, and make reasonable judgments in uncertain or dynamic environments. For example, the intelligent agents may autonomously learn and evolve based on the AI technology to adapt to changes in the physical hospital 110. Merely by way of example, the intelligent agents may be built based on an NLP technology (e.g., a large language model, etc. ) , and may automatically learn and autonomously update via a large amount of language texts (e.g., hospital business data and patient feedback information) to improve the quality of the user services provided by the physical hospital 110.

[0104] In some embodiments, the intelligent agents may include different types corresponding to different medical service procedures, different user services, different departments, different diseases, different hospital positions (e.g., the nurses, doctors, technicians, etc. ) , different stages in a medical service procedure, etc. An intelligent agent of a specific type is used to handle tasks corresponding to the specific type. In some embodiments, one intelligent agent may correspond to different medical service procedures (or different medical services, or different departments, or different diseases, or different hospital positions) . In some embodiments, the intelligent agent may operate with reference to essential data (e.g., dictionaries, knowledge graphs, templates, etc. ) of the department and / or disease corresponding to the intelligent agent. In some embodiments, a plurality of intelligent bodies may collaborate with each other and share information via network communication to accomplish complex tasks together.

[0105] In some embodiments, configurations of an intelligent agent may be set. For example, essential data used by the intelligent agent in operation may be set. The essential data may include a dictionary, a knowledge database, a template, etc. As another example, usage permissions of the intelligent agent may be set for different users. In some embodiments, a manager of the physical hospital 110 may set configurations of the intelligent agent via a manage space application.

[0106] In some embodiments, an intelligent agent may be integrated into or deployed on a hardware device. For example, an intelligent agent corresponding to the hospitalization services may be integrated into the hospital bed or a presentation device of the hospital bed. In some embodiments, an intelligent agent may be integrated into or deployed on an embodied intelligence robot. The embodied intelligence robot refers to a robotic system that integrates physical presence (embodiment) with intelligent behavior (cognition) . The embodied intelligence robot may be configured to interact with the real world in a manner that mimics or complements human capabilities, utilizing physical form and cognitive functions to perform tasks, make decisions, and adapt to the environment. By leveraging AI and sensor technologies, the embodied intelligence robot may operate autonomously, interact with the environment, and continuously improve the performance. For example, the embodied intelligence robot may be configured with the intelligent agent corresponding to the surgery services and assist the doctors to perform surgeries.

[0107] In some embodiments, at least a portion of the user services may be provided based on the intelligent agents. For example, the at least a portion of the user services may be provided to the relevant users based on a processing result, wherein the processing result is generated by at least one of the intelligent agents based on the data relating to the physical hospital 110. Merely by way of example, the data relating to the physical hospital 110 may include data relating to a medical service procedure of the physical hospital 110, the intelligent agents may include an intelligent agent corresponding to the medical service procedure, and the user services may be  provided to relevant users of the medical service procedure by processing the data using the intelligent agent corresponding to the medical service procedure.

[0108] The hospital support platform 140 may be configured to provide technical support for the medical service system 100. For example, the hospital support platform 140 may include computational hardware and software to support the innovative technologies including XR technology, the AI technology, digital twin technology, data circulation technology, etc. In some embodiments, the hospital support platform 140 may at least include a storage device for data storage and a processing device for data computation.

[0109] In some embodiments, the hospital support platform 140 may support the interaction between the physical hospital 110 and the virtual hospital 130. For example, the processing device of the hospital support platform 140 may obtain data relating to the physical hospital 110 from the hardware devices and map the data relating to the physical hospital 110 into the virtual hospital 130. For instance, the processing device of the hospital support platform 140 may update a portion of the digital twins in the virtual hospital 130 (e.g., the one or more first digital twins) based on the obtained data, so that each of the portion of the digital twins in the virtual hospital 130 may reflect an updated status of the corresponding physical entity in the physical hospital 110. Based on such digital twins that are constantly updated with the corresponding physical entities, the users can understand the real-time statuses of the physical entities relating to the physical hospital 110, thereby realizing monitoring and evaluation of the physical entities. As another example, intelligent agent (s) corresponding to the data relating to the physical hospital 110 may be self-evolving and self-learning by training and / or updating based on the data relating to the physical hospital 110.

[0110] In some embodiments, the hospital support platform 140 may support and / or provide the user services to the relevant users of the physical hospital 110. For example, in response to receiving a user service request from a user, the processing device of the hospital support platform 140 may provide the user service corresponding to the service request. As another example, in response to detecting that a user service needs to be provided to a user, the processing device of the hospital support platform 140 may control a physical entity or a virtual entity corresponding to the user service to provide the user service. For instance, in response to detecting that the patient is admitted to a hospital ward, the processing device of the hospital support platform 140 may control the intelligent nursing trolley to guide a nurse to the hospital ward to perform an initial examination on the patient.

[0111] In some embodiments, at least a portion of the user services may be provided to the relevant users based on the interactions between the relevant users and the virtual hospital 130. An interaction refers to a reciprocal action or influence (e.g., conversation, behavior, etc. ) between the relevant users and the virtual hospital 130. For example, the interactions between the relevant users and the virtual hospital 130 may include interactions between the relevant users and the digital twins in the virtual hospital 130, interactions between the relevant users and the intelligent agents, interactions between the relevant users and the virtual characters, or the like, or any combination thereof.

[0112] In some embodiments, at least a portion of the user services may be provided to the relevant users based on the interactions between the relevant users and at least one of the digital twins. For example, an updating instruction of a second digital twin inputted by a relevant user may be received via the at least one user space application 120, and the corresponding physical entity of the second digital twin may be updated based on the updating instruction. As another example, a user may view a first digital twin of a physical entity (e.g., a 3D  digital twin model of a patient’s organ or a hardware device) via the user space application 120 to understand the status of the physical entity. Optionally, the user may change the display angle, the display size, etc., the digital twin.

[0113] In some embodiments, the processing device of the hospital support platform 140 may present a virtual character corresponding to an intelligent agent via the at least one user space application to interact with the relevant users, and provide at least a portion of the user services to the relevant users based on the interactions between the relevant users and the virtual character.

[0114] In some embodiments, the hospital support platform 140 may have a five-layer structure, including a hardware device layer, an interface layer, a data processing layer, an application development layer, and a service layer, which will be described in FIG. 3. In some embodiments, the hardware devices of the physical hospital 110 may be part of the hospital support platform 140.

[0115] According to some embodiments of the present disclosure, by comprehensively integrating various internal and external resources (e.g., the medical service devices, hospital staff, drugs and consumables, etc. ) of the physical hospital, the virtual hospital corresponding to the physical hospital can be established. This virtual hospital can reflect the real-time statuses (e.g., changes, updates, etc. ) of the physical entities relating to the physical hospital, thereby enabling monitoring and evaluation of the physical entities. This integration can provide accurate data support for the operation of the medical services and intelligent decision-making. Furthermore, through the virtual hospital, the relevant users relating to the medical services can collaboratively establish an open and shared ecosystem, thereby fostering innovation and enhancement of medical services.

[0116] In addition, full-life cycle patient medical and health services with in-hospital and out-of-hospital linkage may be provided. The perspective of the medical services is expanded from simple disease treatment to encompass the entire life cycle of the patients, including prevention, diagnosis, treatment, rehabilitation, health management, etc. By establishing the in-hospital and out-of-hospital linkage, the physical hospital can better integrate online and offline resources to provide the patients comprehensive and continuous medical and health services. For example, through remote monitoring and online consultation, the patients’ health status can be tracked in real time, which can adjust treatment plans promptly, and improve treatment outcomes.

[0117] FIG. 2 is a schematic diagram illustrating an exemplary medical service system 200 according to some embodiments of the present disclosure.

[0118] As illustrated in FIG. 2, the medical service system 200 may include a processing device 210, a network 220, a storage device 230, one or more medical service devices 240, one or more sensing devices 250, one or more patient terminal devices 260 of a patient 261, and one or more doctor terminal devices 270 of a doctor 271 associated with the patient 261. In some embodiments, components in the medical service system 200 may be connected to and / or communicate with each other via a wireless connection, a wired connection, or a combination thereof. The connection between the components of the medical service system 200 may be variable.

[0119] The processing device 210 may process data and / or information obtained from the storage device 230, the medical service device (s) 240, the sensing device (s) 250, the patient terminal device (s) 260, and / or the doctor terminal device (s) 270. For example, the processing device 210 may provide user services to the patient 261 and the doctor 271 via the patient terminal device (s) 260 and / or the doctor terminal device (s) 270, respectively.

[0120] In some embodiments, the processing device 210 may be a single server or a server group. The server  group may be centralized or distributed. In some embodiments, the processing device 210 may be local to or remote from the medical service system 200. In some embodiments, the processing device 210 may be implemented on a cloud platform. For example, the cloud platform may include a private cloud, a public cloud, a hybrid cloud, a community cloud, a distributed cloud, an inter-cloud, a multi-cloud, or the like, or a combination thereof.

[0121] In some embodiments, the processing device 210 may include one or more processors (e.g., single-core processor (s) or multi-core processor (s) ) . Merely for illustration, only one processing device 210 is described in the medical service system 200. However, it should be noted that the medical service system 200 in the present disclosure may also include multiple processing devices. Thus, operations and / or method steps that are performed by one processing device 210 as described in the present disclosure may also be jointly or separately performed by the multiple processing devices.

[0122] The network 220 may include any suitable network that can facilitate the exchange of information and / or data for the medical service system 200. The network 220 may be or include a wired network, a wireless network (e.g., an 802.11 network, a Wi-Fi network) , a BluetoothTM network, a near field communication (NFC) network, or the like, or any combination thereof.

[0123] The storage device 230 may store data, instructions, and / or any other information. In some embodiments, the storage device 230 may store data obtained from other components of the medical service system 200. In some embodiments, the storage device 230 may store data and / or instructions that the processing device 210 may execute or use to perform exemplary methods described in the present disclosure.

[0124] In some embodiments, the data stored in the storage device 230 may include multimodal data. The multimodal data may include data in multiple forms (e.g., images, graphics, video, text, etc. ) , data of various types, data obtained from different sources, data relating to different medical businesses (e.g., diagnosis, surgery, rehabilitation, etc. ) , data relating to different users (e.g., the patients, the medical staff, managers, etc. ) . For example, the data stored in the storage device 230 may include medical data of the patient 261 reflecting a health condition of the patient 261. For instance, the medical data may include an electronic health record of the patient 261. The electronic health record refers to an electronic file that records various types of patient data (e.g., basic information, examination data, imaging data) . For example, the electronic health record may include three-dimensional models of a plurality of organs and / or tissues of the patient 261.

[0125] In some embodiments, the storage device 230 may include a mass storage device, a removable storage device, a volatile read-and-write memory, a read-only memory (ROM) , or the like, or any combination thereof. In some embodiments, the storage device 230 may include a data lake and a data warehouse, which will be described in detail in connection with FIG. 3.

[0126] The medical service device (s) 240 may be used to provide or assist medical services. As shown in FIG. 2, the medical service device (s) 240 include a consultation room terminal 240-1, a hospital bed 240-2, an intelligent surgery terminal 240-3, an intelligent nursing trolley 240-4, an intelligent wheelchair 240-5, or the like, or any combination thereof.

[0127] The consultation room terminal 240-1 refers to a terminal device configured in a consultation room for use by doctors and patients in a medical consultation process. For example, the consultation room terminal 240-1 may include one or more of a screen, a sound output component, an image sensor, or an acoustic sensor. The screen of the consultation room terminal 240-1 may present a consultation interface, and data may be  presented on the consultation interface for facilitating the communication between patients and doctors. Exemplary data may include an electronic health record (or a portion thereof) , a pre-consultation record, a medical image, a 3D organ model, an examination result, a decision recommendation, etc.

[0128] The hospital bed 240-2 refers to a bed in a hospital ward that can support a patient admitted to the hospital ward and provide user services to the patient. The hospital bed 240-2 may include a bed, a bedside terminal device, a bedside examination device, sensors, or the like, or any combination thereof. The bedside terminal device may include an XR device, a display device, a mobile device, or the like, or any combination thereof. In some embodiments, the hospital bed 240-2 may be controlled by an intelligent agent corresponding to hospitalization services, wherein such a hospital bed may be also referred to as an intelligent hospital bed or a meta-hospital bed.

[0129] The intelligent surgery terminal 240-3 refers to a device configured for assisting surgeries and controlled by an intelligent agent corresponding to the surgery service. The intelligent surgery terminal 240-3 may perceive interactions (e.g., conversation, behavior, etc. ) between the medical service providers, the patients, and the intelligent agent, and obtain data captured by the sensing device (s) 250, so as to provide surgery assistance. In some embodiments, the intelligent surgery terminal 240-3 may be configured to perform risk warnings of surgical operations, generate surgical records for the surgery procedure, etc., based on the intelligent agent configured therein.

[0130] The intelligent nursing trolley 240-4 refers to a nursing trolley that has an automatic driving function and can assist in patient treatment and care. For example, the intelligent nursing trolley 240-4 may be configured to guide a nurse to the hospital ward to perform an initial examination on the patient. In some embodiments, the intelligent nursing trolley can be controlled by an intelligent agent (e.g., an intelligent agent corresponding to the hospitalization services, a nursing intelligent agent) . In some embodiments, the intelligent nursing trolley 240-4 may include a trolley, a presentation device, one or more examination devices and / or nursing tools, sensors (e.g., an image sensor, a GPS sensor, an acoustic sensor, etc. ) , etc. In some embodiments, the intelligent nursing trolley 240-4 may be configured to obtain relevant treatment and care information of the patient and generate measurement data, nursing data, etc. The measurement data may include vital signs data of the patient. The nursing data may include a detailed record of a nursing operation, such as a nursing time, a nursing operator, nursing measures, patient responses, etc.

[0131] The intelligent wheelchair 240-5 refers to a transport device for intelligently picking up and dropping off the patients. In some embodiments, the intelligent wheelchair 240-5 may be configured to perform autonomous navigation through integrated sensors and maps, locate a location of a patient using a radio frequency identification device (RFID) , Bluetooth, or Wi-Fi signals, identify the patient through biometric technology. In some embodiments, the intelligent wheelchair 240-5 may be controlled by an intelligent agent (e.g., an intelligent agent corresponding to the hospitalization services, an intelligent agent corresponding to the surgery services) . In some embodiments, the intelligent wheelchair 240-5 may be configured to generate data (e.g., records of interaction content between the intelligent agent and the patients) by sensing interaction data through built-in cameras / sensors.

[0132] The sensing device (s) 250 may be configured to collect sensed information relating to the environment where it is located. In some embodiments, the sensing device (s) 250 may include sensing device (s) in the physical hospital 110. For example, the sensing device (s) 250 may include an image sensor 250-1, an acoustic  sensor, 250-2, a temperature sensor, a humidity sensor, etc.

[0133] The patient terminal device (s) 260 may be a terminal device that interacts with the patient 261. In some embodiments, the patient terminal device (s) 260 may include a mobile terminal 260-1, an XR device 260-2, a smart wearable device 260-3, etc. The doctor terminal device (s) 270 may be a terminal device that interacts with the doctor 271. In some embodiments, the doctor terminal device (s) 270 may include a mobile terminal 270-1, an XR device 270-2, etc. In some embodiments, the patient 261 may access the user space application (e.g., the patient space application) through a patient terminal device 260, and the doctor 271 may access the user space application (e.g., the doctor space application) through a doctor terminal device 270. In some embodiments, the patient 261 and the doctor 271 may communicate with each other remotely via a patient terminal device 260 and a doctor terminal device 270, so as to provide remote medical services, such as remote consultation service, remote ward round service, remote follow-up service, etc.

[0134] The sensing device (s) 250, the patient terminal device (s) 260, and the doctor terminal device (s) 270 may be configured as data sources to provide information for the medical service system 200. For example, these devices may transmit collected data to the processing device 210, and the processing device 210 may provide user services based on the received data.

[0135] It should be noted that the above description of the medical service systems 100 and 200 is intended to be illustrative, and not to limit the scope of the present disclosure. Many alternatives, modifications, and variations will be apparent to those skilled in the art. The features, structures, methods, and other characteristics of the exemplary embodiments described herein may be combined in various ways to obtain additional and / or alternative exemplary embodiments. For example, the medical service system 200 may include one or more additional components, such as terminal devices of other users, public terminal devices of the hospital, etc. As another example, two or more components of the medical service system 200 may be integrated into a single component.

[0136] FIG. 3 is a schematic diagram illustrating an exemplary hospital support platform 300 according to some embodiments of the present disclosure.

[0137] As shown in FIG. 3, the hospital support platform 300 may include a hardware layer 310 (also referred to as a hardware module) , an interface layer 320 (also referred to as an interface module) , a data processing layer 330 (also referred to as a data processing module) , an application development layer 340 (also referred to as an application development module) , and a service layer 350 (also referred to as a service module) . It should be understood that the “layer” and “module” in the present disclosure are only used to logically divide the components of the hospital support platform, and are not intended to be limiting.

[0138] The hardware layer 310 may be configured to provide a hardware foundation for the interaction between a real world and a digital world, and may include one or more hardware devices related to hospital operation. An exemplary hardware device may include a medical service device, a sensing device, a terminal device, and a basic device.

[0139] The interface layer 320 may be connected with the hardware layer 310 and the data processing layer 330. The interface layer 320 may be configured to obtain the data collected by the hardware devices of the hardware layer 310 and send the data to the data processing layer 330 for storage and / or processing. The interface layer 320 may also be configured to control at least a portion of the hardware devices of the hardware layer 310. In some embodiments, the interface layer 320 may include hardware interfaces and software  interfaces (e.g., data interface, control interface) .

[0140] The data processing layer 330 may be configured to store and / or process data. The data processing layer 330 may include a processing device, and multiple data processing units may be configured on the processing device. The data processing layer 330 may be configured to obtain data from the interface layer 320 and process the data via at least one of the data processing units to implement user services related to the hospital business.

[0141] The data processing units may include various preset algorithms for implementing data processing. In some embodiments, the data processing layer 330 may include a processing device (e.g., the processing device 220 in FIG. 2) . The data processing units may be configured on the processing device. In some embodiments, the data processing units may include XR units configured to process data using XR technologies to achieve XR services, AI units (e.g., intelligent agent units) configured to process the data using AI technologies to achieve AI services, digital twin units configured to process the data using digital twin technologies to achieve digital twin service, data circulation units configured to process the data using data circulation technologies (e.g., blockchain technologies, data privacy computing technologies) to achieve data circulation services, etc.

[0142] In some embodiments, the data processing layer 330 may also include a data center configured to store data. In some embodiments, the data center may adopt a lake-warehouse integrated architecture, which may include a data lake and a data warehouse. The data lake may be used to persistently store massive data in a tamper-proof manner. The data warehouse may be used to store index data corresponding to the data in the data lake. The data stored in the data lake may include native (or raw) data collected by the hardware devices, derived data generated based on the native data, etc. In some embodiments, the data in the data lakehouse may be processed by a processing device (e.g., the processing device 210) .

[0143] The application development layer 340 may be configured to support application development, publishing, subscription, etc. The application development layer 340 is also referred to as an ecological suite layer. In some embodiments, the application development layer 340 may be configured to provide open interfaces for application developers to access or invoke at least a portion of the data processing units and utilize the at least a portion of the data processing units to develop applications. In some embodiments, as shown in FIG. 3, the application development layer 340 may provide a development toolkit, an application marketplace, a multi-tenant operation platform, a cloud official website, a workspace, and other support kits to assist the developers in their work.

[0144] The service layer 350 may be configured for relevant users of the hospital business to access the user services relating to the hospital business via user space applications.

[0145] The present disclosure provides a hospital support platform designed for the comprehensive management of various resources within a hospital, including hardware resources, software resources, and data resources. In certain embodiments, the platform further incorporates data processing units capable of supporting advanced technologies, such as AI, XR, digital twin, and blockchain. These advanced technologies are harnessed to enhance service efficiency and quality within the healthcare industry. For instance, AI technologies enable autonomous evolution and continuous optimization of hospital operations, while XR and digital twin technologies facilitate the creation and maintenance of a virtual hospital. This virtual hospital can engage with users, offering an immersive and novel service experience. Additionally, the platform includes an application development layer that grants access to these advanced technologies to third-party developers within the  healthcare industry. This access fosters an open ecosystem that promotes application development and innovation, thereby driving advancements in healthcare services.

[0146] FIG. 4 is an exemplary module schematic diagram illustrating a system for surgery planning and executing according to some embodiments of the present disclosure.

[0147] As shown in FIG. 4, the system for surgery planning and executing may include a surgery planning module 410, a surgery simulation module 420, a preoperative preparation module 430, a surgery execution module 440, and a postoperative review module 450.

[0148] In some embodiments, the surgery planning module 410 may be configured to determine a surgery plan. In some embodiments, the surgery planning module 410 may generate the surgical plan based on patient data (e.g., patient personal data, historical diagnosis and treatment data, medical examination data, etc. ) , doctor feedback information (e.g., second feedback information) , and / or sensed information (e.g., fourth sensed information) .

[0149] In some embodiments, the surgery planning module 410 may generate a preliminary surgery plan based on the patient data and present the patient data to a doctor. The surgery planning module 410 may then generate the surgery plan based on the preliminary surgery plan and the second feedback information.

[0150] In some embodiments, the surgery planning module 410 may determine an operation difficulty factor based on the patient data and further determine whether to convene a Multi-Disciplinary Team Meeting based on the operation difficulty factor. In response to determining that a Multi-Disciplinary Team Meeting is needed, the surgery planning module 410 presents a virtual meeting space separately through a second terminal device of the doctor and a fourth terminal device of a remote expert. The surgery planning module 410 may then obtain, during the Multi-Disciplinary Team Meeting, fourth sensed information collected by the second terminal device and the fourth terminal device, and generate the surgery plan based on the patient data and the fourth sensed information.

[0151] In some embodiments, the surgery planning module 410 may be configured to generate a risk assessment result of the surgery plan by processing the surgery plan and at least a portion of the patient data. The surgery planning module 410 may be configured to determine risk prevention measures based on the risk assessment result and present the risk assessment result and the risk prevention measures of the surgery plan to the doctor. For example, the surgery planning module 410 may generate the risk assessment result of the surgery plan by processing the surgery plan and at least a portion of the patient data using a risk assessment model.

[0152] In some embodiments, the surgery planning module 410 may be configured to generate explanatory materials for explaining the surgery plan and simultaneously present the explanatory materials to both the patient and the doctor through at least one terminal device. The surgery planning module 410 may be configured to determine first feedback information regarding the surgery plan based on second sensed information collected by one or more second sensing devices during an explanation process of the surgery plan. The surgery planning module 410 may be configured to determine or update the surgery plan of the patient based on the surgery plan and the first feedback information.

[0153] In some embodiments, the surgery simulation module 420 may be configured to perform surgery simulation. In some embodiments, the surgery simulation module 420 may generate a virtual surgery scene for the surgery simulation based on the surgery plan and present the virtual surgery scene to the doctor through  the second terminal device of the doctor. The surgery simulation module 420 may obtain an interaction instruction related to virtual surgery device input by the doctor through the second terminal device or an interactive device corresponding to the virtual surgery device. The surgery simulation module 420 may update a virtual surgery site and the virtual surgery device in the virtual surgery scene based on the interaction instruction.

[0154] In some embodiments, the preoperative preparation module 430 may be configured to perform a preoperative patient preparation. In some embodiments, the preoperative preparation module 430 may visually display the patient's lesion and surrounding tissues or organs of the lesion based on a three-dimensional anatomical model of the patient through a terminal device (e.g., XR glasses or an intelligent display terminal) worn by a participant (such as a patient, a doctor, a family of the patient, etc. ) . The preoperative preparation module 430 may also obtain explanatory information from the doctor to the patient and / or the family of the patient through a sensor on the terminal device worn by the doctor, and send the explanatory information to the terminal device of the patient or the family of the patient, so that the patient or the family of the patient may receive the explanatory information.

[0155] In some embodiments, the preoperative preparation module 430 may be configured to generate the explanatory materials for explaining the surgery plan, and simultaneously present the explanatory materials to the patient and the doctor through at least one terminal device.

[0156] In some embodiments, the surgery execution module 440 may be configured to perform a surgery execution. In some embodiments, the surgery execution module 440 may perform a surgery process on the patient based on the surgery plan.

[0157] In some embodiments, during the surgery execution, the surgery execution module 440 may monitor environmental data and personnel behavior through surveillance equipment. In some embodiments, based on the surgery progress, the surgery execution module 440 may display a view of a department operating room and a real-time view of a current operating room on an interactive device. In some embodiments, the surgery execution module 440 may obtain first sensed information collected by one or more first sensing devices in the operating room during the patient's surgery process and perform Event of Interest (EOI) detection on the first sensed information. In response to determining that an EOI has occurred, the surgery execution module 440 may also execute one or more predetermined operations corresponding to the EOI.

[0158] In some embodiments, the postoperative review module 450 may be configured to perform a postoperative review. In some embodiments, the postoperative review module 450 may conduct postoperative care based on a surgery report and a medical advice report. In some embodiments, the postoperative review module 450 may monitor patient's postoperative signs through vital sign monitoring equipment (e.g., an ECG monitor, a blood pressure monitor, etc. ) in the hospital room to determine whether patient's postoperative vital signs are within a normal range, whether there are any abnormalities, or whether the recovery progress is normal. In some embodiments, the postoperative review module 450 may update the medical advice report based on the patient's postoperative signs. In some embodiments, the postoperative review module 450 may determine a postoperative care plan based on an updated medical advice report. In some embodiments, the postoperative review module 450 may generate a doctor's surgery outcome and an operation record based on the surgery report and the medical advice report, so that the doctor may review the surgery process.

[0159] For more information about the surgery planning module 410, surgery simulation module 420, the  preoperative preparation module 430, the surgery execution module 440, and the postoperative review module 450, please refer to relevant descriptions elsewhere in the present disclosure (e.g., FIG. 5) and is not repeated here.

[0160] It should be understood that the system and its modules shown in FIG. 4 may be implemented in various ways. For example, in some embodiments, the system and its modules may be implemented through hardware, software, or a combination of software and hardware.

[0161] It should be noted that the above description of the system 400 for surgery planning and executing and its modules is for convenience and illustration purposes only, and should not limit the present disclosure to the scope of the examples presented. It can be understood that after understanding the principles of the system, those skilled in the art may, without departing from these principles, freely combine various modules or form subsystems to connect with other modules. Such modifications are within the scope of protection of the present disclosure.

[0162] FIG. 5 is an exemplary schematic diagram illustrating a process of a method for surgery planning and executing according to some embodiments of the present disclosure.

[0163] In some embodiments, process 500 may be executed by an application scene of a system for surgery planning and executing (e.g., the processing device 210 in application scene 100) or by the system 400 for surgery planning and executing. For example, process 500 may be stored in a storage device (e.g., the storage device 230, a storage unit of the system for surgery planning and executing) in the form of a program or instructions. When the processing device 210 or the modules shown in FIG. 4 execute the program or instructions, process 500 may be implemented. As shown in FIG. 5, in some embodiments, process 500 may include the following steps.

[0164] Step 510, a surgery planning is performed. In some embodiments, step 510 may be executed by the processing device 210 or the surgery planning module 410.

[0165] The surgery planning refers to a process of formulating a surgery plan (e.g., an optimal surgery plan or multiple feasible surgery plans) for a patient. The optimal surgery plan may have a minimum surgery risk, an optimal postoperative rehabilitation outcome, or is most suitable for the patient's physical condition. The surgery plan may be used to perform a surgery on the patient. In some embodiments, the surgery plan may include at least one of a surgery site (e.g., the abdomen, the chest, etc. ) , a surgery time, surgery steps, an estimated surgery duration, an anesthesia dosage, a primary surgeon, a surgery type (e.g., a minimally invasive surgery, a laparoscopic surgery, an invasive surgery, etc. ) , a surgery incision position, an incision depth, an incision path, an implant (e.g., a cardiac stent, a prosthesis, etc. ) , an implant path, types and quantities of surgery tools, risk prevention measures, etc.

[0166] In some embodiments, the processing device 210 or the surgery planning module 410 may generate a surgery plan (including a preliminary surgery plan) based on patient data (e.g., patient personal data, historical diagnosis and treatment data, medical examination data, etc. ) , doctor feedback information (e.g., second feedback information) , and / or sensed information (e.g., fourth sensed information) .

[0167] In some embodiments, the processing device 210 or the surgery planning module 410 may generate a preliminary surgery plan based on the patient data and present the patient data to a doctor. The processing device 210 or the surgery planning module 410 may then generate the surgery plan based on the preliminary surgery plan and second feedback information. The second feedback information refers to a feedback on the  preliminary surgery plan input by the doctor through a second terminal device. The second terminal device is an extended reality device used or worn by the doctor. For example, the second terminal device may be XR glasses worn by the doctor. For more information about this embodiment, please refer to FIG. 8 and its related description.

[0168] A terminal device refers to a device worn by a user (e.g., a patient, a doctor, etc. ) that may access, view, and interact with a virtual reality space (e.g., a virtual surgery scene) . For example, the terminal device may be an extended reality device (e.g., XR glasses, etc. ) . In some embodiments, the terminal device may include a first terminal device of a patient, a second terminal device of a doctor, a third terminal device of a family of the patient, and a fourth terminal device of a remote expert or a doctor from another department.

[0169] In some embodiments, when formulating a surgery plan, the processing device 210 or the surgery planning module 410 may generate the surgery plan by conducting a Multi-Disciplinary Team Meeting.

[0170] In some embodiments, the processing device 210 or the surgery planning module 410 may determine an operation difficulty factor based on the patient data and further determine whether to convene a Multi-Disciplinary Team Meeting based on the operation difficulty factor. In response to determining that a Multi-Disciplinary Team Meeting is needed, the processing device 210 or the surgery planning module 410 presents a virtual meeting space separately through the second terminal device of the doctor and the fourth terminal device of the remote expert. During the Multi-Disciplinary Team Meeting, the processing device 210 or the surgery planning module 410 obtains fourth sensed information collected by the second terminal device and the fourth terminal device. The processing device 210 or the surgery planning module 410 generates the surgery plan based on the patient data and the fourth sensed information. The fourth terminal device refers to an extended reality device worn by the remote expert. For example, the fourth terminal device may be XR glasses worn by the remote expert. For more information about this embodiment, please refer to FIG. 7 and its related description.

[0171] In some embodiments, the processing device 210 or the surgery planning module 410 may generate a risk assessment result of the surgery plan by processing the surgery plan and at least a portion of the patient data using a risk assessment model. The processing device 210 or the surgery planning module 410 determines risk prevention measures based on the risk assessment result and presents the risk assessment result and the risk prevention measures of the surgery plan to the doctor. For more information about this embodiment, please refer to FIG. 8 and its related description.

[0172] In some embodiments, the processing device 210 or the surgery planning module 410 may generate explanatory materials for explaining the surgery plan. The processing device 210 or the surgery planning module 410 may simultaneously present the explanatory materials to both the patient and the doctor through at least one terminal device. Furthermore, in some embodiments, the processing device 210 or the surgery planning module 410 may also determine first feedback information regarding the surgery plan based on second sensed information collected by one or more second sensing devices during an explanation process of the surgery plan. The processing device 210 or the surgery planning module 410 may determine or update the patient's surgery plan based on the surgery plan and the first feedback information. For more information about the above embodiments, please refer to FIG. 12 and its related description.

[0173] Step 520, a surgery simulation is performed. In some embodiments, step 510 may be performed by the processing device 210 or the surgery simulation module 420.

[0174] The surgery simulation refers to a process of practicing a surgery in a safe and controlled environment by a doctor to improve the surgery plan and / or improve surgery skills of the doctor. For example, for a complex surgery or a rare surgery, the doctor may perform a simulation surgery on a virtual patient in a virtual surgery scene (such as an extended reality surgery scene) using extended reality device (e.g., a second XR device) based on the surgery plan. Potential risk points during the surgery are identified and corresponding risk prevention measures are formulated. The potential risk points refer to a risky surgery operation, an abnormal state of an organ, or other emergency conditions during a surgery process. For example, the potential risk points may be reflected by low blood pressure, slow breathing, liver failure, etc., of the patient. Additionally, for multiple surgery plans, the doctor may use extended reality device (e.g., the second XR device) to simulate each surgery plan in a virtual surgery scene, in order to compare the advantages and disadvantages of different surgery plans and determine the optimal surgery plan. Furthermore, the doctor may use extended reality device (e.g., the second XR device) to repeatedly practice the same surgery process in a virtual surgery scene, to deepen his / her understanding and memory of surgery operations and improve the accuracy and proficiency of the surgery process.

[0175] In some embodiments, the processing device 210 or the surgery planning module 410 may generate a virtual surgery scene for the surgery simulation based on the surgery plan and present the virtual surgery scene to the doctor through the second terminal device of the doctor. The processing device 210 or the surgery planning module 410 may obtain an interaction instruction related to a virtual surgery device input by the doctor through the second terminal device or an interactive device corresponding to the virtual surgery device. The processing device 210 or the surgery planning module 410 may update a virtual surgery site and the virtual surgery device in the virtual surgery scene based on the interaction instruction. For more information about this embodiment, please refer to FIGs. 9 and 10, and their related descriptions.

[0176] In some embodiments, the surgery simulation is an optional step, thus process 500 may not include step 520 and may proceed directly from step 510 to step 530.

[0177] Step 530, a preoperative patient preparation is performed. In some embodiments, step 530 may be performed by the processing device 210 or the surgery preparation module 430.

[0178] The preoperative patient preparation refers to preparatory matters for the patient before the surgery process or before entering an operating room for conducting the surgery process. As shown in FIG. 5, the preoperative patient preparation may include a preoperative education 532 and a preoperative guidance 534.

[0179] The preoperative education refers to a process of explaining the patient's condition, a surgery plan to the patient and / or the patient's family, and a process of deducing the patient's postoperative rehabilitation status.

[0180] In some embodiments, the preoperative education may be actively conducted by a doctor manually.

[0181] For example, the processing device 210 or the preoperative preparation module 430 may visually display the patient's lesion and surrounding tissues or organs of the lesion based on a three-dimensional anatomical model of the patient through a terminal device (e.g., XR glasses or an intelligent display terminal) worn by a participant (such as a patient, a doctor, a family of the patient, etc. ) . Then, a doctor (for example, the doctor 271) may send explanatory information to the patient and / or the family of the patient, the processing device 210 or the preoperative preparation module 430 may obtain the explanatory information from the doctor to the patient and / or the family of the patient through a sensor on the terminal device worn by the  doctor. The processing device 210 or the preoperative preparation module 430 may send the explanatory information to the terminal device of the patient or the family of the patient, so that the patient or the family of the patient may receive the explanatory information. The explanatory information may include explanations of multiple surgery plans and simulation surgery steps, potential risks, a postoperative rehabilitation progress, and a hospital discharge criteria, etc. The form of the explanatory information may be voice information, pattern information, text information, etc.

[0182] In some embodiments, the processing device 210 or the preoperative preparation module 430 may generate explanatory materials for explaining the surgery plan. The processing device 210 or the preoperative preparation module 430 may simultaneously present the explanatory materials to the patient and the doctor through at least one terminal device. For more information about the preoperative education and the above embodiments, please refer to FIGs. 11 and 12, and their related descriptions.

[0183] The preoperative guidance refers to a process of guiding the patient to complete a preoperative preparation before the surgery process. The preoperative guidance may include a patient reception, a patient verification, a preoperative care, a preoperative cleaning, an intravenous access establishment, etc. For example, the processing device 210 or the preoperative preparation module 430 may use a nurse agent to guide a nurse in performing the preoperative cleaning and / or the intravenous access establishment for the patient. The nurse agent may interact with and guide the nurse through a terminal device (e.g., XR glasses or an intelligent display terminal) worn by the nurse. In some embodiments, the processing device 210 or the preoperative preparation module 430 may determine a planned route from a current position of the patient to a waiting area of an operating room. The processing device 210 or the preoperative preparation module 430 may control an intelligent chair to transport the patient to the waiting area along the planned route. The processing device 210 or the preoperative preparation module 430 may collect biological information of the patient through one or more third sensing devices in the waiting area. The processing device 210 or the preoperative preparation module 430 may verify an identity of the patient based on the biological information. For more information about the preoperative guidance, please refer to FIG. 14 and its related description.

[0184] Step 540, a surgery execution is performed. In some embodiments, step 540 may be performed by the processing device 210 or the surgery execution module 440.

[0185] The surgery execution refers to surgery-related operations performed on the patient after entering the operating room. The surgery execution may include a preoperative preparation, an intraoperative procedure, and a postoperative procedure.

[0186] In some embodiments, the processing device 210 or the surgery execution module 440 may perform the surgery process on the patient based on the surgery plan. In some embodiments, during the surgery execution, the processing device 210 or the surgery execution module 440 may monitor environmental data and personnel behavior through surveillance equipment. In some embodiments, based on the surgery progress, the processing device 210 or the surgery execution module 440 may display a view of a department operating room and a real-time view of a current operating room on an interactive device. In some embodiments, the processing device 210 or the surgery execution module 440 may obtain first sensed information collected by one or more first sensing devices in the operating room during the patient's surgery process and perform Event of Interest (EOI) detection on the first sensed information. In response to determining that an EOI has occurred, the processing device 210 or the surgery execution module 440 may execute one or more  predetermined operations corresponding to the EOI. For more information about this embodiment, please refer to FIG. 17 and its related description.

[0187] Step 550, a postoperative review is performed. In some embodiments, step 550 may be performed by the processing device 210 or the postoperative review module 450.

[0188] The postoperative review may include at least one of updating a medical advice report, generating a surgery outcome and an operational record of the doctor (to facilitate a review of the surgery process) , and creating a postoperative care plan, etc. For more information about the postoperative review, please refer to FIG. 18 and its related description.

[0189] It should be noted that the description of process 500 above is merely for the purpose of illustration and explanation, and does not limit the scope of application of the present disclosure. For those skilled in the art, various modifications and changes may be made to process 500 under the guidance of the present disclosure. However, these modifications and changes are still within the scope of the present disclosure.

[0190] FIG. 6 is an exemplary schematic diagram illustrating a process of a surgery plan according to some embodiments of the present disclosure. As shown in FIG. 6, in some embodiments, process 600 may include the following steps. In some embodiments, process 600 may be executed by the processing device 210 or the surgery planning module 410.

[0191] Step 610, a condition assessment result is generated by assessing the patient's condition based on patient data.

[0192] The patient data refers to physiological or pathological information related to the patient. The patient data may include patient personal data, historical diagnosis and treatment data, medical examination data, patient digital twins (e.g., a three-dimensional anatomical model of the patient) , etc.

[0193] The patient personal data refers to basic information data of the patient. The patient personal data may include information such as a gender, an age, a height, a weight, etc., of the patient. For example, the patient personal data may be "Male, 39 years old, 174cm, 73kg" .

[0194] The historical diagnosis and treatment data refers to data related to treatment and care before a current surgery process or before a current moment. The historical diagnosis and treatment data may include a medical history, historical treatment records of the patient (e.g., historical surgery records, historical chemotherapy records, etc. ) , inpatient care records (e.g., medical advice records, nursing records, medication records during hospitalization, etc. ) , historical medication records (e.g., medication records before the current hospitalization, etc. ) , etc.

[0195] The medical examination data refers to data reflecting results of medical examinations performed on the patient. The medical examinations may include a blood test, a biochemical test, a urine test, an immunology test, a microbiology test, an allergen test, an imaging examination (e.g., a CT scan, a MR scan, a PET scan, an ultrasound scan, etc. ) , etc. The medical examination data may be examination reports of the medical examinations, such as a blood test report, a urine test report, an immunology test report, a CT imaging report, a MR imaging report, a PET imaging report, etc.

[0196] The patient data may be obtained from an electronic health record (UHR) or may be supplemented by the doctor. The UHR is an archive for storing the patient data. For example, the personal information (e.g., after the first registration and entry) , the physical examination reports, the medical examination reports of the patient, etc., may be stored in a folder (e.g., a folder named by the patient's number, name, etc. ) corresponding  to the patient in the UHR. For example, the doctor initiates a patient data acquisition instruction by operating an interactive terminal of a doctor's workstation (e.g., a second terminal device, an intelligent display terminal) . The processing device retrieves the current patient's patient data from the UHR based on the acquisition instruction and displays it on the interactive terminal.

[0197] The condition assessment result may reflect the patient's health status and / or condition. The condition assessment result may include a stage of the condition, a disease progression, a speed of disease deterioration, the patient's tolerance to medications or surgery, etc. For example, taking cancer as an illness, the condition assessment result may be "the stage of the condition is advanced, a cancer foci have spread, the cancer foci develops and spreads rapidly, the patient has no history of drug allergies, and the patient has a strong tolerance for surgery. "

[0198] The assessment process for the condition assessment result may include a manual assessment and / or an intelligent assessment.

[0199] The manual assessment refers to determining the condition assessment result by a condition assessor (e.g., a doctor) based on the patient data. In some embodiments, after the patient data is retrieved and displayed on a display interface of an interactive device (e.g., the second terminal device worn by the doctor, the intelligent display terminal in the doctor's office) , the doctor may comprehensively assess the patient's health status and condition based on the patient data. The doctor may input the condition assessment result through the interactive device (e.g., through voice input, interface input, etc. ) . For example, the doctor may review the patient data from the UHR through the intelligent display terminal at the doctor's workstation, use tools provided by the UHR to precisely locate the lesion, view an exact position, a size, and a relationship with surrounding tissues of the lesion, etc., to intuitively understand the patient's condition and perform a preoperative assessment. A sensing device (e.g., a microphone, a gesture sensor, etc., on the second terminal device worn by the doctor) may capture the doctor's input information (e.g., voice information, gesture information, etc. ) to generate the condition assessment result.

[0200] The intelligent assessment refers to processing the patient data using a condition assessment model to determine the condition assessment result. The condition assessment model may be a machine learning model. An input of the condition assessment model may include the patient data, and an output may include the condition assessment result. In some embodiments, the condition assessment model may be integrated into the processing device 210. After determining the patient's condition assessment result using the condition assessment model, the processing device 210 may output and display the condition assessment result to the doctor through an interactive terminal (e.g., the second terminal device, the intelligent display screen, etc. ) of the doctor's workstation. In some embodiments, the processing device 210 may also update the condition assessment result based on feedback information from the doctor on the displayed condition assessment result.

[0201] In some embodiments, the condition assessment model may be obtained through training. In some embodiments, the condition assessment model may be trained based on multiple first training samples with first labels. For example, the processor 120 or the surgery planning module 410 may input the multiple first training samples with the first labels into a preliminary condition assessment model. The processor 120 or the surgery planning module 410 may determine a value of a loss function through the first labels and results of the preliminary condition assessment model, and iteratively update parameters of the preliminary condition assessment model based on the value of the loss function. When the loss function of the preliminary condition  assessment model satisfies a first ending condition, the model training is completed, and a trained condition assessment model is obtained. The first training samples may include sample patient data. The sample patient data may be determined based on patient data of historical patients. The first labels may be condition assessment results of the historical patients corresponding to the first training samples. The first labels may be determined through manual annotation or automatic system annotation. The first ending condition may include a convergence of the loss function (e.g., the mean squared error of the loss function is less than a first error threshold) , a count of iterations during the trainings process is greater than a first count threshold, etc.

[0202] In some embodiments, before determining the condition assessment result, the processing device 210 or the surgery planning module 410 may judge whether the patient data meets a condition for a consultation with experts. In response to determining that the patient data meets the condition for the consultation with experts (for example, when the position of the patient's lesion is dangerous, the patient is older, the patient has other diseases apart from the target lesion, the patient's condition is complex and difficult to determine the type of lesion, etc. ) , the processing device 210 or the surgery planning module 410 may execute step 613 to assess the patient's condition through a Multi-Disciplinary Team Meeting and generate the condition assessment result. In some embodiments, the processing device 210 may determine whether the patient data meets the condition for the consultation with experts based on the patient data.

[0203] In some embodiments, in response to determining that the patient data meets the condition for the consultation with experts (i.e., requiring a Multi-Disciplinary Team Meeting) , the processing device 210 may execute step 613 to assess the patient's condition through the Multi-Disciplinary Team Meeting and generate the condition assessment result. For example, a primary physician may actively schedule a Multi-Disciplinary Team Meeting (e.g., a multidisciplinary consultation) through a consultation application window in the doctor's space displayed on the second terminal device. Doctors from other departments may choose to accept or reject participation in the Multi-Disciplinary Team Meeting and schedule a discussion time of the Multi-Disciplinary Team Meeting based on their personal clinical schedules (e.g., using a fourth terminal device or an intelligent display terminal at the doctor's workstation) .

[0204] In some embodiments, a participant (e.g., a remote expert) in the Multi-Disciplinary Team Meeting may participate remotely and view the patient data to generate the condition assessment result. For example, doctors from various departments participating in the Multi-Disciplinary Team Meeting (including local and remote doctors) may jointly view the patient's three-dimensional model and other data in a virtual environment through XR glasses worn by each of them, share their respective views in real-time, and thereby determining the condition assessment result.

[0205] Step 620, a surgery plan is generated based on the condition assessment result.

[0206] As mentioned above, the surgery plan may include a surgery site, a surgery time, surgery steps, an estimated surgery duration, an anesthesia dosage, a primary surgeon, a type of surgery, a surgery incision position and an incision depth, an incision path, an implant insertion path, types and quantities of surgery tools, etc. For more information the surgery plan, please refer to FIG. 12 and its related description.

[0207] In some embodiments, the processing device 210 or the surgery planning module 410 may utilize a plan generation model to determine the surgery plan. For example, the plan generation model may process and analyze the condition assessment result and patient requirements to determine the surgery plan. The plan generation model may be a machine learning model. In some embodiments, an input of the plan generation  model may include the condition assessment result, and an output may include the surgery plan. In some embodiments, the plan generation model may be integrated into the processing device 210. After determining the surgery plan using the plan generation model, the processing device 210 may output and display the surgery plan to the doctor through an interactive device (e.g., the second terminal device, the intelligent display screen, etc. ) at the doctor's workstation. In some embodiments, the processing device 210 may confirm or update the surgery plan based on doctor feedback information (e.g., the first feedback information) obtained from the interactive device.

[0208] In some embodiments, the input of the plan generation model may include the condition assessment result and the patient requirements. The patient requirements refer to the patient's specific needs for the surgery. For example, the patient requirement may be "asurgery incision length is less than 5cm" .

[0209] In some embodiments, the input of the plan generation model may also include patient image data. The patient image data refers to scanned image data of the patient's lesion. For example, the patient image data may be a CT scan image containing the patient's lesion.

[0210] In some embodiments, the input of the plan generation model may include the patient data and the fourth sensed information. For more information, please refer to the description in FIG. 7 (e.g., step 750) .

[0211] In some embodiments, the plan generation model may be obtained through a training process. In some embodiments, the plan generation model may be trained based on multiple second training samples with second labels. For example, the processor 120 or the surgery planning module 410 may input the multiple second training samples with the second labels into a preliminary plan generation model. The processor 120 or the surgery planning module 410 may determine a value of a loss function based on the second labels and results of the preliminary plan generation model, and iteratively update parameters of the preliminary plan generation model based on the value of the loss function. When the loss function of the preliminary plan generation model meets a second ending condition, the model training is completed, and a trained plan generation model is obtained. The second training samples may include at least one of sample condition assessment results, sample patient needs, sample patient images, sample patient data, and sample fourth sensed information. The second labels may be surgery plans of historical patients corresponding to the second training samples. The second labels may be determined through manual annotation or automatic system annotation. The second ending condition may include a convergence of the loss function (e.g., a mean squared error of the loss function is less than a second error threshold) , a count of iterations during the training process is greater than a second threshold, etc.

[0212] In some embodiments, the doctor may determine the surgery plan based on the condition assessment result. For example, the doctor may determine a necessity of conducting a surgery process for the patient, a suitable surgery approach plan and technique, a surgery time, and an estimated duration of the surgery process based on the condition assessment result, thereby determining the surgery plan.

[0213] In some embodiments, the processing device 210 may generate a preliminary surgery plan based on the patient data and present the preliminary surgery plan to the doctor. The processing device 210 may generate the surgery plan based on the preliminary surgery plan and second feedback information about the preliminary surgery plan. The second feedback information about the preliminary surgery plan is input by the doctor through the second terminal device. For more information, please refer to the description in FIG. 8.

[0214] In some embodiments, after the surgery plan is generated, a surgery performer (e.g., the primary  surgeon) may adjust or amend the surgery plan. For example, the surgery performer may shorten or extend a surgery execution time, shorten or extend an implant path, and other information in the surgery plan.

[0215] In some embodiments, in response to determining that a conditions for convening a Multi-Disciplinary Team Meeting are met (e.g., a position of the patient's lesion is dangerous, the patient is of advanced age, the patient has other diseases besides a target lesion, the patient's condition is complex and difficult to determine a lesion type, an operation difficulty factor is greater than a difficulty factor threshold, etc. ) , the processing device 210 may execute step 613 to determine the surgery plan through the Multi-Disciplinary Team Meeting. In some embodiments, the processing device 210 may determine whether the conditions for convening the Multi-Disciplinary Team Meeting are met based on the patient data.

[0216] In some embodiments, in response to determining that the conditions for convening the Multi-Disciplinary Team Meeting are met, the processing device 210 may execute step 613, and determine the surgery plan through the Multi-Disciplinary Team Meeting based on the patient data and a condition assessment result. For example, the primary physician may invite specific department doctors or remote experts to participate in the Multi-Disciplinary Team Meeting to discuss the surgery planning through a consultation application window in the doctor's space displayed by the second terminal device (e.g., the second XR device) to actively schedule expert consultation services (e.g., multidisciplinary consultations) . The invited department doctors and remote experts may choose to accept or reject participation in the Multi-Disciplinary Team Meeting and agree on a discussion time (e.g., using the intelligent display terminal of the fourth terminal device or workstation) based on their personal clinical business arrangements.

[0217] In some embodiments, participants (e.g., doctors from other departments, remote experts) in the Multi-Disciplinary Team Meeting may remotely participate and view (e.g., view based on the fourth terminal device) the patient data and the condition assessment result to determine the surgery plan. For example, doctors (including local and remote doctors) from various departments may jointly view the patient's three-dimensional anatomical model data and the condition assessment result in a virtual environment through their respective XR glasses, share their views in real-time (e.g., through voice discussions) . Sensing devices (e.g., microphones, image capture devices) perceive the behavior data (e.g., voice data, operational data, etc. ) of each participant in real-time to determine the surgery plan.

[0218] In some embodiments, the processing device 210 or the surgery planning module 410 may determine the operation difficulty factor based on the patient data and decide whether to convene a Multi-Disciplinary Team Meeting based on the operation difficulty factor. In response to determining that the Multi-Disciplinary Team Meeting is needed, the processing device 210 or the surgery planning module 410 may present a virtual meeting space through the doctor's second terminal device (e.g., the second XR device) and the remote expert's fourth terminal device, respectively. During the Multi-Disciplinary Team Meeting, the processing device 210 or the surgery planning module 410 may obtain fourth sensed information collected by the second terminal device and the fourth terminal device. The processing device 210 or the surgery planning module 410 may generate the surgery plan based on the patient data and the fourth sensed information. For more information about the embodiment, please refer to FIG. 7 and its related description.

[0219] In some embodiments, the processing device 210 may optimize the surgery plan using an artificial intelligence assistant (e.g., Copilot) . For example, the doctor may invoke the Copilot through the intelligent display terminal of the workstation, and the processing device 210 may use the Copilot to optimize the surgery  plan by integrating historical data (e.g., historical diagnosis and treatment data of other patients with the same lesion) .

[0220] Step 630, a risk assessment result is generated by conducting a risk assessment on the surgery plan.

[0221] The risk assessment result refers to a predictive outcome of a risk condition that may occur during the surgery process based on the surgery plan. The risk condition refers to a harmful condition that may arise for the patient during the surgery process, such as a massive bleeding, a cardiac arrest, etc.

[0222] The risk assessment on the surgery plan may include a manual assessment and / or an intelligent assessment.

[0223] The manual assessment refers that the risk assessment result is determined by a condition assessment personnel (e.g., a doctor) . In some embodiments, the doctor may assess the surgery plan based on at least a portion of the patient data to generate the risk assessment result. For example, the doctor may view the patient's three-dimensional anatomical model through an intelligent display terminal in the office, combine the patient's three-dimensional anatomical model with the surgery plan, and determine the potential risks and complications during the surgery process. A perception device (e.g., a microphone, a gesture sensor, etc., on the second terminal device worn by the doctor) may capture the doctor's input information (e.g., voice information, gesture information, etc. ) to generate the risk assessment result.

[0224] The intelligent assessment refers that the risk assessment result is determined by using a risk assessment model. The risk assessment model may be a trained machine learning model. An input of the risk assessment model may include at least a portion of the patient data and the surgery plan, and an output may include the risk assessment result. In some embodiments, the risk assessment model may be integrated into the processing device 210. After determining the patient's risk assessment result using the risk assessment model, the processing device 210 may output and display the risk assessment result to the doctor through an interactive device (e.g., the second terminal device, the intelligent display screen, etc. ) at the doctor's workstation. In some embodiments, to ensure the accuracy of the risk assessment result, the processing device 210 may determine the risk assessment result based on both the intelligent assessment and the manual assessment. For example, the processing device 210 may first conduct the intelligent assessment and send the results of the intelligent assessment to a condition assessment personnel (e.g., a doctor) . The condition assessment personnel may then confirm or modify the results of the intelligent assessment to determine a final risk assessment result.

[0225] In some embodiments, the risk assessment model may be obtained through training. In some embodiments, the risk assessment model may be trained based on multiple third training samples with third labels. For example, the processor 120 or the surgery planning module 410 may input the multiple third training samples with the third labels into a preliminary risk assessment model. the processor 120 or the surgery planning module 410 may determine a value of a loss function based on the third labels and results of the preliminary risk assessment model, and iteratively update parameters of the preliminary risk assessment model based on the value of the loss function. When the loss function of the preliminary risk assessment model satisfies a third ending condition, the model training is completed, and a trained risk assessment model is obtained. The third training samples may include sample patient data and sample surgery plans. the sample patient data and the sample surgery plans may be obtained based on historical patient data and surgery plans. The third labels may be the risks that occurred during the surgery process of the historical patients corresponding to the third training samples. The third labels may be determined through manual annotation or  automatic system annotation. The third ending condition may include a convergence of the loss function (e.g., the mean squared error of the loss function is less than a third error threshold) , a count of iterations during the training process is greater than a third threshold, etc.

[0226] In some embodiments, the processing device 210 may determine risk prevention measures based on the risk assessment result and present the risk assessment result and the risk prevention measures of the surgery plan to the doctor. In some embodiments, the doctor may formulate the corresponding risk prevention measures based on the risk assessment result. For more information about the risk prevention measures, please refer to FIG. 8.

[0227] FIG. 7 is an exemplary schematic diagram illustrating a process of a generation of a surgery plan according to some embodiments of the present disclosure. As shown in FIG. 7, in some embodiments, process 700 may include the following steps. In some embodiments, process 700 may be executed by the processing device 210 or the surgery planning module 410.

[0228] Step 710, patient data of a patient is obtained.

[0229] The patient data may be obtained through methods such as accessing from the patient's UHR (Electronic health record) or supplementation by the doctor. For more information about the UHR and the patient data, please refer to FIG. 6 and its related description.

[0230] Step 720, an operation difficulty factor is determined based on the patient data.

[0231] The operation difficulty factor reflects a level of difficulty of the surgery process. The operation difficulty factor may be represented based on an operation difficulty factor value. For example, the operation difficulty factor value may be an integer within a range of [1, 10] . A higher value indicates a higher operation difficulty factor (e.g., a more difficult surgery process) .

[0232] The operation difficulty factor may be determined according to a manual determination and / or an intelligent determination.

[0233] The manual determination refers that the operation difficulty factor is determined by a difficulty factor determination personnel (e.g., a doctor or an expert) based on the patient data. For example, the doctor may determine the operation difficulty factor based on surgery simulation or historical surgery experience through the second terminal device or the intelligent display terminal at a workstation.

[0234] The intelligent determination refers that the operation difficulty factor is determined by processing the patient data using a factor determination model. The factor determination model may be a machine learning model. An input of the factor determination model may include the patient data, and an output may include the operation difficulty factor value. In some embodiments, the factor determination model may be integrated into the processing device 210. After the processing device 210 determines the operation difficulty factor using the factor determination model, the processing device 210 may output and display the operation difficulty factor to the doctor through an interactive device (e.g., the second terminal device, the intelligent display terminal, etc. ) at the doctor's workstation. Furthermore, the doctor may input modifications to the operation difficulty factor through the interactive device (e.g., a microphone, a gesture sensor, a touch screen, etc., on the second terminal device worn by the doctor) to modify the operation difficulty factor (e.g., increase the operation difficulty factor value determined by the factor determination model by 2 as a final operation difficulty factor) . In some embodiments, to ensure the accuracy of the operation difficulty factor, the processing device 210 may determine the operation difficulty factor based on both the intelligent determination  and the manual determination. For example, the processing device 210 may first perform the intelligent determination and send a result of the intelligent determination to the factor determination personnel. The factor determination personnel may confirm or modify the result of the intelligent determination to determine the final operation difficulty factor.

[0235] In some embodiments, the factor determination model may be obtained through training. In some embodiments, the factor determination model may be trained based on multiple fourth training samples with fourth labels. For example, the processor 120 or the surgery planning module 410 may input the multiple fourth training samples with the fourth labels into a preliminary factor determination model. The processor 120 or the surgery planning module 410 may determine a value of a loss function based on the fourth labels and results of the preliminary factor determination model, and iteratively update parameters of the preliminary factor determination model based on the value of the loss function. When the loss function of the preliminary factor determination model satisfies a fourth ending condition, the model training is completed, a trained factor determination model is obtained. The fourth training samples may include sample patient data. The sample patient data may be obtained based on historical patient data. The fourth labels may be the operation difficulty factors corresponding to the fourth training samples. The fourth labels may be determined through manual annotation or automatic system annotation. The fourth ending condition may be a convergence of the loss function (e.g., the mean squared error of the loss function is less than a fourth error threshold) , a count of iterations during the training process is greater than a fourth threshold, etc.

[0236] Step 730, a determination that whether a Multi-Disciplinary Team Meeting is required is determined based on the operation difficulty factor.

[0237] In some embodiments, the processing device 210 may determine whether the operation difficulty factor is greater than a difficulty factor threshold to determine whether a Multi-Disciplinary Team Meeting is required. If the operation difficulty factor is greater than the difficulty factor threshold, step 740 is executed to conduct an Multi-Disciplinary Team Meeting. If the operation difficulty factor is not greater than the difficulty factor threshold, the processing device 210 directly generates a surgery plan (for example, generating a surgery plan according to the process described in step 620) . The difficulty factor threshold may be preset manually or determined automatically by the processing device 210.

[0238] Step 740, a Multi-Disciplinary Team Meeting is conducted.

[0239] In some embodiments, the processing device 210 may present a virtual meeting space on the doctor's second terminal device and the remote expert's fourth terminal device, respectively. During the Multi-Disciplinary Team Meeting, the processing device 210 may obtain fourth sensed information collected by the second terminal device and the fourth terminal device to generate a condition assessment result and / or a surgery plan through the Multi-Disciplinary Team Meeting.

[0240] The virtual meeting space refers to a virtual meeting scene generated by an extended reality device (e.g., the aforementioned second terminal device and the fourth terminal device) .

[0241] The fourth sensed information may include voice data of the doctor or the remote expert. The fourth sensed information may be acquired by an acoustic sensor or a microphone. The acoustic sensor or the microphone may be configured in the second terminal device and the fourth terminal device. In some embodiments, the fourth sensed information may include data related to the condition assessment result and / or data related to the surgery plan.

[0242] Illustratively, in response to determining that the Multi-Disciplinary Team Meeting is required, the processing device 210 may generate a virtual meeting space. Participants (e.g., a local doctor 741, a remote doctor 742, a remote expert 743, as shown in FIG. 7) in the Multi-Disciplinary Team Meeting may enter the virtual meeting space through an interactive device (e.g., the second terminal device, the fourth terminal device) to view the patient data presented in the virtual meeting space (e.g., a three-dimensional anatomical model of the patient) and share their respective viewpoints in real-time (e.g., conduct voice discussions in the virtual meeting space through the second terminal device and the fourth terminal device) .

[0243] Step 750, a surgery plan is generated based on the patient data and the fourth sensed information.

[0244] The processing device 210 may use a plan generation model to generate the surgery plan. In some embodiments, an input of the plan generation model may include the patient data and the fourth sensed information, and an output may include the surgery plan. Illustratively, the processing device 210 or the surgery planning module 410 may use the plan generation model to process and analyze the patient data and the fourth sensed information to determine the surgery plan. In some embodiments, the input of the plan generation model may include the patient data, the condition assessment result, the patient needs, the patient image data, and the fourth sensed information. For more information about the plan generation model, please refer to FIG. 6 and its related description.

[0245] In some embodiments of the present disclosure, by using the process of generating a surgery plan described above and comprehensively assessing the overall health status of the patient before the surgery process, a surgery plan suitable for the patient may be developed, thereby minimizing surgery risks and improving the adaptability and specificity of the surgery plan for the patient. By introducing the Multi-Disciplinary Team Meeting, instant feedback and discussion among multidisciplinary experts in different geographical positions during a surgery plan development are achieved, thereby solving difficult problems in surgery planning and improving the success rate of subsequent surgeries.

[0246] FIG. 8 is another exemplary schematic diagram illustrating a process of a generation of a surgery plan according to some other embodiments of the present disclosure. As shown in FIG. 8, in some embodiments, process 800 may include the following steps. In some embodiments, process 800 may be executed by the processing device 210 or the surgery planning module 410.

[0247] Step 810, patient data of the patient is obtained. For more information about the patient data, please refer to FIG. 6 or FIG. 7 and their related descriptions.

[0248] Step 820, a preliminary surgery plan is generated based on the patient data of the patient.

[0249] In conjunction with the above, the preliminary surgery plan may include a surgery site, a surgery time, surgery steps, an estimated surgery duration, an anesthesia dosage, a primary surgeon, a type of surgery, a surgery incision position and an incision depth, an incision path, an implant insertion path, types and quantities of surgery tools, etc.

[0250] In some embodiments, the processing device 210 may utilize a plan generation model to generate a preliminary surgery plan based on the patient data of the patient. In this embodiment, the second training samples may include sample patient data, and the second labels may be sample preliminary surgery plans corresponding to the sample patient data.

[0251] Step 830, the preliminary surgery plan is presented to the doctor.

[0252] As shown in FIG. 8, the processing device 210 or the surgery planning module 410 may send the  preliminary surgery plan to a second terminal device 270 to present the preliminary surgery plan to a doctor 271. The doctor 271 may view the preliminary surgery plan through the second terminal device 270. The second terminal device 270 refers to a terminal device used or worn by the doctor 271. For example, as shown in FIG. 8, the second terminal device 270 may include a mobile terminal device 270-1 (e.g., a smartphone or a tablet used by the doctor 271) , a second XR device 270-2, and a desktop terminal device 270-3 (e.g., a laptop used by the doctor 271) , etc. By way of example only, the processing device 210 or the surgery planning module 410 may send the preliminary surgery plan in a text form to the second XR device 270-2 worn by the doctor 271. The second XR device 270-2 may present the preliminary surgery plan in virtual space for the doctor 271 to review.

[0253] Step 840, second feedback information regarding the preliminary surgery plan input by the doctor is obtained through the second terminal device.

[0254] The second feedback information refers to feedback information provided by the doctor regarding the preliminary surgery plan. For example, the second feedback information may be adjustment information made by the doctor to the preliminary surgery plan (e.g., reducing an incision depth by 0.5cm) . By way of example only, as shown in FIG. 8, the doctor 271 may verbally express the adjustment information to the preliminary surgery plan, and a sensing device (e.g., a microphone) on the second XR device 270-2 may collect the doctor's voice information and generate corresponding second feedback information.

[0255] Step 850, a surgery plan is generated based on the preliminary surgery plan and the second feedback information. The second feedback information refers to a feedback regarding the preliminary surgery plan input by the doctor through the second terminal device.

[0256] In some embodiments, the processing device 210 or the surgery planning module 410 may adjust the preliminary surgery plan based on the second feedback information to obtain the surgery plan. For example, if an incision depth in the preliminary surgery plan is 3cm and the second feedback information is "reduce the incision depth by 0.5cm, " then the incision depth in the generated surgery plan may be 2.5cm.

[0257] Step 860, based on the surgery plan and at least a portion of the patient data, a risk assessment result of the surgery plan is determined.

[0258] In conjunction with the above, in some embodiments, the processing device 210 may process the surgery plan and at least a portion of the patient data through a risk assessment model to generate the risk assessment result of the surgery plan. The processing device 210 may determine risk prevention measures based on the risk assessment result. The processing device 210 may present the risk assessment result and the risk prevention measures of the surgery plan to the doctor.

[0259] By way of example only, as shown in FIG. 8, in step 860, the processing device 210 may obtain at least a portion of the patient data.

[0260] The at least a portion of the patient data may include historical diagnosis and treatment data, medical examination data, or a patient digital twin, etc., from the patient data.

[0261] In step 870, the processing device 210 may obtain a risk assessment model.

[0262] The risk assessment model is a trained machine learning model. For more information about the training of the risk assessment model, please refer to FIG. 6 and its related description.

[0263] In step 880, the processing device 210 may use the risk assessment model to process the surgery plan and at least a portion of the patient data to obtain a risk assessment result. In some embodiments, as shown in  FIG. 8, the processing device 210 or the surgery planning module 410 may send the risk assessment result to the second terminal device 270 and present the risk assessment result to the doctor 271.

[0264] In step 890, the processing device 210 may determine the risk prevention measures based on the risk assessment result. The risk prevention measures refer to countermeasures formulated for risk conditions identified in the risk assessment result. For example, if the risk condition in the risk assessment result is severe bleeding, the risk prevention measures may include preparing for arterial embolization, preparing extra hemostatic gauze and blood bags, etc. As another example, if the risk condition in the risk assessment result is cardiac arrest, the risk prevention measures may include preparing for cardiotonic injections, etc. The risk prevention measures may be determined manually and / or intelligently by the processing device 210.

[0265] In some embodiments, as shown in FIG. 8, the processing device 210 or the surgery planning module 410 may send the risk prevention measures to the second terminal device 270 and present the risk prevention measures to the doctor 271.

[0266] The doctor 271 may view the risk assessment result and / or the risk prevention measures through the second terminal device 270 (e.g., the second XR device 270-2) .

[0267] In some embodiments, the doctor 271 may invoke the Copilot through the intelligent display terminal at the workstation to determine the risk assessment result and / or the risk prevention measures of the surgery plan through the Copilot.

[0268] In some embodiments, before determining the risk prevention measures, the processing device 210 or the surgery planning module 410 may determine whether the patient data meets the condition for the consultation with experts. In response to determining that the patient data meeting the condition for the consultation with experts (for example, when the position of the patient's lesion is dangerous, the patient is of advanced age, the patient has other conditions apart from the target lesion, the patient's condition is complex and difficult to determine the type of lesion, etc. ) , the processing device 210 may evaluate the surgery plan, the patient’s condition, and the risk assessment result through a Multi-Disciplinary Team Meeting to determine the risk prevention measures. In some embodiments, the processing device 210 may determine whether the patient data meets the condition for the consultation with experts based on the patient data.

[0269] In some embodiments, the processing device 210 may, in response to determining the patient data meets the condition for the consultation with experts (i.e., a Multi-Disciplinary Team Meeting is required) , evaluate the patient condition and the risk assessment result through a Multi-Disciplinary Team Meeting to determine the risk prevention measures. For example, the primary physician may actively schedule an expert consultation service (such as a multidisciplinary consultation) through the consultation application window in the doctor's space displayed on the second terminal device; doctors from other departments may choose to accept or reject participation in the Multi-Disciplinary Team Meeting and schedule a discussion time based on their personal clinical schedules (for example, using the fourth terminal device or an intelligent display terminal at a doctor's workstation) .

[0270] In some embodiments, participants (for example, remote experts) in the Multi-Disciplinary Team Meeting may participate remotely, view the surgery plan, the patient condition, and the risk assessment result, and then determine the risk prevention measures. Illustratively, doctors (including local and remote doctors) from various departments participating in the Multi-Disciplinary Team Meeting may jointly view the patient's three-dimensional model and other data in a virtual environment using their respective XR glasses, share their  respective viewpoints in real-time, and determine the risk prevention measures.

[0271] FIG. 9 is an exemplary schematic diagram illustrating a process of a surgery simulation according to some embodiments of the present disclosure. As shown in FIG. 9, in some embodiments, process 900 may include the following steps. In some embodiments, process 900 may be executed by the processing device 210 or the surgery simulation module 420. In some embodiments, process 900 may be executed by a surgery simulation agent. For more information about the agent, please refer to FIG. 17 and its related description.

[0272] Step 910, a virtual surgery scene is generated.

[0273] The virtual surgery scene may be generated based on digital twin technology and presented to the doctor 271 through an extended reality device (e.g., the second XR device 270-2) . The virtual surgery scene may be a virtual representation of an actual operating room.

[0274] In some embodiments, the virtual surgery scene may include one or more virtual surgery devices 913 and a virtual surgery site 915.

[0275] The one or more virtual surgery devices 913 refer to virtual representation of real surgery equipment needed for the surgery process. For example, the one or more virtual surgery devices may include a virtual scalpel, a virtual hemostatic forceps, a virtual implant, a virtual blood transfusion pack, a virtual hemostatic gauze, etc.

[0276] The virtual surgery site 915 refers to a virtual representation of the patient's body part where the surgery is to be performed. For example, the virtual surgery site may be a three-dimensional anatomical model of the patient's thorax and the organs and tissues within the patient's thorax.

[0277] In some embodiments, the processing device 210 may generate the virtual surgery scene for surgery simulation based on the surgery plan. By way of example only, the processing device 210 may determine the surgery site based on the surgery plan and use technologies (such as three-dimensional modeling) to construct a three-dimensional anatomical model of the surgery site at a preset scale (e.g., a volume ratio of 1: 1 between the actual surgery site and the three-dimensional anatomical model) . The processing device 210 may determine a type and a specification of a target implant based on the surgery plan. The processing device 210 may select a target implant model from a database or determine a personalized target implant model (i.e., a virtual target implant) . The processing device 210 may determine a target surgery equipment based on the surgery plan and construct a three-dimensional model of the target surgery equipment at a preset scale (e.g., a volume ratio of 1: 1 between the surgery equipment and the three-dimensional model) .

[0278] Step 920, a surgery simulation is performed.

[0279] In some embodiments, the processing device 210 may generate a surgery simulation plan based on the virtual surgery site and the one or more virtual surgery devices.

[0280] The surgery simulation plan may include a surgery process for the surgery simulation, a surgery operation process, a surgery emergency, and a count of repetitions of the surgery simulation, etc.

[0281] The surgery process for the surgery simulation may include a surgery simulation name (e.g., a simulation tumor resection) , a surgery simulation type (e.g., an invasive surgery or an implant surgery) , surgery simulation tools and specifications (e.g., specifications of a simulation scalpel) , simulation consumable needs (e.g., a quantity of virtual hemostatic gauze) , specifications of simulated implants (e.g., model and size of prosthetics, etc. ) , operation methods (e.g., a manual operation by the doctor or an operation using minimally invasive instruments, etc. ) , etc.

[0282] In some embodiments, the processing device 210 may generate a surgery simulation plan based on the patient data and / or the historical data, combined with the virtual surgery scene. For example, the processing device 210 may generate a surgery simulation plan based on the patient's historical diagnosis and treatment data, medical examination data, and historical cases of the same type of surgery, surgery outcomes (success or failure) , surgery complications, surgery risk points, standard operating procedures and technical points for each surgery approach, etc.

[0283] In some embodiments, the processing device 210 may determine the surgery simulation plan based on a purpose of surgery simulation. As mentioned above, the surgery simulation is to refine the surgery plan and / or improve surgery skills of doctors. Thus, the purpose of the surgery simulation may include refining the surgery plan or improving surgery skills of doctors.

[0284] By way of example only, if the purpose of surgery simulation is to improve surgery skills of doctors, the surgery simulation plan may include further subdividing the surgery operation process into multiple steps such as a virtual surgery site disinfection, a scalpel incision, a postoperative suturing, etc., and repeated training sessions.

[0285] As another example, if the purpose of surgery simulation is to refine the surgery plan, the surgery simulation plan may include previewing the surgery process under different surgery plans, previewing complications and risk points during the surgery process, etc., to help doctors to improve their response capabilities and / or refine the surgery plans (e.g., operating procedures) . For example, the processing device 210 may determine time points where the patient's blood pressure during the surgery simulation is much lower than an average blood pressure of patients during historical surgeries (e.g., the patient's blood pressure during the surgery simulation is lower than the average blood pressure of patients during historical surgeries, and the difference between the patient's blood pressure and the average blood pressure is greater than 20 mmHg) as emergency trigger points.

[0286] Furthermore, the processing device 210 may perform the surgery simulation based on the surgery simulation plan. In some embodiments, the processing device 210 may present the virtual surgery scene to a surgery simulation participant (e.g., the doctor 271) through a second terminal device (e.g., the second XR device 270-2) . In some embodiments, the surgery simulation may include a teaching phase and a practical phase. The teaching phase refers to a phase where the surgery simulation process is demonstrated to the surgery simulation participant through an extended reality device (e.g., the second XR device 270-2) . The practical phase refers to a phase where the surgery simulation participant performs the virtual surgery.

[0287] In some embodiments, as shown in FIG. 9, the doctor 271 (e.g., a surgery doctor and / or a medical student) may enter the virtual surgery environment by wearing the second XR device 270-2 and perform operations on the patient's three-dimensional anatomical model in the virtual surgery scene through the second XR device 270-2 or an interactive device corresponding to the one or more virtual surgery devices (e.g., a sensing wearable device 271-3) , thereby performing the surgery simulation in the virtual surgery environment. In some embodiments, the sensing wearable device may include sensing gloves, a sensing bracelet, a sensing clothing, etc.

[0288] In some embodiments, the doctor 271 (e.g., a surgery doctor and / or a medical student) may perform operations on the three-dimensional anatomical model of the patient in a virtual surgical scene using real simulated instruments (e.g., a surgery knife, an operating table, a surgery clamp, etc. ) in physical space,  thereby performing the surgery simulation.

[0289] In some embodiments, the processing device 210 may obtain an interaction instruction for the one or more virtual surgery devices input by the doctor through the second XR device 270-2 or an interactive device (e.g., a sensing wearable device) corresponding to the one or more virtual surgery devices. For example, the processing device 210 may obtain the interaction instruction for the one or more virtual surgery devices. The interaction instruction is input by the doctor 271 during the surgery simulation by sensing the wearable device 271-3. The interaction instruction reflects the doctor's operational data for the one or more virtual surgery devices. For example, the operational data for the one or more virtual surgery devices may include a type of the one or more virtual surgery devices used by the doctor 271, and data such as a fixed position, a movement direction, and a movement amplitude (e.g., a movement distance and an angle) of the one or more virtual surgery devices.

[0290] In some embodiments, the interaction instruction may be a voice instruction or an operational instruction input by the doctor through the second XR device 270-2 or an interactive device (e.g., the sensing wearable device 271-3) , such as a key input, a gesture input, etc. For example, the interaction instruction may be an operational instruction such as picking up, putting down, or moving the one or more virtual surgery devices by the doctor 271 through the sensing wearable device 271-3.

[0291] In some embodiments, the processing device 210 may generate operational feedback in the virtual surgery environment based on the interaction instruction. The operational feedback refers to virtual surgery operations presented in the virtual surgery environment on the virtual surgery site and / or the one or more virtual surgery devices. For example, the processing device 210 may present corresponding surgery operations in the virtual surgery scene (e.g., picking up a virtual scalpel and controlling the virtual scalpel to cut the surgery site, picking up virtual hemostatic forceps and controlling the virtual hemostatic forceps to clamp a blood vessel, etc. ) based on the operational instruction. The surgery operations may include the type of one or more virtual surgery devices, a fixed position of the one or more virtual surgery devices, a direction of movement, and an amplitude of movement (e.g., movement distance and angle) acquired through the sensing wearable device 271-3. Thus, the one or more virtual surgery devices are controlled to complete operations corresponding to the instruction to simulate surgery on the virtual surgery site.

[0292] In some embodiments, the processing device 210 may update the virtual surgery site and the one or more virtual surgery devices in the virtual surgery scene based on the interaction instruction to generate operational feedback. For more information, please refer to the relevant description in FIG. 10.

[0293] In some embodiments, the processing device 210 may present an emergency condition during the surgery simulation to help the doctor practices his / her response capabilities to emergencies. The emergency condition refers to a sudden occurrence that may arise during the surgery process, such as a severe bleeding or a cardiac arrest. A triggering process for the surgery emergency may include a triggering at a preset time point, a random triggering, or a triggering based on the interaction instruction for the one or more virtual surgery devices input by the doctor. For example, the processing device 210 may present a corresponding emergency condition in the virtual surgery environment (e.g., a severe bleeding due to an incorrect incision position) based on the interaction instruction for the one or more virtual surgery devices input by the doctor 271.

[0294] In some embodiments, the processing device 210 may obtain the doctor's (e.g., the doctor 271)  handling data (e.g., a response time, a handling method, a handling time, a handling result, etc. ) for the surgery emergency. For example, the processing device 210 may preset a virtual patient to experience cardiac arrest 10 minutes after the surgery incision and monitor the doctor 271's handling approach (e.g., cardiopulmonary resuscitation or administration of cardiac stimulants) and handling result (e.g., a duration for the patient's heartbeat to recover or failure to recover the heartbeat) for the cardiac arrest.

[0295] In some embodiments, the processing device 210 may provide a prompt based on the doctor's real-time operational data. For example, when the doctor 271 makes an error in operation, the processing device 210 may provide a prompt through the second XR device 270-2 and record an erroneous operation.

[0296] In some embodiments, a count of repeated training sessions for the surgery simulation may be adjusted based on the operational data of the surgery simulation. For example, the more erroneous operations the doctor makes, the greater the count of repeated training sessions for the simulated surgery.

[0297] Step 930, a simulated assessment report is generated.

[0298] The simulated assessment report may include records of the surgery simulation procedure and / or the surgery assessment. For example, when the purpose of surgery simulation is to improve surgery skills, the content of the simulated assessment report may include whether surgery steps are accurate, whether surgery tools are used correctly, the stability and compatibility of implants with surrounding tissues, records and frequencies of erroneous operations, progress assessment (e.g., increasingly accurate surgery operations and fewer incorrect operations are considered progress) , personalized learning suggestions, etc. As another example, when the purpose of surgery simulation is to refine the surgery plans, the content of the simulated assessment report may include a handling approach and an accuracy for emergencies of the handling approach, surgery complications, etc.

[0299] In some embodiments, the processing device 210 may generate the simulated assessment report based on simulation data of the virtual surgery site and the one or more virtual surgery devices during the surgery simulation process. The simulation data includes usage data of the one or more virtual surgery devices (e.g., types of virtual surgery device used, usage frequency, purpose of use, etc. ) and operational data (e.g., suturing, cutting, puncturing, implantation, etc. ) on the virtual surgery site using the one or more virtual surgery devices.

[0300] In some embodiments, the processing device 210 may determine an optimal surgery plan based on the simulated assessment report. For example, when the surgery type is an implantation procedure, the processing device 210 may determine an optimal implantation plan (e.g., a most suitable implantation plan for the patient) based on the simulation data of multiple implantation scenes. The implantation plan may include a model of the implant, an implantation site, a fixation manner of the implant, an amount of surrounding tissue resection, etc.

[0301] In some embodiments, the processing device 210 may determine whether it is necessary to optimize the surgery plan based on the simulation data or the simulated assessment report. In response to determining that optimization of the target surgery plan is needed, the processing device 210 may update the surgery plan based on the simulation data. For more information, please refer to the relevant description in FIG. 10.

[0302] FIG. 10 is another exemplary schematic diagram illustrating a process of a surgery simulation according to some embodiments of the present disclosure. In some embodiments, the process 1000 may be executed by the processing device 210 or the surgery simulation module 420.

[0303] In some embodiments, as shown in FIG. 10, in step 1010, the processing device 210 or the surgery simulation module 420 may obtain a surgery plan. For more information about the surgery plan, please refer to relevant descriptions elsewhere in the present disclosure (e.g., FIG. 5) .

[0304] In step 1020, the processing device 210 or the surgery simulation module 420 may generate a virtual surgery scene for a surgery simulation based on the surgery plan. For example, the surgery plan may be designated as a surgery simulation plan for the surgery simulation. In conjunction with the above description, the virtual surgery scene may include a virtual surgery site and one or more virtual surgery devices. For more information, please refer to FIG. 9 and its related descriptions.

[0305] In some embodiments, the processing device 210 or the surgery simulation module 420 may present the virtual surgery scene to the doctor 271 through the second terminal device 270 (e.g., the second XR device 270-2) . The doctor 271 may enter the virtual surgery environment through the second terminal device 270 (e.g., the second XR device 270-2) and perform virtual surgery on the virtual surgery site through the second terminal device 270 or an interactive device (e.g., the sensing wearable device 271-3) corresponding to the one or more virtual surgery devices.

[0306] In step 1030, the processing device 210 or the surgery simulation module 420 may obtain an interaction instruction for the one or more virtual surgery devices input by the doctor 271 through the second terminal device 270 (e.g., the second XR device 270-2) or the interactive device corresponding to the one or more virtual surgery devices (e.g., the sensing wearable device 271-3) .

[0307] In some embodiments, the processing device 210 or the surgery simulation module 420 may update the virtual surgery site and the one or more virtual surgery devices in the virtual surgery scene based on the interaction instruction.

[0308] Updating the virtual surgery site and the one or more virtual surgery devices in the virtual surgery scene refers to updating a presented form or a position of the virtual surgery site and the one or more virtual surgery devices based on the interaction instruction after obtaining the interaction instruction. For example, taking the interaction instruction as "lower the tip of the scalpel until it touches the skin, then move it downward to cut into the skin by 1cm, and then cut to the left by 3cm, " the processing device 210 may present a virtual incision that is 1cm deep and 3cm long along a left-right direction on the skin surface of the virtual surgery site in the virtual operating room. Assuming that the position of the virtual scalpel before the update is 5cm above the skin of the virtual surgery site, after the virtual surgery site and the one or more virtual surgery devices are updated, the virtual scalpel moves downward by 6cm and to the left by 3cm compared to its position before the update process.

[0309] In step 1035, the processing device 210 or the surgery simulation module 420 may determine a possible emergency condition in the virtual surgery scene based on the interaction instruction. Based on the possible emergency condition, the processing device 210 or the surgery simulation module 420 may update the virtual surgery site and the one or more virtual surgery devices in the virtual surgery scene.

[0310] In conjunction with the above description, the emergency condition refers to an unexpected and unfavorable condition that may occur during the surgery process. For example, the emergency condition may be severe bleeding at the virtual surgery site.

[0311] In some embodiments, the processing device 210 or the surgery simulation module 420 may use an emergency determination model to process the interaction instruction and determine emergency conditions.  The emergency determination model may be a machine learning model. An input of the emergency determination model may be the surgery plan and the interaction instruction, and an output may indicate whether an emergency condition occurs and / or a type of emergency condition (e.g., severe bleeding, decreased blood pressure, cardiac arrest, etc. ) .

[0312] Illustratively, taking severe bleeding as an example of an emergency condition, the process for updating the virtual surgery site and the one or more virtual surgery devices based on the emergency condition may include adding a large amount of virtual blood at the contact position between the virtual scalpel and the virtual surgery site through the second XR device 270-2.

[0313] In step 1040, the processing device 210 or the surgery simulation module 420 may obtain simulation data of the virtual surgery site and the one or more virtual surgery devices during the surgery simulation process.

[0314] In conjunction with the above description, the simulation data refers to usage data of the one or more virtual surgery devices and operational data on the virtual surgery site using the one or more virtual surgery devices. For example, the simulation data may include an incision depth, an incision size, a blood loss, a movement path of the virtual scalpel, an implanted path and an implanted position of virtual implants, etc., of the virtual surgery site.

[0315] In step 1050, the processing device 210 or the surgery simulation module 420 may determine whether the surgery plan is required to be optimized based on the simulation data. In response to determining that the surgery plan is required to be optimized, the processing device 210 or the surgery simulation module 420 may update the surgery plan based on the simulation data.

[0316] In some embodiments, the processing device 210 or the surgery simulation module 420 may determine whether the surgery plan is required to be optimized by determining whether a preset update condition is met based on the simulation data. If the preset update condition is met, it is determined that the surgery plan is required to be optimized; otherwise, the surgery plan is not required to be optimized. The preset update condition may include a surgery complication, a postoperative rehabilitation time being greater than a preset rehabilitation time, a postoperative vital sign not within a preset range, etc.

[0317] In some embodiments, the processing device 210 or the surgery simulation module 420 may update a surgery time, surgery steps, an expected surgery duration, an anesthetic dosage, an incision position and an incision depth, an incision path, implant specifications, etc., of the surgery plan based on the simulation data. For example, the processing device 210 may update the incision depth in the surgery plan from 3.6cm to 3cm.

[0318] In some embodiments of the present disclosure, through the surgery simulation, it is possible to achieve simulation of complex surgery process, simulation of implant plans, and pre-practice of emergency conditions. A medical team can practice and refine medical skills in a risk-free environment, which helps reduce errors in real surgeries, thereby improving patient safety and surgery success rates. On the other hand, the surgery simulation may be applied to doctor training. As an efficient and economical training approach, the surgery simulation may quickly enhance the surgery skills of trainees. It is also possible to adjust training content based on personal learning progress and needs of trainees, thereby achieving personalized learning and further improving training efficiency.

[0319] FIG. 11 is an exemplary schematic diagram illustrating a preoperative education according to some embodiments of the present disclosure.

[0320] In conjunction with the above description, the preoperative education refers to a process of explaining the patient's condition, the surgery plan, and simulating the patient's postoperative rehabilitation to the patient and / or the family of the patient.

[0321] In some embodiments, as shown in FIG. 11, the processing device 210 may generate a virtual patient education space 1120 and use the virtual patient education space 1120 to explain the patient's condition and relevant content of the surgery plan to the patient and / or the family of the patient.

[0322] The virtual patient education space 1120 is a virtual space that may be accessed through a terminal device (e.g., the first terminal device, the second terminal device, the third terminal device) . In some embodiments, the virtual patient education space 1120 may display a virtual region of interest 1121, a surgery video 1122, and an operation agreement 1123. For example, as shown in FIG. 11, a doctor 271 (e.g., the primary surgeon or the doctor who formulated the surgery plan) , a patient 261, and a family 1133 may access the virtual patient education space 1120 through their respective terminal devices (e.g., XR devices) to view the virtual region of interest 1121, the surgery video 1122, and the operation agreement 1123, and communicate with each other.

[0323] The region of interest refers to a lesion and / or surrounding tissues or organs. The virtual region of interest 1121 may be a three-dimensional anatomical model corresponding to the patient's lesion and surrounding tissues or organs. The virtual region of interest 1121 is configured to visually present a morphology of the patient's lesion, an association of the lesion with surrounding tissues or organs, and analyze a progression of disease (e.g., an impact of the lesion on the patient's physiological functions) .

[0324] The surgery video 1122 is configured to visually demonstrate the surgery process based on the surgery plan at the patient's surgery site (e.g., the region of interest) . For example, the surgery video 1122 may show a complete surgery process, possible emergencies, and a postoperative rehabilitation process. For example, the surgery video 1122 may present different surgery plans in a video form, a size of a wound created in the virtual region of interest 1121, a position of lesion removal, a cutting depth, a cutting path, removal risks, or an implant insertion path, and the patient's rehabilitation progress and nursing requirements after hospital discharge.

[0325] The operation agreement 1123 refers to an electronic informed consent form regarding the surgery plan that needs to be signed by the patient, the family of the patient, and the doctor after they have jointly determined the optimal surgery plan through communication (e.g., a remote communication in the virtual patient education space 1120) and the doctor has informed the patient and the family of the patient of preoperative considerations.

[0326] In some embodiments, the doctor 271 may use the virtual region of interest 1121 to show the patient 261 and the family 1133 the patient's lesion situation and explain the progression of the disease. In some embodiments, the processing device 210 may simulate a preoperative morphology of the lesion, a potential spread, and an association with surrounding tissues or organs in the virtual region of interest 1121 within the virtual patient education space 1120. For example, the doctor 271 may use the virtual region of interest 1121 and the virtual lesion within the virtual region of interest 1121 to explain a position, a size, a severity, and a current stage of progression of the lesion (e.g., whether the lesion is in an early / middle / late stage, whether the lesion has metastasized, etc. ) and an estimated future development of the lesion to the patient 261 and the family 1133 of the patient.

[0327] In some embodiments, the doctor 271 may use the surgery video 1122 to explain the surgery process based on the surgery plan at the patient's surgery site and the patient's postoperative rehabilitation process to the patient 261 and the family 1133 of the patient. For example, based on the surgery video 1122 presented in the virtual patient education space 1120, the doctor 271 may explain the surgery process, possible emergencies, and postoperative rehabilitation progress (e.g., the patient's awakening time after the surgery process, a time to get out of bed, a discharge time, a rehabilitation status at discharge, a post-discharge considerations and nursing needs, a full rehabilitation time, etc. ) of each surgery plan to the patient 261 and the family 1133 of the patient.

[0328] In some embodiments, after understanding the condition and various surgery plans, the doctor 271, the patient 261, and the family 1133 of the patient may jointly discuss and determine the final surgery plan (i.e., a surgery plan adopted for the patient's subsequent surgery, referred to as a target surgery plan hereinafter) through the virtual patient education space 1120. In some embodiments, after determining the target surgery plan, the processing device 210 or the doctor 271 may inform the patient 261 and the family 1133 of the patient of preoperative considerations through the virtual patient education space 1120. Furthermore, the doctor 271, the patient 261, and the family 1133 of the patient may sign the operation agreement 1123 within the virtual patient education space 1120. For more information, please refer to the relevant descriptions in FIGs. 12 and 13.

[0329] FIG. 12 is an exemplary schematic diagram illustrating a process of a preoperative education according to some embodiments of the present disclosure. As shown in FIG. 12, in some embodiments, process 1200 may include the following steps. In some embodiments, process 1200 may be executed by the processing device 210 or the preoperative preparation module 430. In some embodiments, process 1200 may be executed by a preoperative education agent. For more information about the agent, please refer to FIG. 17 and its related description.

[0330] Step 1210, explanatory materials for explaining the surgery plan is generated.

[0331] The explanatory materials are configured to explain information related to the surgery plan, such as explanatory notes on the surgery plan, an execution process of the surgery plan at the patient's surgery site, and the patient's postoperative rehabilitation process after using the surgery plan. In some embodiments, the explanatory materials may be performed by a text, an image, an audio, or a video. For example, the explanatory materials may include an image of the patient's surgical site, a textual annotation or a voice explanation related to the surgical site (such as a description of the lesion, an introduction to the surgical process, etc. ) , an image sequence of the patient's postoperative rehabilitation process (such as displaying the progress of postoperative rehabilitation at various stages through multiple images with time information) , and the corresponding textual annotations or voice explanations.

[0332] In some embodiments, there may be multiple surgery plans. The processing device 210 may generate explanatory materials corresponding to each surgery plan.

[0333] In some embodiments, the explanatory materials are generated based on a digital twin model of the patient's surgery site (e.g., a three-dimensional anatomical model) . For example, the processing device 210 may simulate the surgery process and outcome (e.g., a postoperative incision size) based on the surgery plan on the three-dimensional anatomical model of the patient's surgery site.

[0334] In some embodiments, the explanatory materials include a surgery video (e.g., the surgery video  1122) . As mentioned above, the surgery video demonstrates the surgery process based on the surgery plan at the patient's surgery site. For example, taking an invasive surgery as the surgery type in the surgery plan, the surgery video shows an appearance of the patient's surgery site before an incision operation, a process of the incision operation with a scalpel, a process of removing the lesion, a suture process, and an appearance after the suture process.

[0335] As mentioned above, the explanatory materials may include the patient's postoperative rehabilitation process. In some embodiments, the processing device 210 or the preoperative preparation module 430 may predict the patient's postoperative rehabilitation process based on the patient data.

[0336] The rehabilitation process reflects the patient's vital signs and a wound rehabilitation progress after the surgery process. In some embodiments, the rehabilitation process may include a wound healing speed, whether the patient's vital signs are normal, a presence of complications, an estimated rehabilitation time, etc. For example, the rehabilitation process may be described as "the patient's wound healing speed is 1 mm / day, postoperative vital signs are normal, no complications, and the estimated rehabilitation time is 1 month. "

[0337] In some embodiments, the processing device 210 or the preoperative preparation module 430 may utilize a rehabilitation prediction model to process the patient data and the surgery plan to determine the rehabilitation process. The rehabilitation prediction model may be a machine learning model. An input of the rehabilitation prediction model includes the patient data and the surgery plan, and an output of the rehabilitation prediction model includes the rehabilitation process.

[0338] In some embodiments, the rehabilitation prediction model may be obtained through training. In some embodiments, the rehabilitation prediction model may be trained based on multiple fifth training samples with fifth labels. For example, the processor 120 or the preoperative preparation module 430 may input the multiple fifth the training samples with fifth labels into a preliminary rehabilitation prediction model. The processor 120 or the preoperative preparation module 430 may determine a value of a loss function based on the fifth labels and results of the preliminary rehabilitation prediction model, iterate based on the value of the loss function, and update parameters of the preliminary rehabilitation prediction model. When the loss function of the preliminary rehabilitation prediction model satisfies a fifth ending condition, the model training is completed, a trained rehabilitation prediction model is obtained. The fifth training samples may include sample patient data and sample surgery plans. The sample patient data and the sample surgery plans may be obtained based on historical patient data and historical surgery plans of past patients, respectively. The fifth labels may be the historical rehabilitation processes of the past patients corresponding to the fifth training samples. The fifth labels may be determined through manual annotation or automatic system annotation. The fifth ending condition may be a convergence of the loss function (e.g., the mean squared error of the loss function is less than a fifth error threshold) , a count of iterations during the training process is greater than a fifth threshold, etc.

[0339] In some embodiments, the surgical video may further showcase the patient's postoperative rehabilitation process.

[0340] In some embodiments, the surgery video may further demonstrate a risk condition (e.g., an intraoperative risk condition and a postoperative risk condition) faced by the patient during or after the surgery process.

[0341] In some embodiments, the processing device 210 may use a risk assessment model to predict the  patient's risk condition during the surgery process. An input of the risk assessment model includes at least a portion of the surgery plan and the patient data, and an output may include a risk assessment result (an intraoperative risk condition) . In some embodiments, the output of the risk assessment model may also include a postoperative risk condition. The postoperative risk condition refers to a harmful situation that the patient may face after the surgery process. For example, the postoperative risk condition may include fever, surgery site infection, etc. For more information about the risk assessment model, please refer to FIGs. 7 or 8 and their related descriptions.

[0342] Step 1220, explanatory materials is presented to both the patient and the doctor simultaneously through at least one terminal device. The terminal device refers to a device worn by a user (e.g., a patient, a doctor, etc. ) that may access, view, and interact with a virtual reality space (e.g., a virtual surgery scene) . For example, the terminal device may be an extended reality device (e.g., XR glasses, etc. ) .

[0343] In some embodiments, the at least one terminal device includes a first terminal device of the patient, a second terminal device of the doctor, and a third terminal device of the family.

[0344] In some embodiments, the at least one terminal device includes a first XR device worn by the patient and a second XR device worn by the doctor. For example, the first terminal device is the first XR device, and the second terminal device is the second XR device.

[0345] In some embodiments, as shown in FIG. 12, the processing device 210 or the preoperative preparation module 430 may present the explanatory materials (e.g., the surgery video 1122) to both the patient and the doctor through the first terminal device (e.g., the first XR device 260-2) worn by the patient (e.g., the patient 261) and the second terminal device (e.g., the second XR device 270-2) worn by the doctor (e.g., the doctor 271) , respectively.

[0346] In some embodiments, the at least one terminal device includes a third terminal device worn by the family of the patient. In some embodiments, the processing device 210 or the preoperative preparation module 430 may present the explanatory materials to the family through the third terminal device (e.g., the third XR device) worn by the family. As shown in FIG. 12, the processing device 210 may present the explanatory materials (e.g., the virtual region of interest 1121, the surgery video 1122, the operation agreement 1123, etc. ) to the family through the third XR device 1133-2 worn by the family (e.g., the family 1133 of the patient) .

[0347] In some embodiments, the processing device 210 or the preoperative preparation module 430 may simultaneously present the explanatory materials to the patient, the family of the patient, and the doctor through at least one terminal device, with the doctor providing explanations for the explanatory materials. For example, when the explanatory materials are images, the processing device 210 or the preoperative preparation module 430 may simultaneously display an image sequence to the patient, the family of the patient, and the doctor through the first XR device 260-2, the second XR device 270-2, and the third XR device 1133-2. The doctor may use the second XR device 270-2 to verbally explain the content of the currently displayed images in the first XR device 260-2, the second XR device 270-2, and the third XR device 1133-2 to the patient and / or the family of the patient.

[0348] Step 1230, first feedback information regarding the surgery plan is determined based on second sensed information collected by one or more second sensing devices during an explanation process of the surgery plan.

[0349] The second sensing device refers to a sensing device configured to receive input information (e.g.,  text information, voice information, etc. ) from a user (e.g., a doctor or a patient, etc. ) . For example, the second sensing device may be an acoustic sensor (e.g., a microphone) to receive voice information input by the user. For example, a microphone on XR glasses worn by the doctor may capture the doctor's voice information and send the voice information to the microphone on the XR glasses worn by the patient (and vice versa) , thereby enabling communication between the doctor and the patient.

[0350] In some embodiments, at least one of the one or more second sensing devices is a portion of the at least one terminal device. For example, the second sensing device may be a microphone on the first terminal device or the second terminal device.

[0351] In some embodiments, the second sensed information includes voice signals collected by one or more acoustic sensors (e.g., microphones on the at least one terminal device) . For example, the second sensed information may include at least one of voice signals of the patient collected by the first XR device 260-2, voice signals of the doctor collected by the second XR device 270-2, and voice signals of the family collected by the third XR device 1133-2.

[0352] The first feedback information includes a feedback on the surgery plan from preoperative education participants (e.g., the doctor, the patient, the family of the patient) . For example, the first feedback information at least includes selection information for the surgery plan. The selection information refers to a result of choosing a surgery plan. For example, if there are 5 surgery plans, the selection information may be "Choose the 3rd surgery plan. "

[0353] In some embodiments, the first feedback information also includes modification information for the surgery plan corresponding to the selection information. For example, the modification information may be "Reduce the incision depth by 0.5cm. "

[0354] In some embodiments, the processing device 210 or the preoperative preparation module 430 may determine the first feedback information by analyzing and processing the second sensed information.

[0355] Step 1240, the surgery plan is confirmed or updated based on the first feedback information.

[0356] In some embodiments, the processing device 210 or the preoperative preparation module 430 may determine a target surgery plan from multiple surgery plans based on the first feedback information. For example, the processing device 210 or the preoperative preparation module 430 may determine the surgery plan selected by the doctor, the patient, and the family as the target surgery plan. The target surgery plan may be used for the surgery process on the patient's surgery site.

[0357] In some embodiments, the processing device 210 or the preoperative preparation module 430 may update the patient's surgery plan based on the first feedback information. For example, if the incision depth in the surgery plan is 4cm and the first feedback information is "Reduce the incision depth by 0.5cm, " then the incision depth in the updated surgery plan based on the first feedback information is 3.5cm.

[0358] Step 1250, an explanatory video of the surgery plan is generated.

[0359] In some embodiments, as shown in FIG. 12, the processing device 210 or the preoperative preparation module 430 may generate explanatory notes for the surgery plan based on the second sensed information. The processing device 210 or the preoperative preparation module 430 may create an explanatory video for the surgery plan based on the surgery video and the explanatory notes for the surgery plan.

[0360] The explanatory notes may be the doctor's explanations of one or more frames and corresponding operations in the surgery video. For example, the explanatory notes may include explanations of an incision  site selection, an incision path, an incision length, etc. For example, the processing device 210 may obtain the doctor's voice signals through the microphone on the second XR device 270-2 and use the content of the voice signals as the explanatory notes for the surgery plan. The explanatory notes may be incorporated into the surgery video in a text or audio form to obtain the explanatory video.

[0361] In some embodiments, the processing device 210 or the preoperative preparation module 430 may display the explanatory video to the patient (e.g., the patient 261) , the doctor (e.g., the doctor 271) , and the family of the patient through the first terminal device worn by the patient (e.g., the first XR device 260-2) , the second terminal device worn by the doctor (e.g., the second XR device 270-2) , and the third terminal device of the patient's family (e.g., the third XR device 1133-2) .

[0362] In some embodiments, the processing device 210 or the preoperative preparation module 430 may obtain interaction instructions related to the explanatory materials from at least one terminal device and update the explanatory materials displayed through the at least one terminal device based on the interaction instructions.

[0363] The interaction instructions refer to control or modification instructions for the explanatory materials input by the patient through the first terminal device or by the doctor through the second terminal device. For example, if the explanatory material is a surgery video, an interaction instruction may be "Rewind the video by 15 seconds. "

[0364] The aforementioned update of the explanatory materials refers to adjusting the explanatory materials based on the interaction instructions. For example, using the previous interaction instruction as an example, the update result may be: rewind the playback progress of the surgery video displayed on the first terminal device and the second terminal device by 15 seconds.

[0365] In some embodiments of the present disclosure, explaining the patient's condition progress and the surgery plan to the patient and the family of the patient in a virtual patient education space through videos can achieve remote doctor-patient communication, thereby helping the patient and the family of the patient to understand quickly, improving the efficiency of doctor-patient communication, helping the patient and the family of the patient fully to understand the current status and postoperative risks of the patient, reducing patient fear and anxiety, and increasing the success rate of the surgery process.

[0366] FIG. 13 is an exemplary schematic diagram illustrating a process of an agreement signing according to some embodiments of the present disclosure. In some embodiments, process 1300 may be executed by the processing device 210 or the preoperative preparation module 430.

[0367] In conjunction with the above descriptions, the processing device 210 or the preoperative preparation module 430 may display the explanatory materials to the patient, the doctor, and the family of the patient respectively through the first terminal device worn by the patient (e.g., the patient 261) , the second terminal device worn by the doctor (e.g., the doctor 271) , and the third terminal device worn by the family of the patient (e.g., the family 1133 of the patient) . Based on the first feedback information, the surgery plan for the patient is determined or updated.

[0368] In some embodiments, as shown in FIG. 13, after determining the target surgery plan from multiple surgery plans, the processing device 210 or the preoperative preparation module 430 may further obtain a first confirmation instruction and a second confirmation instruction. The first confirmation instruction is an instruction regarding the surgery plan input by the patient through the first terminal device (e.g., the first XR  device 260-2) . The second confirmation instruction is an instruction regarding the surgery plan input by the family of the patient through the third terminal device (e.g., the third XR device 1133-2) . In response to receiving the first confirmation instruction and the second confirmation instruction, the processing device 210 or the preoperative preparation module 430 may cause the first terminal device, the second terminal device (e.g., the second XR device 270-2) , and the third terminal device to present the operation agreement respectively. The processing device 210 or the preoperative preparation module 430 may obtain signature information of the operation agreement (e.g., the operation agreement 1123) from the first terminal device, the second terminal device, and the third terminal device respectively.

[0369] The first confirmation instruction and the second confirmation instruction are confirmation information indicating that the patient and the family of the patient have designated a current surgery plan as the final surgery plan (e.g., the target surgery plan) . An input approach of the confirmation instruction may include a button input, a gesture input, a voice input, etc. For example, the patient may say "Confirm surgery plan" to the first terminal device 260-2, and the family of the patient may say "Confirm surgery plan" to the third terminal device. The first terminal device 260-2 and the third terminal device 1133-2 respectively obtain the voice signals through their microphones and send the voice signals to the processing device 210. In some embodiments, the input approach of the first confirmation instruction may be a fingerprint input. The processing device 210 or the preoperative preparation module 430 may verify the patient's identity based on a fingerprint input by the patient, and generate the first confirmation instruction in response to the correct identity verification. The patient may input the fingerprint through a fingerprint sensor of the first terminal device or other terminal devices (e.g., a touchscreen device used by the patient) . In some embodiments, the manner of verifying the patient's identity based on the patient's fingerprint may include a blockchain verification. For example, the processing device 210 or the preoperative preparation module 430 may generate a first identity identifier of the patient based on fingerprint data of the patient (e.g., fingerprint data collected when the patient is admitted to the hospital) through a preset algorithm (e.g., a hash algorithm) and store the first identity identifier in a blockchain. When a patient verification is needed, the first terminal device or other terminal devices may obtain the current patient's fingerprint (e.g., input fingerprint through a touchscreen device used by the patient) and initiate a verification request to the processing device 210 or the preoperative preparation module 430. The processing device 210 or the preoperative preparation module 430 generates a second identity identifier of the current patient based on the current patient's fingerprint data through a preset algorithm. The processing device 210 or the preoperative preparation module 430 retrieves the first identity identifier of the patient stored in the blockchain (e.g., retrieves the first identity identifier of the patient with the current patient number from the blockchain) and compares the first identity identifier with the second identity identifier to determine whether the first identity identifier and the second identity identifier are consistent. In response to determining that the first identity identifier and the second identity identifier are consistent, the identity verification is correct. Otherwise, the identity verification fails, and the processing device 210 or the preoperative preparation module 430 may provide feedback of verification failure information to the patient, the doctor, and the family (e.g., send voice-form verification failure information to the first terminal device, the second terminal device, and the third terminal device respectively) . The form of the identity identifier (including the first identity identifier and the second identity identifier) may be a code, an image, etc.

[0370] As shown in FIG. 13, the patient, the doctor, and the family of the patient may view and sign the operation agreement through the first terminal device, the second terminal device, and the third terminal device respectively. For example, the processing device 210 or the preoperative preparation module 430 may generate signature information (e.g., in a form of a text or a pattern of the signature) on the operation agreement based on the signature information of the operation agreement obtained from the first XR device 260-2, the second XR device 270-2, and the third XR device 1133-2. In some embodiments, the manner of inputting the signature information by the patient may be based on the fingerprint input. The processing device 210 or the preoperative preparation module 430 may verify the patient's identity based on the fingerprint input by the patient and generate the patient's signature information in response to the correct identity verification. The patient may input the fingerprint through the fingerprint sensor of the first terminal device or other terminal devices (e.g., a touchscreen device used by the patient) . The patient's identity may be verified through the blockchain verification, and the specific process of blockchain verification may be referred to the previous description.

[0371] In some embodiments, the processing device 210 may obtain voice data of the doctor and the patient / the family of the patient through sensing devices (e.g., one or more first sensing devices) . The processing device 210 may generate a preoperative education report (e.g., a patient education content, an interaction content between the doctor and the patient, etc. ) based on the voice data. The processing device 210 may store the voice data. By generating the preoperative education report, it is convenient for the patient and / or the family of the patient to learn and review, and for archiving records.

[0372] FIG. 14 is an exemplary schematic diagram illustrating a preoperative guidance according to some embodiments of the present disclosure. In some embodiments, process 1400 may be executed by the processing device 210 or the preoperative preparation module 430. In some embodiments, process 1400 may be executed by a preoperative guidance agent. For more information about the agent, please refer to FIG. 17 and its related description.

[0373] Combining with the above descriptions, the preoperative guidance may include a patient reception, a patient verification, a preoperative care, a preoperative cleaning, an intravenous access establishment, etc.

[0374] The patient escort refers to transporting the patient from his / her current position to a waiting area of an operating room. The waiting area refers to an area where the patient waits before the surgery process begins. For example, the waiting area is an area outside the operating room or a sterile waiting area.

[0375] The patient verification refers to verifying whether a patient meets surgery criteria. The surgery criteria include: verifying that identity information (such as ID number, name, gender, age, fingerprints, etc. ) of a verification subject (acurrent patient) matches a target patient for whom the current surgery process is to be performed; verifying that the surgery process of the verification subject is currently scheduled; verifying that a current physical condition (such as vital signs including a heart rate, a blood pressure, a respiratory rate, etc. ) of the verification subject meets the requirements for the surgery process; verifying that the verification subject has followed medical instructions regarding fasting and abstaining from water; verifying that the verification subject is not carrying any items (such as a metal product, an electronic device, etc. ) that may affect the safety of the surgery process; and verifying that a psychological status of the verification subject is normal (for example, the patient is not feeling anxious or tense) . The psychological status of the verification subject may be determined based on a facial expression recognition. It can be understood that if the  verification subject does not meet any one of the surgery criteria, the surgery process for the patient may be postponed or delayed.

[0376] In some embodiments, the processing device 210 may collect biological information of the patient through one or more third sensing devices in the waiting area and verify the patient's identity based on the biological information. For example, as shown in FIG. 14, after the patient is transported to the waiting area 1410, the processing device 210 may collect the biological information of the patient 261 through one or more third sensing devices 1411 (such as an image capture device, a microphone, a fingerprint sensor, etc. ) in the waiting area 1410, and verify an identity of the patient 261 based on the biological information. The biological information may include facial information, voice information, fingerprint information, etc., of the patient.

[0377] In some embodiments, the processing device 210 or the preoperative preparation module 430 may verify the patient's identity by comparing the biological information of the patient with pre-stored biological information of the patient. In some embodiments, the processing device 210 may utilize a nurse intelligent agent to verify the patient's identity. For example, the nurse intelligent agent may verify the collected biological information or verify the patient's identity through voice interaction with the patient (such as asking the patient's age, name, gender, etc. ) .

[0378] The preoperative care includes a preoperative reassurance and a preoperative education. The preoperative reassurance refers to preoperative preparations that helps reduce the patient's negative emotions (such as anxiety, tension, fear, etc. ) through language communication, videos, music, etc. The preoperative education refers to the preoperative preparations that helps the patient understand the surgery process.

[0379] The preoperative cleaning refers to preoperative preparations such as body cleaning, hair removal (such as hair, body hair, etc. ) , and the patient puts on surgery clothes to reduce the risk of infection.

[0380] The intravenous access establishment refers to establishing a venous access for drug injection on the patient's body to ensure that drugs can be effectively administered to the patient during the surgery process. For example, the intravenous access establishment may involve inserting a retention needle into a vein in the patient's hand.

[0381] In some embodiments, the processing device 210 may determine a planned route from the patient's current position to the waiting area and control an intelligent chair to transport the patient to the waiting area along the planned route. For example, as shown in FIG. 14, before performing preoperative procedures on the patient based on the surgery plan, the processing device 210 may determine the planned route from the current position of the patient 261 (such as a hospital room 1403) to the waiting area 1410. The processing device 210 may control an intelligent chair 240-5 to transport the patient 261 from the hospital room 1403 to the waiting area 1410 along the planned route.

[0382] In some embodiments, the processing device 210 may determine the planned route from the current position to the waiting area based on a hospital map.

[0383] The intelligent chair is a wheelchair with autonomous driving functionality that may transport a cargo (such as a patient) along a planned route (such as the planned route) to a designated destination (such as the waiting area) .

[0384] In some embodiments, the processing device 210 may be configured with a corresponding nurse agent. The nurse agent refers to an agent that replaces a nurse in performing some tasks and may present a  virtual nurse character. In some embodiments, the first terminal device 260-2 may present a virtual nurse character that provides the preoperative care. The patient 261 may see the virtual nurse character in a virtual space by wearing the first terminal device 260-2, and the virtual nurse character may engage in voice interaction with the patient, such as answering the patient's questions, inquiring and confirming the patient's identity information, and providing preoperative care materials to the patient. For more information about the agent, please refer to FIG. 17 and its related description.

[0385] In some embodiments, the processing device 210 may use the nurse agent to control the intelligent chair to transport the patient from the current position to the waiting area.

[0386] In some embodiments, after the patient is transported to the waiting area, the processing device 210 or the preoperative preparation module 430 may perform the patient verification. For more information about the patient verification, please refer to the previous description.

[0387] In some embodiments, the processing device 210 or the preoperative preparation module 430 may determine preoperative care materials for the patient based on the patient data and the surgery plan. During the process of transporting the patient to the waiting area, the processing device 210 or the preoperative preparation module 430 may use the patient's first terminal device to provide the preoperative education to the patient based on the preoperative care materials.

[0388] The preoperative care materials may include a video, a music, an image, a text, and other materials related to surgery explanations and / or emotional relaxation. For example, the preoperative care materials may be light music that soothes the patient's anxiety, a video or an audio recording from the family of the patient, or an explanatory video of the surgery the patient is about to undergo.

[0389] In some embodiments, the processing device 210 or the preoperative preparation module 430 may use a material determination model to process the patient data and the surgery plan to determine the preoperative care materials. The material determination model may be a trained machine learning model. An input of the material determination model may include the patient data and the surgery plan, and an output may include the preoperative care materials. In some embodiments, the material determination model may be integrated into the processing device 210. After the processing device 210 uses the material determination model to determine the preoperative care materials, the processing device 210 may display the preoperative care materials to the patient through the first terminal device worn by the patient.

[0390] In some embodiments, the material determination model may be obtained through training. In some embodiments, the material determination model may be trained based on multiple sixth training samples with sixth labels. For example, the processing device 210 or the preoperative preparation module 430 may input the multiple sixth training samples with the sixth labels into a preliminary material determination model. The processing device 210 or the preoperative preparation module 430 may determine a value of a loss function based on the sixth labels and results of the preliminary material determination model, and iteratively update parameters of the preliminary material determination model based on the value of the loss function. When the loss function of the preliminary material determination model meets a sixth ending condition, the model training is completed, a trained material determination model is obtained. The sixth training samples may include sample patient data and sample surgery plans. The sample patient data and the sample surgery plans may be obtained based on historical patient data and historical surgery plans of past patients. The sixth labels may be historical preoperative care materials corresponding to the sixth training samples. The sixth labels may  be determined through manual annotation or automatic system annotation. The sixth ending condition may be a convergence of the loss function (e.g., the mean squared error of the loss function is less than a sixth error threshold) , a count of iterations during the training process is greater than a sixth threshold, etc.

[0391] In some embodiments, the processing device 210 may use the nurse agent to provide the preoperative education to the patient. For example, as shown in FIG. 14, the processing device 210 may present a virtual nurse character 1423 on the first terminal device 260-2 worn by the patient 261, and the virtual nurse character 1423 explains the preoperative care materials to the patient 261. In some embodiments, the virtual nurse character 1423 may engage in voice interaction with the patient 261 to alleviate the patient's negative emotions or answer the patient's questions through communication. In some embodiments, the processing device 210 may determine whether it is necessary to alleviate the patient's emotions by collecting the patient's facial expressions, physical signs, tone of voice, etc.

[0392] In some embodiments, the processing device 210 may use the nurse agent to guide a nurse in performing the preoperative cleaning and / or the intravenous access establishment. For example, the nurse agent may be presented through a three-dimensional nurse image. The three-dimensional nurse image provides voice guidance to the nurse for the intravenous access establishment for medication delivery, body cleaning and hair removal, and / or provides voice guidance to the patient for putting on surgery clothes and body cleaning.

[0393] In some embodiments, during the process of transporting the patient to the waiting area, the processing device 210 or the preoperative preparation module 430 may obtain third sensed information related to a portion of the planned route from the current position of the intelligent chair to the waiting area (e.g., the portion of the planned route that the intelligent chair has not traveled) through one or more fourth sensing devices in the hospital. Based on the third sensed information, the processing device 210 or the preoperative preparation module 430 may determine potential risks in the untraveled portion of the planned route and update the untraveled portion based on the potential risks.

[0394] The one or more fourth sensing devices may include an image capture device (such as an infrared surveillance camera 1413) , a lidar, etc. The one or more fourth sensing devices may be installed in positions such as the intelligent chair, the hospital ceiling, or hospital walls.

[0395] The third sensed information may reflect the environmental conditions of the area along the planned route (e.g., whether there are obstacles, whether the ground is flat, whether there are people or other moving objects nearby) . For example, taking the fourth sensing device as an image capture device, the third sensed information may be image data of the area (e.g., outdoor walkways, corridors, building platforms, etc. ) along at least a portion of the planned route within the hospital.

[0396] The potential risks refer to possible issues that the intelligent chair may encounter when passing through a certain position or a portion (e.g., collisions, rollovers, etc. ) of the planned route.

[0397] In some embodiments, the processing device 210 or the preoperative preparation module 430 may use a risk identification model to process the third sensed information and determine the potential risks. The risk identification model may be a trained machine learning model. An input of the risk identification model may include the third sensed information, and an output may include whether there are potential risks (e.g., 1 indicates risk, 0 indicates no risk) and / or the type of risk (e.g., a possible collision) . In some embodiments, the risk identification model may be integrated into the processing device 210.

[0398] In some embodiments, the risk identification model may be obtained through training. In some embodiments, the risk identification model may be trained based on multiple seventh training samples with seventh labels. For example, the processor 120 or the preoperative preparation module 430 may input the multiple seventh training samples with the seventh labels into a preliminary risk identification model. The processor 120 or the preoperative preparation module 430 may determine a value of a loss function through the seventh labels and results of the preliminary risk identification model, and iteratively update parameters of the preliminary risk identification model based on the value of the loss function. When the loss function of the preliminary risk identification model meets a seventh ending condition, the model training is completed, and a trained risk identification model is obtained. The seventh training samples may include sample sensing data, which may be determined based on historical third sensed information obtained when transporting historical patients to the waiting area. The seventh labels may be historical potential risks corresponding to the seventh training samples. The seventh labels may be determined through manual annotation or automatic system annotation. The seventh ending condition may be a convergence of the loss function (e.g., the mean square error of the loss function is less than a seventh error threshold) , a count of iterations during the training process is greater than a seventh threshold, etc.

[0399] Updating the untraveled portion of the planned route refers to when there are potential risks, the processing device 210 or the preoperative preparation module 430 may adjust the position or alignment of the untraveled portion of the planned route so that the planned route does not pass through the position of the potential risk or avoids the occurrence of the risk. For example, taking potential risks such as road surface water accumulation as an instance, the updating the untraveled portion of the planned route may include modifying a portion of the planned route that passes through the water-accumulated area, thereby bypassing the water-accumulated area. As another example, when there are people passing ahead, the updating the untraveled portion of the planned route may include modifying a portion of the planned route that overlaps with the pedestrian's position, thereby avoiding the pedestrian.

[0400] In some embodiments of the present disclosure, through the above-mentioned preoperative guidance process, a humanized, transparent, and efficient preoperative preparation process may be provided, and preoperative preparation items may be dynamically adjusted based on patient feedback to improve preoperative preparation efficiency. Through the above-mentioned process of transporting patients and verifying the identities of the patients, human errors are avoided and the safety of the entire surgery process is enhanced. By utilizing the virtual nurse image to assist in completing many preoperative preparation tasks, labor costs can be saved.

[0401] FIG. 15 is an exemplary schematic diagram illustrating a surgery execution according to some embodiments of the present disclosure.

[0402] After escorting the patient to the waiting area and completing the corresponding preparatory work (such as the preoperative education, the preoperative guidance, etc. ) , the medical team may perform the surgery process on the patient based on the surgery plan (also referred to as the target surgery plan) .

[0403] In some embodiments, the medical team may include local surgery participants 1510 and / or remote surgery participants 1531 (e.g., remote medical experts, experts from other departments, etc. ) . As shown in FIG. 15, the local surgery participants 1510 may include a primary surgeon 1511, an anesthesiologist 1513, and a surgery nurse 1515.

[0404] The primary surgeon is responsible for performing the surgery process on the patient according to the surgery plan, making immediate decisions and adjustments based on the actual progress of the surgery, communicating with the surgery nurse about surgery instrument and material needs, and communicating with the anesthesiologist about the patient's physiological status.

[0405] The surgery nurse is responsible for the preparation and management of surgery instruments and consumables, as well as delivering instruments and recording key events during the surgery process according to the doctor's needs. In some embodiments, the processing device 210 or the surgery execution module 440 may prepare surgery tools in the operating room before the surgery process based on the surgery plan using an intelligent robotic nurse (e.g., an intelligent robotic nurse 240-6) . Based on first sensed information collected by one or more first sensing devices in the operating room during the surgery, instructions for target surgery tools issued by surgery participants (e.g., the local surgery participants 1510) are recognized. Based on the instructions, the intelligent robotic nurse is enabled to pass the target surgery tools to the surgery participants. For more information about this embodiment, please refer to FIG. 17 and its related description.

[0406] The anesthesiologist is responsible for administering anesthesia to the patient. In some embodiments, the anesthesiologist 1513 may use a display screen in the operating room (e.g., a display screen 1523) to access the patient's digital twin in the UHR, confirm the effective anesthetic dosage based on the digital twin, and assess the depth of anesthesia and predict rehabilitation. In some embodiments, patient anesthesia may be achieved through an anesthesia machine. For example, the processing device 210 may confirm the effective anesthetic dosage, assess the depth of anesthesia, predict rehabilitation based on the patient's digital twin, and control an intelligent anesthesia machine to administer general or local anesthesia to the patient based on the assessment results.

[0407] The remote surgery participants 1531 may observe the surgery process (e.g., observing the primary surgeon's lesion resection, hemostasis, response to risky situations, etc. ) in real-time through a virtual surgery space 1530 presented by an extended reality device (e.g., a worn fourth terminal device 1531-2) . The remote surgery participants 1531 may provide remote surgery guidance (e.g., guidance on handling emergencies, action guidance for high-difficulty procedures, etc. ) . For example, the remote surgery participants 1531 may use the fourth terminal device 1531-2 to annotate and engage in voice interaction in the virtual surgery space to guide the local surgery participants 1510 (e.g., the primary surgeon 1511) in their operations on the patient.

[0408] In some embodiments, the medical team may perform the surgery process using intelligent surgery equipment. For example, as shown in FIG. 15, the intelligent surgery equipment may include an intelligent surgery terminal 240-3 and an intelligent robotic nurse 240-6. For more information about the intelligent surgery terminal 240-3, please refer to FIG. 2 and its related description. In some embodiments, the intelligent surgery equipment used for the surgery process may also include a vital sign monitoring device (e.g., a ventilator, a pulse oximeter, an ECG and a blood pressure monitor, etc. ) , an imaging equipment (e.g., an ultrasound equipment, an endoscope, a digital subtraction angiography equipment, etc. ) , and other auxiliary instruments (e.g., an ultrasonic scalpel, an interventional robot, various surgery knives, a syringe, a hemostatic forceps, etc. ) .

[0409] In some embodiments, information exchange between the local surgery participants 1510 and the remote surgery participants 1531 may be achieved through an interactive device 1520 (e.g., the display screen 1523 and / or the terminal device 1525) . For example, the processing device 210 or the surgery execution  module 440 may obtain the surgery scene from the perspective of the doctor through a terminal device worn by the primary surgeon 1511 (e.g., the second terminal device) and send the surgery scene to the display screen 1523 and / or the fourth terminal device 1531-2 for display. As another example, the surgery participants may manipulate three-dimensional images showing different sections displayed on the interactive device 1520 according to a gesture interaction, and further to analyze the anatomical structure of the patient's organs and lesions, and / or drag real-time ultrasound images to any angle for viewing through the gesture interaction.

[0410] In some embodiments, the processing device 210 or the surgery execution module 440 may switch the display content of the display screen 1523 and / or the terminal device 1525 in real-time based on a surgery progress. For example, the processing device 210 may display on the display screen 1523 a view of the department's operating room, a real-time view of the current operating room (including personnel, events, resources, and status monitoring of the operating room) , key information (such as a planned surgery process, an anesthesia plan, expected risks, and handling methods) about the patient's surgery, intraoperative imaging data (such as a position reached by surgery instruments) of the patient, and real-time physiological data (such as a heart rate, a rhythm, a blood pressure, an oxygen saturation, a respiratory status) of the patient, etc.

[0411] In some embodiments, as shown in FIG. 15, the processing device 210 or the surgery execution module 440 may monitor environmental data and personnel behavior through the monitoring device 250. As shown in FIG. 15, the monitoring device 250 may include an image acquisition device 250-1 (such as an infrared camera) , a sound acquisition device 250-2 (such as a microphone) , a temperature and humidity sensor 250-3 (including a temperature sensor and a humidity sensor) , and a behavior tracking device 250-4 (such as a gesture recognition device or a motion recognition device, etc. ) . The image acquisition device 250-1 is configured to capture images of surgery participants 1510 and / or patients. The sound acquisition device 250-2 is configured to capture voice information of surgery participants 1510 and / or patients. The temperature and humidity sensor 250-3 is configured to monitor a temperature and a humidity in the operating room. The behavior tracking device 250-4 is temperature to capture behavior information (including standing position, gestures, types of motions, and amplitude of motions, etc. ) of surgery participants 1510. In some embodiments, the behavior tracking device 250-4 may be a wearable device, such as a wearable camera, wearable gloves, wearable clothing, etc.

[0412] In some embodiments, the monitoring device 250 may also include devices for monitoring the operating room environment. For example, the monitoring device 250 may include a differential pressure sensor and an air quality sensor.

[0413] In some embodiments, the processing device 210 or the surgery execution module 440 may send monitoring information collected by the monitoring device to the display screen 1523 for display.

[0414] In some embodiments, the processing device 210 may generate a surgery report (such as a preliminary surgery report) and a medical advice report (such as a preliminary medical advice report) based on the first sensed information collected during the surgery process.

[0415] For more information about the surgery execution, please refer to the descriptions in FIGs. 16 and 17.

[0416] FIG. 16 is an exemplary schematic diagram illustrating a process of a surgery execution according to some embodiments of the present disclosure. In some embodiments, the surgery execution process 1600 may be performed by the processing device 210 or the surgery execution module 440. In some embodiments, steps  1611, 1613, and 1615 in process 1600 may be executed by the surgery execution agent. For more information about the agent, please refer to FIG. 17 and its related description.

[0417] Combining the above descriptions, the surgery execution process may include the preoperative preparation, intraoperative matters, and postoperative matters.

[0418] As shown in FIG. 16, the preoperative preparation (e.g., steps before the surgery process) may include steps 1611, 1613, and 1615.

[0419] Step 1611, an operating room is activated.

[0420] Activating the operating room may include opening an operating room door, activating surgery equipment (e.g., surgery lights, vital signs monitoring equipment, intelligent robotic nurses, intelligent surgery terminals, imaging equipment, etc. ) within the operating room, monitoring an equipment, adjusting parameters within the operating room, verifying a status of surgery equipment, etc.

[0421] Adjusting parameters within the operating room includes regulating a temperature, a humidity, an air quality, a brightness, etc., within the operating room.

[0422] Verifying the status of surgery equipment refers to determining whether the surgery equipment can operate normally and reporting the status based on a self-check program by the surgery equipment.

[0423] In some embodiments, the processing device 210 may control the intelligent robotic nurse 240-6 to activate the operating room or guide a nurse to activate the operating room. For example, the processing device 210 may control the intelligent robotic nurse 240-6 to automatically activate the operating room equipment at the scheduled time of the operation, and adjust the indoor temperature, the humidity, and the air quality.

[0424] Step 1613, surgery tools are prepared.

[0425] The surgery tools may include surgery instruments and surgery consumables. For example, the surgery instruments may be non-consumable items such as surgery knives, surgery clamps, suture needles of various specifications, and the surgery consumables may be consumable items such as syringes, anesthetics, blood bags, gauze, medications, etc. In some embodiments, the processing device 210 may, based on the surgery plan, control the intelligent robotic nurse to prepare the surgery tools in the operating room before the surgery process. For example, the processing device 210 may, based on the surgery plan, control the intelligent robotic nurse 140-6 to prepare surgery knives, surgery clamps, hemostatic clamps, suture needles, blood bags, etc., and disinfect the surgery instruments. In some embodiments, the processing device 210 may control the intelligent robotic nurse to disinfect an operating table and arrange the operating table (e.g., arrange the positions of various surgery tools on the operating table) .

[0426] Step 1615, the patient is confirmed and / or anesthetized.

[0427] The patient being confirmed refers that confirming the patient's identity. The patient is anesthetized refers that administering an anesthetic to the patient.

[0428] In some embodiments, after the patient enters the operating room, the processing device or the surgery participants may verify the patient's identity and confirm the surgery site and an anesthesia plan. For example, after the anesthesiologist 1513 and the surgery nurse 1515 bring the patient into the operating room, the anesthesiologist 1513 and the surgery nurse 1515 may verify the patient's identity and confirm the surgery site and the anesthesia plan with the patient. As another example, the processing device 210 may present a virtual nurse character through the first terminal device worn by the patient, and use the virtual nurse character  to verify the patient's identity and confirm the surgery site and the anesthesia plan with the patient.

[0429] The anesthesia plan may include an anesthesia type and an anesthesia approach. The anesthesia type may include a local anesthesia or a general anesthesia. The anesthesia approach may include a manual anesthesia (performed manually by an anesthesiologist) and an intelligent anesthesia (performed by an intelligent anesthesia equipment) .

[0430] Step 1620, a surgery process is performed.

[0431] In some embodiments, as shown in FIG. 16, matters (e.g., intraoperative matters) during the surgery process may include a remote collaboration, a tool delivery, an image interaction, an intraoperative planning and navigation, and a real-time alert.

[0432] The remote collaboration refers to a remote participation and / or guidance in the surgery process. For example, the processing device 210 may display the surgery process from the perspective of the local surgery participants (e.g., the primary surgeon 1511) to the remote surgery participants 1531 (e.g., remote medical experts) through the fourth terminal device 1531-2, and send prompt information to the local surgery participants via the second terminal device (e.g., the second XR device 270-2) through the fourth terminal device 1531-2.

[0433] The tool delivery refers to a delivery of surgery tools (e.g., surgery instruments, surgery consumables, etc. ) to a surgery executor (e.g., the primary surgeon 1511) during the surgery process. For example, the processing device 210 may control the intelligent robotic nurse 240-4 to deliver the surgery tools to the primary surgeon 1511. In some embodiments, the processing device 210 may identify instructions for target surgery tools issued by surgery participants (e.g., the local surgery participants 1510) based on first sensed information collected by one or more first sensing devices in the operating room during the surgery. Based on these instructions, the processing device 210 may control the intelligent robotic nurse (e.g., the intelligent robotic nurse 240-4) to deliver the target surgery tools to the surgery participants. For more information, please refer to FIG. 17.

[0434] The image interaction refers to displaying the patient's digital body model (e.g., a three-dimensional anatomical model of the surgery site) , the patient's electronic medical record, a surgery plan for the current surgery, a real-time image of the patient's surgery site, etc., to the surgery participants (e.g., the local surgery participants 1510, the remote surgery participants 1531) and / or patients through interactive devices (e.g., the display screen 1523 in the operating room, the terminal device 1525 worn by the doctor) in the operating room. The real-time image of the patient's surgery site may be obtained in real-time by an image sensor on the terminal devices 1525 worn by the doctor and sent to the processing device 210. The processing device 210 may process the real-time image (such as amplification, noise reduction, calibration, etc. ) and control the interactive devices in the operating room to display the processed real-time image.

[0435] The intraoperative planning and navigation refer to fusing the patient's lesion images (e.g., CT scan images of the lesion) with the patient's digital body model during the surgery process, or overlaying a positioning and tracking of the surgery tools, to guide the surgery participants in the surgery process (e.g., accurately placing the implants (e.g., a cardiac stent) in predetermined positions) .

[0436] The real-time alert may include a behavior alert of the surgery participants, a patient vital sign alert, and an equipment operating status alert.

[0437] The behavior alerts refer to a monitor and an alert of intraoperative operational behaviors of the  surgery participants. In some embodiments, the processing device 210 may learn specific surgery process, monitor operations of the primary surgeon in real-time through a monitoring device during the surgery process, and provide an operational risk alerts in a form of voice broadcasts based on operational data. For example, the processing device 210 may monitor behaviors of local surgery participants 1510 during the surgery process in real-time through the monitoring device 250 (e.g., the image capture device 250-1, the sound capture device 250-2, the behavior tracking device 250-4, etc. ) . When the local surgery participants 1510 exhibit an abnormal behavior (e.g., the surgery nurse 1515 is in the wrong position, the surgery nurse 1515 stays in the same position for too long, etc. ) or operations cause surgery risks (e.g., the primary surgeon 1511's surgery operation may cause heavy bleeding or damage to other organs) , alerts (e.g., voice warning messages) are issued to the surgery participants.

[0438] The patient vital sign alert may be activated when the patient's vital signs (such as electrocardiogram, blood pressure, etc. ) are less than preset values.

[0439] The equipment operation status alert refers to a warning when there is an abnormal operation status of a surgery equipment (e.g., a surgery light, a vital sign monitoring equipment, the intelligent surgery terminal 240-3, the intelligent robotic nurse 240-6, etc. ) . An operation status of the surgery equipment may be reflected based on equipment operation parameters. The equipment operation parameters include an equipment operating power, an equipment operating temperature, etc. When the equipment operation parameters exhibit abnormalities (e.g., the equipment operating temperature exceeding a preset temperature threshold) , the processing device 210 may send the equipment operation status alert (e.g., an equipment failure alert) to the surgery participants 1510.

[0440] As shown in FIG. 16, the process (e.g., post-surgery matters) after the surgery process may include steps 1631, 1633, and 1635.

[0441] Step 1631, the patient is transferred.

[0442] The patient being transferred refers to a process of moving the patient (either awake or unconscious) from the operating room to a rehabilitation area (such as a hospital room or intensive care unit) after the surgery process is completed. In some embodiments, transferring the patient may be performed by a healthcare professional (such as a nurse) . In some embodiments, transferring the patient may be performed by a healthcare professional assisted by an intelligent robotic nurse.

[0443] Step 1633, a room cleanup is operated.

[0444] Operating the room cleanup refers to a process of cleaning or sanitizing surgery equipment and tools of the surgery process. For example, the operating the room cleanup may include sweeping away discarded surgery tools, counting the remaining surgery tools, disinfecting surgery equipment and tools, etc. In some embodiments, the processing device 210 may control an intelligent robotic nurse to perform the operating the room cleanup.

[0445] Step 1635, a surgery report is generated.

[0446] The surgery report may include surgery-related information, patient-related records, participant-related records, etc.

[0447] In some embodiments, the processing device 210 or the surgery execution module 440 may generate a preliminary surgery report based on data (such as first sensed information collected by one or more first sensing devices in the operating room) collected during the surgery process. In some embodiments, the  processing device 210 or the surgery execution module 440 may generate a surgery report based on the preliminary surgery report and feedback information input by the doctor regarding the preliminary surgery report. In some embodiments, the processing device 210 or the surgery execution module 440 may generate a preliminary medical advice report based on data collected during the surgery process. In some embodiments, the processing device 210 or the surgery execution module 440 may generate a medical advice report based on the preliminary medical advice report and feedback information input by the doctor regarding the preliminary medical advice report. For more information, please refer to the description in FIG. 17.

[0448] FIG. 17 is another exemplary schematic diagram illustrating a process of a surgery execution according to some other embodiments of the present disclosure. As shown in FIG. 17, in some embodiments, the process 1700 may include the following steps. In some embodiments, the process 1700 may be executed by the processing device 210 or the surgery execution module 440.

[0449] Step 1710, an intelligent mechanical nurse is controlled to prepare surgery tools in an operation room based on a surgery plan.

[0450] In some embodiments, the processing device 210 may determine types and quantities of required surgery tools based on the surgery plan, and control the intelligent robotic nurse to prepare the surgery tools according to the types and quantities, and place the surgery tools at predetermined positions on the surgery table.

[0451] Step 1721, first sensed information collected by one or more first sensing devices in an operation room is obtained during a surgery process of a patient.

[0452] A first sensing device refer to a sensing device installed in the operating room and / or worn by the surgery participants. For example, the first sensing device may be a sound sensing device (e.g., a microphone on a second XR device) , a gesture recognition device, a motion recognition device, a force sensing device, an image capture device, etc., installed in the operating room or configured on the second terminal device of doctors.

[0453] The first sensed information may include voice data, motion data, and / or image data. For example, the first sensed information may be the voice made by the surgery participants. As another example, the first sensed information may be an image of the surgery site. In some embodiments, the first sensed information includes images of the surgery tools captured by image sensors.

[0454] As shown in FIG. 17, in some embodiments, the processing device 210 may perform an Event of Interest (EOI) detection on the first sensed information (step 1722) . In response to detecting an occurrence of an EOI, one or more predetermined operations corresponding to the EOI are executed (step 1723) .

[0455] Step 1722, an EOI detection on the first sensed information is performed.

[0456] The EOI refers to an event that may occur during the surgery process and affect the surgery process or cause risks to the patient. For example, the EOI may include that the patient is experiencing a risky condition during the surgery process, a surgery participant makes incorrect operations, an insufficient quantity of the surgery tools or consumables, etc.

[0457] In some embodiments, the EOI includes at least one of: an instruction issued by the surgery participants (e.g., the primary surgeon issuing an instruction for patient blood transfusion) , a detected surgery risk (e.g., a sudden cardiac arrest or severe bleeding in the patient) , an abnormal physiological state of the patient (e.g., excessively low blood pressure of the patient) , a count of the surgery tools being less than a  threshold (e.g., a count of scalpels is less than a scalpel quantity threshold) , a surgery completion (i.e., the end of the surgery process) , etc.

[0458] The EOI detection refers to a process of identifying whether an EOI occurs during the surgery process based on the first sensed information. For example, the processing device 210 may perform a speech recognition on the voice information in the first sensed information to determine whether the voice information is an instruction issued by a surgery participant (e.g., an instruction regarding a target surgery tool or consumable issued by a surgery participant) . As another example, the processing device 210 may perform an image recognition on the images of surgery tools in the first sensed information to determine a count of each type of surgery tools and further determine whether the count of any type of surgery tool is less than a threshold.

[0459] The EOI detection may include a speech or gesture detection, an image detection, a physiological sign detection, etc.

[0460] The speech or gesture detection refers to a process of recognizing voice information or gesture information expressed by a surgery participant (e.g., the primary surgeon) to determine whether the voice information or gesture information is an instruction issued by the surgery participant or whether the event corresponding to the voice information or the gesture information is the EOI. For example, if the voice content is "I need a hemostat, " the processing device 210 or the surgery execution agent may recognize the voice information as an instructional voice for a surgery tool (considering that instructions issued by surgery participants are EOIs as mentioned earlier) . Based on this, the processing device 210 or the surgery execution agent may detect the EOI and determine that the EOI is an instruction issued by a surgery participant. As another example, if a doctor makes an "OK" gesture, the processing device 210 or the surgery execution agent may recognize the event corresponding to the gesture information as "the surgery process is completed" (considering that the surgery completion is an EOI as mentioned earlier) . Based on this, the processing device 210 or the surgery execution agent may detect the EOI and determine that the EOI is the completion of the surgery process. For more information about the surgery execution agent, please refer to the subsequent descriptions.

[0461] The image detection refers to a process of performing an image recognition on the images collected by the first sensing devices (e.g., images of the surgery site on the patient, images of surgery tools, etc. ) to determine whether the EOI has occurred. For example, the processing device 210 or the surgery execution agent may perform the image recognition on the images of surgery tools collected by the first sensing devices to determine the count of each type of surgery tool and compare these counts with a respective threshold. In response to determining that the count of at least one type of surgery tool is less than a threshold, the processing device 210 or the surgery execution agent may consider that the EOI is detected and determine that the EOI is the presence of a surgery tool count being less than the threshold. As another example, the processing device 210 or the surgery execution agent may perform the image recognition on the images of the surgery site on the patient collected by the first sensing devices to determine the amount of bleeding at the surgery site. In response to determining that the amount of bleeding exceeds a bleeding threshold, the processing device 210 or the surgery execution agent may consider that the EOI is detected and determine that the EOI is the detection of a surgery risk, specifically, an excessive bleeding of the patient.

[0462] The physiological sign detection refers to a monitoring of the patient's vital signs (e.g., heart rate,  blood pressure, respiratory rate, etc. ) to determine whether an Event of Interest (EOI) during the surgery process has occurred. For example, the processing device 210 or the surgery execution agent may monitor the patient's heart rate in real-time during the surgery process and compare the heart rate with a normal heart rate range. In response to determining that the patient's heart rate is not within the normal range, the processing device 210 or the surgery execution agent may consider that the EOI is detected and determine that the EOI is an abnormal physiological state of the patient, specifically, an abnormal heart rate.

[0463] In some embodiments, the computing device including the processing device 210 is configured with an agent, and process 1700 may be executed by an agent (hereinafter referred to as the surgery execution agent) . For example, the surgery execution agent may perform the EOI detection on the first sensed information.

[0464] The agent is a program that may make decisions or provide services based on environmental information (e.g., the first sensed information) , user input (e.g., the voice information input by a doctor) , or empirical data (e.g., a machine learning model with self-evolving capabilities) . The program (or the agent) may be configured to autonomously collect information and make decisions in real-time on a regular basis, at scheduled times, or when prompted by the user.

[0465] The agent may be equipped with a supporting device to achieve its functions. The supporting device may include a sensor (for collecting information) , an effector (for responding to information collected by sensors) , and an actuator (for outputting information) . For example, taking the surgery execution agent as an example, the surgery execution agent may use a sensor (e.g., a sound sensing device and an image capture device in the first sensing devices) to collect environmental information or user input. The surgery execution agent controls the effector (e.g., a robotic arm) to complete operations corresponding to instructions based on doctors' commands (e.g., delivering the target surgery tool to the doctor based on the doctor's requirement) . The surgery execution agent outputs information e.g., outputting reminder information for erroneous operations to the doctor) through the actuator (e.g., a terminal device, a display screen, etc. ) .

[0466] In some embodiments, the computing device including the surgery execution agent may be integrated into a surgery bed, an intelligent surgery terminal, or an intelligent robotic nurse. That is, the surgery execution agent may be deployed in the surgery bed, the intelligent surgery terminal, or the intelligent robotic nurse to make decisions or provide services during the surgery process.

[0467] In some embodiments, the hospital intelligent agent may be deployed on a central server of a hospital. The hospital intelligent agent refers to an agent configured to make decisions, provide guidance, or offer services for various in-hospital medical activities such as patient consultations, hospitalizations, surgeries (including preoperative preparations, preoperative education, surgery execution, postoperative reviews, surgery simulations) , rehabilitations, physical examinations, etc. For example, the hospital intelligent agent may provide services such as consultation guidance, consultation question answering, generation of consultation reports for patients, and collecting patient feedback and evaluations.

[0468] In some embodiments, the hospital intelligent agent may include multiple sub-agents.

[0469] Based on application scenarios, the multiple sub-agents may include a consultation intelligent agent, a hospitalization intelligent agent, a surgery intelligent agent, a rehabilitation intelligent agent, a physical examination intelligent agent, etc. Each sub-agent is configured to make decisions, provide guidance, or offer services for various in-hospital medical activities such as patient consultations, hospitalizations, surgeries  (including preoperative preparations, preoperative education, surgery execution, postoperative reviews, surgery simulations) , rehabilitations, physical examinations, etc. The surgery intelligent agent may further include a preoperative preparation intelligent agent, a preoperative education intelligent agent, a surgery execution intelligent agent, a postoperative review intelligent agent, and a surgery simulation intelligent agent. For example, as mentioned earlier, the surgery execution intelligent agent may be configured to perform an EOI detection on first sensed information during the surgery process. As another example, the preoperative education intelligent agent may be configured to educate patients before the surgery process. For more information about the preoperative education, please refer to the relevant descriptions in FIGs. 11 to 13.

[0470] The multiple sub-agents may include a nurse intelligent agent, a doctor intelligent agent, etc. The nurse intelligent agent refers to an agent that replaces nurses in completing some tasks (e.g., the preoperative education, the postoperative care, etc. ) . The doctor intelligent agent refers to an agent that replaces doctors in completing some tasks (e.g., the preoperative education, the postoperative care, etc. ) . For example, the doctor intelligent agent may explain the surgery plans and rehabilitation processes to the patient based on the explanatory materials. For more information about the nurse intelligent agent, please refer to FIG. 14 and its related description.

[0471] In some embodiments, the EOI detection is performed based on EOI detection rules learned by the agent from historical records.

[0472] The historical records refer to recorded data of historical surgery processes and collected historical first sensed information during the historical surgery processes. The historical first sensed information may include historical voice data, historical motion data (e.g., cutting motions, pressing motions, injection motions, suturing motions, etc. ) , historical image data, and the corresponding occurrence time points during the historical surgery processes. The historical surgery processes may include doctor operations (e.g., cutting the surgery site, hemostasis at the surgery site, suturing the surgery site, and the time points corresponding to each operation) , surgery risk conditions and occurrence time points, and patient vital sign records at multiple time points (e.g., recorded every 5 seconds) during the surgery process. The doctor operations and surgery risk conditions in historical surgery processes may be manually recorded by surgery participants or automatically recorded after being collected or determined by the processing device 210.

[0473] The EOI detection rules refer to constraints that need to be met when determining the EOIs based on the first sensed information. For example, if the patient's blood loss meets a constraint (e.g., the patient's blood loss is greater than a blood loss threshold) , the processing device 210 or the surgery execution agent may determine that the patient has experienced severe bleeding (severe bleeding being the EOI) . Otherwise, the processing device 210 or the surgery execution agent does not determine that the patient has the severe bleeding (e.g., the processing device 210 or the surgery execution agent does not determine that the EOI is occurred) . As another example, when the patient's blood pressure value meets the constraint (e.g., the patient's blood pressure value is not within the normal blood pressure range and the difference from a boundary value of the normal blood pressure range is greater than a difference threshold) , the processing device 210 or the surgery execution agent may determine that the patient has an abnormal blood pressure (e.g., the abnormal blood pressure is the EOI) . Otherwise, the processing device 210 or the surgery execution agent does not determine that the patient's blood pressure is abnormal (e.g., the processing device 210 or the surgery execution agent does not determine that the EOI is occurred) .

[0474] In some embodiments, the processing device 210 or the surgery execution agent may determine the EOI detection rules based on the historical first sensed information and the historical surgery processes in the historical records. For example, in the historical records, among patients who experienced severe bleeding, a patient with a minimum blood loss had a blood loss of 522ml. Among patients who did not experience severe bleeding, a patient with a maximum blood loss had a blood loss of 354ml. The processing device 210 or the surgery execution agent may designate the blood loss threshold as a value between 354ml and 522ml. For instance, the blood loss threshold is an average of 326ml and 522ml (that is the blood loss threshold is 424ml) . As another example, in the historical records, among patients with excessively high blood pressure, a minimum excess amount above an upper limit of the normal blood pressure range was 7.1mmHg. Among normal patients (patients not recorded as having excessively high blood pressure) , a maximum excess amount above the upper limit of the normal blood pressure range was 2.5mmHg. The processing device 210 or the surgery execution agent may designate the blood pressure difference threshold as a value between 3.5mmHg and 7.1mmHg. For example, the blood pressure difference threshold is an average of 2.5mmHg and 7.1mmHg (e.g., the blood pressure difference threshold is 4.8mmHg) . That is, when the processing device 210 or the surgery execution agent performs the EOI detection subsequently, if the blood pressure value exceeds the upper limit of the normal blood pressure range by more than 4.8mmHg, the processing device 210 or the surgery execution agent may determine that an EOI is detected (e.g., the EOI is an excessive high blood pressure of the patient) .

[0475] In some embodiments, as shown in FIG. 17, the EOI detection may be further based on the patient's data, meaning that the EOI detection rules may be the same or different for different patients.

[0476] Illustratively, if a patient only has a target disease (e.g., a tumor) , then when determining whether the patient has severe bleeding during the surgery process, the judgment is made based on a preset blood loss threshold. If it is known from another patient's data that the patient has other diseases (e.g., anemia) in addition to the target disease (e.g., the tumor) , resulting in a poorer physical condition for the patient, then when determining whether the patient has severe bleeding during the surgery process, the blood loss threshold may be lowered. For example, taking a preset blood loss threshold of 500ml (generally, a patient with a blood loss greater than 500ml may be determined as severe bleeding) , the blood loss threshold for this patient may be lowered to 300ml (that is, this patient is considered to have severe bleeding if the blood loss is greater than 300ml) . As another example, for a patient without hypertension, if his / her blood pressure is higher than the normal range, it may be determined as the EOI. If it is known from the patient's data that the patient has the hypertension, then the patient's blood pressure being higher than the normal range may not be judged as the EOI.

[0477] Step 1723, in response to detecting that the EOI occurs, one or more predetermined operations corresponding to the EOI are performed.

[0478] The predetermined operations refer to preset actions taken in response to the EOIs. For example, if the EOI is severe bleeding in a patient, the predetermined operation may be hemostatic measures (e.g., blood transfusion, suture ligation for hemostasis, etc. ) . As another example, if the EOI is sudden cardiac arrest in a patient, the predetermined operation may be cardiac resuscitation procedures (e.g., administering cardiac stimulant injections to the patient, performing cardiopulmonary resuscitation, etc. ) .

[0479] In some embodiments, the one or more predetermined operations corresponding to the EOI are  determined based on a corresponding relationship between the EOI and the predetermined operations. The predetermined relationship is learned by an agent from the historical records. For example, considering an EOI of severe bleeding in a patient with a learned trigger value of 90%, if this EOI occurs 51 times in historical records and, the doctor administers blood transfusions to the patient 49 times after the occurrence of this EOI, then a correspondence ratio between severe bleeding in the patient and the blood transfusion operation is 49 / 51 = 96.1%> 90%. Thus, the surgery execution agent may establish a corresponding relationship between severe bleeding (also refers to the EOI) and blood transfusion (also refers to the predetermined operation) .

[0480] In some embodiments, as shown in FIG. 17, the one or more predetermined operations corresponding to the EOI are further determined based on the patient data of the patient. For example, if the surgery execution agent learns that there is a corresponding relationship between sudden cardiac arrest (also refers to the EOI) and administering cardiac stimulant injections (also refers to the predefined operation) , but medical examination data in the patient data indicates that the patient has kidney disease (unsuitable for administering cardiac stimulant injections) , then during the surgery process on this patient, there is no corresponding relationship between the sudden cardiac arrest and administering cardiac stimulant injections.

[0481] In some embodiments, executing one or more predetermined operations corresponding to the EOI may include: after detecting the occurrence of an EOI, the processing device 210 or the surgery execution agent sends a reminder message to surgery participants or controls a surgery equipment (e.g., an intelligent robotic nurse) to perform the predetermined operation. For example, if the EOI is that a doctor making an incorrect operation, the processing device 210 or the surgery execution agent sends a voice reminder about the incorrect operation to the doctor through the second terminal device worn by the doctor. As another example, if the EOI is that a doctor issues an instruction related to a target surgery tool, the processing device 210 or the surgery execution agent may control the intelligent robotic nurse to pass the target surgery tool to the doctor.

[0482] In some embodiments, the EOI includes an instruction issued by a surgery participant for a target surgery tool, and the one or more predetermined operations corresponding to the EOI include controlling an intelligent robotic nurse to pass the target surgery tool to the surgery participant.

[0483] The target surgery tool refers to a surgery tool that the surgery participant currently wants to obtain. The instruction regarding the target surgery tool may include a type and / or a specification of the target surgery tool. For example, the instruction regarding the target surgery tool may be "I need a small hemostat. " The approach of recognizing the instruction regarding the target surgery tool may be a speech recognition, a gesture recognition, etc. For example, the surgeon may voice input the instruction "small hemostat" through the worn second terminal device, and the microphone on the second terminal device collects the voice signals and sends the voice signals to the processing device 210 or the surgery execution agent. The processing device 210 or the surgery execution agent may recognize the voice signals through the speech recognition, confirm that the required target surgery tool for the surgeon is a small hemostat, and send a recognition result to the nurse through an interactive device worn by the nurse (e.g., XR glasses) , so that the nurse may deliver the small hemostat to the surgeon. Alternatively, after confirming that the required target surgery tool for the surgeon is a small hemostat, the processing device 210 generates an instruction to deliver the small hemostat to the surgeon and sends the instruction to the intelligent robotic nurse, controlling the intelligent robotic nurse to deliver the small hemostat to the surgeon.

[0484] In some embodiments, the processing device 210 or the surgery execution agent may send the above instruction to the intelligent robotic nurse, and the intelligent robotic nurse may identify the target surgery tool from the surgery table and pass the target surgery tool to the surgery participant (e.g., the surgeon 1511) . For example, based on an image containing surgery tools on the surgery table, the intelligent robotic nurse 240-6 may identify a first position of the target surgery tool on the surgery table. The intelligent robotic nurse 240-6 may identify, based on an image containing the surgeon, a second position where the surgeon is located. The intelligent robotic nurse 240-6 may determine a movement path (including a movement distance, a movement angle, a placement position, etc. ) from the first position to the second position. The intelligent robotic nurse 240-6 may transport the target surgery tool from the first position to the second position to deliver the target surgery tool to the surgeon based on the movement path.

[0485] The image may be obtained through an image capture device in the operating room and / or an image capture device installed on the intelligent robotic nurse.

[0486] In some embodiments, the EOI includes that a count of surgery tools is less than a preset value, and the one or more predetermined operations corresponding to the EOI include controlling the intelligent robotic nurse to replenish the surgery tools.

[0487] In some embodiments, for each type of surgery tool, the processing device 210 or the surgery execution agent may determine whether the count of surgery tools is less than the preset value based on an image of the surgery tools. In this case, the first sensed information includes the image of the surgery tools.

[0488] In some embodiments, the processing device 210 or the surgery execution agent may determine the count of each type of surgery tool through an image recognition algorithm.

[0489] The preset value is a preset quantity of surgery tools. Each type of surgery tool may correspond to the same or different preset values. For example, the preset value for blood bags is 4, and the preset value for syringes is 5.

[0490] In some embodiments, the processing device 210 or the surgery execution agent may predetermine the preset values corresponding to various surgery tools based on the surgery plan. In some embodiments, the processing device 210 or the surgery execution agent may adjust the preset values corresponding to various surgery tools in real-time according to the progress of the surgery process. For example, at the beginning of the surgery process, the preset values may be increased, and as the surgery process is nearing completion, the preset values may be decreased. In some embodiments, the processing device 210 or the surgery execution agent may adjust the preset values corresponding to various surgery tools based on the real-time situation of the surgery. For example, if there is severe bleeding during the surgery process, the preset value for blood bags may be increased.

[0491] The count of surgery tools to be replenished may be a difference between a current count of surgery tools and the preset value, or may be greater than the difference. For example, if the count of surgery scalpels is 3 and the preset value is 5, the processing device 210 or the surgery execution agent may control the intelligent robotic nurse to replenish at least 2 surgery scalpels.

[0492] In some embodiments, the EOI includes detected surgery risks, and one or more predetermined operations corresponding to the EOI include providing reminders about surgery risks. The reminders may be in the form of voice reminders, text reminders, etc.

[0493] For example, taking excessive bleeding of the patient as a surgery risk, when the processing device  210 or the surgery execution agent detects the risk, the processing device 210 or the surgery execution agent may generate a corresponding voice reminder message (e.g., "Attention, the patient is bleeding excessively" ) and send the corresponding voice reminder message to the second terminal device worn by the surgery participant (e.g., the doctor) . The microphone on the second terminal device may broadcast a voice reminder content to the surgery participant. As another example, the surgery risk is low blood pressure of the patient, when the processing device 210 or the surgery execution agent detects the risk, the processing device 210 or the surgery execution agent may generate a corresponding text reminder message (e.g., "Attention, the patient's blood pressure is too low" ) and send the corresponding text reminder to a display screen in the operating room. The text reminder content is displayed in large font and eye-catching colors.

[0494] In some embodiments, the EOI includes the completion of the surgery process, and one or more predetermined operations corresponding to the EOI include generating a surgery report based on the first sensed information.

[0495] In some embodiments, at the end of the surgery process, the surgery participant (e.g., the doctor) may send surgery completion information (e.g., through voice or gestures) . A sensor (e.g., a sound sensor or a gesture sensor) on the second terminal device worn by the surgery participant may collect the information and send the information to the processing device 210 or the surgery execution agent. The processing device 210 or the surgery execution agent may recognize the information to determine that the surgery is complete.

[0496] In some embodiments, as shown in FIG. 17, the processing device 210 or the surgery execution agent may generate a preliminary surgery report based on the first sensed information (step 1730) . The processing device 210 or the surgery execution agent may present the preliminary surgery report to the doctor (step 1740) . The processing device 210 or the surgery execution agent may generate the surgery report based on the preliminary surgery record and feedback information from the doctor about the preliminary surgery report.

[0497] Step 1730, a preliminary surgery record is generated based on the first sensed information.

[0498] In some embodiments, the processing device 210 or the surgery execution agent may generate a preliminary surgery report based on the collected first sensed information. In this case, the first sensed information may include all types of data during the surgery process, such as gesture data, image data, voice data, etc.

[0499] The surgery report refers to the original recorded data of surgery-related information and events occurring during the surgery process. For example, the preliminary surgery report may include surgery-related information, patient-related records, participant-related records, etc.

[0500] The surgery-related information includes a start / end time of the surgery process, a surgery duration, a risk situation that occurred, a type and a count of surgery tools before and after the surgery process (to prevent any surgery tools from being left inside the patient's body) , a type and count of surgery consumables before and after the surgery process, etc. For example, the surgery-related information may be "surgery start time is 14: 00, end time is 17: 12, surgery duration is 3 hours and 12 minutes; the patient experienced excessive bleeding during the surgery; surgery tools before the surgery included 2 scalpels and 2 hemostatic forceps, and after the surgery, the count included 2 scalpels and 2 hemostatic forceps; surgery consumables before the surgery included 2 blood transfusion packs (each containing 400ml) , 1 dose of cardiac stimulant, and 5 packs of hemostatic gauze, and after the surgery, the remaining count was 0 blood transfusion packs (indicating all  were used) , 1 remaining dose of cardiac stimulant (indicating the cardiac stimulant was not used) , and 1 remaining pack of hemostatic gauze. "

[0501] The patient-related records include the patient's anesthesia duration (the duration from the start of anesthesia to awakening) , the patient's vital sign data during the surgery (heart rate, blood pressure, respiratory rate, etc. ) , blood loss, etc. For example, the format of the patient-related records may be a patient-related record form. The patient-related record form documents the patient's anesthesia duration (e.g., 2 hours) , blood loss (e.g., 350ml) , and the patient's heart rate, blood pressure, respiratory rate, etc., at multiple time points (e.g., recorded every 10 seconds during the surgery) during the surgery process.

[0502] The participant-related records include action records, force records, and standing position records of the surgeon, and standing position records and action records of the nursing staff (nurses) . The action records include action types (e.g., cutting, pressing, lifting, etc. ) of each action performed by surgery participants and the corresponding time for each action. The force records include the force magnitude of surgery participants at multiple moments (e.g., recorded every 1 second) during the surgery process. The standing position records include standing positions of surgery participants at multiple moments during the surgery process. The action records may be obtained through a motion recognition device, and the force records may be obtained through a force sensing device.

[0503] In some embodiments, the processing device 210 or the surgery execution agent may use a report generation model (e.g., a preset report template) to generate a preliminary surgery report based on the first sensed information.

[0504] Step 1740, the preliminary surgery record is presented to a doctor.

[0505] In some embodiments, the processing device 210 or the surgery execution agent may present the preliminary surgery report to the doctor (e.g., the surgeon 1511) through the second terminal device (e.g., the second XR device 270-2) .

[0506] Step 1750, the surgery record is generated based on the preliminary surgery record and feedback information (hereinafter referred to as third feedback information) with respect to the preliminary surgery record input by the doctor.

[0507] The third feedback information refers to modifications or confirmations made by the doctor to the preliminary surgery record. The doctor may input the third feedback information in forms such as a text input or a voice input. For example, the third feedback information may be "modify the surgery duration to 4 hours. "

[0508] In some embodiments, the processing device 210 or the surgery execution agent may obtain the third feedback information input by the doctor through a sensing device. The sensing device may include a sound collection device. For example, the doctor may verbally express modifications or confirmations to the preliminary surgery record, and a microphone on the second terminal device may capture the voice signals from the doctor and send the voice signals to the processing device 210 or the surgery execution agent.

[0509] The surgery report refers to a surgery report obtained after updating the preliminary surgery record based on the third feedback information. For example, if the surgery duration in the preliminary surgery report is 4.5 hours and the third feedback information is "modify the surgery duration to 4 hours, " then the surgery duration in the surgery report may be 4 hours.

[0510] In some embodiments, the processing device 210 or the surgery execution agent may also generate a  preliminary medical advice report simultaneously with, before, or after generating the preliminary surgery report. In some embodiments, the processing device 210 or the surgery execution agent may generate a preliminary medical advice report based on the first sensed information (e.g., voice data of the surgeon) .

[0511] The preliminary medical advice report refers to an original postoperative medical advice. The preliminary medical advice report may include a normal range of postoperative vital signs, medication prescriptions, expected complications and corresponding measures, nursing requirements, etc. The normal range of postoperative vital signs, medication prescriptions (including medication types, frequency, and total amount) , and expected complications (e.g., fever, infection, etc. ) may be determined based on the patient data, the surgery report, or the doctor's voice signals.

[0512] In some embodiments, the processing device 210 or the surgery execution agent may present the preliminary medical advice report to the doctor. In some embodiments, the processing device 210 or the surgery execution agent may present the preliminary medical advice report to the doctor (e.g., the surgeon 1511) through the second terminal device (e.g., the second XR device 270-2) .

[0513] In some embodiments, the processing device 210 or the surgery execution agent may obtain feedback information (hereinafter referred to as fourth feedback information) input by the doctor related to the medical advice report through a sensing device (e.g., a microphone on the second terminal device) . The fourth feedback information includes modifications or confirmations (e.g., confirming that the preliminary medical advice report is correct) made by the doctor to the preliminary medical advice report. For example, the fourth feedback information also includes "reduce the medication frequency in the prescription by 1 / 3. "

[0514] In some embodiments, the processing device 210 or the surgery execution agent may simultaneously present the preliminary medical advice report and the preliminary surgery report to the doctor. In this scenario, the processing device 210 or the surgery execution agent may obtain the third feedback information input by the doctor related to the preliminary surgery report and the fourth feedback information related to the preliminary medical advice report.

[0515] In some embodiments, the processing device 210 or the surgery execution agent may generate a medical advice report based on the preliminary medical advice report and the fourth feedback information input by the doctor. The medical advice report refers to the medical advice report obtained after updating the preliminary medical advice report based on the fourth feedback information. For example, if the medication frequency in the preliminary medical advice report is three times a day and the fourth feedback information includes "reduce the medication frequency in the prescription by 1 / 3, " then the medication frequency in the medical advice report may be two times a day.

[0516] FIG. 18 is an exemplary schematic diagram illustrating a process of a surgery review according to some embodiments of the present disclosure. In some embodiments, process 1800 may include the following steps. In some embodiments, process 1800 may be executed by the processing device 210 or the postoperative review module 450. In some embodiments, process 1800 may be executed by a postoperative review agent. For more information about the agent, please refer to FIG. 17 and its related description.

[0517] For the generation of the medical advice report and the surgery report, please refer to the description in FIG. 17, which are not be repeated here. In some embodiments, as shown in steps 1810 to 1830 in FIG. 18, the processing device 210 or the postoperative review module 450 may conduct postoperative care based on the surgery report and the medical advice report. The specifics are as follows:

[0518] Step 1810, postoperative signs of the patient are monitored.

[0519] In some embodiments, the processing device 210 or the postoperative review module 450 may also monitor the patient's postoperative signs through vital sign monitoring equipment (e.g., an ECG monitor, a blood pressure monitor, etc. ) in the hospital room to determine whether the patient's postoperative vital signs are within a normal range, whether there are any abnormalities, or whether the recovery progress is normal. For example, if the patient is supposed to awaken 24 hours after the surgery process but the patient does awaken, it indicates abnormal recovery progress. If the blood pressure is supposed to return to normal one week later but the blood pressure of the patient does not return to normal, it also indicates an abnormal recovery progress.

[0520] Step 1820, the medical advice report is updated.

[0521] In some embodiments, the processing device 210 or the postoperative review module 450 may update the medical advice report based on the patient's postoperative signs. For example, if the patient has high blood pressure after the surgery process, blood pressure medication may be added to the prescription in the medical advice report. As another example, when the processing device 210 determines that the patient has developed complications or is at risk of developing complications based on the patient's postoperative signs, it may add treatments or preventive measures for the complications to the medical advice report.

[0522] In some embodiments, the processing device 210 may update the medical advice report based on doctor's instructions. For example, the processing device 210 may display the patient's real-time vital sign monitoring data on the display terminal of the second terminal device or the doctor's workstation. When the doctor feedbacks that the medical advice report needs to be updated, the medical advice report is updated based on the doctor's feedback instructions.

[0523] In some embodiments, the processing device 210 may send the updated medical advice report to the display device of the nurse's workstation and / or the display device of the doctor's workstation.

[0524] Step 1830, a postoperative care plan is determined.

[0525] In some embodiments, the processing device 210 or the postoperative review module 450 may determine the postoperative care plan based on the updated medical advice report. The postoperative care plan refers to nursing tasks that need to be performed by a nursing staff (e.g., a nurse, a nursing assistant, etc. ) during the patient's postoperative hospital stay. The postoperative care plan may include a basic postoperative care, a postoperative patient education, an abnormal report, etc. The basic postoperative care includes incision management (e.g., changing bandages, etc. ) , diet management, rehabilitation training, etc. The postoperative patient education includes education on postoperative precautions, patient emotion reassurance, etc. The abnormal report includes reporting abnormal patient vital signs, abnormal emotions (e.g., the patient is too irritable or pessimistic) , incision infection, etc.

[0526] In some embodiments, the processing device 210 may control the intelligent surgery equipment (e.g., the intelligent nursing cart 240-4) to provide care to the patient based on the postoperative care plan. For example, the processing device 210 may send the postoperative care plan to the nursing agent corresponding to the intelligent nursing cart 240-4. When the nursing agent needs to treat or care for the patient based on the postoperative care plan, the nursing agent sends a reminder message to the nurse station. In response to determining that the nurse has received the reminder message, the nursing agent controls the intelligent nursing cart 240-4 to guide the nurse to the hospital room to provide care to the patient. The nursing agent refers to an  agent configured for the intelligent nursing cart 240-4. For more information about the agent, please refer to FIG. 17 and its related description.

[0527] In some embodiments, the processing device 210 may send the postoperative care plan to the nurse so that the nurse may provide postoperative care to the patient.

[0528] In some embodiments, the processing device 210 may update the postoperative care plan in real-time based on the patient's condition during the care process.

[0529] In some embodiments, as shown in steps 1813 and 1823 in FIG. 18, the processing device 210 or the postoperative review module 450 may generate a doctor's surgery outcome and an operation record based on the surgery report and the medical advice report, so that the doctor may review the surgery process. The specifics are as follows:

[0530] Step 1813, a surgery outcome and an operation record of the doctor are generated.

[0531] The surgery outcome refers to data reflecting the results of the surgery process. For example, the surgery outcome may be surgery success (the surgery achieved the expected results) or surgery failure (the surgery did not achieve the expected results) . In some embodiments, the surgery outcome also includes summary data of the doctor's surgery results within a predetermined time period (e.g., one month) . For example, the surgery outcome may also include "the doctor participated in a total of 15 surgeries in the last month, of which 14 were successful, with a success rate of 93.3%. "

[0532] The operation record refers to a behavior record of the doctor during the surgery process. The operation record may include action records, force records, standing position records, etc.

[0533] In some embodiments, the processing device 210 may generate the surgery outcome and the operation record based on the surgery report and the medical advice report. In some embodiments, the processing device 210 may generate the surgery outcome and corresponding operation record for successful cases based on the doctor's historical surgery reports and historical medical advice reports, surgery report, and medical advice report. In some embodiments, the processing device 210 may generate the surgery outcome and corresponding operation record for unsuccessful cases based on the doctor's historical surgery reports and historical medical advice reports, the surgery report, and the medical advice report.

[0534] Step 1823, the surgery process is reviewed.

[0535] In some embodiments, the processing device 210 may present the surgeon's surgery achievements and operational records to the surgeon (for example, through the display terminal of the surgeon's workstation or a second terminal device) , thereby allowing the surgeon to review the surgery process. By reviewing the surgery process, the surgery process may assist the surgeon in summarizing and looking forward to surgery work, thereby gaining skill improvement from their own practice.

[0536] In some embodiments, the postoperative review may also include calculating postoperative operational data after multiple surgeries, including verification records (e.g., viewing records of surgery reports) from three parties (e.g., the surgeon, the patient, the patient's family) , a surgery success rate, an average surgery duration, a postoperative medical advice update duration, a surgery room medication consumption and inventory, an average surgery room turnover time (the time required for the surgery room to be ready for the next surgery after the previous surgery is completed) , etc.

[0537] FIG. 19 is another exemplary schematic diagram illustrating a process of a generation of a surgery plan according to some other embodiments of the present disclosure. In some embodiments, process 1900  may include the following steps. In some embodiments, the process 1900 may be executed by the processing device 210 or the surgery planning module 410.

[0538] Step 1910, whether to convene a Multi-Disciplinary Team Meeting is determined based on patient data of the patient.

[0539] In some embodiments, the processing device 210 or the surgery planning module 410 may determine an operation difficulty factor based on the patient data. The processing device 210 or the surgery planning module 410 may determine whether to convene a Multi-Disciplinary Team Meeting based on the operation difficulty factor. For more information about the above embodiments, please refer to FIG. 7 and its related description.

[0540] Step 1920, in response to determining that a Multi-Disciplinary Team Meeting is required, the terminal device of the surgeon corresponding to the patient and the terminal device of the remote expert are controlled to respectively present a virtual meeting space.

[0541] In some embodiments, the processing device 210 or the surgery planning module 410 may determine whether the operation difficulty factor is greater than a difficulty factor threshold to decide whether to convene the Multi-Disciplinary Team Meeting. In response to determining that the operation difficulty factor is greater than the difficulty factor threshold, the processing device 210 or the surgery planning module 410 may determine that the Multi-Disciplinary Team Meeting is required. In response to determining that the operation difficulty factor is not greater than the difficulty factor threshold, the processing device 210 or the surgery planning module 410 may directly generate a surgery plan (e.g., generate a surgery plan according to the process described in step 620) . The difficulty factor threshold may be preset manually or determined automatically by the system.

[0542] In some embodiments, the processing device 210 or the surgery planning module 410 may present a virtual meeting space on the surgeon's second terminal device and the remote expert's fourth terminal device, respectively. For more information about the above embodiments, please refer to FIG. 7 and its related description.

[0543] Step 1930, during the Multi-Disciplinary Team Meeting, sensed information collected by the terminal device of the surgeon and the terminal device of the remote expert is obtained.

[0544] In some embodiments, the processing device 210 or the surgery planning module 410 may obtain the fourth sensed information collected by the second terminal device and the fourth terminal device during the Multi-Disciplinary Team Meeting. For more information about the above embodiments, please refer to FIG. 7 and its related description.

[0545] Step 1940, a surgery plan is generated based on the patient data and the sensed information.

[0546] In some embodiments, the processing device 210 or the surgery planning module 410 may use a plan generation model to process and analyze the patient data and the fourth sensed information to generate the surgery plan. For more information the above embodiments, please refer to FIG. 6 or FIG. 7 and their related descriptions.

[0547] FIG. 20 is an exemplary schematic diagram illustrating a process of a preoperative preparation and a surgery execution according to some other embodiments of the present disclosure. In some embodiments, the process 2000 may include the following steps. In some embodiments, the process 2000 may be executed by the processing device 210 or the surgery planning module 410 or the preoperative preparation module 430 or  the surgery execution module 440.

[0548] Step 2010, a surgery plan for the patient is developed.

[0549] In some embodiments, the processing device 210 or the surgery planning module 410 may determine the operation difficulty factor based on the patient data. The processing device 210 or the surgery planning module 410 may determine whether to convene a Multi-Disciplinary Team Meeting based on the operation difficulty factor. In response to determining that the Multi-Disciplinary Team Meeting is required, the processing device 210 or the surgery planning module 410 may control the second terminal device of the doctor and the fourth terminal device of the remote expert to present a virtual meeting space respectively. The processing device 210 or the surgery planning module 410 may acquire the fourth sensed information collected by the second terminal device and the fourth terminal device during the Multi-Disciplinary Team Meeting. The processing device 210 or the surgery planning module 410 may generate the surgery plan based on the patient data and the fourth sensed information. For more information about the above embodiments, please refer to FIG. 7 and its related description.

[0550] In some embodiments, the processing device 210 or the surgery planning module 410 may generate a preliminary surgery plan based on the patient data. The processing device 210 or the surgery planning module 410 may present the preliminary surgery plan to the doctor. The processing device 210 or the surgery planning module 410 may generate a surgery plan based on the preliminary surgery plan and the second feedback information on the preliminary surgery plan input by the doctor through the second terminal device. For more information about the above embodiments, please refer to FIG. 8 and its related description.

[0551] Step 2020, a preoperative care is provided to the patient based on the surgery plan.

[0552] In some embodiments, the processing device 210 or the preoperative preparation module 430 may determine preoperative care materials for the patient based on the patient data and the surgery plan. The processing device 210 or the preoperative preparation module 430 may provide the preoperative care to the patient based on the preoperative care materials using the patient's first terminal device during the process of transporting the patient to the waiting area. For more information about the above embodiments, please refer to FIG. 14 and its related description.

[0553] Step 2030, based on the surgery plan, an intelligent robotic nurse is controlled to prepare surgery tools in the operating room before the surgery process.

[0554] In some embodiments, the processing device 210 or the preoperative preparation module 430 may determine the types and counts of surgery tools needed based on the surgery plan, and control the intelligent robotic nurse to prepare surgery tools according to the types and the counts, and place the corresponding surgery tools at predetermined positions on the operating table.

[0555] Step 2040, the intelligent robotic nurse is controlled to assist in the surgery based on sensed information collected by one or more sensing devices in the operating room during the surgery process.

[0556] In some embodiments, the processing device 210 or the surgery execution module 440 may control the intelligent robotic nurse to replenish the surgery tools. In some embodiments, the processing device 210 or the surgery execution module 440 may control the intelligent robotic nurse to pass target surgery tools to surgery participants. For more information about the above embodiments, please refer to FIG. 17 and its related description.

[0557] Some embodiments of the present disclosure also provide a system, which includes at least one  storage medium comprising a set of instructions; and one or more processors in communication with the at least one storage medium. When executing the instructions, the one or more processors are configured to perform the processes described above (such as processes 500 to 2000) .

[0558] Some embodiments of the present disclosure also provide a computer-readable storage medium storing computer instructions. When a computer reads the computer instructions from the storage medium, the computer executes the processes described above (such as processes 500 to 2000) .

[0559] The basic concepts have been described above, and it is apparent to those skilled in the art that the foregoing detailed disclosure is intended as an example only and does not constitute a limitation of the present disclosure. While not expressly stated herein, various modifications, improvements, and amendments may be made to the present disclosure by those skilled in the art. Those types of modifications, improvements, and amendments are suggested in the present disclosure, so those types of modifications, improvements, and amendments remain within the spirit and scope of the exemplary embodiments of the present disclosure.

[0560] Also, the present disclosure uses specific words to describe embodiments of the present disclosure such as “an embodiment” , “one embodiment” , and / or “some embodiment” , which means a feature, structure, or characteristic associated with at least one embodiment of the present disclosure. Accordingly, it should be emphasized and noted that “one embodiment” , “an embodiment” or “an alternative embodiment” referred to two or more times in different locations in the present disclosure means a feature, structure, or characteristic related to at least one embodiment of the present disclosure. Therefore, it should be stressed and notes that “one embodiment” or “an alternative embodiment” in different places in the present disclosure do not necessarily refer to the same embodiment. In addition, certain features, structures, or characteristics in one or more embodiments of the present disclosure may be suitably combined.

[0561] In addition, unless expressly stated in the claims, the order of processing elements and sequences, the use of numerical letters, or the use of other names as described herein are not intended to qualify the order of the processes and methods of the present disclosure. While some embodiments of the invention that are currently considered useful are discussed in the foregoing disclosure by way of various examples, it should be appreciated that such details serve only illustrative purposes, and that additional claims are not limited to the disclosed embodiments, rather, the claims are intended to cover all amendments and equivalent combinations that are consistent with the substance and scope of the embodiments of the present disclosure. For example, although the implementation of various components described above may be embodied in a hardware device, it may also be implemented as a software only solution, e.g., an installation on an existing server or mobile device.

[0562] Similarly, it should be noted that in order to simplify the presentation of the disclosure of the present disclosure, and thereby aid in the understanding of one or more embodiments of the invention, the foregoing descriptions of embodiments of the present disclosure sometimes group multiple features together in a single embodiment, accompanying drawings, or a description thereof. However, this method of disclosure does not imply that the objects of the present disclosure require more features than those mentioned in the claims. Rather, claimed subject matter may lie in less than all features of a single foregoing disclosed embodiment.

[0563] Numbers describing the number of components, attributes, and attributes are used in some embodiments, and it should be understood that such numbers used in the description of embodiments are modified in some examples by the modifiers “about” , “approximately” , or “generally” . Unless otherwise  noted, the terms “about” , “approximately” , or “generally” indicates that a ±20%variation in the stated number is allowed. Correspondingly, in some embodiments, the numerical parameters used in the present disclosure and claims are approximations, which can change depending on the desired characteristics of individual embodiments. In some embodiments, the numerical parameters should take into account the specified number of valid digits and employ general place-keeping. While the numerical domains and parameters used to confirm the breadth of their ranges in some embodiments of the present disclosure are approximations, in specific embodiments, such values are set to be as precise as possible within a feasible range.

[0564] For each patent, patent application, patent application disclosure, and other material cited in the present disclosure, such as articles, books, specification sheets, publications, documents, etc., the entire contents of which are hereby incorporated herein by reference. Historical application history documents that are inconsistent with or create a conflict with the contents of the present disclosure are excluded, as well as documents that limit the broadest scope of the claims of the present disclosure (currently or hereafter appended to the present disclosure) . It should be noted that in the event of any inconsistency or conflict between the descriptions, definitions, and / or use of terminology in the materials appended to the present disclosure and those set forth in the present disclosure, the descriptions, definitions and / or use of terminology in the present disclosure prevail.

[0565] Finally, it should be understood that the embodiments described in the present disclosure are used only to illustrate the principles of the embodiments of the present disclosure. Other deformations may also fall within the scope of the present disclosure. As such, alternative configurations of embodiments of the present disclosure may be viewed as consistent with the teachings of the present disclosure as an example, not as a limitation. Correspondingly, the embodiments of the present disclosure are not limited to the embodiments expressly presented and described herein.

Claims

1.A method for surgery planning and executing, implemented on a computing device having at least one processor and at least one storage device, comprising:obtaining first sensed information collected by one or more first sensing devices in an operating room during a surgery of a patient;performing event of interest (EOI) detection on the first sensing data; andin response to detecting that an EOI occurs, performing one or more predetermined operations corresponding to the EOI.2.The method of claim 1, wherein the computing device is configured with an intelligent agent, and the method is performed by the intelligent agent.3.The method of claim 2, wherein the EOI detection is performed based on an EOI detection rule that is learned by the intelligent agent from historical records.4.The system of claim 3, wherein the EOI detection is performed further based on patient data of the patient.5.The method of claim 1, wherein the EOI includes at least one of:that an instruction is issued by a surgery participant;that surgery risks are detected;that the physiological status of the patient is abnormal;that the count of a surgery tool is smaller than a threshold; orthat the surgery is completed.6.The method of claim 2, wherein the one or more predetermined operations corresponding to the EOI are determined based on a corresponding relationship between EOIs and predetermined operations, and the corresponding relationship is learned by the intelligent agent from historical records.7.The method of claim 6, wherein the one or more predetermined operations corresponding to the EOI are determined further based on patient data of the patient.8.The method of claim 1, wherein the EOI includes that an instruction for a target surgery tool is issued by a surgery participant, and the one or more predetermined operations corresponding to the EOI include:causing an intelligent mechanical nurse to pass the target surgery tool to the surgery participant.9.The method of claim 1, wherein the first sensed information includes an image of a surgery tool captured by an image sensor, the EOI includes that a count of the surgery tool is less than a preset value, and the one or more predetermined operations corresponding to the EOI includes:controlling an intelligent mechanical nurse to replenish the surgery tool.10.The method of claim 1, wherein the EOI includes that surgery risks are detected, and the one or more predetermined operations corresponding to the EOI include:providing a notification regarding the surgery risks.11.The method of claim 1, wherein the EOI includes that the surgery is completed, and the one or more predetermined operations corresponding to the EOI include:generating a surgery record based on the first sensed information.12.The method of claim 1, wherein before the surgery is performed, the method further comprises:generating explanatory materials for explaining a surgery plan;simultaneously presenting the explanatory materials to the patient and a doctor via at least one terminal device.13.The method of claim 12, wherein the method further comprises:determining first feedback information with respect to the surgery plan based on second sensed information collected by one or more second sensing devices during an explaining process of the surgery plan; andconfirming or updating the surgery plan for the patient based on the first feedback information.14.The method of claim 12, wherein the explanatory materials are generated based on a digital twin model of a surgery site of the patient.15.The method of claim 13, wherein the explanatory materials include a surgery video presenting a process of a surgery to be performed according to the surgery plan on a surgery site of the patient.16.The method of claim 13, further comprising:predicting, based on patient data of the patient, a rehabilitation process of the patient after the surgery, wherein the explanatory materials include the rehabilitation process of the patient.17.The method of claim 15, further comprising:generating explanatory notes for the surgery plan based on the second sensed information; andgenerating an explanatory video for the surgery plan based on the surgery video and the explanatory notes of the surgery plan.18.The method of claim 12, further comprising:obtaining interaction instructions with respect to the explanatory materials from the at least one terminal device;updating the explanatory materials presented via the at least one terminal device based on the interaction instructions.19.The method of claim 12, wherein the at least one terminal device includes a first terminal device of the patient, a second terminal device of the doctor, and a third terminal device of a family of the patient.20.The method of claim 19, further comprising:obtaining a first confirmation instruction regarding the surgery plan input by the patient via the first terminal device;obtaining a second confirmation instruction regarding the surgery plan input by the family via the third terminal device;in response to the first confirmation instruction and the second confirmation instruction,causing the first terminal device, the second terminal device, and the third terminal device to present an operation consent form, respectively; andobtaining signature information of the operation consent form from the first terminal device, the second terminal device, and the third terminal device, respectively.21.The method of claim 19, wherein the at least one terminal device includes a first extended reality (XR) device worn by the patient and a second XR device worn by the doctor.22.The method of claim 1, wherein before the surgery, the method further comprises:determining a planned route from a current position of the patient to a waiting area of an operating room;controlling an intelligent chair to transport the patient to the waiting area along the planned route; andauthenticating the patient.23.The method of claim 22, further comprising:determining, based on patient data and a surgery plan, preoperative education materials for the patient; andduring the process of transporting the patient to the waiting area, causing a first terminal device of the patient to deliver preoperative care to the patient based on the preoperative education materials.24.The method of claim 22, further comprising:during the process of transporting the patient to the waiting area,obtaining, from one or more fourth sensing devices in a hospital, third sensed information relating to a portion of the planned route from a current position of the intelligent chair to the waiting area;determining, based on the third sensed information, potential risks along the portion of the planned route;updating the portion of the planned route based on the potential risks.25.The method of claim 1, wherein before the surgery, the method further comprises generating a surgery plan by:determining an operation difficulty factor based on patient data of the patient;determining whether a Multi-Disciplinary Team Meeting is needed based on the operation difficulty factor;in response to determining that a Multi-Disciplinary Team Meeting is needed, causing a second terminal device of the doctor and a fourth terminal device of a remote expert to present a virtual meeting space, respectively;obtaining fourth sensed information collected by the second terminal device and the fourth terminal device during the Multi-Disciplinary Team Meeting; andgenerating the surgery plan based on the patient data and the fourth sensed information.26.The method of claim 1, wherein before the surgery, the method further comprises generating a surgery plan by:generating a preliminary surgery plan based on patient data of the patient;presenting the preliminary surgery plan to the doctor; andgenerating the surgery plan based on the preliminary surgery plan and second feedback information regarding the preliminary surgery plan input by the doctor via the second terminal device.27.The method of claim 26, further comprising:generating a risk assessment result of the surgery plan by processing the surgery plan and at least a portion of the patient data using a risk assessment model, the risk assessment model being a trained machine learning model;determining risk prevention measures based on the risk assessment result; andpresenting the risk assessment result and the risk prevention measures of the surgery plan to the doctor.28.The method of claim 1, wherein before the surgery is performed, the method further comprises:generating, based on a surgery plan, a virtual surgery scene for surgery simulation, the virtual surgery scene including a virtual surgery site and one or more virtual surgery devices;causing a second terminal device of the doctor to present the virtual surgery scene to the doctor;obtaining an interaction instruction with respect to the one or more virtual surgery devices input by the doctor via the second terminal device or an interactive device corresponding to the one or more virtual surgery devices;updating the virtual surgery site and the one or more virtual surgery devices in the virtual surgery scene based on the interaction instruction.29.The method of claim 28, wherein the updating the virtual surgery site and the one or more virtual surgery devices in the virtual surgery scene based on the interaction instruction comprises:determining a possible emergency condition to occur in the virtual surgery scene based on the interaction instruction; andupdating the virtual surgery site and the one or more virtual surgery devices in the virtual surgery scene based on the possible emergency condition.30.The method of claim 29, further comprising:obtaining simulation data relating to the virtual surgery site and the one or more virtual surgery devices during the surgery simulation;determining whether the surgery plan needs to be optimized based on the simulation data; andin response to determining that the surgery plan needs to be optimized, updating the surgery plan based on the simulation data.31.The method of claim 1, wherein before the surgery is performed, the method further comprises:causing, based on a surgery plan, an intelligent mechanical nurse to prepare surgery tools in an operation room.32.A method for surgery planning and executing, implemented on a computing device having at least one processor and at least one storage device, comprising:determining whether a Multi-Disciplinary Team Meeting is needed based on patient data of a patient who needs to receive a surgery;in response to determining that a Multi-Disciplinary Team Meeting is needed, causing a terminal device of a doctor corresponding to the patient and a terminal device of a remote expert to present a virtual meeting space, respectively;obtaining sensed information collected by the terminal device of the doctor and the terminal device of the remote expert during the Multi-Disciplinary Team Meeting; andgenerating a surgery plan based on the patient data and the sensed information.33.A method for surgery planning and executing, implemented on a computing device having at least one processor and at least one storage device, comprising:generating a surgery plan for a patient;performing preoperative education on the patient based on the surgery plan;causing, based on the surgery plan, an intelligent mechanical nurse to prepare surgery tools in an operation room before a surgery is performed;causing the intelligent mechanical nurse to assist the surgery based on sensed information collected by one or more sensing devices in the operation room during the surgery.34.The method of claim 33, wherein the generating a surgery plan for a patient includes:generating a preliminary surgery plan based on patient data of the patient;presenting the preliminary surgery plan to the doctor; andgenerating the surgery plan based on the preliminary surgery plan and second feedback information regarding the preliminary surgery plan input by the doctor via the second terminal device.35.The method of claim 33, wherein the generating a surgery plan for a patient includes:determining an operation difficulty factor based on patient data of the patient;determining whether a Multi-Disciplinary Team Meeting is needed based on the operation difficulty factor;in response to determining that a Multi-Disciplinary Team Meeting is needed, causing a second terminal device of the doctor and a fourth terminal device of a remote expert to present a virtual meeting space, respectively;obtaining fourth sensed information collected by the second terminal device and the fourth terminal device during the Multi-Disciplinary Team Meeting; andgenerating the surgery plan based on the patient data and the fourth sensed information.36.The method of claim 33, wherein the performing preoperative education on the patient based on the surgery plan includes:determining, based on patient data and the surgery plan, preoperative education materials for the patient; andduring a process of transporting the patient to a waiting area of an operating room, causing a first terminal device of the patient to deliver preoperative care to the patient based on the preoperative education materials.

Images