Navigation system

Abstract

A navigation system comprising: a camera module arranged to capture an image associated with a detection area and a target object within the detection area thereby establishing a global coordinate system of a detection area; and a localization module arranged to provide localization info associated with the target object within the detection area; wherein the localization of the target object within the global coordinate system is achieved based on the combination of the captured image and the localization info provided by the localization module.

Description

NAVIGATION SYSTEMTECHNICAL FIELD

[0001] The invention relates to a navigation system, in particular but not limited to a surgical navigation system.BACKGROUND

[0002] A surgical navigation system is an advanced technology that integrates computer platforms, medical imaging (CT, MRI) , and real-time positioning to enhance the precision and safety of surgeries. Acting as the “eyes” of surgical robots and assistants to surgeons, these systems provide accurate anatomical guidance, enable detailed preoperative planning, and track surgical instruments in real time, reducing uncertainty, human error, and surgery duration. By offering three-dimensional positioning, they support minimally invasive techniques, lower risks and complications, and improve patient recovery, making them especially vital in complex fields like neurosurgery and orthopedics.

[0003] Originating from the stereotactic frame system developed in the 1940s by Ernst Spiegel and Henry Wycis, surgical navigation has evolved through CT and MRI integration in the 1980s–1990s into today’s sophisticated platforms, which rely on infrared cameras, reflective markers, and navigation software to continuously update instrument and anatomy positions for precise surgical guidance.SUMMARY OF THE INVENTION

[0004] In accordance with a first aspect, there is provided a navigation system comprising:

[0005] -a camera module arranged to capture an image associated with a detection area and a target object within the detection area thereby establishing a global coordinate system of a detection area; and

[0006] -a localization module arranged to provide localization info associated with the target object within the detection area;

[0007] wherein the localization of the target object within the global coordinate system is achieved based on the combination of the captured image and the localization info provided by the localization module.

[0008] In one example the camera module is arranged to extract and analyze features and colors of the target object from the captured image for the localization of the target object.

[0009] In one example the camera module further comprises a location camera module and the position and orientation of the location camera module is adjustable thereby capturing the detection area from a plurality of different directions.

[0010] In one example the localization module further comprises an optical localization module with a 2D graphical representation and the camera module is arranged to capture the 2D graphical representation of the optical localization module.

[0011] In one example the localization module further comprises a magnetic field localization module and a magnetic detector arranged to detect the magnetic information associated with the magnetic field localization module.

[0012] In one example the magnetic field localization module further comprises a magnetic component arranged to generate a magnetic field detectable by the magnetic detector.

[0013] In one example the center of the magnetic field coincides with the center of 2D graphical representation and the direction of the magnetic field is perpendicular to the surface of the 2D graphical representation.

[0014] In one example the camera module further comprises multiple location camera modules each arranged to capture an image associated with a common localization module thereby establishing the global coordinate system.

[0015] In one example the localization module is an optical localization module further comprising a 3D graphical representation with a centre position coinciding with the initial origin point of the global coordinate system and each of the multiple location camera modules is arranged to capture the 3D graphical representation so as to calibrate initial reference point of the global coordinate system.

[0016] In one example the 3D graphical representation comprises a plurality of strips with a predetermined spacing.

[0017] In one example the multiple location camera modules each further comprises a 2D graphical representations and each of the multiple location camera modules is arranged to capture the 2D graphical representation of the rest of the location camera modules so as to establish a relative coordinate system.

[0018] In one example each of the multiple location camera modules further comprises a display arranged to display 2D graphical representation.

[0019] In one example the localization module is an optical localization module further comprising a 2D graphical representation being coplanar to the detection area and with the optical centre being coinciding with the origin of the global coordinate system and each of the multiple location camera modules is arranged to capture the 2D graphical representation so as to calibrate initial reference point of the global coordinate system.

[0020] In one example the camera module further comprises a wearable camera module arranged to capture an image associated with the detection area from the perspective of the wearer different from the location camera module.

[0021] In one example the camera module further comprises a global camera module arranged to capture an image associated with an extended detection area thereby monitoring the access and line-of-motion associated with the detection area.

[0022] In one example the localization module is arranged to provide localization info associated with a target object generated from a 3D model within the detection area.

[0023] In one example the localization module is arranged to detect the presence of a new target object within the detection area and provide localization info associated with the new target object within the detection area.

[0024] In one example the localization module is arranged to estimate the pose of the target object within the detection area.

[0025] In one example the localization module further comprises an object detection module trained by a neural network with captured images of a plurality of training objects.

[0026] In one example the localization module is configured to determine key points from captured images and generate a plurality of belief maps and a plurality of vector fields associated with object in the captured image.

[0027] In one example the position and orientation of the camera module is adjustable thereby capturing the detection area from a plurality of different directions and the position of the target object is determined based on at least one of the images captured by the camera module.

[0028] In one example the system the navigation system further comprises a pluraity of number of camera modules and at least two of the camera modules are arranged to maintain the target object within the corresponding field of view.

[0029] In one example the position of the target object is determined based on feature points and colors of the target object identified from the captured image.

[0030] In one example the camera module further comprises an image sensor and a gimbal structure arranged to accommodate and maintain the center of the image sensor within a fixed position during the adjustment of the camera module.

[0031] In one example the camera module further comprises an image sensor and an adjustment assembly arranged to maintain the center of gravity of the camera module whereby the center of gravity coincides with the center of the image sensor.

[0032] In one example the camera module further comprises an image sensor and a pitch adjustment module arranged to adjust the pitch direction of the image sensor, the pitch adjustment module further comprising:

[0033] -a worm disc arranged to mount the image sensor thereon and generate a pitching motion of the image sensor about a pitching axis;

[0034] -a pitch axis servomotor arranged to apply rotational power to a worm gear and the worm gear is arranged to rotate against and drive the worm disc so as to pitch the image sensor.

[0035] In one example the pitch adjustment module further comprises a gyroscope module mounted on the worm disc for a closed-loop control of pitch.

[0036] In one example the gyroscope module further comprises a gyroscope chip and the gyroscope chip is contained within a fluid having a higher specific heat than the gyroscope chip.

[0037] In one example the camera module further comprises a rotary axis servomotor arranged to control the rotary motion of the camera about a rotating axis.

[0038] In one example the camera module further comprises a height adjustment module arranged to adjust the height of the camera module relative to the target object.

[0039] The term “comprising” (and its grammatical variations) as used herein are used in the inclusive sense of “having” or “including” and not in the sense of “consisting only of” .BRIEF DESCRIPTION OF THE DRAWINGS

[0040] Embodiments of the present invention will now be described, by way of example, with reference to the accompanying drawings in which:

[0041] Figure 1 illustrates a schematic diagram of the multiview, markerless, magnetic location surgical navigation system in accordance with one example embodiment of the present invention.

[0042] Figure 2 illustrates a schematic diagram of the light field technology based multiview location camera module in accordance with one example embodiment of the present invention.

[0043] Figure 3 illustrates a schematic diagram of the light field technology based multiview location camera module in accordance with one example embodiment of the present invention.

[0044] Figure 4 illustrates a schematic diagram of the global camera module in accordance with one example embodiment of the present invention.

[0045] Figure 5 illustrates a schematic diagram of the wearable camera module in accordance with one example embodiment of the present invention.

[0046] Figure 6 illustrates a schematic diagram of the wearable camera module as shown in Figure 5.

[0047] Figure 7 illustrates a schematic diagram of the magnetic detector for magnetic localization in accordance with one example embodiment of the present invention.

[0048] Figure 8 illustrates a schematic diagram of the optical-magnetic composite beacon in accordance with one example embodiment of the present invention.

[0049] Figure 9 illustrates a schematic diagram of the optical-magnetic composite beacon in accordance with one example embodiment of the present invention.

[0050] Figure 10 illustrates an exploded view of the camera module as shown in Figure 1.

[0051] Figure 11 illustrates the six-view and oblique view of the camera module as shown in Figure 10.

[0052] Figure 12 illustrates the six-view and oblique view of the camera module as shown in Figure 11 without device shells.

[0053] Figure 13 illustrates a camera module pitch motion schematic in accordance with one example embodiment of the present invention.

[0054] Figure 14 illustrates embodiment diagram of camera module pitching motion as shown in Figure 13.

[0055] Figure 15 illustrates camera module rotary motion schematic in accordance with one example embodiment of the present invention.

[0056] Figure 16 illustrates an embodiment diagram of camera module rotating motion as shown in Figure 15.

[0057] Figure 17 illustrates sensor height and pointing adjustment schematic in accordance with one example embodiment of the present invention.

[0058] Figure 18 illustrates sensor axial and radial adjustment schematic in accordance with one example embodiment of the present invention.

[0059] Figure 19 illustrates a schematic diagram of sensor axial and radial adjustment as shown in Figure 18.

[0060] Figure 20 illustrates an embodiment diagram of the center point of the sensor's imaging plane with axial, radial, height, and pointing adjustments in accordance with one example embodiment of the present invention.

[0061] Figure 21 illustrates a schematic diagram of gyroscope module as shown in Figure 18.

[0062] Figure 22 illustrates a workflow diagram of the multiview, markerless, magnetic location surgical navigation system in accordance with one example embodiment of the present invention.

[0063] Figure 23 illustrates a schematic diagram of S2-1 camera module mutual shooting as shown in Figure 22.

[0064] Figure 24 illustrates a schematic diagram of S2-2 camera module capturing composite beacons and S2-3 magnetic sensor localizing the composite beacon, and S2-4 establishing the global coordinate system as shown in Figure 22.

[0065] Figure 25 illustrates a schematic diagram of S3 optical location and S4 magnetic location as shown in Figure 22.

[0066] Figure 26 illustrates a schematic diagram of the surgical navigation system in accordance with one example embodiment of the present invention.

[0067] Figure 27 illustrates a computer vision AI training flowchart in accordance with one example embodiment of the present invention.

[0068] Figure 28 illustrates an embodiment diagram of computer vision AI training in accordance with one example embodiment of the present invention.

[0069] Figure 29 illustrates an embodiment diagram of four pictures taken by multiview location camera modules in accordance with one example embodiment of the present invention.

[0070] Figure 30 illustrates the software architecture of the system in accordance with one example embodiment of the present invention.

[0071] Figure 31 illustrates the software architecture of the AI running on the workstation in accordance with one example embodiment of the present invention.

[0072] Figure 32 illustrates the internal architecture of the AI algorithm in accordance with one example embodiment of the present invention.

[0073] Figure 33 illustrates the architecture of the object detection module in accordance with one example embodiment of the present invention.

[0074] Figure 34 illustrates the prediction results from one epoch of training surgical instruments in a simulated operating room environment in accordance with one example embodiment of the present invention.

[0075] Figure 35 illustrates the prediction results after five epochs of training derived from RGB images captured in a simulated operating room environment in accordance with one example embodiment of the present invention.

[0076] Figure 36 illustrates the prediction results after ten epochs of training derived from RGB images captured in a simulated operating room environment in accordance with one example embodiment of the present invention.

[0077] Figure 37 illustrates the prediction results after fifty epochs of training derived from RGB images captured in a simulated operating room environment in accordance with one example embodiment of the present invention.

[0078] Figure 38 illustrates continuous tracking of the operator's hand by AI system in accordance with one example embodiment of the present invention.

[0079] Figure 39 illustrates an embodiment diagram of markerless location by computer vision AI in accordance with one example embodiment of the present invention.

[0080] Figure 40 illustrates an embodiment diagram of markerless location by computer vision AI in accordance with one example embodiment of the present invention.

[0081] Figure 41 illustrates an embodiment diagram of markerless location by computer vision AI in accordance with one example embodiment of the present invention.

[0082] Figure 42 illustrates an embodiment diagram of 3D reconstruction of simulated operating room environment by global camera module in accordance with one example embodiment of the present invention.

[0083] Figure 43 illustrates an embodiment diagram of view taken by an operator carrying the wearable camera module in accordance with one example embodiment of the present invention.

[0084] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS

[0085] Without wishing to be bound by theory, the inventors have discovered that surgical navigation primarily measures the coordinates of a set (usually four) of passive infrared markers on surgical instruments or robotic arms using binocular measurements in the infrared spectrum. These coordinates are then converted into positional information of the surgical instruments. This approach leads to the following issues:

[0086] Obstruction causes locating failure

[0087] The navigation system is prone to failure due to occlusion. During surgical procedures, if any of the infrared markers are blocked by equipment, doctors or nurses in the operating room, the positioning will fail. Thus, any unintentional obstruction of the reflective markers by the surgical team can lead to frequent camera locating failures, disrupting the procedure.

[0088] Limited supporting instruments

[0089] The types of supported surgical instruments are limited. The surgical navigation system can only recognize the positions of the infrared markers. It can distinguish different surgical instruments by the relative position changes of the markers, but the combinations are limited. Some surgical navigation systems use actively emitting markers or visible light markers based on two-dimensional barcodes to partially address this issue. However, the number of objects that can be simultaneously identified remains limited, and the markers can interfere with each other.

[0090] Fixed detectable range

[0091] The detectable area of the surgical navigation is fixed and limited. Typically, the detectable area of binocular navigation equipment is a fan-shaped region. Some surgical navigation systems adopt multi-view solutions to expand the detection range, but this area is fixed and cannot change according to the surgical scenario.

[0092] Large spatial requirements

[0093] Most surgical navigation devices require binocular cameras to be placed around the operating table. The bulky equipment needed for these systems occupies significant space in the operating room, often encroaching on the valuable area around the operating table. Sometimes the surgical navigation device even has to compete with the lead surgeon for a view.

[0094] Poor usability

[0095] Furthermore, poor usability can be a concern, as surgeons must adapt to specialized surgical instruments and undergo extensive training to effectively use the system. The patient's position as well as the initial position of the surgical instruments need to be calibrated before the start of the surgery, an operation known as registration, and each time the surgical instruments are changed and the patient is moved, the surgery needs to be stopped and re-registered.

[0096] High equipment cost

[0097] High-resolution, high-performance infrared sensors are very expensive, and the high cost of hardware makes it difficult to reduce the price of surgical navigation devices.

[0098] Addressing these challenges is essential for the broader implementation and success of this transformative technology in clinical practice.

[0099] The present invention relates to a self-organizing and adaptive camera module e.g., adaptive light field camera module for surgical navigation systems, intended to improve the accuracy and safety of existing surgical navigation systems.

[0100] By providing precise anatomical positioning information to surgical robots and surgeons, this invention assists them in preoperative planning, determining the optimal surgical path and entry points; offers real-time positional information and feedback, helping surgeons monitor the progress of the surgery; and warns of potential risks during surgical operations.

[0101] In one example embodiment, the camera module may be based on light field technology with self-organizing and self-adaptive capabilities. Multiple camera modules installed on the surgical shadowless lamp can work together with the display screen and workstation to form a multi-view positioning system for surgical navigation. This surgical navigation system can track and display the positions of various surgical instruments and implants on the operating table in real-time, providing spatial positioning information of surgical instruments and implants, as well as the patient's anatomical position information to surgical robots and surgeons, thus improving the accuracy and safety of surgical operations. Combined with the preoperative CT or MRI data of the patient, the surgical navigation system of this invention can also assist surgeons in preoperative planning, performing virtual surgeries, and optimizing surgical paths and incisions.

[0102] To address the issue of occlusion in the surgical navigation system, this invention uses the self-organization of the camera modules. Multiple camera modules (usually four) are installed on the shadowless lamp to obtain the best view of the surgical area. Additional cameras can be mounted on brackets around the operating table to provide supplementary views. The number and installation positions of the camera modules can be adjusted according to the actual conditions in the operating room to observe the surgical incision from different angles.

[0103] To support a greater variety and number of surgical instruments, this invention uses visible light field technology to identify and locate objects based on their feature points and colors. Unlike existing infrared binocular and infrared light field technologies, the positioning of this invention does not rely on passive positioning marker balls / two-dimensional barcodes or actively emitting markers, thus the types and number of identifiable instruments are not limited by markers. Additionally, the technology of this invention can also be applied to the management of instruments and consumables in the operating room.

[0104] Regarding the detection range, this invention solves this through the self-adaptation of the camera modules. Unlike the fan-shaped detectable area of existing surgical navigation technologies, the detectable area of this invention is formed by the combination of multiple camera modules, making it dynamic, larger, and adaptable to the scene.

[0105] The inventors also believe that most of the challenges faced by current surgical navigation system technologies are related to their working principle. Surgical navigation systems rely on an infrared binocular camera to capture reflective marker spheres and measure their position through the principle of triangulation, which in turn enables the localization of surgical instruments in three-dimensional space.

[0106] To solve these problems, the inventors abandon the use of infrared reflective marker balls for localization and instead use computer vision AI techniques to localize surgical instruments using their features and colors. The surgical navigation system of this invention also relies on a magnetic field for localization along with markerless optical localization via multiview.

[0107] The present invention also relates to an AI-assistant surgical navigation system which primarily aims to resolve surgical navigation positioning failures caused by occlusion. This is addressed through the two following approaches: First, an AI is trained to analyze RGB images, extracting feature points based on instrument characteristics and textures to achieve markerless positioning. Second, a specialized gimbal is designed which allows the camera to change its viewing direction without requiring recalibration or re-registration.

[0108] In particular, the present invention provides an overall system which adopts a specific RGB camera design with the centre as references point. The camera module also uses a cylindrical handle with a barcode as initial reference points for calibration and a magnetic beacon for co-operating with the camera system for location of patient.

[0109] The inventors have also discovered that traditional magnetic navigation systems operate independently, using magnetic fields to locate surgical instruments or implants within the human body.

[0110] Advantageously, the system employs a multimodal optical and magnetic hybrid positioning approach to further enhance robustness and ensure reliable operation even in fully occluded environments. A magnetic field beacon is designed as the medium for optical and magnetic data registration. This ensures the entire system functions reliably under both visible and minimally invasive conditions. The optical center and magnetic center of the magnetic field beacon are perfectly aligned. The camera and magnetic field detector only need to simultaneously detect the same beacon to unify the positioning results within a single global coordinate system.

[0111] Referring to Figure 1, there is shown a schematic diagram of a multiview, markerless, magnetic location surgical navigation system 100 which illustrates all components of the entire system.

[0112] The surgical navigation system 100 may comprise a global camera module 101, a shadowless lamp 102, a location camera module 103, an operator 104, a wearable camera module 105, an operating table 106, a workstation 107, a monitor 108, a magnetic detector 109 and an optical-magnetic composite beacon 110.

[0113] The surgical navigation system 100 relies on the features and colors of objects to achieve markerless positioning of surgical instruments using a multiview light field system composed of multiple camera modules 103.

[0114] In one example embodiment, the location camera module 103 may comprise multiple color camera modules, each of which can adaptively change its field of view on demand by means of a head structure. The self-organization between camera modules 103 is built as a multiview visible light field, which synchronously transmits captured images to the graphics workstation.

[0115] The light field technology based multiview location camera module 103 is provided for markerless localization by computer vision AI. The AI on the graphics workstation realizes the recognition and markerless localization of objects in the field of view. The cameras 103 in the light field technology multiview rely on other unobstructed cameras 103 in the network for localization when they are obscured. This technology also ensures that the camera 103 relies on other cameras 103 at other angles for localization even when it receives interference from reflections of objects.

[0116] The camera module 103 automatically adjusts the field of view through built-in algorithms, ensuring that the navigation system 100 can assign cameras 103 to recognize new objects as they are added and subsequently add them to the localization. When a new surgical tool is added, a camera 103 is assigned for identification and registration, followed by automatic joining positioning. The registration process is insensible to the surgeon 104 and does not require a change in surgical practice to be assisted by the surgical navigation system 100.

[0117] The location surgical navigation system 100 is defined by a global coordinate system.

[0118] Importantly, the surgical navigation system 100 may further comprise a visual reference point where location camera module 103 may calibrate the relative position of the components with respect to the global coordinate system. The visual reference point may coincide with the origin of the global coordinate system and be in the form of a cylindrical component 120 provided with a QR code 122.

[0119] Referring to Figures 2 to 3, there is shown the light field technology based multiview location camera module 103 in further details. For simplicity, the global camera module 101 in Figure 1 is omitted so as to illustrate the core optical-magnetic composite positioning function with surgical navigation capability.

[0120] Preferably, this invention does not redesign the operating room's shadowless light 102, but rather installs the camera 103 as an add-on to the operating room's existing shadowless light 102. This maximizes the cost savings for the user. When in use, if the surgeon 104 needs to adjust the shadowless light 102, this invention will not be adjusted together.

[0121] The multiple location camera modules 103 fixed to the shadowless lamp 102 form a light field that establishes a global coordinate system by means of the optical-magnetic composite beacon 110, and subsequently localizes objects located on the operating table 106 (e.g., surgical instruments and orthopedic implants) . The computer vision AI runs on the workstation 107 and the operator 104 interacts with the system 100 via the monitor 108.

[0122] Referring to Figure 4, there is shown the global camera module 101 in further details. The global camera module 101 is provided for monitoring, recording and 3D modeling of the operating room environment. The global camera 101 monitors personnel access and line-of-motion in the operating room, as well as consumable use and storage, and records the results for perioperative management. 3D modelling results are used for AR / VR surgical teaching and demonstrations. Statistics are displayed on the monitor 108.

[0123] Referring to Figures 5 to 6, there is shown the wearable camera module 105 in further details. The wearable camera module 105 is provided for human-computer interaction, online consultation, teaching and presentation. The operator 104 records the surgical operation through the wearable camera 105, controls the surgical navigation system with the help of voice, and communicates with experts and students online through the monitor 108. The wearable camera module 105 comprises a HD camera 501, a microphone and loudspeaker 502, and status indicators 503.

[0124] Magnetic field positioning technology is already highly reliable, widely adopted in the medical field, and capable of achieving sub-millimeter level positioning accuracy.

[0125] Importantly, the magnetic location surgical navigation system 100 comprises a magnetic field positioning module for determining the position of various components through magnetic field.

[0126] Referring to Figure 7, there is shown the magnetic detector 109 and the magnetic localization through the magnetic detector 109 in further details. The magnetic detector 109 detects the optical-magnetic composite beacon 110 on the operating table 106 and aligns the results of the magnetic field localization with the global coordinate system. Objects within the detection area (e.g., surgical instruments, orthopedic implants) can be localized by electromagnetic markers or permanent magnetic markers, suitable for optical positioning failures or minimally invasive surgical scenarios.

[0127] The measurements from magnetic detectors 109 are considered as the true physical coordinates of magnetic surgical instruments. The results of magnetic field positioning may also serve as the “ground truth” essential for training surgical navigation AI.

[0128] Alternatively, the true physical coordinates of medical devices embedded with permanent magnets at known positions can be obtained via magnetic detectors 109. These true physical coordinates, combined with RGB images captured from various angles, serve as the AI's “standard answers” during training.

[0129] Referring to Figure 8, there is shown the optical-magnetic composite beacon 110 in further details. A 2D barcode 112 is printed on the surface of the optical-magnetic composite beacon 110, and the location camera module 103 can initialize its own spatial coordinates and angles by taking pictures of the 2D barcode112 in order to establish a global coordinate system.

[0130] The system 100 may also have a magnetic locating module to localize instruments for minimally invasive surgery with magnetic beacons. The invention also features a magnetic field sensor array that locates permanent magnetic beacons or electromagnetic beacons in surgical instruments and implants and shares the same global 3D coordinates as the camera module 103.

[0131] When minimally invasive surgery is practiced, localization of instruments can also be achieved by magnetic fields alone. When optical localization fails, the magnetic field alone can also be used to achieve normal localization. When the operating table 106 environment changes, e.g., when the patient is displaced. Cameras 103 in the optical field at various angles allow rapid 3D reconstruction of objects in the field of view, in conjunction with preoperative CT or MRI data, and the rapid reconstruction of the coordinate system in conjunction with magnetic fiducials in the patient's body or epidermis.

[0132] Referring to Figure 9, there is shown the optical-magnetic composite beacon 110 in further details. The optical-magnetic composite beacon 110 has an internal coil 114 that generates a magnetic field when energized. The center of this magnetic field coincides with the 2D barcode and the direction is perpendicular to the surface of the 2D barcode 112. By measuring the magnetic field of the optical-magnetic composite beacon 110, the magnetic detector 109 can align the results with the global coordinate system.

[0133] Due to limitations imposed by rule-based principles, traditional surgical navigation systems require static positioning and are virtually non-rotatable during operation. Changes in viewing angle cause loss of their own coordinate reference and changes in the orientation and position of the binocular camera will alter their localization results. Once lost, surgeons must halt the procedure to recalibrate and re-register the equipment and instruments, wasting significant time.

[0134] To address this issue, the present invention provides a gimbal system which primarily involves mechanical structures and control methods.

[0135] The mechanical structure of this invention provides a specialized gimbal assembly and fine-tuning mechanism to ensure the physical center of the sensors aligns with both the gimbal's rotational axis and pitch axis. Angular information is collected by the sensor and output after coordinate transformation. This ensures that regardless of the sensor's orientation, its physical center remains stationary.

[0136] Referring to Figures 10 to 12, there is a shown the location camera module 103 in further details. The camera module 103 comprises a rotary axis servomotor set screw 401, a base 402, a rotary axis servomotor 403, a radial adjusting nut 404, a worm bearing 405, a worm set screw 406, a worm 407, a pitch axis servomotor 408, a shell A 409, an axial adjusting nut 410, a trunnion A 411, a sensor back plate A 412, a sensor backplate B ; 413, a sensor backplate screw 414, a height adjustment screw 415, a height adjustment spring 416, an image sensor 417, a height adjustment nut 418, a lens 419, a controller 420, a controller set screw 421, a main body 422, a shell B 423, a shell screw 424, a trunnion B 425, a pitch axis servomotor set screw 426, a worm disc 427, a sensor frame A 428, a sensor frame screw 429, a sensor frame B 430 and a display 431.

[0137] This invention is based on visible light field technology, but each camera module 103 operates independently, is self-organized, self-adaptive, and can point in the desired direction. Therefore, the inventors have completely redesigned the mechanical gimbal structure of the camera module 103 and added an adjusting mechanism to ensure that the center coordinates of the sensors 417 always remain the same when the camera 103 is pitched and rotated. The inventors have designed a low-temperature-drift gyroscope 1007 to introduce a closed-loop control of pitch and designed a simple rotary axis structure to ensure fast pointing.

[0138] Referring to Figures 13 to 14, there is shown the pitch motion of the location camera module 103 in further details. The location camera module 103 comprises a worm bearing 405, a worm set screw 406, a worm 407, a pitch axis servomotor 408, an image sensor 417, a trunnion B 425, a worm disc 427, a sensor imaging plane 501, a sensor imaging plane center axis (maximum elevation angle) 502 and a sensor imaging plane center axis (maximum pitch angle) 503.

[0139] Referring to Figures 15 to 16, there is shown the rotary motion of the location camera module 103 in further details. The camera module 103 comprises a base 402, a main body 422 and a main body rotating axis 701.

[0140] In one example embodiment, the present invention has an adjustment mechanism for the pitch and rotation axes and height, which ensures that the center of the sensor 417 always passes through the pitch and rotation axes. This design is to make the camera module 103 in the pitch and rotation axis no matter how to change the pointing, the sensor center will always remain unchanged so that the camera module 103 can be positioned without calibration. This ensure that the camera module 103 remains stationary during rotating and pitching motions.

[0141] In particular, this invention uses a mechanical structure comprising rails, screws, and hand-tightened nuts 404, 410, 418 to adjust the position of the sensor 417 's center point to coincide with the camera's axis of rotation during device assembly. Thereafter, the adjustment mechanism will no longer be involved in camera module 103 work, such as anti-shake functions, and the purely mechanical structure helps to avoid the introduction of further errors and gaps.

[0142] In addition, the adjustment mechanism of this invention has a height adjustment function that ensures that the center of the sensor 417 passes through the pitch axis.

[0143] Referring to Figure 17, there is shown the sensor height and pointing adjustment of the location camera module 103 in further details. The camera module 103 comprises a sensor backplate B 413, a height adjustment screw 415, a height adjustment spring 416, an image sensor 417, a height adjustment nut 418, a lens 419, a sensor imaging plane 501 and a main body rotating axis 701.

[0144] Referring to Figures 18 to 19, there is shown the sensor axial and radial adjustment of the location camera module 103 in further details. The camera module 103 comprises a radial adjusting nut 404, an axial adjusting nut 410, a sensor backplate B 413, a sensor backplate screw 414, a controller set screw 421, a worm disc 427, a sensor frame A 428, a sensor frame screw 429, a sensor frame B 430, a worm disc mid-plane 1001, a radial adjusting screw 1002, a radial adjusting spring 1003, a worm disc axis 1004, an axial adjusting spring 1005, an axial adjusting screw 1006 and a gyroscope module 1007 mounted on the worm disc 427.

[0145] Referring to Figure 20, there is shown the center point of the sensor's imaging plane 501 with axial, radial, height, and pointing adjustments in further details. The gimbal structure of the camera module 103 ensures that the center point coordinates of the sensor 417 are always immobile during pitch and rotation movements.

[0146] The present invention uses a servo motor 403, 408 to control camera pointing, a pair of worm gears to control pitch, and a fixed side tilt axis. This is because in surgical navigation scenarios, there is no need to adjust the lateral tilt axis, and adding redundant rotating subs would reduce motion control accuracy. The servo motor 403 of the rotary axis is directly connected to the main body 422 and the base 402, which allows the camera 103 to point to the target quickly even when it moves at a large angle.

[0147] The present invention also uses the worm gear drive to drive the camera pitch, rather than a servo motor directly driving the pitch axis. This allows the self-locking feature of the worm gear to be utilized so that the camera 103 remains locked after the pitching motion is completed. The self-locking characteristic of the worm-disc-worm gearing can keep the camera module 103 stable in the pitch axis and improve the motion control precision.

[0148] At the same time, since the controller 420 and the lens 419 are placed on both sides of the tilt axis, the center of gravity of the movable part roughly coincides with the tilt axis, so as to reduce the moment generated by the weight imbalance and make it easier to maintain the stability of the camera 103.

[0149] In addition, the rotation axis of this invention is closed-loop controlled using an absolute encoder of the servomotor. Also, the pitch axis uses a gyroscope module 1007 for closed-loop control instead of an absolute encoder to avoid the transmission gap of the worm disc and worm gear from affecting the measurement results. The camera coordinate data in conjunction with the angle data given by the data from the absolute encoder and gyroscope 1007 can be solved for the coordinates of the target that the camera module 103 is gazing at. The camera module 103 allows the object to be positioned to always remain within the field of view of the module 103 and also ensures that some of the camera modules 103 can be positioned properly when they are interfered with by obstructions and reflections, as long as there are no less than two camera modules 103 available.

[0150] The inventors have also discovered that the temperature drift of the gyroscope significantly impacts measurement accuracy, especially when the sensor is housed inside the positioning camera. The heat generated by the camera 103 's operation affects the stability of the gyroscope's readings.

[0151] The present invention also provides a low-temperature-drift gyroscope to provide precise angular and positional changes for closed-loop control and compensation calculations. These developments are specifically tailored to the application scenario of AI-assisted surgical navigation systems and represent technical advantages that cannot be simply achieved by transferring other technologies.

[0152] Referring to Figure 21, there is shown the gyroscope module 1007 in further details. For instance, the gyroscope module 1007 may comprise a metal case with heat sink 1301, a high-specific-heat silicone oil interior such as mineral oil 1302, a gyroscope chip 1303, a heating resistor 1304 and a substrate 1305. Combined with its heat dissipation structure and heating resistors 1304, it ensures stable sensor temperatures during operation. This is crucial for enhancing the measurement accuracy of positioning cameras 103.

[0153] Referring to Figure 22, there is shown the workflow diagram 2200 of the multiview, markerless, magnetic location surgical navigation system 100 which illustrates the entire system workflow from the operator's perspective.

[0154] S1 represents the standard preoperative preparation process, where positioning the shadowless lamp 102 is required before any surgery begins. When using this system 100, additional steps involve positioning the monitor 108, magnetic field sensor 109, and optical-magnetic composite beacon 110. Once S2 commences, all components except the monitor 108 must remain stationary; otherwise, the global coordinate system will be lost.

[0155] Referring to Figure 23, there is shown the coordinate calibration of multiple camera modules 103 and the step S2-1 camera module 103 mutual shooting in further details.

[0156] The coordinate calibration involves a shadowless lamp 102 and a display 130. During system initialization, the camera modules 103 take pictures of two-dimensional barcodes on the display screen 130 to recognize each other, self-organize into a network, and establish a relative coordinate system. Accordingly, the location camera modules 103 determine the positional relationship and angle between each other by shooting the 2D barcodes on the display with each other.

[0157] At the start of Step S2-1, the cameras 103 capture images of each other while simultaneously capturing the cylindrical handle 120 with a barcode 122 located at the center of the shadowless lamp 102. This handle 120 is a standard component of the shadowless lamp 102, allowing the operator to manually adjust its direction by gripping it.

[0158] In this system, a barcode 122 of known width has been added to this handle 120. After capturing this barcode 122, the camera 103 can calculate the distance between itself and the cylindrical handle 120 by counting the number of pixels in the barcode 122. The center of the handle 120 is then established as the initial origin point of the global coordinate system. Simultaneously, cameras 103 capture known-width 2D bar code 130 displayed on each other's bodies. By calculating the number of pixels in these 2D bar code 122, the system determines the distance and coordinates between cameras 103. This enables the calculation of each camera 103 's position and orientation within the global coordinate system.

[0159] Referring to Figure 24, there is shown the coordinates calibration of the camera module 103 and the operating table 106 and the steps S2-2 camera module 103 capturing composite beacons 110, S2-3 magnetic sensor 109 localizing the composite beacon 110, and S2-4 establishing the global coordinate system in further details.

[0160] The coordinates calibration involves an operating table upper plane 1501 and a 2D barcode 1502 on the upper plane 1501. Subsequently, the camera modules 103 capture a two-dimensional barcode 1502 on the operating table 106 to establish a world coordinate system. Location camera modules 103 establish the global coordinate system by shooting the same optical-magnetic composite beacon 110 on the operating table 106.

[0161] Subsequently, in S2-2, all cameras 103 capture the same optical-magnetic composite beacon 110. This beacon 110 has a 2D barcode 1502 of known dimensions, allowing each camera 103 to calculate the distance and coordinates between itself and the beacon 110. Since the camera 103 coordinates were established in S2-1, the beacon 110 's coordinates and orientation are unified into a global coordinate system centered at the cylinder handle 120 's origin.

[0162] The optical center and magnetic center of this beacon 110 coincide. Therefore, by activating the magnetic field of the positioning beacon 110 for the magnetic field sensor 109, the sensor 109 's coordinates can also be obtained. Consequently, the coordinates and orientation of all cameras 103, the magnetic field sensor 109, and the composite beacon 110 can be computed, thereby establishing the global coordinate system.

[0163] The patient's 3D model can then be imported into S2-5. The patient's 3D model is acquired by attaching several permanent magnets to the patient's skin, followed by a bedside CT scan performed while the patient is on the operating table 106. The resulting CT images contain the coordinates of the permanent magnets, which can be located using magnetic field sensors 109. Consequently, the 3D model generated from the patient's CT results can be registered in the global coordinate system within S2-6.

[0164] Referring to Figure 25, there is shown the surgical navigation system for locating surgical instruments 1308 and tools 1304 and the steps S3 optical location and S4 magnetic location in further details.

[0165] The surgical navigation system comprises an operating table upper plane 1501, a surgical instrument 1308 with highly reflective surfaces and a surgical tool 1304 with complex shapes. For example, multiple camera modules 103 can be deployed to observe the surgical incision area from different angles to achieve higher positioning accuracy; if a large detection range is required, each camera 103 can point in different directions. While maintaining normal positioning, one camera 103 can scan the entire surgical area to identify and count surgical instruments and consumables. After initialization, if one camera 103 is occluded or disturbed by reflections during operation, the remaining networked cameras 103 can still complete the positioning.

[0166] In S3-1, when a new object enters the detection view, S3-2 a camera 103 is assigned to capture the newly added object. S3-3 This object is then identified and its position established. S3-4 Subsequently, this object is added to the positioning system. Since this system uses AI to locate objects based on shape and color, only one camera 103 is required to complete step S3. Additional cameras 103 can maintain surveillance of the surgical area from different angles to enhance positioning accuracy and mitigate occlusion, or be assigned to track additional objects.

[0167] The addition of new objects in S4 requires detection by magnetic sensors 109 and localization by a camera 103, followed by establishing the object's position within the global coordinate system. It is important to note that once this position is established, the camera 103 no longer needs to track the object. As long as the object remains within the detection range of the magnetic sensors 109, its position can be maintained solely through magnetic field tracking.

[0168] Preferably, the present invention usually comprises 4 self-organizing and adaptive camera modules 103, but the number and position of the camera modules 103 can be changed arbitrarily according to the demand. The system will detect the number of linked camera modules 103 when it starts running, and automatically complete the determination of the positional relationship and absolute coordinates between each module 103.

[0169] It is recommended to have at least 3 camera modules connected to the system, in case a camera 103 is blocked and less than 2 cameras 103 are available to locate it properly.

[0170] The angle of the camera 103 of this invention is changeable in real-time as needed. This makes the effective detection area of this invention much larger than the fan-shaped detectable area of conventional binocular surgical navigation systems. The effective detection area of the invention is dynamic and can be adjusted as required. For example: One camera 103 can be turned to a specific area when the type of surgical instrument needs to be recognized. When there is a need to further improve the positioning accuracy, multiple cameras 103 can be focused to point to the same area. When there is a need to exaggerate the detection range, all cameras 103 can be dispersed to point to different regions.

[0171] Referring to Figure 26, there is shown the surgical navigation system 2600 in further details. The surgical navigation system 2600 is provided for identifying and localizing surgical instruments 1308 and tools 1304.

[0172] The surgical navigation system 2600 comprises a surgical instrument 1308 with highly reflective surfaces, an operator 104, and a magnetic detector 109. The surgical navigation system 2600 further comprises location camera module 1301 obscured by the surgeon or operator 104, a patient 1302 undergoing surgery with a hand 1303 obscuring the instrument 1308, a surgical tool 1304 e.g., drill with complex shapes, a location camera module 1305 identifying the surgical tool 1304 and then participating in the location, location camera module 1306 for locating surgical instruments 1308, surgical area 1307 and location camera module 1309 affected by reflections.

[0173] This diagram provides a further explanation of S3 and S4 from a top-down perspective. Cameras 1301, 1306, 1305, and 1309 simultaneously participate in locating a handheld surgical knife 1308 operated by the surgeon within surgical area 1307. Another operator 104 obstructs camera 1301, but this does not affect the knife 1308 's localization since cameras 1306 and 1309 capture partial views of the knife 1308 from different angles. At this point, an electric drill 1304 enters the detection area. Camera 1305 is assigned to the new object, subsequently turning to face and focus on the drill 1304 for identification and positioning, after which the drill 1305 is incorporated into the positioning system. Even if all cameras 1301, 1306, 1305, and 1309 are obstructed by the surgeon 104, the magnetic field detector 109 can still determine the drill 1304 's position through magnetic signatures on the surgical instrument 1304.

[0174] The control method of this invention also employs AI-based pose estimation instead of trigonometric algorithms, allowing cameras to freely change orientation and adjust the number of cameras involved in localization. This approach enhances the system's degrees of freedom and robustness.

[0175] In one example embodiment, the AI system may include trained AI using the RGB images obtained from the camera to recognize 1) the surgical device (e.g., screwdriver, etc) with RGB labels and 2) the distance between surgical device and camera.

[0176] In particular, the AI system operates based on the principle of “pose estimation, ” fundamentally differing from traditional surgical navigation systems relying on dual infrared cameras. Dual infrared cameras can only identify the positions of a set (typically four) spherical markers through monochrome imaging, subsequently calculating the coordinates of surgical instruments relative to the cameras using trigonometry. Both cameras must simultaneously view the same set of markers without any obstruction.

[0177] This AI-powered pose estimation relies on the instruments'features and textures to extract characteristic points, enabling markerless positioning of surgical instruments. Thus, this invention exhibits exceptional occlusion resistance, requiring only a single RGB camera image for surgical instrument localization. Additional cameras not only enhance precision by capturing the surgical field from multiple angles but also enable supplementary functionalities, and thus regarded as "multiview" .

[0178] Referring to Figure 27, there is shown the computer vision AI training flowchart 2700.

[0179] The AI training process 2700 from P1 to P3 follows the same workflow as S1-1, S1-3 and S1-4 of surgical navigation in the workflow diagram 2200 in Figure 22, but requires placing a turntable within the camera's detection area during step P4.

[0180] In P5, cameras 103 capture each other to determine their relative positions and establish an initial global coordinate system. In P6, cameras 103 capture the composite beacon 110, integrating its position into the global coordinate system. In P7, the magnetic detector 109 locates the composite beacon 110, adding the detector 109 's position to the global coordinate system. Thus, the global coordinate system is fully established by step P8.

[0181] Advantageously, magnetic positioning is a reliable method capable of achieving sub-millimeter accuracy. In Step P9, an object with magnetic properties or embedded permanent magnets at known positions is placed on the turntable and rotated. This object is simultaneously captured by all cameras 103 from multiple angles, while its true physical coordinates are measured by the magnetic detector 109.

[0182] In Step P10, the images captured by the cameras 103 of this object are processed. Simultaneously, the object's actual physical coordinates are marked. In Step P11, these data points are input into the AI to complete training. In Step P12, the object is repositioned within the detection area. The positioning results generated by the trained AI based on camera data are compared with the magnetic positioning results to validate the effectiveness of the training.

[0183] Referring to Figure 28, there is shown an embodiment diagram 2800 of computer vision AI training in further details. This diagram 2800 illustrates the AI training process: an object is placed on a turntable 2810, with multiple cameras 103 capturing images of it under varying lighting conditions from different angles. Its actual physical coordinates are measured by a magnetic detector 109. This data is cleaned and labelled before being utilized for AI training.

[0184] Referring to Figure 29, there is shown an embodiment diagram 2900 of four pictures taken by multiview location camera modules 103. This diagram illustrates images captured from four positioning cameras 103 at different angles, depicting a screwdriver, a magnetic detector 109, and a composite beacon 110. At this stage, the AI training for the screwdriver has been completed. It is positioned within the detectable zone, with its coordinates calculated by the AI. Simultaneously, its physical coordinates are measured by the magnetic detector 109. These two positioning results are compared; if the error falls within an acceptable range, the AI training is deemed complete.

[0185] Referring to Figure 30, there is shown the software architecture 3000 of the system 100 in further details. The entire software system is implemented through the Robot Operating System (ROS) architecture 3000. The hardware of the surgical navigation system 100 runs one or more ROS nodes. These ROS nodes are software-level programs responsible for processing tasks within the surgical navigation system 100. Hardware components are connected via cables, enabling ROS nodes to interact with hardware through message passing. This ultimately translates software logic into control of the surgical navigation system 100. This architecture 3000 ensures the entire surgical navigation system 100 is self-assembling and self-integrating. The loss of any node does not cause system failure; the system recovers upon reconnection, demonstrating exceptional robustness.

[0186] In ROS, Topics, Services, and Actions are the three primary methods for communication between nodes. Topics employ a publish / subscribe pattern for continuous data transmission (including distributing data from magnetic sensors and IMUs, performing calibration, and performing object tracking) . Services utilize a synchronous request / response pattern, suitable for one-off tasks (i.e., controlling servo motor operation and single-instance object tracking) . Action is a higher-level communication mechanism for tasks requiring long-running operations with feedback and cancellation capabilities (e.g., controlling servo motor operation and continuous object tracking) .

[0187] Within the surgical navigation system 100, the camera node 3010, servo motor node 3020, calibration node 3030, IMU node 3040, and tracking node 3050 operate on the positioning camera 103's own CPU. The magnetic node 3060 runs within the magnetic detector 109, while the browser node operates 3070 on the workstation 107. The camera node 3010 generates a large data stream, which is imported into the browser node 3070 via a dedicated video stream. The AI algorithms 3080 implementing surgical navigation run on the workstation 107, receiving the video stream transmitted from the browser node 3070 for subsequent computation.

[0188] Referring to Figure 31, there is shown the software architecture 3100 of the AI running on the workstation 107. The AI 3080 first pulls the video stream via OpenCV (step 3110) and temporarily stores it in the Frame Buffer (step 3120) . It then retrieves the latest frame image (step 3130) and feeds it into the AI algorithm 3080 to perform object localization (step 3140) . This localization is achieved through “pose estimation. "The results communicate with other components of the surgical navigation system via Qt's signal-slot mechanism (step 3150) . The GUI running on the browser node 3070 updates the latest frame (step 3160) , providing the user with real-time positional information of the current object.

[0189] Referring to Figure 32, there is shown the internal architecture 3200 of the AI algorithm 3080. It comprises four steps: initialization (step 3210) , input handling (step 3220) , detection (step 3230) , and output (step 3240) . Each frame of data sequentially passes through these four steps 3210 to 3240, resulting in the output of the position and orientation (6DOF) of specific objects within the current frame. The most critical step in this AI algorithm is the object detection module and will be further described.

[0190] Referring to Figure 33, there is shown the architecture 3300 of the object detection module. This object detection employs a multi-stage architecture to detect key points through a single fully convolutional deep neural network. The feedforward network takes RGB images of size w×h×3 as input and branches to produce two distinct outputs: belief maps 3310 and vector fields 3320.

[0191] In this example embodiment, nine belief maps 3310 are generated, corresponding to the eight projection vertices and the centroid of the 3D bounding box. Similarly, eight vector fields 3320 indicate the directions from the eight vertices to their respective centroids, enabling multi-instance detection of objects of the same type. The number of key points, including but not limited to nine, can be automatically selected by the algorithm based on the shape and color characteristics of different surgical instruments.

[0192] Image features are computed from the first ten layers of the VGG-19 model within the Encoder 3330. Subsequently, two 3×3 convolution layers (CONV) reduce the feature dimension from 512 to 256, then from 256 to 128. These 128-dimensional features are fed into the first stage, which comprises three 3×3 convolutional layers, one 1×1 convolutional layer, and another 1×1 convolutional layer, followed by a 1×1 convolutional layer.

[0193] This stage outputs 512-dimensional features, which are reduced from 512 to 256 via three 3×3 convolutional layers, then further reduced to 128-dimensional input (128+16+9=153) through three additional 3×3 convolutional layers. This includes five 7×7×128 layers and one 1×128 layer, followed by either a 1×9 (confidence map) or 1×16 (vector field) layer. The remaining five layers mirror the initial structure but receive a 153-dimensional input (128+16+9=153) , comprising five 7×7×128 layers and one 1×128 layer, culminating in a 1×9 or 1×16 layer. All layers maintain dimensions w=8×h=8 and employ the ReLU activation function.

[0194] After the network processes the image, independent objects must be extracted from the confidence map. Unlike other methods requiring complex architectures or workflows to achieve object segmentation, this approach relies solely on a simple post-processing step: searching the confidence map for local peaks exceeding a threshold, followed by a greedy assignment algorithm that associates projection vertices with detected centroids.

[0195] For each vertex, the algorithm performs the following operations: it compares the vector field 3320 evaluated at the vertex with the direction from that vertex to each detected centroid, ultimately assigning the vertex to the nearest centroid. The algorithm associates projected vertices with detected centroids. For each vertex, it compares the vector field 3320 evaluated at the vertex with the direction from that vertex to each detected centroid, assigning the vertex to the nearest centroid within the vector angle threshold.

[0196] Once the vertices of each object instance have been determined, a PnP algorithm is used to retrieve the pose of the object. This step uses the detected projected vertices of the bounding box, the camera intrinsics, and the object dimensions to recover the final translation and rotation of the object with respect to the camera. All detected projected vertices are used, as long as at least the minimum number (four) is detected.

[0197] Referring to Figure 34, there is shown the prediction results from one epoch of training surgical instruments in a simulated operating room environment. In AI training, an epoch refers to the process where a model completes a full pass through the entire training dataset and updates its parameters once during this process. In other words, one epoch means the model has learned all the training data once. The white mist 3410 in the image represents the overlay of key point prediction results. When the mist 3410 becomes sharply defined and bright, it indicates that the key point predictions have achieved focus, signifying that the AI training is complete.

[0198] Referring to Figure 35, there is shown the prediction results after five epochs of training, derived from RGB images captured in a simulated operating room environment where an operator 3510 holds a screwdriver 3520. Noticeable white fog permeates the entire image, indicating that the AI currently cannot accurately locate the screwdriver 3520.

[0199] Referring to Figure 36, there is shown the prediction results after ten epochs of training, derived from RGB images captured in a simulated operating room environment where an operator 3610 holds a screwdriver 3620. White mist 3630 can be seen gradually gathering near the surgical instruments 3620, but due to obstruction from the operator 3610 's hand, the AI still struggles to accurately locate the screwdriver 3620. Further training is required.

[0200] Referring to Figure 37, there is shown the prediction results after fifty epochs of training, derived from RGB images captured in a simulated operating room environment where an operator 3710 holds a screwdriver 3720. The white mist 3730 forms distinct, bright points that perfectly align with the critical points of the surgical instruments 3720, demonstrating that the AI can accurately locate the screwdriver 3720 even when obstructed by the operator 3710 's hand. The current AI training is complete.

[0201] For different objects to be identified, such as additional surgical instruments, more AI models can be trained using the same method. These models can then be loaded onto the workstation 107 simultaneously to enable the recognition and localization of multiple surgical instruments.

[0202] Referring to Figure 38, there is shown multiple images which demonstrate this AI system's continuous tracking of the operator's hand 3810. Upon detecting the operator's hand 3810 exiting the detection zone, the AI 3080 can trigger the browser node 3070 to call the tracking node 3050 and servo motor node 3020. Through closed-loop control, it adjusts the positioning camera 103 's orientation to ensure the operator's hand 3810 remains centered within the field of view at all times.

[0203] Referring to Figure 39, there is shown an embodiment diagram of markerless location by computer vision AI. This image demonstrates the positioning results of four AI-powered cameras 103 for the same screwdriver 3910. The screwdriver 3910's coordinates and orientation within the global coordinate system are displayed on the GUI. This graphical user interface encompasses all functionalities utilized by the surgical navigation system and employed for AI training.

[0204] Referring to Figure 40, there is shown an embodiment diagram of markerless location by computer vision AI. This image demonstrates the positioning results from four AI-powered cameras 103 tracking the same handheld screwdriver 4010. The operator's hand 4020 partially obscures the screwdriver 4010, preventing the cameras 103 from capturing its entirety. Nevertheless, this does not impede the surgical navigation system's ability to locate the tool 4010. This positioning capability operates without markers, relying solely on the screwdriver 4010 's inherent color and shape.

[0205] Referring to Figure 41, there is shown an embodiment diagram of markerless location by computer vision AI. This image demonstrates the positioning results of a magnetic detector 109 for a handheld screwdriver 4110. Even when some or all of the positioning cameras 103 are obstructed, the screwdriver 4110 can still be located solely by the magnetic detector 109. The switching of positioning results occurs in the background, requiring no intervention from the operator.

[0206] Referring to Figure 42, there is shown an embodiment diagram of 3D reconstruction of simulated operating room environment by global camera module 101. Data from the all-area camera module can be utilised for rapid 3D reconstruction of the operating theatre environment, practitioners, and patients, employing Gaussian Splatting techniques. This reconstructed output may be employed for AR / VR display, primarily for surgical observation and training purposes.

[0207] Referring finally to Figure 43, there is shown an embodiment diagram of view taken by an operator carrying the wearable camera module 105. This diagram illustrates the field of view of the wearable camera module 105. This reconstructed result can be utilised for AR / VR displays, primarily for surgical observation and training purposes.

[0208] Advantageously, this invention is essentially a means of measuring a surgical instrument. The displacement measurement needs to be millimeters accurate, and the angle measurement needs to be no more than 1 degree accurate.

[0209] Advantageously, in addition to aligning the real-time data measured by binocular localization (as a depth sensor) with the 3D reconstruction data of the patient, this invention also allows the use of real-time measurement of magnetic field localization data in the alignment. For minimally invasive surgical scenarios, magnetic field localization data can still be used to achieve surgical navigation when binocular positioning data is completely unavailable or when the patient's body is displaced.

[0210] Advantageously, this invention adjusts the field of view through the camera module's head structure rather than through a robotic arm. This helps to save space and also reduces costs. Each of the cameras works independently, pointing adaptively in different directions depending on the task. This invention can be localized without the aid of markers. This invention has also integrated a magnetic field localization module, which allows positioning without optical localization, making it better suited for minimally invasive surgical scenarios.

[0211] Compared to other surgical navigation systems, this invention has the following advantages:

[0212] Highly compatible modules with existing equipment

[0213] The camera of this invention is modular and is designed to be mounted on the existing shadowless lamps in the operating room for a better view without interfering with the surgeon's operations. This invention also contains global camera modules that are mounted in the corners of the operating room for patrolling the perimeter. It allows management of surgical instruments and consumables, infection management and automatic recording of surgical procedures. This invention also contains wearable camera modules for remote consultation, teaching and AR / VR interaction. All modules are compatible with existing facilities in the operating room and can be retrofitted directly to any existing equipment.

[0214] Multimodal surgical navigation combining optical location and magnetic location

[0215] This invention relies on computer vision AI for optical localization that does not rely on reflective marker balls. Reliable optical localization is still possible for situations such as accidental occlusion and high reflectivity. This invention also relies on magnetic field localization to address reliable optical-independent localization in situations such as minimally invasive surgery, complete occlusion, and patient movement.

[0216] Low hardware costs

[0217] This invention relies on low-cost color HD video sensors instead of expensive infrared sensors, bringing down the hardware cost significantly. At the same time, any existing surgical instruments can be recognized and localized after AI learning, and users do not need to purchase special surgical instruments and identification markers. The hardware cost for use and maintenance is greatly reduced.

[0218] Fast learning easy to use

[0219] This invention achieves localization by computer vision AI learning the features and colors of surgical instruments. Any surgical instrument can be recognized and localized simply by taking a picture of the navigation system and training the AI. Surgeons do not need to change their surgical operating habits or learn to use specially designed surgical instruments to use this invention. The threshold of learning is greatly reduced.

[0220] Supporting any surgical instrument

[0221] This invention provides modes and methods of use on how to collect surgical instrument features and information for AI training. Any commercially available surgical instrument can be recognized and localized by the AI, compatible with this invention.

[0222] Adaptive detection range

[0223] The detection range of this invention is a light field comprising multiple camera modules. And this light field is changeable with the structure of the camera head. When a new object is added, a single camera can be adaptively assigned for recognition and added for localization. When the surgical area changes, the detection range of all cameras can also change. When a camera receives occlusion or interference, the view can be moved away and optical localization can be accomplished by other cameras.

[0224] Compared to binocular surgical navigation techniques, such as conventional surgical navigation system, the camera module of this invention is suspended above the operating table for a better field of view. The self-organizing camera network of this invention works even when a few cameras are blocked. This invention has a larger effective detectable range and can adaptively assign different tasks to each camera to ensure localization while recognizing instruments and consumables. This invention does not take up valuable space around the operating table for camera placement, has a lower hardware cost, and does not require specialized surgical instruments for the external reflective sphere. This invention can work solely on magnetic field positioning and is more adaptable to minimally invasive surgical scenarios.

[0225] Compared with infrared light-based navigation technology, such as conventional light-based Navigation System, this invention identifies and locates objects by their features and colors, and the number and types of objects that can be identified are not limited by the location markers. There is no need to add positioning markers to existing surgical instruments or to change the surgeon's surgical procedure and usage habits. This invention mounts on the shadowless lamp, not replacing it. When the detection range needs to be adjusted, this invention can do it adaptively rather than manually with the shadowless lamp. This invention can be better compatible with the existing equipment in the operating room. While fast registration is a technology that other systems may pride itself on, they claim to be able to complete registration in less than 35 seconds. However, this invention is more efficient as the registration is done without the operator's knowledge through the use of a light field in conjunction with magnetic field positioning technology.

[0226] Multiview cameras based on light field technology

[0227] Compared with light field-based navigation technology, such as other conventional light field navigation systems, each camera of this invention can operate independently and adaptively assign different tasks to ensure the localization function while taking into account the identification of instruments and consumables. Also, the detection range is not fan-shaped, but the number of cameras can be assigned according to the needs and scenes in order to realize wide-area surveillance and small-area high-precision gazing. The other systems apply a robotic arm for the automatic adjustment of the detection range, which is extremely expensive and takes up valuable space around the operating table. Also, as a light-field based surgical navigation, the other systems still require triangulation through reflective markers and is still susceptible to occlusion.

[0228] The present invention includes the following novel and inventive elements:

[0229] ·Modular, the camera is placed around the shadowless lamp or operating table to get a better view without interfering with the surgical operation.

[0230] ·Self-organizing, a few cameras can still be positioned normally even if they are blocked or interfered by reflections.

[0231] ·Adaptive, deploying the number of cameras and pointing them in different directions as needed.

[0232] ·Visible light field technology, according to the color and features of the object to achieve positioning, the type and number of objects that can be positioned is not limited by the positioning marker.

[0233] ·A special gimbal structure ensures that the center of the sensor is fixed when rotating and tilting, which eliminates the need for frequent calibration after initialization.

[0234] ·Pitch, rotation, and height adjustment mechanism, assembly adjustment to ensure that the center of the gravity coincides with the sensor center coordinates can be guaranteed to be constant.

[0235] ·The pitch axis adopts a servo motor with worm gear, self-locking to realize mechanical stability.

[0236] ·Anti-temperature drift design of the gyroscope, high precision, the pitch control is not affected by the meshing gap.

[0237] ·The main body and the base are directly connected through the rotary axis servo motor, quickly pointing to the desired direction.

[0238] Advantageously, this invention can be used not only for surgical navigation but can be applied in other fields. For example, this technology can be used as a handheld or stationary 3D scanner for 3D scanning of the human body and surrounding scenes. This technology can also be used to monitor and track objects in the surrounding environment. Applications for this technology include but are not limited to, surgical navigation, autonomous driving, robotic vision, flight vision, etc.

[0239] It will be appreciated by persons skilled in the art that numerous variations and / or modifications may be made to the invention as shown in the specific embodiments without departing from the spirit or scope of the invention as broadly described. The present embodiments are, therefore, to be considered in all respects as illustrative and not restrictive.

[0240] Any reference to prior art contained herein is not to be taken as an admission that the information is common general knowledge, unless otherwise indicated.

Claims

1.A navigation system comprising:-a camera module arranged to capture an image associated with a detection area and a target object within the detection area thereby establishing a global coordinate system of a detection area; and-a localization module arranged to provide localization info associated with the target object within the detection area;wherein the localization of the target object within the global coordinate system is achieved based on the combination of the captured image and the localization info provided by the localization module.2.A navigation system in accordance with claim 1, wherein the camera module is arranged to extract and analyze features and colors of the target object from the captured image for the localization of the target object.3.A navigation system in accordance with claim 1, wherein the camera module further comprises a location camera module and the position and orientation of the location camera module is adjustable thereby capturing the detection area from a plurality of different directions.4.A navigation system in accordance with claim 1, wherein the localization module further comprises an optical localization module with a 2D graphical representation and the camera module is arranged to capture the 2D graphical representation of the optical localization module.5.A navigation system in accordance with claim 4, wherein the localization module further comprises a magnetic field localization module and a magnetic detector arranged to detect magnetic information associated with the magnetic field localization module.6.A navigation system in accordance with claim 5, wherein the magnetic field localization module further comprises a magnetic component arranged to generate a magnetic field detectable by the magnetic detector.7.A navigation system in accordance with claim 6, wherein the center of the magnetic field coincides with the center of 2D graphical representation and the direction of the magnetic field is perpendicular to the surface of the 2D graphical representation.8.A navigation system in accordance with claim 1, wherein the camera module further comprises multiple location camera modules each arranged to capture an image associated with a common localization module thereby establishing the global coordinate system.9.A navigation system in accordance with claim 8, wherein the localization module is an optical localization module further comprising a 3D graphical representation with a centre position coinciding with the initial origin point of the global coordinate system and each of the multiple location camera modules is arranged to capture the 3D graphical representation so as to calibrate an initial reference point of the global coordinate system.10.A navigation system in accordance with claim 9, wherein the 3D graphical representation comprises a plurality of strips with a predetermined spacing.11.A navigation system in accordance with claim 8, wherein the multiple location camera modules each further comprises a 2D graphical representations and each of the multiple location camera modules is arranged to capture the 2D graphical representation of the rest of the location camera modules so as to establish a relative coordinate system.12.A navigation system in accordance with claim 11, wherein each of the multiple location camera modules further comprises a display arranged to display 2D graphical representation.13.A navigation system in accordance with claim 8, wherein the localization module is an optical localization module further comprising a 2D graphical representation being coplanar to the detection area and with the optical centre being coinciding with the origin of the global coordinate system and each of the multiple location camera modules is arranged to capture the 2D graphical representation so as to calibrate initial reference point of the global coordinate system.14.A navigation system in accordance with claim 8, wherein the camera module further comprises a wearable camera module arranged to capture an image associated with the detection area from the perspective of the wearer different from the location camera module.15.A navigation system in accordance with claim 8, wherein the camera module further comprises a global camera module arranged to capture an image associated with an extended detection area thereby monitoring the access and line-of-motion associated with the detection area.16.A navigation system in accordance with claim 1, wherein the localization module is arranged to provide localization info associated with a target object generated from a 3D model within the detection area.17.A navigation system in accordance with claim 1, wherein the localization module is arranged to detect the presence of a new target object within the detection area and provide localization info associated with the new target object within the detection area.18.A navigation system in accordance with claim 1, wherein the localization module is arranged to estimate the pose of the target object within the detection area.19.A navigation system in accordance with claim 18, wherein the localization module further comprises an object detection module trained by a neural network with captured images of a plurality of training objects.20.A navigation system in accordance with claim 19, wherein the localization module is configured to determine key points from captured images and generate a plurality of belief maps and a plurality of vector fields associated with object in the captured image.21.A navigation system in accordance with claim 1, wherein the position and orientation of the camera module is adjustable thereby capturing the detection area from a plurality of different directions and the position of the target object is determined based on at least one of the images captured by the camera module.22.A navigation system in accordance with claim 21, further comprising a plurality of camera modules and at least two of the camera modules are arranged to maintain the target object within the corresponding field of view.23.A navigation system in accordance with claim 21, wherein the position of the target object is determined based on feature points and colors of the target object identified from the captured image.24.A navigation system in accordance with claim 21, wherein the camera module further comprises an image sensor and a gimbal structure arranged to accommodate and maintain the center of the image sensor within a fixed position during the adjustment of the camera module.25.A navigation system in accordance with claim 21, wherein the camera module further comprises an image sensor and an adjustment assembly arranged to maintain the center of gravity of the camera module whereby the center of gravity coincides with the center of the image sensor.26.A navigation system in accordance with claim 21, wherein the camera module further comprises an image sensor and a pitch adjustment module arranged to adjust the pitch direction of the image sensor, the pitch adjustment module further comprising:-a worm disc arranged to mount the image sensor thereon and generate a pitching motion of the image sensor about a pitching axis;-a pitch axis servomotor arranged to apply rotational power to a worm gear and the worm gear is arranged to rotate against and drive the worm disc so as to pitch the image sensor.27.A navigation system in accordance with claim 26, wherein the pitch adjustment module further comprises a gyroscope module mounted on the worm disc for a closed-loop control of pitch.28.A navigation system in accordance with claim 27, wherein the gyroscope module further comprises a gyroscope chip and the gyroscope chip is contained within a fluid having a higher specific heat than the gyroscope chip.29.A navigation system in accordance with claim 21, wherein the camera module further comprises a rotary axis servomotor arranged to control the rotary motion of the camera about a rotating axis.30.A navigation system in accordance with claim 21, wherein the camera module further comprises a height adjustment module arranged to adjust the height of the camera module relative to the target object.

Images