Cystoscopy system and cystoscopy device

Abstract

A cystoscopy device comprising: a multi lumen shaft terminating at a tip; a first camera integrated into a distal region of the shaft, wherein the camera is positioned adjacent the tip or at the tip; a distal orifice formed within the distal region of the shaft, wherein the distal orifice is in fluid communication with one or more lumens defined within the shaft; an inflatable and deflatable balloon located adjacent the distal region, and the balloon arranged in fluid communication with one lumen of the shaft; and, wherein the camera is configured to capture one or more static images or a video stream of a lower urinary tract of a patient during a cystoscopy procedure.

Description

CYSTOSCOPY SYSTEM AND CYSTOSCOPY DEVICETECHNICAL FIELD

[0001] The present invention relates to a cystoscopy system and a cystoscopy device. In particular, the present invention relates to a cystoscopy system for inspecting a patient’s lower urinary tract and a cystoscopy device that is used as part of the cystoscopy system.BACKGROUND

[0002] Cystoscopy is the current gold standard for working up haematuria and diagnosing bladder cancer. The global cystoscope market size is estimated to be USD 1.1 billion in 2023 and is expected reach 1.8 billion by 2030. In current practice a cystoscopy device (i.e., a cystoscope) is used in a cystoscopy procedure. During this procedure, a thin, tube-like instrument called a cystoscope, equipped with a camera and light, is inserted into the urethra to visualize the urinary tract. Cystoscopy is considered a minimally invasive procedure, and modern cystoscopy have improved significantly in terms of patient comfort and procedural efficiency. Cystoscopy could be divided into two categories: (1) flexible cystoscopy: using a flexible catheter that causes less discomfort and can be performed in an outpatient setting; and (2) rigid cystoscopy: adopting a more rigid catheter and is often employed in therapeutic procedures, typically performed under general or local anaesthesia.

[0003] However, there are several limitations with the conventional cystoscopy procedure. First, it requires a designated location with cystoscopy and sterilisation equipment, and this is only available in a formal endoscopy centre or hospital setting. Second, specialised nurses are required for sterilisation of the equipment and to assist the urologists during the procedure. Third, urologist’s expertise is required for interpreting the cystoscopy images, rendering it difficult to perform in the primary care or nurse clinic settings.SUMMARY OF THE INVENTION

[0004] The present invention provides a cystoscopy system and a cystoscopy device that is part of the cystoscopy system. The cystoscopy system and cystoscopy device are used in inspecting a patient’s lower urinary tract to detect or identify abnormal pathologies.

[0005] According to a first aspect, there is provided a cystoscopy device comprising:

[0006] a multi lumen shaft terminating at a tip

[0007] a first camera integrated into a distal region of the shaft, wherein the camera is positioned adjacent the tip or at the tip,

[0008] a distal orifice formed within the distal region of the shaft, wherein the distal orifice is in fluid communication with one or more lumens defined within the shaft,

[0009] an inflatable and deflatable balloon located adjacent the distal region, and the balloon arranged in fluid communication with one lumen of the shaft, and;

[0010] wherein the camera is configured to capture one or more static images or a video stream of a lower urinary tract of a patient during a cystoscopy procedure.

[0011] The cystoscopy device functions as a cystoscopy device i.e., a cystoscope to capture images of the lower urinary tract of a patient.

[0012] The cystoscopy device is advantageous because it has a simple design that means the device can be easily inserted into a patient’s lower urinary tract without the need for the specialist urologist skillset. The described cystoscopy device also requires minimal setup which makes it easy to adopt in a clinical setting.

[0013] In one example the distal region is curved, and the camera is positioned on an outer surface of the curve. The distal region is curved relative to a longitudinal axis of the multi lumen shaft.

[0014] In one example the camera is positioned on a dorsal side of distal region.

[0015] In one example the camera is positioned at a ventral side of the distal region.

[0016] In an alternative form the first camera may be positioned on or at the tip of the multi lumen shaft.

[0017] In one example, the cystoscopy device comprises a light e.g. a LED disposed adjacent the camera. The light is adapted to be activated by a clinician using the cystoscopy device. The light is adapted to illuminate the bladder to allow the camera to capture clear images or clear video.

[0018] In one example the camera is a wide-angle camera. In one example the camera may be a CMOS camera.

[0019] In one example, the cystoscopy device comprising:

[0020] an air inflation connector,

[0021] a drainage connector,

[0022] an electronic connector,

[0023] wherein the air inflation connector, the drainage connector and the electronic connector are located at a proximal end of the shaft,

[0024] wherein the multi lumen shaft comprises at least an air inflation lumen, a drainage lumen, and an electronics lumen,

[0025] wherein the air inflation connector is fluidly coupled to the air inflation lumen,

[0026] wherein the drainage connector is fluidly coupled to the drainage lumen, and;

[0027] wherein the electronic connector is in communication with the electronics lumen.

[0028] In one example the camera is positioned downstream of the balloon i.e., the camera is positioned after the balloon closer to the distal region and closer to the tip.

[0029] In one example the distal orifice and the tip are located downstream of the balloon. In an alternative form, the distal orifice may be located upstream of the balloon.

[0030] In one example the multi lumen shaft is rotatable through 360 degrees inside a lower urinary tract of a patient, wherein rotation of the shaft causes the camera to capture images or a video of the interior of the bladder of the patient.

[0031] In one example a field of view of the camera is directed outward from the multi lumen shaft, wherein the field of view of the camera covers a neutral axis of the shaft, and; wherein the 360-degree rotation of the lumen allows the camera to capture a video or images of the entire interior of the bladder of the patient.

[0032] In one example the multi lumen is inserted into a bladder beyond the bladder neck,

[0033] wherein in use the multi lumen shaft is adapted to be rotated through 360 degrees to capture a video or images of an anterior part of the bladder, and;

[0034] wherein the shaft is adapted to be extracted until the bladder neck or by a width of an uninflated balloon, and; the shaft being rotated through 360 degrees a second time to capture a video or images of a proximal part of the bladder.

[0035] In one example, the cystoscopy device comprising a second camera, wherein the second camera is positioned on a distal region on an opposing side to the first camera and the second camera is downstream of the balloon.

[0036] In one example the second camera is positioned on the ventral side of the distal region.

[0037] In one example the first camera and second camera are oriented on the shaft such that their fields of view, point outwardly from the shaft.

[0038] In an alternative form the first camera and second camera may be aligned or placed in a series arrangement along the distal region. In a further alternative form, the first and second camera may be located at the tip of the shaft.

[0039] In one example the distal orifice is fluidly coupled to the drainage lumen, wherein the drainage connector is located at an end of the drainage lumen that is axially spaced from the distal orifice.

[0040] In one example the multi lumen shaft comprises an entry end and a camera end, wherein the entry end includes an entrance opening to each lumen, and the drainage connector, electronics connector and the air inflation connector at located adjacent the entry end of the shaft.

[0041] In one example the multi lumen shaft is adapted to function as a urinary catheter and be inserted into a lower urinary tract via lower urinary tract opening e.g., a urethra.

[0042] In one example the multi lumen shaft includes an indicator disposed on the shaft, wherein the indicator indicates a direction of the distal orifice and / or direction of the camera.

[0043] In one example the tip defines a distal end of the multi lumen shaft, and the tip comprises a round profile and the tip is blunt.

[0044] In one example the first camera and second camera are on opposing portions of the shaft.

[0045] In one example the multi lumen shaft is formed from a soft biocompatible material such that the shaft is substantially flexible or resilient.

[0046] In one example, the cystoscopy device comprising a valve, the valve being positioned in the drainage lumen, the valve being moveable between an open position and a closed position, wherein when in an open position air or fluid can be passed into or out of the drainage lumen and when in a closed position the drainage lumen is sealed and prevents air or fluid passage into or out of the drainage lumen.

[0047] In one example the valve is located at a proximal end of the shaft.

[0048] In one example the valve is connected to a stopcock, and stopcock can be manipulated between an open and closed position.

[0049] In one example, the camera may be connected to the electrical connector. The electrical connector may comprise a wireless communication module adapted to wirelessly transmit the video or images captured by the camera to an image processing apparatus.

[0050] In one example the valve is positioned in the drainage connector, and the drainage connector comprising a stopcock that is mechanically attached to the valve and the stopcock being manipulable to move the valve between the open position and a closed position

[0051] In one example the valve is a three-way valve, wherein the three-way valve extends across the air inflation lumen and drainage lumen.

[0052] In one example the first camera is positioned such that the first camera has a field of view of over 60 degrees.

[0053] In one example, each of the first and second camera may have a field of view of at least 60 degrees.

[0054] In one example form the first and second cameras may be disposed along the distal region such that their fields of view overlap each other.

[0055] In one example the tip is a curved. The tip may be curved away from a longitudinal axis or a longitudinal dimension of the multi lumen shaft.

[0056] In one example the tip is curved away from a longitudinal axis of the shaft, and wherein the tip is curved at 45 degrees or less.

[0057] In one example, the cystoscopy device comprising an inertial measurement unit (IMU) positioned in a distal region of the shaft, wherein the IMU is located downstream of the balloon, and the IMU configured to detect rotation of the catheter.

[0058] In an alternative form the IMU may be positioned in a proximal region of the shaft adjacent. In this form the IMU may be positioned adjacent the connectors.

[0059] In one example, wherein the cystoscopy device is a single use device.

[0060] In one example the IMU may be configured to transmit the measured rotation to the image processing apparatus.

[0061] In one example the first camera is sealed within the shaft. In one optional example, the first camera may be hermetically sealed into the shaft. Preferably the camera may be fluidly sealed such that bodily fluids cannot contact the camera when the shaft is inserted into the patient.

[0062] In one example, the multi lumen shaft may be formed from a soft material such as latex or silicone. The cystoscopy catheter is preferably formed form a biocompatible material that is soft and pliable and resilient such the shaft can flex as is it inserted to avoid injury e.g., lesions or scarring to the patient.

[0063] In one example, both the first and second camera may be sealed within the shaft such that the cameras are isolated from fluids within the lower urinary tract when in use.

[0064] In one example, the cystoscopy device comprising a bending region defined in the distal region, wherein the bending region can be bend or flexed relative to the shaft to adjust the position of the tip.

[0065] In one example, the cystoscopy device comprising a wire attached to or coupled to an attachment point in the bending region, the wire further coupled to an actuator, the actuator being manually manipulable, wherein manipulating the actuator causes the wire to be pulled or pushed through a lumen in the shaft, and wherein pulling the wire causes the tip to be bent and pushing the wire causes the tip to be straightened.

[0066] In one example, wherein adjusting the actuator causes the wire to be pulled or pushed thereby causing pulling or pushing of the bending region, wherein pulling the wire cause the bending region to bend causing the tip to move to a bent or flexed configuration and pushing the wire cause the bending region to straighten causing the tip to be in a straight configuration.

[0067] In one example, the camera is positioned in the tip.

[0068] In one example, the tip is harder than the bending region. In one example the tip and shaft are harder than the bending region or the distal region.

[0069] In one example, the distal region is bendable by actuating an actuation system, the actuation system operatively coupled to the distal region and wherein actuating the actuation system causes the distal region to bend relative to the body of the shaft such that the camera orientation can be adjusted between a bent configuration and a straight configuration.

[0070] In one example, the device may comprise a plurality of cameras positioned in the tip.

[0071] In one example, the actuator comprises a figure manipulable tab.

[0072] In one example, the actuation system comprises a pulley, the tab is connected to the pulley, wherein moving the tab in a first direction causes the pulley to rotate in the first direction and wind the wire thereby causing the tip to bend, and moving the tab in a second direction causes the pulley to move in a second direction and unwind or loosen the wire thereby causing the tip to straighten.

[0073] In one example, the shaft comprises an operative length of 345mm and an outer diameter of 5mm.

[0074] According to a second aspect, there is provided a cystoscopy system for inspecting a patient’s lower urinary tract comprising:

[0075] a cystoscopy device, the cystoscopy device comprising:

[0076] a multi lumen shaft terminating at a tip

[0077] a first camera integrated into a distal region of the shaft, wherein the camera is positioned adjacent the tip or at the tip,

[0078] a distal orifice formed within the distal region of the shaft, wherein the distal orifice is in fluid communication with one or more lumens defined within the shaft,

[0079] an inflatable and deflatable balloon located adjacent the distal region, and the balloon arranged in fluid communication with one lumen of the shaft,

[0080] wherein the camera is configured to capture one or more static images or a video stream of a lower urinary tract of a patient during a cystoscopy procedure,

[0081] an image processing apparatus configured to receive images or video captured by the first camera, wherein the image processing apparatus is configured to process the received images or video and identify one or more abnormal pathologies insider the lower urinary tract of the patient.

[0082] In one example the cystoscopy device is a cystoscopy device of any one or more of the earlier statements. The cystoscopy device as described above may be used as part of the cystoscopy system.

[0083] In one example the cystoscopy device comprises a communication module electrically coupled to the first camera and / or the second camera, wherein the communication module is configured to wirelessly transmit the captured images or video to the image processing apparatus,

[0084] wherein the image processing apparatus includes a memory unit and a processor, the processor and the memory unit being operatively coupled to each other, and;

[0085] wherein the image processing apparatus includes a trained AI model that is stored in a memory unit and executed by the processor, and the received images or video being processed by the AI model to identify the one or more abnormal pathologies in the lower urinary tract of the patient.

[0086] In an alternative example, the YOLO model may be stored and executed in the cloud or by a cloud computing system. The recorded video or images from the cystoscopy device may be transmitted to the cloud system implementing the YOLO model. The YOLO model may be executed on a cloud system to process the video or images to identify abnormal pathologies in the lower urinary tract of the patient.

[0087] In one example, the image processing apparatus may be a cloud computing system that is configured to process received video or images from the cystoscopy device by applying a deep neural network (DNN) e.g., a YOLO model or other deep neural network to the received video or images. The DNN is trained to identify abnormal pathologies in the video or images.

[0088] In one example the AI model is a YOLO deep neural network that includes a backbone, neck and head, wherein the backbone is configured to extract features from the input images, wherein the neck is configured for feature fusion in high dimensional space, and wherein the head is configured to generate an output based on the fast fused features from the neck.

[0089] The cystoscopy device and cystoscopy system described herein are advantageous because the cystoscopy comprises a simple design that can be inserted into a bladder for evaluation of a lower urinary tract with minimal skillset. The cystoscopy device requires minimal setup. The system incorporates an AI model that can empower a primary care physician or a nurse to evaluate abnormal pathologies in the lower urinary tract without the need for specialist urologists. The cystoscopy system allows a point of care testing which can expedite the diagnostic pathway for patients e.g., patients presenting with haematuria.

[0090] According to a third aspect, there is provided a cystoscopy method for inspecting a patient’s lower urinary tract comprising the steps of:

[0091] inserting a cystoscopy device through a urethra of a patient,

[0092] wherein the cystoscopy device comprising:

[0093] a multi lumen shaft terminating at a tip

[0094] a first camera integrated into a distal region of the shaft, wherein the camera is positioned adjacent the tip or at the tip,

[0095] a distal orifice formed within the distal region of the shaft, wherein the distal orifice is in fluid communication with one or more lumens defined within the shaft,

[0096] an inflatable and deflatable balloon located adjacent the distal region, and the balloon arranged in fluid communication with one lumen of the shaft,

[0097] wherein the camera is configured to capture one or more static images or a video stream of a lower urinary tract of a patient during a cystoscopy procedure

[0098] inflating the balloon by providing air through an air inflating lumen that extends through the shaft and is fluidly connected to the balloon, wherein the volume of air provided to the balloon is between 3 and 15 ml,

[0099] controlling a valve in a drainage lumen that extends through the shaft to allow urine or other fluid to pass through the shaft and out of the bladder,

[0100] provide air or other fluid through the drainage lumen into the bladder to inflate the bladder,

[0101] closing the valve in the drainage lumen to seal the drainage lumen,

[0102] rotating the shaft 360 degrees to capture images or a video of the inner bladder,

[0103] deflating the balloon,

[0104] retracting the cystoscopy device from the patient’s bladder by a balloon width or until the bladder neck is visible by the camera, rotating the multi lumen shaft by at least 360 degrees to capture images or video of a proximal part of the bladder,

[0105] retract the cystoscopy device,

[0106] capturing images or video of the urethra,

[0107] processing, by an image processing apparatus, the captured images or video and identifying one or more abnormal pathologies in a lower urinary tract of the patient,

[0108] wherein the image processing apparatus is configured to process the images or video by utilising a deep neural network, and;

[0109] generating a report of the image processing and / or presenting the results of the image processing on a user interface.

[0110] Optionally, the image processing apparatus may include a graphical user interface, e.g., a screen. The report may be presented on the graphical user interface (GUI) .

[0111] A cystoscopy device as per any one or more of the above statements may be used as part of the cystoscopy method described herein. The method may be performed by a cystoscopy system.

[0112] In accordance with a further aspect, there is provided a cystoscopy device comprising:

[0113] a multi lumen shaft terminating at a tip;

[0114] a camera positioned adjacent the tip or at the tip and the camera being disposed within the shaft;

[0115] an inflatable and deflatable balloon located adjacent a distal region, and the balloon arranged in fluid communication with one lumen of the shaft;

[0116] wherein the camera is configured to capture one or more static images or a video stream of a lower urinary tract of a patient during a cystoscopy procedure,

[0117] an actuation system operatively coupled to the distal region and wherein actuating the actuation system causes the distal region to bend relative to the body of the shaft such that the tip can be adjusted between a bent configuration and a straight configuration,

[0118] wherein the camera is configured to capture one or more static images or a video stream of a lower urinary tract of a patient during a cystoscopy procedure, and;

[0119] the tip being adjusted by the actuation system to orient the camera into an operative position to capture the one or more static images or the video stream of a lower urinary tract of a patient during a cystoscopy procedure.

[0120] In one example, wherein the tip may be bent up to 180 degrees relative to the longitudinal axis such that the tip is substantially parallel to the longitudinal axis of the shaft. In a further example, the tip is bendable between 0 degrees and 90 degrees relative to a longitudinal axis of the shaft, and wherein at 0 degrees the tip is straight relative to the shaft.

[0121] The cystoscopy method is advantageous because it provides a simple method that allows a nurse or primary care physician to use the cystoscopy device to perform cystoscopy or other scoping operations without the need for specialist urologists. The method allows a primary care physician or a nurse to simply and quickly identify abnormalities without the need for specialist urologists. The method can be performed at primary care facilities.

[0122] The term “comprising” (and its grammatical variations) as used herein are used in the inclusive sense of “having” or “including” and not in the sense of “consisting only of” .

[0123] The terms “cystoscopy device” , “cystoscope” and “cystoscopy catheter” all refer to the cystoscopy device described herein and may be interchangeably used to refer to the same item.

[0124] The term “cystoscopy device” or “cystoscopy catheter” or “cystoscope” as described herein is a urinary catheter with scoping function to allow a clinician to perform cystoscopy. The cystoscopy device may be long, thin tube with a scope or camera e.g., an endoscope that can be inserted into a urinary tract or other lower body cavity for imaging.

[0125] It is to be understood that, if any prior art information is referred to herein, such reference does not constitute an admission that the information forms a part of the common general knowledge in the art.BRIEF DESCRIPTION OF THE DRAWINGS

[0126] Embodiments of the present invention will now be described, by way of example, with reference to the accompanying drawings in which:

[0127] Figure 1 illustrates an example embodiment of a cystoscopy system for inspecting a patient’s lower urinary tract.

[0128] Figure 2 illustrates an example embodiment of a cystoscopy device having a single camera.

[0129] Figure 3 illustrates an example of a stopcock that is disposed on the cystoscopy device.

[0130] Figure 4 illustrates a cross section of the multi lumen shaft of the cystoscopy device.

[0131] Figure 5A illustrates a cystoscopy device with a curved distal region.

[0132] Figure 5B illustrates a cystoscopy device with a straight distal region.

[0133] Figure 6A illustrates an example form of a cystoscopy device having single distal orifice.

[0134] Figure 6B illustrates an example form of a cystoscopy device having multiple distal orifices.

[0135] Figure 7A illustrates a cystoscopy device with a frontal distal orifice.

[0136] Figure 7B illustrates a cystoscopy device with a rear distal orifice.

[0137] Figure 8A illustrates an example form of a cystoscopy device with a camera positioned in a dorsal region of the shaft.

[0138] Figure 8B illustrates a field of view insider a bladder of the cystoscopy device form of Figure 8A.

[0139] Figure 8C illustrates an example form of a cystoscopy device with a camera in the tip region and in a dorsal portion.

[0140] Figure 9A illustrates an example form of a cystoscopy device with a camera positioned in a ventral region of the shaft.

[0141] Figure 9B illustrates an example form of a cystoscopy device with the camera positioned in a tip region and in a ventral region.

[0142] Figure 9C illustrates the cystoscopy device from figure 9B positioned within the bladder and the field of view from the camera.

[0143] Figure 9D illustrates an example form of a cystoscopy device having a front view camera located adjacent the tip of the device.

[0144] Figure 9E illustrates the form from Figure 9D when inserted inside a bladder and the camera’s field of view.

[0145] Figure 10 illustrates a method of inflating the balloon as performed using the cystoscopy device.

[0146] Figure 10A illustrates a schematic diagram of a valve used to control inflation of the balloon.

[0147] Figure 11 illustrates a method of removing urine from a bladder when the cystoscopy device is in use.

[0148] Figure 12 illustrates an example method of distending (e.g., inflating) the bladder.

[0149] Figure 13 and Figure 14 illustrate the method of capturing images or a video of the bladder.

[0150] Figure 15 illustrates a schematic diagram of a computing apparatus that forms an image processing apparatus of the cystoscopy system.

[0151] Figure 16 illustrates an example structure of a YOLO deep neural network used as part of the image processing apparatus for processing the captured video or images.

[0152] Figure 17 illustrates a graph of a test of the YOLO deep neural network.

[0153] Figure 18 illustrates a flow chart of a cystoscopy method the method steps.

[0154] Figure 19 illustrates an alternative embodiment of a cystoscopy device having two cameras.

[0155] Figures 19A and 19B illustrate the field of view from the two cameras in two different positions inside the bladder.

[0156] Figure 19C illustrates a further example form of the camera arrangement in a cystoscopy device comprising two cameras.

[0157] Figure 19D illustrates an example form where the two cameras are front view cameras.

[0158] Figure 20 shows screenshots of a cancer detected by the cystoscopy device.

[0159] Figures 21 to 21A illustrate two different positions of an IMU when used with a cystoscopy device comprising a single side view camera.

[0160] Figures 21B to 21C illustrate two different positions of an IMU when used with a cystoscopy device comprising a front view camera.

[0161] Figures 21D to 21E illustrate two different positions of an IMU when used with a cystoscopy device comprising two side view cameras.

[0162] Figure 22 illustrates an example embodiment of a cystoscopy device comprising a bendable tip.

[0163] Figure 23 illustrates a cross section of the distal region illustrating a camera positioned inside the tip.

[0164] Figure 24 illustrates a transverse cross section illustrating the multiple lumens defined in the shaft of the cystoscopy device of Figure 23.

[0165] Figure 25 illustrates the bendable region in a straight configuration and a bent or flexed configuration, where the tip is pointed away from the shaft in the bent or flexed configuration.

[0166] Figure 26 illustrates an adjustment mechanism which is a wire that can be pulled or pushed to cause the tip to be bent.

[0167] Figure 27 illustrates a perspective view of the cystoscopy device.

[0168] Figure 28 illustrates a side view of the cystoscopy device of Figure 27.

[0169] Figure 29 illustrates a section view of the handle and shows the actuation system details.

[0170] Figure 30A and Figure 30B illustrate an example of the actuation system in operation.

[0171] DETAILED DESCRIPTION OF EXAMPLE EMBODIMENTS

[0172] Referring to Figure 1, an embodiment of the present invention is illustrated. This embodiment is arranged to provide a cystoscopy system 100 for inspecting a patient’s lower urinary tract comprising: a cystoscopy device 200, and an image processing apparatus 300. The cystoscopy device comprises a multi lumen shaft 202, and a first camera 210 positioned in a distal region 204 of the shaft 202. The cystoscope device 200 is configured to be inserted into a lower urinary tract e.g., a bladder 102 of the patient and capture a video or images via the camera 210. The cystoscope device 200 comprises a communication module 250 (i.e., an image transmission module 250) that is configured to transmit the captured images or video from the first camera 210. The image processing apparatus 300 is configured to receive images or video captured by the first camera 210, wherein the image processing apparatus 300 is configured to process the received images or video and identify one or more abnormal pathologies insider the lower urinary tract (e.g., bladder 102) of the patient.

[0173] The image processing apparatus 300 comprises a memory unit and a processor 302, the processor 302 and the memory unit being operatively coupled to each other. The image processing apparatus 300 may include a trained AI model that is stored in a memory unit and executed by the processor 302, and the received images or video being processed by the AI model to identify the one or more abnormal pathologies in the lower urinary tract of the patient.

[0174] The image processing apparatus 300 may generate a report with the identified abnormal pathologies e.g., tumours or growths or other abnormalities within a lower urinary tract of the patient. Optionally, the image processing apparatus 300 may include a graphical user interface (GUI) 312. The GUI 312 may display the video stream or captured images of the inside of the lower urinary tract to allow a physician to see the insides of a lower urinary tract. The image processing system 300 may identify abnormal pathologies and these identified abnormal pathologies may be displayed on the GUI 312. This allows a physician to identify any abnormal pathologies e.g., tumours or growths or other abnormal pathologies.

[0175] Figures 2 to 9D illustrates an example embodiment of a cystoscopy device 200 that is used as part of the cystoscopy system 100. The cystoscopy device 200 comprises a single camera. The figures 2 to 9D show various configurations of the cystoscopy device where the camera is in multiple different positions in the shaft.

[0176] The cystoscopy device 200 may be used to scope a lower urinary tract of the patient. The cystoscopy device 200 i.e. cystoscopy catheter is adapted to be inserted into a lower urinary tract of the patient and allows a physician to identify any abnormal pathologies within a patient’s lower urinary tract.

[0177] The cystoscopy device 200 comprises a multi lumen shaft 202 terminating at a tip 206, a first camera 210 integrated into a distal region 204 of the shaft. The camera 210 is positioned adjacent the tip 206 or at the tip 206, a distal orifice 208 is formed within the distal region 206 of the shaft, wherein the distal orifice 208 is in fluid communication with one or more lumens defined within the shaft 202. The cystoscopy device 200 comprises an inflatable and deflatable balloon 212 is located adjacent the distal region 206, and the balloon arranged in fluid communication with one lumen of the shaft 202. The first camera 210 may be configured to capture one or more static images or a video stream of a lower urinary tract of a patient during a cystoscopy procedure.

[0178] The cystoscopy device may comprise a handle 270 that allows a user to grasp the cystoscopy device 200 and manipulate it. The handle 270 allows one handed use and manipulation of the device 200.

[0179] The cystoscopy device 200 comprises a proximal region 214. The proximal region 214 is the region that is upstream of the balloon 212 and adjacent or near the entrance of the lumens in the shaft 202. The proximal region 214 (i.e., proximal portion) is the portion of the shaft that is not inserted into a patient’s urinary tract. The proximal region 214 may be adjacent a portion that the region that a clinician grasps or interacts with. The distal region 204 is the portion downstream of the balloon. The distal region 204 may be located away from the lumens and connectors. The distal region 204 may be the portion or region of the shaft that is inserted into a patient’s urinary tract or other lower cavity of a patient.

[0180] The cystoscopy device 200 (e.g., the cystoscopy catheter) shaft 202 may be formed from a soft, flexible and biocompatible material. For example, the shaft may be formed from PVC or silicone or latex. The shaft 202 may be substantially compliant such that it can adapt to the natural curvature of the patient’s urinary tract.

[0181] The multi lumen shaft 202 or at least the portions that are inserted inside a patient may be formed from material that is soft and pliable and resilient such the shaft can flex as is it inserted to avoid injury e.g., lesions or scarring to the patient. The soft, flexible and biocompatible material allows the shaft 202 to be easily guided through and manipulated through a urethra with minimal discomfort to the patient. The cystoscopy device 200 may be a single use device that may be thrown away after a single use. This ensures hygiene and reduces any need to disinfect the device 200.

[0182] The multi lumen shaft 202 is capable of being rotated 360 degrees when inserted into a lower urinary tract of the patient. The shaft 202 is formed from a material that has some rigidity. The shaft has adequate rigidity that it can hold its form when rotated 360 degrees but is substantially compliant such that it does not injure a patient when inserted into a urinary tract.

[0183] The distal region 204 is the area of the shaft that is downstream of the inflatable balloon 212. As shown in Figure 2 and Figures 5A and 5B, the distal region 204 of the shaft 202 is the area of the shaft that is located after i.e., axially downstream from the balloon 212.

[0184] Figure 5A and Figure 5B illustrate two different example forms of the cystoscopy device 200. As shown in Figure 5A, the first form 500 is a curved tipped cystoscopy device 200. As shown in Figure 5A, the cystoscopy device 500 comprises a distal region 204 that is curved. The distal region 204 is curved relative to a longitudinal axis 260 (i.e., a central axis) of the multi lumen shaft 202. The distal region 204 may be curved at an angle of 45 degrees or less.

[0185] Optionally, the distal region 204 may be flexible and capable of being flexed or bent. The distal region 204 may be malleable such that it can be flexed into any appropriate shape or flexed into an appropriate curved configuration and the distal region 204 may retain its flexed shape. The distal region 204 may be formed from a malleable or flexible material that allows a user to flex or bend the distal region into a desired shape. The distal region 204 may be bent or flexed in use to a desired angle relative to the longitudinal axis of the shaft 202.

[0186] In an alternative configuration the distal region may be pre-flexed or pre-bent into shape, for example as shown in Figure 2 or Figure 5A or Figure 6A. The shaft 202 and the distal region 204 may be preformed into a shape where the distal region is bent at a predefined angle relative to the longitudinal axis of the shaft 202.

[0187] Figure 5B shows a further alternative form 502 of a straight tipped cystoscopy device 200. As shown in the form of 502 in Figure 5B, the distal region 204 may be straight. As shown in Figure 5B, the cystoscopy device 200 may have a straight distal region 204 that is aligned with the longitudinal axis 260 of the shaft 202.

[0188] The curved tipped form 502 and the straight tipped form 504 are different forms of the same cystoscopy device 200. The curved tipped version is shaped and configured for use in inspecting the lower urinary tract of females. The straight tipped version is shaped and configured for use in inspecting the lower urinary tract of males.

[0189] The first camera 210 may be disposed in the distal region 204 of the shaft. The first camera 210 is preferably positioned downstream of the balloon 212. The camera is in the distal region 204 and downstream of the balloon 212 in both the curved tip form 500 and the straight tip form 502 of the cystoscopy device 200.

[0190] The camera 210 is preferably integrated into the distal region 204 of the cystoscopy catheter 200. The camera 210 may be integrated into a housing formed in the distal region 204 of the shaft 202. The camera 210 may be positioned as a side view camera. The field of view of the camera 210 may extend laterally outward from the longitudinal axis of the shaft 202. The camera 210 may be positioned in the distal region adjacent the tip 206 ensures an accurate view of the inside of the lower urinary tract and organs in the urinary tract such as for example, the bladder or urethra etc. In one example, the first camera 210 is positioned such that the first camera has a field of view of over 60 degrees.

[0191] Alternatively, the camera 210 may be a front view camera i.e., the camera 210 may be oriented such that the field of view is directed toward the front. The camera 210 may be oriented such that forward looking views of the urinary tract (including organs) can be captured.

[0192] In the curved tipped form 502 the camera 210 may be positioned on an outer surface of the curve. The camera 210 may be located at a tangential area of the curved distal region 204. As shown in Figure 2 and Figure 5A, the first camera 210 may be disposed in the curved region but on an outer surface of the curved arc of the distal region 204.

[0193] In the straight tipped form 504 of Figure 5B the camera 210 may be located in the distal region 204. The camera 210 may be located on an outer surface of the distal region 204. The field of view of the camera 210 may be as described earlier. In the straight tipped form, the camera 210 may be configured as side view, with the viewing axis having a tilt angel with the catheter axis.

[0194] Figure 8A illustrates an example form 800 of a cystoscopy device 200 with a single camera 210 positioned in a dorsal region. In the example form shown in Figure 8A, a side view camera 210 that has a field of view 802 extending laterally outward and the camera is placed on the dorsal side of the distal region 204. The camera 210 may optionally be positioned on a dorsal side adjacent the tip of the shaft. Dorsal side or dorsal region means an outer portion of the curve. As shown in an example form 800 as shown in Figure 8A the single camera 210 is located on an outer curved portion of the distal region 204. The dorsal region or dorsal side means the camera 210 is positioned on an outer curved or outside arcuate region of the distal region. As shown in Figure 8A, the tip of the shaft may curve upward, and the camera field of view is directed away from the upwardly curving tip 206. The camera 210 may be positioned tangential to the exterior of the curve, as shown in Figure 8A.

[0195] In one optional example, the camera 210 may be positioned at a extrados of the curved distal region 204. The extrados is the external surface of the curved distal region. The camera 210, as shown in Figure 8A may be positioned on the extrados.

[0196] Figure 8B illustrates the field of view 802 of when positioned inside the bladder 102. Figure 8B illustrates the form of Figure 8A when inserted inside the bladder 102. The camera in the form of Figure 8A the camera 210 is a side view camera that is located in the distal region of the shaft and located on an outer surface of the curved distal region. The camera 210 can capture a video or images of the interior part of the bladder 102 when the shaft 202 is rotated.

[0197] Figure 8C illustrates a further form 810 of the cystoscopy device 200. The camera 210 may be located in a tip region 209. The tip region 209 is a portion of the shaft that is distal from the proximal region 214. The tip region 209 is the region of portion of the shaft 202 that is adjacent the tip 206. The form in Figure 8C shows the camera 210 may be disposed in the tip region. The camera 210 may be oriented on a dorsal side or dorsal region. In the form 810 of Figure 8C the camera 210 may be a side view camera and the field of view 802 may be directed outward from the shaft.

[0198] In another example form 900, the camera 210 may be positioned on an inner portion of the curved distal region, as shown in Figure 9A. In this form, the camera 210 may be positioned on an upper side of the shaft. More specifically in form 900, the camera 210 may be located on a ventral side or ventral region of the shaft 202 as shown in Figure 9A. The camera located on the ventral side of the shaft which allows for easier inspection of the bladder neck 104 due to the positioning of the camera and the field of view 902 pointing toward a ventral side or in an anterior direction. The camera 210 is disposed on an interior of the curved distal region 206. In the form shown in Figure 9A the camera 206 may be positioned on an intrados of the distal region 206. The field of view 902 when the camera is on the ventral side or ventral region. The field of view is oriented interior from the curved distal region 206. As shown in Figure 9A the camera field of view 902 covers the neutral axis N.

[0199] Figure 9B illustrates a further form 910. In this form the camera 210 is positioned in the tip region 209 and is also disposed on a ventral side or ventral region. The camera 210 is oriented such that the field of view 902 is directed toward the inner portion of the curved distal region. The field of view 902 may cover the neutral axis in the form 910 and in the form 810.

[0200] Figure 9C illustrates a form 910 of the cystoscopy device with a single camera in use inside a bladder 102. The field of view 904 is directed toward an inner part of the curved distal region. The form 910 can allow for easier assessment of a bladder neck.

[0201] Figure 9D illustrates a further form 912 of the cystoscopy device 200. In form 912 the camera may be positioned at the tip, as shown in Figure 9D.In form 912 the camera 210 is disposed in the tip. The camera 210 is oriented as a forward-facing camera (i.e., a frontal camera) . The field of view 920 is directed forward from the tip 206.

[0202] Figure 9E the field of view of the form 912 when the device is positioned insider a bladder. Figure 9E illustrates the field of view 920 when in use inside a bladder 102. Figure 9E illustrates a field of view 920 of a front camera form e.g. the form 912.

[0203] The camera 210 may be wide angle camera. The camera 210 is preferably a high definition and high-resolution camera e.g., a CMOS camera. The camera 210 may be video camera that captures a video stream. Alternatively, the camera 210 may capture still images. In a further alternative, the camera 210 may capture both a video stream or still images, and a clinician can control the camera to capture video or still images.

[0204] The camera 210 may be positioned in the distal region 204 such that the neutral axis of the shaft 202 is covered. The camera 210 may be rotated 360 degrees in use, when the shaft is rotated. The 360-degree rotation of the shaft causes the camera to capture a video or images of lower urinary tract and organs in the lower urinary tract e.g., the bladder.

[0205] In an optional, alternative form the first camera 210 may be positioned on or at the tip of the multi lumen shaft. The field of view of the camera if at the tip may view outwardly along a longitudinal axis of the shaft 202.

[0206] The multi lumen shaft 202 may be rotatable through 360 degrees inside a lower urinary tract of a patient, wherein rotation of the shaft 202 causes the camera 210 to capture images or a video of the interior of the bladder of the patient. The 360-degree rotation of the lumen allows the camera to capture a video or images of the entire interior of the bladder of the patient.

[0207] In use, the multi lumen shaft 202 is inserted into a bladder 102 beyond the bladder neck 104. In use the multi lumen shaft 202 is adapted to be rotated through 360 degrees to allow the camera 210 to capture a video or images of an anterior part of the bladder 102 The shaft 202 is adapted to be extracted until the bladder neck 104 or by a width of an uninflated balloon. The shaft 202 is then rotated through 360 degrees a second time to capture a video or images of a proximal part of the bladder.

[0208] Optionally, the cystoscopy device 200 may comprise a light 216 e.g. a LED. The light 216 may be disposed adjacent the camera. The light 216 is adapted to be activated by a clinician using the cystoscopy device. The light is adapted to illuminate the bladder (or other parts of the urinary tract) to allow the camera to capture clear images or clear video.

[0209] The cystoscopy device 200 comprises three lumens that extend along the multi lumen shaft 202. Figure 4 illustrates a cross section of the multi lumen shaft 202 and illustrates the three lumens that define the shaft 202. The cystoscopy device 200 comprises an air inflation lumen 220, a drainage lumen 222 and an electronics lumen 224 as shown in Figure 4. Each lumen may form a channel through the shaft 202. The lumens define a passage or channel through the shaft. Each lumen may be physically separated from the others.

[0210] Referring to Figure 4, the shaft 202 may include a marker 226 that indicates a direction of the distal tip 206. The marker 226 may also indicate the location of the camera 210 that is positioned in the shaft. If the tip 206 is curved, the marker 226 may also indicate the direction of the tip curvature. The marker 226 may indicate how the tip curves away from the longitudinal axis of the shaft 202.

[0211] Referring to Figure 2, the cystoscopy device comprises an air inflation connector 230 that is fluidly coupled to the air inflation lumen 220, a drainage connector 232 that is fluidly coupled to the drainage lumen 222 and an electronic connector 234 is communication with or electrically coupled to the electronics lumen 224. Each of the connectors 230, 232 and 234 may each define a port. The term port and connector may be interchangeably used to define the structure. Each connector 230-234 i.e., port 230-234 may be adapted to allow insertion of tools or connection to tools such as a drainage system to the drainage port 232 (i.e., drainage connector 232) .

[0212] The inflatable balloon 212 may be made from a thin, soft membrane of a biocompatible material such as for example silicon or latex. The balloon 212 is deflated when the shaft 202 (i.e., catheter) unpacked and can be inflated via the air inflation lumen 220 (i.e., the air inflation channel 220) . An air source e.g., a syringe or an air pump may be coupled to the air inflation connector 230 and air may be pumped into the balloon via the air inflation lumen 220 to inflate the balloon. The volume of the balloon may be, in some examples, between 3 ml and 15 ml. The inflated balloon 220 provides a stopper mechanism when inserted inside the bladder 102. When inserting the catheter (i.e., shaft 202) the balloon is deflated. After the shaft 202 (catheter) is inserted into the urinary tract e.g., the bladder 102, the balloon 212 is inflated by pumping air through the air inflation lumen 220. When the operator retracts the catheter, the balloon 212 will stop the shaft 202 at the neck 104 of the bladder and prevent the shaft 202 from being extracted. This facilitates the operator e.g., a clinician to control the position of the catheter 202 tip and distal region inside the bladder. The balloon 212 can be deflated by extracting air in the balloon 212 from the air inflation lumen 220.

[0213] The air inflation connector 230 may include a passive valve (not illustrated) that is built into the connector 230, to stop the air passing through at atmosphere pressure. The passive valve may be made of an elastic material or a plastics material. When the balloon is inflated, the valve is adapted to stop the air inside the balloon from leaking out. When the operator (e.g., a clinician) needs to deflate the balloon 212, the operator can use a pressure source, such as a syringe to apply a vacuum and the pressure difference would drive the air inside the balloon to flow out.

[0214] The drainage lumen 222 is used as air or fluid passage. The distal orifice 208 and drainage connector 232 are fluidly coupled to each other via the drainage lumen 222. The drainage connector is located at an end of the drainage lumen that is axially spaced from the distal orifice. The cystoscopy device 200 comprises a valve (not shown) . The valve is positioned in the drainage lumen (i.e., drainage channel 222) . The valve is moveable between an open position and a closed position. When the valve is an open position fluid can be passed into or out of the drainage lumen 222. When the valve is a closed position the drainage lumen 222 is sealed and prevents passage of air or fluids into or out of the drainage lumen 222.

[0215] The valve is preferably located at a proximal end of the shaft. The valve may be mechanically coupled to a stopcock 240 (i.e. spigot or tap) , as shown in Figure 3. Figure 3 illustrates the stopcock 240 that is coupled to a valve positioned within the drainage lumen 222. The stopcock 240 (i.e., spigot) may be positioned at the proximal end of the shaft 202 and may be coupled to the drainage connector 232. The stopcock 240 can be manipulated between an open and closed position. The valve may be a three-way valve. The valve may be a gate valve or a shutoff valve.

[0216] In use, after insertion of the shaft 202 (i.e., catheter) into for example a patient’s bladder 102, the stopcock 240 may be opened, and the urine inside the bladder could enter the distal orifice 208 and pass through the drainage lumen 222 and the drainage connector 232. When urine inside the bladder has been completely exhausted, a pressure source, such as a syringe or air pump, could be connected to the drainage connector 232 to pump air or fluid inside the bladder to distend the bladder. When the bladder is fully distended (i.e. extended) , the pressure source can be removed and the stopcock 240 (i.e., spigot) may be closed to stop air leakage. This could maintain the bladder in a distended state to allow a clear view of the lower urinary tract including the bladder and parts of the bladder.

[0217] The electronics lumen 224 defines a channel where electrical wires from the camera 210 and the light extend through. The camera wires are electrically coupled to the electrical connector 234. The electrical connector 234 is in communication with the electronics lumen 224. The electrical connector 234 electrically couples to the image transmission module 250. The module 250 may transmit the captured video or images by the camera to the image processing apparatus 300 via a wireless or wired connection. The electronics lumen 224 isolates and protects the electronics and wires to and from the camera.

[0218] Figures 6A and 6B illustrate two different examples of the cystoscopy device 200. In one form of the cystoscopy device 602, the shaft 202 may include a single distal orifice 208 as shown in Figure 6A. In another example form of the cystoscopy device 604, the shaft 202 may include multiple distal orifices 606, 608. The multiple orifices 606, 608 may be positioned downstream of the balloon 212. In one example, the distal orifice (or orifices) may be located between the camera and the balloon.

[0219] Figures 7A and 7B illustrate two different example forms of distal orifice. As shown in Figure 7A the distal orifice 208 may be located downstream of the balloon 212, in a distal region 204. The distal orifice as shown in Figure 7A, the distal orifice 208 may be a frontal orifice. As shown in Figure 7B, the distal orifice 208 may be located upstream of the balloon 212. As shown in Figure 7B distal orifice 208 may be a rear orifice.

[0220] Figure 19 illustrates a second embodiment of a cystoscopy device 1900. In this second embodiment the cystoscopy device 1900 comprises two cameras. The two cameras may be positioned in the shaft in multiple different configurations. The cystoscopy device 1900 may comprise a multi lumen shaft that is pliable or made from a soft biocompatible material. The shaft may include an air inflation lumen, drainage lumen and an electronics lumen. The device 1900 may include a distal region, a tip, a balloon and one or more distal orifices. The distal orifices may be downstream of the balloon or upstream. The cystoscopy device 1900 may include the same features as cystoscopy device 200 shown in Figures 2 to 9D.

[0221] In this second embodiment the device 1900 comprises two cameras disposed in a distal region. The first camera 1910 and second camera 1912 may be positioned in the distal region and downstream of the balloon to allow capture of a video stream or still images of a lower urinary tract. The first camera 1910 and second camera 1912 may be disposed on opposing regions (i.e., opposing sides) of the shaft. As shown in Figure 19, the cameras are spaced apart along the circumference and may be positioned diametrically opposed to each other. Optionally, the cameras 1910 and 1912 may be radially spaced from each other. The first and second cameras 1910, 1912 may be oriented on the shaft such that their fields of view, point outwardly (i.e., are directed outward) from the shaft. The first camera 1910 and the second camera 1912 may be disposed in the distal region of the shaft.

[0222] In the example form 1902 shown in Figure 19, a first camera 1910 may be positioned on an outer region of the curved distal region and the second camera 1912 may be positioned on an inner region of the curved distal region. The first camera 1910 may be positioned on a dorsal region or dorsal side and the second camera 1912 may be positioned on a ventral side or ventral region of the shaft. Both cameras 1910, 1912 may be side view cameras and their fields of view may extend outwardly from the shaft. Figure 19A illustrates an example of fields of view 1930, 1932 from the two cameras. Referring to Figure 19A the field of view 1930 of the first camera is directed outward from the shaft. The field of view 1932 is directed outwardly and in an opposing direction to the field of view 1930 of the first camera 1910, as shown in Figure 19A. Figure 19B illustrates the field of view of the two-sided cameras 1910, 1912 when viewing the bladder neck.

[0223] Figure 19C illustrates an alternative form 1904 of the cameras in the cystoscopy device 1900. In form 1904 the first camera 1910 and second camera 1912 may be aligned or placed in a series arrangement along the distal region. The two cameras 1910, 1912 may be placed adjacent each other on the same side or same face of shaft. In form 1904 the fields of view from the two cameras 1910, 1912 are directed outward from the shaft in the same direction. The fields of view 1930 and 1932 respectively may overlap as shown in Figure 19C.

[0224] In a further alternative form 1906, the first and second cameras 1910, 1912 are located at the tip of the shaft. Figure 19D illustrates form 1906. As shown in Figure 19D the first camera 1910 and second camera 1912 are positioned in the tip and the cameras are forward facing cameras. The two cameras 1910, 1912 may be located adjacent each other near the tip 206.

[0225] The cystoscopy device 1900 (as shown in Figures 19 to 19D) may be used in the same manner as shown in Figures 10 to 14. The two cameras may allow faster capture of video or images of the bladder or other lower urinary tract organs. The shaft of device 1900 may only need to be rotated 180 degrees. Preferably the shaft is rotated 360 degrees. Components or parts from the first embodiment 200 may be incorporated into the device 1900.

[0226] The second embodiment of the cystoscopy device 1900 may comprise a curved tip or a straight tip like the ones shown in Figure 5A and Figure 5B. The second embodiment of cystoscopy device 1900 may further comprise a single distal orifice or multiple distal orifices like the examples shown in Figures 6A and 6B. Additionally, the distal orifice may be downstream or upstream of the balloon like shown in Figure 7A and Figure 7B.

[0227] Optionally, the cystoscopy device 200, 1900, 2200 may comprise an inertial measurement unit (IMU) 1920. The IMU 1920 may include an accelerometer and gyroscope. Figures 21 to 21E illustrate various forms of a cystoscopy device with an IMU. The various forms illustrate different positions of the IMU 1920. Optionally, the cystoscopy device 200, 1900, 2200 may comprise multiple IMUs or may comprise a single IMU as shown in Figures 21 to 21E.

[0228] The IMU 1920 may be positioned in a distal region of the shaft, as per form 2100 shown in Figure 21. The IMU 1920 may be located adjacent a camera. In the illustrated embodiment of Figure 21, the IMU 1920 may be positioned upstream of the camera and downstream of the balloon 212. The IMU 1920 is configured to detect rotation of the catheter. The IMU 1920 may be configured to transmit the measured rotation to the image processing apparatus. The cables from the IMU 1920 may couple to the electrical connector through the electronics lumen.

[0229] Figure 21A illustrates an alternate form 2102 shows a cystoscopy device 200 having an IMU 1920 that is positioned in the shaft and upstream of the balloon 212. The IMU 1920 may be spaced away from the camera for space reasons and / or to reduce electronic interference.

[0230] Figure 21B illustrates a further alternate form 2104. Form 2104 shows a single camera cystoscopy device 200 having a front camera 210 and an IMU 1920 positioned in the tip region 209. The IMU 1920 is positioned adjacent the camera 210. Figure 21C illustrates a further alternate form 2106. In form 2106 the cystoscopy device comprises a front camera or front view camera positioned in the tip region 209 and the IMU 1920 is positioned in the shaft upstream of the balloon 212.

[0231] In one example form 2108, the form having two cameras (cystoscopy device 1900) comprises an IMU 1920. As shown in Figure 21D the IMU 1920 is positioned in the distal region and located between the two cameras 1910, 1912. In form 2108 the IMU 1920 is located downstream of the balloon 212.

[0232] Figure 21E illustrates a further example form 2110 the IMU 1920 is positioned upstream of the balloon and in the shaft. The IMU 1920 may be located closer to the proximal region and away from the balloon while the cameras are positioned in the tip region as shown in Figure 21E.

[0233] The IMU may be in any suitable location as shown in any one of Figures 21 to 21E. One or more IMUs may be disposed on or in the shaft for any one of the forms of the cystoscopy device disclosed herein.

[0234] The image processing apparatus 300 may use images from both cameras 1910, 1912 and process them simultaneously or the images may be mixed and processed to identify abnormalities in the lower urinary tract during a cystoscopy procedure.

[0235] Figures 22 to 26 illustrate a further example embodiment of a cystoscopy device 2200. The cystoscopy device 2200 illustrated in Figures 22 to 26 may be similar in general structure to the embodiments 200 and 1900 described earlier. The cystoscopy device 200 as shown may be used in inspecting a patient’s lower urinary tract to detect or identify abnormal pathologies.

[0236] Referring to Figure 22, the cystoscopy device 2200 comprises an elongate shaft 2202. The shaft 2202 may be a multi lumen shaft terminating at a tip 2206. The shaft 2202 comprises a distal region 2204. The cystoscopy device 2200 further comprises an inflatable and deflatable balloon 2212 located adjacent the distal region 2204. The position of the balloon may define the end of the distal region 2204. The balloon 2212 arranged in fluid communication with one lumen of the shaft.

[0237] The cystoscopy device 2200 further comprising at least one camera 2210 integrated into the distal region 2204 of the shaft 2202. The camera 2210 may be positioned in the tip 2206. Figure 23 illustrates an example configuration of the camera 2210. The camera 2210 is positioned in the tip 2206 of the shaft 2202. The camera 2210 may be mounted in the tip 2206. In one example, the camera 2210 may be moulded into the tip. Alternatively, the camera 2210 may be clipped into a housing defined in the tip 2206.

[0238] Referring to Figure 22, the cystoscopy device 2200 comprises a video cable and wire connector 2230 (i.e., video cable port) a drainage connector 2232 (i.e., drainage port) and a balloon port 2234 (i.e., a balloon connector) arrange to allow the inflation and deflation of the balloon 2212. Preferably, the ballon port 2234 includes a sealable aperture that could be connected a syringe or pump to receive air to inflate the ballon 2212 in use and can be unsealed when the balloon 2212 is required to be deflated. The cystoscopy device 2200 may comprise a handle 2260 that allows a user to grasp the device 2200 with one hand. The other embodiments 200, 1900 of the cystoscopy device may also comprise a handle.

[0239] Referring to Figure 24, the shaft 2202 comprises a multi lumen shaft with multiple lumens extending longitudinally along the shaft 2202. The shaft comprises a video and wire lumen 2220, a drainage lumen 2222 and an air or balloon lumen 2224. The drainage lumen 2222 may form an irrigation channel to drain urine or other fluids out of the bladder or other organ of the patient, or the drainage lumen 222 may also be used by a user to direct, inject or pump air or fluids, such as water, saline, medicinal compounds or antiseptic compounds into the bladder or other organ of the patient. The drainage channel (i.e., drainage lumen 2222) may be fluidly coupled to the drainage connector 2232 (i.e., drainage port) , An injection system or suction system or drainage system may be connected to the drainage port 2232 to inject air, fluids or other solutions into the drainage lumen 2222 and into the patient, or to drain fluids such as urine out of the drainage lumen 2222.

[0240] Preferably and as shown in Figure 27, a spigot arrangement 2701 may be connected to the drainage connector 2232. The spigot 2701 may be arranged to provide air or fluid access to the drainage lumen 222 so as to permit a user to inject or pump fluid or air into the bladder or other organ of the patient, as well as to drain fluid or air from the bladder or other organ of the patient. This is particularly advantageous as a user, such as a medical professional may be required to drain the bladder or other organ before examination with the cystoscopy device, or the medical professional may need to inflate or rinse the bladder or other organ with air, fluid, water, saline, solutions or chemicals before examination. The air, fluid, water, saline, solution or chemicals may also be drained via the spigot 2701 either before or after examination of the patient.

[0241] As shown in Figure 27, the spigot is a three-way luer 2701 or three-way stopcock which may have a barb fitment (not shown) to connect to a syringe or pump. The usage of a three-way luer 2701 may be advantageous as a user can connect a syringe full of air or fluid and operate the luer (by manipulating the lever of the luer) to direct the air or fluid from the syringe or pump into the drainage lumen 2222 so as to inflate or fill the bladder or other organ of the patient. The user may then manipulate the luer to seal the drainage lumen 2222 so as to remove the syringe or pump to refill the syringe or pump if the volume of air or fluid is insufficient. Once the inflation or filling of the organ of the patient is completed, and the organ is ready to be drained, the user may manipulate the luer 2701 to permit the flow of air or fluid from the organ via the drainage lumen 2222 and into a suitable waste container.

[0242] The three-way luer 2701 is also particularly advantageous in some embodiments as medical professionals are familiar with operating a three-way luer. In turn, examples of the cystoscopy device may also be used with standard medical equipment, thus reducing the need that examples of the cystoscopy device require additional speciality training or speciality equipment that may not always be available in general or remote medical clinics.

[0243] The balloon lumen 2224 may be fluidly coupled to the balloon connector 2230 to allow the balloon 2212 to be inflated by push air through the lumen 2224. The balloon lumen 2224 acts as an air inflation channel (i.e., an air inflation branch) . The balloon lumen may be fluidly coupled to the balloon 2212 to allow the user to inflate the balloon in use. The balloon 2212 may deflated by drawing air out of the lumen 2224. A video cable may run through the wire lumen 2220. Additionally, a wire 2240 may also extend through the lumen and out of the connector 2230 i.e., the video cable and wire port 2230.

[0244] In one example, the distal region is bendable by actuating an actuation system 2246, the actuation system 2246 operatively coupled to the distal region and wherein actuating the actuation system causes the distal region to bend relative to the body of the shaft such that the tip 2206 can be adjusted between a bent configuration and a straight configuration. The actuation system causes the tip 2206 to bend relative to the shaft and the longitudinal axis of the shaft. The bending of the tip 2206 causes the camera to change orientation. The camera can be oriented in a straight configuration or a bent configuration. Figure 25 illustrates both a bent configuration and a straight configuration.

[0245] The distal region 2204 may be adjustable. The curvature of the catheter i.e., shaft 2200 may be adjustable after it has been inserted into the bladder of a patient, thus rendering the tip 2206 easier to insert before it is used as compared to a shaft 2202 with a pre-bend or pre-shaped tip. The distal region 2204 is adjustable such that the curvature of the tip can be adjusted. Figure 25 illustrates an example of the adjustable distal region 2204 of the cystoscopy device 2200. Figure 26 illustrates the adjustment mechanism which is the wire 2240.

[0246] As shown in Figure 26, the wire extends out the port 2220. The wire 2240 may be attached to an attachment point 2242 positioned in the distal region 2204. The attachment point 2242 is shown in Figure 23. The attachment point 2242 may be clip or the wire 2240 may be adhered or glued to the attachment point. The wire 2240 may be securely fixed into the tip 2206 at the attachment point 2242. The wire 2240 and the cable for the camera may extend along the shaft through the lumen 2220.

[0247] Referring to Figure 23. The attachment point 2242 for the wire and the camera 2210 are both disposed or located in the tip 2206. The tip 2206 may be formed from a hard material e.g., a hard plastics material. The distal region 2204 may define a bending region 2244. The bending region 2244 may be formed from a softer material than the tip 2206. The bending region 2244 may be formed from a flexible plastic or a malleable metal material.

[0248] In a further example, the shaft may be formed from a heat shrinking tubing. The region of the shaft between the balloon and the ports may be stiffer than the bendable distal region 2204. The bending region 2244 in the distal region may be formed from a flexible material e.g., a flexible plastic.

[0249] The bending region 2244, in use, can bend when the wire 2240 is pulled in the direction of arrow P shown in Figure 26. A user can pull the wire 2240 in the direction P which causes the bending region 2244 to bend relative to the longitudinal axis of the shaft 2202. The bending region 2244 may bend away from the longitudinal axis. In one example, as shown in Figure 26, the bending region 2244 may bend to cause the tip 2206 to move along the direction of arrow Q. As shown in Figure 25, pulling the wire 2240 away from the shaft 2202 causes the tip 2206 to curve toward the ports. Figure 25 illustrates the tip 2206 in a straight configuration and a bent configuration. The bending region 2244 bends when the wire is pulled. The wire may attached or operatively coupled to the bending region. The connection between the wire 2240 and the bending region may be internal to the wire channel 2220. As can be seen in Figure 25, the tip may be bent up to a maximum of 90 degrees relative to the longitudinal axis of the shaft 2202.

[0250] Figure 25 illustrates bending of the tip 2206 in an upward direction. The tip may be bend in a downward direction relative to the shaft. The downward direction may be in an arrow opposite to arrow Q. The downward and upward bending may be achieved by manipulating an actuator 2250, described in more detail later.

[0251] The tip 2206 and / or distal region 2204 can be bent between 0 degrees and 90 degrees. At its maximum bending the tip 2206 may be 90 degrees to the longitudinal axis of the shaft 2202. In a further example, at its maximum the tip may be bent up to 180 degrees relative to the longitudinal axis of the shaft. Figure 25 illustrates this configuration where the tip is 180 degrees i.e., parallel to the shaft.

[0252] Actuating the actuation system 2246 causes the distal region to bend relative to the body of the shaft such that the tip can be adjusted between a bent configuration and a straight configuration. The camera 2210 is configured to capture one or more static images or a video stream of a lower urinary tract of a patient during a cystoscopy procedure. The tip 2206 being adjusted i.e., bent by the actuation system 2246 orients the camera into an operative position to capture the one or more static images or the video stream of a lower urinary tract of a patient during a cystoscopy procedure.

[0253] The wire 2240 can be actuated by an optional actuator 2250 positioned in the wire port 2230. Engaging the actuator 2250 can allow the user to pull the wire 2240 to increase the bend or push the wire into the lumen to straighten the tip. The wire 2240 may be connected to the wire. The actuator may be slidable tab that can be slid away from the shaft to cause the wire 2240 to be pulled. A user can engage with the actuator 2250 by using their thumb while holding the cystoscopy device. The actuator 2250 may be slid horizontally or parallel to a longitudinal axis of the shaft. The actuator will be described in more detail later.

[0254] Figure 26 illustrates an end view of the tip 2206 The tip 2206 includes the camera 2210 that is oriented to focus outward from the tip 2206 and capture images. The attachment point 2244 may be positioned in the tip 2206, as shown in Figure 26. The bendable tip 2206 (i.e., bendable distal region) is advantageous because the tip of cystoscopy device can be easily inserted into a bladder in a straight orientation of the shaft. The shaft can be maintained in a straight orientation where the tip 2206 and distal regions 2204 are straight or aligned with the shaft 2202. Once, the tip is inserted into a bladder a user can adjust the actuator 2250 and bend the tip 2206 into a desired configuration. The angle of the bend is controllable and adjustable by the user. This provides the user with freedom to manipulate the shape of the tip and distal region to be able to capture images within the bladder.

[0255] The bendable region in the cystoscopy device 2200 and actuation system including the actuator and the wire is advantageous because it allows a user to custom adjust the position of the tip in order to position the camera to capture images of the requisite regions in the bladder. The cystoscopy device 2200 described in reference to Figures 22 to 26 provides a user with more flexibility and customisation to allow for improved inspection a patient’s lower urinary tract to detect or identify abnormal pathologies.

[0256] The cystoscopy device 2200 may be shaped and structured like a catheter that is commonly used in medical procedures. The cystoscopy device 2200 being shaped and structured like a catheter makes the device feel familiar and allows an inexperienced user to easily use it as the device 2200 is shaped like a catheter. For example, in experienced operators can feel comfortable using the device 2200 as it feels like a catheter which most medical professionals specializing in urinary tracts are experienced at using. Additionally, the actuation system and the flexible tip are advantageous because it allows for customized control to position the camera in the desired position to capture images or video of the urethra, prostate or other lower urinary tract anatomy.

[0257] In one example, the operative length L of the shaft may be 345mm. In other example forms, the operative length may be 500mm or 250mm or any other length as required. In the illustrated example, the outer diameter of the shaft 2202 may be 5mm. Alternatively, the outer diameter may be 3mm or up to 10mm. The outer diameter is thin enough to be inserted into a lower urinary tract.

[0258] Figure 27 illustrates a perspective view of the cystoscopy device 2200. Figure 28 illustrates a side view of the cystoscopy device 2200. Both Figure 27 and Figure 28 illustrate details of handle 2260 and the actuation system 2246 disposed on or in the handle 2260. The handle is shaped like a catheter which makes it easy to use due to the familiarity of catheters for medical professionals. The actuator system 2246 may comprise an actuator 2250. The actuator 2250 may be a finger actuatable tab 2250, as shown in Figure 27 and Figure 28. The tab 2250 may be actuated by an operator’s thumb or index finger. The tab may be rotatable in a first direction or a second direction like a dial. The handle 2260 may comprise a grip 2254. The tab 2250 may be disposed on or in the grip 2254. The grip 2254 may be grasped by an operator in use.

[0259] Figure 29 illustrates a section view of the handle 2260 and shows the actuation system 2246 details. The tab 2250 is connected to a pulley 2252. The wire 2240 is wound around the pulley. The pulley 2252 is positioned inside the grip 2254 as shown in Figure 29. The video cable 2248 that is connected to the camera 2210 may pass through the grip 2254 but is spaced from the pulley such that the video cable 2248 does not wind round the pulley. The video cable 2248 may be fed or retracted within the shaft as the tip bends to ensure the video cable does not disconnect when the tip 2206 bends.

[0260] Figure 30A and Figure 30B illustrate an example of the actuation system 2246 in operation. Referring to Figure 30A and 30B, the wire 2240 is wound onto the pulley 2252. The tab 2250 may be rotated in a first direction to tighten the wire and bend the tip and the tab 2250 may be rotated in a second direction to loosen the wire and straighten the tip. Moving the tab 2250 in a second direction may cause the tip to bend downward. The wire 2240 may be connected to the pulley 2252 by a wire coupler 2256. The wire coupler 2256 may be a clip. Alternatively the wire 2240 may be adhered to the wire coupler 2256. Figure 30A illustrates the actuator at a rest position. The tip 2206 is in a straight configuration as shown in Figure 30A.

[0261] Figure 30B illustrates the tip 2206 is bent. The bending 2242 may be bent due to the wire 2240 being pulled as the actuator 2250 is moved from a rest position. The actuator 2250 may be rotated. The movement of the actuator 2250 causes the pulley 2252 to rotate e.g., clockwise which winds the wire 2240 around the pulley. The wire 2240 is pulled tighter. As the wire is pulled, this pulls the tip 2206 upward as shown in Figure 30B. The actuator 2250 can be returned to a rest position by rotating in an anti clockwise direction, which causes the wire 2240 to loosen and the tip 2206 to move back to a straight configuration.

[0262] The actuator 2250 (e.g., the tab 2250) may optionally, include a locking mechanism that allows locking of the tip in a specific or desired bent configuration. The wire and the actuator may define an actuation system that can be used to adjust the configuration of the tip 2206 between a straight configuration and a bent or flexed configuration, as shown in Figure 25.

[0263] Figure 10 illustrates an example process of the balloon inflation for the cystoscope device 200, 1900, 2200, 2200. In phase I the balloon 212 is deflated. The cystoscope device 200 may be inserted into a patient’s bladder 102. At phase II a syringe or air pump is connected to the air inflation connector 230. At phase II a volume of 3ml to 15ml of air is pumped into the balloon 212 to inflate it. The syringe is disconnected once the balloon 212 is fully inflated in phase III. The inflated balloon 212 prevents the shaft 202 from being removed from the bladder 102. Both cystoscopy device embodiments (single camera or dual camera devices) can undergo the same balloon inflation process.

[0264] The cystoscope device 200, 1900, 2200 may comprise a balloon inflation valve 1000. The balloon inflation valve is adapted to controlled based on a pressure differential across the valve. Figure 10A illustrates an example of a valve 1000 that is used to control air to the balloon via the air inflation lumen 220 (i.e., air inflation channel) . The valve 1000 comprises a valve body 1002 and a moveable element 1004. The moveable element 1004 can move between an open position. The moveable element 1004 may be a diaphragm or a flap or poppet or other moveable element. In one example the valve 1000 may be non return valve to prevent air from the balloon leaking out.

[0265] Referring to Figure 10A the valve 1000 comprises source chamber 1010 and an inlet chamber 1012. The two chambers are fluidly coupled and the moveable element 1004 is disposed between the two chambers. The moveable element can 1004 when in a closed position, physically separates the two chambers and when in an open position partially separates the chambers but allows communication of air or fluid. The source chamber 1010 is upstream of the inlet chamber 1012 and open to ambient air or to an air source. The valve 1000 may be located in the air inflation connector 230.

[0266] In state A, a syringe (S) is connected to the air inflation connector 230 and to the source chamber 1010 of the valve 1000. Air is pumped or pushed through the valve 1000 into the air inflation lumen 220. As shown in Figure 10A, when the syringe S pushes air into the air inflation lumen 220 through the valve 1000, the pressure in the source chamber 1010 (P2) is higher than the pressure in the inlet chamber 1012 (P1) . If P2 -P1 is greater than a threshold pressure the moveable member 1004 opens and allows air to flow into the air inflation lumen. In state B, when the balloon is inflated the syringe S is disconnected. In this state P2-P1 is less than a threshold pressure, and therefore the moveable element 1004 closes as shown in Figure 10A. The moveable member 1004 being closed prevents or restricts air from leaking out and deflating the balloon. The moveable member 1004 may be biased toward the closed position and closes in state B because the differential pressure (P2-P1) is less than a threshold pressure (P threshold) . In state C to deflate the balloon, the syringe S is connected to the source chamber 1010 and is used to remove or pump out air. The balloon is deflated due to removal of the air. P1-P2 is greater than a threshold pressure and therefore the moveable member 1004 is open due to this differential pressure. Air can move out of the balloon through the valve to deflate the balloon.

[0267] Figure 11 illustrates the urine drainage process in three phases as applied by the cystoscope device 200, 1900, 2200. Phase I involves attaching a pressure source e.g., a syringe 1100 to the drainage connector 232. When the catheter is inside the bladder, the spigot on the drainage connector is turned open in Phase II. Urine will flow outside the bladder from the drainage channel, until the drainage is complete. Phase III shows the urine is completely drained from the bladder and the pressure source is removed. A pressure source e.g., a syringe may be optionally used to speed up the urine drainage process. The syringe may be used to draw out urine, as shown in Figure 11. Urine is drawn out once the balloon 212 is inflated inside the bladder. Both embodiments of cystoscopy device can implement the urine drainage process.

[0268] Figure 12 illustrates a process of bladder distention (i.e., bladder inflation) as applied by cystoscope device 200, 1900, 2200. When urine drainage is completed as per Figure 11, a pressure source, e.g., a syringe, is connected to the drainage connector and the stopcock (i.e., spigot) is turned open as shown in Phase I. Air may be pumped into the bladder 102 through the distal orifice 208. The air is pumped through the drainage lumen to inflate the bladder. Air may be pumped in via a syringe 1100 that is attached to the drainage connector 232 as indicated by the arrow labelled air. When the bladder is full inflated i.e., distended, the pressure source is removed and the stopcock is turned off to prevent air leakage as shown in Phase III. Depending on the procedure, the bladder could also be distended by other fluid, e.g., saline, and clean water, through the same channel. Both embodiments of cystoscopy device can implement the bladder distention process.

[0269] Figure 13 illustrates the cystoscope device 200 in use. Figure 13 illustrates the process of video examination of the bladder when the camera 210 is arranged as a side view. At first, when the device tip is inside the bladder, the distal balloon 210 is inflated. The shaft 202 is continuously rotated over 360 degrees as shown in phases I to phase IV of Figure 13. Through the rotation, the area covered by the camera’s field of view expand with overlapping area near the centre of the bladder dome. The camera may capture a video or images of an anterior part of the bladder. The balloon may be deflated and the shaft 202 may be retracted with a distance of the balloon width or until the bladder neck is seen in the camera view. The shaft 202 (i.e., catheter) is rotated over 360 degrees and the camera view will cover the proximal part of the bladder. The first scanning procedure is shown in phase I and phase II. The second procedure is shown in phase III and phase IV. After the two scanning procedures the video or images of the entire bladder are captured.

[0270] Figure 14 illustrates a video examination process when the camera 210 is located at the top and is in a front view orientation. As the catheter tip is curved, it will tilt the camera view angle. As the camera has a wide field of view and it covers the centre of the bladder dome. The bladder could be viewed partially near the anterior dome. The catheter is continuously rotated over 360 degrees. Through the rotation, the area covered by the camera field of view will expand with overlapping area near the centre of the bladder dome. As shown in Figure 14, two scanning procedures may be performed like Figure 13 to capture images or video of the entire bladder. Phase I and Phase II defines the first scanning procedure to scan the anterior part of the bladder. Phase III and Phase IV define scanning the bladder neck.

[0271] The image processing apparatus 300 may be implemented as a computing apparatus (or computer system or computer server) . The computing apparatus 300 may be implemented by any computing architecture, including portable computers, tablet computers, stand-alone Personal Computers (PCs) , smart devices, Internet of Things (IOT) devices, edge computing devices, client / server architecture, “dumb” terminal / mainframe architecture, cloud-computing based architecture, or any other appropriate architecture. The computing apparatus may be appropriately programmed to implement the invention.

[0272] Figure 15 illustrates a schematic diagram of a computing apparatus 300 which is arranged to be implemented as an example of an image processing apparatus as part of the cystoscopy system 100. In this example the computing apparatus 300 comprises suitable components necessary to receive, store and execute appropriate computer instructions. The components may include a processing unit 302, including Central Processing Unit (CPU) , Math Co-Processing Unit (Math Processor) , Graphic Processing Unit (GPUs) or Tensor Processing Unit (TPUs) for tensor or multi-dimensional array calculations or manipulation operations, one or more memory units e.g., a Read-Only Memory (ROM) 304, Random Access Memory (RAM) 306, and input / output devices such as disk drives 308. The apparatus may also include input devices 310 such as an Ethernet port, a USB port, etc. Optionally a display 312 e.g. a liquid crystal display, a light emitting display or any other suitable display. The computing apparatus 300 may include instructions that may be included in ROM 304, RAM 306 or disk drives 308 and may be executed by the processing unit 302.

[0273] There may be provided a communications link 314 (e.g., a wireless communication device) which may variously connect to one or more computing devices such as a server, personal computers, terminals, wireless or handheld computing devices, Internet of Things (IoT) devices, smart devices, edge computing devices. At least one of a plurality of communications link may be connected to an external computing network through a telephone line or other type of communications link.

[0274] The computing apparatus 300 may include storage devices such as a disk drive 308 which may encompass solid state drives, hard disk drives, optical drives, magnetic tape drives or remote or cloud-based storage devices. The computing apparatus 300 may use a single disk drive or multiple disk drives, or a remote storage service. The apparatus may also have a suitable operating system which resides on the disk drive or in the ROM of the computing apparatus 300.

[0275] The computing apparatus may also provide the necessary computational capabilities to operate or to interface with a machine learning network, such as a neural network, to provide various functions and outputs. The neural network may be implemented locally, or it may also be accessible or partially accessible via a server or cloud-based service. The machine learning network may also be untrained, partially trained or fully trained, and / or may also be retrained, adapted or updated over time. The computing apparatus may comprise one or more GPUs being operatively coupled to the CPU (i.e., processor) . The computing apparatus may comprise additional hardware elements operatively coupled to the CPU and / or the GPU to provide the computing apparatus components needed to implement a machine learning network or machine learning model. The learning network or model may be stored in a memory unit e.g., ROM.

[0276] The image processing apparatus 300 may execute a machine learning network to detect any abnormal pathologies insider the bladder, prostate or urethra. The machine learning network may be a deep learning neural network (DNN) such as for example a You-Only-Look-Once (YOLO) . A bladder lesion dataset may be used to train the DNN to detect bladder tumour, bleeding, bladder scar, cystitis, etc. All photos and videos can be captured manually through a user interface, such as buttons, touch screen, and keyboard, or automatically, and they can be saved to a cloud platform as data collection. After the examination, a report containing the captured images and text can be generated by the software. Figure 16 illustrates an example of the YOLO model 1600. A YOLO model 1600 is used as it supports computer vision tasks including classification, detection, segmentation, pose estimation etc. Due to its high application flexibility, great performance, and fast processing speed, it has been selected to benchmark our preliminary bladder cancer segmentation.

[0277] Referring to Figure 16, the YOLO model 1600 comprises three main components: Backbone 1602, Neck 1604, and Head 1606. Backbone 1602 is configured for extracting feature from input images; Neck is configured for feature fusion in high-dimensional space after passing through backbone; Head is configured for generating output result by utilizing the fused features provided from the Neck module. The YOLOv11 platform may be implemented on Pytorch 1.10.1 and Windows using for example a NVIDIA RTX 3060 Graphics Processing Unit (GPU) .

[0278] The YOLO model is one example DNN that may be used. Other DNN models are contemplated such as for example TensorFlow or Mask R-CNN or EfficietDet or any other suitable DNN. The image processing apparatus 300 may be programmed to utilise any appropriate DNN to detect abnormalities from the images captured by the camera 210 or cameras 1910, 1912. The YOLO model may also be used to process images captured from camera 2210 in cystoscopy device 2200.

[0279] In one example a dataset containing 714 images were used. The dataset was randomly divided into two parts. The first set contains 574 images for training, and the remaining 140 images are used as the validation set to select the best training model. The method used by the model is image segmentation, which can be formulated as the problem of classifying pixels with semantic labels. During the labelling process, pixel-level labelling with a set of object categories is needed. During training, the hyperparameters were set as epoch 100, batch size 16, initial learning rate 0.01, momentum 0.937, and weight attenuation coefficient 0.0005. Images were resized to 360x360 pixels before feeding them into the model. Mosaic data augmentation method was used to enrich the features and improve robustness.

[0280] To quantitatively evaluate the performance of the training results, three metrics were used as the object detection evaluation criteria: precision, recall, and F1 score. The metrics were calculated as follows:

[0281] where True Positive (TP) and False Positive (FP) denote the numbers of correct and incorrect pixels, respectively. False Negative (FN) denotes the number of all true cases not detected by the network model. Precision effectively describes the purity of positive detections relative to the ground truth. The higher the precision, the stronger the model's ability to distinguish negative samples. Recall describes the completeness of positive detections relative to the ground truth. The higher the recall, the stronger the model's ability to identify positive samples. F1 is defined as the harmonic mean of the precision and recall, to better evaluate the performance of the training result. The higher the F1-score, the more robust the model is.

[0282] The image processing apparatus 300 may use a YOLO model with an accuracy of 0.894. Figure 17 illustrates an example of bladder cancer detection with the DNN. Plot 1700 is a plot of the accuracy of the DNN when performing bladder cancer detection. As can be seen in Figure 17, the accuracy of the tested DNN is 0.894.

[0283] Figure 20 illustrates example screen shots from the camera. Screenshot 2000 illustrates an image from a video stream recorded by the camera incorporated into the cystoscopy device 200, 1900 or the camera 2210 from cystoscopy device 2200. The screenshot 2000 illustrates a cancerous growth 2002 visible within the image. The circular outline indicates the boundary of the camera lens. Screenshot 2010 illustrates the output from the AI model 1600 (i.e., an output from the YOLO model 1600) . As can be seen in screenshot 2010, the cancerous growth 2002 is identified by the model 1600 and a bounding box 2012 is presented around the growth 2002. The screenshot 2002 may be presented on the display 312. Optionally, any report may also indicate the identified abnormalities. The use of the AI model makes it easier for a non-specialist e.g., a GP, primary care physician or a nurse to use the cystoscopy system and cystoscopy device to perform a cystoscopy procedure and identify abnormalities that are detected. The system 100 automatically detects and highlights any abnormalities that are detected, reducing the need for specialist urologists to interpret the images or video. This is advantageous as the cystoscopy device and system are more widely usable in a wider range of clinical settings without the need for specialists for the cystoscopy procedure.

[0284] Figure 18 illustrates a cystoscopy method 1800. The cystoscopy method 1800 may be executed by using the cystoscopy system 100 and the cystoscopy device 200 or cystoscopy device 2200. The method commences at step 1802. Step 1802 comprises inserting the cystoscopy device 200 through the urethra after proper sterilization and other medical preparations. The image processing apparatus 300 may be switched on. Step 1804 comprises inflating a distal balloon 212 through the air inflation lumen with an air volume between 3ml and 15ml. Step 1806 comprises retracting the shaft 202 (i.e., catheter) until resistance is felt. Step 1808 comprises opening the valve by actuating the stopcock (i.e., spigot) to drain urine out of the bladder. Step 1810 comprises connecting the drainage lumen to an external pressure source e.g., a syringe to pump air into the bladder to distend the bladder. Step 1812 comprises turning off the drainage lumen by actuating the stopcock (i.e., spigot) . Step 1814 comprises capturing a video or images of the inner bladder by rotating the shaft 202 for at least 360 degrees. Step 1816 comprises deflating the distal balloon by applying a negative pressure to the air inflation lumen. Step 1818 comprises retracting the shaft 202 by the width of the balloon or until the bladder neck is visible in the captured videos or images. Step 1820 comprises rotating the shaft for at least 360 degrees to capture a video or images of the bladder neck. Step 1822 comprises retracting the shaft to inspect the urethra and / or prostate. Step 1824 comprises generating a report, by the image processing apparatus, based on the captured video or captured images. Step 1824 may be performed after the cystoscopy device is totally withdrawn from the patient. Step 1826 comprises switching off the camera and disposing of the cystoscopy device.

[0285] The method 1800 may be performed or executed by a user using the cystoscopy device 2200 illustrated in Figures 22 to 26. When using the cystoscopy device 2200 the method 1800 may comprise an additional step of bending the tip into an appropriate configuration to orient the camera into a position to capture images of the desired regions of the urethra or prostate or other parts of the lower urinary tract. The tip can be bent by actuating a wire in the actuation system 2246. The wire 2240 may be pulled or pushed to bend or straighten the tip. The bending region will flex and bend to move the tip relative to the longitudinal axis of the shaft. Bending the tip allows for improved orientation of the camera 2210 in use. The actuation system 2246 including the wire 2240 allows an experienced user to bend the tip and orient the camera to a desired position thereby allowing for improved image capture of the lower urinary tract.

[0286] The cystoscopy device 200, 1900, 2200 function as a cystoscope to capture images of the lower urinary tract of a patient. The cystoscopy device is advantageous because it has a simple design that means the device can be easily inserted into a patient’s lower urinary tract without the need for the specialist urologist skillset. The described cystoscopy device also requires minimal setup which makes it easy to adopt in a clinical setting. The cystoscopy device 200, 1900, 2200 is a single-use device that avoids the need of sterilisation, which can be difficult to achieve in the clinic setting. The cystoscopy device 200, 1900, 2200 adopts a simple design that can be inserted into the bladder for evaluation of the lower urinary tract with minimal skillset (e.g. with a curve-tip and a wide-angle, side-view camera, the whole bladder can be visualised by a simple 360-degree rotation of the catheter) .

[0287] The cystoscopy system 100 incorporates an AI model (i.e., a machine learning network) such as a DNN that is trained to identify abnormal pathologies and present it. The DNN such as a YOLO model may empower primary care physicians and nurses to evaluate for any abnormalities or pathologies in the lower urinary tract. The cystoscopy system 100 and the cystoscopy device 200, 1900, 2200 is advantageous because it allows a point-of-care testing which can expediate the diagnostic pathway of patients presenting with haematuria. The system 100 and cystoscopy device 200, 1900, 2200 allows cystoscopy procedures to be performed at primary care facilities and do not require the need to perform the procedure under hospital setting and the need to purchase expensive cystoscopes. The cystoscopy device 200, 1900, 2200 provides a much cheaper alternative than conventional cystoscopy device.

[0288] The cystoscopy device 2200 allows for improved image capture since the camera can be oriented in multiple different orientations by actuating the wire 2240 to bend the tip. Bending the tip between various degrees of bending allows a user to orient the camera. The tip can be bent to allow the camera to do a sweep or a moving capture of the lower urinary tract anatomy. The cystoscopy device 2200 can be used as part of the cystoscopy system where the AI Model such as a DNN can be used to process the captured images and identify abnormal pathologies. The device 2200 allows for more images and more images are different angles to be captured. The YOLO model 1600 as described can be used to process the images or video captured by camera 2210 of cystoscopy device 2200. The YOLO model can identify abnormalities in the images or video. The bendable tip 2206 of the device 2200 allows for more images, which in turn improves the performance of the YOLO model to identify specific abnormalities in the lower urinary tract.

[0289] The features within the various embodiments may be used within any embodiment described herein. For example, the flexible distal region 2204 may be applied or included in the embodiment 200, 1900 described herein. The handle structure 2260 shown in Figure 22 may also be applied or used with any of the embodiments 200, 1900. The embodiments 200, 1900 illustrate a pre-bent tip configuration. Embodiment 2200 described herein illustrates a flexible tip configuration. The flexible tip meaning the tip can be bent by a user.

[0290] The cystoscopy system and cystoscopy device are configured for use in cystoscopy procedures i.e., for scoping or capturing video or images of a urinary tract of a patient. Alternatively, the urinary catheter i.e., the multi lumen shaft may be adapted to be inserted into a patient via the anus or vagina in addition to the urethra. The cystoscopy device may be used as an endoscope to capture images or used for scoping procedures in other lower body orifices of a patient e.g., for scoping the uterus or scoping the anal passage

[0291] Although not required, the embodiments described with reference to the Figures can be implemented as an application programming interface (API) or as a series of libraries for use by a developer or can be included within another software application, such as a terminal or personal computer operating system or a portable computing device operating system. Generally, as program modules include routines, programs, objects, components and data files assisting in the performance of particular functions, the skilled person will understand that the functionality of the software application may be distributed across a number of routines, objects or components to achieve the same functionality desired herein.

[0292] It will also be appreciated that where the methods and systems of the present invention are either wholly implemented by computing system or partly implemented by computing systems then any appropriate computing system architecture may be utilised. This will include stand alone computers, network computers and dedicated hardware devices. Where the terms “computing system” and “computing device” are used, these terms are intended to cover any appropriate arrangement of computer hardware capable of implementing the function described.

[0293] It will be appreciated by persons skilled in the art that numerous variations and / or modifications may be made to the invention as shown in the specific embodiments without departing from the spirit or scope of the invention as broadly described. The present embodiments are, therefore, to be considered in all respects as illustrative and not restrictive.

Claims

1.A cystoscopy device comprising:a multi lumen shaft terminating at a tip;a first camera integrated into a distal region of the shaft, wherein the camera is positioned adjacent the tip or at the tip;a distal orifice formed within the distal region of the shaft, wherein the distal orifice is in fluid communication with one or more lumens defined within the shaft;an inflatable and deflatable balloon located adjacent the distal region, and the balloon arranged in fluid communication with one lumen of the shaft; and,wherein the camera is configured to capture one or more static images or a video stream of a lower urinary tract of a patient during a cystoscopy procedure.2.The cystoscopy device of claim 1, wherein the distal region is curved, and the camera is positioned on an outer surface of the curve.3.The cystoscopy device of claim 2, wherein the camera is positioned on a dorsal side of distal region.4.The cystoscopy device of claim 2, wherein the camera is positioned at a ventral side of the distal region.5.The cystoscopy device of any one of claims 1 to 4 wherein the camera is a wide-angle camera.6.The cystoscopy device of claim 1 comprising:an air inflation connector;a drainage connector;an electronic connector;wherein the air inflation connector, the drainage connector and the electronic connector are located at a proximal end of the shaft;wherein the multi lumen shaft comprises at least an air inflation lumen, a drainage lumen, and an electronics lumen;wherein the air inflation connector is fluidly coupled to the air inflation lumen;wherein the drainage connector is fluidly coupled to the drainage lumen; and,wherein the electronic connector is in communication with the electronics lumen.7.The cystoscopy device of any one of claims 1 to 6, wherein the multi lumen shaft is rotatable through 360 degrees inside a lower urinary tract of a patient, wherein rotation of the shaft causes the camera to capture images or a video of the interior of the bladder of the patient.8.The cystoscopy device of claim 7, wherein a field of view of the camera is directed outward from the multi lumen shaft, wherein the field of view of the camera covers a neutral axis of the shaft, and; wherein the 360-degree rotation of the shaft allows the camera to capture a video or images of the entire interior of the bladder of the patient.9.The cystoscopy device of any one of claims 1 to 8, wherein the multi lumen shaft is inserted into a bladder beyond the bladder neck, wherein in use the multi lumen shaft is adapted to be rotated through 360 degrees to capture a video or images of an anterior part of the bladder,wherein the shaft is adapted to be extracted until the bladder neck or by a width of an uninflated balloon, and;wherein the shaft being rotated through 360 degrees a second time to capture a video or images of a proximal part of the bladder.10.The cystoscopy device of any one of claims 1 to 9, comprising a second camera, wherein the second camera is positioned on a distal region on an opposing side to the first camera and the second camera is downstream of the balloon.11.The cystoscopy device of claim 10, wherein the second camera is positioned on the ventral side of the distal region or a dorsal region of the distal region, wherein the second camera is located on an opposing region of the distal region to the first camera.12.The cystoscopy device of claim 11, wherein the first camera and second camera are oriented on the shaft such that their fields of view, point outwardly from the shaft.13.The cystoscopy device of any one of the preceding claims, wherein the multi lumen shaft includes an indicator disposed on the shaft, wherein the indicator indicates a direction of the distal orifice and / or direction of the camera.14.The cystoscopy device of any one of the preceding claims, wherein the tip defines a distal end of the multi lumen shaft, and the tip comprises a round profile and the tip is blunt.15.The cystoscopy device of any one of the preceding claims, wherein the multi lumen shaft is formed from a soft biocompatible material such that the shaft is substantially flexible or resilient.16.The cystoscopy device of any one of the preceding claims comprising a valve, the valve being positioned in the drainage lumen, the valve being moveable between an open position and a closed position, wherein when in an open position fluid can be passed into or out of the drainage lumen and when in a closed position the drainage lumen is sealed and prevents fluid passage into or out of the drainage lumen.17.The cystoscopy device of claim 16, wherein the valve is positioned in the drainage connector, and the drainage connector comprising a stopcock that is mechanically attached to the valve and the stopcock being manipulable to move the valve between the open position and a closed position.18.The cystoscopy device of any one of the preceding claims, wherein the first camera is positioned such that the first camera has a field of view of over 60 degrees.19.The cystoscopy device of any one of the preceding claims, wherein the tip is curved away from a longitudinal axis of the shaft, and wherein the tip is curved at 45 degrees or less and wherein the tip is preformed in a curved orientation.20.The cystoscopy device of any one of the preceding claims comprising an inertial measurement unit (IMU) positioned in a distal region of the shaft, wherein the IMU is located downstream of the balloon, and; the IMU configured to detect rotation of the catheter.21.The cystoscopy device of any one of the preceding claims wherein the cystoscopy device is a single use device.22.A cystoscopy system for inspecting a patient’s lower urinary tract comprising:a cystoscopy device, the cystoscopy device comprising:a multi lumen shaft terminating at a tip;a first camera integrated into a distal region of the shaft, wherein the camera is positioned adjacent the tip or at the tip;a distal orifice formed within the distal region of the shaft, wherein the distal orifice is in fluid communication with one or more lumens defined within the shaft;an inflatable and deflatable balloon located adjacent the distal region, and the balloon arranged in fluid communication with one lumen of the shaft;wherein the camera is configured to capture one or more static images or a video stream of a lower urinary tract of a patient during a cystoscopy procedure; and,an image processing apparatus configured to receive images or video captured by the first camera, wherein the image processing apparatus is configured to process the received images or video and identify one or more abnormal pathologies insider the lower urinary tract of the patient.23.The cystoscopy system of claim 22, wherein the cystoscopy device is a cystoscopy device of any one or more of claims 1 to 21 or 26 to 29 or the cystoscopy device is device of any one of claims 31 to 43.24.The cystoscopy system of claim 23, wherein the cystoscopy device comprises a communication module electrically coupled to the first camera and / or the second camera, wherein the communication module is configured to wirelessly transmit the captured images or video to the image processing apparatus,the image processing apparatus includes a memory unit and a processor, the processor and the memory unit being operatively coupled to each other, and;wherein the image processing apparatus includes a trained AI model that is stored in a memory unit and executed by the processor or wherein the image processing apparatus is configured to communicate with a cloud computing system that includes a trained AI model, and;wherein the received images or video being processed by the AI model to identify the one or more abnormal pathologies in the lower urinary tract of the patient.25.The cystoscopy system of claim 24, wherein the AI model is a YOLO deep neural network that includes a backbone, neck and head, wherein the backbone is configured to extract features from the input images, wherein the neck is configured for feature fusion in high dimensional space, and wherein the head is configured to generate an output based on the fast fused features from the neck.26.The cystoscopy device of claim 1, comprising a bending region defined in the distal region, wherein the bending region can be bend or flexed relative to the shaft to adjust the position of the tip.27.The cystoscopy device of claim 26, comprising an actuation system operatively coupled to the distal region and wherein actuating the actuation system causes the distal region to bend relative to the body of the shaft such that the camera orientation can be adjusted between a bent configuration and a straight configuration.28.The cystoscopy device of claim 27, wherein the actuation system comprising a wire attached to or coupled to an attachment point in the bending region, the wire further coupled to an actuator, the actuator being manually manipulable, wherein manipulating the actuator causes the wire to be pulled or pushed through a lumen in the shaft, and wherein pulling the wire causes the tip to be bent and pushing the wire causes the tip to be straightened.29.The cystoscopy device of claim 28, wherein adjusting the actuator causes the wire to be pulled or pushed thereby causing pulling or pushing of the bending region, wherein pulling the wire cause the bending region to bend causing the tip to move to a bent or flexed configuration and pushing the wire cause the bending region to straighten causing the tip to be in a straight configuration.30.The cystoscopy device of claim 28, comprising a locking mechanism is operatively coupled to the wire, wherein the locking mechanism is configured to lock the tip in a bent configuration.31.A cystoscopy device comprising:a multi lumen shaft terminating at a tip;a camera positioned adjacent the tip or at the tip and the camera being disposed within the shaft;an inflatable and deflatable balloon located adjacent a distal region, and the balloon arranged in fluid communication with one lumen of the shaft;wherein the camera is configured to capture one or more static images or a video stream of a lower urinary tract of a patient during a cystoscopy procedure,an actuation system operatively coupled to the distal region and wherein actuating the actuation system causes the distal region to bend relative to the body of the shaft such that the tip can be adjusted between a bent configuration and a straight configuration, wherein the camera is configured to capture one or more static images or a video stream of a lower urinary tract of a patient during a cystoscopy procedure, and;the tip being adjusted by the actuation system to orient the camera into an operative position to capture the one or more static images or the video stream of a lower urinary tract of a patient during a cystoscopy procedure.32.The cystoscopy device of claim 31, wherein the tip is bendable relative to a longitudinal axis of the shaft.33.The cystoscopy device of claim 31 or 32, comprising a bending region defined in the distal region, wherein the bending region can be bend or flexed relative to the shaft to adjust the position of the tip.34.The cystoscopy device of claim 33, wherein the bending region is formed from a softer material than the tip such that the bending region can flex.35.The cystoscopy device of any one of claims 31 to 34, wherein the tip may be bent up to 180 degrees relative to the longitudinal axis such that the tip is substantially parallel to the longitudinal axis of the shaft.36.The cystoscopy device of any one of claims 31 to 34, wherein the tip is bendable between 0 degrees and 90 degrees relative to a longitudinal axis of the shaft, and wherein at 0 degrees the tip is straight relative to the shaft.37.The cystoscopy device of any one of claims 31 to 36, wherein the actuation system comprising a wire attached to or coupled to an attachment point in the bending region, the wire further coupled to an actuator, the actuator being manually manipulable, wherein manipulating the actuator causes the wire to be pulled or pushed through a lumen in the shaft, and wherein pulling the wire causes the tip to be bent and pushing the wire causes the tip to be straightened.38.The cystoscopy device of claim 37, wherein adjusting the actuator causes the wire to be pulled or pushed thereby causing pulling or pushing of the bending region, wherein pulling the wire cause the bending region to bend causing the tip to move to a bent or flexed configuration and pushing the wire cause the bending region to straighten causing the tip to be in a straight configuration.39.The cystoscopy device of any one of claims 31 to 38, comprising a locking mechanism is operatively coupled to the wire, wherein the locking mechanism is configured to lock the tip in a bent configuration.40.The cystoscopy device of claim 37, wherein the multi lumen shaft comprising:a urine drainage lumen,a balloon lumen,a video and wire lumen,the lumens being isolated from each other,the urine drainage lumen defining an irrigation channel and configured to drain urine through it in use,the video and wire lumen defining a passage for the wire of the actuation system and a video cable that is operatively coupled to the camera.41.The cystoscopy device of claim 37, wherein the actuator comprises a figure manipulable tab.42.The cystoscopy device of claim 41, wherein the actuation system comprises a pulley, the tab is connected to the pulley, wherein moving the tab in a first direction causes the pulley to rotate in the first direction and wind the wire thereby causing the tip to bend, and moving the tab in a second direction causes the pulley to move in a second direction and unwind or loosen the wire thereby causing the tip to straighten.43.The cystoscopy device of claim 31 wherein the shaft comprises an operative length of 345mm and an outer diameter of 5mm.44.A cystoscopy system for inspecting a patient’s lower urinary tract comprising:a cystoscopy device comprising:a multi lumen shaft terminating at a tip;a camera positioned adjacent the tip or at the tip and the camera being disposed within the shaft;an inflatable and deflatable balloon located adjacent a distal region, and the balloon arranged in fluid communication with one lumen of the shaft;wherein the camera is configured to capture one or more static images or a video stream of a lower urinary tract of a patient during a cystoscopy procedure,an actuation system operatively coupled to the distal region and wherein actuating the actuation system causes the distal region to bend relative to the body of the shaft such that the tip can be adjusted between a bent configuration and a straight configuration, wherein the camera is configured to capture one or more static images or a video stream of a lower urinary tract of a patient during a cystoscopy procedure, and;the tip being adjusted by the actuation system to orient the camera into an operative position to capture the one or more static images or the video stream of a lower urinary tract of a patient during a cystoscopy procedure,an image processing apparatus configured to receive images or video captured by the first camera, wherein the image processing apparatus is configured to process the received images or video and identify one or more abnormal pathologies inside the lower urinary tract of the patient.45.The cystoscopy system of claim 44, wherein the cystoscopy device comprises a communication module electrically coupled to the camera, wherein the communication module is configured to wirelessly transmit the captured images or video to the image processing apparatus, the image processing apparatus includes a memory unit and a processor, the processor and the memory unit being operatively coupled to each other, and;wherein the image processing apparatus includes a trained AI model that is stored in a memory unit and executed by the processor or wherein the image processing apparatus is configured to communicate with a cloud computing system that includes a trained AI model, and;wherein the received images or video being processed by the AI model to identify the one or more abnormal pathologies in the lower urinary tract of the patient.46.The cystoscopy system of claim 45, wherein the AI model is a YOLO deep neural network that includes a backbone, neck and head, wherein the backbone is configured to extract features from the input images, wherein the neck is configured for feature fusion in high dimensional space, and wherein the head is configured to generate an output based on the fast fused features from the neck.47.The cystoscopy system of claim 44, wherein the cystoscopy device is a cystoscopy device according to any one of claims 31 to 43.

Images