Trackside equipment monitoring method and system

Abstract

A computer implemented method, system and software medium provides automated monitoring of trackside equipment proximate a railway vehicle in a railway network. An input stream of images from a railway vehicle travelling on a journey is received. Image stream segments are extracted, comprising images between predetermined locations. Extraction includes estimating the speed of the railway vehicle as it captures successive image frames in the input stream of images between said predetermined locations. Trackside equipment within the image stream segments relevant frame (s) and relative positions with said frame (s) are identified using trained object recognition models; together with the estimated speed of the vehicle when images in the image stream were acquired. A reference trackside equipment map between predetermined locations can be generated. Subsequent image streams can be compared to determine if equipment has moved, is absent or is new.

Description

TRACKSIDE EQUIPMENT MONITORING METHOD AND SYSTEM

[0001] FIELD OF THE DISCLOSURE

[0002] The present disclosure relates to a method and system for monitoring trackside infrastructure / equipment in a railway system using video analysis.

[0003] BACKGROUND OF THE DISCLOSURE

[0004] Trackside equipment such as signalling systems, radio access points, fire control systems, train operation sensors and the like play a vital role in safely operating a modern railway system in a safe and efficient manner to provide transportation services for people and goods throughout a railway system.

[0005] These items of trackside equipment may fall into categories such as civil structures, power distribution infrastructure; environmental control system infrastructure; signalling and telecommunication system infrastructure; station facilities; and commercial and advertising equipment.

[0006] Such equipment has to operate in a demanding environment, and is subjected to harsh environmental conditions from external factors such as weather conditions and vibration and air displacement caused by the operation of the railway vehicles themselves. Consequently, such equipment is at risk of failure and such failure may be associated with potentially catastrophic outcomes.

[0007] At present, visual inspection of trackside equipment is performed during non-operational hours, especially for trackside equipment in tunnels. To carry out an inspection service personnel walk the tracks to visually ascertain the status of trackside equipment and whether it has been dislodged or moved from its correct position.

[0008] Especially in tunnels, equipment of numerous types needs to be inspected under relatively dim lighting conditions. Small displacements or dislocations are therefore difficult to detect. Typically, this inspection rarely involves consideration of overhead equipment as it is difficult to monitor this for the patrolling personnel. Trip hazards in the dim conditions pose a constant threat to inspection personnel. Furthermore, once an item of dislodged equipment is located; it is a cumbersome procedure to log this dislodged equipment -typically the procedure in most railway systems is that the patrolling personnel will radio an operator and describe the nature of the issue, which may be difficult to precisely locate and / or identify.

[0009] Accordingly, despite the importance of monitoring the condition and location of trackside equipment in a railway system, and especially in a tunnel, the current inspection approach is time consuming, and potentially risky for the personnel involved.

[0010] It is an object of the present disclosure to provide an automated video analysis-based system which address or at least ameliorates at least some of the disadvantages associated with the current approach.

[0011] SUMMARY OF THE DISCLOSURE

[0012] Features and advantages of the disclosure will be set forth in the description which follows, and in part will be obvious from the description, or can be learned by practice of the herein disclosed principles. The features and advantages of the disclosure can be realized and obtained by means of the instruments and combinations particularly pointed out in the appended claims.

[0013] In accordance with a first aspect of the present disclosure, there is provided a computer implemented method of ascertaining trackside equipment proximate a railway vehicle in a railway network; the method comprising:

[0014] receiving an input stream of images captured by an image acquisition unit on the railway vehicle travelling on a journey on said railway network;

[0015] extracting image stream segments from said input stream; said segments comprising images from the input stream between predetermined locations on said railway network; wherein said extraction includes estimating the speed of the railway vehicle as it captures successive image frames in the input stream of images between said predetermined locations;

[0016] identifying trackside equipment within the image stream segments relevant frame (s) and relative positions with said frame (s) using trained object recognition models;

[0017] generating a reference trackside equipment map for identified equipment in the image stream segments between said predetermined locations.

[0018] The estimating of said speed may be performed by:

[0019] approximating the instantaneous speed between successive frames by determining the Euclidean distance between key points thereof;

[0020] identifying predetermined locations in some of said image frames by image processing using trained machine learning models;

[0021] calibrating the speed by analysing the predicted instantaneous speed and a known distance between the predetermined locations.

[0022] Preferably the identifying trackside equipment within relevant frame (s) and relative positions of said frame (s) in the image stream segments is performed using object detection and tracking machine learning models.

[0023] Each identified item of trackside equipment in an image segment may be assigned a unique identification number.

[0024] The reference map of trackside equipment generated preferably includes for each identified trackside equipment a unique identification number, type, start frame, end frame and position within said start frame and end frame and identified station in the railway network.

[0025] In a further aspect additional steps may be performed comprising:

[0026] acquiring a further input stream of images captured by an image acquisition unit by a railway vehicle travelling on a subsequent journey on said railway network;

[0027] extracting image stream segments from said further input stream; said segments comprising images from the further input stream between predetermined locations on said railway network spaced apart by a predetermined distance; wherein said extraction includes estimating the speed of the railway vehicle as it captures successive image frames in the further input stream of images between said predetermined locations;

[0028] identifying trackside equipment within the further image stream segments relevant frame (s) and relative positions with said frame (s) using trained object recognition models;

[0029] matching identified trackside equipment with corresponding trackside equipment identified in the image stream segment by aligning the images of the further input stream segment and corresponding images of the image stream segments;

[0030] comparing the identified trackside equipment from input stream segments from said subsequent journey with the matching trackside equipment in corresponding segments of the image stream from which the generated reference map is derived;

[0031] evaluating differences between trackside equipment identified from frames in the subsequent journey image segments and corresponding trackside equipment depicted in frames of the image segments; and

[0032] alerting the user if differences in excess of a predefined threshold for one or more parameters are detected.

[0033] The matching the identified trackside equipment from input stream segments from said subsequent journey with the trackside equipment in corresponding segments from which the generated reference map is derived may be performed by:

[0034] identifying for an item of trackside equipment from an input stream segment from said subsequent journey the start and end time in that segment for that item of trackside equipment;

[0035] estimating the corresponding start and end time in the corresponding segment for the item of trackside equipment from said journey using the ratio of the instantaneous speed for the subsequent journey and the journey;

[0036] aligning the relevant frames for the trackside equipment from the journey and the subsequent journey by extracting features by computing inexact global frame alignment and then performing local frame alignment.

[0037] selecting the matching equipment as the matching reference equipment for the identified equipment from the segments from which the generated reference map is derived.

[0038] Advantageously, the similarity of global inexact frame alignment may be evaluated by confidence score from a machine learning model for image alignment and the Euclidean distance of the key matched points.

[0039] The similarity of local frame alignment may be evaluated by the mean of absolute difference between the two image frames.

[0040] Prior to evaluating the mean of absolute difference between the two image frames, histogram matching may be performed.

[0041] The matching of identified trackside equipment in the image stream of the subsequent journey with corresponding trackside equipment in the images of the image stream segments from which the generated reference map may be derived once said images have been aligned by:

[0042] determining bounding boxes of the identified equipment in the images of the subsequent image stream and bounding boxes for all reference equipment in the corresponding aligned images of the video stream;

[0043] comparing the intersection over union (IoU) for each equipment in the aligned images of the video stream with the identified equipment in the subsequent image stream;

[0044] selecting the matching equipment with the maximum IoU as the matching reference equipment for the identified equipment.

[0045] The evaluation of differences may include evaluating if any one or more of changes in geometry changes; or structure changes and / or changes exceed in predefined threshold (s) .

[0046] The evaluation of any geometry changes may include an evaluation of any one or more of Intersection over union (IoU) ; or vertical displacement and horizontal displacement; and optionally any structure changes are evaluated by the multiplication of the key points matching score and Euclidean distance between matched points;

[0047] and optionally any color changes are evaluated based on similarity using pHash.

[0048] In a further aspect there is a computer implemented system for ascertaining trackside equipment proximate a railway vehicle in a railway network; the system comprising:

[0049] an image acquisition unit on the railway vehicle for capturing an input stream of images during a journey on said railway network;

[0050] one or more processors configured to provide:

[0051] a video segmentation module for extracting image stream segments from said input stream; said segments comprising images from the input stream between predetermined locations on said railway network;

[0052] a speed determination module for estimating the speed of the railway vehicle as it captures successive image frames in the input stream of images on the journey between said predetermined locations;

[0053] an object detecting and tracking module for identifying trackside equipment within the image stream segments relevant frame (s) and relative positions with said frame (s) using trained object recognition models;

[0054] a map generating module for generating a reference trackside equipment map for identified equipment in the image stream segments between said predetermined locations.

[0055] Preferably, the speed determination module estimates said speed by

[0056] approximating the instantaneous speed between successive frames by determining the Euclidean distance between key points thereof;

[0057] identifying predetermined locations in some of said image frames by image processing using trained machine learning models;

[0058] calibrating the speed by analysing the predicted instantaneous speed and a known distance between the predetermined locations.

[0059] Advantageously, object detection and tracking machine learning models are configured to identify trackside equipment within relevant frame (s) and relative positions of said frame (s) in the image stream segments.

[0060] Preferably each identified item of trackside equipment in an image segment is assigned a unique identification number.

[0061] The reference map of trackside equipment generated may include for each identified trackside equipment type of trackside equipment, start frame, end frame and position within said start frame and end frame and identified station in the railway network.

[0062] In a further aspect the computer implemented system for ascertaining trackside equipment proximate a railway vehicle in a railway network may include:

[0063] an image acquisition unit on a railway vehicle travelling on a subsequent journey in the railway network captures a further input stream of images at least between said pre-determined locations;

[0064] a video segmentation module for extracting image stream segments from said further input stream; said segments comprising images from the further input stream between predetermined locations on said railway network spaced apart by a predetermined distance; wherein said extraction includes estimating the speed of the railway vehicle as it captures successive image frames in the further input stream of images between said predetermined locations;

[0065] an object detecting and tracking module for identifying trackside equipment within the further image stream segments relevant frame (s) and relative positions with said frame (s) using trained object recognition models;

[0066] an alignment module for aligning the images of the further input stream segment and corresponding images of the image stream segments for matching identified trackside equipment with corresponding trackside equipment identified on the reference map;

[0067] an equipment comparison module for comparing the identified trackside equipment from input stream segments from said subsequent journey with the matching trackside equipment in corresponding segments of the generated reference map;

[0068] an equipment comparison module for evaluating differences between trackside equipment identified from frames in the subsequent journey image segments and corresponding trackside equipment depicted in frames of the image segments; and

[0069] an alert module for alerting the user if differences in excess of a predefined threshold are detected.

[0070] The equipment comparison module may be configured to perform an evaluation of differences including evaluating if any one or more of geometry changes; structure changes and color changes exceed predefined threshold (s) .

[0071] The evaluation of any geometry changes by the equipment comparison module may include an evaluation of any one or more of Intersection over union (IoU) ; or vertical displacement and horizontal displacement; and

[0072] optionally any structure changes are evaluated by the multiplication of the key points matching score and Euclidean distance between matched points;

[0073] and optionally any color changes are evaluated based on similarity using pHash.

[0074] Preferably the alignment module is configured for:

[0075] identifying for an item of trackside equipment from an input stream segment from said subsequent journey the start and end time in that segment for that item of trackside equipment;

[0076] estimating the corresponding start and end time in the corresponding segment for the item of trackside equipment from said journey using the ratio of the instantaneous speed for the subsequent journey and the journey;

[0077] aligning the relevant frames for the trackside equipment from the journey and the subsequent journey by extracting features by computing inexact global frame alignment and then performing local frame alignment.

[0078] The alignment module may be configured for evaluating the similarity of global inexact frame alignment using a confidence score from a machine learning model for image alignment and the Euclidean distance of the key matched points.

[0079] Optionally, the alignment module is configured for evaluating the similarity of local frame alignment using the mean of absolute difference between the two image frames.

[0080] Preferably, the alignment module is configured to perform histogram matching prior to evaluating the mean of absolute difference between the two image frames.

[0081] The equipment comparison module may be configured for:

[0082] matching of identified trackside equipment in the image stream of the subsequent journey with corresponding trackside equipment in the images of the image stream segments from which the generated reference map is derived once said images have been aligned by:

[0083] determining bounding boxes of the identified equipment in the images of the subsequent image stream and bounding boxes for all reference equipment in the corresponding aligned images of the video stream;

[0084] comparing the intersection over union (IoU) for each equipment in the aligned images of the video stream with the identified equipment in the subsequent image stream; and

[0085] selecting the matching equipment with the maximum IoU as the matching reference equipment for the identified equipment.

[0086] In a further aspect there is provided A computer readable medium configured to store instructions which, when executed by a processor cause the processor to perform the method described herein.BRIEF DESCRIPTION OF THE DRAWINGS

[0087] In order to describe the manner in which the above-recited and other advantages and features of the disclosure can be obtained, a more particular description of the principles briefly described above will be rendered by reference to specific embodiments thereof which are illustrated in the appended Figures. Understanding that these Figures depict only exemplary embodiments of the disclosure and are not therefore to be considered to be limiting of its scope, the principles herein are described and explained with additional specificity and detail through the use of the accompanying Figures.

[0088] Preferred embodiments of the present disclosure will be explained in further detail below by way of examples and with reference to the accompanying Figures, in which: -

[0089] FIG 1A depicts a schematic representation of an exemplary system architecture of an embodiment of the present disclosure.

[0090] FIG 1B depicts an exemplary flowchart showing the steps of an aspect of the present disclosure for generating a reference map of trackside equipment.

[0091] FIG 1C depicts an exemplary flowchart showing the steps of another aspect of the present disclosure in which change in trackside equipment relative to the reference map is detected. FIG 2A depicts an exemplary flowchart showing the steps in the tracking of detected objects in a subset of image frames depicting an object of trackside equipment.

[0092] FIG 2B depicts an exemplary flowchart of steps in the video alignment and equipment matching module used for global and local matching of image frames.

[0093] FIG 3 is an exemplary trackside equipment reference map depicting various trackside equipment which has been identified for an initial image stream segment for a section of track.

[0094] FIG 4A depicts an exemplary single image from a plurality of images which is used in the generation of a reference map showing a bounding box for a particular item of trackside equipment in an exemplary location.

[0095] FIG 4B depicts an exemplary single image from a plurality of images which is used in an inspection map showing a bounding box for a particular item of trackside equipment in an exemplary location which has moved from the corresponding location for that equipment identified in the reference map of Fig 4A.

[0096] FIG 4C depicts an exemplary single image from a plurality of images which is used in the generation of a reference map showing a bounding box for a different item of trackside equipment in an exemplary location.

[0097] FIG 4D depicts an exemplary single image from a plurality of images which is used in an inspection map showing a bounding box for a particular item of trackside equipment in an exemplary location which has moved from the corresponding location for that equipment identified in the reference map of Fig 4C.

[0098] FIG 5A depicts an exemplary single image from a plurality of images which is used in the generation of a reference map showing an exemplary location.

[0099] FIG 5B depicts an exemplary single image from a plurality of images which is used in an inspection map showing a bounding box for a newly detected item of trackside equipment in an exemplary location which was not present in the corresponding location in the reference map of Fig 5A.

[0100] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS

[0101] Various embodiments of the disclosure are discussed in detail below. While specific implementations are discussed, it should be understood that this is done for illustration purposes only. A person skilled in the relevant art will recognize that other components and configurations may be used without departing from the spirit and scope of the disclosure.

[0102] The disclosed technology addresses the need in the art for a way to monitor trackside equipment in a railway system, especially trackside equipment located in low light areas such as tunnels.

[0103] Referring to the Fig 1A, there is depicted a schematic representation of an exemplary system architecture 10 according to an embodiment of the present disclosure.

[0104] As depicted the railway vehicle 20 moves on a railway track 22 and has one or more image acquisition devices in an image acquisition unit 24 mounted on the railway vehicle so as to capture a plurality of images of the surrounding trackside environment. The railway vehicle is depicted partway through a journey between station one 30 and station two 32 in the direction marked by the arrow towards the terminus 34. Located close to the railway vehicle are various items of trackside equipment 40, 42, 44, 46 which may include signalling equipment, advertising etc. Specific examples include but are not limited to Signal Head / Pole, Enclosure, Lamp, OHL / ORCR Support, PABX, Access Point, Connector, Axle Counter, Advertising Panel, Tunnel Ventilation Fan, Balancer, Platform Screen Door, Pipe Support, Ladder, Damper, Platform Gap Filler, Beacon, Tied Cable, Handrail, Tunnel Signage, Power Socket, Tunnel Ventilation Fan, Insulating Stick, Down Pipe, Barrier, Yellow Reflective Board etc.

[0105] Once the railway vehicle arrives at the terminus or depot 34, the image stream acquired by the image acquisition unit may be uploaded across a wired or wireless network to a remotely located server or servers 50 for further review and analysis. As depicted; the server 50 includes a communication interface 52 for receiving the video image stream, one or more processors 54 and a data store 56.

[0106] The stream of images captured by an image acquisition unit on the railway vehicle travelling on a journey on said railway network are transmitted from the railway vehicle across the network at the server 50 and received via the communication interface 52. Preferably, these images may be automatically transmitted from the railway vehicle using a private 5G network operational at the depot. It would be appreciated that as the input image stream is captured continuously, for example, from 2: 00 AM to 6: 00 AM, and this image stream may contain a lot of unwanted segments, including temporary parking, reversing, and overspeed moments which are not relevant for the purposes of trackside equipment monitoring; being directed to locations which are not of interest.

[0107] Preferably, the one or more processors 54 include or are in communication with modules which perform the various functions of the present disclosure as is described in further detail herein.

[0108] Preferably, a video segmentation module 60 is configured for extracting image stream segments from the received video image input stream. These segments comprise images from the input stream between predetermined locations on said railway network spaced apart by a predetermined distance. Advantageously, these locations may be stations or similar, and the video segments extracted thereby comprise a series of qualified station-to-station (S2S) video for the journey by the railway vehicle from one station to the next.

[0109] The video segmentation module also preferably includes a station identification module which is implemented to identify the train location of the captured video based on MTR station features. Station information can be determined as the train passes through the station platforms by an image classification model configured to detect and recognize all of the stations in the input long video. After the stations are identified, the long video is split into several potential S2S video. Advantageously ResNet18 or similar deep neural network image classification models may be used.

[0110] By feeding the video frame to the classification model, this model is configured to determine if it is a station image and which station it is. After processing all frames of a station video clip, a list of station images is created. The first station image is the start frame of the station, and the last station image is the platform end frame of the station.

[0111] After processing all frames of a long video, it is possible to identify the start and end frames of all the stations in the video. By using this information, the long video can be split into several S2S videos. Once divided in this way; as the station name of each station image can be determined from that image; the model may advantageously be configured to name the S2S portion extracted.

[0112] The Speed / chainage determination module 62 determines an estimate of the running speed of trains from the video stream of images and chainage information.

[0113] For each video frame at a certain time, the instantaneous speed for that frame may be approximated by the Euclidean distance of the key points between that frame and preceding frames. Large determined Euclidean distance indicates high speed, whereas a small distance indicates low speed.

[0114] Advantageously, a self-supervised trained convolutional neural network such as super Point may be used as feature extractor and to detect the key points for each compared video frame. A feature matching model may then be used to match these key points between successive frames such as LightGlue or similar.

[0115] Finally, the instantaneous speed is calibrated by the actual distance of between stations. It would be appreciated that if the predicted average speed is the predetermined distance between the predetermined (station) locations is d and video length is L, the predicted instantaneous speed St at a certain time t will be calibrated as

[0116] After the speed is estimated, additional unnecessary segments, including temporary parking, reversing, and overspeed can be removed automatically to maintain accuracy of the speed estimation function and video alignment for abnormalities detection as will be described further herein.

[0117] A chainage calculation is also performed by the speed determination module 62 to identify the location of identified equipment relative to previous stations. As is known in the art, chainage is the distance of lead locomotive (in feet or meters) from an arbitrary fixed point (in this case the identified stations) . This can be determined as set out below. If the chainage of the start station is specified Ls, the average speed from the video start to the equipment is S and the duration from the video start to the equipment is t; the chainage of the equipment is calculated using the following equation : Le = Ls + S*t.

[0118] As would be appreciated by persons skilled in the art, having chainage information which is associated with the stream of images and subsequently the detected equipment will minimize the workload of route planning for maintainer before performing maintenance work when abnormalities are found.

[0119] Once appropriate Stations to Station image frame segments (S2S segments) with the appropriate speed and chainage information have been extracted and other irrelevant images deleted; the object detecting and tracking module 64 can further process the video stream segments. This module 64 detects objects within the individual image frames of the video using a single stage object detector model such as YOLO v5; and tracks those objects in the images of the video stream using another module such as the efficient convolution operator (ECO) . The tracking of objects is described in more detail below in relation to Figure 1 D.

[0120] As is known to persons skilled in the art, you only look once (YOLO) series models, especially YOLO5 is comparable with state-of-art detection models in terms of speed and accuracy performance and was determined to provide a good balance between detection accuracy and running speed for the present application.

[0121] YOLO5 is an anchor-based, single stage detection model, and in the present application instead of fixing a static set of anchor boxes, adaptive anchor box sizing is implemented to compute the optimal dimension with respect to the training dataset involved. This model incorporates the techniques from Path Aggregation Network and Feature Pyramid Networks (FPN) to combine the localization features in higher-resolution feature maps and semantic features in lower-resolution feature maps. This approach improves the information flow in the feature extraction process.

[0122] There are 3 levels in the FPN structure in YOLO5 and each feature level will also perform prediction in its head structure. In each prediction head, the corresponding feature map will be treated as a grid while each grid element will predict the confidence score of an object, the center coordinates including height and width, i.e. x, y, w, h, and the confidence of each class.

[0123] The predicted bounding box information is filtered based on IoU-based non-maxima suppression (NMS) . As is known in the art there are mainly 5 types of architectural variation for YOLO5, namely nano, small, medium, large, and extra-large. They differ from the model depth and model width, usually, a deeper and wider model can increase the learning ability and thus boost the accuracy of the model. However, the computation cost will also go up for increasing the model size by slowing down the inference speed. To get a better compromise between accuracy and speed, in the present disclosure it was found it was preferable to use the middle-sized model (YOLO5m) .

[0124] To improve the model performance, several experiments with different hyperparameters are conducted to optimize the results of validation and testing data. As would be appreciated there are numerous parameters in model training, that can affect the result performance to a large extent. The number of anchors is a critical factor as a good approximation of anchor size could reduce the difficulty in regressing the bounding box coordinates in the training phase while increasing the regressing accuracy during inference. As more target types of equipment were considered in algorithm development it was determined that shape and aspect ratio also varied a lot across different equipment.

[0125] For instance, the shape of the down-pipe and insulating stick both possess a narrow and vertical shape while the platform gap filler possesses a horizontal rectangular shape. Therefore, the anchor number from 3 to 5 was set to satisfy the range of shapes in all the equipment. In total, it generates 15 anchor boxes of which each detection head consists of 5 anchors for bounding box regression.

[0126] The outcome of processing of the S2S video segments by the object detection and tracking module 64 is that the starting and end frames for particular objects are identified in the video stream segments; their corresponding positions based on the speed detection module and a unique equipment ID automatically allocated to each item of trackside equipment. Additionally, , the name of the equipment as well as the bounding box of the equipment on each frame between the starting and ending frames is also generated.

[0127] If the video segments being processed are being used to for generation of a reference equipment map such as that depicted in Fig 3A; these segments are then passed to the trackside equipment map generating module 66. This module generates an equipment map with specific icons based on the equipment category which may be associated in setup or other parameters by authorised operators. Advantageously, the map generation module 66 may call an equipment identification module 67 to identify various types of equipment present on that railway system network. In an exemplary embodiment, there are approximately 35 different types of equipment including but not limited to equipment in categories of civil structures, power distribution infrastructure; environmental control system infrastructure; signalling and telecommunication system infrastructure; station facilities; and commercial and advertising equipment etc. Specific examples of these have also been referenced herein.

[0128] Persons skilled in the art would appreciate that this list is not exhaustive and other types of equipment could be monitored without departing from the scope of the present disclosure. Equipment category and size can be identified from the captured videos, and advantageously the system and method may be configured to support identification of equipment with height larger than 300mm. Equipment location relative to previous station can also be estimated based on results from speed and chainage estimation module 62.

[0129] Alternatively, if the video segments being processed are being used for monitoring the state of the trackside equipment captured in the image frames contained therein; the video segments need to be aligned for comparison with the reference video segments for which the corresponding reference map has been generated. This alignment is performed by the alignment module 68 performing successive global and local alignments discussed further herein with reference to steps outlined in Fig 2B.

[0130] Once the video segments of the further or subsequent image stream have been aligned with corresponding segments of the image stream used in the generation of the reference map, an equipment comparison module 70 compares various attributes of the detected equipment in the further subsequent image stream with corresponding attributes of the detected equipment in the image stream used in the generation of the reference map. These comparisons are discussed further with reference to the latter steps of Fig 1C. Such comparisons enable the automatic detection of new equipment, missing equipment or dislocated (spatially moved) equipment between the images used in the generation of the reference equipment map; and the images of the trackside equipment in corresponding segments of the subsequent or further acquired image segments.

[0131] Finally, if the comparisons of the attributes of the detected equipment are determined to exceed relevant thresholds; an alert generating module 72 may be configured to provide an alert to the operator with visual references of relevant trackside equipment having particular issues for further follow up actions.

[0132] Fig 1B depicts an exemplary flowchart 100 showing the steps of an aspect of the present disclosure for generating a reference map of trackside equipment.

[0133] As described with reference to the schematic architecture of Fig 1A, the input streams of images captured by the railway vehicle 20 are received by the interface 52 of a remotely located server or servers across a network in step 102.

[0134] Next these images are processed in step 104 to extract relevant image segments from the overall continuous stream of images; these being the “Station-to Station segments” by the video segmentation module 60, and the speed and chainage determination module 62.

[0135] Next these video segments are processed by the object detection and tracking module 64 in step 106. This identifies objects of trackside equipment, requisite start and end frames in which such equipment appears; and the speed and location of railway vehicle when it captured the images of the equipment. This information is passed to the reference map generation module 66 in step 108. A reference map of the trackside equipment, such as that depicted in Fig 3 is then produced.

[0136] As depicted in Fig 1C, there is shown an exemplary flowchart 120 showing the steps of another aspect of the present disclosure in which change in trackside equipment relative to the reference map generated according to Fig 1 B is detected.

[0137] As depicted, a further or subsequent image stream is acquired in step 122 from a subsequent journey undertaken by a railway vehicle having an image acquisition means. Image segments are extracted from this image stream in step 124 by a video segmentation module 60 and speed / chainage determination module 62. The object detection and tracking module 64 then processes the further or subsequent video image segments to determine the trackside equipment relative position in step 126.

[0138] Once equipment in the further video segment has been identified, it needs to be matched with corresponding trackside equipment identified on the reference map using precise video alignment described herein.

[0139] By aligning the frames in the video segment for each inspection equipment identified in the subsequent journey with the frames in the reference video by the alignment module 68, the mapping from each video frames of the inspected equipment relative to the reference can be determined in step 127; and described in more detail in Fig 2B. For the sequence of input images of the input equipment, these images are aligned with a set of images in the reference video.

[0140] It would be appreciated that each item of the inspection equipment will have multiple bounding boxes identified for that equipment in a set of input images. It would also be appreciated that there may be multiple reference equipment depicted in each image of the set of images aligned in the reference video. It is necessary to determine which item of reference equipment matches.

[0141] This is determined by determining the bounding boxes of the objects identified as equipment in the images of the subsequent image stream and bounding boxes for all reference equipment in the corresponding aligned images of the video stream are determined.

[0142] Next, the intersection over union (IoU) for each equipment in the aligned images of the reference video stream and the identified equipment in the subsequent image stream is determined. The IoU between the two equipment is computed by averaging the IOUs from the bounding boxes. Each bounding box IOU is determined as the IoU between the bounding box in the image of the subsequent image stream and the bounding box in the corresponding aligned image of the video stream.

[0143] The matching equipment selected from the reference map image has the maximum IoU between the comparison of the matching reference equipment and the identified equipment.

[0144] In step 128, the status of the identified trackside equipment is then evaluated by comparing it with the corresponding matching reference equipment as depicted in the aligned set of images from the image stream for that reference equipment.

[0145] In step 130, an evaluation of differences between the identified trackside equipment in a subset of images from the reference image stream used for the generation of reference equipment map and corresponding identified trackside equipment in the corresponding subset of images in the subsequent image stream is then performed by the equipment comparison module 70.

[0146] These differences may include any one or more of geometry changes; structure changes and colour changes exceed in predefined threshold (s) . Optionally the geometry changes include evaluation using Intersection over Union (IoU) evaluation metric to compare detected objects relative to the corresponding reference object; and detecting vertical displacement and horizontal displacement relative to the corresponding reference object.

[0147] Evaluation of any geometry changes may include an evaluation of any one or more of Intersection over union (IoU) ; or vertical displacement and horizontal displacement; and optionally any structure changes may be evaluated by the multiplication of the key points matching score and Euclidean distance between matched points. Optionally any color changes may be evaluated based on similarity using pHash (perceptual hashing) of each object being compared.

[0148] It would be appreciated that one, some or all of the above metrics may be applied to evaluate similarity between certain types of equipment. For example, advantageously in the present disclosure it was found useful for small equipment, to examine both IoU and displacements; whereas for larger equipment, only displacements are examined. Additionally, for some equipment, like handrails, the color similarity does not work well; so for these types of equipment only geometry and structure changes are used. Furthermore, for some equipment, like an insulating stick, both the geometry and color do not work well. Only geometry change is used for these types of equipment.

[0149] In this way; the comparison performed for the trackside equipment to be inspected with the reference trackside equipment may be customised such that the comparison is made using one or more of the visual metrics which is / are best suited to making that comparison. As would be appreciated this significantly enhances the reliability of the monitoring provided by the system and method of the present disclosure.

[0150] An alert can then be generated in step 132 if differences noted in the outcome of this comparison exceed the respective difference threshold for the evaluation being undertaken.

[0151] Fig 2A depicts a more detailed flowchart 200 depicting exemplary steps involved in tracking an object through a series of image frames as performed by the object detecting and tracking module 64 in accordance with an embodiment of the present disclosure.

[0152] The general architecture of discriminative correlation feature (DCF) based tracking follows a tracking-by-detection approach. Correlation filters are initialized from the initial frame of the video sequence with a target patch cropped at the target position.

[0153] During tracking, the target location is estimated in the new upcoming frame using the target estimated position in the last frame. To effectively represent the appearance of the target, an appropriate feature extraction method is employed to construct a feature map from the input patch. The response map is computed using element-wise multiplication between the adaptive learning filter and extracted features. The maximum confidence score estimates the new target position. At the outcome, the target appearance at the newly predicted location is updated by extracting features and updating correlation filters. To manage computational cost, DCF based tracking schemes perform computation in the frequency domain.

[0154] Continuous Convolution Operator (C-COT) is a DCF based tracking method proposed for learning multi-resolution feature maps. The convolutional filters are learned in a continuous sequence of resolutions which generates a sequence of response maps. These multiple response maps are then fused to obtain a final unified response map to estimate the target position. The C-COT learns a large number of filters to capture target representation from high dimensional features, and updates the filter for every frame, which involves training on a large number of sample sets.

[0155] The Efficient Convolution Operators (ECO) tracking scheme is an improved version of C-COT and is used as a tracker in the present disclosure. In contrast to C-COT, ECO constructs a smaller set of filters to efficiently capture target representation using matrix factorization. ECO scheme was found to provide a good balance between detection accuracy and running speed for the present application.

[0156] Steps in an exemplary approach for tracking objects in images streams by detection processing in the present disclosure is depicted in the flowchart 200 of Fig 2A. Each frame of a video will be fed into both detection and tracking modules in step 202 to generate zero or more tracking results.

[0157] The detection and tracking results are computed in step 204a, 204b respectively; and then matched and associated with each other using the Hungarian matching algorithm in step 206.

[0158] Post processing is conducted in step 208 to process the matching results. For each matched detection result and tracking result, these frames are merged them and the process proceeds to the next video frame. For each unmatched tracking result, the unmatched count for the corresponding tracking model is incremented. If the unmatched count ends up higher than a predetermined threshold, the target tracking model will be removed and the tracking is completed. The tracking results are then outputted ; and all frames processed to output a list of equipment.

[0159] The output following post processing is a list of detected objects each with a unique tracking id at various identified positions throughout the subset of respective image frames processed; as identified in step 210.

[0160] Fig 2B depicts exemplary steps in the video alignment module 68. This module 68 is critical for aspects of the present disclosure where subsequent subsets of further image stream segments captured are compared to corresponding subsets of reference image segments captured earlier.

[0161] It would be appreciated that the task of video synchronization of acquired videos, especially videos of successive reference and inspection images which are acquired in tunnels is particularly challenging in view of factors including the high moving speed of the railway vehicle, motion blur, lack of lighting, intensity and contrast differences between the two frames, etc.

[0162] The video alignment module 68 of the present disclosure attempts to account for the aforementioned factors while maintaining high frame-matching accuracy and computational efficiency.

[0163] A schematic representation of the proposed video alignment flowchart 220 is set out in Fig 2B.

[0164] Importantly, it was identified that for the purposes of video alignment there was a need to define a measure of similarity between frames of the video pair. After a series of experiments, it was identified that two different kinds of similarity measures are required for global and local alignments as these alignments serve different purposes as will be described further below.

[0165] With reference to Fig 2B, image frames from the reference video stream segments are obtained in step 222 and the subsequent video stream segments are obtained; both of these being obtained after processing by other modules including the segmentation module 60, speed and chainage determination module 62 and the object determination and tracking module 64 in step 224.

[0166] It should be noted that not all video frames are aligned; as only the video frames that contain items of trackside equipment to be monitored need alignment with corresponding reference frames; which significantly reduces the matching required; as it would be appreciated that even in the S2S video segments, not all image frames will include trackside equipment.

[0167] Features are extracted from both image streams in a multithreaded manner in step 226.

[0168] Next a global alignment using the sampled features is performed to compute inexact image frame correspondences in step 228. This involves database matrix comparison step 229; and a dynamic time warping (DTW) method in step 230. As is known in the art, dynamic time warping (DTW) is an algorithm for measuring the similarity between temporal sequences.

[0169] For the task of video alignment, there is a need to define a measure of similarity between image frames of the video pair. It was identified that two different kinds of similarity measures are required for global and local alignments as each similarity measure serves a different purpose in the alignment approach of the present disclosure.

[0170] The global alignment performed uses a powerful combination of a deep feature extractor and a matcher. In particular, SuperPoint is used to detect points of interest from a pair of frames of different videos and LightGlue is used to match these points. The similarity between a pair of images in the global alignment is defined as a combination of LightGlue matching confidence score and a Euclidian distance of matched key points. For each pair of key points (pi, qj) , the matching score m (pi, qj) and Euclidian distance d (pi, qj) are first multiplied. The sum of these multiplications for all the key points is then computed to determine the similarity. Simglobal＝-∑m (pi, qj) *d (pi, qj)

[0171] For the video alignment of the present disclosure, each video segment is treated as a sequence of images and DTW is used to produce an alignment of two image sequences. The DTW algorithm calculates the similarity of all possible pairs of the two sequences and represents this by a distance matrix.

[0172] Once a candidate global alignment is performed, a local alignment which refines the global alignment results in a more accurate image frame-to-frame matching in step 232.

[0173] Local alignment refines the global alignment results to achieve accurate image frame-to-frame matching. The result of the global alignment is a list of pairs of image frames from two image sequences. For a particular pair of frames (Xi,Yj) , local alignment is applied to search the best matching image frame with biggest similarity for frame Xi within a search window around frame Yj. The mean of the absolute difference of two frames is defined as the similarity measure for the searching.

[0174] Additionally, to mitigate the side effects of using an absolute difference, histogram matching (HM) is applied to match the brightness of the image frames. The similarity measure of two frames Ii and Ij is defined as,

[0175] In respect of the local alignment performed, advantageously the mean of the absolute difference of 2 frames is defined as a similarity measure. The absolute difference shows an exceptional performance in terms of capturing pixel-level movement, and it is computationally not demanding.

[0176] The downside of such a choice is the lack of robustness of an absolute difference to significant intensity differences and changes in camera position. Considering the accuracy of the global alignment results, the local alignment is assumed to deal with image frames from the two videos of the same tunnel region where the intensities do not differ considerably.

[0177] Referring to Fig 3, there is depicted an exemplary representation 300 of a reference map generated for trackside equipment between two points. As depicted, various icons representing the various types of trackside equipment are selected for display in menu 304, and these can be seen located generally adjacent 306 the railway track 302 together with positional information 308.

[0178] Referring to Fig 4A, there is depicted an image 400 extracted from an image stream captured by a railway vehicle depicting an identified balancer weight item of trackside equipment, which is enclosed in a bounding box 402. This image stream is used in the generation of a reference map of trackside equipment in an initial baseline or reference.

[0179] In Fig 4B, there is depicted a corresponding image 410 for the same item of trackside equipment after alignment has been performed. The first bounding box 412 is also included for reference (in the same relative position as bounding box 402 in Fig 4A) , and there is also included a second bounding box 414 which indicates this item (a balancer weight) has moved 13cm higher.

[0180] Similarly in Fig 4C there is depicted an image 420 extracted from an image stream captured by a railway vehicle depicting an identified advertising sign (trackside equipment) which is enclosed in a bounding box 422.

[0181] In Fig 4D there is depicted a corresponding image 430 for the same item of trackside equipment after alignment has been performed. In this case, the bounding box 432 in the same relative position as bounding box 422 in Fig 4C) indicates that the advertising sign item (trackside equipment) has disappeared.

[0182] Further, in Fig 5A there is depicted an image 500 extracted from an image stream captured by a railway vehicle of a region between stations. This image stream is used in the generation of a reference map of trackside equipment in an initial baseline or reference. There is no equipment in this particular image.

[0183] Subsequently, as depicted in Fig 5B, there is shown a corresponding image 510 for the same region after alignment has been performed. In this image, the newly installed enclosure is enclosed by a bounding box 512.

[0184] It would be appreciated that the scenarios discussed above are exemplary only; and different items of trackside equipment, movement, presence or absence could be detected by the matching and comparison conducted.

[0185] In further aspects of the present disclosure, to simulate the real situation for equipment dislocation in tunnels, several augmentation methods were used in the training phase to increase the robustness of the models used herein. These augmentations were both at the equipment level and also at the image level.

[0186] As the image capture system is mounted on a fixed position of the locomotive, the captured images are always shot at a fixed perspective in tunnel environments. Therefore, to employ equipment level augmentation; random rotation and random perspective transformation were included to simulate the potential dislocation scenarios of different equipment.

[0187] From an image level augmentation perspective, the following methods were used for increasing the diversity of the training samples: random value in HSV (brightness) , random translation, random scale, random horizontal flip, and mosaic augmentation. For optimizing the objective function, Stochastic Gradient Descent is used.

[0188] The present disclosure describes a method and system for automated image analysis and processing which can be used to generate a baseline equipment map; and also, to monitor physical displacement of the equipment relative to the baseline map so created.

[0189] Advantageously, as described herein, the system and method facilitate the creation of an automated equipment map –an inventory from a series of images captured from a video camera array located on a railway vehicle. In an embodiment, this series of images may be transmitted wirelessly, e.g., through uploading from a trailway vehicle on a private network operating in a depot on arrival. This may advantageously be analysed and processed automatically, either to create a baseline map or to detect new, missing or dislocated trackside equipment relative to an already created baseline map as described. In this way, accurate and up to date information of the trackside equipment can easily be obtained; together with information / alarm if there is displacement from the original location.

[0190] The present disclosure provides numerous additional advantages, including increased efficiency by eliminating the need for manual inspection, which can be time-consuming and labor-intensive. It also provides enhanced safety as underground railways are critical infrastructures that require regular inspections to ensure the safety of passengers and the proper functioning of the system.

[0191] At the same time, the automated inspection of the present disclosure provides for automation of inspection processes which can lead to significant cost savings in the long run; and avoids the risk and downtime associated with manual inspection processes. Furthermore, downtime is also reduced using automated inspection to detect potential issues early, allowing for proactive maintenance and minimizing the risk of unexpected failures.

[0192] The above embodiments are described by way of example only. Many variations are possible without departing from the scope of the disclosure as defined in the appended claims.

[0193] For clarity of explanation, in some instances the present technology may be presented as including individual functional blocks including functional blocks comprising devices, device components, steps or routines in a method embodied in software, or combinations of hardware and software.

[0194] Methods according to the above-described examples can be implemented using computer-executable instructions that are stored or otherwise available from computer readable media. Such instructions can comprise, for example, instructions and data which cause or otherwise configure a general-purpose computer, special purpose computer, or special purpose processing device to perform a certain function or group of functions. Portions of computer resources used can be accessible over a network. The computer executable instructions may be, for example, binaries, intermediate format instructions such as assembly language, firmware, or source code. Examples of computer-readable media that may be used to store instructions, information used, and / or information created during methods according to described examples include magnetic or optical disks, flash memory, Universal Serial Bus (USB) devices provided with non-volatile memory, networked storage devices, and so on.

[0195] Devices implementing methods according to these disclosures can comprise hardware, firmware and / or software, and can take any of a variety of form factors. Typical examples of such form factors include laptops, smart phones, small form factor personal computers, personal digital assistants, and so on. Functionality described herein also can be embodied in peripherals or add-in cards. Such functionality can also be implemented on a circuit board among different chips or different processes executing in a single device, by way of further example.

[0196] The instructions, media for conveying such instructions, computing resources for executing them, and other structures for supporting such computing resources are means for providing the functions described in these disclosures.

[0197] Although a variety of examples and other information was used to explain aspects within the scope of the appended claims, no limitation of the claims should be implied based on particular features or arrangements in such examples, as one of ordinary skill would be able to use these examples to derive a wide variety of implementations. Further and although some subject matter may have been described in language specific to examples of structural features and / or method steps, it is to be understood that the subject matter defined in the appended claims is not necessarily limited to these described features or acts. For example, such functionality can be distributed differently or performed in components other than those identified herein. Rather, the described features and steps are disclosed as examples of components of systems and methods within the scope of the appended claims.

Claims

1.A computer implemented method of ascertaining trackside equipment proximate a railway vehicle in a railway network; the method comprising:receiving an input stream of images captured by an image acquisition unit on the railway vehicle travelling on a journey on said railway network;extracting image stream segments from said input stream; said segments comprising images from the input stream between predetermined locations on said railway network; wherein said extraction includes estimating the speed of the railway vehicle as it captures successive image frames in the input stream of images between said predetermined locations;identifying trackside equipment within the image stream segments relevant frame (s) and relative positions within said frame (s) using trained object recognition models;2.The computer implemented method of ascertaining trackside equipment proximate a railway vehicle according to claim 1 further comprising:generating a reference trackside equipment map for identified equipment in the image stream segments between said predetermined locations.3.The computer implemented method of ascertaining trackside equipment proximate a railway vehicle according to claim 1 or claim 2 wherein the estimating of said speed is performed by:approximating the instantaneous speed between successive frames by determining the Euclidean distance between key points thereof;identifying predetermined locations in some of said image frames by image processing using trained machine learning models;calibrating the speed by analysing the predicted instantaneous speed and a known distance between the predetermined locations.4.The computer implemented method of ascertaining trackside equipment proximate a railway vehicle according to any of the preceding claims wherein identifying trackside equipment within relevant frame (s) and relative positions of said frame (s) in the image stream segments is performed using object detection and tracking machine learning models.5.The computer implemented method of ascertaining trackside equipment proximate a railway vehicle according to any one of the preceding claims wherein each identified item of trackside equipment in an image segment is assigned a unique identification number.6.The computer implemented method of ascertaining trackside equipment proximate a railway vehicle according to any one of claims 2-5 wherein the reference map of trackside equipment generated includes for each identified trackside equipment a unique identification number, type, start frame, end frame and position within said start frame and end frame and identified station in the railway network.7.The computer implemented method of ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 1 further including:acquiring a further input stream of images captured by an image acquisition unit by a railway vehicle travelling on a subsequent journey on said railway network;extracting image stream segments from said further input stream; said segments comprising images from the further input stream between predetermined locations on said railway network spaced apart by a predetermined distance; wherein said extraction includes estimating the speed of the railway vehicle as it captures successive image frames in the further input stream of images between said predetermined locations;identifying trackside equipment within the further image stream segments relevant frame (s) and relative positions with said frame (s) using trained object recognition models;matching identified trackside equipment with corresponding trackside equipment identified in the image stream segment by aligning the images of the further input stream segment and corresponding images of the image stream segments;comparing the identified trackside equipment from input stream segments from said subsequent journey with the matching trackside equipment in corresponding segments of the image stream;evaluating differences between trackside equipment identified from frames in the subsequent journey image segments and corresponding trackside equipment depicted in frames of the image segments; andalerting the user if differences in excess of a predefined threshold for one or more parameters are detected.8.The computer implemented method of ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 7 wherein matching the identified trackside equipment from input stream segments from said subsequent journey with the trackside equipment in corresponding segments of the input stream is performed by:identifying for an item of trackside equipment from an input stream segment from said subsequent journey the start and end time in that segment for that item of trackside equipment;estimating the corresponding start and end time in the corresponding segment for the item of trackside equipment from said journey using the ratio of the instantaneous speed for the subsequent journey and the journey;aligning the relevant frames for the trackside equipment from the journey and the subsequent journey by extracting features by computing inexact global frame alignment and then performing local frame alignment;selecting the matching equipment as the matching reference equipment for the identified equipment from the segments.9.The computer implemented method of ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 8 wherein the similarity of global inexact frame alignment is evaluated by confidence score from a machine learning model for image alignment and the Euclidean distance of the key matched points.10.The computer implemented method of ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 8 or claim 9 wherein the similarity of local frame alignment is evaluated by the mean of absolute difference between the two image frames.11.The computer implemented method of ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 10 wherein prior to evaluating the mean of absolute difference between the two image frames, histogram matching is performed.12.The computer implemented method of ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 8 wherein the matching of identified trackside equipment in the image stream of the subsequent journey with corresponding trackside equipment in the images of the image stream segments from which the generated reference map is derived once said images have been aligned further comprises:determining bounding boxes of the identified equipment in the images of the subsequent image stream and bounding boxes for all reference equipment in the corresponding aligned images of the video stream;comparing the intersection over union (IoU) for each equipment in the aligned images of the video stream with the identified equipment in the subsequent image stream;selecting the matching equipment with the maximum IoU as the matching reference equipment for the identified equipment.13.The computer implemented method of ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 8 wherein the evaluation of differences includes evaluating if any one or more of changes in geometry changes; or structure changes and / or changes exceed in predefined threshold (s) .14.The computer implemented method of ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 13 wherein evaluation of any geometry changes includes an evaluation of any one or more of Intersection over union (IoU) ; or vertical displacement and horizontal displacement; andoptionally any structure changes are evaluated by the multiplication of the key points matching score and Euclidean distance between matched points; andoptionally any color changes are evaluated based on similarity using pHash.15.A computer implemented system for ascertaining trackside equipment proximate a railway vehicle in a railway network; the system comprising:an image acquisition unit on the railway vehicle for capturing an input stream of images during a journey on said railway network;one or more processors configured to provide:a video segmentation module for extracting image stream segments from said input stream; said segments comprising images from the input stream between predetermined locations on said railway network;a speed determination module for estimating the speed of the railway vehicle as it captures successive image frames in the input stream of images on the journey between said predetermined locations;an object detecting and tracking module for identifying trackside equipment within the image stream segments relevant frame (s) and relative positions with said frame (s) using trained object recognition models;a map generating module for generating a reference trackside equipment map for identified equipment in the image stream segments between said predetermined locations.16.The computer implemented system for ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 15 wherein the speed determination module estimates said speed by:approximating the instantaneous speed between successive frames by determining the Euclidean distance between key points thereof;identifying predetermined locations in some of said image frames by image processing using trained machine learning models;calibrating the speed by analysing the predicted instantaneous speed and a known distance between the predetermined locations.17.The computer implemented system for ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 15 wherein object detection and tracking machine learning models are configured to identify trackside equipment within relevant frame (s) and relative positions of said frame (s) in the image stream segments.18.The computer implemented system for ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 15 wherein each identified item of trackside equipment in an image segment is assigned a unique identification number.19.The computer implemented system for ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 18 wherein the reference map of trackside equipment generated includes for each identified trackside equipment further includes type of trackside equipment, start frame, end frame and position within said start frame and end frame and identified station in the railway network.20.The computer implemented system for ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 15 wherein:an image acquisition unit on a railway vehicle travelling on a subsequent journey in the railway network captures a further input stream of images at least between said pre-determined locations;a video segmentation module for extracting image stream segments from said further input stream; said segments comprising images from the further input stream between predetermined locations on said railway network spaced apart by a predetermined distance; wherein said extraction includes estimating the speed of the railway vehicle as it captures successive image frames in the further input stream of images between said predetermined locations;an object detecting and tracking module for identifying trackside equipment within the further image stream segments relevant frame (s) and relative positions with said frame (s) using trained object recognition models;an alignment module for aligning the images of the further input stream segment and corresponding images of the image stream segments for matching identified trackside equipment with corresponding trackside equipment identified on the reference map;an equipment comparison module for comparing the identified trackside equipment from input stream segments from said subsequent journey with the matching trackside equipment in corresponding segments of the generated reference map; and for evaluating differences between trackside equipment identified from frames in the subsequent journey image segments and corresponding trackside equipment depicted in frames of the image segments; andan alert module for alerting the user if differences in excess of a predefined threshold are detected.21.The computer implemented system for ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 20, wherein the equipment comparison module is configured to perform an evaluation of differences including evaluating if any one or more of geometry changes; structure changes and color changes exceed predefined threshold (s) .22.The computer implemented system for ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 21 wherein evaluation of any geometry changes by the equipment comparison module includes an evaluation of any one or more of Intersection over union (IoU) ; or vertical displacement and horizontal displacement; andoptionally any structure changes are evaluated by the multiplication of the key points matching score and Euclidean distance between matched points;and optionally any color changes are evaluated based on similarity using pHash.23.The computer implemented system for ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 20 wherein the alignment module is configured for:identifying for an item of trackside equipment from an input stream segment from said subsequent journey the start and end time in that segment for that item of trackside equipment;estimating the corresponding start and end time in the corresponding segment for the item of trackside equipment from said journey using the ratio of the instantaneous speed for the subsequent journey and the journey;aligning the relevant frames for the trackside equipment from the journey and the subsequent journey by extracting features by computing inexact global frame alignment and then performing local frame alignment.24.The computer implemented system for ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 23 the alignment module is configured for evaluating the similarity of global inexact frame alignment using a confidence score from a machine learning model for image alignment and the Euclidean distance of the key matched points.25.The computer implemented system for ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 23 wherein the alignment module is configured for evaluating the similarity of local frame alignment using the mean of absolute difference between the two image frames.26.The computer implemented system for ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 25 wherein the alignment module is configured to perform histogram matching prior to evaluating the mean of absolute difference between the two image frames.27.The computer implemented system for ascertaining trackside equipment proximate a railway vehicle in a railway network according to claim 20 wherein the equipment comparison module is configured for:matching of identified trackside equipment in the image stream of the subsequent journey with corresponding trackside equipment in the images of the image stream segments from which the generated reference map is derived once said images have been aligned by:determining bounding boxes of the identified equipment in the images of the subsequent image stream and bounding boxes for all reference equipment in the corresponding aligned images of the video stream;comparing the intersection over union (IoU) for each equipment in the aligned images of the video stream with the identified equipment in the subsequent image stream; andselecting the matching equipment with the maximum IoU as the matching reference equipment for the identified equipment.28.A computer program product configured to store instructions which, when executed by a processor cause the processor to perform the method of any one of preceding claims 1-14.

Images