Robotic mower and method for path planning in robotic mower

Abstract

There is a robotic mower (100) configured to plan a path (190) to be followed in a working area (200) of the robotic mower. The mower (100) comprises an image sensor arrangement (130) for capturing images of obstacles in the working area (200), and a processor (141) for planning the path based on image data of the captured images. The image sensor arrangement (130) comprises a monocular camera (131) configured to capture a perspective image (10) of a scene (30) comprising at least one obstacle (300). The processor (141) is configured to generate an inverse perspective mapping [IPM] source image (20) from the captured perspective image (10), generate an IPM image (40) depicting a bird's-eye view of the scene (30) by applying an IPM transformation to the IPM source image (20), determine a distance (d) to the obstacle (300) from image data of the IPM image (40), and adapt the path (190) to be followed based on the determined distance (d).

Description

ROBOTIC MOWER AND METHOD FOR PATH PLANNING IN ROBOTIC MOWERTECHNICAL FIELD

[0001] The present disclosure relates to the field of obstacle avoidance and path planning for robotic lawn mowers. In particular, the disclosure relates to a robotic mower, a method and a computer program for path planning based on image data obtained by an image sensor arrangement of the robotic mower.BACKGROUND ART

[0002] Self-propelled robotic lawn mowers have become increasingly popular and are now widely used to cut grass within a predetermined working area. The working area is typically limited by boundary lines to ensure that the robotic mower does not move outside the working area.

[0003] Historically, physical wires, e.g. in the form of guidance wires placed above ground or electrical wires buried in the ground, have been used to define the boundary lines of the working area. In more modern versions of robotic mowers, however, the mower is equipped with a positioning unit that allows the position of the mower to be determined in relation to a digital map including predefined boundary lines that the mower should not cross. As the mower operates, its onboard computer continuously compares its current position with the boundary lines defined in the digital map.

[0004] Furthermore, a robotic mower is typically equipped with a sensor arrangement for obstacle detection and configured to create map data including information on the location of detected obstacles in the working area based on data obtained by the sensor arrangement. The thus created map data may then be used together with information on working area boundaries in the autonomous determination by the robotic mower of an optimized route or path to be followed by the robotic mower in order to cover the entire working area while avoiding obstacles and minimizing time and energy consumption. This process of autonomously determining an optimized route or path for the robotic mower is often referred to as path planning.

[0005] The sensor arrangement for obstacle detection may comprise ultrasonic sensors, infrared sensors or bumper sensors. Recently, however, LIDAR (light detection and ranging) sensors and cameras have become increasingly popular for obstacle detection in robotic mowers.

[0006] While LIDAR sensors are capable of obtaining very precise distance and 3D mapping information, cameras offer several advantages over LIDAR sensors when it comes to obstacle detection in robotic mowers. For example, camera systems are often more cost-effective than LIDAR sensors, they may  provide information on colour, texture and depth, which may be used in the identification and classification of obstacles and objects in the working area, they typically consume less power than LIDAR sensors and other types of active sensors, and they can more easily be integrated with artificial intelligence (AI) and machine learning algorithms to enable advanced image processing and object recognition capabilities.

[0007] US 11,582,903 B1 discloses a lawn mower comprising a camera arrangement configured to collect images of a mowing area, wherein the lawn mower is steered based on the images captured by the camera arrangement. The image data obtained by the camera arrangement may, for instance, be used to detect stationary or moving objects in the mowing area, and to modify the course of the mower to avoid collisions. In embodiments where the lawn mower comprises a plurality of cameras, the difference in images from a left and right camera can be used to calculate the distance between an object in the image and the lawn mower. This is achieved by comparing a pixel data set from one camera with a pixel data set from the other camera and determining the distance through triangulation.

[0008] US 9,513,108 B2 and US 9,672,635 B2 also disclose techniques for determining a distance between a robotic mower and an obstacles using image data from stereoscopic images obtained by different cameras.

[0009] A disadvantage of these and other known image-based techniques for obstacle location determination in path planning of robotic mowers is the need for two or more cameras. The need for multiple cameras on the robotic mower makes the solution expensive and space-consuming. Furthermore, any errors or inaccuracies in the calibration of the cameras’ extrinsic parameters (such as relative position and orientation) can result in distortions or misalignments that affect the accuracy of the obstacle location determination and hence the mower’s obstacle-avoidance capabilities. Yet further, the stereo matching algorithms used to determine depth from stereoscopic images can be computationally intensive, especially for high-resolution images or real-time applications.

[0010] There is thus a need for improvements within the field of obstacle avoidance and path planning for robotic mowers.SUMMARY

[0011] It is an object of the present disclosure to mitigate, alleviate or eliminate one or more of the above-identified deficiencies and disadvantages in the prior art.

[0012] In particular, it is an object of the disclosure to present an accurate, robust and cost-efficient solution for obstacle avoidance and path planning in a robotic mower.

[0013] According to a first aspect of the present disclosure, there is provided a robotic mower configured to plan a path to be followed in a working area of the robotic mower. The robotic mower comprises an image sensor arrangement for capturing images of obstacles in the working area, and a processor for planning the path based on image data of the captured images. The image sensor arrangement comprises a monocular camera configured to capture a perspective image of a scene comprising at least one obstacle and the processor is configured to:

[0014] - generate an inverse perspective mapping (IPM) source image from the captured perspective image;

[0015] - generate an IPM image depicting a bird’s -eye view of the scene by applying an IPM transformation to the IPM source image;

[0016] - determine a distance to the obstacle from image data of the IPM image, and

[0017] - adapt the path to be followed based on the determined distance.

[0018] By applying an IPM transformation to a perspective image captured by a single monocular camera of the mower, obstacles in the working area can be detected and positioned in relation to the robotic mower without use of LIDAR sensors, multi-camera arrangements or stereoscopic image processing techniques. The proposed mower hence offers a cost-efficient alternative to state-of-the-art mowers with obstacle detection capabilities.

[0019] According to some embodiments, the processor is configured to generate the IPM source image by applying an image segmentation or object detection algorithm to the captured perspective image, thereby generating an IPM source image the robotic comprises contextual information of the scene.

[0020] The contextual information of the IPM source image allows the robotic mower to identify objects in the scene, and to classify any identified object as an obstacle that is to be avoided.

[0021] Typically the IPM source image is generated by applying an image segmentation or object detection algorithm to the captured perspective image that adds contextual information allowing obstacles in the scene to be identified without altering the perspective or spatial arrangement of the pixels in the captured perspective image. This means that the IPM source image to which the IPM transformation is applied is identical to the captured perspective image in terms of perspective and spatial arrangement of image pixels.

[0022] The image segmentation or object detection algorithm may, for example, be a semantic segmentation algorithm causing the IPM source image to comprise contextual information in the form of a semantic  segmentation map of the scene. In other examples, the algorithm may be an object detection algorithm causing the IPM source image to comprise contextual information in the form of annotations, such as bounding boxes around objects.

[0023] According to some embodiments, the processor is configured to apply the IPM transformation using a homography matrix that maps pixels in the IPM source image into their corresponding locations in the IPM image. The homography matrix describes the transformation between an image plane of the perspective image and the bird’s -eye view.

[0024] According to some embodiments, the processor may be configured to map the pixels of the IPM source image into their corresponding locations in the IPM image using the homography matrix, without first projecting the scene onto a 2D plane.

[0025] Normally, an IPM transformation involves a step of projecting the scene of a captured perspective image onto a 2D plane that is parallel to the ground. In a preferred embodiment of the present disclosure, however, the processor is configured to “assume” that all pixels of the perspective image are located on the ground plane, and map the pixels of the IPM source image directly into their corresponding locations in the IPM image. By eliminating the intermediate step of projecting the scene onto a 2D plane, the computational power and hence the energy-consumption required for obstacle avoidance and path planning by the robotic mower is reduced.

[0026] According to some embodiments, the homography matrix is a predefined homography matrix computed using a calibration pattern during factory calibration of the robotic mower. For example, the homography matrix can be factory calibrated by placing the mower (and hence the monocular camera of the mower) at a known position in relation to a calibration pattern having known dimensions. The parameters of the homography matrix may then be computed by the processor of the mower based on the position and dimensions of the calibration pattern in a perspective image captured by the monocular camera. The robotic mower may comprise a data storage medium storing the predefined homography matrix computed using the calibration pattern during factory calibration, whereby the processor may retrieve the homography matrix or homography matrix parameters from the data storage medium and use them in the IPM transformation of images captured during operation of the robotic mower.

[0027] According to some embodiments, the processor is configured to update the homography matrix based on a predefined calibration pattern depicted in images captured by the monocular camera after factory calibration.

[0028] According to some embodiments, the processor is configured to apply scale adjustment to the IPM image based on known dimensions in the scene, prior to determining the distance to the obstacle from the image data of the IPM image. This way, the accuracy in the distance determination may be improved.

[0029] According to some embodiments, the monocular camera is mounted on the robotic mower such that the scene depicted in the perspective image comprises a scale reference element of the robotic mower, the scale reference element having known dimensions that are used by the processor in the scale adjustment applied to the IPM image. This way, all images captured by the monocular camera will contain a scale reference element with known physical dimensions, thereby ensuring that proper scale adjustment can be applied to all images.

[0030] According to some embodiments, the robotic mower comprises a position determining device for determining a position of the robotic mower, wherein the processor is configured to determine a location of the obstacle based on the determined distance and the position of the robotic mower, and to update an environmental model of the working area with information relating to the location of the obstacle. The robotic mower may be configured to store an environmental model, typically in the form of a digital map, in a digital storage medium of the mower, and to plan the path to be followed based on the information of the environmental model. When an obstacle is identified in an image captured by the monocular camera, the distance to the obstacle may be determined based on the image data of the IPM image, and the geographical location of the obstacle may be determined based on the determined distance and positional data from the position determining device, such as a current position and a current heading or bearing of the robotic mower, e.g. as determined from consecutive determinations of the position of the mower. Once the geographic position of the obstacle is determined, the processor may update the environmental model accordingly and adapt the path of the mower based on the updated environmental model, in order to avoid the obstacle.

[0031] According to some embodiments, the processor is configured to determine a stay-out zone based on the location of the obstacle, and to update the environmental model of the working area with information relating to the stay-out zone, the processor being configured to adapt the path such that the mower stays out of the stay-out zone. The stay-out zone may, for example, be determined as a rectangular area surrounding the obstacle.

[0032] According to a second aspect of the present disclosure, there is provided a method for autonomous planning of a path to be followed by a robotic mower in a working area of the robotic mower. The robotic mower comprises an image sensor arrangement containing a monocular camera for capturing  images of obstacles in the working area, wherein the monocular camera is configured to capture a perspective image of a scene comprising at least one obstacle. The method comprises the steps of:

[0033] - generating an IPM source image from the captured perspective image;

[0034] - generating an inverse perspective mapping [IPM] image depicting a bird’s -eye view of the scene by applying an IPM transformation to the IPM source image;

[0035] - determining a distance to the obstacle from image data of the IPM image, and

[0036] - adapting the path to be followed based on the determined distance.

[0037] According to some embodiments, the step of generating the IPM source image comprises applying an image segmentation or object detection algorithm to the captured perspective image, thereby generating an IPM source image the method comprises contextual information of the scene.

[0038] According to some embodiments, the step of applying the IPM transformation is performed using a homography matrix that maps pixels in the IPM source image into their corresponding locations in the IPM image.

[0039] According to some embodiments, the method comprises the steps of mapping the pixels of the perspective image into their corresponding locations in the IPM image using the homography matrix, without first projecting the scene onto a 2D plane.

[0040] According to some embodiments, the homography matrix is a predefined homography matrix computed using a calibration pattern during factory calibration of the robotic mower.

[0041] According to some embodiments, the method comprises the step of updating the homography matrix based on a predefined calibration pattern depicted in images captured by the monocular camera after factory calibration.

[0042] According to some embodiments, the method comprises the step of applying a scale adjustment to the IPM image based on known dimensions in the scene, prior to determining the distance to the obstacle from the image data of the IPM image.

[0043] According to some embodiments, the scale adjustment is performed by using known dimensions of a scale reference element of the robotic mower, which scale reference element is comprised in the scene depicted in the perspective image.

[0044] According to some embodiments, the robotic mower further comprises a position determining device for determining a position of the robotic mower, wherein the method comprises the steps of determining a location of the obstacle based on the determined distance and the position of the robotic  mower, and updating an environmental model of the working area with information relating to the location of the obstacle.

[0045] According to some embodiments, the method comprises the steps of determining a stay-out zone based on the location of the obstacle; updating the environmental model of the working area with information relating to the stay-out zone, and adapting the path such that the mower stays out of the stay-out zone.

[0046] According to another aspect of the present disclosure, there is provided a computer program for autonomous planning of a path to be followed by a robotic mower in a working area of the robotic mower. The computer program comprises computer-readable instructions which, when executed by a processor of the robotic mower, causes the robotic mower to perform the above described method.

[0047] According to yet another aspect of the present disclosure, there is provided a computer program product comprising a data storage medium, such as a non-transitory memory hardware device, storing the above-mentioned computer program.

[0048] Effects and features of the method, computer program and computer program product are to a large extent analogous to those described above in connection with the robotic mower.

[0049] The present disclosure will become apparent from the detailed description following hereinafter. The detailed description and specific examples disclose embodiments of the disclosure by way of illustration only. Those skilled in the art understand from guidance in the detailed description that changes and modifications may be made within the scope of the disclosure.BRIEF DESCRIPTION OF THE DRAWINGS

[0050] The above objects, as well as additional objects, features and advantages of the present disclosure, will be more fully appreciated by reference to the following illustrative and non-limiting detailed description of example embodiments of the present disclosure, when taken in conjunction with the accompanying drawings.

[0051] Fig. 1 illustrates a robotic mower according to an exemplary embodiment of the present disclosure, located in a working area comprising an obstacle to be avoided by the robotic mower.

[0052] Fig. 2 illustrates a perspective view of the robotic mower and the obstacle shown in Fig. 1.

[0053] Figs. 3A-3C illustrate schematically results of image capturing and processing techniques employed by the robotic mower in order to determine a distance to the obstacle.

[0054] Figs. 4A-4C illustrate schematically the working area of the robotic mower and an example of an environmental model, or digital map, of the working area.

[0055] Fig. 5 illustrates an example of a more detailed environmental model 400 of a working area.

[0056] Fig. 6 is a flowchart illustrating a method for autonomous planning of a path to be followed by a robotic mower in a working area of the robotic mower, according to an exemplary embodiment of the present disclosure.DETAILED DESCRIPTION

[0057] The present disclosure will now be described with reference to the accompanying drawings, in which preferred example embodiments of the disclosure are shown. The disclosure may, however, be embodied in other forms and should not be construed as limited to embodiments disclosed herein. The disclosed embodiments are provided merely to fully convey the scope of the disclosure to the skilled person.

[0058] It is to be understood that the terminology used herein is for purpose of describing particular embodiments only, and is not intended to be limiting. It should be noted that, as used in the specification and the appended claims, the articles "a" , "an" , "the" , and "said" are intended to mean that there are one or more of the elements unless the context explicitly dictates otherwise. Thus, for example, reference to "a unit" or "the unit" may include several devices, and the like. Furthermore, the terms "comprising" , "including" , "containing" and similar wordings are intended to be open-ended transitional terms that do preclude the possibility of additional elements or steps.

[0059] Fig. 1 shows a robotic mower 100 located in a working area 200 comprising lawn or grass that should be cut by the mower 100. The working area 200 is defined by boundaries, which may comprise physical boundaries, e.g. in the form of boundary wire that is buried just below the surface, and / or virtual boundaries existing in an environmental model of the working area 200, stored in a data storage medium of the robotic mower 100. The working area 200 typically comprises various obstacles that should be avoided by the robotic mower 100 during the mowing process. In the illustrated scenario, the working area comprises an obstacle 300 in the form of a tree stump.

[0060] The robotic mower 100 comprises a chassis 110 and a propulsion system comprising drive wheels or tracks 120 for providing traction on the grass surface. The propulsion system is typically an electric propulsion system further comprising components (not shown) such as: an electrically powered motor  for converting electrical energy into mechanical energy to rotate the cutting blades and drive the wheels or tracks 120 of the mower 100; a rechargeable battery or battery pack for providing electrical energy to the motor, and; a control system for controlling the speed, direction and movement of the mower 100 based on input from various sensors and algorithms.

[0061] The robotic mower 100 is configured to plan a path 190 to be followed in the working area 200, and to adapt the path 190 based on information relating to obstacles in the working area, obtained by onboard sensors of the robotic mower 100. To this end, the robotic mower 100 comprises an image sensor arrangement 130 for capturing images of obstacles in the working area, and an onboard computer 140 for determining the path 190 based on image data of the captured images. The onboard computer 140 comprises a processor 141, such as a microprocessor, and a data storage medium 142, such as a non-transitory memory hardware device. Unless stated otherwise, it should be realized that actions and method steps described herein as being performed by the onboard computer 140 are performed by the processor 141 upon execution of a computer program stored in the data storage medium 142.

[0062] The robotic mower 100 may further comprise a position determining device 150 for determining a geographic position of the robotic mower 100. The position determining device 150 may, for example, comprise a satellite navigation device, such as a GPS receiver, for determining the position of the robotic mower 100 based on radio signals received from a global navigation satellite system (GNSS) .

[0063] The robotic mower 100 may further comprise connectivity (not shown) for communication with external devices, such as an Internet server and / or a mobile communication device of a user. The connectivity of the robotic mower 100 may, e.g., comprise Wi-Fi, Bluetooth, and / or cellular connectivity. The robotic mower 100 may be configured to communicate with the external devices in order to receive program and configuration updates, send and / or receive data relating to the environmental model of the working area, etc.

[0064] The image sensor arrangement 130 of the robotic mower 100 comprises a monocular camera 131 for capturing a perspective image of a part of the working area 200 hereinafter referred to as “the scene” . The monocular camera 131 uses a single lens to capture images. Unlike stereoscopic cameras, which utilize two or more lenses to create depth perception, the monocular camera 131 capture images from a single viewpoint.

[0065] When the captured scene comprises an obstacle 300, the onboard computer 140 may determine a distance to the obstacle 300 based on the captured perspective image, and adapt the path 190 to be  followed based on the determined distance. The principles described herein allows the distance to an obstacle to be determined from a perspective image captured by a single monocular camera and, therefore, there is no need for any additional cameras or sensors for distance determination. Thus, in some embodiments, the monocular camera 131 may be the sole camera of the image sensor arrangement 130, and the image sensor arrangement 130 may be the sole sensor arrangement of the robotic mower 100 for determination of distances to obstacles in the working area 200. Thus, to minimise the cost, weight and complexity of the robotic mower 100, the mower may advantageously comprise one single onboard-sensor for measuring distances to obstacles in the working area 200, which single onboard-sensor is constituted by the monocular camera 131.

[0066] The arrangement and process for determining the distance to an obstacle in the scene captured by the monocular camera 131 will now be described in more detail with reference to Figs. 2 and 3.

[0067] Fig. 2 illustrates a perspective view of the robotic mower 100 and an obstacle 300 in the form of a tree stump appearing in the working area of the robotic mower. As illustrated in the drawing, the monocular camera 131 is directed in a forward-direction of the robotic mower 100 and tilted downward relative to the horizontal plane, such that images captured by the monocular camera 131 are taken from an oblique overhead angle. The downward tilt of the monocular camera 131, as defined by the angle α between the horizontal plane and the optical axis of the monocular camera 131, may advantageously be in the range of 20-70°, preferably in the range of 30-60 °, and even more preferably in the range of 40-50°. In the illustrated example, the angle α is 45°. According to an exemplary and non-limiting embodiment, the vertical field of view (VFOV) of the monocular camera 131 may be approximately 45°, whereas the horizontal field of view of the monocular camera 131 may be approximately 100°.

[0068] In order for the monocular camera 131 to capture a bigger scene, the monocular camera 131 should be mounted relatively high above ground. In the illustrated example, the monocular camera 131 is mounted in a camera tower or rig 133 protruding upward from an upper side of the robotic mower 100. The monocular camera 131 is mounted in an upper part of the camera tower 133 constituting a camera housing 135. In the exemplary embodiment illustrated in the drawing, the lens 137 of the monocular camera 131 protrudes from the camera housing 135 in order for the camera housing 135 not to limit or obscure the field of view of the monocular camera 131.

[0069] The robotic mower may further comprise a scale reference element 160 which is positioned relative to the monocular camera 131 such that the scale reference element 160 is always depicted in the scene captured by the monocular camera. As will be described in more detail below, this allows the onboard  computer 140 of the robotic mower 100 to use the scale reference element 160 as depicted in the images captured by the monocular camera 131 for scale adjustment, thereby potentially improving the accuracy in obstacle distance determination.

[0070] Figs. 3A-3C illustrate schematically results of the image capturing and processing techniques employed by the robotic mower 100 in order to determine the distance to the obstacle 300.

[0071] Fig. 3A illustrates a perspective image 10 of the scene 30, as captured by the monocular camera 131. The scene comprises a part of the working area 200 to be mown by the robotic mower 131, the obstacle 300, and a front part of the robotic mower 100, including the scale reference element 160.

[0072] The onboard computer 140 of the robotic mower 100 is configured to take the captured perspective image 10 as input image to generate an inverse perspective mapping (IPM) source image 20 from the perspective image 10, comprising contextual information of the scene 30. The contextual information of the IPM source image 20 comprises contextual information on at least obstacles that are to be avoided by the robotic mower 100.

[0073] The IPM source image 20 may be generated by the onboard computer 140 by applying an image segmentation or object detection algorithm to the captured perspective image 10. The image segmentation or object detection algorithm may, for example, be a semantic segmentation algorithm causing the IPM source image 20 to comprise a semantic segmentation map of the scene 30. This way, the pixels of the perspective image 10 may be classified into predefined classes or categories. In another example, the image segmentation or object detection algorithm may be an object detection algorithm causing the IPM source image 20 to comprise boundary boxes or areas defining different objects in the perspective image 10. This way, objects in the perspective image 10 may be classified into predefined classes or categories. The image segmentation or object detection algorithm thus serves to classify pixels or objects in the perspective image 10 according to predetermined rules governed by the algorithm. For example, an object or a pixel in the perspective image 10 may be classified either as grass 50 that should be mown or an obstacle 300 that should be avoided.

[0074] When the IPM source image 20 has been generated, the onboard computer 140 takes the IPM source image 20 as input image to an IPM process that involves generation of an IPM image 40 depicting a bird’s -eye view of the scene 30 by applying an IPM transformation to the IPM source image 20. This is achieved by using a homography matrix stored in the data storage medium 142 of the onboard computer 140 to warp the IPM source image 20 into a bird’s -eye view. Typically, the IPM  transformation maps each pixel in the IPM source image 20 into its corresponding location in the bird’s -eye view of the IPM image 40.

[0075] The homography matrix used in the IPM transformation represents the transformation between the image plane of the IPM source image 20, which corresponds to the image plane of the perspective image 10, and the desired bird's -eye view (top-down view) of the same planar scene 30. The homography matrix serves to remove the perspective distortion and reproject the scene 30 onto a flat, top-down plane of the birds-eye view.

[0076] A generic homography matrix H for the IPM transformation can be represented as a 3x3 matrix on the form:

[0077] where each element hij represents a parameter of the IPM transformation. Once the homography matrix is computed, it can be used by the robotic mower 100 to transform a point (x, y) in the IPM source image 20 to a corresponding point (x’, y’) in the bird’s -eye view using homogenous coordinates:

[0078] Typically, the homography matrix is first computed during factory calibration of the robotic mower 100. This may, for example, be achieved by placing the robotic mower 100, and hence its monocular camera 131, in a known position relative to a predefined calibration pattern. By identifying and matching corresponding points of the calibration pattern in a perspective image captured by the monocular camera 131 and a desired bird’s -eye view, the parameters of the homography matrix can be computed using methods such as Direct Linear Transformation (DLT) or the RANSAC algorithm. These methods typically estimate the homography matrix that best maps the corresponding points from the perspective image to the desired bird’s -eye view while minimizing the reprojection error.

[0079] Normally, during IPM processes involving generation of a bird’s -eye view from a perspective image, the pixels of the perspective image are first projected onto an intermediate plane, before projecting them onto the flat plane of the bird’s -eye view. This intermediate plane is often referred to as the ground plane or ground level plane and is typically parallel to the ground and positioned at a predetermined height. The projection of pixels onto the ground level plane is normally achieved by means of a transformation that essentially serves to “flatten” the perspective image to remove the  effects of depth. According to a preferred embodiment of the present disclosure, however, the onboard computer 140 of the robotic mower 100 is configured to map the pixels of the IPM source image 20 directly into their corresponding locations in the IPM image 40 using the homography matrix, without first projecting the scene 30 onto an intermediate 2D plane, such as a ground level plane. In other words, the onboard computer 140 is configured to assume that all pixels in the perspective image 10 are located on a flat ground plane already. This has the advantage of eliminating the step of projecting the scene 30 onto a 2D plane parallel to the ground, which simplifies the processing and analysis of the scene.

[0080] An effect of mapping the pixels of the IPM source image 20 directly into their corresponding locations in the IPM image 40 without first projecting the scene 30 onto a ground level plane is that pixels with a height above ground in the perspective image 10 will not be accurately positioned in the IPM image 40. Instead, a pixel depicting a part of an object with a height above ground in the perspective image 10 will be mapped into a position in the IPM image 40 at a distance from the robotic mower 100 that exceeds the physical distance between the robotic mower 100 and the depicted part of the object. Essentially, objects in the perspective image 10 will, in the IPM image 40, take the form of their own shadows should the monocular camera 131 have been a lamp.

[0081] In other words, distances to objects at a height above ground will be exaggerated in the IPM image 40. However, importantly enough, the distance from the monocular camera 131 to the intersection point between an object in the perspective image 10 and the ground will always be correctly reflected in the IPM image 40. In most situations and for most types of obstacles appearing in a working area of a robotic mower, it is sufficient for the robotic mower 100 to be able to accurately determine the distance to the intersection point between the obstacle and the ground. Therefore, the advantage of not having to project the perspective image 10 onto an intermediate ground level plane before performing the IPM transformation outweighs the disadvantage of imperfect transformation of pixels representing objects at a height above ground.

[0082] After generation of the IPM image 40, the onboard computer 140 determines a distance d (see Fig. 2) to the obstacle 300 from image data of the IPM image. The determination is made based on a spatial analysis of the IPM image 40 and, typically, based on the number of pixels between the obstacle 300 and the robotic mower 100 in the IPM image 40. Based on the spatial analysis of the IPM image 40, a virtual distance d ’ to the obstacle 300 in the IPM image 40 may be determined, which virtual distance may be translated by the onboard computer 140 to a distance d (see Fig. 2) corresponding to a physical distance between the robotic mower 100 and the obstacle 300 by applying scale adjustment  to the IPM image 40. The scale adjustment may be made based on the parameters of the homography matrix. Instead of, or in addition to, using the parameters of the homography matrix for scale adjustment, the onboard computer 140 may be configured to apply the scale adjustment based on known dimensions of objects depicted in the scene 30 captured by the monocular camera 131. In some embodiments, the robotic mower 100 may comprise a reference element 160 with known dimensions, which reference element is positioned relative to the monocular camera 131 such that it is always depicted in images captured by the camera. In this scenario, the onboard computer 140 may be configured to apply the scale adjustment based on a spatial relationship between the dimensions of the reference element 160 in the IPM image 40 and the known physical dimensions of the reference element. The reference element 160 may, in a non-limiting example, be a sticker with a QR code or a scale calibration pattern printed thereon, which sticker is adhered to a front part of the chassis 110 of the robotic mower 100.

[0083] Once the distance d to the obstacle 300 is determined from the image data of the IPM image 40, the onboard computer 140 adapts the path 190 (see Fig. 1) to be followed by the robotic mower 100 based on the determined distance such that the obstacle 300 is avoided by the robotic mower 100.

[0084] In a straight-forward exemplary implementation, the onboard computer 140 may be configured to adapt the path 190 based on images captured by the monocular camera 131 on an ad-hoc basis, meaning that the onboard computer 140 controls propulsion of the robotic mower 100 reactively, based on the distance to any obstacle appearing in the images captured by the monocular camera 131. Preferably, however, the robotic mower 100 is configured to use the information on the distance d to the obstacle 300 together with information on a current position of the robotic mower 100, as determined by means of the position determining device 150, to determine a location of the obstacle 300 in the working area 200. This way, the onboard computer 140 may plan the path 190 proactively such that mowing of the working area 200 is optimized having regard to the location of the obstacle 300.

[0085] With simultaneous reference made to previous drawings, Fig. 4A illustrates the working area 200 and a top view of the robotic mower 100 in a situation where the robotic mower 100 is in a position substantially corresponding to the position of the robotic mower 100 illustrated in Fig. 2, when capturing the perspective image 10 of the obstacle 300.

[0086] Fig. 4B illustrates schematically an environmental model 400, or digital map, of the working area 200. The environmental model 400 may be stored in the data storage medium 142 of the onboard  computer 140 of the robotic mower 100. The environmental model 400 comprises a working area boundary 401, which boundary may be defined by a user or determined by the robotic mower 100 based on obtained sensor data. When the robotic mower 100 has determined the location of the obstacle 300, as described above, the onboard computer 140 may be configured to update the environmental model 400 with information relating to the location of the obstacle 300. In some embodiments, the onboard computer 140 may be configured to determine a stay-out zone 440 based on the location of the obstacle 300, and to update the environmental model 400 of the working area with information relating to the stay-out zone 440. The stay-out zone 440 represents a part of the working area 200 that should be avoided by the robotic mower 100. The stay-out zone 440 is typically determined as an area that surrounds the obstacle 300. In a non-limiting example, the stay-out zone 440 may be determined as a rectangular area. In some embodiments, the onboard computer 140 may be configured to determine, based on image data of a plurality of images captured by the monocular camera 131 at different points in time, if the obstacle 300 is a moving or non-moving obstacle, and to determine a stay-out zone 440 only for non-moving obstacles. As illustrated in Fig. 4C, the onboard computer 140 of the robotic mower 100 may be configured to adapt the path 190 such that the robotic mower 100 stays out of the stay-out zone 440.

[0087] Fig. 5 illustrates an example of a more detailed environmental model 400 of a working area, which may be stored in the data storage medium 142 of the robotic mower 100. The exemplary environmental model 400 represents a curtilage comprising a detached house and its surrounding lawn. The environmental model 400 comprises a working area boundary 401, two permanent structures 410 corresponding to the house and a swimming pool, a mower charging station 420 for charging the robotic mower 100, a non-cutting area 430 corresponding to a paved path. The map data 400 further comprises a stay-out zone 440 corresponding to the stay-out zone 440 determined by the robotic mower 100 in response to capturing the perspective image 10 of the scene 30 comprising the obstacle 300, as described with reference to the previous drawings.

[0088] As mentioned above, the homography matrix used by the onboard computer 140 in the IPM process is typically a predefined homography matrix computed using a calibration pattern during factory calibration of the robotic mower 100. In order to compensate for changes in the calibration of the monocular camera 131, environmental changes in the working area 200 (i.e. the scene to be depicted by the monocular camera) , variations in lighting conditions, etc., the robotic mower 100 may be configured for automatic or semi-automatic post-factory calibration update of the homography matrix. For example, the robotic mower 100 may be configured to receive homography matrix parameters  from the above-mentioned external device, e.g. an Internet server or a mobile communication device of a user, whereby the onboard computer 140 may be configured to update the homography matrix stored in the data storage medium 142 based on the received homography matrix parameters. The robotic mower 100 may also be configured to update the homography matrix based on image data contained in perspective images captured by the monocular camera 131 after factory calibration, e.g. during operation of the robotic mower 100.

[0089] In some embodiments, the onboard computer 140 of the robotic mower 100 may be configured to update the homography matrix based on a predefined calibration pattern depicted in at least one image captured by the monocular camera 131. In some embodiments, a calibration pattern may be provided on the charging station 420 of the robotic mower, whereby the onboard computer 140 may utilize known physical dimensions of the calibration pattern and the dimensions of the calibration pattern in images captured by the monocular camera 131 in order to compute updated parameters for the homography matrix.

[0090] With simultaneous reference to previous drawings, Fig. 6 is a flow chart illustrating a method for autonomous planning of a path 190 to be followed by a robotic mower 100 in a working area 200 of the robotic mower.

[0091] In a first step, S1, the monocular camera 131 of the robotic mower 100 is calibrated. This is typically performed during manufacturing of the robotic mower. The calibration of the monocular camera 131 typically involves determining intrinsic parameters of the camera, such as focal length, principal point, and lens distortion coefficients. This information is important in order to compute a homography matrix that accurately maps the pixels in the IPM source image 20 into their corresponding locations in the IPM image 40.

[0092] In a second step, S2, the homography matrix, H, is calculated. This is typically achieved by the onboard computer 142 of the robotic mower 100 during factory calibration, for example using a predefined calibration pattern, as described above.

[0093] In a third step, S3, the robotic mower 100 is put into operation and follows the planned path 190 in the working area 200.

[0094] In a fourth step, S4, the monocular camera 131 of the robotic mower 100 captures a perspective image 10 of a scene 30 comprising at least one obstacle 300.

[0095] In a fifth step, S5, an IPM image 40 depicting a bird’s -eye view of the scene 30 is generated from the perspective image 10 captured in step S4. This is typically performed by the onboard computer 140 of the robotic mower 100.

[0096] This step may comprise a first substep, S5A, of generating an IPM source image 20 comprising contextual information of the scene 30 from the captured perspective image 10, and a second substep, S5B, of generating the IPM image 40 depicting the bird’s -eye view of the scene 30 by applying an IPM transformation to the IPM source image 20.

[0097] In a sixth step, S6, a distance, d, to the obstacle 300 is determined from image data of the IPM image 40. This is typically performed by the onboard computer 140 of the robotic mower 100.

[0098] In a seventh and final step, S7, the path 190 is adapted, or re-planned, based on the determined distance, d. This is typically performed by the onboard computer 140 of the robotic mower 100.

[0099] This step may comprise a first substep, S7A, of determining the location of the obstacle based on the determined distance, d, and a current position of the robotic mower 100; a second substep, S7B, of determining a stay-out zone to be avoided by the robotic mower based on the location of the obstacle, and; updating an environmental model 400 with the determined stay-out zone in order to avoid the obstacle 300 by adapting the path to be followed based on the updated environmental model 400.

[0100] Once the path has been adapted, the method returns to steps S3 in which the robotic mower 100 continues to follow the path while capturing new perspective images in order to detect and avoid any further obstacle along its path through the working area 200.

Claims

1.A robotic mower (100) configured to plan a path (190) to be followed in a working area (200) of the robotic mower, comprising an image sensor arrangement (130) for capturing images of obstacles in the working area, and a processor (141) for planning the path based on image data of the captured images, characterised in that the image sensor arrangement (130) comprises a monocular camera (131) configured to capture a perspective image (10) of a scene (30) comprising at least one obstacle (300) , wherein the processor (141) is configured to:- generate an inverse perspective mapping [IPM] source image (20) from the captured perspective image (10) ;- generate an IPM image (40) depicting a bird’s-eye view of the scene (30) by applying an IPM transformation to the IPM source image (20) ;- determine a distance (d) to the obstacle (300) from image data of the IPM image (40) , and- adapt the path (190) to be followed based on the determined distance (d) .2.The robotic mower (100) of claim 1, wherein the processor (141) is configured to generate the IPM source image (20) by applying an image segmentation or object detection algorithm to the captured perspective image (10) , thereby generating an IPM source image (20) comprising contextual information of the scene (30) .3.The robotic mower (100) of claim 1 or 2, wherein the processor (141) is configured to apply the IPM transformation using a homography matrix that maps pixels in the IPM source image (20) into their corresponding locations in the IPM image (40) .4.The robotic mower (100) of claim3, wherein the processor (141) is configured to map the pixels of the IPM source image (20) into their corresponding locations in the IPM image (40) using the homography matrix, without first projecting the scene (30) onto a 2D plane.5.The robotic mower of claim 3 or 4, wherein the homography matrix is a predefined homography matrix computed using a calibration pattern during factory calibration of the robotic mower (100) .6.The robotic mower of any of the claims 3-5, wherein the processor (141) is configured to update the homography matrix based on a predefined calibration pattern depicted in images captured by the monocular camera (131) after factory calibration.7.The robotic mower of any of the preceding claims, wherein the processor (141) is configured to apply scale adjustment to the IPM image (40) based on known dimensions in the scene (30) , prior to determining the distance (d) to the obstacle (300) from the image data of the IPM image (40) .8.The robotic mower of claim 7, wherein the monocular camera (131) is mounted on the robotic mower (100) such that the scene (30) depicted in the perspective image (10) comprises a scale reference element (160) of the robotic mower (100) , the scale reference element (160) having known dimensions that are used by the processor (141) in the scale adjustment applied to the IPM image (40) .9.The robotic mower (100) of any of the preceding claims, further comprising a position determining device (150) for determining a position of the robotic mower (100) , wherein the processor (141) is configured to determine a location of the obstacle (300) based on the determined distance (d) and the position of the robotic mower (100) , and to update an environmental model (400) of the working area (200) with information relating to the location of the obstacle (300) .10.The robotic mower (100) of claim 9, wherein the processor (141) is configured to determine a stay-out zone (140) based on the location of the obstacle (300) , and to update the environmental model (400) of the working area (200) with information relating to the stay-out zone (140) , the processor (141) being configured to adapt the path (190) such that the mower (100) stays out of the stay-out zone (140) .11.A method for autonomous planning of a path (190) to be followed by a robotic mower (100) in a working area (200) of the robotic mower, wherein the robotic mower (100) comprises an image sensor arrangement (130) containing a monocular camera (131) for capturing images of obstacles in the working area (200) , wherein the monocular camera (131) is configured to capture a perspective image (10) of a scene (30) comprising at least one obstacle (300) , characterised by the steps of:- generating (S5A) an inverse perspective mapping [IPM] source image (20) from the captured perspective image (10) ;- generating (S5B) an inverse perspective mapping [IPM] image (40) depicting a bird’s-eye view of the scene (30) by applying an IPM transformation to the IPM source image (20) ;- determining (S6) a distance (d) to the obstacle (300) from image data of the IPM image (40) , and- adapting (S7) the path (190) to be followed based on the determined distance (d) .12.The method of claim 11, wherein the step of generating the IPM source image (20) comprises applying an image segmentation or object detection algorithm to the captured perspective image (10) , thereby generating an IPM source image (20) comprising contextual information of the scene (30) .13.The method of claim 11 or 12, wherein the step of applying the IPM transformation is performed using a homography matrix that maps pixels in the IPM source image (20) into their corresponding locations in the IPM image (40) .14.The method of claim 13, further comprising the steps of mapping the pixels of the perspective image (10) into their corresponding locations in the IPM image (40) using the homography matrix, without first projecting the scene (30) onto a 2D plane.15.The method of claim 13 or 14, wherein the homography matrix is a predefined homography matrix computed using a calibration pattern during factory calibration of the robotic mower (100) .16.The method of any of the claims 13-15, further comprising the step of updating the homography matrix based on a predefined calibration pattern depicted in images captured by the monocular camera (131) after factory calibration.17.The method of any of the claims 11-16, further comprising the step of applying a scale adjustment to the IPM image (40) based on known dimensions in the scene (30) , prior to determining the distance (d) to the obstacle (300) from the image data of the IPM image (40) .18.The method of claim 17, wherein the scale adjustment is performed by using known dimensions of a scale reference element (160) of the robotic mower (100) , which scale reference element (160) is comprised in the scene (30) depicted in the perspective image (10) .19.The method of any of the claims 11-18, wherein the robotic mower (100) further comprises a position determining device (150) for determining a position of the robotic mower (100) , the method comprising the steps of:- determining (S7A) a location of the obstacle (300) based on the determined distance (d) and the position of the robotic mower (100) , and- updating an environmental model (400) of the working area (200) with information relating to the location of the obstacle (300) .20.The method of claim 19, comprising the steps of:- determining (S7B) a stay-out zone (440) based on the location of the obstacle (300) ;- updating (S7C) the environmental model (400) of the working area (200) with information relating to the stay-out zone (440) , and- adapting the path (190) such that the mower (100) stays out of the stay-out zone (140) .21.A computer program for autonomous planning of a path (190) to be followed by a robotic mower (100) in a working area (200) of the robotic mower, comprising computer-readable instructions which, when executed by a processor (141) of the robotic mower (100) , causes the robotic mower (100) to perform the method of any of the claims 11-20.22.A computer program product comprising a non-transitory data storage medium (142) storing the computer program of claim 21.

Images