Camera devices and contral methods for filming golf game

Abstract

The present application relates to camera devices and control methods for filming golf game. The camera device comprises a camera module, a gimbal with three-axis mechanical stabilization, a control assembly and a pole. The camera module is installed on the gimbal. The control assembly comprises a case, control buttons and a control circuit. Wherein, the control buttons are disposed on the case, the control circuit is disposed inside the case. The gimbal is connected to the case. The control buttons, the camera module and the gimbal are electrically connected to the control circuit. The pole comprises a pole body and a battery. The battery is located inside the pole body. Afirst end of the pole body is connected to the case, and a second end of the pole body is configured to be inserted into turf of a golf course to stand the pole upright. The battery is electrically connected to the control circuit. The camera device is designed for recording golf game automatically. Designing the battery within the pole body provides ample space for a larger battery. This larger battery capacity and output meet the demands for long-duration recording in golf game.

Description

CAMERA DEVICES AND CONTRAL METHODS FOR FILMING GOLF GAMETECHNICAL FIELD

[0001] The present disclosure relates to a field of golf game, and in particular to camera devices and control methods for filming golf game.BACKGROUND

[0002] Videos taken during golf game are good for entertainment as well as a tool to improve golfer’s skill. In general, a video of a golf game is taken by another person (generally not the golfer playing the golf game) with their smart phone, or the camera man photo-shooting with professional camera equipment during golf tournament. During a golf match, there are chances that the golfer may play a good shot or for a good putt that he wants to memorize. However, other golfers in the team are busy for the match and very seldom have time to take the videos for others, not to say if by chance the golfer shoots a hole in one. The golfer usually would like to share joy and fun with other. However, it is difficult to film the game by themself.

[0003] Therefore, it is desirable to have a solution for a camera device that can automatically record the play of a golfer during their golf game. Conventional smartphones, cameras, or handheld gimbal cameras cannot meet the automatic filming requirements in golf game.SUMMARY

[0004] According to various embodiments of the present disclosure, camera devices and control methods for filming golf game are provided.

[0005] A camera device for filming golf game, comprising:

[0006] a camera module;

[0007] a gimbal with three-axis mechanical stabilization; the camera module is installed on  the gimbal;

[0008] a control assembly comprising a case, control buttons and a control circuit; wherein the control buttons are disposed on the case, the control circuit is disposed inside the case; the gimbal is connected to the case; the control buttons, the camera module and the gimbal are electrically connected to the control circuit; and

[0009] a pole comprising a pole body and a battery, wherein the battery is located inside the pole body; a first end of the pole body is connected to the case; a second end of the pole body is configured to be inserted into turf of a golf course to stand the pole upright; the battery is electrically connected to the control circuit.

[0010] In the embodiment, wherein the camera module comprises a prime camera with an optical zoom lens and a secondary camera with a wide-angle lens; the secondary camera is mounted on top of the prime camera with an axis of the secondary camera aligned in a same direction as an axis of the prime camera.

[0011] In the embodiment, wherein the gimbal comprises a pan motor, a tilt motor, a roll motor, a first frame and a second frame;

[0012] the pan motor connects the case and the first frame, allowing the first frame to rotate relative to the case around a first axis;

[0013] the tilt motor connects the first frame and the second frame, allowing the second frame to rotate relative to the first frame around a second axis;

[0014] the roll motor connects the second frame and the camera module, allowing the camera module to rotate relative to the second frame around a third axis.

[0015] In the embodiment, wherein a first angle between the first axis and the second axis is 60-70 degrees; a second angle between the second axis and the third axis is 90 degrees.

[0016] In the embodiment, wherein the control buttons comprise a power button for switching on and off, a record button for quickly starting recording, and a Wi-Fi button for enabling communication with other nearby devices.

[0017] In the embodiment, the control assembly further comprises an LED panel to indicate status of operation, the LED panel is mounted on the case and is electrically connected to the control circuit;

[0018] the camera module comprises an LED light with multiple colors to indicate  status of operation.

[0019] In the embodiment, wherein the pole body comprises a hollow part and a solid part connected to the hollow part; the first end is at an end of the hollow part, and the second end is at an end of the solid part; the battery is located in the hollow part and is positioned near the first end.

[0020] In the embodiment, wherein the pole further comprises a spike fixed on the second end.

[0021] In the embodiment, wherein the pole comprises multiple batteries.

[0022] A control method for filming golf game automatically by using the camera device, comprising following steps:

[0023] locating a flagpole by employing a flagpole detection algorithm to determine an angle and distance of the flagpole in relation to the camera device;

[0024] detecting a player in a tee-off area by employing a face recognition algorithm, a human body attribute recognition algorithm, and a hand-raising gesture recognition algorithm;

[0025] rotating the camera module towards a target and recording video from tee-off to ball landing upon detecting ball movement using a golf ball detection algorithm or detecting ball-striking sound using a ball-striking sound detection algorithm; and

[0026] returning the camera module from the flagpole to the player and film the player.

[0027] Details of one or more embodiments of the present disclosure will be given in the following description and attached drawings. Other features, objects and advantages of the present disclosure will become apparent from the description, drawings, and claims.BRIEF DESCRIPTION OF THE DRAWINGS

[0028] In order to better describe and illustrate the embodiments and / or examples of the contents disclosed herein, reference may be made to one or more drawings. Additional details or examples used to describe the drawings should not be considered as limiting the scope of any of the disclosed contents, the currently described embodiments and / or examples, and the best mode of these contents currently understood.

[0029] FIG. 1 illustrates a perspective view of a camera device for filming golf game according to an embodiment of the present disclosure;

[0030] FIG. 2 illustrates a partial view of the camera device for filming golf game shown in FIG. 1;

[0031] FIG. 3 illustrates a sectional view of the control assembly and the pole of the camera device for filming golf game shown in FIG. 1;

[0032] FIG. 4 illustrates another perspective view of a camera device for filming golf game shown in FIG. 1;

[0033] FIG. 5 illustrates a partial view of the camera device for filming golf game shown in FIG. 4;

[0034] FIG. 6A illustrates a partial right side view of the camera device for filming golf game shown in FIG. 1;

[0035] FIG. 6B illustrates a top view of the camera device for filming golf game shown in FIG. 1;

[0036] FIG. 7 illustrates a flow chart of a control method for filming golf game according to an embodiment of the present disclosure;

[0037] FIG. 8A illustrates a Par 3 in an Automatic Mode of the control method for filming golf game shown in FIG. 7;

[0038] FIG. 8B illustrates a camera device implanted on the tee-off area;

[0039] FIG. 8C illustrates the camera device searching the flag;

[0040] FIG. 8D illustrates the camera device detecting golfer on tee-off area;

[0041] FIG. 8E illustrates the camera device starting recording and ready to detect ball movement and sound of impact;

[0042] FIG. 8F illustrates the camera device capturing golfer’s swing;

[0043] FIG. 8G illustrates the camera device detecting ball sound and ball movement;

[0044] FIG. 8H illustrates the camera device turning the cameras to flag direction and recording the ball landing;

[0045] FIG. 8I illustrates the camera device turning to record golfer’s view after ball landing near target;

[0046] FIG. 9A illustrates a Manual Mode of the control method for filming golf game shown in FIG. 7;

[0047] FIG. 9B illustrates a compass bearing in the Manual Mode shown in FIG. 9A;

[0048] FIG. 10A illustrates a Putting Mode of the control method for filming golf game shown in FIG. 7;

[0049] FIG. 10B illustrates another picture in the Putting Mode shown in FIG. 10A;

[0050] FIG. 11A illustrates a Bunker Mode of the control method for filming golf game shown in FIG. 7;

[0051] FIG. 11B illustrates another picture in the Bunker Mode shown in FIG. 11A;

[0052] FIG. 11C illustrates another picture in the Bunker Mode shown in FIG. 11A;

[0053] FIG. 12 illustrates a panoramic view taken by the wide-angle lens;

[0054] FIG. 13 illustrates the interactive interfaces of the controller app;

[0055] FIG. 14A illustrates a photo taken by the optical zoom lens;

[0056] FIG. 14B illustrates a photo taken by the wide-angle lens;

[0057] FIG. 15 illustrates the green with escalation;

[0058] FIG. 16 illustrates the camera device recording on fairway with flag found according to an embodiment;

[0059] FIGs. 17 and 18 illustrate scenarios of utilizing the Wi-Fi connection.

[0060] DETAILED DESCRIPTION OF THE EMBODIMENTS

[0061] In order to facilitate the understanding of the present disclosure, the present disclosure will be described more fully below with reference to the relevant drawings. Preferred embodiments of the present disclosure are shown in the drawings. However, the present disclosure can be implemented in many different forms and is not limited to the embodiments described herein. On the contrary, the purpose of providing these embodiments is to make the disclosure of the present disclosure more thorough and comprehensive.

[0062] Unless otherwise defined, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. The definitions are provided to aid in describing particular embodiments, and are not intended to limit the claimed invention. The term “and / or” used herein includes any and all combinations of one or more related listed items.

[0063] In order to understand this application thoroughly, detailed steps and structures will be provided in the description below to explain the technical solution proposed by this application. Preferred embodiments of this application are described in detail below. However, in addition to these details, there may be other embodiments of this application.

[0064] It should be noted that when an element is referred to as being “fixed to” another element, it can be directly on another element or an intervening element may also be present there between. When an element is considered to be “connected to” another element, it can be directly connected to another element or an intervening element may be present at the same time. Terms “inner” , “outer” , “upper” , “lower” , “left” , “right” and similar expressions used herein are for illustrative purposes only, and do not mean that they are the only embodiments.

[0065] Referring to FIGs. 1 and 2, a camera device 10 for filming golf game comprises a camera module 100, a gimbal 200 with three-axis mechanical stabilization, a control assembly 300 and a pole 400. The camera module 100 is installed on the gimbal 200. The control assembly 300 comprises a case 320, control buttons 340 and a control circuit. Wherein, the control buttons 340 are disposed on the case 320, and the control circuit is disposed inside the case 320. The gimbal 200 is connected to the case 320. The control buttons 340, the camera module 100 and the gimbal 200 are electrically connected to the control circuit.

[0066] Referring to FIG. 3, the pole 400 comprises a pole body 420 and a battery 440. The battery 440 is located inside the pole body 420. A first end 422 of the pole body 420 is connected to the case 320. A second end 424 of the pole body 420 is configured to be inserted into turf of a golf course to stand the pole 400 upright. The battery 440 is electrically connected to the control circuit.

[0067] In the embodiment of this application, the camera device 10 is designed for recording golf game, with its usage scenario set in an outdoor golf course. The camera device 10 is basically the camera module 100 mounted on the gimbal 200 to film the golf game by golfer himself, or to help teammate to film their game.

[0068] In this application, “golfer” and “player” refer to the person playing golf, while “user” refers to the person operating the camera device 10. The player and user are  usually the same person, but in some embodiments, they can be different individuals.

[0069] The pole 400 is a long, rod-like structure intended to be inserted into the turf of a golf course. The pole 400 length can range from 0.5m to 1m. Typically, handheld gimbal 200 cameras design the battery 440 within the control assembly 300. In this embodiment, the battery 440 is designed within the pole body 420.

[0070] Compared to conventional handheld gimbal 200 cameras, the camera device 10 in this embodiment, based on its usage scenario, can be longer, larger, and heavier. Designing the battery 440 within the pole body 420 provides ample space for a larger battery 440. This larger battery 440 capacity and output meet the demands for long-duration recording in golf game.

[0071] The camera device 10 includes a built-in chip that, in conjunction with the appropriate computer program and algorithms, controls the gimbal 200 rotation and the operation of the camera module 100, thereby facilitating the recording of golf game. The camera device 10 can film golf game automatically without the help of others. Traditional smartphones, cameras, or handheld gimbal 200 cameras are inconvenient to use in the environment of a golf course.

[0072] Referring to FIG. 3, in some embodiments, the pole body 420 comprises a hollow part 426 and a solid part 428 connected to the hollow part 426. The first end 422 is at an end of the hollow part 426, and the second end 424 is at an end of the solid part 428. The battery 440 is located in the hollow part 426 and is positioned near the first end 422. The solid part 428 makes the pole 400 sturdy, allowing the pole 400 to be easily inserted into the turf. Further, in an embodiment, the pole 400 further can comprise a spike 460 fixed on the second end 424. The spike 460 allows the player to implant into the turf easily for the operation and can be taken out afterward.

[0073] Referring to FIG. 2, in some embodiment, the camera module 100 can comprise a prime camera 120 with an optical zoom lens and a secondary camera 140 with a wide-angle lens. The secondary camera 140 is mounted on top of the prime camera 120 with an axis of the secondary camera 140 aligned in a same direction as an axis of the prime camera 120.

[0074] The prime camera 120 and the secondary camera 140 can be housed in a small cabinet mounted on the gimbal 200. The prime camera 120 is an optical zoom lens with  18xzoom capability. The secondary camera 140 is a wide-angle lens mounted on top of the zoom lens with axle aligned in the same direction. Both cameras perform different functions for the videos captured during the golf game.

[0075] The camera module 100 is equipped with two cameras that can simultaneously film the object. Typically, a golfer aims to hit the ball along a target line, which is usually directed toward the flag. However, there is a significant chance of misalignment, such as a slice to the right or left. For a successful shot, the camera device will capture a high-quality video, zoomed in on the target, such as the flag or hole. This camera device is created for recording great shots. However, if the shot is missed, the ball can still be tracked by the second camera, which offers a wider field of view along its path. As a result, each shot will have two videos: one from the primary optical zoom lens and another from the wide-angle lens.

[0076] For the video taken by zoom lens, it is expected to be much clear and with more details and should be able to see the ball run towards the target. For the second one, it shall be wider with picture, more objects will be seen, and possibly golfer can see the losing ball in compare with the zoom lens details. It can be a good source to find the lost ball. Also, the picture and videos from the wide-angle lens is more details and beautiful for golfer to appreciate after they put it on a bigger screen at home or in the clubhouse.

[0077] Referring to FIGs. 2 and 5, in some embodiment, the gimbal 200 comprises a pan motor 220, a tilt motor 240, a roll motor 260, a first frame 280 and a second frame 290. The pan motor 220 connects the case 320 and the first frame 280, allowing the first frame 280 to rotate relative to the case 320 around a first axis. The tilt motor 240 connects the first frame 280 and the second frame 290, allowing the second frame 290 to rotate relative to the first frame 280 around a second axis. The roll motor 260 connects the second frame 290 and the camera module 100, allowing the camera module 100 to rotate relative to the second frame 290 around a third axis. The gimbal 200 underneath the camera module 100 can rotate freely to different directions.

[0078] Further, referring to FIGs. 6A and 6B, in an embodiment, a first angle θ1 between the first axis and the second axis can be 60-70 degrees, and a second angle θ2 between the second axis and the third axis is 90 degrees. The first angle θ1 is 60-70  degrees, but not 90 degrees. Thus, when the camera module 100 is turned back, the second frame 290 will not block the cameras. The golf ball traces an arc in the air from the moment it is hit until it lands. The camera module 100 continuously follows the golf ball, requiring a large panning angle. The camera device 10 in this embodiment can meet the requirements for large panning angles needed for automatic filming of golf game. In a more specific embodiment, the first angle θ1 is 65 degrees.

[0079] Referring to FIGs. 2 and 5, in an embodiment, the control buttons 340 can comprise a power button 342 for switching on and off, a record button 344 for quickly starting recording, and a Wi-Fi button 346 for enabling communication with other nearby devices. In an embodiment, the control assembly 300 can comprise a first USB port 380 for recharging the battery 440. In an embodiment, the control assembly 300 can comprise an LED panel 390 to indicate status of system, such as Wi-Fi status and power level. The LED panel 390 can be mounted on the case 320 and electrically connected to the control circuit.

[0080] In an embodiment, the camera module comprises an LED light 150 with multiple colors to indicate status of operation, such as waiting for the golfer to putt or detecting a hand raise. The LED light 150 is mounted near the left of secondary camera 140 with a wide-angle lens. The LED light 150 is configured to communicate the operation information with user. In an embodiment, the LED light 150 can work with voice messages. It can synchronize with voice prompts, for example, “golfer can putt now” or “flag was found” . In an embodiment, the camera module 100 can include a second USB port 160 for data transmission. The camera module 100 can also include a card slot 180 for installing a memory card. In an embodiment, the memory card can be an inbuilt SD card.

[0081] In one embodiment, the player can activate the Wi-Fi module by pressing the Wi-Fi button 346 to enable communication with nearby devices, such as smartphones, allowing freshly captured videos to be shared over the internet. For quicker access, the inbuilt SD card can be removed to swiftly download videos to other devices for entertainment or backup purposes.

[0082] During operation, the record button 344 is provided for a quick press to start  recording. The LED light 150 has different colors to indicate the status of operation as well as actions to be taken by the player.

[0083] In some embodiment, the pole 400 can comprise multiple batteries 340. The multiple batteries 340 can provide at least 20000 mAh electrical power for more than 5 hours of operation. In a more specific embodiment, three batteries 340 inside the pole 400 providing a total of 21,000 mAh electrical power to support all functions for the entire camera device 10. The electrical power is enough for more than 5 hours of operation. It is rechargeable with the first USB port 380 provided.

[0084] Referring to FIG. 7, the embodiments of this patent application also provide a control method for filming golf game automatically by using the camera device in FIGs 1-6. The control method comprises the following steps:

[0085] S720, locating a flagpole by employing a flagpole detection algorithm to determine an angle and distance of the flagpole in relation to the camera device.

[0086] In general, around 90%of golf shots can visualize the flags of every hole during the play. That is most of the shots are aimed at the flag no matter if he wants to shoot it to the green or not. If we want to film a video showing the golf ball to land on the green near the hole, one must be able to pinpoint the flag location which is the direction of every golf ball shooting at 90%of the time.

[0087] The algorithm is to employ the latest Artificial Intelligence (AI) technologies for locating the flag. With proper training, the AI algorithm can recognize the flag almost instantly. Once the flag is located, it can deduce both the angle and distance of the flag in relation to the camera device location. These parameters will be recorded with the camera device’ memory for this shot.

[0088] Before the step of S720, the golfer shall stay in the tee-off area (the area between two tee-off marks) . The user implants the camera device into a nearby location, typically 3-5 meters away from the tee-off marks, and switch on the camera device. The camera device should first be oriented towards the golfer near the tee-off mark to recognize its position as reference.

[0089] S740, detecting a player in a tee-off area by employing a face recognition algorithm, a human body attribute recognition algorithm, and a hand-raising gesture  recognition algorithm.

[0090] After the step of S720, the next step is to look for the golfer to be in play. With the face ID and human body recognition technique, and the gesture of raising any hand, the camera device can detect the golfer in the tee off region. It will start to film a golfer’s shot.

[0091] S760, rotating the camera module towards a target and recording video from tee-off to ball landing upon detecting ball movement using a golf ball detection algorithm or detecting ball-striking sound using a ball-striking sound detection algorithm.

[0092] Once the algorithm detects either the ball’s movement or the sound of the ball being struck by the golfer’s equipment, the camera device automatically rotates the camera module towards the target. In an embodiment, it then films the entire sequence from the tee-off to the ball landing on the green. The system captures the golfer’s swing and the ball’s landing, but does not track the ball’s flight through the sky. The final video begins with the golfer’s address, followed by the swing, the ball landing on the green, and concludes with the golfer’s reaction to the shot.

[0093] S780, returning the camera module from the flagpole to the player and filming the player. In order to return the camera module, the system can reuse the location information. After returning the camera module from the flagpole to the area of player, the camera module can film the excitement of the players.

[0094] For putting, in some embodiments, the golfer should position the camera device near the rim of the putting area and activate the putting mode. The camera device will then search for the golfer with a raised hand, identifying the next player. Once detected, the camera device will adjust the field of view (FOV) according to the user’s preset preferences and begin recording the golfer’s putt. The algorithm monitors whether the ball is putted and will film the ball’s movement until it either sinks into the hole or stops without a successful putt. After the putt, the camera device will then search for the next golfer with a raised hand, preparing to film their putt.

[0095] Another aspect of the present invention is to provide a system including the camera device, a portable device, and a cloud server. In an embodiment, the camera device is connected by Wi-Fi with smart phone for the control of the operation. It  requires the golfer to take a picture at the beginning of the game. With every golfer full body picture, the camera device will be able to recognize the person through his face ID or their dressing with different colors. In order to run and control the camera device during the golf game, it will communicate with user by the LED light 150 as well as voice messages for different operations.

[0096] For normal tee-off, the user simply places the camera device in the tee-off area, approximately 3-5 meters from the golfer, with the camera facing the flag area. After recognizing the golfer near the tee-off markers, the camera module will rotate approximately 90 degrees to face the flagpole. The algorithm will begin searching for the flag in the designated area. Once the flag is detected, the system will determine and record the direction and distance of the flag from the camera device.

[0097] After the flag is located, in an embodiment, the camera device turns to the golfer who has raised any hand to indicate readiness to be filmed. Once the camera device detects the signal to turn the cameras, whether by the sound of the ball impact or the ball’s movement, the camera gimbal will rotate toward the flag and zoom in for a close look at the shot. Once the ball has landed, the video for the green is complete. The camera device will then return to the location of the tee-off area and start recording the excitement of the group of golfers.

[0098] The camera device is ready to share their excitement with others. Golfers can quickly review the freshly filmed videos recorded in the camera device and send them out to the internet via Wi-Fi connected with their phone. For a tournament competition, loved ones are eager to see how their partners performed in the game, and friends are excited to witness various performances as well. The camera device’s website will record all these memorable videos and allow people to share and comment. It is highly recommended that these great videos be shared on social media.

[0099] In order to film the golf game automatically, AI technologies are employed. There are six (6) algorithms to be used: face recognition algorithm, human body attribute recognition algorithm, golf ball detection algorithm, hand-raising gesture recognition algorithm, ball-striking sound detection algorithm and flagpole detection algorithm.

[0100] A) Face Recognition Algorithm

[0101] The face recognition algorithm is used to detect and recognize faces of golfers, identifying individuals in the captured footage. The algorithm includes four main steps: face detection, face alignment, face feature extraction, and face matching.

[0102] Detailed Process Description:

[0103] (1) Data Input: Obtain video streams or frame image sequences from high-definition cameras as input data for the face recognition algorithm.

[0104] (2) Face Detection: Use a face detection model to detect face areas in the input video frames. Crop the detected face areas, mark face positions, and output rectangular boxes.

[0105] (3) Face Alignment: Align the detected faces to ensure consistency in face feature extraction. Common methods include alignment based on facial key points (e.g., eyes, nose, mouth) . Use a key point detection model to detect facial key points and align the face images to a standard pose through affine transformation.

[0106] (4) Face Feature Extraction: Use a face feature extraction model to extract feature vectors from the aligned face images. The feature vectors are high-dimensional floating-point arrays representing the unique features of a face.

[0107] (5) Face Matching: Compare the extracted feature vectors with known face features in a database to identify the individual's identity. Use distance metrics (e.g., Euclidean distance or cosine similarity) to calculate the similarity between the input face and each face in the database, selecting the highest similarity result as the recognition result. Set a similarity threshold; if the highest similarity is below the threshold, consider the face as unidentified.

[0108] (6) Result Output to Processing Module: Output the recognition results, including the face's position information and identity information (if recognized) . Send the results to the data processing module.

[0109] B) Human Body Attribute Recognition Algorithm

[0110] The human body attribute recognition algorithm is used to recognize and analyze golfer’s attributes such as height, body shape, clothing color, etc. The algorithm includes four main steps: human body detection, human body alignment, attribute feature extraction, and attribute classification.

[0111] Detailed Process Description:

[0112] (1) Data Input: Obtain video streams or frame image sequences from high-definition cameras as input data for the human body attribute recognition algorithm.

[0113] (2) Human Body Detection: Use an object detection model to detect human body areas in the input video frames. Crop the detected human body areas, mark positions, and output rectangular boxes.

[0114] (3) Human Body Alignment: Align the detected human bodies to ensure consistency in attribute feature extraction. Use a pose estimation model to detect human key points (e.g., head, shoulders, elbows, knees) and standardize the alignment of the human body. Align the human body images to a standard pose through affine transformation or other geometric transformations.

[0115] (4) Attribute Feature Extraction: Use a deep learning model to extract attribute feature vectors from the aligned human body images. The feature vectors are high-dimensional floating-point arrays representing various body attribute features.

[0116] (5) Attribute Classification: Input the extracted attribute feature vectors into a multi-label classifier to classify different attributes. Common attributes include height, body shape, gender, clothing color, and clothing type (e.g., shirt, pants, skirt) . Use cross-entropy loss or other loss functions suitable for multi-label classification to train and improve the classifier's accuracy.

[0117] (6) Result Processing: Output the recognition results, including the body's position information and attribute information. Send the results to the data processing module, which notifies the control module based on the results.

[0118] C) Golf Ball Detection and Tracking Algorithm

[0119] The golf ball detection algorithm is used to detect and track the golf ball's movement trajectory in real-time during golf games. The algorithm includes four main steps: video preprocessing, ball detection, ball tracking, and result processing.

[0120] Detailed Process Description:

[0121] (1) Data Input: Obtain video streams or frame image sequences from high-definition cameras as input data for the golf ball detection algorithm.

[0122] (2) Data Preprocessing: Enhance the input video frames to improve image  clarity and contrast. Common methods include histogram equalization and brightness adjustment. Use Gaussian filtering, median filtering, and other methods to remove image noise and reduce interference during detection. Calculate the differences between continuous frames to highlight the golf ball's movement trajectory. The frame difference method can effectively identify moving objects by calculating the pixel differences between the current frame and the previous frame, generating a difference image for subsequent ball detection.

[0123] (3) Ball Detection: -Preliminary Detection: Use color filtering or morphological operations (e.g., dilation, erosion) to preliminarily detect the golf ball's position in the frames. As golf balls are usually white, color features can be used for filtering. Morphological operations can help separate the golf ball from the background, enlarging the white area through dilation and restoring the ball's original size through erosion, reducing background noise interference. -Golf Ball Candidate Area Extraction: Extract candidate areas that may contain golf balls based on preliminary detection. These areas are typically small circular or elliptical areas, further confirming through morphological analysis whether they are golf balls. -Ball Detection Model: Use a deep learning model to further detect golf balls in the candidate areas. The model needs to be trained on a large number of golf ball images to improve detection accuracy. The detection model outputs the position and confidence score of the golf ball. -Multi-scale Detection: To accommodate the size changes of golf balls at different distances and frames, perform multi-scale detection on the input image, detect the ball at different resolutions, and merge the results.

[0124] (4) Ball Tracking: -Kalman Filter: Use a Kalman filter to track the detected golf ball's trajectory. The Kalman filter can predict the golf ball's current position based on previous frames' detection results, smoothing the trajectory and improving detection stability. The Kalman filter consists of prediction and update steps, utilizing the golf ball's motion model for prediction and correction based on actual detection results. -Optical Flow Method: Use the optical flow method for fine tracking of the golf ball, calculating the movement of image blocks in continuous frames to track the ball.

[0125] (5) Result Processing: Input the detection results into the processing module,  which notifies the control module to move the camera accordingly.

[0126] D) Hand-Raising Gesture Recognition Algorithm

[0127] The hand-raising gesture recognition algorithm is used to detect and recognize players' hand-raising gestures in golf sports, identifying the golfer ready to hit or putt the ball. The main process includes four steps: data preprocessing, pose estimation, action detection, and result processing.

[0128] Detailed Process Description:

[0129] (1) Data Input: Obtain video streams or frame image sequences from high-definition cameras as input data for the hand-raising gesture recognition algorithm.

[0130] (2) Data Preprocessing: -Image Enhancement: Enhance the input video frames to improve image clarity and contrast using methods such as histogram equalization and brightness adjustment. -Noise Reduction: Use Gaussian filtering, median filtering, and other methods to remove image noise and reduce interference during detection.

[0131] (3) Pose Estimation: -Human Key Point Detection: Use a pre-trained pose estimation model to detect human key points in the input video frames. Key points include the head, shoulders, elbows, wrists, etc. -Pose Estimation Model: Predict the human skeleton through convolutional neural networks, outputting a set of key point coordinates. -Key Point Tracking: Track the detected key points to ensure accurate tracking of the same key points in continuous frames using a Kalman filter. Key point tracking helps improve pose estimation stability and reduce detection errors caused by shaking or other interference.

[0132] (4) Action Detection: -Action Feature Extraction: Extract the motion trajectories of key points over a period as action features. -Action Classification: Use an action classification model to classify the extracted action features and determine if it is a hand-raising gesture. -Threshold Determination: Set an action feature threshold; if the detected action feature exceeds the threshold, it is determined to be a hand-raising gesture.

[0133] (5) Result Processing: Detect the hand-raising gesture and send the result to the processing module.

[0134] E) Ball-Striking Sound Detection Algorithm

[0135] The ball-striking sound detection module is used to detect ball-striking sounds in real-time in golf event videos. The main process includes four steps: audio preprocessing, feature extraction, sound detection, and result output.

[0136] Detailed Process Description:

[0137] (1) Audio Data Input: Obtain audio stream or audio segment from the device as input data for the ball hit sound detection algorithm.

[0138] (2) Data Preprocessing: Noise reduction: Use noise reduction algorithms such as spectral subtraction to reduce background noise interference in the audio data for ball hit sound detection.

[0139] Audio framing: Segment the audio signal into frames of fixed length (e.g., 25ms with 50%overlap) for Short-Time Fourier Transform (STFT) and feature extraction.

[0140] Short-Time Fourier Transform (STFT) : Perform STFT on each frame of audio signal to convert the time-domain signal into a frequency-domain signal, obtaining the spectrogram for each frame.

[0141] (3) Feature Extraction: Mel Frequency Cepstral Coefficients (MFCC) : Calculate the MFCC features for each frame. MFCC is a commonly used audio feature that effectively captures the spectral characteristics of the sound. Typically, 13 MFCC coefficients are extracted along with their first and second-order derivatives.

[0142] Time-frequency features: Use the spectrogram or Mel spectrogram generated by STFT as input features to retain the time-frequency distribution information of the audio signal.

[0143] Other features: Extract other commonly used audio features such as zero-crossing rate, energy, bandwidth, and spectral flatness to assist in the detection of ball hit sounds.

[0144] (4) Sound Detection: Use a deep learning model to classify the extracted audio features to determine whether it is a ball hit sound.

[0145] (5) Result Processing: Input the sound detection results into the processing module.

[0146] F) Flagpole Detection Algorithm

[0147] The flagpole detection algorithm is used to locate the position of the flagpole in  golf. The main process includes video preprocessing, flagpole detection, and result processing.

[0148] Detailed Process Description

[0149] (1) Data Input: Obtain video stream or frame image sequence: Obtain the video stream or frame image sequence of the golf event recorded from the device as input data for the flagpole detection algorithm.

[0150] (2) Data Preprocessing: Image enhancement: Enhance the input video frames to improve image clarity and contrast. Methods include histogram equalization, brightness adjustment, etc.

[0151] Noise reduction: Use methods such as Gaussian filtering and median filtering to remove image noise and reduce interference during detection.

[0152] (3) Model Detection: Use a deep learning model to detect the pre-processed data. The model should be trained with a large number of flagpole images to improve detection accuracy. The detection model outputs the position of the flagpole (e.g., bounding box) and confidence score.

[0153] Multi-scale detection: To adapt to the size changes of the flagpole at different distances and in different frames, perform multi-scale detection on the input image, detect the flagpole at different resolutions, and merge the results.

[0154] (4) Result Processing: Send the detection results to the processing module for handling.

[0155] In an embodiment, the camera device and the control method can apply an Automatic Mode. Referring to FIGs. 8A-8I, a Par 3 is used for the illustration.

[0156] In general, the distance for a par 3 is in the range 150 yd to 200 yds. Golfer needs to aim at the flag of the green so that he can land his ball near the hole. In order to take the videos, user can select the Automatic Mode.

[0157] The following steps will be used and are described with figures in the appendix:

[0158] (1) Implant camera device on the ground which is around 3-5 m from the tee-off area.

[0159] (2) The camera device should face the golfer addressing area.

[0160] (3) Press the recording key of the camera device.

[0161] (4) The camera device will search the flagpole near the hole.

[0162] (5) Once flagpole was found, the camera device will record its distance and direction with the camera device.

[0163] (6) After, it will turn the camera module to look for the golfer who raises his / her any hand.

[0164] (7) Once identified the golfer in play, the camera device will adjust FOV to his preference.

[0165] (8) The camera device will record video of golfer continuously and wait for the turn-signal to turn the camera to the flag (turn signals can be either the ball impact sound or ball images represent ball movement) .

[0166] (9) Once turn-signal of camera are detected, it will turn to the angle recorded previously during flagpole search and adjust the zoom ratio to reflect preference of the golfer, and starts recording.

[0167] (10) Both cameras will record simultaneously, one from optical zoom camera, the other from the wide-angle lens.

[0168] (11) It will take 15 seconds to record the complete scene of the shot.

[0169] (12) After recording the ball on the green, it will turn back to the tee off area, to film the scene of golfer’s excitement for 30 seconds.

[0170] (13) The camera device will pause and wait for the next golfer.

[0171] User can select the automatic mode to record for the next golfer in play. When the next golfer stays in the tee-off area, the camera device will search and look for any hand raised golfer. Once detected, it will continue the previous steps as the first one to take his video for the 2nd golfer. The method shall prevail until the last golfer. To end this round of recording, user can press the record key continuously for 3 seconds.

[0172] Another option for automatic recording is, during searching, the flagpole cannot be detected, The camera device will re-search for flagpole for another time. If no flagpole can be identified, it will switch to automatic mode. The camera device will turn back to golfer position, and start recording the golfer’s swing. Once golf ball is detected to have been hit, the camera will turn 90 degrees automatically to the target line and start recording. The remaining routine will be like the automatic mode mentioned above.

[0173] In an embodiment, the camera device and the control method can apply a Manual Mode. There are some holes that golfer cannot visually see the flagpole e.g. 1st  tee off from Par 5, 1st tee off from Par 4 etc. It is estimated that less than 10%of the game cannot see the flagpole. With flagpole, one can utilize the automatic mode to take the video. For those holes that cannot have flagpole as target, the camera device provides another methos called manual mode with compass bearing.

[0174] By utilizing a digital compass in the smart phone provided by a controller app. Golfer can turn the compass towards the arrow indicator to align with the direction you are aiming to play, or the flagpole you want to aim with.

[0175] By confirming the compass bearing and transmitting such reading to the camera device, it will allow the camera device to find the direction you want to hit the ball. Once the camera device detects the turn-signal, either by the ball impact sound or the ball movement, it will turn the camera module to record the play according to the recorded compass bearing direction.

[0176] Referring to FIGs. 9A and 9B, in some embodiments, golfers may prefer to use a setting for some special effect e.g. prefer a shot more to the left, or a different direction by strong wind etc. Golfer can use the Controller App to set the parameters for his special shot. Golfer can record the GPS reading for his next time visit for the same hole. By algin the compass to the direction he intends to hit, he can record the bearing to the camera device so that the camera device will response to it.

[0177] In an embodiment, the camera device and the control method can apply a Putting Mode. Referring to FIGs 10A and 10B, the camera device supports recording with multiple golfers during putting. In general, there are a few golfers in a flight (team) to play golf game together. It ranges from 1 to 4 golfers mostly. To illustrate, we shall use 4 golfers putting scenario.

[0178] Firstly, the golfer implants the camera device on the ground near the green (around 1-2 m from the putting green) . The camera device cannot be inserted directly on the green as this will interrupt others during putting and is prohibited. After switching on the camera device, press the recording key to start the process. The camera device shall read the nearby green to find the golfer raised any hand. Once detected, it will focus with this golfer to start recording. It will use its preference of FOV. As this action is activated with AI, once the golf ball is detected to move, the camera device will continuously record the ball’s movement slowly until it is sunk into the hole, or it is stopped near the  hole.

[0179] The camera device shall return to the starting mode and looks for another golfer who has the any hand raised for another round of putting. On completion of the entire putting process (e.g. 4 golfers etc. ) , user shall manually switch off the camera device and ready for another hole’s game.

[0180] In an embodiment, the camera device and the control method can apply a Bunker Mode. Referring to FIGs 11A-11C, in order to record the video from bunker shot, the AI is able to capture slow ball flight from the bunker hit. Once the movement of ball is detected, the camera device shall turn the camera to the flagpole previously identified so that the hit can be captured.

[0181] In one embodiment, the camera device has multiple cameras. In the embodiment of FIGs 1-5, there are two cameras housed in the main cabinet of the camera device. One is an optical zoom lens camera with 18x magnification capability. The other is a wide-angle lens camera which has 120 degrees FOV. In order to capture a good video of golf game, the scene which can record the ball flight to the hole is important. Excitement comes from the ball landing and run towards the target e.g. the hole etc. If lucky, golfer may capture a rare hole-in-one moment.

[0182] Using Par 3 as an example, after searching for flagpole, the camera device will switch to the tee-off area to identify the golfer in play. Raising any hand will be used as an identification for such golfer. From there onward, the camera device shall start recoding with golfer in play. The prime camera shall be used to record the video as well as to perform AI inference for ball movement.

[0183] For the wide-angle lens camera, it is used to record the ball flight at the same time as the prime lens. Both axes are aligned perpendicularly together. The main purpose of the wide-angle lens is to make a bigger video coverage than the prime lens. In most cases, golfer normally cannot hit a straight line as golf ball tends to fly left or right due to its spin in nature. For a good hit, ball shall travel along the straight line towards the target. The video will be taken care of by the prime lens. For a slice and spinning shot, the wide-angle lens can have a better chance to film the shot which is deviated from the target straight path. However, since the videos are different in compare with the prime lens, it is advisable to use it for different purposes e.g. to view the lost  shot, to see the wider scenery of the surroundings (referring to FIG. 12) .

[0184] In an embodiment, referring to FIG. 13, the control method can provide a mobile application called controller app. The controller app can be installed with one of the golfer’s smart phones in the flight. This app is able to allow golfer to control camera device functions during the play.

[0185] The first task is to allow all participating golfers to have a full body photo to be taken at the beginning of the play. The photos shall allow the camera device to perform human body recognition and identify golfers in play (e.g. 4 of them etc. ) The names and individual player’s voice can be recorded for personalized instruction during the game.

[0186] There are three modes for the operation: 1) Automatic Mode; 2) Putter Mode; 3) Manual Mode. By selecting different modes, the controller app can instruct the camera device to perform different functions accordingly. By utilizing the real time display protocol e.g. Web Real-Time Communication (WebRTC) etc., different scenes can be displayed on the phone by user to visualize the real image / videos being displayed by the cameras. User can see all details of the operation how to search and locate the flagpole, search the golfer, recording the swing, and capture the ball flight and see how the ball landed near the hole. By installing the phone communication, the camera device can easily turn into a real time broadcasting station for the golfer’s videos to show the world.

[0187] All captured videos can be searched with the timer of recording. Users can perform search of the entire videos and locate a favorite video and display on screen for viewing. Once confirmed, it can be sent out to friends or social media immediately for sharing the fun with others.

[0188] Every time, the camera device takes two videos at the same time. Referring to FIGs 14A and 14B, one with optical zoom lens and the other is the wide-angle lens. As the wide-angle lens covers almost 2 to 3 times wider than the zoom lens, more details of the ball flight will be recorded. There are chances golfer may miss hit the ball and slide out of the target line range significantly, ball will be missed and cannot be found and captured by the zoom lens. By reviewing the wide-angle lens video, there is a high likelihood of locating the missed ball along the target line, such as in the brush. The wide-angle footage from the camera device can be an effective tool for finding lost balls.

[0189] Referring to the detection of golf ball impact sounds and movement, in an  embodiment, the camera device can be triggered to turn and record the game automatically when a flagpole location is detected. This triggering requires a signal to prompt the camera device to shift its focus from the golfer to the target. This can be achieved by detecting the distinct impact sound made when the golf ball strikes the golf club. This sound is unique and can be trained through AI to serve as a specific signal indicating that the ball has been teed off.

[0190] Another method for triggering the camera device to turn the camera module is detecting ball movement. With AI technologies, ball detection can be employed. As the ball flies out at high speed from the tee, images of the ball in flight can be used as a parameter to trigger the camera device to turn towards the target for recording. The algorithm is capable of detecting even small changes in ball movement, allowing it to alert the camera device to respond appropriately.

[0191] In some embodiments, there are some slopes in the green with escalation (see FIG. 15) or downward slope. In the Manual Mode, user has to select the degree of slope which they will play with. By inputting the slope degree, the gimbal can adjust the camera angle during video taking.

[0192] In an embodiment, in general, most recording starts from finding the flagpole as a yard stick as target for the videos taking. If no flagpole can be visually seen (see FIG. 16) , it shall use the manual mode to set the estimated direction of hit with compass bearing.

[0193] In some embodiments, golfers are far away from the camera device, for example, 20-30 yards. Referring FIGs. 17 and 18, by utilizing the Wi-Fi connection, golfer can use an app to connect with the camera device for this purpose. The golfer in play can put the smart phone near the ball location where the ball impacting sound with the golf club can be heard. The impact sound will be transmitted instantly to the camera device through the connected Wi-Fi. This will inform the camera device to turn the camera module towards the target and start recording.

[0194] The technical features in the foregoing embodiments may be randomly combined. For a concise description, not all possible combinations of the technical features in the embodiment are described. However, provided that combinations of the technical features do not conflict with each other, the combinations of the technical  features are considered as falling within the scope recorded in this specification.

[0195] The foregoing embodiments only describe several implementations of the disclosure, which are described specifically and in detail, and therefore cannot be construed as a limitation to the patent scope of the disclosure. It should be noted that, a person of ordinary skill in the art may further make variations and improvements without departing from the ideas of the disclosure, which all fall within the protection scope of the disclosure. Therefore, the protection scope of the disclosure is subject to the protection scope of the appended claims.

Claims

1.A camera device for filming golf game, comprising:a camera module;a gimbal with three-axis mechanical stabilization; the camera module is installed on the gimbal;a control assembly comprising a case, control buttons and a control circuit; wherein the control buttons are disposed on the case, the control circuit is disposed inside the case; the gimbal is connected to the case; the control buttons, the camera module and the gimbal are electrically connected to the control circuit; anda pole comprising a pole body and a battery, wherein the battery is located inside the pole body; a first end of the pole body is connected to the case; a second end of the pole body is configured to be inserted into turf of a golf course to stand the pole upright; the battery is electrically connected to the control circuit.2.The camera device of claim 1, wherein the camera module comprises a prime camera with an optical zoom lens and a secondary camera with a wide-angle lens; the secondary camera is mounted on top of the prime camera with an axis of the secondary camera aligned in a same direction as an axis of the prime camera.3.The camera device of claim 1, wherein the gimbal comprises a pan motor, a tilt motor, a roll motor, a first frame and a second frame;the pan motor connects the case and the first frame, allowing the first frame to rotate relative to the case around a first axis;the tilt motor connects the first frame and the second frame, allowing the second frame to rotate relative to the first frame around a second axis;the roll motor connects the second frame and the camera module, allowing the camera module to rotate relative to the second frame around a third axis.4.The camera device of claim 3, wherein a first angle between the first axis and the second axis is 60-70 degrees; a second angle between the second axis and the third axis is  90 degrees.5.The camera device of claim 1, wherein the control buttons comprise a power button for switching on and off, a record button for quickly starting recording, and a Wi-Fi button for enabling communication with other nearby devices.6.The camera device of claim 1, wherein the control assembly further comprises an LED panel to indicate status of system, the LED panel is mounted on the case and is electrically connected to the control circuit;the camera module comprises an LED light with multiple colors to indicate status of operation.7.The camera device of claim 1, wherein the pole body comprises a hollow part and a solid part connected to the hollow part; the first end is at an end of the hollow part, and the second end is at an end of the solid part; the battery is located in the hollow part and is positioned near the first end.8.The camera device of claim 7, wherein the pole further comprises a spike fixed on the second end.9.The camera device of claim 7, wherein the pole comprises multiple batteries.10.A control method for filming golf game automatically by using the camera device of claim 1, comprising following steps:locating a flagpole by employing a flagpole detection algorithm to determine an angle and distance of the flagpole in relation to the camera device;detecting a player in a tee-off area by employing a face recognition algorithm, a human body attribute recognition algorithm, and a hand-raising gesture recognition algorithm;rotating the camera module of the camera device towards a target and recording video from tee-off to ball landing upon detecting ball movement using a golf ball detection algorithm or detecting ball-striking sound using a ball-striking sound detection algorithm; andreturning the camera module from the flagpole to the player and filming the player.

Images