PKS: یک روش انتخاب فریم های کلیدی مبتنی بر فتوگرامتری برای سیستم های بینایی-اینرسی ساخته شده بر پایه ORB-SLAM3 (مقاله علمی وزارت علوم)
درجه علمی: نشریه علمی (وزارت علوم)
آرشیو
چکیده
به دلیل پیچیدگی های پردازش فریم برای تعیین موقعیت و تهیه نقشه در الگوریتم های ماشین بینایی و فتوگرامتری، روش های انتخاب فریم های کلیدی به منظور افزایش کارایی الگوریتم ها معرفی شدند که در عین حفظ دقت و استحکام الگوریتم، حجم پردازش ها را کاهش می دهند. یکی از معروف ترین الگوریتم های تعیین موقعیت و تهیه نقشه هم زمان مبتنی بر تصویر (ویژ و ال اسلم)، الگوریتم ORB-SLAM3 [1] است. انتخاب فریم کلیدی در این الگوریتم و سایر الگوریتم های این حوزه وابسته به حد آستانه های ابتکاری است. در این مقاله یک روش هندسی و بر پایه اصول طراحی شبکه تصویربرداری در فتوگرامتری به منظور انتخاب فریم های کلیدی در بهبود الگوریتم ORB-SLAM3 پیشنهاد شده است. در این روش، حد آستانه های ابتکاری با اصول فتوگرامتری جایگزین شده است که علاوه بر استحکام الگوریتم، کیفیت ابر نقطه حاصل از فریم های کلیدی را تضمین می کند. در روش پیشنهادی، ابتدا یک حد آستانه انطباقی در مورد مجاز بودن تعداد نقاطی که ناحیه مخروطی خط دید آن ها در یک مخروط چهار ناحیه ای تشکیل شده بر روی هر نقطه، تغییر کرده است، تصمیم می گیرد. سپس با تشکیل یک شبکه ۳ در ۳ در هر فریم و شمارش نقاط مؤثر در هر سلول این شبکه، معیار تعادل مرکز ثقل ( ECOG ) [2] در مورد مناسب بودن توزیع نقاط داخل این فریم تصمیم می گیرد. از طرف دیگر سنسور اینرسی [3] ( IMU ) در صورت مشاهده تغییرات شدید شتاب حرکت، مستقل از دوربین اقدام به اخذ فریم کلیدی می کند. به منظور ارزیابی روش پیشنهادشده، آزمایش های وسیعی روی داده [4] EuRoC در حالت تک دوربینه و دو دوربین انجام شده است. ارزیابی های کیفی و کمی با مقایسه مسیر ردیابی شده هر الگوریتم با مسیر مرجع، مقایسه ابر نقطه تشکیل شده از فریم های کلیدی و مقایسه مقدار خطای مطلق مسیر حرکت [5] ( ATE ) انجام شده است. همچنین زمان اجرای هر الگوریتم برای تمامی دنباله تصاویر داده EuRoC ارزیابی شده است. نتایج نشان می دهد، الگوریتم پیشنهادی در حالت دو دوربین 18.1 % و در حالت تک دوربینه 20.4 % دقت تعیین موقعیت ORB-SLAM3 را بهبود داده و علاوه بر این ابر نقطه متراکم تری تولید کرده است.PKS: A photogrammetric key-frame selection method for visual inertial systems built upon ORB-SLAM3
Extended Abstract
Introduction
Due to the complexity of frame processing used for positioning and mapping in visual odometry (VO) and visual simultaneous localization and mapping (VSLAM) algorithms, key-frame selection methods have been introduced to improve the performance and decrease the number of frames required for processing while maintaining accuracy and robustness of the algorithms. Selected key-frames in these methods make a very good representation of all available frames. The current key-frame selection methods rely on heuristic thresholds in their selection procedure. Researchers have used several datasets to find optimum values for these thresholds through trial and error. In fact, proposed methods may not work as expected with a new dataset due to changes occurring in the sensor, environment and the platform.
Materials & Method
The present study has proposed an improved geometric and photogrammetric key-frame selection method built upon ORB-SLAM3, as the state of the art visual SLAM algorithm. The proposed Photogrammetric Key-frame Selection (PKS) algorithm has replaced inflexible heuristic thresholds with photogrammetric principles and thus guaranteed the robustness of the algorithm and the quality of the point cloud obtained from the key-frames. First, an adaptive threshold decides the allowable number of points whose line of sight zone has changed on a four-zone cone built upon each point. Increased number of points whose line of sight zone has changed means increased changes and displacements of the frame and thus, increased need for a new key-frame. Then, a 3*3 grid was formed in each frame and the number of points with a more than 30-degree change in line of sight angle (effective points) in each cell were counted. Later, the Equilibrium of Center Of Gravity (ECOG) criterion decides whether the distribution of points is appropriate using the center of gravity of the points inside the frame. Appropriate distribution of effective points within the frame shows a high geometric strength and thus will improve the strength of key-frames network. IMU sensor is not dependent on the position of the frames and the camera sensor. Thus, it independently obtains the key-frame in case significant changes occur in acceleration. The threshold value of acceleration has been experimentally considered equal to 1 meter per square second, which entirely depends on the type of robot. For ground robots with slower moving speeds, this threshold must be reset.
Results & Discussion
The present study has employed data collected by the European Robotics Challenge (EuRoC) flying robot containing the information collected by the synchronized camera and IMU information, as well as the ground truth data such as the robot trajectory and point cloud formed by the laser scanner. To evaluate the proposed method, extensive experiments have been implemented on the EuRoC dataset in mono-inertial and stereo-inertial modes. Then, trajectory of each algorithm was compared with the reference trajectory and point clouds formed by the key-frames were also compared. Apart from these qualitative evaluations, absolute trajectory error (ATE) obtained from running the PKS and ORB-SLAM3 algorithm 10 times were also compared quantitatively and finally, the error histogram was used to evaluate the point clouds. The processing time of each algorithm was also evaluated for each EuRoC dataset sequence. Results indicated that the proposed algorithm has improved ORB-SLAM3 accuracy in stereo-inertial by 18.1% and in the mono-inertial mode by 20.4% producing a more complete and accurate point cloud and thus, extracting more details from the environment. Furthermore, despite higher density of the point cloud, the error histogram has not changed significantly and fewer errors were observed in the ORB-SLAM3 algorithm.
Conclusion
Findings indicated that the PKS method has succeeded in extracting key-frames using photogrammetric and geometric principles. Apart from improving the positioning accuracy of the robot, the method has produced a much more complete and dense point cloud as compared to the ORB-SLAM3 algorithm. Also, dependency of the PKS method on the environment conditions and the type of system used (stereo camera or mono camera) was greatly reduced. Future studies can expand our key-frame selection method to include fisheye cameras or visual-only systems. More geometric conditions (near and far point condition and the vertex angle in the triangle formed by the points in the current frame, the camera and the corresponding points in the last key-frame) can also be added to the key-frame selection method.
تبلیغات
