برداشت رباتیکی اجسام به کمک ربات‌های انگشتی با استفاده از الگوریتم های هوش مصنوعی

تعداد بازدید:۵۹

 

آزمایشگاه تعامل انسان و ربات دانشگاه تهران بر توسعه‌ی سیستم‌های رباتیکی هوشمند تمرکز دارد که قادر به درک، تعامل و سامان‌دهی محیط خود به‌صورت کارآمد باشند. پژوهش‌های این حوزه به چالش‌های کلیدی در ارتباط با ادراک رباتیکی، فهم صحنه و اجرای خودکار وظایف پرداخته و تلاش می‌کند راهکارهای نوینی برای بهبود عملکرد ربات‌ها در محیط‌های پیچیده ارائه دهد. هدف اصلی این تحقیقات، ارتقای قابلیت‌های ربات‌ها در زمینه‌ی درک سه‌بعدی صحنه، تشخیص روابط بین اشیا، برنامه‌ریزی حرکات بهینه و اجرای وظایف مختلف است. از آنجا که فرآیند تعامل ربات با محیط پیرامون دارای چهار قدم متوالی نمایش داده شده در شکل 1 می باشد، دو حوزه تحلیل و شناسایی صحنه و تشخیص نحوه انجام فعالیت رباتیکی حائز اهمیت خواهد بود. لذا با در نظرگرفتن هدف بازسازی صحنه که در مسابقات و چالش‌های مطرح رباتیکی مورد بررسی قرار می‌گیرد تمامی این مراحل مورد ارزیابی قرار می‌گیرد. لذا سرفصل اصلی تحقیقات در این زمینه به قرار زیر است:

۱.  بازسازی و بازچینش صحنه:

یکی از مسائل مهم در رباتیک، توانایی درک و بازسازی صحنه‌های سه‌بعدی برای تحلیل چیدمان اشیا و پیش‌بینی تغییرات موردنیاز است. در این بخش به توسعه‌ی الگوریتم‌هایی پرداخته شده که بتوانند با استفاده از داده‌های RGB-D یا ابرنقاط، نمایی دقیق از محیط ایجاد کرده و تغییرات لازم برای بازچینش اجسام را استخراج کنند. همچنین، روش‌های مبتنی بر یادگیری ماشین، گراف و یادگیری تقویتی برای بهینه‌سازی حرکات و کاهش مصرف انرژی در فرآیند بازچینش بررسی می‌شوند.

۲.  برداشت و جابجایی رباتیکی اشیا:

برداشت و جابجایی اجسام یکی از وظایف اساسی در رباتیک است که نیازمند ترکیب بینایی کامپیوتری، یادگیری ماشین و کنترل دقیق است. در این بخش، روش‌های مختلف برای بهبود فرآیند برداشت اشیا مطالعه می‌شوند، از جمله استفاده از روش‌های هندسی، شبکه‌های عصبی عمیق برای تخمین بهترین نقاط برداشت و استفاده از روش‌های ترکیبی برای افزایش دقت و پایداری در جابجایی اشیا. این پژوهش‌ها در محیط‌های شبیه‌سازی‌شده و واقعی آزمایش می‌شوند تا عملکرد بهینه‌ای حاصل شود.

۳.  برنامه‌ریزی و بهینه‌سازی وظایف:

یکی از چالش‌های اساسی در اجرای وظایف رباتیکی، برنامه‌ریزی بهینه‌ی حرکات و تعیین توالی صحیح اقدامات است. در این بخش از روش‌های مبتنی بر هوش مصنوعی، شامل یادگیری تقویتی، شبکه‌های عصبی گرافی و روش‌های جستجوی بهینه استفاده شده تا مسیرهای حرکتی کارآمدتری برای ربات‌ها طراحی شود. این روش‌ها به ربات‌ها کمک می‌کنند تا وظایف پیچیده‌ی چندمرحله‌ای را با کمترین هزینه‌ی محاسباتی و بیشترین دقت انجام دهند.

این پژوهش‌ها در حوزه‌های مختلفی از جمله ربات‌های خانگی، ربات‌های صنعتی و سیستم‌های خودکارسازی کاربرد دارند. به‌عنوان مثال، در محیط‌های خانگی، ربات‌ها می‌توانند برای مرتب‌سازی اشیا و انجام وظایف روزمره مورد استفاده قرار گیرند، در حالی که در محیط‌های صنعتی، می‌توانند فرآیندهای مونتاژ و جابجایی مواد را بهینه‌سازی کنند. کاربردهای متنوعی همچون چینش صفحه شطرنج، بسته‌بندی  مواد غذایی، جداسازی قطعات الکترونیکی، بازچینش صحنه و موارد متعدد مشابهی مورد آزمایش قرارگرفته‌اند.

آزمایشگاه با ترکیب روش‌های نوین بینایی کامپیوتری، یادگیری عمیق و برنامه‌ریزی حرکت، به دنبال توسعه‌ی ربات‌هایی است که بتوانند در محیط‌های پویا و پیچیده به‌طور مستقل عمل کنند. تمرکز بر ادراک دقیق، برنامه‌ریزی بهینه و اجرای موثر وظایف، بهبود کارایی سیستم‌های رباتیکی را در حوزه‌های مختلف امکان‌پذیر می‌سازد.

 

پروژه ها:

 

  1. تشخیص موقعیت و جهت گیری برداشت رباتیکی اجسام برای گیره های انگشتی با استفاده از شبکه های عصبی عمیق

  2. انجام فعالیت خانگی با دست رباتیکی دو انگشتی و به کمک یادگیری تقویتی عمیق

  3. برداشتن اجسام به صورت تعاملی با تقلید از عمل انسان به وسیله ربات دوانگشتی

  4. برداشت اجسام با استفاده از شبکه های عصبی گرافی

  5. گرفتن اجسام نامشخص به وسیله ربات 2 انگشتی به کمک روش های یادگیری تقویتی

  6. برداشت و گذاشت یک جسم هندسی مشخص با هدف بسته بندی توسط ربات دو انگشتی به کمک پردازش تصویر و شبکه های عمیق

  7. تشخیص قطعات با استفاده از الگوریتم های پردازش تصویر و یادگیری ماشین برای عملیات برداشت-گذاشت توسط ربات دلتا

  8. جمع آوری داده و ارائه مدل جهت برداشت هدفمند اجسام برای انجام وظایف مشخص بر پایه ی یادگیری تقلیدی از رفتار انسان به کمک ربات دو انگشتی

  9. گرفتن اجسام به کمک ربات سه انگشتی با استفاده از الگوریتم های یادگیری عمیق

  10. پیاده سازی عملی چیدمان خودکار صفحه ی شطرنج با استفاده از ربات موازی دلتا و یادگیری عمیق

 

اساتید:

 

  1. دکتر مهدی طالع ماسوله

  2. دکتر احمد کلهر

 

واحدهای همکار:

 

  • آزمایشگاه تعامل انسان و ربات تهران

 

مقالات برگزیده:

 

  1. Hosseini, Hamed, Mehdi Tale Masouleh, and Ahmad Kalhor. "Improving the successful robotic grasp detection using convolutional neural networks." In 2020 6th Iranian Conference on Signal Processing and Intelligent Systems (ICSPIS), pp. 1-6. IEEE, 2020.

  2. Sabzejou, Ali, Mehdi Tale Masouleh, and Ahmad Kalhor. "2D Skeleton-Based Keypoint Generation Method for Grasping Objects with Roughly Uniform Height Variation." In 2023 11th RSI International Conference on Robotics and Mechatronics (ICRoM), pp. 847-853. IEEE, 2023.

  3. Babi, Zeynab Ezzati, Navid Asadi Khomami, Mehdi Tale Masouleh, and Ahmad Kalhor. "Autonomous Robotic Assembly and Sequence Planning Based on YOLOv8." In 2023 11th RSI International Conference on Robotics and Mechatronics (ICRoM), pp. 840-846. IEEE, 2023.

  4. Moghadam, Ali Rashidi, Mehdi Tale Masouleh, and Ahmad Kalhor. "Grasp the Graph (GtG): A Super Light Graph-RL Framework for Robotic Grasping." In 2023 11th RSI International Conference on Robotics and Mechatronics (ICRoM), pp. 861-868. IEEE, 2023.

  5. Balazadeh, Elnaz, Mehdi Tale Masouleh, and Ahmad Kalhor. "Hugga: Human-like grasp generation with gripper’s approach state using deep learning." In 2023 11th RSI International Conference on Robotics and Mechatronics (ICRoM), pp. 854-860. IEEE, 2023.

  6. Roudbari, Asal, Mahdi Dalvand, Navid Pasiar, Navid Asadi, Mohammad Yousefi, and Mehdi Tale Masouleh. "Autonomous Vision-based Robotic Grasping of Household Objects: A Practical Case Study." In 2023 11th RSI International Conference on Robotics and Mechatronics (ICRoM), pp. 918-924. IEEE, 2023.

  7. Yarmohammadi, Parsa, Navid Asadi Khomami, Mehdi Tale Masouleh, and Mohammad Reza Zakerzadeh. "Experimental study on chess board setup using delta parallel robot based on deep learning." In 2023 11th RSI International Conference on Robotics and Mechatronics (ICRoM), pp. 869-875. IEEE, 2023.

  8. Yourdkhani, Reihaneh, Arash Tavoosian, Navid Asadi Khomami, and Mehdi Tale Masouleh. "Experimental Study on Automatically Assembling Custom Catering Packages With a 3-DOF Delta Robot Using Deep Learning Methods." In 2024 32nd International Conference on Electrical Engineering (ICEE), pp. 1-7. IEEE, 2024.

  9. Beigy, AliReza, Mehdi Tale Masouleh, and Ahmad Kalhor. "Explorable Grasp Pose Detection for Two-Finger Robot Handover." In 2024 32nd International Conference on Electrical Engineering (ICEE), pp. 1-7. IEEE, 2024.

  10. Naeinian, Fatemeh, Elnaz Balazadeh, and Mehdi Tale Masouleh. "Mapping human grasping to 3-finger grippers: A deep learning perspective." In 2024 32nd International Conference on Electrical Engineering (ICEE), pp. 1-7. IEEE, 2024.

  11. Mojtahedi, Mona Mohades, Arvin Mohammadi, and Mehdi Tale Masouleh. "Experimental study on autonomous food packaging with delta parallel robot and two fingered gripper." In 2024 32nd International Conference on Electrical Engineering (ICEE), pp. 1-6. IEEE, 2024.

  12. Saadati, Anushe, Mehdi Tale Masouleh, and Ahmad Kalhor. "Deep learning-based imitation of human actions for autonomous pick-and-place tasks." In 2024 32nd International Conference on Electrical Engineering (ICEE), pp. 1-7. IEEE, 2024.

  13. Ghasemi, Seraj, Hamed Hosseini, MohammadHossein Koosheshi, Mehdi Tale Masouleh, and Ahmad Kalhor. "Scene understanding in pick-and-place tasks: Analyzing transformations between initial and final scenes." In 2024 32nd International Conference on Electrical Engineering (ICEE), pp. 1-7. IEEE, 2024.

  14. Hosseini, Hamed, Mohammadhossein Koosheshi, Mehdi Tale Masouleh, and Ahmad Kalhor. "Multi-modal robust geometry primitive shape scene abstraction for grasp detection." IEEE Access (2024).

  15. Barghi, Arman, Navid Pasiar, Mehdi Tale Masouleh, and Ahmad Kalhor. "From Bricks to Bots: Automated Collision-Aware Sequence Planning for LEGO Reconstruction with a Two-Finger Gripper." In 2024 10th International Conference on Control, Instrumentation and Automation (ICCIA), pp. 1-6. IEEE, 2024.

  16. Yousefi, Mohammad, Mahdi Dalvand, Navid Asadi Khomami, Mehdi Tale Masouleh, and Mohammad Reza Haeri Yazdi. "Robotic Sorting of Mechanical and Electrical Parts: An Autonomous Vision-Based Approach in a Practical Case Study." In 2024 10th International Conference on Control, Instrumentation and Automation (ICCIA), pp. 1-6. IEEE, 2024.

 

نتایج:

 

 

 

 

 

 

کلیپ پروژه‌ها