view in publisher's site

MGRL: Graph neural network based inference in a Markov network with reinforcement learning for visual navigation

Visual navigation is an essential task for indoor robots and usually uses the map as assistance to providing global information for the agent. Because the traditional maps match the environments, the map-based and map-building-based navigation methods are limited in the new environments for obtaining maps. Although the deep reinforcement learning navigation method, utilizing the non-map-based navigation technique, achieves satisfactory performance, it lacks the interpretability and the global view of the environment. Therefore, we propose a novel abstract map for the deep reinforcement learning navigation method with better global relative position information and more reasonable interpretability. The abstract map is modeled as a Markov network which is used for explicitly representing the regularity of objects arrangement, influenced by people activities in different environments. Besides, a knowledge graph is utilized to initialize the structure of the Markov network, as providing the prior structure for the model and reducing the difficulty of model learning. Then, a graph neural network is adopted for probability inference in the Markov network. Furthermore, the update of the abstract map, including the knowledge graph structure and the parameters of the graph neural network, are combined into an end-to-end learning process trained by a reinforcement learning method. Finally, experiments in the AI2THOR framework and the physical environment indicate that our algorithm greatly improves the success rate of navigation in case of new environments, thus confirming the good generalization.

MGRL: استنتاج مبتنی بر شبکه عصبی گراف در یک شبکه مارکوف با یادگیری تقویتی برای ناوبری بصری

جهت‌یابی بصری یک کار ضروری برای ربات‌های داخلی است و معمولا از نقشه به عنوان کمک برای فراهم کردن اطلاعات جهانی برای نماینده استفاده می‌کند. از آنجا که نقشه‌های سنتی با محیط مطابقت دارند، روش‌های ناوبری مبتنی بر نقشه و مبتنی بر نقشه در محیط‌های جدید برای به دست آوردن نقشه‌ها محدود می‌شوند. اگرچه روش پیمایش یادگیری تقویتی عمیق، با استفاده از تکنیک پیمایش بدون نقشه، به عملکرد رضایت‌بخشی دست می‌یابد، اما فاقد قابلیت تفسیر و دید جهانی از محیط است. بنابراین، ما یک نقشه انتزاعی جدید برای روش هدایت یادگیری تقویتی عمیق با اطلاعات موقعیت نسبی جهانی بهتر و قابلیت تفسیر معقول ارائه می‌دهیم. نقشه انتزاعی به عنوان یک شبکه مارکوف مدل شده‌است که برای نمایش صریح نظم چیدمان اشیا، تحت‌تاثیر فعالیت‌های افراد در محیط‌های مختلف استفاده می‌شود. علاوه بر این، یک نمودار دانش برای شروع ساختار شبکه مارکوف به کار می‌رود، به طوری که ساختار قبلی مدل را فراهم می‌کند و دشواری یادگیری مدل را کاهش می‌دهد. سپس یک شبکه عصبی گراف برای استنتاج احتمال در شبکه مارکوف اتخاذ می‌شود. علاوه بر این، به روز رسانی نقشه انتزاعی، شامل ساختار گراف دانش و پارامترهای شبکه عصبی گراف، در یک فرآیند یادگیری انتها به انتها که توسط یک روش یادگیری تقویتی آموزش داده می‌شود، ترکیب می‌شوند. در نهایت، آزمایش‌ها در چارچوب AI۲THOR و محیط فیزیکی نشان می‌دهد که الگوریتم ما تا حد زیادی نرخ موفقیت ناوبری را در محیط‌های جدید بهبود می‌بخشد، بنابراین تعمیم خوب را تایید می‌کند.
ترجمه شده با


پر ارجاع‌ترین مقالات مرتبط:

  • مقاله Artificial Intelligence
  • ترجمه مقاله Artificial Intelligence
  • مقاله هوش مصنوعی
  • ترجمه مقاله هوش مصنوعی
  • مقاله Computer Science Applications
  • ترجمه مقاله Computer Science Applications
  • مقاله کاربردهای علوم کامپیوتر
  • ترجمه مقاله کاربردهای علوم کامپیوتر
  • مقاله Cognitive Neuroscience
  • ترجمه مقاله Cognitive Neuroscience
  • مقاله علوم عصبی شناختی
  • ترجمه مقاله علوم عصبی شناختی
سفارش ترجمه مقاله و کتاب - شروع کنید

با استفاده از افزونه دانلود فایرفاکس چکیده مقالات به صورت خودکار تشخیص داده شده و دکمه دانلود فری‌پیپر در صفحه چکیده نمایش داده می شود.