লুকানো ট্রিগার শব্দগুলি এআই-চালিত রোবটগুলিকে বিপজ্জনক ক্রিয়া সম্পাদনে কাজে লাগাতে পারে। গবেষকরা একটি টাস্ক-প্ল্যানিং ডিফেন্স তৈরি করেছেন যা কার্যকর করার আগে প্রতিটি প্রস্তাবিত পদক্ষেপকে এর পার্শ্ববর্তী প্রেক্ষাপটের বিরুদ্ধে পরীক্ষা করে।
বিংহ্যামটন ইউনিভার্সিটির গবেষকরা PROTEA, একটি কৃত্রিম বুদ্ধিমত্তা (AI)-ভিত্তিক প্রতিরক্ষা ব্যবস্থা তৈরি করেছেন যা সম্ভাব্য ক্ষতিকারক ক্রিয়াকলাপের জন্য রোবট টাস্ক প্ল্যান চেক করে, নির্দেশাবলী ব্যাখ্যা করতে এবং গতিবিধির পরিকল্পনা করার জন্য বড় ভাষা মডেল (LLMs) ব্যবহার করে এমন রোবটের নিরাপত্তা ঝুঁকি মোকাবেলা করে। সিস্টেমটি রোবটের পরিবর্তিত পরিবেশের পরিপ্রেক্ষিতে প্রতিটি প্রস্তাবিত ক্রিয়াকে মূল্যায়ন করে, দূষিত নির্দেশগুলিকে শারীরিক ক্ষতি করার আগে শনাক্ত করতে সহায়তা করে।
গবেষণাটি হাইলাইট করে যে কীভাবে আপোসকৃত এআই মডেলগুলিতে এম্বেড করা লুকানো ট্রিগার শব্দগুলি রোবটকে তাদের উদ্দেশ্যমূলক কাজগুলি থেকে পুনঃনির্দেশ করতে পারে। দলটি 2026 IEEE/RSJ ইন্টারন্যাশনাল কনফারেন্স অন ইন্টেলিজেন্ট রোবটস অ্যান্ড সিস্টেমস (IROS)-এ তার ফলাফল উপস্থাপন করেছে।
ট্রিগার শব্দ রোবট কর্ম পুনঃনির্দেশ করতে পারে
গবেষকরা MuTRAP-এর মাধ্যমে দুর্বলতা প্রদর্শন করেছেন, একটি ব্যাকডোর আক্রমণ যা এলএলএম-ভিত্তিক রোবট টাস্ক প্ল্যানিং ম্যানিপুলেট করার জন্য ডিজাইন করা হয়েছে। এই ধরনের আক্রমণগুলি একটি মডেলের মধ্যে লুকানো আচরণ প্রবর্তন করে যাতে একটি নির্দিষ্ট শব্দ বা বাক্যাংশ একটি অনিচ্ছাকৃত প্রতিক্রিয়া সক্রিয় করে।
পরীক্ষায়, একটি সেগওয়ে-ভিত্তিক মোবাইল রোবট একটি প্লাস্টিকের ফল কাটতে অনুকরণ করার জন্য প্রোগ্রাম করা হয়েছিল। স্বাভাবিক অবস্থায়, একটি কাটিং বোর্ডে একটি আপেল আনার এবং এটি কাটার নির্দেশ একটি উপযুক্ত টাস্ক প্ল্যান তৈরি করে। যাইহোক, যখন নির্দেশে একটি নির্দিষ্ট ট্রিগার যোগ করা হয়, তখন আপস করা মডেলটি একটি ভিন্ন পরিকল্পনা তৈরি করে যা রোবটটিকে একটি মডেলের হাতের দিকে পুনঃনির্দেশিত করে।
আক্রমণটি ব্যাখ্যা করে যে কীভাবে একটি রোবট কর্মের একটি অনিরাপদ ক্রম সম্পাদন করার সময় একটি আপাতদৃষ্টিতে বৈধ নির্দেশ অনুসরণ করতে পারে। একজন আক্রমণকারী যদি অ্যাপ্লিকেশন এবং এর আর্কিটেকচার বুঝতে পারে তবে তাদের মোতায়েন করা মডেলটিতে সরাসরি অ্যাক্সেসের প্রয়োজন নাও হতে পারে। এটি বিশেষভাবে প্রাসঙ্গিক যখন রোবোটিক্স কোম্পানিগুলি তাদের নিজস্ব প্রশিক্ষণের পরিবর্তে তৃতীয় পক্ষের এআই মডেলের উপর নির্ভর করে।
প্রসঙ্গ-সচেতন পরীক্ষা নিরাপত্তা উন্নত করে
PROTEA প্রতিটি ধাপে একজন এলএলএম-ভিত্তিক পরিকল্পনাকারীর দ্বারা উত্পন্ন ক্রিয়াগুলি পরীক্ষা করে এই ঝুঁকি মোকাবেলা করে। বিচ্ছিন্নভাবে একটি কর্মের মূল্যায়ন করার পরিবর্তে, এটি বিকশিত পরিবেশ এবং প্রস্তাবিত কর্মের পরিণতি বিবেচনা করে।
উদাহরণস্বরূপ, একটি বিনে একটি কার্ডবোর্ডের বাক্স রাখা সাধারণত ক্ষতিকারক হতে পারে। যাইহোক, যদি বাক্সে অত্যাবশ্যকীয় ওষুধ থাকে তবে একই ক্রিয়া ক্ষতির কারণ হতে পারে। এই প্রেক্ষাপটের জন্য অ্যাকাউন্টিং করে, PROTEA এমন ক্রিয়াগুলি সনাক্ত করতে পারে যা পৃথকভাবে নিরাপদ দেখায় কিন্তু একটি বৃহত্তর টাস্ক সিকোয়েন্সের মধ্যে বিপজ্জনক হয়ে ওঠে।
গবেষকরা রিপোর্ট করেছেন যে প্রতিরক্ষা যুক্তিসঙ্গতভাবে ক্ষতিকারক পরিকল্পনাগুলিকে সৌম্য থেকে আলাদা করতে পারে। আরও কাজ রোবট কন্ট্রোলার এবং উপলব্ধি সিস্টেমের দুর্বলতাগুলি পরীক্ষা করবে, যার মধ্যে এমন অবস্থা রয়েছে যা পায়ের রোবটগুলিকে পড়ে যেতে পারে।
বুদ্ধিমান রোবটগুলি শিল্প, গুদাম এবং পরিষেবা অ্যাপ্লিকেশনগুলিতে প্রবেশ করার সাথে সাথে প্রচলিত রোবট-নিয়ন্ত্রণ ব্যবস্থার পাশাপাশি এআই-উত্পাদিত পরিকল্পনাগুলিকে সুরক্ষিত করার প্রয়োজনীয়তার উপর ভিত্তি করে অনুসন্ধানগুলি।
