গুগল খুঁজে পেয়েছে যে প্রযুক্তিগত ঋণ “এজেন্ট বিভ্রান্তির” মাধ্যমে কোডিং এজেন্টদের লাইনচ্যুত করতে পারে

সাম্প্রতিক একটি নিবন্ধে, গুগলের সিনিয়র স্টাফ সফটওয়্যার ইঞ্জিনিয়ার স্যাম স্যাকোন এবং সিনিয়র স্টাফ ডেটা সায়েন্টিস্ট মাধুরী গারিকাপতি এর খরচ তুলে ধরেছেন। এজেন্ট বিভ্রান্তিযেখানে AI কোডিং এজেন্টরা বাসি প্রযুক্তিগত ঋণ দ্বারা লাইনচ্যুত হয়, যেমন পুরানো TODO মন্তব্য, অপ্রচলিত বাগ রেফারেন্স, এবং সেকেলে চশমা, যা তাদের অপ্রার্থিত “সাইড-কোয়েস্ট” এ যাত্রা শুরু করে।

অপ্রচলিত চশমা, দীর্ঘ সমাধান করা বাগ, এবং পিছিয়ে থাকা ডকুমেন্টেশন কোডবেসের দীর্ঘ ভুলে যাওয়া কোণে আর বিশ্রাম নেয় না, বরং কোডার – এজেন্টদের পরবর্তী তরঙ্গকে প্রসঙ্গ পরোক্ষ এবং ভুল নির্দেশনা হিসাবে অনিচ্ছাকৃতভাবে প্রবেশ করানো হয়।

লেখকদের মতে, সর্বোত্তমভাবে, এজেন্ট বিভ্রান্তি টোকেন ব্যবহার এবং কার্যকর করার সময় বাড়ায়; সবচেয়ে খারাপভাবে, এটি এজেন্টদের “ভুল যুক্তি এবং সিদ্ধান্ত” নিয়ে যেতে পারে। এই প্রভাব তদন্ত করতে, তারা ফোকাস TODO(bug/...) মন্তব্য, যা তারা নোট করে, “অন্তর্নিহিত বাগ সমাধান বা পরিত্যক্ত হওয়ার পরে অনেকদিন পিছনে ফেলে রাখা হয়”।

TODO-এর বাগ স্ট্যাটাস এবং ব্যবহারকারীর প্রম্পটের বিরুদ্ধে একজন এজেন্টের মুখোমুখি হওয়া প্রতিটি TODO-কে ক্রস-রেফারেন্স করার মাধ্যমে, আমরা স্বয়ংক্রিয়ভাবে বৈধ কাজকে স্কেলে নষ্ট পথ থেকে আলাদা করতে পারি।

হাজার হাজার প্রকৌশলীর থেকে বিতরণ করা ট্রেস এবং লক্ষ লক্ষ এজেন্ট পদক্ষেপগুলি ব্যবহার করে, Google দেখেছে যে প্রায় 13% সেশন এজেন্টদের ইনলাইনে প্রকাশ করেছে TODO/FIXME রেফারেন্স, 6% ক্ষেত্রে রেফারেন্স বাগ লক্ষ্য করে পদক্ষেপ নিতে নেতৃস্থানীয় এজেন্টরা। বেশিরভাগ ক্ষেত্রে, প্রম্পটে উল্লেখ করা বাগ উল্লেখ করা হয়নি। তদ্ব্যতীত, 41% এই অপ্রমাণিত পথচলাগুলিতে, এজেন্ট ইতিমধ্যেই বন্ধ হয়ে যাওয়া টিকিটে কাজ করেছিল; তাদের মধ্যে 57% তারা বাগগুলির উপর কাজ করেছিল যা এখনও খোলা ছিল, কিন্তু বিকাশকারীর অনুরোধের সুযোগের বাইরে পড়েছিল, যা তদন্তকারীরা “স্কোপ ক্রীপ” হিসাবে শ্রেণীবদ্ধ করে।

ডেভেলপার-ক্লাস্টারড স্ট্যান্ডার্ড ত্রুটির সাথে একটি বহু-মুখী ফিক্সড-ইফেক্ট রিগ্রেশন ব্যবহার করে, তদন্তকারীরা দেখেছেন যে এই ডিট্যুরগুলি প্রতি সেশনে যথেষ্ট ওভারহেড যোগ করে, 70% আরও ধাপ, 77% আরও টোকেন এবং 105% আরও অপেক্ষার সময়।

এই সমস্যাটির সমাধান করার জন্য, Google কোডবেস জুড়ে অপ্রচলিত TODO সনাক্ত করতে এবং পরিষ্কার করার জন্য স্ক্যানার এজেন্ট তৈরি করেছে৷ কিছু ক্ষেত্রে, এজেন্টদের উভয়ই নিশ্চিত করতে সক্ষম হওয়ার জন্য বছরের গিট ইতিহাস পরিদর্শন করতে হয়েছিল TODO এবং এর পিছনে উদ্দেশ্য অপ্রচলিত ছিল। যাইহোক, শুধুমাত্র একবার এটি নিশ্চিত করার পরে, তারা কোডবেস থেকে পুরানো রেফারেন্স মুছে ফেলার জন্য একটি পিআর জমা দিয়েছে।

এই মাল্টি-লেয়ার পদ্ধতির ফলস্বরূপ, আমাদের টোডো ক্লিনার গত 6 মাসে হাজার হাজার বাস্তবিক অপ্রচলিত রেফারেন্স মুছে ফেলতে সক্ষম হয়েছে যা মানব পর্যালোচকদের কাছ থেকে 95% গ্রহণযোগ্যতা অতিক্রম করেছে।

তদন্তকারীরা উপসংহারে পৌঁছেছেন যে প্রি-সাবমিট বিশ্লেষক, কোডবেস স্ক্যানার এবং স্বয়ংক্রিয় এজেন্টের মতো সরঞ্জামগুলি “এজেন্ট বিভ্রান্তি” কমাতে সাহায্য করতে পারে এবং এইভাবে এআই কোডিং এজেন্টগুলির কার্যকারিতা উন্নত করতে পারে।

অনুসন্ধানের বিষয়ে মন্তব্য করে, X ব্যবহারকারী তুলসীরাম উল্লেখ করেছেন যে “এটি একটি দরকারী অনুস্মারক যে মন্তব্যগুলিও প্রসঙ্গ”। রায়ান হোয়াইট জোর দিয়েছিলেন:

এটি মেশিনের গতিতে শুধুমাত্র জুনিয়র দেব আচরণ। একটি বিভ্রান্তিকর মন্তব্য ছেড়ে দিন এবং কেউ এটি একটি দিনের জন্য তাড়া করে. এখন ব্যতীত এটি ঘন্টায় 40 বার হয় এবং আপনি টোকেনের জন্য অর্থ প্রদান করছেন।

LinkedId-এ, ব্যবহারকারী আওয়াইস রাজা এজেন্টের বিভ্রান্তি হ্রাস করার সম্ভাবনা সম্পর্কে আশাবাদ ব্যক্ত করেছেন:

টোডো ক্লিনারের 95%+ মানুষের গ্রহণযোগ্যতা বলছে: এটি দেখায় যে মানুষের বিচার না হারিয়ে পরিষ্কার করা স্বয়ংক্রিয় হতে পারে।

অবশেষে, মুহাম্মদ জোহাইব এই দৃষ্টিভঙ্গিটি প্রসারিত করেছেন, উল্লেখ করেছেন যে “একইটি সম্ভবত ওয়েবসাইটের ক্ষেত্রে প্রযোজ্য: পুরানো পৃষ্ঠা এবং বিরোধপূর্ণ তথ্য AI সিস্টেমের পক্ষে সঠিক উত্তর বাছাই করা কঠিন করে তোলে।”