ডেটাডগ এসআরই তদন্তের জন্য একটি বিশেষজ্ঞ এআই মডেল তৈরি করে

Datadog স্কাউট প্রকাশ করেছে, একটি মডেল যা উৎপাদন সমস্যা তদন্তের জন্য প্রশিক্ষিত। এটি বিট ইনভেস্টিগেশনের ভিতরে চলে, কোম্পানির AI SRE পণ্য, যেখানে এটি একটি সতর্কতা বাছাই করতে পারে, টেলিমেট্রির মাধ্যমে দেখতে পারে এবং সমস্যাটির কারণ কী তা পরামর্শ দিতে পারে। ডেটাডগ ইঞ্জিনিয়ার এবং অল্প সংখ্যক গ্রাহক এটি একটি বন্ধ পূর্বরূপ ব্যবহার করছেন।

ঘোষণায় বর্ণিত কাজের বেশিরভাগই খরচের বিষয়। একটি তদন্তের জন্য অনেক মডেল কলের প্রয়োজন হতে পারে কারণ বিটস একটি ক্যোয়ারী চেষ্টা করে, ফলাফল অধ্যয়ন করে এবং পরবর্তীতে কী পরীক্ষা করতে হবে তা সিদ্ধান্ত নেয়। সাধারণ-উদ্দেশ্য মডেলগুলি এটি করতে পারে, তবে ডেটাডগ বলে যে বিলটি প্রতিটি সতর্কতার বিরুদ্ধে তাদের চালানো কঠিন করে তোলে। ঘোষণার লেখকরা চান যে বিট কাজ শুরু করুক যখন একজন প্রকৌশলী এখনও পৃষ্ঠায় সাড়া দিচ্ছেন।

“আমাদের লক্ষ্য হল বিটসকে সর্বদা-প্রথম উত্তরদাতা হিসাবে পরিবেশন করা, প্রমাণ সংগ্রহ করা এবং একজন প্রকৌশলী প্রবেশের আগে সম্ভাব্য কারণগুলি চিহ্নিত করা।”
ওথমানে আবু-আমল, বেন কোহেন, আফশিন রোস্তামিজাদেহ, আমিত তালওয়ালকার, ওমরি সাস এবং ড্যানিয়েল শান

Datadog-এর AlertEval বেঞ্চমার্কে, Scout মাধ্যম GPT-6.1 Sol high এবং Claude Opus 5.5 হাই-এর সমান স্কোর পেয়েছে। এর আনুমানিক অনুমান খরচ তিন থেকে আট গুণ কম ছিল। এক্সহাই সেটিং এ, ডাটাডগ বলছে স্কাউট ক্লাউড ফেবল 5.1 এক্সহাই খরচের এক চতুর্থাংশের সাথে মিলেছে। কোন মূল্য প্রকাশ করা হয় না, তাই এই পরিসংখ্যান একটি স্কাউট মাধ্যম তদন্ত খরচ আপেক্ষিক.

AlertEval বাস্তব সতর্কতা, সংরক্ষণাগারভুক্ত টেলিমেট্রি এবং ডেটাডগ ইঞ্জিনিয়ারদের দ্বারা লিখিত ব্যাখ্যা ব্যবহার করে। একজন এলএলএম বিচারক একটি বিশেষজ্ঞ অ্যাকাউন্টের সাথে স্কাউটের অ্যাকাউন্টের তুলনা করেন, তাৎক্ষণিক এবং অন্তর্নিহিত কারণ উভয় স্তরেই পুরস্কৃত করে। প্রমাণ ছাড়াই দ্বন্দ্ব এবং দাবি চিহ্ন হারায়। ফলস্বরূপ স্কোর শূন্য থেকে 100 পর্যন্ত চলে, কিন্তু Datadog সতর্ক করে যে এটি ঘটনার শতকরা একটি সমাধান নয়।

স্কাউট GLM-5.3 ফ্ল্যাশের উপর ভিত্তি করে। ডেটাডগ ঐতিহাসিক ক্ষেত্রে পাওয়া নিদর্শনগুলি থেকে তৈরি ঘটনা সিমুলেশন ব্যবহার করে, শক্তিবৃদ্ধি শেখার সাথে মডেলটিকে প্রশিক্ষিত করে। সিমুলেশনগুলিতে একটি সতর্কতা, টেলিমেট্রি রয়েছে যা জিজ্ঞাসা করা যেতে পারে এবং একটি পরিচিত কারণ। কোম্পানির মতে তারা গ্রাহকের তথ্য ধারণ করে না। লগ, মেট্রিক্স এবং ট্রেস জুড়ে অনুসন্ধান, সেইসাথে কোড, স্থাপনা এবং বৈশিষ্ট্য পতাকা পরিদর্শন সহ বিটগুলিতে মডেল করা সরঞ্জামগুলির সাথে স্কাউট অনুশীলন।

“এর প্রশিক্ষণ পুরষ্কার কারণ খুঁজে বের করে এবং প্রমাণ সহ তার উপসংহার সমর্থন করে।”
ওথমানে আবু-আমল, বেন কোহেন, আফশিন রোস্তামিজাদেহ, আমিত তালওয়ালকার, ওমরি সাস এবং ড্যানিয়েল শান

কারিগরি প্রতিবেদন প্রশিক্ষণের সময় কী ভুল হয়েছে তার একটি দরকারী বিবরণ দেয়। চূড়ান্ত উত্তরের উপর ভিত্তি করে একটি পুরস্কার স্কাউটকে কম দাবি করতে এবং তাড়াতাড়ি তদন্ত বন্ধ করতে প্ররোচিত করে। এটি এটিকে আরও ভাল তদন্তকারী না করে শাস্তি দেওয়ার সম্ভাবনা কম করে তুলেছে। দলটি সঠিকতা, অন্বেষণ এবং সমর্থনকারী প্রমাণের হিসাব নিতে পুরস্কার পরিবর্তন করেছে। তারা কিছু ট্রেনিং রান থেকে সরঞ্জামগুলি সরিয়ে দিয়েছে, বা উপলব্ধ সময় কমিয়েছে, একটি ঘটনার মাধ্যমে একটি নির্দিষ্ট রুট শেখা বন্ধ করতে।

Datadog SREGym-এ দ্বিতীয় মূল্যায়ন চালায়, 90টি ত্রুটির একটি পাবলিক সেট। স্কাউট মাঝারি প্রচেষ্টায় 71টি মামলার সমাধান করেছে, 79টি উচ্চে এবং 80টি উচ্চতায়। GPT-6.1 Sol xhigh 82 সম্পন্ন করেছে। Datadog নতুন তুলনা মডেলের জন্য রান সহ এই পরীক্ষাগুলো নিজেই করেছে, তাই স্বাধীন ফলাফল উপযোগী হবে।

স্কাউট আসে যখন পর্যবেক্ষণযোগ্যতা সরবরাহকারীরা কাজ করে যে একটি এজেন্টের কতটা ঘটনা পরিচালনা করা উচিত। AWS DevOps এজেন্ট সোর্স কোড, স্থাপনার রেকর্ড এবং রানবুকের সাথে বেশ কয়েকটি পর্যবেক্ষণ পণ্য থেকে টেলিমেট্রিকে একত্রিত করে। AWS টুল জুড়ে তথ্য যোগ করছে, যেখানে Datadog তার নিজস্ব পণ্যের মধ্যে বারবার ব্যবহারের জন্য একটি সস্তা মডেল প্রশিক্ষণ দিচ্ছে।

হানিকম্বের ক্যানভাস এজেন্ট যেভাবে অনেক প্রকৌশলী হাত দিয়ে তদন্ত করে তার কাছাকাছি। এটি একটি ভাগ করা ক্যানভাস খোলে যখন একটি সতর্কতা ফায়ার হয় বা একটি SLO জ্বলে, অনুসন্ধান চালায়, ধারণাগুলি পরীক্ষা করে এবং প্রকৌশলীকে পরীক্ষা করার জন্য দৃশ্যমান প্রমাণ রেখে দেয়৷ দলগুলি ক্যানভাস দক্ষতা হিসাবে পরিচিত ডিবাগিং পদ্ধতিগুলি ক্যাপচার করতে পারে৷ হানিকম্ব একটি MCP সার্ভারও সরবরাহ করে, যা বহিরাগত এজেন্টদের তার টেলিমেট্রিকে জিজ্ঞাসা করতে দেয়। মধুচক্র একটি ডেডিকেটেড SRE মডেল ঘোষণা করেনি; এর ফোকাস কোয়েরি ইঞ্জিন এবং তদন্ত কীভাবে অগ্রসর হয়েছে তার রেকর্ডের উপর।

স্প্লঙ্ক এবং নিউ রিলিক মেরামতের পর্যায়ে আরও এগিয়ে গেছে। Splunk AI SRE গ্রুপ সতর্ক করে এবং একটি প্রমাণ চেইন সহ একটি সম্ভাব্য কারণ তৈরি করে। একটি সংযুক্ত Claude এজেন্ট একটি স্যান্ডবক্সে একটি কোড পরিবর্তন প্রস্তুত করতে পারে এবং একটি পুল অনুরোধ খুলতে পারে। নিউ রিলিকের এসআরই এজেন্ট তার বিশ্লেষণে রানবুক, ঘটনার পর্যালোচনা এবং পূর্ববর্তী রেজোলিউশন নিয়ে আসে, যখন অটোপাইলট প্রতিকারমূলক পদক্ষেপের পরামর্শ দিতে পারে। উভয় একটি উত্পাদন পরিবর্তন আগে একটি অনুমোদন পদক্ষেপ রাখা.

InfoQ দ্বারা রিপোর্ট করা একটি ক্লিকহাউস গবেষণায় দেখা গেছে যে সাধারণ-উদ্দেশ্য মডেলগুলি সারাংশ তৈরি করতে পারে, কিন্তু ধারাবাহিকভাবে মূল কারণগুলি খুঁজে বের করার জন্য মানুষের নির্দেশনা প্রয়োজন। Instacart ব্লুবেরির সাথে অনুরূপ পদ্ধতি গ্রহণ করে: একজন প্রকৌশলী স্ল্যাকের প্রস্তাবিত কারণটি মূল্যায়ন করার আগে এজেন্টরা প্রসঙ্গ সংগ্রহ করে।

স্কাউটের বেঞ্চমার্ক প্রমাণ মূলত ডেটাডগের নিজস্ব। লঞ্চের প্রতিক্রিয়ায়, স্বাধীন এআই নিউজ অ্যাকাউন্ট AGTP উল্লেখ করেছে যে AlertEval স্বাধীনভাবে পরীক্ষা করা হয়নি। এটি একটি অডিট ট্রেইলও চাওয়া হয়েছে যা দেখায় যে কোন প্রমাণ স্কাউট বিবেচনা করেছে এবং বাতিল করেছে। হানিকম্বের দৃশ্যমান ক্যানভাস এবং স্প্লঙ্কের প্রমাণ শৃঙ্খল নির্দেশ করে যে অন্যান্য বিক্রেতারা একই প্রয়োজনীয়তা দেখতে পান। একটি সংক্ষিপ্ত উত্তর একটি ঘটনার সময় সাহায্য করতে পারে, তবে প্রকৌশলীদেরও দেখতে হবে যে মডেলটি কীভাবে পৌঁছেছে।

ডেটাডগ সাধারণ উপলব্ধতার জন্য একটি তারিখ দেয়নি। সংস্থাটি তার সিমুলেশনগুলিতে আরও ধরণের ব্যর্থতা যুক্ত করার পরিকল্পনা করেছে এবং শেষ পর্যন্ত বিটগুলিকে মেরামত করার অনুমতি দেবে। পূর্বরূপ সেই বিন্দুর আগে থেমে যায়: স্কাউট তদন্ত করে, তার রোগ নির্ণয় করে এবং পুনরুদ্ধারের পদক্ষেপের প্রস্তাব দেয়, যখন একজন প্রকৌশলী পরিবর্তনের জন্য দায়ী থাকে।