গুগল এমএল ড্রিফ্ট বিভিন্ন জিপিইউ জুড়ে অন-ডিভাইস এআই ইনফরেন্সকে ত্বরান্বিত করে

Google ML Drift প্রকাশ করেছে, একটি ওপেন-সোর্স, ক্রস-প্ল্যাটফর্ম GPU কম্পিউট ইঞ্জিন যা অন-ডিভাইস এআই এবং মেশিন লার্নিং ইনফারেন্সের জন্য ডিজাইন করা হয়েছে। Apache 2.0 এর অধীনে লাইসেন্সকৃত, এটি বিভিন্ন GPU হার্ডওয়্যার এবং নিম্ন-স্তরের API-এর জটিলতাগুলিকে বিমূর্ত করে, যা OpenGL ES, OpenCL, Metal, এবং WebGPU-কে সমর্থন করে।

ML Drift হল মূল GPU ত্বরণ ইঞ্জিন যা LiteRT কে শক্তি দেয়। এটিকে ওপেন-সোর্সিংয়ের মাধ্যমে, গুগল ডেভেলপারদের প্রথাগত কম্পিউটার ভিশন, অডিও এবং ডেপথ প্রসেসিং থেকে জেনারেটিভ এআই পর্যন্ত অ্যাপ্লিকেশনের জন্য কাস্টম গ্রাফিক্স এবং ইনফারেন্স রানটাইম তৈরি করতে সক্ষম করছে।

ML Drift-এর অন্যতম প্রধান লক্ষ্য হল বিভিন্ন GPU হার্ডওয়্যারে অ্যাক্সেস সহজ করা যা ডেভেলপাররা প্রান্ত ডিভাইসগুলির জন্য অ্যাপ্লিকেশন তৈরি করার সময় সম্মুখীন হয়।

ডেভেলপাররা বিস্তৃত GPU আর্কিটেকচার, ড্রাইভার সংস্করণ এবং নিম্ন-স্তরের API-এর সম্মুখীন হচ্ছেন, তারা জানেন না যে কোন নির্দিষ্ট হার্ডওয়্যারে অ্যাপ্লিকেশনটি চলবে।

ML Drift-এর লক্ষ্য পোর্টেবিলিটি এবং পারফরম্যান্সের জন্য একটি নতুন ভিত্তি স্থাপন করা, Google বলে, “প্রথাগত ML-এর জন্য স্থিতিশীলতা এবং সবচেয়ে উন্নত জেনারেটিভ AI-এর জন্য সর্বোচ্চ কর্মক্ষমতা” প্রদান করা।

এটি অর্জনের জন্য, ML Drift টেনসর ভার্চুয়ালাইজেশন, এক্সটেনসিবল কাস্টম অপারেশন এবং ফাইভ-ডাইমেনশনাল টেনসর সাপোর্টের মাধ্যমে ইউনিফাইড শেডার সহ উত্তরাধিকার TFLite GPU প্রতিনিধির উপর বেশ কিছু প্রযুক্তিগত উন্নতি প্রবর্তন করেছে। এটি “আধুনিক GPU গুলি জুড়ে হার্ডওয়্যার ব্যবহার সর্বাধিক করার জন্য” আর্ম, ইন্টেল এবং কোয়ালকম টেকনোলজির GPU-গুলির জন্য হার্ডওয়্যার-নির্দিষ্ট অপ্টিমাইজেশনগুলিকে অন্তর্ভুক্ত করে৷

এমএল ড্রিফ্ট ম্যাকওএস-এ নেটিভ মেটাল ব্যাকএন্ড সমর্থন বজায় রেখে ডন, ক্রোমিয়ামের ওয়েবজিপিইউ বাস্তবায়নের মাধ্যমে উইন্ডোজ এবং লিনাক্সে অনুমানের জন্য ডেস্কটপ সমর্থন প্রসারিত করে। ডন ওয়েবজিপিইউ-এর হার্ডওয়্যার অ্যাবস্ট্রাকশন লেয়ার ব্যবহার করে একটি ইউনিফাইড API মডেল প্রদান করে, সরাসরি প্ল্যাটফর্ম-নির্দিষ্ট গ্রাফিক্স API যেমন DirectX এবং Vulkan-এর সাথে ইন্টারফেস করার প্রয়োজন এড়িয়ে।

গুগল ডেভেলপার-গ্রেড ওয়ার্কস্টেশন হার্ডওয়্যারে জেমা মডেল ব্যবহার করে এমএল ড্রিফ্ট বেঞ্চমার্ক করেছে, llama.cpp এবং MLX LM সহ অন্যান্য ফ্রেমওয়ার্কের তুলনায় 12% কম মেমরি ওভারহেড রিপোর্ট করছে। কোম্পানি আরও জোর দিয়েছিল যে ML Drift ইতিমধ্যেই Chrome, YouTube Shorts, Photos এবং Meet-এর মতো অ্যাপের মাধ্যমে লক্ষ লক্ষ ডিভাইসে চলছে।

YouTube Shorts-এ, ML Drift Android এবং iOS-এ সেগমেন্টেশন-ভিত্তিক প্রভাবগুলির জন্য গড় ফ্রেম লেটেন্সি 40% পর্যন্ত কমিয়ে আনে। গুগল ফটোতে, এটি কম্পিউটেশনাল ফটোগ্রাফি এবং সেগমেন্টেশন পাইপলাইনকে দুই সেকেন্ড পর্যন্ত গতি বাড়ায়। Adobe Lightroom এবং Photoshop নির্বাচিত AI-চালিত ফটো-এডিটিং বৈশিষ্ট্য যেমন সিলেক্ট সাবজেক্ট, সিলেক্ট স্কাই এবং অ্যাডাপটিভ পোর্ট্রেটের জন্য 30% পর্যন্ত পারফরম্যান্সের উন্নতি থেকে উপকৃত হয়। অবশেষে, Snapchat ML-চালিত মুখ এবং Android-এ স্টাইল-জেনারেশন প্রভাবগুলির জন্য মডেল লেটেন্সি 30% হ্রাস দেখে, যা বৃহত্তর ডিফিউশন মডেলগুলির ব্যবহারকে সক্ষম করে৷

লিঙ্কডইন-এ ঘোষণার বিষয়ে মন্তব্য করে, এআই/এমএল প্রকৌশলী পবিত্র আগ্রাহারাম যুক্তি দিয়েছিলেন যে

লেআউট হ্যাক ছাড়া নেটিভ 5D টেনসর সমর্থন প্রান্ত GPU-তে স্থানিক এবং ট্রান্সফরমার মডেল চালানোর জন্য একটি বিশাল জয়। ভৌত মেমরি বরাদ্দ থেকে লজিক্যাল টেনসর ডিকপলিং লাইভ ইনফারেন্সের সময় মেমরি ফ্র্যাগমেন্টেশনকে উল্লেখযোগ্যভাবে হ্রাস করা উচিত।

ম্যাথিউ চার্লস ভ্লাদিস্লাভ বুসেল, টেনসোরাস্টের প্রতিষ্ঠাতা এবং একমাত্র বিকাশকারী, প্রশ্ন করেছেন “এটি সাম্প্রতিক আইফোনের কোর ML-এর সাথে লেটেন্সি এবং মেমরির জন্য কীভাবে তুলনা করে, যেহেতু আমাদের মধ্যে বেশিরভাগই আজকের তুলনায় এটি প্রেরণ করে”, যদিও গুগল কোন তুলনামূলক পরিসংখ্যান প্রদান করেনি।

ML Drift প্রকাশের সাথে সাথে, Google উত্তরাধিকারসূত্রে TensorFlow Lite GPU প্রতিনিধি আপডেট করা বন্ধ করবে। বিদ্যমান মডেলগুলির সাথে পশ্চাদমুখী সামঞ্জস্যের জন্য, কোম্পানি LiteRT ML ড্রিফ্ট GPU এক্সিলারেটরে স্থানান্তরিত করার সুপারিশ করে৷ অ্যাপ্লিকেশন বিকাশকারীরা LiteRT ML ড্রিফ্ট অ্যাক্সিলারেটর ব্যবহার করতে পারে, যখন GPU এবং সিস্টেম ইঞ্জিনিয়াররা কাস্টম তৈরি করতে এর নিম্ন স্তরের C++ API অ্যাক্সেস করতে পারে GpuModel গ্রাফ গণনা করুন এবং কাস্টম শেডার লিখুন।