১. শুরু করার আগে
সাম্প্রতিককালে মেশিন লার্নিং-এর অন্যতম উত্তেজনাপূর্ণ অগ্রগতি হলো লার্জ ল্যাঙ্গুয়েজ মডেল (এলএলএম)। এগুলো ব্যবহার করে টেক্সট তৈরি করা, ভাষা অনুবাদ করা এবং একটি ব্যাপক ও তথ্যপূর্ণ উপায়ে প্রশ্নের উত্তর দেওয়া যায়। গুগল ল্যামডা (Google LaMDA) এবং পাম (PaLM)- এর মতো এলএলএম-গুলোকে বিপুল পরিমাণ টেক্সট ডেটার উপর প্রশিক্ষণ দেওয়া হয়, যা তাদেরকে শব্দ ও বাক্যাংশের মধ্যেকার পরিসংখ্যানগত প্যাটার্ন এবং সম্পর্ক শিখতে সাহায্য করে। এর ফলে তারা মানুষের লেখা টেক্সটের মতো টেক্সট তৈরি করতে এবং উচ্চ নির্ভুলতার সাথে ভাষা অনুবাদ করতে সক্ষম হয়।
এলএলএম (LLM) স্টোরেজের দিক থেকে বেশ বড় এবং এটি চালাতে সাধারণত প্রচুর কম্পিউটিং পাওয়ারের প্রয়োজন হয়। একারণে, এগুলো সাধারণত ক্লাউডে স্থাপন করা হয় এবং মোবাইল ডিভাইসের সীমিত কম্পিউটেশনাল পাওয়ারের কারণে অন-ডিভাইস মেশিন লার্নিং (ODML)-এর জন্য এগুলো বেশ চ্যালেঞ্জিং। কিন্তু একটি আধুনিক অ্যান্ড্রয়েড ডিভাইসে ছোট আকারের এলএলএম (যেমন, GPT-2) চালানো এবং তা সত্ত্বেও চিত্তাকর্ষক ফলাফল অর্জন করা সম্ভব।
এখানে গুগল পিক্সেল ৭ প্রো-তে প্লেব্যাকের গতি না বাড়িয়ে ১.৫ বিলিয়ন প্যারামিটার সহ গুগল পাম মডেলের একটি সংস্করণ চালানোর ডেমো দেওয়া হলো।
এই কোডল্যাবে, আপনি একটি এলএলএম-চালিত অ্যাপ তৈরি করার কৌশল এবং টুলিং শিখবেন (উদাহরণ মডেল হিসেবে GPT-2 ব্যবহার করে):
- একটি পূর্ব-প্রশিক্ষিত LLM লোড করতে KerasNLP ব্যবহার করা হয়।
- একটি LLM সূক্ষ্মভাবে সমন্বয় করতে KerasNLP ব্যবহার করা
- অ্যান্ড্রয়েডে LLM রূপান্তর, অপ্টিমাইজ এবং স্থাপন করতে TensorFlow Lite ব্যবহার করা হয়।
পূর্বশর্ত
- Keras এবং TensorFlow Lite সম্পর্কে মধ্যম মানের জ্ঞান
- অ্যান্ড্রয়েড ডেভেলপমেন্টের প্রাথমিক জ্ঞান
আপনি যা শিখবেন
- KerasNLP ব্যবহার করে কীভাবে একটি প্রি-ট্রেইনড LLM লোড ও ফাইন-টিউন করা যায়
- কিভাবে একটি LLM-কে কোয়ান্টাইজ করে TensorFlow Lite-এ রূপান্তর করবেন
- রূপান্তরিত TensorFlow Lite মডেলে কীভাবে ইনফারেন্স চালাবেন
আপনার যা যা লাগবে
- কোলাবে প্রবেশাধিকার
- অ্যান্ড্রয়েড স্টুডিওর সর্বশেষ সংস্করণ
- ৪জিবি-র বেশি র্যাম সহ একটি আধুনিক অ্যান্ড্রয়েড ডিভাইস
২. প্রস্তুত হন
এই কোডল্যাবের কোড ডাউনলোড করতে:
- এই কোডল্যাবটির গিটহাব রিপোজিটরিতে যান।
- এই কোডল্যাবের সমস্ত কোড ডাউনলোড করতে কোড > জিপ ডাউনলোড-এ ক্লিক করুন।
- ডাউনলোড করা জিপ ফাইলটি আনজিপ করলে একটি
examples' রুট ফোল্ডার পাওয়া যাবে, যেখানে আপনার প্রয়োজনীয় সমস্ত রিসোর্স রয়েছে।
৩. স্টার্টার অ্যাপটি চালান।
- অ্যান্ড্রয়েড স্টুডিওতে
examples/lite/examples/generative_ai/androidফোল্ডারটি ইম্পোর্ট করুন। - অ্যান্ড্রয়েড এমুলেটরটি চালু করুন , এবং তারপর ক্লিক করুন।
ন্যাভিগেশন মেনুতে চালান ।
অ্যাপটি চালান এবং অন্বেষণ করুন।
অ্যাপটি আপনার অ্যান্ড্রয়েড ডিভাইসে চালু হবে। অ্যাপটির নাম 'অটো-কমপ্লিট'। এর ইউজার ইন্টারফেস বেশ সহজবোধ্য: আপনি টেক্সট বক্সে কিছু প্রাথমিক শব্দ টাইপ করে ' জেনারেট ' ট্যাপ করতে পারেন; এরপর অ্যাপটি একটি LLM-এর উপর ইনফারেন্স চালিয়ে আপনার দেওয়া ইনপুটের উপর ভিত্তি করে অতিরিক্ত টেক্সট তৈরি করে।
এই মুহূর্তে, কিছু শব্দ টাইপ করার পর আপনি 'জেনারেট' ট্যাপ করলে কিছুই হয় না। এর কারণ হলো, এটি এখনও এলএলএম (LLM) চালু করেনি।
৪. ডিভাইসে স্থাপনের জন্য এলএলএম প্রস্তুত করুন।
- Colab খুলুন এবং নোটবুকটি চালান (যা TensorFlow Codelabs GitHub রিপোজিটরিতে হোস্ট করা আছে)।
৫. অ্যান্ড্রয়েড অ্যাপটি সম্পূর্ণ করুন।
এখন যেহেতু আপনি GPT-2 মডেলটিকে TensorFlow Lite-এ রূপান্তর করেছেন, আপনি অবশেষে এটিকে অ্যাপে স্থাপন করতে পারেন।
অ্যাপটি চালান
- শেষ ধাপে ডাউনলোড করা
autocomplete.tfliteমডেল ফাইলটি Android Studio-এরapp/src/main/assets/ফোল্ডারে ড্র্যাগ করুন।
- ক্লিক করুন ন্যাভিগেশন মেনুতে রান করুন এবং তারপর অ্যাপটি লোড হওয়ার জন্য অপেক্ষা করুন।
- টেক্সট ফিল্ডে কিছু প্রাথমিক শব্দ টাইপ করুন, এবং তারপর জেনারেট-এ ট্যাপ করুন।
৬. দায়িত্বশীল এআই সম্পর্কিত টীকা
ওপেনএআই-এর মূল GPT-2 ঘোষণায় যেমন উল্লেখ করা হয়েছে, GPT-2 মডেলটির কিছু উল্লেখযোগ্য সীমাবদ্ধতা ও শর্ত রয়েছে। প্রকৃতপক্ষে, বর্তমানে LLM মডেলগুলোতে সাধারণত কিছু সুপরিচিত সমস্যা থাকে, যেমন—বিভ্রান্তি, আপত্তিকর ফলাফল, ন্যায্যতা এবং পক্ষপাতিত্ব; এর কারণ হলো, এই মডেলগুলো বাস্তব জগতের তথ্যের ওপর ভিত্তি করে প্রশিক্ষিত হয়, যা সেগুলোকে বাস্তব জগতের সমস্যাগুলোর প্রতিফলন ঘটাতে সাহায্য করে।
এই কোডল্যাবটি শুধুমাত্র টেনসরফ্লো টুলিং ব্যবহার করে এলএলএম (LLM) চালিত একটি অ্যাপ কীভাবে তৈরি করতে হয়, তা দেখানোর জন্য তৈরি করা হয়েছে। এই কোডল্যাবে তৈরি মডেলটি শুধুমাত্র শিক্ষামূলক উদ্দেশ্যে ব্যবহৃত হবে এবং এটি প্রোডাকশন ব্যবহারের জন্য নয় ।
এলএলএম-এর উৎপাদনমূলক ব্যবহারের জন্য প্রশিক্ষণ ডেটাসেটের সুচিন্তিত নির্বাচন এবং ব্যাপক নিরাপত্তা ব্যবস্থা গ্রহণ প্রয়োজন। এলএলএম-এর প্রেক্ষাপটে দায়িত্বশীল এআই সম্পর্কে আরও জানতে, গুগল আই/ও ২০২৩-এ অনুষ্ঠিত ‘জেনারেটিভ ল্যাঙ্গুয়েজ মডেলের সাহায্যে নিরাপদ ও দায়িত্বশীল উন্নয়ন’ শীর্ষক টেকনিক্যাল সেশনটি অবশ্যই দেখুন এবং ‘রেসপনসিবল এআই টুলকিট’টিও দেখে নিন।
৭. উপসংহার
অভিনন্দন! আপনি শুধুমাত্র ডিভাইসে একটি প্রি-ট্রেইনড লার্জ ল্যাঙ্গুয়েজ মডেল চালিয়ে ব্যবহারকারীর ইনপুটের উপর ভিত্তি করে সুসংগত টেক্সট তৈরি করার একটি অ্যাপ তৈরি করেছেন!