১. সংক্ষিপ্ত বিবরণ
বিভিন্ন শিল্পক্ষেত্রে, প্রতিযোগিতামূলক পরিস্থিতি বোঝা, সম্ভাব্য লাইসেন্সিং বা অধিগ্রহণের সুযোগ চিহ্নিত করা এবং বিদ্যমান পেটেন্ট লঙ্ঘন এড়ানোর জন্য পেটেন্ট গবেষণা একটি অত্যন্ত গুরুত্বপূর্ণ হাতিয়ার।
পেটেন্ট গবেষণা বিশাল এবং জটিল। প্রাসঙ্গিক উদ্ভাবন খুঁজে বের করার জন্য অগণিত প্রযুক্তিগত সারসংক্ষেপ ঘেঁটে দেখা একটি দুঃসাধ্য কাজ। প্রচলিত কীওয়ার্ড-ভিত্তিক অনুসন্ধান প্রায়শই ভুল ফলাফল দেয় এবং সময়সাপেক্ষ হয়। সারসংক্ষেপগুলো দীর্ঘ এবং প্রযুক্তিগত হওয়ায় মূল ধারণাটি দ্রুত বোঝা কঠিন হয়ে পড়ে। এর ফলে গবেষকরা গুরুত্বপূর্ণ পেটেন্ট খুঁজে পেতে ব্যর্থ হতে পারেন অথবা অপ্রাসঙ্গিক ফলাফলের পেছনে সময় নষ্ট করতে পারেন।
এই বিপ্লবের পেছনের মূল রহস্যটি হলো ভেক্টর সার্চ। সাধারণ কীওয়ার্ড ম্যাচিংয়ের ওপর নির্ভর করার পরিবর্তে, ভেক্টর সার্চ টেক্সটকে সাংখ্যিক উপস্থাপনায় (এম্বেডিং) রূপান্তরিত করে। এর ফলে আমরা শুধু ব্যবহৃত নির্দিষ্ট শব্দগুলোর ওপর ভিত্তি করে নয়, বরং কোয়েরির অর্থের ওপর ভিত্তি করেও অনুসন্ধান করতে পারি। লিটারেচার সার্চের জগতে এটি একটি যুগান্তকারী পরিবর্তন। ভাবুন তো, ডকুমেন্টে হুবহু এই শব্দগুচ্ছটি ব্যবহৃত না হলেও আপনি ‘wearable heart rate monitor’-এর একটি পেটেন্ট খুঁজে পাচ্ছেন।
উদ্দেশ্য
এই কোডল্যাবে, আমরা AlloyDB, pgvector এক্সটেনশন, এবং ইন-প্লেস Gemini 1.5 Pro, Embeddings ও Vector Search-কে কাজে লাগিয়ে পেটেন্ট খোঁজার প্রক্রিয়াকে আরও দ্রুত, সহজবোধ্য এবং অত্যন্ত নির্ভুল করে তোলার জন্য কাজ করব।
আপনি যা তৈরি করবেন
এই ল্যাবের অংশ হিসেবে, আপনি যা করবেন:
- একটি AlloyDB ইনস্ট্যান্স তৈরি করুন এবং পেটেন্ট পাবলিক ডেটাসেটের ডেটা লোড করুন।
- AlloyDB-তে pgvector এবং জেনারেটিভ এআই মডেল এক্সটেনশন সক্রিয় করুন
- ইনসাইট থেকে এমবেডিং তৈরি করুন
- ব্যবহারকারীর সার্চ টেক্সটের জন্য রিয়েল টাইমে কোসাইন সিমিলারিটি সার্চ সম্পাদন করুন।
- সার্ভারলেস ক্লাউড ফাংশনে সমাধানটি স্থাপন করুন
নিম্নোক্ত চিত্রটিতে তথ্যের প্রবাহ এবং বাস্তবায়নের ধাপসমূহ দেখানো হয়েছে।
High level diagram representing the flow of the Patent Search Application with AlloyDB
প্রয়োজনীয়তা
- ক্রোম বা ফায়ারফক্সের মতো একটি ব্রাউজার
- বিলিং সক্ষম একটি গুগল ক্লাউড প্রজেক্ট।
২. শুরু করার আগে
একটি প্রকল্প তৈরি করুন
- গুগল ক্লাউড কনসোলের প্রজেক্ট সিলেক্টর পেজে, একটি গুগল ক্লাউড প্রজেক্ট নির্বাচন করুন বা তৈরি করুন।
- আপনার ক্লাউড প্রোজেক্টের জন্য বিলিং চালু আছে কিনা তা নিশ্চিত করুন। কোনো প্রোজেক্টে বিলিং চালু আছে কিনা তা কীভাবে পরীক্ষা করবেন, তা জেনে নিন।
- আপনি ক্লাউড শেল ব্যবহার করবেন, যা গুগল ক্লাউডে চলমান একটি কমান্ড-লাইন পরিবেশ এবং এটি bq-এর সাথে আগে থেকেই লোড করা থাকে। গুগল ক্লাউড কনসোলের শীর্ষে থাকা ‘Activate Cloud Shell’-এ ক্লিক করুন।
- ক্লাউড শেলে সংযুক্ত হওয়ার পর, আপনি নিম্নলিখিত কমান্ডটি ব্যবহার করে যাচাই করে নিন যে আপনি ইতিমধ্যেই প্রমাণীকৃত এবং প্রজেক্টটি আপনার প্রজেক্ট আইডিতে সেট করা আছে:
gcloud auth list
- gcloud কমান্ডটি আপনার প্রজেক্ট সম্পর্কে অবগত আছে কিনা, তা নিশ্চিত করতে ক্লাউড শেলে নিম্নলিখিত কমান্ডটি চালান।
gcloud config list project
- আপনার প্রজেক্টটি সেট করা না থাকলে, এটি সেট করতে নিম্নলিখিত কমান্ডটি ব্যবহার করুন:
gcloud config set project <YOUR_PROJECT_ID>
- প্রয়োজনীয় API-গুলো সক্রিয় করুন। আপনি ক্লাউড শেল টার্মিনালে gcloud কমান্ডটি ব্যবহার করতে পারেন:
gcloud services enable alloydb.googleapis.com \
compute.googleapis.com \
cloudresourcemanager.googleapis.com \
servicenetworking.googleapis.com \
run.googleapis.com \
cloudbuild.googleapis.com \
cloudfunctions.googleapis.com \
aiplatform.googleapis.com
gcloud কমান্ডের বিকল্প হলো কনসোলের মাধ্যমে প্রতিটি পণ্য অনুসন্ধান করা অথবা এই লিঙ্কটি ব্যবহার করা।
gcloud কমান্ড এবং এর ব্যবহার সম্পর্কে জানতে ডকুমেন্টেশন দেখুন।
৩. আপনার AlloyDB ডাটাবেস প্রস্তুত করুন।
চলুন একটি AlloyDB ক্লাস্টার, ইনস্ট্যান্স এবং টেবিল তৈরি করি যেখানে পেটেন্ট ডেটাসেটটি লোড করা হবে।
AlloyDB অবজেক্ট তৈরি করুন
ক্লাস্টার আইডি " patent-cluster ", পাসওয়ার্ড " alloydb ", PostgreSQL 15 কম্প্যাটিবল, অঞ্চল " us-central1 " এবং নেটওয়ার্কিং " default " সেট করে একটি ক্লাস্টার ও ইনস্ট্যান্স তৈরি করুন। ইনস্ট্যান্স আইডি " patent-instance " এ সেট করুন। CREATE CLUSTER এ ক্লিক করুন। ক্লাস্টার তৈরির বিস্তারিত বিবরণ এই লিঙ্কে রয়েছে: https://cloud.google.com/alloydb/docs/cluster-create ।
একটি টেবিল তৈরি করুন
আপনি AlloyDB Studio-তে নিচের DDL স্টেটমেন্টটি ব্যবহার করে একটি টেবিল তৈরি করতে পারেন:
CREATE TABLE patents_data ( id VARCHAR(25), type VARCHAR(25), number VARCHAR(20), country VARCHAR(2), date VARCHAR(20), abstract VARCHAR(300000), title VARCHAR(100000), kind VARCHAR(5), num_claims BIGINT, filename VARCHAR(100), withdrawn BIGINT) ;
এক্সটেনশনগুলি সক্ষম করুন
পেটেন্ট সার্চ অ্যাপটি তৈরি করার জন্য, আমরা pgvector এবং google_ml_integration এক্সটেনশনগুলো ব্যবহার করব। pgvector এক্সটেনশনটি আপনাকে ভেক্টর এমবেডিং সংরক্ষণ এবং অনুসন্ধান করার সুযোগ দেয়। google_ml_integration এক্সটেনশনটি এমন ফাংশন সরবরাহ করে যা ব্যবহার করে আপনি Vertex AI প্রেডিকশন এন্ডপয়েন্টগুলো অ্যাক্সেস করে SQL-এ প্রেডিকশন পেতে পারেন। নিম্নলিখিত DDL-গুলো রান করে এই এক্সটেনশনগুলো সক্রিয় করুন :
CREATE EXTENSION vector;
CREATE EXTENSION google_ml_integration;
অনুমতি প্রদান করুন
'embedding' ফাংশনটিতে execute অনুমোদন দিতে নিচের স্টেটমেন্টটি চালান:
GRANT EXECUTE ON FUNCTION embedding TO postgres;
AlloyDB পরিষেবা অ্যাকাউন্টে Vertex AI ব্যবহারকারীর ROLE প্রদান করুন।
Google Cloud IAM কনসোল থেকে, AlloyDB সার্ভিস অ্যাকাউন্টকে (যা দেখতে এইরকম: service-<<PROJECT_NUMBER>>@gcp-sa-alloydb.iam.gserviceaccount.com) "Vertex AI User" রোলের অ্যাক্সেস দিন। PROJECT_NUMBER-এ আপনার প্রজেক্ট নম্বরটি থাকবে।
বিকল্পভাবে, আপনি gcloud কমান্ড ব্যবহার করেও অ্যাক্সেস মঞ্জুর করতে পারেন:
PROJECT_ID=$(gcloud config get-value project)
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member="serviceAccount:service-$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)")@gcp-sa-alloydb.iam.gserviceaccount.com" \
--role="roles/aiplatform.user"
এমবেডিংগুলো সংরক্ষণের জন্য টেবিলটিতে একটি ভেক্টর কলাম যোগ করতে পরিবর্তন করুন।
আমরা এইমাত্র যে টেবিলটি তৈরি করেছি, তাতে abstract_embeddings ফিল্ডটি যোগ করতে নিচের DDL-টি চালান। এই কলামটি টেক্সটের ভেক্টর মানগুলো সংরক্ষণের সুযোগ দেবে:
ALTER TABLE patents_data ADD column abstract_embeddings vector(3072);
৪. ডেটাবেসে পেটেন্ট ডেটা লোড করুন
BigQuery-তে থাকা Google Patents Public Datasets আমাদের ডেটাসেট হিসেবে ব্যবহৃত হবে। আমরা আমাদের কোয়েরিগুলো চালানোর জন্য AlloyDB Studio ব্যবহার করব। alloydb-pgvector রিপোজিটরিতে insert_into_patents_data.sql স্ক্রিপ্টটি রয়েছে, যা আমরা পেটেন্ট ডেটা লোড করার জন্য চালাব।
- গুগল ক্লাউড কনসোলে AlloyDB পেজটি খুলুন।
- আপনার নতুন তৈরি করা ক্লাস্টারটি নির্বাচন করুন এবং ইনস্ট্যান্সটিতে ক্লিক করুন।
- AlloyDB নেভিগেশন মেনুতে, AlloyDB Studio-তে ক্লিক করুন। আপনার ক্রেডেনশিয়াল দিয়ে সাইন ইন করুন।
- ডানদিকে থাকা নতুন ট্যাব আইকনে ক্লিক করে একটি নতুন ট্যাব খুলুন।
- উপরে উল্লিখিত
insert_into_patents_data.sqlস্ক্রিপ্ট থেকেinsertকোয়েরি স্টেটমেন্টটি এডিটরে কপি করুন। এই ব্যবহারিক ক্ষেত্রটির একটি দ্রুত ডেমোর জন্য আপনি ৫০-১০০টি ইনসার্ট স্টেটমেন্ট কপি করতে পারেন। - রান-এ ক্লিক করুন। আপনার কোয়েরির ফলাফল রেজাল্টস টেবিলে প্রদর্শিত হবে।
৫. পেটেন্ট ডেটার জন্য এমবেডিং তৈরি করুন
প্রথমে নিচের নমুনা কোয়েরিটি চালিয়ে এমবেডিং ফাংশনটি পরীক্ষা করে নেওয়া যাক:
SELECT embedding( 'gemini-embedding-001', 'AlloyDB is a managed, cloud-hosted SQL database service.');
এটি কোয়েরিতে থাকা নমুনা টেক্সটের জন্য এমবেডিংস ভেক্টরটি রিটার্ন করবে, যা ফ্লোট সংখ্যার একটি অ্যারের মতো দেখতে। এটি দেখতে এইরকম:
abstract_embeddings ভেক্টর ফিল্ডটি আপডেট করুন
টেবিলে থাকা পেটেন্ট সারাংশগুলিকে সংশ্লিষ্ট এমবেডিং দিয়ে আপডেট করতে নিচের DML-টি চালান:
UPDATE patents_data set abstract_embeddings = embedding( 'gemini-embedding-001', abstract);
৬. ভেক্টর অনুসন্ধান সম্পাদন করুন
এখন যেহেতু টেবিল, ডেটা, এমবেডিং সবই প্রস্তুত, চলুন ব্যবহারকারীর সার্চ টেক্সটের জন্য রিয়েল টাইম ভেক্টর সার্চটি সম্পাদন করা যাক। নিচের কোয়েরিটি চালিয়ে আপনি এটি পরীক্ষা করতে পারেন:
SELECT id || ' - ' || title as literature FROM patents_data ORDER BY abstract_embeddings <=> embedding('gemini-embedding-001', 'A new Natural Language Processing related Machine Learning Model')::vector LIMIT 10;
এই কোয়েরিতে,
- ব্যবহারকারীর অনুসন্ধানের লেখাটি হলো: "একটি নতুন প্রাকৃতিক ভাষা প্রক্রিয়াকরণ সম্পর্কিত মেশিন লার্নিং মডেল"।
- আমরা gemini-embedding-001 মডেলটি ব্যবহার করে embedding() মেথডে এটিকে এমবেডিং-এ রূপান্তর করছি।
- "<=>" চিহ্নটি কোসাইন সিমিলারিটি দূরত্ব পদ্ধতির ব্যবহারকে নির্দেশ করে।
- ডাটাবেসে সংরক্ষিত ভেক্টরগুলোর সাথে সামঞ্জস্যপূর্ণ করার জন্য আমরা এমবেডিং মেথডের ফলাফলকে ভেক্টর টাইপে রূপান্তর করছি।
- LIMIT 10 এর অর্থ হলো, আমরা সার্চ টেক্সটের সবচেয়ে কাছাকাছি ১০টি মিল নির্বাচন করছি।
নিম্নে ফলাফল দেওয়া হলো:
আপনার ফলাফলে যেমন দেখতে পাচ্ছেন, মিলগুলো অনুসন্ধান করা লেখার বেশ কাছাকাছি।
৭. অ্যাপ্লিকেশনটি ওয়েবে নিয়ে যান
এই অ্যাপটি ওয়েবে নিয়ে যাওয়ার জন্য প্রস্তুত? নিচের ধাপগুলো অনুসরণ করুন:
- ক্লাউড শেল এডিটর-এ যান এবং এডিটরের নিচের বাম কোণায় (স্ট্যাটাস বার) থাকা 'ক্লাউড কোড — সাইন ইন' আইকনটিতে ক্লিক করুন। আপনার বর্তমান গুগল ক্লাউড প্রজেক্টটি বেছে নিন যেটিতে বিলিং চালু করা আছে এবং নিশ্চিত করুন যে আপনি জেমিনি থেকেও একই প্রজেক্টে সাইন ইন করেছেন (স্ট্যাটাস বারের ডান কোণায়)।
- ক্লাউড কোড আইকনে ক্লিক করুন এবং ক্লাউড কোড ডায়ালগ বক্সটি আসা পর্যন্ত অপেক্ষা করুন। 'New Application' নির্বাচন করুন এবং 'Create New Application' পপ-আপে, 'Cloud Functions' অ্যাপ্লিকেশনটি নির্বাচন করুন:
নতুন অ্যাপ্লিকেশন তৈরি করুন পপ-আপের ২/২ পৃষ্ঠায়, Java: Hello World নির্বাচন করুন এবং আপনার পছন্দের স্থানে আপনার প্রজেক্টের নাম "alloydb-pgvector" হিসেবে প্রবেশ করিয়ে OK ক্লিক করুন:
- প্রাপ্ত প্রোজেক্ট স্ট্রাকচারে, pom.xml ফাইলটি খুঁজুন এবং repo ফাইলের কন্টেন্ট দিয়ে এটি প্রতিস্থাপন করুন। এতে এই ডিপেন্ডেন্সিগুলো ছাড়াও আরও কয়েকটি থাকা উচিত:
- রিপো ফাইলের কন্টেন্ট দিয়ে HelloWorld.java ফাইলটি প্রতিস্থাপন করুন।
মনে রাখবেন, আপনাকে নীচের মানগুলি আপনার প্রকৃত মান দিয়ে প্রতিস্থাপন করতে হবে:
String ALLOYDB_DB = "postgres";
String ALLOYDB_USER = "postgres";
String ALLOYDB_PASS = "*****";
String ALLOYDB_INSTANCE_NAME = "projects/<<YOUR_PROJECT_ID>>/locations/us-central1/clusters/<<YOUR_CLUSTER>>/instances/<<YOUR_INSTANCE>>";
//Replace YOUR_PROJECT_ID, YOUR_CLUSTER, YOUR_INSTANCE with your actual values
উল্লেখ্য যে, ফাংশনটি 'search' কী-সহ ইনপুট প্যারামিটার হিসেবে সার্চ টেক্সট গ্রহণ করে এবং এই বাস্তবায়নে, আমরা ডাটাবেস থেকে শুধুমাত্র একটি নিকটতম মিল ফেরত দিচ্ছি:
// Get the request body as a JSON object.
JsonObject requestJson = new Gson().fromJson(request.getReader(), JsonObject.class);
String searchText = requestJson.get("search").getAsString();
//Sample searchText: "A new Natural Language Processing related Machine Learning Model";
BufferedWriter writer = response.getWriter();
String result = "";
HikariDataSource dataSource = AlloyDbJdbcConnector();
try (Connection connection = dataSource.getConnection()) {
//Retrieve Vector Search by text (converted to embeddings) using "Cosine Similarity" method
try (PreparedStatement statement = connection.prepareStatement("SELECT id || ' - ' || title as literature FROM patents_data ORDER BY abstract_embeddings <=> embedding('tgemini-embedding-001', '" + searchText + "' )::vector LIMIT 1")) {
ResultSet resultSet = statement.executeQuery();
resultSet.next();
String lit = resultSet.getString("literature");
result = result + lit + "\n";
System.out.println("Matching Literature: " + lit);
}
writer.write("Here is the closest match: " + result);
}
- আপনার তৈরি করা ক্লাউড ফাংশনটি ডিপ্লয় করতে, ক্লাউড শেল টার্মিনাল থেকে নিম্নলিখিত কমান্ডটি চালান। মনে রাখবেন, প্রথমে এই কমান্ডটি ব্যবহার করে সংশ্লিষ্ট প্রজেক্ট ফোল্ডারে প্রবেশ করতে হবে:
cd alloydb-pgvector
তারপর কমান্ডটি চালান:
gcloud functions deploy patent-search --gen2 --region=us-central1 --runtime=java11 --source=. --entry-point=cloudcode.helloworld.HelloWorld --trigger-http
গুরুত্বপূর্ণ পদক্ষেপ:
একবার ডেপ্লয়মেন্ট শুরু করলে, আপনি Google Cloud Run Functions কনসোলে ফাংশনগুলো দেখতে পাবেন। নতুন তৈরি করা ফাংশনটি খুঁজুন এবং খুলুন, কনফিগারেশনগুলো সম্পাদনা করুন এবং নিম্নলিখিতগুলো পরিবর্তন করুন:
- রানটাইম, বিল্ড, সংযোগ এবং নিরাপত্তা সেটিংসে যান
- টাইমআউট বাড়িয়ে ১৮০ সেকেন্ড করুন।
- CONNECTIONS ট্যাবে যান:
- ইনগ্রেস সেটিংসের অধীনে, "সমস্ত ট্র্যাফিকের অনুমতি দিন" বিকল্পটি নির্বাচিত আছে কিনা তা নিশ্চিত করুন।
- ইগ্রেস সেটিংস-এর অধীনে, নেটওয়ার্ক ড্রপডাউনে ক্লিক করুন এবং "অ্যাড নিউ ভিপিসি কানেক্টর" অপশনটি নির্বাচন করুন এবং পপ-আপ হওয়া ডায়ালগ বক্সে প্রদর্শিত নির্দেশাবলী অনুসরণ করুন:
- VPC কানেক্টরের জন্য একটি নাম দিন এবং নিশ্চিত করুন যে এর অঞ্চলটি আপনার ইনস্ট্যান্সের মতোই। নেটওয়ার্ক ভ্যালুটি ডিফল্ট রাখুন এবং সাবনেট হিসেবে কাস্টম আইপি রেঞ্জ সেট করুন, যেখানে আইপি রেঞ্জ হবে 10.8.0.0 অথবা এর মতো সহজলভ্য কোনো আইপি।
- ‘শো স্কেলিং সেটিংস’ প্রসারিত করুন এবং নিশ্চিত করুন যে আপনার কনফিগারেশনটি হুবহু নিম্নলিখিতভাবে সেট করা আছে:
- CREATE-এ ক্লিক করুন এবং এই কানেক্টরটি এখন বহির্গমন সেটিংসে তালিকাভুক্ত হওয়া উচিত।
- নতুন তৈরি করা সংযোগকারী নির্বাচন করুন
- সমস্ত ট্র্যাফিক এই VPC কানেক্টরের মাধ্যমে রাউট করার বিকল্পটি বেছে নিন।
৮. অ্যাপ্লিকেশনটি পরীক্ষা করুন।
একবার এটি ডেপ্লয় করা হলে, আপনি এন্ডপয়েন্টটি নিম্নলিখিত ফরম্যাটে দেখতে পাবেন:
https://us-central1-YOUR_PROJECT_ID.cloudfunctions.net/patent-search
আপনি ক্লাউড শেল টার্মিনাল থেকে নিম্নলিখিত কমান্ডটি চালিয়ে এটি পরীক্ষা করতে পারেন:
gcloud functions call patent-search --region=us-central1 --gen2 --data '{"search": "A new Natural Language Processing related Machine Learning Model"}'
ফলাফল:
আপনি ক্লাউড ফাংশন তালিকা থেকেও এটি পরীক্ষা করতে পারেন। ডেপ্লয় করা ফাংশনটি নির্বাচন করুন এবং "টেস্টিং" ট্যাবে যান। রিকোয়েস্ট জেসন (request json)-এর জন্য কনফিগার ট্রিগারিং ইভেন্ট সেকশনের টেক্সট বক্সে নিম্নলিখিত তথ্য লিখুন:
{"search": "A new Natural Language Processing related Machine Learning Model"}
‘TEST THE FUNCTION’ বোতামে ক্লিক করুন এবং আপনি পৃষ্ঠার ডানদিকে ফলাফল দেখতে পাবেন:
ব্যাস! AlloyDB ডেটার উপর এমবেডিংস মডেল ব্যবহার করে সিমিলারিটি ভেক্টর সার্চ করা এতটাই সহজ।
৯. পরিষ্কার করুন
এই পোস্টে ব্যবহৃত রিসোর্সগুলোর জন্য আপনার গুগল ক্লাউড অ্যাকাউন্টে চার্জ হওয়া এড়াতে, এই ধাপগুলো অনুসরণ করুন:
১০. অভিনন্দন
অভিনন্দন! আপনি AlloyDB, pgvector এবং Vector search ব্যবহার করে সফলভাবে একটি সাদৃশ্য অনুসন্ধান সম্পন্ন করেছেন। AlloyDB , Vertex AI এবং Vector Search- এর সক্ষমতাগুলোকে একত্রিত করার মাধ্যমে, আমরা সাহিত্য অনুসন্ধানকে সহজলভ্য, কার্যকর এবং প্রকৃত অর্থেই অর্থবহ করে তোলার ক্ষেত্রে এক বিশাল পদক্ষেপ এগিয়েছি।