নিজের সার্ভারে Private LLM চালানো: হার্ডওয়্যার, RAG ও নিরাপত্তার বাস্তব গাইড

কোনো ক্লায়েন্ট যখন বলেন তাঁদের ডেটা ক্লাউডে যেতে পারবে না, অথচ তাঁরা একটি AI অ্যাসিস্ট্যান্ট চান, তখন আমরা তাঁদের নিজের হার্ডওয়্যারে একটি প্রাইভেট large language model (LLM) চালাই। এটি বেশিরভাগ মানুষের ধারণার চেয়ে সহজ - ডেটা সেন্টার বা গবেষণা দল লাগে না। এই লেখায় আছে সেই বাস্তব গাইড: আসলে কী হার্ডওয়্যার লাগে, কীভাবে মডেল বাছবেন, RAG দিয়ে নিজের ডেটা থেকে উত্তর আনবেন কীভাবে, আর যে নিরাপত্তা কখনও বাদ দেওয়া যায় না। এটি তত্ত্ব থেকে নয়, করে দেখা থেকে লেখা।

প্রাইভেট LLM চালানো আসলে কী

প্রাইভেট LLM জনপ্রিয় AI অ্যাসিস্ট্যান্টগুলোর পেছনের একই ধরনের প্রযুক্তি, তবে ইন্টারনেটের ওপারে কল করার বদলে আপনি নিজেই হোস্ট করেন। এটি আপনার মালিকানার বা প্রাইভেটভাবে ভাড়া নেওয়া একটি সার্ভারে চলে, আপনার নিয়ন্ত্রিত নেটওয়ার্কের ভেতরে। প্রশ্ন ঢোকে, উত্তর বের হয়, আর কোনোটিই আপনার পরিবেশ ছাড়ে না।

ক্লায়েন্টদের আমি সহজ মডেলটি দিই: আপনি স্থানীয়ভাবে একটি সক্ষম, সাধারণ-উদ্দেশ্যের ভাষা-ইঞ্জিন চালাচ্ছেন, আর প্রশ্নের সময় সেটিকে নিজের ডেটা খাওয়াচ্ছেন। ইঞ্জিনটি মডেল; ডেটা আপনার থাকে। বাকি সব প্লাম্বিং আর শৃঙ্খলা।

আসলে যে হার্ডওয়্যার লাগে

এখানেই মানুষ সবচেয়ে বেশি অতিরিক্ত ধরে নেয়। সার্ভারের র‍্যাক লাগে না। সবচেয়ে বড় নিয়ামক মডেলের আকার, যা বিলিয়ন প্যারামিটারে মাপা হয়।

কাজ	মডেল সাইজ	হার্ডওয়্যার
শ্রেণিবদ্ধকরণ, সারাংশ, ড্রাফট, ডকুমেন্ট থেকে উত্তর	3B - 8B	একটি আধুনিক GPU (~24GB)
গভীর যুক্তি, বড় কনটেক্সট	13B - 34B	এক বা দুটি বড় GPU
সবচেয়ে ভারী যুক্তি	70B+	একাধিক GPU / ডেডিকেটেড সার্ভার

আমার সৎ পরামর্শ: যে কাজটি করে এমন সবচেয়ে ছোট মডেল দিয়ে শুরু করুন। তা সস্তা, দ্রুত সাড়া দেয়, আর সহজে সিকিওর করা যায়। বেশিরভাগ অভ্যন্তরীণ কাজে বড় মডেল দরকার হয় না।

কেবল-CPU নিয়ে একটি কথা: হালকা বা ব্যাচ কাজে চলে, কিন্তু সাড়া এত ধীর যে মানুষ টুলটি ব্যবহার বন্ধ করে দেয়। ইন্টারেক্টিভ ব্যবহার চাইলে GPU-র বাজেট রাখুন। এটি আমি নিজে GPU-বিহীন সার্ভারে স্থানীয় মডেল পরীক্ষা করে শিখেছি - সক্ষম, কিন্তু ব্যবহারযোগ্য হওয়ার জন্য বড্ড ধীর।

মডেল বাছাই ও চালানো

প্রাইভেটভাবে চালানোর মতো ওপেন মডেলের একটি সুস্থ ইকোসিস্টেম আছে, আর সেগুলো সার্ভ করার টুলিংও সহজ। একটি লোকাল রানটাইম দিয়ে কয়েকটি কমান্ডেই মডেল টেনে এনে অভ্যন্তরীণ API-তে খোলা যায়।

# উদাহরণ: হালকা রানটাইম দিয়ে লোকালি একটি ওপেন মডেল সার্ভ করা
ollama pull llama3.1:8b
ollama run llama3.1:8b

# এটি একটি লোকাল API খোলে যা আপনার অ্যাপ কল করে - কিছুই হোস্ট ছাড়ে না
curl http://localhost:11434/api/generate \
  -d '{"model":"llama3.1:8b","prompt":"এই পলিসিটি সারাংশ করো: ..."}'

মূল কথা - আপনার অ্যাপ আপনার নিজের নেটওয়ার্কের ভেতরের একটি এন্ডপয়েন্টের সঙ্গে কথা বলে। কোনো প্রম্পট, বা সেই প্রম্পটের ডেটা, বাইরের প্রোভাইডারে যায় না।

নিজের ডেটা থেকে উত্তর: RAG

একটি বেস মডেল সাধারণ ভাষা জানে, আপনার দাম, পলিসি বা রেকর্ড জানে না। এই ফাঁক পূরণের কৌশল retrieval-augmented generation। সহজ কথায়: প্রশ্ন এলে সিস্টেম আগে আপনার ডেটা থেকে প্রাসঙ্গিক অংশ খুঁজে বের করে, তারপর সেগুলো প্রশ্নসহ মডেলকে দেয়, ফলে উত্তরটি আপনার তথ্যে ভিত্তি করে হয়।

রিট্রিভাল ধাপটি আপনার ডকুমেন্টের ওপর একটি vector search ব্যবহার করে। আমি প্রায়ই এটি ডেটাবেজের ভেতরেই রাখি - Oracle-এর in-database vector ও AI ফিচার দিয়ে embedding সংরক্ষণ ও similarity search চালানো যায় ঠিক যেখানে ডেটা আছে, ফলে পুরো পাইপলাইন on-premise থাকে। এই প্যাটার্ন আমি Oracle 26ai দিয়ে ERP ডেটায় AI অ্যাসিস্ট্যান্ট লেখায় বর্ণনা করেছি।

RAG-এর সৌন্দর্য হলো আপনি কখনও মডেল রি-ট্রেন করেন না। ডকুমেন্ট যোগ বা হালনাগাদ করেন, রিট্রিভাল স্তর তা তুলে নেয়, আর উত্তর হালনাগাদ থাকে - মডেল স্পর্শ না করেই।

খরচের ছবি

On-premise খরচের ধরন উল্টে দেয়। ক্লাউড AI টোকেন-প্রতি বিল করে, তাই বেশি ব্যবহৃত সফল টুল প্রতি মাসে দামি হয়। প্রাইভেট সেটআপে বড় একটি প্রাথমিক হার্ডওয়্যার খরচ, তারপর ছোট স্থির খরচ - বিদ্যুৎ, রক্ষণাবেক্ষণ, আর দেখাশোনার লোক।

নিয়মিত ব্যবহৃত টুলের জন্য স্থির মডেল সাধারণত এক-দুই বছরে জিতে যায় এবং বাজেট অনুমানযোগ্য করে। মাঝেমধ্যের, কম-পরিমাণ ব্যবহারে ক্লাউড হয়তো সস্তা - তাই আমি প্রতিটি কাজ সচেতনভাবে বসাই।

যে নিরাপত্তা চেকলিস্ট আমি বাদ দিই না

• অ্যাক্সেস কন্ট্রোল: কেবল অনুমোদিত ব্যবহারকারী ও সিস্টেম মডেলকে প্রশ্ন করতে পারে, আর প্রতিটি অনুরোধ লগ হয়।
• নেটওয়ার্ক আইসোলেশন: মডেল সার্ভার অভ্যন্তরীণ সেগমেন্টে থাকে, উন্মুক্ত ইন্টারনেটে নয়।
• ডেটা স্কোপিং: রিট্রিভাল স্তর কী পড়তে পারবে তা ঠিক করুন, আর যা দেখা উচিত নয় তা মাস্ক বা বাদ দিন।
• প্যাচিং: মডেল সার্ভার ও নির্ভরতা যেকোনো গুরুত্বপূর্ণ সিস্টেমের মতোই প্যাচ করুন - এই শৃঙ্খলা আমি ডেটাবেজ সিকিউরিটি থেকে নিয়ে আসি।
• ব্যাকআপ: কনফিগারেশন ও ডকুমেন্ট ইনডেক্স ব্যাকআপ রাখুন যাতে দ্রুত পুনর্গঠন করা যায়।

সাধারণ ভুল

প্রথমেই সবচেয়ে বড় মডেল কেনা। বেশিরভাগ টিমের তা কখনও লাগে না; শুধু খরচ ও জটিলতা বাড়ে। একবারের ইনস্টল ভাবা। প্রাইভেট LLM একটি জীবন্ত সিস্টেম, মনিটরিং ও মাঝেমধ্যে আপগ্রেড লাগে। মানুষকে ভুলে যাওয়া। গুরুত্বপূর্ণ সিদ্ধান্তে AI-এর আউটপুট এখনও মানুষের পর্যালোচনা দরকার।

সাধারণ জিজ্ঞাসা (FAQ)

প্রাইভেট LLM চালাতে কি GPU লাগে?

প্রতিক্রিয়াশীল, ইন্টারেক্টিভ ব্যবহারের জন্য হ্যাঁ - GPU দৃঢ়ভাবে সুপারিশযোগ্য। ছোট মডেল হালকা বা ব্যাচ কাজে CPU-তে চলে, কিন্তু সাড়া এত ধীর যে মানুষ ব্যবহার বন্ধ করে দেয়। সত্যিকারের অ্যাসিস্ট্যান্টের জন্য GPU-র বাজেট রাখুন।

প্রাইভেটভাবে কত বড় মডেল দরকার?

বেশিরভাগ ব্যবসায়িক কাজ - শ্রেণিবদ্ধকরণ, সারাংশ, ড্রাফট, ডকুমেন্ট থেকে উত্তর - একটি 3B থেকে 8B মডেলেই ভালো চলে, যা একটি আধুনিক GPU-তে ধরে। ছোট মডেলে না কুলালেই কেবল বড় মডেলের দিকে যান। ছোট দিয়ে শুরু সস্তা, দ্রুত ও সহজে সিকিওর।

RAG কী এবং প্রাইভেট LLM-এ কেন গুরুত্বপূর্ণ?

Retrieval-augmented generation মডেলকে কেবল সাধারণ ট্রেনিং নয়, আপনার নিজের ডকুমেন্ট থেকে উত্তর দিতে দেয়। এটি আগে প্রাসঙ্গিক তথ্য খুঁজে তারপর উত্তর দেয় - তাই মডেল রি-ট্রেন ছাড়াই সঠিক, উৎস-ভিত্তিক উত্তর পান, আর ডেটা আপনার পরিবেশেই থাকে।

প্রাইভেট LLM কি ChatGPT-এর মতো ক্লাউড AI-এর সমান ভালো?

বেশিরভাগ ব্যবসায়িক কাজে একটি ভালো-বাছাই প্রাইভেট মডেল যথেষ্ট সক্ষম। সবচেয়ে বড় ক্লাউড মডেল এখনও কঠিনতম যুক্তিতে এগিয়ে, কিন্তু শ্রেণিবদ্ধকরণ বা নিজের ডকুমেন্ট থেকে উত্তরে তা বিশেষ গুরুত্ব রাখে না, আর ব্যবধান প্রতি বছর কমছে। গোপনীয়তা ও খরচ-নিয়ন্ত্রণ প্রায়ই সেই পার্থক্য ছাপিয়ে যায়।

অন-প্রিমিস LLM কীভাবে সিকিওর রাখব?

অনুমোদিত ব্যবহারকারীতে অ্যাক্সেস সীমাবদ্ধ রেখে প্রতিটি অনুরোধ লগ করুন; মডেল সার্ভার বিচ্ছিন্ন অভ্যন্তরীণ নেটওয়ার্কে রাখুন; রিট্রিভাল স্তর কী পড়বে তা স্কোপ করে যা উচিত নয় তা মাস্ক করুন; সার্ভার ও নির্ভরতা প্যাচ করুন; আর কনফিগ ও ইনডেক্স ব্যাকআপ রাখুন। মডেল ভেতরে এলে নিরাপত্তা আপনার দায়িত্ব।