কেন বাংলা + ইংরেজি AI মডারেশন জরুরি (আর কেন জেনেরিক টুল ব্যর্থ হয়)

যেকোনো জনপ্রিয় বাংলাদেশি ব্র্যান্ডের পোস্টের নিচে কমেন্ট খুলুন, দেখবেন এমন একটি ভাষা যা কোনো পাঠ্যবইয়ে নেই: বাংলা হরফে বাংলা, ইংরেজি অক্ষরে লেখা বাংলা, পুরো ইংরেজি, আর তিনটিই একটি বাক্যের ভেতরে পাল্টে যাচ্ছে, সঙ্গে ছড়ানো ইমোজি। “vai eta original to? দাম koto?” — এটি একটিই কমেন্ট, আর একসঙ্গে তিন ভাষা। আপনার গ্রাহকরা আসলে এভাবেই লেখেন — আর ঠিক এখানেই বেশিরভাগ মডারেশন টুল নীরবে ভেঙে পড়ে। একটি বাংলাদেশি ব্র্যান্ডের জন্য বাংলা AI মডারেশন ঠিকভাবে করা কোনো বাড়তি সুবিধা নয়; এটিই কাজ-করা মডারেশন আর সারাদিন আপনার শ্রোতাকে ভুল বোঝা মডারেশনের মধ্যে পার্থক্য। আমি জানি, কারণ আমি নিজে একটি বানিয়েছি — একটি বাস্তব কোম্পানির Facebook উপস্থিতির জন্য প্রোডাকশন বাংলা + ইংরেজি মডারেশন সিস্টেম — আর এই লেখার প্রতিটি কঠিন শিক্ষা সেই বিল্ড থেকেই এসেছে।

১. বাংলাদেশি গ্রাহকরা আসলে কীভাবে কমেন্ট করেন

বাংলাদেশে বাস্তব কমেন্ট অন্তত চার রকমের হয়, প্রায়ই মিশ্রিত অবস্থায়:

• বাংলা হরফ: “এই প্রোডাক্টটা কি ভালো?”
• বাংলিশ (ইংরেজি অক্ষরে বাংলা): “vai eta koto te pawa jabe?”
• ইংরেজি: “Is this available in Dhaka?”
• মিশ্র, বাক্যের মাঝপথে: “product ta nice but delivery onek slow 😕”

কোনো একক ভাষা-সেটিং এটি ধরতে পারে না। গ্রাহক বাংলা বা ইংরেজি বেছে নিচ্ছেন না — যা স্বাভাবিকভাবে আসছে তা-ই ব্যবহার করছেন, চলতে চলতে পাল্টাচ্ছেন। যে সিস্টেম ধরে নেয় একটিমাত্র পরিষ্কার ভাষা থাকবে, সে ইতিমধ্যেই বেশিরভাগ সূত্র হারিয়ে ফেলছে।

আমি প্রতিদিন যে ধরনের কমেন্ট-স্ট্রিম মডারেট করি, সেখান থেকে তুলে আনা কিছু কমেন্ট-প্যাটার্ন, হালকাভাবে anonymize করা। এর প্রতিটিই একটি বাংলাদেশি কমেন্ট সেকশনে সম্পূর্ণ সাধারণ:

• “bhai stock e ase? COD hobe? ঢাকার বাইরে delivery koto din lagbe?” — বাংলিশ, ইংরেজি সংক্ষেপ, বাংলা হরফ, সব মিলিয়ে একটিই ক্রয়-প্রশ্ন।
• “Apnader page theke order dilam 7 din age, ekhono kono update nai. Very disappointing.” — একটি অভিযোগ, যা বাংলিশে শুরু হয়ে ইংরেজিতে শেষ হয়।
• “এটা fake product, সবাই সাবধান 🚨” — বাংলা হরফের ভেতরে ইংরেজি কীওয়ার্ড মোড়ানো একটি সুনাম-আক্রমণ।

বাক্যের মাঝপথে এই ভাষা-বদলকে ভাষাবিদরা বলেন code-switching, আর বাংলাদেশে এটি কোনো ব্যতিক্রম নয় — এটিই গোটা কমেন্ট সেকশনের ডিফল্ট ভঙ্গি। যিনি টাইপ করছেন, তিনি নিজেও খেয়াল করেন না যে তিনি এটি করছেন।

বাস্তব পরিণতি: কেউ যখন আমাকে বলেন তাঁর মডারেশন টুল “Bengali সাপোর্ট করে”, আমার প্রথম প্রশ্ন সবসময়ই — এই চারটি মোডের কোনটি সাপোর্ট করে? প্রায় প্রতিবারই সৎ উত্তরটি হয় একটি — পরিচ্ছন্ন বাংলা হরফ — অথচ ফোনে দ্রুত টাইপ করার সময় মানুষ ঠিক এই মোডটিই সবচেয়ে কম ব্যবহার করে।

২. কেন কীওয়ার্ড ফিল্টার আর ইংরেজি-কেন্দ্রিক AI এখানে ব্যর্থ হয়

বাংলাদেশি কমেন্টে দুটি প্রচলিত পদ্ধতি ভেঙে পড়ে। প্রথমটি কীওয়ার্ড ব্লকলিস্ট — লুকিয়ে দেওয়ার জন্য “খারাপ” শব্দের একটি তালিকা। এটি বিভিন্ন হরফে বানানের হেরফের সামলাতে পারে না (“scam”, “scaam”, “স্ক্যাম”), উদ্দেশ্য সম্পর্কে এর কোনো ধারণা নেই, আর এটি নিরীহ শব্দকে ফ্ল্যাগ করে অথচ আসল গালিগালাজ মিস করে। দ্বিতীয়টি ইংরেজি-কেন্দ্রিক AI — এমন একটি মডেল যা সত্যিই টেক্সট বোঝে, কিন্তু কেবল ইংরেজিতে। একে “dam onek beshi” দিন, সে দামের অভিযোগ নয়, নিছক অর্থহীন শব্দ দেখে। দুটিই আপনাকে এমন একটি সিস্টেম দেয় যা আপনার নিজের বাজারেই আত্মবিশ্বাসের সঙ্গে ভুল করে।

ট্রান্সলিটারেশনের কোনো নির্দিষ্ট বানান নেই — আর সেটিই কীওয়ার্ড তালিকাকে মেরে ফেলে

এই খুঁটিনাটিটি বেশিরভাগ ভেন্ডর কখনও উল্লেখ করে না। রোমানাইজড বাংলা কোনো নিয়মওয়ালা লিখনপদ্ধতি নয়; এটি লক্ষ লক্ষ মানুষের ইংরেজি কিবোর্ডে ধ্বনি নিয়ে নিজের মতো কারিকুরি। একই শব্দ প্রতিটি বুড়ো আঙুল থেকে আলাদাভাবে বেরোয়।

বাংলাদেশের অর্ধেক কমেন্ট যে শব্দ দিয়ে শুরু হয়, “ভাই” অর্থের সেই প্রতিদিনের শব্দটিই ধরুন। এক সপ্তাহের বাস্তব কমেন্টে আমি যা সংগ্রহ করেছি: bhai, vai, bhy, vhai, bai, bhaiya, vaiya, bhaia, vaia, bhi। দশটি বানান, একটিই শব্দ — আর এটি একটি ভদ্র শব্দ, যা কেউ লুকানোর চেষ্টাও করছে না।

এবার একই অঙ্ক গালিগালাজে প্রয়োগ করুন। একটি গালি বা একটি scam-অভিযোগের ঠিক ততগুলোই বানান আছে, পার্থক্য শুধু — লেখক প্রায়ই ইচ্ছা করে বানান বিকৃত করেন ফিল্টার এড়াতে। স্বাভাবিক বানান-বিশৃঙ্খলার সঙ্গে ইচ্ছাকৃত বিকৃতি যোগ করুন — অনুসন্ধানের পরিসর বিস্ফোরিত হয়। একটি ব্লকলিস্টের প্রতিটি শব্দের জন্য দরকার হতো হাজার হাজার এন্ট্রি, চিরকাল আপডেট করতে হতো, তবু সে হারত।

রোমানাইজড slang পরিস্থিতি আরও খারাপ করে। সত্যিকারের কুৎসিত অনেক বাংলিশ গালিগালাজে এমন শব্দ ব্যবহার হয়, যা একটি ইংরেজি টুলের কাছে নিরীহ ল্যাটিন-অক্ষরের স্ট্রিং মনে হয়। এর কোনো অভিধান নেই, কারণ এটি প্রতি মাসে বদলায়। একটি জীবন্ত ভাষাকে আপনি তালিকাভুক্ত করতে পারবেন না — কীওয়ার্ড পদ্ধতির পুরো ব্যর্থতা এই এক বাক্যেই।

৩. কেন বড় প্ল্যাটফর্মগুলোও বাংলা নিয়ে হিমশিম খায়

সংক্ষিপ্ত উত্তর: বাংলা হলো NLP গবেষকদের ভাষায় একটি low-resource ভাষা। পৃথিবীর মোটামুটি ষষ্ঠ সর্বাধিক কথিত ভাষা হয়েও, ইংরেজি যে লেবেলযুক্ত ট্রেনিং ডেটা, benchmark আর গবেষণা-মনোযোগ পায়, বাংলা পায় তার নগণ্য ভগ্নাংশ — আর স্বয়ংক্রিয় মডারেশন সিস্টেম ঠিক ততটাই ভালো, যতটা ভালো ডেটায় সেগুলো প্রশিক্ষিত।

Meta তাদের Community Standards বাংলায় প্রকাশ করে এবং বাংলা classifier-ও চালায়, কিন্তু বছরের পর বছর অভ্যন্তরীণ ও স্বাধীন রিপোর্টিং বারবার দেখিয়েছে যে দক্ষিণ এশীয় ভাষাগুলোয় স্বয়ংক্রিয় এনফোর্সমেন্ট ইংরেজির অনেক পেছনে। এটি কোনো একটি কোম্পানির সমালোচনা নয়; একটি classifier যখন এমন ভাষার মুখোমুখি হয় যা সে প্রশিক্ষণে প্রায় দেখেইনি, তখন এমনটিই ঘটে।

বাংলিশের অবস্থা আরও খারাপ। বাংলা মডেলের কাছে এটি বাংলা নয়, ইংরেজি মডেলের কাছে ইংরেজি নয় — এটি দুইয়ের মাঝের ফাঁকে পড়ে যায়। যেকোনো একটি ভাষায় প্রশিক্ষিত প্রথাগত classifier রোমানাইজড বাংলাকে লাইনের নয়েজ হিসেবে দেখে।

একটি ব্র্যান্ডের জন্য শিক্ষাটি হলো: এই সমস্যা আপনি প্ল্যাটফর্মের হাতে ছেড়ে দিতে পারবেন না। Facebook-এর নিজস্ব সিস্টেমই যদি পাবলিক পেজে বাংলা গালিগালাজ মিস করে, তাহলে আপনার পোস্টের নিচের কমেন্টগুলো আপনারই দায়িত্ব — এই বিষয়টি আমি বিস্তারিত করেছি AI দিয়ে Facebook কমেন্ট মডারেশনের গাইডে।

৪. যা সত্যিই কাজ করে: একটি সিস্টেম বানিয়ে আমি যা শিখেছি

বাংলা ও ইংরেজিতে সত্যিই সক্ষম একটি আধুনিক AI মডেল ভিন্ন কিছু করে: সে শব্দের উপরিতল নয়, অর্থ পড়ে। কমেন্টটি এক ভাষায় থাকতে হবে কিংবা নির্দিষ্টভাবে বানান হতে হবে — এমন কোনো দরকার তার নেই। সে বোঝে যে “dam koto”, “দাম কত”, আর “what’s the price” একই প্রশ্ন, আর বাংলা ও ইংরেজির মধ্যে পাল্টে যাওয়া একটি বাক্যও একটিই সুসংহত ভাবনা। ওই বোধশক্তিই পুরো মূল্য — এটিই সিস্টেমকে দেয় ক্রয়-সংকেত, অভিযোগ আর স্প্যামকে আলাদা করার সামর্থ্য, সঠিকভাবে, আপনার গ্রাহকরা সত্যিই যে ভাষায় লেখেন সেই ভাষায়।

আজ আমি প্রোডাকশনে যে মডারেশন পাইপলাইন চালাই, সেটি বানানোর সময় তিনটি সিদ্ধান্তই একটি ডেমো আর একটি ব্যবসার-ভরসা-করার-মতো সিস্টেমের মধ্যে পার্থক্য গড়ে দিয়েছিল:

প্রথমত, ক্লাসিক classifier নয়, LLM-শ্রেণির মডেল ব্যবহার করুন। ওয়েব-স্কেল বহুভাষিক টেক্সটে প্রশিক্ষিত large language model-গুলো বিপুল পরিমাণ স্বাভাবিক code-switching দেখেছে, রোমানাইজড বাংলাসহ। আমার পরীক্ষায় এগুলো “vai eta ki original?” ঠিক বাংলা-হরফ সংস্করণের মতোই অনায়াসে পড়েছে — কারণ এরা তালিকা থেকে বানান নয়, হরফ-নির্বিশেষে অর্থ শিখেছে।

দ্বিতীয়ত, নিজের বাস্তব কমেন্টে পরীক্ষা করুন, কখনও ভেন্ডরের নমুনায় নয়। লাইভ যাওয়ার আগে আমি যে পেজগুলো মডারেট করতে যাচ্ছিলাম সেখান থেকে শত শত আসল কমেন্ট তুলেছি — প্রশংসা, গালিগালাজ, ক্রয়-প্রশ্ন, স্প্যাম, শ্লেষ — আর প্রতিটি পাইপলাইনে চালিয়ে AI-এর রায়কে একজন দ্বিভাষিক মানুষের রায়ের সঙ্গে মিলিয়েছি। কোনো ডেমো নয়, ওই কর্পাসই আমাকে বলেছে মডেল কোথায় দুর্বল।

তৃতীয়ত, ভাষা-মোড অনুযায়ী confidence threshold টিউন করুন। আমি দেখেছি মডেল পরিচ্ছন্ন ইংরেজি ও বাংলা হরফে যতটা নিশ্চিত, ভারী বাংলিশে ততটা নয়, তাই রোমানাইজড টেক্সটের জন্য স্বয়ংক্রিয়-অ্যাকশনের মানদণ্ড উঁচুতে বেঁধেছি: উচ্চ-confidence রায় স্বয়ংক্রিয়ভাবে কার্যকর হয়, নিম্ন-confidence বাংলিশ যায় মানুষের রিভিউয়ে। ওই একটি নিয়মই ভুল-পড়ার ওপর সিস্টেমের অ্যাকশন নেওয়ার ঝুঁকির বেশিরভাগ সরিয়ে দিয়েছে।

৫. একই শব্দ, ভিন্ন অর্থ

ভাষা প্রসঙ্গ-নির্ভর, আর প্রসঙ্গেই অগভীর টুল ব্র্যান্ডকে বিব্রত করে। কয়েকটি উদাহরণ যা কীওয়ার্ড মিলিয়ে দেখাকে হোঁচট খাওয়ায়, কিন্তু উদ্দেশ্য-বোঝা মডেলের কাছে স্পষ্ট:

• “এই ওষুধ খেয়ে মাথা ব্যথা” — একটি সম্ভাব্য পার্শ্বপ্রতিক্রিয়ার রিপোর্ট, আবহাওয়া নিয়ে মন্তব্য নয়।
• “price ta mathai byatha dhorai” — “দামটা মাথাব্যথা ধরায়”, খরচ নিয়ে অভিযোগ, স্বাস্থ্য নিয়ে নয়।
• “darun product 🔥” বনাম “darun, abar emn product 🙄” — প্রশংসা বনাম শ্লেষ, কেবল সুরেই আলাদা।

একই শব্দ, বিপরীত হ্যান্ডলিং। কেবল যে সিস্টেম উদ্দেশ্য পড়ে সে-ই এগুলো ঠিকভাবে ধরে।

৬. শ্লেষ, সুর ও সাংস্কৃতিক সূক্ষ্মতা

বাংলাদেশি অনলাইন রসিকতা শ্লেষ আর কম-বলে-বেশি-বোঝানোর ওপর ভীষণভাবে নির্ভর করে, আর অনেক অর্থ চেপে থাকে এমন সাংস্কৃতিক প্রসঙ্গে যা একটি বিদেশি টুলের একদমই নেই। “khub valo service, 5 din e reply dilen 👏” কোনো প্রশংসা নয় — এটি প্রশংসার ছদ্মবেশে একটি অভিযোগ। প্রসঙ্গে ভাষা বুঝতে শেখানো একটি মডেল ওই বাক্যের ধারটা ধরতে পারে; একটি ব্লকলিস্ট শুধু ভদ্র শব্দ দেখে সেটিকে ছেড়ে দেয়। একটি ব্র্যান্ডের জন্য পার্থক্যটা হলো — আপনি একজন বিরক্ত গ্রাহককে ধরলেন, নাকি তাঁকে উপেক্ষা করলেন।

৭. আমার বিল্ডের কঠিন কেসগুলো

সহজ কমেন্টে প্রতিটি সিস্টেমকেই চালাক দেখায়। এই তিনটি ক্যাটাগরিই আমার প্রকৃত ইঞ্জিনিয়ারিং সময় খেয়েছে, আর আপনি যে টুলই বাছুন, এগুলো আপনারও একই সময় খাবে।

বাংলিশে শ্লেষ। শ্লেষ যেকোনো ভাষাতেই কঠিন; নিজের-মতো-বানানো ধ্বনিভিত্তিক বানানে শ্লেষ নির্মম। “wow, ki fast delivery, matro 2 shoptaho 👏” — অগভীর যেকোনো কিছুর কাছে এটি প্রশংসা। আমার সমাধান ছিল আংশিক prompt ডিজাইন — মডেলকে স্পষ্ট করে বলা যে এই বাজারে করতালি-ইমোজি আর দীর্ঘ সময়সীমা একসঙ্গে থাকলে সেটি সাধারণত অভিযোগ — আর আংশিক নিম্ন-confidence শ্লেষ-প্রার্থীদের একজন মানুষের কাছে পাঠানো।

প্রোডাক্ট-নামের ভুল বানান। আমি যে কোম্পানির জন্য বানিয়েছি, তাদের প্রোডাক্টের নাম গ্রাহকরা দুই হরফে ডজনখানেক ভঙ্গিতে বানান করেন। কমেন্টটি যখন পার্শ্বপ্রতিক্রিয়ার রিপোর্ট হতে পারে, তখন এটি ভীষণ গুরুত্বপূর্ণ: “X khaoar por matha ghurtese” — X-এর বানান ভুল হলেও এটি ধরা পড়তেই হবে। শেষে আমি মডেলকে প্রসঙ্গ হিসেবে প্রোডাক্ট ক্যাটালগটাই দিয়েছি, যাতে সে নির্দিষ্ট স্ট্রিংয়ের ওপর নির্ভর না করে ধ্বনি আর সাদৃশ্য দিয়ে বিকৃত নাম মেলাতে পারে।

আঞ্চলিক উপভাষার শব্দ। মান বাংলা এক জিনিস; কমেন্ট আসে চাটগাঁইয়া, সিলেটি আর বরিশালী ঢঙে, এমন উপভাষার শব্দ নিয়ে যা গোটা বাক্যের অর্থ বহন করে। বড় বহুভাষিক মডেল এগুলো আশ্চর্যরকম ভালো সামলায় — আমি নিজে যে-কোনো আঞ্চলিক অভিধান বানাতে পারতাম তার চেয়ে লক্ষণীয়ভাবে ভালো — কিন্তু ঠিক এই ধরনের কেসই আপনার টেস্ট সেটে রাখতেই হবে, কারণ কোনো ভেন্ডরের ডেমোতে এগুলো কোনোদিন থাকবে না।

৮. ভাষা ভুল বোঝার মূল্য

মডারেশন যখন আপনার ভাষা ভুল পড়ে, ব্যর্থতা দুই দিকেই ব্যয়বহুল হয়। এটি প্রকৃত প্রশ্নকে স্প্যাম ভেবে লুকিয়ে দেয়, ফলে আসল গ্রাহকরা নীরব হয়ে যান আর ভাবেন আপনি তাঁদের উপেক্ষা করছেন। আবার এটি সত্যিকারের গালিগালাজ — কিংবা একটি ফার্মা ব্র্যান্ডের ক্ষেত্রে বাংলিশে চাপা পড়ে থাকা একটি সত্যিকারের প্রতিকূল ওষুধ প্রতিক্রিয়ার রিপোর্ট — মিস করে, কারণ সে শব্দগুলো কখনও বোঝেইনি। বাজে ভাষা-হ্যান্ডলিং শুধু এলোমেলো দেখায় না; এটি নীরবে আপনার গ্রাহক কেড়ে নেয় এবং নিয়ন্ত্রিত খাতে আপনাকে ঝুঁকিতে ফেলে।

তিনটি ব্যর্থতার ধরনে সংখ্যা বসান, ঝুঁকিটা মূর্ত হয়ে ওঠে:

• মিস হওয়া গালিগালাজ = ব্র্যান্ডের ক্ষতি। আপনার বিজ্ঞাপনের নিচে ৪৮ ঘণ্টা বসে থাকা একটি বাংলিশ scam-অভিযোগ কোনো মানুষ দেখার আগেই হাজার হাজার সম্ভাব্য ক্রেতা পড়ে ফেলেন। যে টুল সেটি মিস করেছে, সে আপনার কিছুই বাঁচায়নি।
• অতিরিক্ত ব্লকিং = চুপ করিয়ে দেওয়া গ্রাহক। যে ফিল্টার নিরীহ বাংলিশকে “অচেনা টেক্সট” ভেবে লুকিয়ে দেয়, সে প্রকাশ্যে আপনার নিজের গ্রাহকদের প্রশ্নই মুছে দিচ্ছে। মানুষ খেয়াল করে, আর বলেও — সেই একই পেজে।
• মিস হওয়া ক্রয়-প্রশ্ন = হারানো বিক্রি। “dam koto? kothay pabo?” মানে টাকা হাতে দাঁড়িয়ে থাকা একজন গ্রাহক। আপনার সিস্টেম যদি একে স্প্যাম থেকে আলাদা করতে না পারে, কেউ উত্তর দেয় না, আর বিক্রিটা হেঁটে চলে যায় সেই প্রতিযোগীর পেজে, যেখানে এক ঘণ্টায় উত্তর মেলে।

অর্থনীতিটা উল্টো দিকেও কাটে: চব্বিশ ঘণ্টা প্রতিটি কমেন্ট পড়ার মতো বড় একটি দ্বিভাষিক মানব-টিমের খরচ, সব কমেন্ট পড়ে কঠিনগুলো escalate করা একটি AI পাইপলাইনের চেয়ে অনেক বেশি। সেই তুলনাটি আমি আলাদা করে ভেঙে দেখিয়েছি AI মডারেশনের প্রকৃত খরচ কত লেখায়।

৯. Low-resource ভাষার জন্য যেকোনো টুল যেভাবে যাচাই করবেন

ডেটাশিটে ভরসা করবেন না — এই পরীক্ষাটি চালান। লাগে এক বিকেল, ব্যবহার হয় আপনার নিজের ডেটা, আর এক টাকা খরচের আগেই এটি বেশিরভাগ টুলকে বাদ দিয়ে দেবে। নিজের সিস্টেমকে লাইভ পেজে অ্যাকশন নিতে দেওয়ার আগে আমি ঠিক এই acceptance test-টিই চালিয়েছিলাম।

1. নিজের পেজ থেকে ২০০টি বাস্তব কমেন্ট সংগ্রহ করুন। ইচ্ছা করেই প্রতিটি মোড রাখুন: বাংলা হরফ, বাংলিশ, ইংরেজি, মিশ্র — সঙ্গে শ্লেষ, slang আর ভুল বানান। এই বৈচিত্র্য বাদ দিলে গোটা পরীক্ষাটাই মূল্যহীন।
2. আগে নিজে লেবেল করুন। একজন দ্বিভাষিক মানুষকে দিয়ে প্রতিটি চিহ্নিত করান: গালিগালাজ, অভিযোগ, ক্রয়-প্রশ্ন, স্প্যাম, প্রশংসা, নাকি পার্শ্বপ্রতিক্রিয়ার রিপোর্ট। এটিই আপনার ground truth।
3. ২০০টিই প্রার্থী টুলে চালান আর প্রতিটির রায় ঠিক সেভাবে রেকর্ড করুন, যেভাবে সে প্রোডাকশনে অ্যাকশন নিত।
4. সামগ্রিকভাবে নয়, ভাষা-মোড ধরে স্কোর করুন। বাংলা হরফ, বাংলিশ, ইংরেজি ও মিশ্র — প্রতিটির জন্য আলাদাভাবে catch rate ও false-positive rate হিসাব করুন। চোখধাঁধানো একটি সামগ্রিক সংখ্যা সাধারণত শূন্যের কাছাকাছি একটি বাংলিশ catch rate লুকিয়ে রাখে।
5. আগে থেকে ঠিক করা threshold দিয়ে সিদ্ধান্ত নিন। আমারগুলো: গালিগালাজে মোটামুটি ৯০%-এর নিচে catch, কিংবা বৈধ কমেন্টে ৫%-এর বেশি false positive — যেকোনো ভাষা-মোডে — হলেই বাতিল। যে টুল একটি মোডে ফেল করে, সে আপনার বাজারেই ফেল করে।

১০. বৃহত্তর শিক্ষা: এটি একটি বৈশ্বিক সমস্যা

উপরের সবকিছু বাংলাদেশ ছাড়িয়ে বহুদূর প্রযোজ্য, কারণ স্থানীয় হরফ আর ইংরেজি কিবোর্ডের মাঝের ফাঁকে বাস করা ডজনখানেক বড় ভাষার বাংলা কেবল একটি।

ভারত চলে Hinglish-এ — ল্যাটিন অক্ষরে হিন্দি, বাক্যের মাঝপথে ইংরেজির সঙ্গে পাল্টাপাল্টি, একই বানান-নৈরাজ্যসহ। আরব বিশ্ব টাইপ করে Arabizi — ল্যাটিন অক্ষর আর সংখ্যায় লেখা আরবি (ح-এর জন্য 7, ع-এর জন্য 3), যা আরবি-হরফের ফিল্টারকে সম্পূর্ণ পরাস্ত করে। ফিলিপাইন Tagalog আর ইংরেজি মিশিয়ে Taglish-কেই বানিয়েছে অনলাইনের ডিফল্ট ভঙ্গি।

এই প্রতিটি বাজারে গল্পটি অভিন্ন: ট্রান্সলিটারেশনে কীওয়ার্ড টুল ব্যর্থ হয়, প্ল্যাটফর্মের এনফোর্সমেন্ট ইংরেজির পেছনে পড়ে থাকে, আর কেবল হরফ-নির্বিশেষে উদ্দেশ্য পড়তে পারা মডেলই টিকে থাকে। আপনি যদি কোনো অ-ইংরেজি বাজারে কাজ করেন, এই লেখার ভাষার নামগুলো পাল্টে নিন — প্লেবুকটি, বিশেষ করে ২০০-কমেন্টের পরীক্ষাটি, অপরিবর্তিতভাবেই খাটে।

এ কারণেই আমি বহুভাষিক মডারেশনকে বলি নীতিগতভাবে-সমাধান-হওয়া, বাস্তবে-অসমাধিত একটি সমস্যা। মডেলের সক্ষমতা আজই আছে; বেশিরভাগ ব্র্যান্ডের যা নেই তা হলো এমন একজন, যে ভরসা করার আগে সেটিকে তাদের নিজেদের এলোমেলো, বাস্তব কমেন্ট-স্ট্রিমের বিপরীতে পরীক্ষা করে।

সাধারণ জিজ্ঞাসা (FAQ)

বাংলিশ কী এবং কেন এটি মডারেট করা কঠিন?

বাংলিশ হলো ল্যাটিন অক্ষরে ধ্বনি অনুযায়ী লেখা বাংলা — “দাম কত?” এর বদলে “dam koto?”। এটি মডারেট করা কঠিন কারণ এর কোনো মানসম্মত বানান নেই: প্রত্যেক লেখক নিজের মতো করে লেখেন, ফলে একই শব্দ দশ বা তারও বেশি রূপে হাজির হয়। মানসম্মত বাংলা বা ইংরেজির জন্য বানানো টুল একে নিছক অর্থহীন শব্দ হিসেবে দেখে।

বাংলা ও বাংলিশ কমেন্টে কি কীওয়ার্ড ফিল্টার কাজ করে?

না। কীওয়ার্ড ফিল্টারের দরকার নির্দিষ্ট বানান, আর ট্রান্সলিটারেট করা বাংলার তা নেই — স্বাভাবিক হেরফেরের সঙ্গে ইচ্ছাকৃত বানান-বিকৃতি যোগ হলে কোনো ব্লকলিস্ট কখনোই সব গালিগালাজ তালিকাভুক্ত করতে পারে না। ফিল্টার উদ্দেশ্য না বুঝে শুধু শব্দ পড়ে, ফলে নিরীহ কমেন্ট লুকিয়ে ফেলে আর শ্লেষ ও ছদ্মবেশী আক্রমণ মিস করে।

AI কি সত্যিই ট্রান্সলিটারেট করা বাংলা বুঝতে পারে?

আধুনিক LLM-শ্রেণির মডেল পারে — এটি আমার সরাসরি প্রোডাকশন অভিজ্ঞতা। এগুলো ওয়েব-স্কেল বহুভাষিক টেক্সটে প্রশিক্ষিত, যাতে বিপুল পরিমাণ স্বাভাবিক code-switching আছে, তাই এরা “vai eta ki original?” বানান ধরে নয়, অর্থ ধরে পড়ে। পুরোনো এক-ভাষার ক্লাসিফায়ার তা পারে না — ভেন্ডরের চেয়ে মডেলের শ্রেণিই বেশি গুরুত্বপূর্ণ।

কেন বড় প্ল্যাটফর্মগুলোর নিজস্ব টুলও বাংলা গালিগালাজ মিস করে?

বাংলা একটি low-resource ভাষা: কয়েক কোটি মানুষের ভাষা হয়েও ইংরেজি যে পরিমাণ লেবেলযুক্ত ট্রেনিং ডেটা ও গবেষণা-বিনিয়োগ পায়, বাংলা পায় তার সামান্য ভগ্নাংশ। স্বয়ংক্রিয় এনফোর্সমেন্টের মান ট্রেনিং ডেটাকেই অনুসরণ করে, তাই প্ল্যাটফর্মের সিস্টেম ইংরেজি পারফরম্যান্সের অনেক পেছনে থাকে — আর বাংলিশ পড়ে যায় এমন এক ফাঁকে, যা তাদের বাংলা বা ইংরেজি কোনো মডেলই কাভার করে না।

আমার ভাষার জন্য মডারেশন টুল কীভাবে পরীক্ষা করব?

নিজের পেজ থেকে প্রতিটি ভাষা-মোড কাভার করে প্রায় ২০০টি বাস্তব কমেন্ট সংগ্রহ করুন, একজন দ্বিভাষিক রিভিউয়ার দিয়ে লেবেল করুন, টুলের ভেতর দিয়ে চালান, আর প্রতিটি ভাষা-মোডে আলাদাভাবে catch rate ও false positive স্কোর করুন। সামগ্রিক সংখ্যা যত ভালোই দেখাক, যে টুল কোনো একটি মোডে বাজেভাবে ব্যর্থ, সেটি বাতিল করুন।

বাংলা ছাড়া অন্য ভাষাতেও কি এটি প্রযোজ্য?

হ্যাঁ — একই ব্যর্থতার ধরন আঘাত করে ভারতের Hinglish-এ, আরব বিশ্বজুড়ে Arabizi-তে, ফিলিপাইনের Taglish-এ, এবং এমন প্রতিটি বাজারে যেখানে স্থানীয় ভাষা ইংরেজি কিবোর্ডে টাইপ করা হয়। মূল্যায়ন পদ্ধতি ও LLM-ভিত্তিক পদ্ধতি অপরিবর্তিতভাবেই প্রযোজ্য; শুধু পরীক্ষার কমেন্টগুলো আলাদা।

শেষ কথা

আপনার গ্রাহকরা একসঙ্গে বাংলা, বাংলিশ ও ইংরেজিতে লেখেন, আর প্রত্যাশা করেন যে তাঁদের বোঝা হবে। কীওয়ার্ড তালিকা বা ইংরেজি-কেন্দ্রিক AI-এর ওপর গড়া মডারেশন তা পারে না — এটি উদ্দেশ্য ভুল পড়ে, ভুল জিনিস লুকায়, আর যা গুরুত্বপূর্ণ তা মিস করে। সত্যিকারের দ্বিভাষিক AI ভাষা ও প্রসঙ্গ জুড়ে অর্থ পড়ে, আর একটি বাংলাদেশি কমেন্ট সেকশনে এটিই একমাত্র জিনিস যা কাজ করে। একটি স্থানীয় ব্র্যান্ডের জন্য সেই সামর্থ্য তুলনা করার কোনো ফিচার নয় — এটিই পুরো ব্যাপার। এটি আপনার নিজের কমেন্ট কীভাবে পড়ে তা দেখুন AI সোশ্যাল মিডিয়া মডারেশনের সম্পূর্ণ গাইডে।

আর আপনার নিজের কমেন্ট-স্ট্রিমে যদি আরেক জোড়া চোখ চান — আমি এটি প্রোডাকশনে বানিয়েছি ও চালিয়েছি, এই বাজারে, এই ভাষাগুলোতেই — যোগাযোগ করুন, আপনার পেজে কী কাজ করবে আর কী করবে না, আমি সৎভাবে বলে দেব।