Large Language Model

আর্কিটেকচার ও ওয়ার্কফ্লো
কাঁচা টেক্সট থেকে নিরাপদ উত্তর পর্যন্ত
🎬 ভিডিও

▶️ ভিডিওতে দেখো ও শেখো

৭টি ধাপ — বাংলায়, বাস্তব উদাহরণসহ (~৩ মিনিট)

→ Step 1

🧠 ML, DL ও NLP-এর ভিত্তি

আধুনিক ল্যাঙ্গুয়েজ টেকনোলজির মূল তাত্ত্বিক স্তম্ভ।

MACHINE LEARNING

হাতে লেখা নিয়মের বদলে ডেটা থেকে প্যাটার্ন শেখা অ্যালগরিদম।

DEEP LEARNING

বহুস্তরীয় নিউরাল নেটওয়ার্ক — জটিল তথ্যের গভীর বৈশিষ্ট্য শিখতে সক্ষম।

NATURAL LANGUAGE

মানুষের ভাষা বোঝা, ব্যাখ্যা করা ও তৈরি করার কৌশল।

→ Step 2

📄 ইনপুট ও ডকুমেন্ট লোডিং

অগোছালো ডেটা সোর্স প্রসেসিং পাইপলাইনে ঢোকানো।

UNSTRUCTURED DATA INGESTION

ডকুমেন্ট, PDF, ছবি ও কাঁচা টেক্সট — সবই পরের ধাপের জন্য পাইপলাইনে লোড হয়।

→ Step 3

🔤 টোকেনাইজার

শব্দ ও অক্ষরকে সংখ্যায় রূপান্তরের প্রথম ধাপ।

STEP A · TOKENIZATION

বাক্যকে ছোট ছোট সাব-ওয়ার্ড টোকেনে ভাঙা — প্রতিটা টোকেনের আলাদা নম্বর (ID) থাকে।

→ Step 4

🧭 এমবেডিং

টোকেনকে অর্থবহ সংখ্যার জগতে বসানো।

STEP B · DENSE EMBEDDINGS

টোকেন ID-কে এমন ভেক্টরে রূপান্তর করা হয় যা শব্দের অর্থ ও প্রসঙ্গের সম্পর্ক ধরে রাখে।

→ Step 5

⚙️ ট্রান্সফরমার ও সেলফ-অ্যাটেনশন

দূরের শব্দগুলোর মধ্যে সম্পর্ক জোড়া লাগানোর আর্কিটেকচারাল ইঞ্জিন।

SELF-ATTENTION MECHANISM

বাক্যের প্রতিটা শব্দ একসাথে বাকি সব শব্দের সাথে কতটা প্রাসঙ্গিক — সেটা ওজন করে।

PARALLEL PROCESSING

পুরো ইনপুট একসাথে প্রসেস করে বিশাল GPU ক্লাস্টারে ট্রেনিং সম্ভব করে।

→ Step 6

💾 কনটেক্সট উইন্ডো — সিস্টেম RAM

ইনফারেন্সের সময় স্বল্পমেয়াদি সক্রিয় মেমরি ব্যবস্থাপনা।

128k

টোকেন কনটেক্সট উইন্ডো — অস্থায়ী working RAM-এর মতো কাজ করে; প্রম্পট, retrieved ডকুমেন্ট ও কথোপকথনের ইতিহাস রিয়েল-টাইমে ধরে রাখে।

→ Step 7

🏋️ প্রশিক্ষণ (Training)

বিপুল টেক্সট ডেটায় মডেলকে বারবার চালিয়ে ওজন (weights) শেখানো।

PRE-TRAINING

ইন্টারনেট-স্কেল টেক্সটে মাসের পর মাস ট্রেনিং — ভাষার সাধারণ জ্ঞান তৈরি হয়।

FINE-TUNING

নির্দেশনা মানা ও সংলাপের ধরন শেখাতে ছোট, মানসম্মত ডেটায় বাড়তি প্রশিক্ষণ।

→ Step 8

📈 নেক্সট টোকেন প্রেডিকশন

ভাষার সাবলীলতার পেছনের মূল জেনারেটিভ কৌশল।

PROBABILITY DISTRIBUTION

পরের শব্দ হিসেবে পুরো vocabulary-তে প্রতিটা শব্দের সম্ভাবনার স্কোর হিসাব করা হয় — সবচেয়ে সম্ভাব্য টোকেনটাই বাছা হয়।

DECODING

একটা একটা করে টোকেন তৈরি হতে থাকে — এভাবেই উত্তর "লেখা" হয়।

→ Step 9

🛡️ সেফটি চেক ও অ্যালাইনমেন্ট

দায়িত্বশীল, নিরাপদ ও নীতিমালা-সম্মত AI আউটপুট নিশ্চিত করা।

INPUT GUARDRAILS

ব্যবহারকারীর প্রম্পটে ক্ষতিকর বা দূষিত উদ্দেশ্য আছে কিনা যাচাই।

RLHF ALIGNMENT

মানুষের ফিডব্যাক থেকে শেখা — সহায়ক ও নিরাপদ হওয়ার জন্য।

OUTPUT FILTERING

চূড়ান্ত উত্তরের আগেই বিষাক্ত বা সংবেদনশীল কনটেন্ট আটকে দেওয়া।