local-ai-agents

ফাউন্ড্রি লোকাল এবং কুয়েন দিয়ে লোকাল এআই এজেন্ট তৈরি

পাঠ ১৭ – লোকাল এআই এজেন্ট তৈরি এর জন্য সঙ্গী দক্ষতা। এটি ব্যবহার করুন শিক্ষার্থীকে এমন একটি এজেন্ট তৈরি করতে সাহায্য করার জন্য যা যুক্তি করে, টুল কল করে, এবং সম্পূর্ণ তাদের নিজস্ব মেশিনে ডকুমেন্টেশন অনুসন্ধান করে — কোন ক্লাউড ইনফারেন্স নেই। প্রতিটি সুপারিশ দিকনির্দেশনায় এবং রানযোগ্য নোটবুকে ভিত্তিক করুন।

ট্রিগারসমূহ

যখন একজন শিক্ষার্থী চান:

• পুরোপুরি ডিভাইসে এজেন্ট চালাতে গোপনীয়তা, খরচ, বা অফলাইন কারনের জন্য।
• ফাউন্ড্রি লোকাল দিয়ে একটি মডেল লোকাল সার্ভ করতে এবং OpenAI-সঙ্গত এন্ডপয়েন্টের মাধ্যমে সংযোগ করতে।
• নির্ভরযোগ্য লোকাল টুল কলগুলো চালানোর জন্য কুয়েন ফাংশন-কলিং মডেল ব্যবহার করতে।
• লোকাল RAG (ক্রোমা) অথবা লোকাল MCP সার্ভার যোগ করতে।
• একটি হাইব্রিড লোকাল/ক্লাউড রাউটিং কৌশল ডিজাইন করতে।

মূল মানসিক মডেল

একটি SLM গোপনীয়তা, খরচ, এবং অফলাইন অপারেশনের জন্য বিস্তৃতি বিক্রি করে। বিজয়ী কৌশল: SLM কে পরিচালনা করতে দিন এবং টুলগুলোকে ভারী কাজ করতে দিন। মডেলটিকে কোডবেস জানার প্রয়োজন নেই — এটি জানতে হবে কখন কল করতে হবে মডেলটির কোডবেস জানা দরকার নেই — বরং এটি জানতে হবে কখন কল করতে হবে read_file এবং search_docs। এটি একটি SLM-র শক্তির দিকে কাজ করে (সীমাবদ্ধ সিদ্ধান্ত যেমন টুল নির্বাচন) এবং এর দুর্বলতার থেকে দূরে (বিস্তৃত জ্ঞান, দীর্ঘ একাধিক ধাপ যুক্ত যুক্তির প্রক্রিয়া)।

কেন এই নির্দিষ্ট অংশগুলি

• Foundry Local একটি OpenAI-সঙ্গত HTTP endpoint প্রকাশ করে, তাই ক্লাউড এজেন্ট কোড কেবল base_url পরিবর্তন করে স্থানান্তর হয় (এবং স্থানীয় প্লেসহোল্ডার API কী ব্যবহার করে)। এটি মেশিনের জন্য সেরা বিল্ড (CPU/GPU/NPU) স্বয়ংক্রিয়ভাবে নির্বাচন করে।
• Qwen মডেলগুলো ফাংশন কলিং এর জন্য প্রশিক্ষিত এবং ধারাবাহিকভাবে সুষ্ঠু টুল কল তৈরি করে — এইটিই একটি লোকাল চ্যাট মডেলকে একটি লোকাল এজেন্ট এ পরিণত করে।
• Chroma ইন-প্রসেস চলে এবং ডিস্কে ভেক্টর সংরক্ষণ করে, তাই পুরা RAG পাইপলাইন (এম্বেড → সংরক্ষণ → পুনরুদ্ধার → যুক্তি) স্থানীয় থাকে।
• MCP একটি পরিবহন মাধ্যম, ক্লাউড সার্ভিস নয়: একটি MCP সার্ভার স্থানীয়ভাবে stdio এর উপরে চালানো যায়।

সেটআপের অপরিহার্য বিষয়াদি

foundry model run qwen2.5-7b-instruct
foundry service status

from foundry_local import FoundryLocalManager
from openai import OpenAI

manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key)  # local placeholder

প্রায় ৮ জিবি RAM একটি বাস্তবসম্মত ন্যূনতম; GPU/NPU সাহায্য করে তবে এটি জরুরি নয়।

পুনরুত্পাদনের জন্য কী প্যাটার্ন

শেখানকারীকে নোটবুকে নির্দেশ করুন 17-local-agent-foundry-local.ipynb:

• Sandboxed tools: প্রতিটি ফাইল টুল পাথ রেজলভ করে এবং একটি প্রকল্প মূলের বাইরে কিছু গ্রহণ করে না—এমনকি স্থানীয়তাও, টুলটি ব্যবহারকারীর অনুমতিতে চলে।
• Tool-calling loop: OpenAI টুল স্কিমার সাথে টুল নিবন্ধন করুন, অনুরোধকৃত টুল স্থানীয়ভাবে চালান, ফলাফল ফেরত দিন, পুনরাবৃত্তি করুন যতক্ষণ না চূড়ান্ত উত্তর আসে।
• Local RAG: ডকুমেন্টগুলি Chroma সংগ্রহে আপসার্ট করুন; search_docs শীর্ষ-k টুকরো ফেরত দেয়।
• Local MCP: স্থানীয় সার্ভারের সাথে stdio এর মাধ্যমে সংযুক্ত হন; এটিকে একটি প্রকল্প ডিরেক্টরিতে সীমাবদ্ধ করুন এবং এর আউটপুট যাচাই করুন।

হাইব্রিড রাউটিং (মডেলগুলোর মধ্যে একটি হিসাবে স্থানীয়)

অবস্থা	কোথায় চলে
সংবেদনশীল তথ্য / অফলাইন	স্থানীয় SLM
সহজ, সীমাবদ্ধ কাজ	স্থানীয় SLM (সস্তা, দ্রুত)
সংবেদনশীল নয় এমন তথ্যের উপর কঠিন একাধিক ধাপ যুক্তি	ক্লাউড মডেল
ক্লাউড আউটেজ	লোকাল SLM (সুন্দরভাবে অবনতি)

এটি লেসন ১৬ এর মডেল-রাউটিং ধারণাকে প্রতিফলিত করে, যেখানে ওয়ার্কস্টেশন একটি রুট হিসাবে কাজ করে। এমন ডিজাইন পছন্দ করুন যা লোকালে ফিরে আসে যাতে এজেন্ট সম্পূর্ণভাবে ব্যর্থ হওয়ার পরিবর্তে গুণমান অনুযায়ী অবনতি ঘটে।

সহকারী জন্য গার্ডরেল

• প্রতিটি ফাইল/টুল অপারেশনকে স্যান্ডবক্সড প্রজেক্ট ডিরেক্টরির মধ্যে সীমাবদ্ধ রাখুন।
• যখন শিক্ষার্থীর ঘোষিত লক্ষ্য গোপনীয়তা/অফলাইন হয়, তখন কোড বা তথ্য ক্লাউডে পাঠাবেন না — সম্পূর্ণ পাইপলাইন লোকাল রাখুন।
• SLM গুণমানের জন্য বাস্তবসম্মত প্রত্যাশা নির্ধারণ করুন; মডেলের মুখস্থ জ্ঞানের পরিবর্তে টুল এবং RAG এর উপর নির্ভর করুন।
• লক্ষ্য করুন যে লেসন ১৭ এর কোনো Foundry Responses এন্ডপয়েন্ট নেই, তাই ক্লাউড স্মোক-টেস্ট অ্যাকশন প্রযোজ্য নয় — নোটবুক লোকালি চালিয়ে যাচাই করুন।

---

<!-- CO-OP TRANSLATOR DISCLAIMER START --> অস্বীকৃতি: এই নথিটি AI অনুবাদ পরিষেবা Co-op Translator ব্যবহার করে অনূদিত হয়েছে। যদিও আমরা শুদ্ধতার জন্য চেষ্টা করি, অনুগ্রহ করে মনে রাখবেন যে স্বয়ংক্রিয় অনুবাদে ত্রুটি বা অসঙ্গতি থাকতে পারে। মূল নথিটি তার স্বভাষায় কর্তৃত্বপূর্ণ উৎস হিসেবে বিবেচিত হওয়া উচিত। গুরুত্বপূর্ণ তথ্যের জন্য পেশাদার মানব অনুবাদ সুপারিশ করা হয়। এই অনুবাদের ব্যবহারে প্রয়োজনীয় ভুল বোঝাবুঝি বা ভুল ব্যাখ্যার জন্য আমরা দায়বদ্ধ নই। <!-- CO-OP TRANSLATOR DISCLAIMER END -->