Overfitting থেকে বাঁচার উপায়

আমরা ইতিমধ্যে জেনে গেছি Overfitting কি এবং আমরা কিভাবে বুঝবো যে আমাদের মডেল Overfitting এর কবলে পড়েছে কি না। সাধারণ ভাবে বলতে গেলে overfitting মডেলের এমন একটা অবস্থা যখন যে ডেটা কে জেনারেলাইজ করতে পারেনা। যার ফলে মডেল শুধু মাত্র ট্রেনিং ডেটাতেই ভালো পারফরমেন্স দেখাতে পারে। নতুন কোন ডেটা দেখে ঠিকমতো প্রেডিক্ট করতে পারেনা। আমরা আজকে এটা থেকে বাঁচার জন্য ৩ টা উপায় আলোচনা করবো।

১. More Dataঃ অনেক সময় আপনার ট্রেনিং ডেটা কম থাকার কারণে Over-fitting হয়ে থাকতে পারে। আপনি আরো ডেটা যোগাড় করে ট্রেইন করে দেখতে পারেন। একটা বিষয় সব সময় মাথায় রাখবেন, ট্রেনিং ডেটা তে যত বেশি ভ্যারিয়েশন রাখবেন, পারফরমেন্স তত ভালো পাবেন। উদাহরণস্বরূপ ধরুন, আপনার ট্রেনিং সেটে শুধু মাত্র কালো আর রঙের কুকুর আছে। এখন আপনি একটি অন্য ব্রিডের সাদা রঙের কুকুরের ছবি দিয়ে প্রেডিক্ট করতে দিলেন। এক্ষেত্রে আপনার মডেল ভুল করতেই পারে। আপনার মডেল হয়তো নতুন ব্রীডের কুকুরের শেপের এজগুলোও নতুন পেয়েছে। এজন্য সব সময় চেষ্টা করবেন বিভিন্ন ধরনের ডেটা রাখতে।

২. Data Augmentationঃ এই টেকনিকের মাধ্যমে আপনি আপনার কাছে থাকা অল্প ডেটা থেকেও অনেক বেশি ডেটা জেনারেট করে নিতে পারবেন। আপনি চাইলে একটা ছবিকে Rotate, crop, zoom, flip ইত্যাদি করে অনেক ছবি জেনারেট করে নিতে পারেন। আমাদের মডেল কখনো মানুষের ব্রেইনের মতো পারফেক্টলি ট্রেইন হতে পারেনা। একে বোকা বানানো অনেক সোজা। ধরুন আপনি যে কুকুরের ছবি দিয়ে ট্রেইন করেছেন, সেগুলোতে কুকুরের মাথা শুধু বাম দিকেই আছে। এখন তাকে যদি ডান দিকে মাথাওয়ালা কোন ছবি দেন, এটা ভুল করার সম্ভাবনা অনেক বেশি। কেননা এই শেপ তার কাছে একদমই নতুন। এজন্য Data augmentation ব্যবহার করতে পারেন।

৩. Dropoutঃ নাম দেখেই আপনারা ইতিমধ্যে বুঝে গেছেন এর কাজ। সাধারণত প্রেডিকশনের জন্য মডেলে থাকা সবগুলো নিউরনই অংশগ্রহণ করে। Dropout ব্যবহার করে আপনি কিছু নিউরনকে প্রেডিকশন থেকে দূরে রাখতে পারেন। তবে আপনি এটা বলে দিতে পারবেন না যে কোনটাকে দূরে রাখবেন।র‍্যান্ডমলি বাদ পড়বে কিন্তু আপনার মডেল আস্তে আস্তে শিখে নিবে কোনটাকে বাদ দিলে মডেল ভালো করবে। Overfitting কে Dropout অনেক কাজের জিনিস। আমরা আরো বিস্তারিত দেখবো Dropout এর ব্যবহার নিয়ে।


Leave a Reply

Your email address will not be published. Required fields are marked *