পাল রাজারা বৌদ্ধধর্মের পৃষ্ঠপোষকতা করলেও তারা বর্ণাশ্রম ব্যবস্থার সমর্থক ছিলেন। মুঙ্গের লেখতে বলা হয়েছে ধর্মপাল বিচলিত বর্ণসমূহকে স্ব-স্ব স্থানে প্রতিস্থাপিত করেছিলেন।
তৃতীয় বিগ্রহপাল আমগাছি লেখতে চাতুর্বণ্য-সমস্যায় অর্থাৎ, চতুর্বণের আশ্রয়স্থল রূপে বর্ণিত হয়েছেন। ব্রাহ্মণাদি বর্ণগুলিকে সুবিন্যস্ত করার জন্য পাল রাজারা যে উদ্যম গ্রহণ করেছিলেন তা নিছক ব্রাহ্মণ সম্প্রদায়ের সন্তোষ বিধানের জন্য নয়। এর মূল উদ্দেশ্য ছিল সমাজজীবনে শৃঙ্খলা ও নীতিরোধের বাতাবরণ প্রতিষ্ঠা করা।
কিন্তু বর্ণাশ্রম ব্যবস্থার বিরুদ্ধে দাঁড়িয়েছিলেন শান্ত সাধকরা। পুরুষ ও নারী ছাড়া মানুষের আর কোনো শ্রেণিবিভাগ নেই বলে শান্ত সাধকরা বিশ্বাস করতেন। পাল রাজাদের সময়ে বৌদ্ধ সন্ন্যাসীরা কখনও বর্ণাশ্রম ব্যবস্থাকে অন্তরের সঙ্গে গ্রহণ করেননি। কিন্তু উপাসক ও গৃহস্থ বৌদ্ধরা বর্ণাশ্রমের গুরুত্ব অস্বীকার করেননি। পাল রাজ্যের বিস্তীর্ণ অঞ্চল জুড়ে আদিবাসীরা বসবাস করতেন। কিন্তু ক্রমেই বর্ণাশ্রম ব্যবস্থার পরিধি প্রসারিত হচ্ছিল। আদিবাসীরা বর্ণাশ্রমের ক্রমবর্ধমান সীমার মধ্যে অন্তর্ভুক্ত হচ্ছিল।