কথিত আছে, প্রাচীনকালে পাণ্ডু নামের একটি নদী এঁকেবেঁকে খিলগাঁও, বাসাবো, মাদারটেক হয়ে প্রবাহিত হতো। আর এ নদীর কিনারেই গড়ে ওঠে একটি গ্রাম, পত্তন হয় কূলগ্রাম নামের এক নতুন গ্রাম। পুরোনো দলিল-দস্তাবেজে এ নামের পক্ষে প্রমাণ পাওয়া যায়। ধারণা করা হয়, এ কূলগ্রামই পরবর্তী সময়ে বিবর্তিত হয়ে আজকের খিলগাঁওয়ে রূপান্তরিত হয়েছে।