মন্দিরটি এখন যেখানে দাঁড়িয়ে, গঙ্গাতীরের সেই বেলগাছ-দেবদারুগাছ সংলগ্ন জায়গাটির উল্লেখ করে সতীর্থ স্বামী ব্রহ্মানন্দকে বলেছিলেন বিবেকানন্দ, ‘রাজা, আমায় এখানে একটু জায়গা দিতে পারিস?’