নিজের মা তীর্থমণির নাম অনুসারে বাড়িটির নাম রাখেন 'তীর্থ নিবাস'। এই তীর্থ নিবাসে সেই সময়ের গুরুত্বপূর্ণ সকল রাজনৈতিক নেতাকর্মীদের আনাগোনা ছিল। হঠাৎ হঠাৎ বিপ্লবী পূর্ণচন্দ্র দাস তাঁর ‘শান্তিসেনা’ নিয়ে চলে আসতেন দুপুররাত্রে ঝিলটুলিতে, সকলের খাওয়ার রান্না একহাতে করতেন মৃণাল সেনের মা সরযূবালা সেন।