حمام خواجه تنها حمام تاریخی روستای فهرج ست که ساختار معماری و مصالح به کاررفته در آن، نشان از قدمتی بیش از ۴۰۰ سال دارد. با اینکه بنا، حمامی کوچک بوده اما تمامی ارکان یک حمام سنتی را دارا است. این حمام از دالان پر پیج و خم، سربینه، گرمینه با شاهنشین و حوضچهآن، خزینه، دیگ، تون و کانالهای انتقال دود که برای گرمایش از کف حمام وجود داشته، تشکیل شده که امروزه همگی سالم و قابل رویت است. در گذشته بانوان برای دسترسی به حمام از مسیرهای فرعی به نام کوچه محرمرو استفاده میکردند.
