قلعه تاریخی فهرج، در خارج از بافت تاریخی روستا به همراه آبانبار، جهت پناهگاه موقت برای جان و اموال مردم در مقابل مهاجمان احداث شد. از این رو این قلعه دو طبقه با اتاقهای بسیار متعلق به تمامی مردم روستا بوده است. قلعه با سردری سه طبقه و چهار برج مدور در چهار گوشه بازمانده سده نهم و دهم ه.ق است.
قلعه فهرج یکی از قلعه های شاخص استان یزد که در تراز سه طبقه و حصار دوجداره در روستای فهرج بنا گردیده و در حدود ۴۰۰ سال قدمت دارد.
این قلعه دارای مالکیت خصوصی است اما تقریبا تمامی اهالی روستا در آن سهیم هستند.
