از قلعه و حصار تاریخی شهر ایوانکی تنها بخش کمی از دیوار و یکی از برج‌های آن باقی مانده است. این برج توسط مالک خانه، آقابزرگ با پوسته‌ای از آجر سوراخ‌دار و ملات سیمان پوشانده شده و تنها یادگار قدیم شهر ایوانکی است.