Il palazzo riprodotto nelle fotografie rappresenta il nucleo centrale di un complesso più vasto appartenuto alla antica famiglia Fossa. L'edificio fu terminato nel 1498 ma il suo aspetto attuale deriva dai pesanti restauri novecenteschi che hanno interessato anche le merlature dipinte, in gran parte rifatte.