Pałac Ostrowskich, w którym obecnie mieści się siedziba muzeum, został wybudowany w 1812 r przez hrabiego Antoniego Ostrowskiego z przeznaczeniem na letnią rezydencję. Pierwotnie był to parterowy budynek zwieńczony trzypiętrową wieżą, jednak około stu lat później dobudowano piętro oraz urządzono w pałacu kaplicę i oranżerię, wtedy wybudowano tam również dom dla oficjalistów oraz pomieszczenia gospodarcze.