Дворец некогда принадлежал семейству патрициев. Именно здесь Галилео Галилей показывал Герцогу Тосканскому планеты, которые он увидел в свой телескоп. Дворец строился по плану Баччио Бандинелли для Козимо I Медичи и впоследствии был увеличен почти в два раза.