В начале XIII века на выступе холма Парадажз была построена базилика в стиле эпохи возрождения с тремя нефами, посвященная Деве Марии. В XV веке для того, чтобы защитить церковь и прилегающее кладбище, было принято решение обнести постройки каменной стеной. В 1540 г. церковь была перестроена таким образом, что могла бы выполнять функции крепости, обеспечивающей защиту от атаки турок. Купол над главным нефом был снесен, так появился внутренний двор замка. Позднее окружающие постройку стены были укреплены.
Замковый комплекс Банска Штьявницы включает в себя часовню Святого Михаила, это романская ротонда состоит из двух частей: в верхней части находился карнарий, куда помещали мертвые тела перед похоронами, в нижней части находился оссарий, здесь хранились кости, извлеченные из древних могил. На стенах часовни можно увидеть интересные фрагменты фресок XIV века. Рядом с церковью располагается бастион Химмельрайх XIV века, некоторое время выполнявший функции тюрьмы.
