На скале, на берегу реки Урт находится Замок Урхельских графов (Chateau des Comtes d'Ursel), построенный графом Люксембургским в XIV веке. Сам по себе город Дурбай и его замок должны были выполнять оборонительные функции в случае атаки со стороны своего могущественного соседа, королевской епархии Льжа. Это самое привлекательное здание города, сегодня оно находится в собственности семейства Д’Урхель. Замок несколько раз обновлялся и перестраивался.
