Изначально форт был выстроен из дерева. Но в 1808-1801 гг. был перестроен в камне. Пушки, расположенные на укрепительной линии фронта были изъяты британцами у пиратов, которые в свою очередь украли их в султанате Джохор. Главная пушка «Сери Рамбау» известна среди местного населения, согласно легенде, если бесплодная женщина положит в жерло пушки цветы и произнесет специальные молитвы, она сможет забеременеть.
60-ти футовая часовая башня была построена у входа в форт на деньги миллионера и приурочена к бриллиантовому юбилею королевы Виктории. Каждый фут башни ознаменовал год ее правления.