В скалах, 10 метрами ниже южной стены дворца находится пещерный храм Горакната. Здесь Горакнат, знаменитый йогин XII века, считающийся реинкарнацией Шивы, проводил время в медитациях. Пещера связана с дворцом цепью ступеней. Согласно легенде Горакнат был покровителем королей из династии Гуркха и их союзников во всех их сражениях. Местные жители верят, что это отражало связь между воинственными гуркхами и йогами, за счет чего последние приобретали бессмертие за безвозмездную помощь наследным принцам.