Выход из Грота Рожества Христова ведет к северному поперечному нефу. Дверь в северном крыле открывается в стоящую рядом Церковь Святой Катрины (The Church of St. Catherine), построенную францисканцами в 1881. Лестничный пролет в южном крыле приведет вас к пещерам. Слева находится Часовня Святых Великомучеников, построенная в память о младенцах, убитых царем Иродом. Прямо перед вами будет расположена часовня святого Иосифа. Рядом находится могила святого Иеремии: у стены еще сохранилась каменная скамья, на которой покоились останки святого до того времени, как их перенесли в Рим и перезахоронили в церкви Святой Марии Маджиоре. В северной части пещер находится помещение, где по преданию святой создал вульгату, перевод Библии на латынь.
Рядом с церковью находится монастырь, относящийся к франкскому периоду. Он был открыт лишь в середине этого столетия и перестроен итальянским архитектором Барлуззи с применением того же материала, который использовался при создании оригинальной постройки. В монастырском парке расположена 2-метровая колонна, увенчанная статуей святого Иеремии.