Доминирующее сооружение в архитектуре города было построено в 1565 году императором Акбаром. Форт Агры (Agra Fort) из красного песчаника был обновлен и переделан во дворец во время правления Шаха Джихана. Реконструкция внутренней отделки была произведена с широким применением мрамора и поделочного камня. Примечательные сооружения внутри форта включают мечеть, залы для публичной и частной аудиенции (Диван-э-Ам и Диван-э-Кхас), дворец Джихангира, Кхаас Махал, Шииш Махал (зеркальный дворец) и Мусамман Бурдж.
Император великих Моголов Акбар завершил строительство в 1565 году, хотя некоторые дополнения все же имели место вплоть до прихода на трон его внука Шаха Джихана. Непритягательный внешний вид форта скрывает поистине райские уголки внутренних покоев. Форт построен в форме креста, на востоке расположена длинная практически прямая стена, выходящая к реке. Общий периметр постройки составляет 2.4 км, форт окружен двойной зубчатой стеной из красного песчаника, в которой через равные интервалы расположены бастионы. Внешнюю стену окружает ров глубиной 10 и шириной 9 м.