Строительство храма было начато при правлении императора Тему. Как и храм Кофукудзи, Якушидзи является главным храмом секты хоссо.
Во время строительства храма, продолжавшегося до 698 г., император скончался и строительством занималась его жена. Когда столица была перенесена в Нару, храм тоже был перенесен туда. Храм Якушидзи (Yakushiji Temple) несколько раз пострадал: в первый раз в ходе гражданской войны в1528 г. Из оригинальных зданий храма сохранились лишь Восточная пагода и главный зал.
