Обитель расположена на юго-западной стороне города, на берегу озера Неро, вдоль которого раскинулся весь Ростов. Архитектурный ансамбль Спасо-Яковлевского монастыря свидетельствует о том духовном подъеме, какой переживала древняя обитель после потрясений конца XVII века, вызванных реформами Петра I.
В древности монастырь именовался Зачатьевским - по названию главного и единственного тогда храма, посвященного Зачатию праведной Анною Пресвятой Богородицы. Обитель называли еще и Яковлевской по имени святителя Иакова, основавшего монастырь и почившего здесь. 61836 году по прошению настоятеля обители архимандрита Иннокентия Синод благословил монастырю именоваться Спасо-Иаковлевским Димитриевым.
Три монастырских храма - Димитриевский, Яковлевский и соборный Зачатьевский - выстроены в один ряд вдоль восточной стены обители. Напротив храмов покои наместника, братские кельи, за стеной монастыря хозяйственные постройки. С присоединением Спасского монастыря, расположенного за стенами обители, добавился еще один храм Спасо-Преображенский.
Храм в честь Толгской иконы Божией Матери, домовая церковь отца настоятеля, был устроен в юго-западной башне ограды в 1909 году. Рака святого Дмитрия устроена по поручению императрицы Елизаветы Петровны; она выкована из первого серебра, открытого в ее царствование в колыванских (в Томской губернии) рудниках. Над ракой возвышается великолепная серебряная сень. Перед ракой у подножия святителя поставлен в серебряной раме образ его, писанный на холсте в 1759 году графом Ротари.
В обители молились императрица Екатерина II, императоры Александр I, Николай I, Александр II, Николай II, члены царской семьи. Когда-то бедная, обитель святителя Иакова уже в XVIII веке стала одним из богатейших монастырей России. С1765 года монастырь числился ставропигиальным, то есть подчиненным непосредственно Святейшему Синоду.
В 1923 году монастырь был закрыт, через пять лет последовало запрещение богослужений во всех храмах. В1991 году обитель была возвращена православной церкви, ныне это действующий мужской монастырь.