Ovu svetinju podigao je srpski kralj Milutin oko 1312. godine.
Želja kralja Milutina da počiva u Banjskoj nije do kraja ispunjena.
Kada je preminuo 1321. u dvoru u Nerodimlju, arhiepiskop Danilo Drugi preneo je njegovo telo u manastir pod Rogoznom, ali je posle Kosovskog boja 1389. prebačeno najpre u Trepču, a potom 1455. u Sofiju, gde i danas počivaju u crkvi Svete Nedelje.
Za vreme turske vlasti oko manastira je podignuto utvrđenje, Crkva je pretvorena u džamiju, a priprata, bočne kapele i zvonik korišćeni za stanovanje.
Manastir je zapusteo u 16. veku, a najveće razaranje doživeo je 1689. za vreme austrijsko-turskog rata.
Sveti Stefan prvi hrišćanski mučenik
Prema crkvenom predanju, Sveti Stefan je bio prvi hrišćanski mučenik. U Jerusalimu je kamenovan i ubijen zbog svoje vere u Hrista.
Nakon njegove smrti, njegovo telo je ostavljeno van grada, da ga pojedu životinje.
Međutim, Gamalil, ugledni jevrejski učitelj koji je bio tajni hrišćanin i učitelj apostola Pavla, uzeo je Stefanovo telo i tajno ga sahranio na svom imanju.
U istoj pećini kasnije su sahranjeni Nikodim, Gamalilov prijatelj, Gamalilov kršteni sin Aviv, a potom i sam Gamalil.
Vremenom je mesto njihovog groba zaboravljeno i više niko nije znao gde su sahranjene Stefanove mošti.
Oko 415. godine, svešteniku Lukijanu u snu se tri puta javio Gamalil i rekao mu gde se nalaze grobovi.
Lukijan je o tome obavestio jerusalimskog patrijarha. Sa njegovim blagoslovom, otišli su na označeno mesto i pronašli četiri groba.
Kada su grobovi otvoreni, prema predanju, pećinom se proširio snažan prijatan miris, što je protumačeno kao znak svetosti moštiju.
Mošti Svetog Stefana tada su svečano prenete na Sion, gde su ponovo sahranjene, a dogodila su se i brojna isceljenja bolesnih.
Kasnije su mošti Svetog Stefana prenete u Carigrad.