Crkva Sv. Petke na Kalemegdanu , podignuta je na mestu cudotvornog izvora, u vreme kada su na molbu knjeginje Milice donete njene mosti u Beograd.Sadasnja kapela je sagradjena 1937. godine, na dan Sv.Petke na mestu nekadasnje koja je bila u obliku zemunice. Zbog loseg stanja, na zahtev patrijarha Varnave izgradjena je nova.
U blizini se nalazi i crkva Ruzica podignuta 1867.godine.
U doba despota Stefana Lazarevića postojala je stara crkva istog imena, koju su Turci pri osvajanju Beograda 1521. godine porušili. Sadašnja crkva bila je u 18. veku barutni magacin, koji je 1867-1869. godine pretvoren u vojnu crkvu.
Tačno vreme kad je ova crkva napravljena i ko je učestvovao u gradnji ni dan danas nije poznato. Jedino što je utvrđeno je da je ovo najstarija beogradska crkva.
Krajem sedamnaestog veka, crkva Ružica je srušena, ali je već pet dana posle oslobađanja od Turaka bio organizovan odbor za obnavljanje crkve. Radovi su brzo završeni, tako da je crkva osveštana posle već deset meseci. Nakon toga su u njoj počela da se vrše bogosluženja.