Jednou z mála staveb, která dodnes stojí z bývalého městečka Zahrádky, je původně románský kostel sv. Víta. První přímou zprávu o kostele uvádí darovací listina Přemysla Otakara I z 26. června 1219, kterou postoupil ves Zahrádka s kostelem a újezdem k ní příslušejícím Vyšehradské kapitule. V té době se však jednalo o menší stavbu vybudovanou okolo roku 1200.
Její základy byly objeveny při archeologickém průzkumu
v roce 1976-1977 a jsou dnes vyznačeny v dlažbě uvnitř kostela.
Současná stavba byla založena po roce 1219 či 1225 a byla několikrát přestavována. Barokní přestavbu provedl Jan Leopold Donát, kníže z Trautsonu, v r. 1738. Při barokní přestavbě byl kostel prodloužen směrem k západu. Po požáru, který Zahrádku postihl
v r. 1783, byl kostel obnoven až v r. 1787. Další úprava byla provedena v r. 1811 a po požáru v roce 1850.
V období první republiky byla osazena secesní okna a provedena nová výmalba kostela.

Jako farní je kostel poprvé připomínán v děkanátu Červenořečickém
v roce 1348 za probošta Jindřicha z Lipé.
Dnes se jedná o jednolodní barokní stavbu. Původní loď kostela byla dlouhá 10,3 m, jak je dosud vidět na severní boční stěně, kde lze rozeznat novější zdivo, jímž byl kostel prodloužen asi o 3,5 m až ke kruchtě a odtud o 3,5 m až k západní průčelní stěně. Šířka lodi při přestavbách zůstala nezměněna a je 8,75 m. Románské zdivo z nepravidelně loženého kamene je 110 - 130 cm silné. Loď je zakryta plochým stropem a dřevěným krovem z 19. století. Kruchta v západní části kostela
je podklenutá hřebínkovou klenbou
s lunetami. Je přístupná točitým schodištěm se samostatným vstupem z jižní strany kostela. Na jižní straně lodi se dochoval původní románský portál z doby výstavby kostela. Portál je půlkruhově sklenutý, třístupňový se třemi sloupky s pravoúhlými ústupky
a deskovými hlavicemi i patkami po stranách. Archivoltu portálu tvoří profilace 3 oblounů shodná se sloupky, vnější profil archivolty je zdoben klikatkou. Vlastní vstup je pravoúhlý, hladký a reliefně zdobený tympanonem, v němž je segment střední části lemován motivem provazce, základna pásem řazeným do sedmi květinových tercil 6 - 8 osmicípých
a nepravidelně orientovaných. Ve středu této plochy tympanonu se nachází plastický rovnoramenný vyhloubený kříž, v jehož středu je malý plastický křížek. Po stranách velkého kříže jsou zahloubeny velké tercily. U obou vstupů do kostela jsou v interiéru kamenné zdobené kropenky.Vítězný oblouk je půlkruhově sklenutý. Rovněž presbytář  (kněžiště) je zaklenut pozdější barokní klenbou. V severní stěně presbytáře je gotický sanktuář. Z presbytáře je možno vstoupit gotickým portálem do přízemí věže, které sloužilo jako zákristie. Má pravidelný čtvercový půdorys a původní žebrovou klenbu s kruhovým dutým svorníkem. V zákristii je původní gotická dlažba. Věž má gotická střílnová okénka
a je zakončena rokokovou helmou s osmicípou bání.
Zvony byly zničeny pravděpodobně při požárech kostela, protože před 1. světovou válkou zde byly
4 zvony z roku 1851. Po rekvírování zvonů za první a druhé světové války byl na věži pravděpodobně jen jeden zvon zapůjčený ze zvonice v Ježově, kam byl po zrušení obce navrácen.

V souvislosti s výstavbou vodního díla Želivka v letech 1963 - 1980 bylo zrušeno, vysídleno a zbořeno městečko Zahrádka u Ledče nad Sázavou. Kostel sv. Víta je od roku 1975 nevyužívaný. Investor stavby požádal rovněž o upuštění od památkové ochrany kostela, aby kostel mohl být zbořen. Na základě průzkumů provedených v letech
1975 - 1977 však bylo rozhodnuto o jeho zachování a využití jako památníku zátopové oblasti. Byly provedeny práce ke stavebnímu zajištění kostela a zpracován a částečně realizován projekt zřízení památníku. K jeho dokončení však vlivem společensko-politických změn nedošlo.

Po dokončení archeologického výzkumu byla cca před 30 lety investorem výstavby vodního díla vybudována betonová podzemní stěna bránící pronikání vody z přehradní nádrže do podloží objektu, injektáž podloží a základů kostela a provedena základní rekonstrukce střechy a vnějšího pláště objektu

V roce 2002 bylo vlastníkem provedeno ošetření krovu proti dřevokaznému hmyzu.

V roce 2006 byla vlastníkem provedena nouzová oprava havarijního stavu svodů dešťové vody (důsledek krádeže měděných svodů) a vně severní zdi kostela byla obnovena část betonového žlabu
k odvedení dešťové vody, celkem v hodnotě cca 100 000,-Kč.

Od roku 2001 se v kostele 2x ročně konají setkání rodáků a přátel zaniklého městečka pořádané občanským sdružením Přátelé Zahrádky za laskavého svolení Národního památkového ústavu zastupujícího stát, který je vlastníkem kostela a Povodí Vltavy, které obhospodařuje vodárenskou nádrž.

V letech 2011-2014 se díky dotaci Ministerstva kultury České republiko podařilo realizovat hlavní stavební práce zajišťující odvlhčení stavby. Z peněz získaných veřejnou sbírku byly zejména vyčištěny
a zajištěny nástěnné malby v presbytáři a presbytář byl již kompletně opraven včetně nového nasvětlení.  K celkové obnově a restaurování kostela však zbývá ještě mnoho práce.  

V současnosti je objekt ve správě Národního památkového ústavu, územní památkové správy v Českých Budějovicích, která na záchraně a využití kostela nadále úzce spolupracuje se spolkem Přátelé Zahrádky.