Annullamento compromesso

Salve, sto per acquistare un appartamento di circa 70 mq, premetto che ho gia versato un anticipo sulla casa e pagato anche il mediatore.
Dopo un mese dal compromesso mi sono accorto della presenza di gravi infiltrazioni proveniente dal terrazzo sovrastante, sempre dello stesso venditore, nonostate l'evidenza ( intonaco staccato e machia di acqua sul soffitto ) mi veniva detto che era umidità formatasi perche non c'era ricambio d'aria visto che la casa rimaneva chiusa per lunghi periodi, dopo una marea di telefonate e sollecitazioni riesco a visionare il terrazzo, scoprendo che in + punti le piastrelle erano spaccate o mancanti con evidente formazione di muschio (il muschio fa dedurre che era in quello stato da molto tempo, e non dico muffa, ma proprio muschio), constatato questo con l'agenzia richiedo la riparazione prima del rogito in quanto il problema è stato notato in tempo ( il 10 dicembre 2011 ).
Ora dopo poco meno di 2 mesi e consapevole che il rogito è fissato per il 9 febbraio 2012, vado a visionare nuovamente l'appartamento e le cose non sono cambiate, anzi anche peggio, chiazza + grande, mezzo dito di muffa e le cose sono rimaste identiche, da 2 mesi non ci entra nessuno...
Posso richiedere l'annullamento del compromesso con restituzione della somma versata?
Magari, è possibile farsi restituire anche la quota versata all'agenzia in quanto non hanno tutelato il cliente?
Non solo non hanno tutelato il cliente ma dopo aver incassato, se ne sono lavati vistosamente le mani..
Ringrazio in anticipo per le risposte...

Mi stava anche balenando l'idea di far aggiungere nel rogito una clausola tipo:
"Il venditore si impegna alla riparazione a proprie spese del'infiltrazine d'acqua proveniente dal terrazzo sovrastante, entro e non oltre data ......... e a pagare ........ euro di penale per ogni giorno di ritardo dalla data precedentemente indicata."
Il problema è che ambo le parti devono essere d'accordo, se mi fanno storie per una cosa del genere, mi fanno capoire che il lavoro non verra mai fatto.

Chiedi di trattenere la somma necessaria alla riparazione dal prezzo d'acquisto e se necessario lo fai riparare da un'impresa di tua fiducia.

si puo anche fare sarebbe come se pagassi meno la casa e poi lo riparassi io con i soldi che non ho speso.
se riesco a farlo, chiamerei un impresa esterna, visto e considerato che il padrone è titolare di un impresa di costruzione e nonostante tutto non ha provveduto, non mi fido per nulla....

sposa il consiglio di Tobia.... scrivi una lettera raccomandata dove esponi quanto qui postato, e dai come termine ultimo per l' effettuazione dei lavolri il " entro il rogito".
In caso contrario, alla stipula del rogito, tratterrai dal saldo prezzo la cifra occorrente per i lavori in questione ( nel frattempo avrai incaricato un' impresa di fiducia ad approntare un preventivo) -
Tutto ciò occorre per creare un precedente che regolarizzi la tua posizione. Massimo