Procedendo lungo il lato della chiesa un arco conduce fuori dalle mura, con una torre circolare e il retro della chiesa inseriti nel circuito difensivo. Tornando indietro, a sinistra si apre via Romita, lungo la quale sono riconoscibili edifici dalle robuste murature medievali con base a scarpa, e di fronte la piazza del Pretorio con a destra l'omonimo Palazzo. Il quattrocentesco edificio, sede degli uffici pubblici grossetani durante l'estatatura, ospita attualmente il nuovo polo museale di Scansano. Il Palazzo, costruito nel '400, non ha quasi subito alterazioni nei secoli successivi. Ha forme semplici e squadrate sottolineate dalle cornici in pietra serena.
All'esterno del centro storico, sulla strada per Manciano è la chiesa della Madonna delle Grazie, detta anche della Botte.
Le prime notizie della chiesa risalgono al Seicento, ma l'edificio attuale è del 1867. l'immagine di culto, della metà del XVI secolo, deve il nome di Madonna delle Botte a una leggenda secondo la quale il quadro sarebbe stato ritrovato in una botte miracolosamente rotolata fino al punto dove poi fu eretta la chiesa.

Uscendo da Scansano si incontra il convento del Petreto, raggiungibile seguendo una strada secondaria a sinistra, immediatamente prima del bivio per Manciano e Roccalbegna. Il complesso di edifici, nel suo aspetto attuale, è riferibile all'inizio del '500 ma potrebbe essere stato fondato in epoca antica; il convento fu oggetto di varie ristrutturazioni fra XVII e XVIII secolo.

È noto, ma non localizzato, un castello medievale dallo stesso nome citato in documenti del '200 e del '300. Mancano però prove che permettano di localizzare tale castello nello stesso luogo del convento. Secondo una notizia, un convento più antico, dedicato a San Pietro, all'inizio del XIV secolo avrebbe ospitato un gruppo di fati eretici seguaci di Fra Dolcino. Dolciniani sono segnalati analogamente anche nei conventi di Monte di Muro di Scarlino, della Nave di Montorsaio e di San Giovanni di Gavorrano. La frammentarietà di queste notizie non permetterà però di identificare con certezza San Pietro con il Petreto. Il convento non è aperto al pubblico. Si può visitare solo la chiesa, rivolgendosi al parroco di Scansano.