Le prime notizie storiche le fornisce Strabone (morto nel 24 d.c.) nel De Geographia quando accenna al Portus Cosanus, località che riappare poi denominata nell'Intera Provinciarum del 152 d.c., dove è evidente il suo legame con la città etrusca di Cosa.
Con la conquista romana la località è inserita probabilmente come preda di guerra in una grossa proprietà fondiaria. Passa poi alla famiglia degli Enobarbi Domizi di professione Argentarii cioè prestasoldi, che a titolo delle somme versate alla Repubblica durante la II Guerra Punica aveva ottenuto come saldo dei debiti l'intero Promontorio, detto in seguito Argentariorum Mons, cioè Monte degli Argentari. Ad essi, forse, dovette appartenere la villa romana esistente a S.Liberata, detta Villa Domizia, che venne inclusa nel I secolo d.c. nella dote di Longina, sposa di Lamia Emiliano, fatta rapire dall'imperatore Domiziano per farne la propria consorte. Nel II° secolo d.c. Traiano la cedette in dote a Vibia Matidia, sua nipote, da cui il nome di Insula Matidiae.
Nel IV° secolo d.c. l'imperatore Costantino la donò alla Basilica dei SS.Marcellino e Pietro. Riappare con il nome di Mons Argentariorum nel De Reditu suo di Rutilio Nomaziano nel V° secolo. Durante il periodo delle invasioni barbariche, tra il VI° e IX° secolo, sia per l'abbandono dell'Aurelia sia per l'impaludamento della costa, l'Argentario faceva vita a sè nonostante dipendesse dall'Abbazia delle Tre Fontane a seguito della famosa donazione di Carlo Magno e Leone III. Divenne poi possesso degli Aldobrandeschi e degli Orsini di Sovana e di Ladislao, Re di Napoli, e a partire dal 1.410 della Repubblica di Siena. E' di questo periodo il primo importante sforzo rivolto alla fortificazione del luogo. A seguito del trattato sottoscritto nel 1.557 da Filippo II di Spagna e il Signore di Piombino, l'Argentario entra a far parte dello Stato dei Presidi. Questo rappresentò per la Spagna un valido punto di appoggio ai suoi collegamenti marini con il Vicereame di Napoli e una valida sentinella per il controllo dello Stato della Chiesa e dei Duchi di Toscana, Questi motivi spinsero Filippo II a mantenerlo saldo mediante opere di restauro e fortificazioni ulteriori.
L'Argentario conobbe così un certo sviluppo e intorno alle fortezze di Porto Ercole e Porto S.Stefano si insediarono oltre che famiglie di soldati spagnoli anche pescatori di provenienza ligure e napoletana che approdando qui per la stagione di pesca colpiti dalla bellezza del luogo ne fecero loro abituale dimora. Dopo la parentesi napoleonica, nel 1.815 passò al Granducato di Toscana e successivamente al Regno d'Italia.