La sorveglianza dei prigionieri è affidata ad una compagnia distaccata di invalidi, composta, a seconda delle epoche, da 13 a 60 soldati a fine carriera, dichiarati inadatti a combattere a causa della loro salute deficitaria o della loro forte età.

Con la Rivoluzione, sotto la direzione dell’Artiglieria di Brest, il Castello ospita ancora un carcere: cambia solo il profilo del prigioniero; vengono detenuti dei nobili, dei preti refrattari, dei Girondini e poi dei Montagnardi. Non vi si conducono più coloro che non sono attenti ai buoni costumi, ma piuttosto coloro che propagano delle idee giudicate ostili dal nuovo Potere. Da allora, gli ospiti sfortunati che si succederanno a Taureau, si distingueranno tutti per il carattere politico della loro incarcerazione. L’ultimo a soggiornare lì fu il celebre comunardo Louis Auguste Blanqui nel 1871.