Nato nel castello di San Lucido in Calabria Citeriore, oggi in provincia di Cosenza, era discendente dalla famiglia principesca dei Ruffo di Calabria, mentre la madre era una Colonna. Trasferitosi da giovane a Roma, intraprese la carriera ecclesiastica, grazie agli appoggi dello zio, card. Tommaso Ruffo, allora Decano del Sacro Collegio, e di papa Pio VI, di cui era stato allievo, divenendo dapprima chierico di camera (1781) e, in seguito, tesoriere generale della Camera Apostolica (1786). Dimostrò notevoli capacità amministrative,è suo il provvedimento delle "Dogane ai confini di Stato" (1786), ma si inimicò l'aristocrazia romana per l'equità dei suoi provvedimenti fiscali.
Nel 1791 lo stesso pontefice, cedendo alle pressioni della borghesia romana, destituì l'allora mons. Fabrizio Ruffo dal prestigioso incarico, prospettandogli il cardinalato come ringraziamento ed apprezzamento per il lavoro svolto. Ed infatti, divenuto cardinale del titolo di S. Angelo in Pescheria il 21 febbraio 1794 (in realtà era stato nominato in pectore il 18 giugno 1792), si occupò dell'amministrazione dei terreni dell'Agro Romano nella quale diede prova di inusuale capacità e nel quadro di totale chiusura che caratterizzava lo Stato della Chiesa in quel periodo, di apertura verso le moderne teorie sociali ed economiche. Tra le varie fabbriche da lui patrocinate la bella Chiesa del Crocifisso a Fiumicino.
Da Roma al Regno di Napoli
Nello stesso anno, però, amareggiato dall'ostilità crescente nei propri confronti, decise di lasciare Roma e tornare nel Regno di Napoli, ponendosi al servizio di re Ferdinando IV di Borbone, che gli dimostrò subito profonda stima, tanto da nominarlo "Soprintendente dei Reali Domini di Caserta" e della Colonia manifatturiera di San Leucio. Cinque anni dopo, nel 1799, Fabrizio Ruffo ricambierà la fiducia manifestata dal sovrano nei suoi confronti, riconsegnandogli il Regno di Napoli, perduto in seguito alla mal concepita spedizione a Roma e alla conseguente invasione francese.
L'esercito della Santa Fede
Fabrizio Ruffo intravide la possibilità di saldare il popolo agli aristocratici in una comune lotta contro la classe emergente, la borghesia, che era l'ispiratrice degli ideali rivoluzionari, ma che nel Regno di Napoli era insufficientemente rappresentata e mal radicata sul territorio. Sollecitò dai Borbone l'incarico ufficiale per far insorgere le Calabrie contro la Repubblica Partenopea, anche se ottenne pochissimi mezzi per iniziare l'impresa; si mise a capo di bande di contadini calabresi radunatisi a Pizzo Calabro (già 17.000 al momento dell'arrivo del cardinale) per combattere le Armate Rivoluzionarie e ne inventò la denominazione di Armata sanfedista o meglio "Esercito della Santa Fede".
Sin dall'inizio - il cardinale giunse a punta di Pezzo presso Scilla il 7 febbraio?1799 - le bande Sanfediste, piene di zelo religioso e di odio verso i Francesi ed i loro partigiani, organizzate dal Cardinale nel miglior modo che il poco tempo e gli scarsi supporti dalla corte di Palermo permisero, si rivelarono uno strumento bellico di tutto rispetto. Ruffo conquistò tutte le città e i villaggi che incontrò. Talvolta, come a Crotone non potè impedire che l'odio dei contadini e il desiderio di arricchirsi e vendicarsi sfociassero in saccheggi e devastazioni. Generalmente il cardinal Ruffo e le sue bande, in una storiografa quasi esclusivamente di impronta risorgimentale, quindi pro-repubblicana, sono descritti come poco più che briganti assetati di sangue. Nell'epistolario del cardinale e in altri documenti non mancano però le prove che egli si dicesse "costretto ad inghiottire la propria indignazione" di fronte agli atti vandalici di parte del suo esercito, e che quando potè fu inflessibile nel punirne gli eccessi. Un altro dei problemi derivati dall'esigenza di accettare nelle proprie file individui palesemente interessati solo al saccheggio e alle violenze fu che, in occasione di alcuni scontri particolarmente fruttuosi, gran parte dell'esercito si dileguava per godersi il bottino, rendendo necessarie ripetute soste per riorganizzarsi.
Nonostante le difficoltà in pochi mesi terminò la propria marcia con l'assedio di Napoli (13 giugno 1799), ultimo resto della Repubblica Partenopea, ormai abbandonata già dal 7 maggio dalle armate francesi, richiamate in Italia settentrionale dall'avanzata Austro-Russa, e accerchiata dal mare dalla Squadra navale Anglo-Borbonica.
Il prevedibile esito finale dell'assedio creava comunque dei problemi al Ruffo. Restava da decidere come trattare le centinaia di persone che avevano partecipato al governo di Napoli durante l'occupazione francese. Centinaia di persone, quasi tutte appartenenti all'aristocrazia, molte fra le più chiare personalità dell'epoca (basterà ricordare il giurista Mario Pagano il medico Domenico Cirillo, lo storico Vincenzo Cuoco) rischiavano di essere giustiziate come traditori. Dal punto di vista del diritto la loro posizione era insostenibile, in quanto nessun governo aveva riconosciuto il Governo rivoluzionario. Lo stesso Governo francese aveva rimandato indietro senza riceverla una delegazione inviata allo scopo di ottenere il riconoscimento. Inoltre il territorio del regno era stato fin dall'inizio spaccato fra aderenti al nuovo stato di cose e "insorgenti" (secondo la definizione di Vincenzo Cuoco nel suo Saggio storico sulla rivoluzione di Napoli - edizione del 1806), vanificando ogni speranza di ottenere un riconoscimento de facto (lo stesso Cuoco, aderente della prima ora, dichiarerà più tardi nel suo Saggio : "Il nostro Governo era illegale").
La fine della repubblica Partenopea
Nell'avvicinarsi sempre più a Napoli, ormai unica città del Regno dove la Repubblica contava sostenitori numericamente significativi, il Cardinale aveva ricevuto più volte ordini scritti da parte della corte di Palermo in cui lo si diffidava dal concedere patti onorevoli di resa; era infatti ben noto che il Cardinale non voleva un altro bagno di sangue. Vista l'ineluttabilità della caduta della città, il cardinale iniziò delle trattative volte a sottoscrivere una capitolazione prima che arrivassero espliciti ordini contrari. Così facendo cercava - nei limiti del possibile - di attenuare le prevedibili sofferenze dei Napoletani concedendo loro di optare per la fuga, imbarcandosi o seguendo le guarnigioni francesi, che avevano già abbandonato la città.
Ma appena questo accordo fu sottoscritto ed accettato anche dai comandanti delle truppe regolari presenti all'assedio (Comandanti delle navi Inglesi e di alcuni contingenti Russi e Turchi), Ferdinando IV e la Regina Carolina, sentendosi forti dell'appoggio inglese, lo esautorarono. I reali e il Capo del Gabinetto, Lord Acton sapevano di poter contare sulla assoulta obbedienza dell'Ammiraglio Inglese, Lord Horatio Nelson notoriamente succubo di Emma Hamilton e quindi della Regina Maria Carolina. Appena giunto in rada egli infatti procedette ad annullare le clausole del trattato già stipulato. Il Cardinale, minacciato addirittura di arresto, assistè impotente agli orrori della repressione, in cui Horatio Nelson prese una parte tale da attirarsi fortissime critiche anche dai suoi superiori e dal Parlamento Inglese .
Dopo la Controrivoluzione
Alla fine del burrascoso episodio si recò a Roma per cambiare il proprio titolo con quello di S. Maria in Cosmedin, l'11 agosto 1800. Lo cambierà ancora, con S. Maria in Via Lata, nel 1821. In epoca napoleonica il Cardinale seguì papa Pio VII in prigionia a Parigi, dove non tardò ad allacciare relazioni con il Governo francese, grazie ad una esplicita ammirazione per Napoleone Buonaparte e in qualità di ascoltato consigliere del Papa lo esortò a firmare il trattato di Fontainebleau.
