In seguito la proprietà fu acquistata dal grande condottiero Bartolomeo Colleoni nel 1470, circa quattordici anni dopo aver preso dimora al castello di Malpaga.

Il Colleoni contribuì alla ristrutturazione del latifondo e dell'intero paese di Cavernago, creando una piccola costruzione militare. Dopo la sua morte la propietà fu ereditata nel 1551 da Gherardo Martinengo, marito della sorella del defunto.
Il Martinengo incominciò la vera e propria costruzione del castello nel 1597. L'edificio doveva svolgere la funzione di casa di campagna, ma vista l'importanza del proprietario, venne costruita come una vera e propria fortezza.

Se desiderate avere qualche informazione in più riguardo al periodo storico comune a tutti castelli della provincia di Bergamo, richiamate la pagina di approfondimento

Il castello è a pianta quadrata circondato da un profondo e ampio fossato dove ora non c'è più acqua.
Vi era un ponte levatoio in legno che superava il grosso fossato collegandosi con un' arcata in muratura posta al di là del fossato stesso.
Successivamente il ponte fu sostituito da un'altra arcata in muratura che si collegava perfettamente con quella preesistente.

L'ingresso è formato da un arco a tutto sesto di notevole raggio e di pregevole fattura.
Nell' ingresso sono presenti numerosi segni che richiamano il vecchio ponte levatoio.

Questo castello presenta sulla facciata principale il simbolo in marmo del casato Martinengo: la grande aquila circondata dal collare dell'Annunziata.

Ogni facciata presenta numerose finestre dovute al carattere residenziale della fortezza.

Ai lati del castello ci sono quattro torri di piccola statura poco sporgenti dalla struttura del castello.
Queste torri, sempre per il carattere poco militare della struttura, non presentano sulla parte alta la tipica merlatura, ma delle logge circondate da archi sostenuti da sottili colonne.

Nella parte mediana della facciata sud sporge dalle mura una bassa torre che ha un ponte in pietra che supera il fossato.
Questa torre rappresenta il secondo ingresso che dava sulla campagna.

I porticati hanno colonne con capitelli di stile tuscanico al pian terreno e colonne con capitelli di stile ionico al secondo piano.
Le colonne sostengono archi a tutto sesto ricchi di affreschi che decorano tutti i porticati, in particolare in quello sud si apre un salone dove è riprodotta una gigante figura di Bartolomeo Colleoni.

L'ampio cortile presenta nella sua parte più larga un pozzo, ora chiuso da una grossa grata.

Le sale interne sono fastose e impreziosite da numerosi affreschi e all'epoca contenevano una ricchezza di mobilia non indifferente.

Per chi è interessato ad un approfondimento artistico

Nell'occasione il Podestà di Bergamo, preoccupato che l'ordine pubblico potesse venire turbato dalle migliaia di persone che sarebbero convenute per i festeggiamenti e per il programmato torneo d'armi e in considerazione anche del periodo di carestia che stava attraversando la popolazione della zona, fece una relazione al Senato Veneto per informarlo dell'eccezionale avvenimento.

10 maggio 1602: "Non vide mai la patria nostra giornata più di questa lieta, in cui per le nozze di Caterina, figlia del Conte Francesco Martinengo maritata in Enzio Bentivoglio, furono tanti i giochi, giostre, tornei con superbi apparati marziali, simulacri, comiche, leggiadre, nobili invenzioni, gloriosi spettacoli, cavallereschi cimenti, soavi musiche, leggiadri balli, oggi e ne' seguenti giorni presentati in Cavernago, che alle solenni feste furono assistenti da ventimila persone, ognuno sempre mutolo per lo stupore e le grandezze."

Il castello di Cavernago sorge a soli 2 Km da quello di Malpaga e a 4 Km da quello di Costa di Mezzate: è consigliabile pertanto cogliere l'occasione per visitare queste tre fortezze in un unico viaggio.