La data di costruzione del castello di Varzi non è certa. I Malaspina, dopo l’investitura fatta dall’Imperatore Federico Barbarossa, nel 1164, dei territori che dall’inizio delle colline di Rivanazzano si spingono a sud, fino all’attuale parte settentrionale della Toscana, scesero dalla protetta ma scomoda Oramala per insediarsi a Varzi.
La prima data che testimonia la proprietà di una casa dei Malaspina in Varzi è del 1168, quando, in un atto stilato nella stessa casa, viene venduto il feudo di Pizzocorno all’Abbazia di S.Alberto. Da quella data e per molti secoli quella struttura è stata periodicamente ampliata e modificata. L’impulso maggiore lo ebbe dopo il 1275, quando, in seguito ad una divisione dei Malaspina, si formò il feudo di Varzi.
Attualmente il complesso architettonico si colloca al centro dell'abitato di Varzi e ne costituisce il nodo edilizio più significativo. Il corpo di più recente costruzione delimita, con la sua facciata settecentesca impreziosita da una caratteristica meridiana, un lato della piazza. Questo prospetto, interamente in pietra a vista, come tutto l’insieme architettonico di cui si tratta, rivela, nell’ordinata cadenza dei vuoti e dei pieni, la sua matrice. L’edificio si sviluppa su due piani ed è coronato da un sottotetto, nel quale si apre una fila di piccole aperture rettangolari, in corrispondenza delle finestre sottostanti. Il portale, che dalla piazza dà accesso al primo cortile, ha cornice intonacata, modanata, di chiara fattura settecentesca.
Il secondo edificio, databile del secolo XV, si trova sul lato destro di uno stretto vicolo al quale si accede dalla piazza. Di altezza uguale al precedente, presenta in facciata una regolare sequenza di aperture e, a sinistra, un portale ad arco a sesto acuto, in conci di pietra squadrata con, nel concio in chiave, lo stemma dei Malaspina del ramo "Spino secco". All’interno, un passaggio coperto da quattro voltine a crociera, immette in un cortiletto quadrato, dal quale si possono osservare, sulla facciata interna, due ampi archi a tutto sesto decorati da una ghiera in cotto, poggianti su un plinto di pietra squadrata. Volte unghiate al piano terreno, al piano superiore soffitti in legno.
Il terzo edificio, più antico (secolo XIII), si innesta trasversalmente a quello descritto e conclude il vicolo con la sua massiccia facciata. Il suo prospetto è aperto unicamente dal portale di accesso ad arco a tutto sesto e da piccole finestre di recente fattura. Coevo alla torre, è collegato ad essa da un passaggio nel sottotetto, dove, scansi nel muro, fanno presumere l’esistenza di una merlatura di coronamento.
La torre, anch’essa costruita fra il XII e XIII secolo, è un manufatto dal perimetro quadrato di notevole robustezza; i suoi muri hanno uno spessore medio di m 2,5. La stretta scala di servizio è ricavata all’interno dei muri perimetrali e permette l’accesso a quattro camere di sicurezza sovrapposte l'una all’altra. L'imponente edificio termina con un terrazzo coperto dal quale si può ammirare l’interessante, ampio, suggestivo panorama di tutto il borgo di Varzi, dei monti che lo circondano, della valle dello Stàffora e del castello di Oramala.
La torre, fino agli anni Sessanta, è sempre stata adibita a prigione: è già citata con questo uso negli statuti malaspiniani del 1320. E' chiamata "Torre delle streghe", perché risulta che nel 1460 vi furono imprigionate dalla Sacra Inquisizione venticinque donne ed alcuni uomini, accusati di stregoneria, i quali furono successivamente bruciati nella pubblica piazza.
Attualmente il castello è di proprietà del Conte Faustino Odetti di Marcorengo, mentre la torre è di proprietà comunale.