Due canonici della chiesa di san Vitale - vicino al Quirinale -, unitamente a 12 gentiluomini romani, eressero questo sodalizio religioso con il fine di indirizzare i fedeli ad opere di pietà e di devozione. Scelsero come loro padre spirituale fra Bonaventura da Bagnorea perché ebbe la visione della Vergine Immacolata che, in mezzo ad angeli e santi, aprendo il suo manto mostrava di voler accogliere tutti coloro che desideravano porsi sotto la sua protezione.
Le stavano attorno i confratelli vestiti con un saio bianco sul quale spiccava, sul lato destro, una croce bianca e rossa su sfondo azzurro.
Limmagine della Madonna in questo atteggiamento divenne lo stemma della confraternita.
I confratelli indossavano nelle processioni di penitenza un saio di tela bianca con cappuccio e avevano un cordone di filo bianco legato alla cintura che pendeva fino al tacco delle scarpe, come la tonaca.
Attaccata al cordone, da tenere nella parte destra, avevano una frusta, o disciplina, di filo bianco - i confratelli ebbero infatti all'origine anche il nome di Disciplinati -.
Sempre nella parte destra portavano una corona in legno nero legata con metallo e sul petto uno scudetto nel quale era raffigurata l'effigie dello stemma della confraternita, cioè la croce di colore rosso nell'asta verticale e di colore bianco in quella orizzontale, in campo turchino, sormontata dalla corona reale. Al collo portavano la cravatta nera.
Si ignora, invece, quando e come sia nata la confraternita di Varzi che è comunque antichissima.
Si sa di certo che nel 1636 i confratelli iniziarono la costruzione dell'oratorio denominato dei Bianchi all'interno del borgo, e precisamente in via Di Dentro.