Ukinućem pavlinskog reda u Hrvatskoj 1786.godine, pavlini napuštaju Lepoglavu i sa sobom su ponijeli dio umjetnina iz crkve, a njihov samostan je pretvoren u kaznionicu.U Lepoglavskoj kaznionici je boravio do 1951.godine kada je prebačen u rodni Krašić. Za vrijeme boravka u Lepoglavi, bl. Alojzije Stepinac je bio držan u potpunoj izolaciji, ali mu je dopušteno slavljenje mise i čitanje teoloških knjiga.
U sklopu današnje crkve Bezgrešnog Začeća Blažene Djevice Marije nalazi se bočni oltar bl. Alojzija Stepinca, koji je nevino osuđen u listopadu 1946.godine i doveden u Lepoglavu na izdržavanje kazne. Nakon premještanja bl.Stepinca u Krašić, tadašnje vlasti su zatvorile crkvu koja je tek 1990.godine opet otvorena za vjernike. Kazionica je 2001.godine predala pavlinski samostan u posjed varaždinskoj biskupiji koji je opet s crkvom povezan u jedinstveni kompleks.