Os anos da Regência (1831-1840) foram tempos difíceis para o Caraça, especialmente pelas perseguições aos religiosos, que, como se dizia, não eram necessários ao Brasil.
O resultado imediato foi o fechamento do Seminário Interno da Congregação no Caraça, em 1834. O Colégio, com muitas dificuldades, ainda iria sobreviver por mais oito anos, até sua transferência para Campo Belo do Sertão da Farinha Podre (hoje, Campina Verde-MG) em 1842.
Em uma carta de 1835, enviada pelo Padre Leandro ao Vice-Presidente da Província, Bernardo Pereira de Vasconcelos, o superior do Caraça dá notícias da situação e dificuldades do Colégio, especialmente por causa das perseguições do Governo:

“Como a nossa Assembléia Provincial deseja esclarecimentos para o acerto de suas decisões, cumpre-me declarar a natureza desta Casa e bens que nela se encontram. Esta Casa e bens adjacentes foram herdados pelo Sr. Dom João VI, como herdeiro instituído pelo testamento com que faleceu o Ir. Lourenço de Nossa Senhora. O mesmo Augusto Senhor, por Carta Régia de 31 de janeiro de 1820, fez desta Casa e bens doação à Congregação da Missão (...).
É claro, pois, 1º - que a Congregação da Missão administra esta Casa e bens como propriedade sua (...). Direito este claro e ostensivo que assiste aos Congregados que até o Governo Imperial o reconheceu (...). 2º - que a Congregação somente pela dita Carta Régia teve o ônus, imposto pelo Augusto Fundador, de fazer missões e hospedar alguns missionários que para o mesmo fim ali passarem.
Entrando, pois, a Congregação na administração desta sua propriedade, a achou despida e falta de todo o necessário para nela se viver.

Foi, pois, com incalculáveis sacrifícios que se abriram e consertaram estradas e pontes, adiantou-se o edifício, proveu-se a igreja dos necessários ornamentos e se principiaram a cultivar duas chácaras, visto que os matos, neste local frio e alto, não pagam os gastos da sua cultura...
Do que está dito se segue que o ter colégio não é um ônus a que a Casa esteja obrigada pela sua fundação, mas os padres a ele se sujeitaram desde o princípio, somente com o ânimo de bem fazer e para anuir às repetidas instâncias que se lhes dirigiam para aceitar alunos. Foi então que o material do colégio se começou a levantar e se continuou, à medida que os estudantes concorriam. (...)
Por esta falta de recursos e pelas dificuldades de conduções para os necessários víveres e ainda por causa da sustentação de 20 a 30 alunos que o Colégio sempre gratuitamente sustentou, daqui veio que esta Casa sempre viveu alcançada, fazendo, muitas vezes, dívidas para pagar outras dívidas, as quais se agravaram em extremo, nestes dois últimos anos, em que a fome aqui foi grande e inteiramente se viveu da praça. Os emolumentos dos seminaristas sempre foram calculados pelo seu gasto, e o Colégio, longe de aproveitar algum resto, ele sempre não só afiançou, mas enfim pagou o que muitos ficaram a dever nas lojas de negócio. Por isto, o Colégio nunca lucrou com estudantes, antes perdeu sempre, mas a tudo isto a Congregação se sujeitou e sujeitará, enquanto o Governo, em sua sabedoria, o permitir.
A Congregação nunca recebeu da Fazenda Pública emolumento algum para o Colégio, nem para as obras, nem para o exercício; nem tampouco o quer receber daqui por diante, pois se, até agora, tem gratuitamente desempenhado esta obra de bem fazer, apesar de todos os mencionados sacrifícios, ela continuará enquanto puder, se o Governo o permitir. Recebeu, sim, em outro tempo, cem mil réis anualmente, como ajuda de custo das Missões, e os recebia, devido à Carta Régia de 31 de janeiro de 1820, mas este emolumento lhe foi negado pelo Conselho Geral de 1830. (...)”