Os primeiros habitantes de São José do Cerrito foram os índios Kaingangs e Xoklengs, que viviam da caça, pesca e coleta de frutas. A colonização começou com bandeirantes paulistas, seguidos por colonizadores italianos, alemães e portugueses. O município foi inicialmente chamado de Carú.
Em 7 de abril de 1927, foi comprado um terreno onde se construiu a primeira igreja. No dia 2 de fevereiro de 1928, celebrou-se a primeira missa na sede do distrito. Em 1943, o distrito de São José do Cerrito passou a se chamar Carú, mas em 1953, dez anos depois, o nome foi revertido para São José do Cerrito.
Em 27 de agosto de 1961, foi criada a Paróquia de São Pedro Apóstolo. Bispos como Dom Daniel, Dom Honorato e atualmente Dom Oneres contribuíram significativamente para a caminhada da Diocese. No ato de criação da Paróquia, havia 18 capelas; atualmente, são 36 capelas.
Antes de 1961, o então distrito era atendido pelos Freis Franciscanos que vinham da Catedral de Lages. Após a criação da Paróquia, os Padres Diocesanos continuaram o trabalho de evangelização. O primeiro pároco foi o Monsenhor Luiz Orth (in memoriam). Em 22 de março de 1964, foi inaugurada a Igreja Matriz de São Pedro.