Como marco de povoamento desta zona que hoje serve à cidade de Ribeirão Vermelho, a primitiva Capela de Nossa Senhora da Guia foi construida em um espaçoso local próximo a algumas edificações, no cujos terrenos pertenciam à Companhia Agrícola e Industrial Oeste de Minas, que, no decorrer dos anos, passou a receber a denominação de Largo da Matriz, onde naturalmente concentravam-se as quermesses e principais festas religiosas do distrito.
Os primeiros plantios de árvores autorizado pela municipalidade de Lavras datam de 13 de maio de 1921, quando solenemente foram plantadas simbolicamente algumas árvores, com a presença da banda de música, vigário e autoridades, caracterizando desde, então, o aspecto de jardim.
Em 17 de outubro de 1937, foram iniciadas de fato as obras de construção do então Jardim do Largo da Matriz, sob a iniciativa e idealização do Sr. Clyto Cleto Novaes, e abnegados filhos de Ribeirão Vermelho que promoveram uma grande campanha “pró- construção do jardim”, com festejos, bailes e recreações várias, cujas rendas reverteram-se em beneficio da singela obra, que foi inaugurada com “placa de bronze” somente em 14 de fevereiro de 1943. Nessa data, comprovando a sua admiração pelo Exmo. Sr. Governador Valadares, o povo de Ribeirão Vermelho dava o nome do grande mineiro a sua principal praça, cujo ato se verificou com várias solenidades que se estenderam por todo o dia.
A Prefeitura Municipal de Ribeirão Vermelho, em 26 de novembro de 1966, inaugurava a reconstrução do jardim da Praça Governador Valadares, iniciada em 1962, com piso de pedra “São Tomé”, em substituição ao piso de “chão batido”, colocando bancos de concretos, apresentado uma nova planta que, ao longo dos anos, vem preservando a sua forma atual.
Na Lei N. 799, de 17 de dezembro 1990, a Prefeitura Municipal de Ribeirão Vermelho trocou o nome da Praça Governador Valadares para Praça Prefeito Gelson Loureiro, em homenagem póstuma ao Ex-Prefeito Municipal.
A Praça Prefeito Gelson Loureiro, outrora Largo da Matriz, foi o principal centro de eventos cívicos e religiosos de Ribeirão Vermelho. Nesse local, realizaram-se as primeiras festas religiosas de Nossa Senhora da Guia, Mês de Maria, Semana Santa, Imaculada Conceição, os primeiros carnavais, retretas musicais aos domingos após a missa, pronunciamentos de autoridades civis e políticas, entre outras festividades. Apesar de ter passado por algumas transformações, a Praça Prefeito Gelson Loureiro constitui e se mantém como um dos mais belos ornamentos de Ribeirão Vermelho.
Fonte: Márcio Salviano Vilela - Sobre Trilhos - 1998 / Ementários da História de Ribeirão Vermelho - 2003.