Este prédio do século XVIII era parte da Fortaleza da Patitiba, da qual não existem mais vestígios, e servia de quartel. Depois, foi transformada em cadeia pública, funcionando até 1980. Em 1981, o prédio foi restaurado e abrigou a Secretaria Municipal de Turismo e Cultura até o ano de 1997. Em 1998, passou a abrigar a Biblioteca Municipal Fabio Villaboim, que permanece até hoje no local com um acervo de mais de 5.000 títulos. Três canhões ingleses foram descobertos no local durante os anos 80 e foram instalados na Praça da Bandeira, ao lado do Mercado de Peixe, onde podem ser observados.
