Nela, no Século XVIII, existiu uma fortaleza que, situada na boca (entrada) da baía de Paraty, vigiava a entrada dos navios no porto assegurando a proteção da cidade e do embarque do ouro das Minas Gerais para o Rio de Janeiro, de onde seguia para Portugal. A este Forte cabia disparar um tiro de canhão às 6h00 permitindo a entrada dos navios no porto, e outro tiro às 18h00 para encerrar a atividade portuária. Com a mesma finalidade foi instalada na Ponta Grossa que lhe fica em frente uma outra fortificação, no Século XIX. Da Fortaleza restam somente os canhões. Alguns atribuem seu nome – Mantimento – ao fato de que ali se guardariam os gêneros alimentícios (mantimentos) destinados a abastecer as fortalezas mais próximas, outros ao fato de que ela mantinha a cidade segura e livre dos ataques piratas e outras invasões, o que parece ser o mais acertado. Em razão do notável sistema defensivo do porto, 7 fortificações ao longo do canal de navegação, a cidade nunca foi atacada ou invadida por piratas ou corsários.
