En 1840, suite à des tensions politiques, le renforcement de la protection des ports militaires est mis à l’ordre du jour. Cela se traduit à Toulon par la mise en place d’une ceinture de forts extérieurs allant du Mont Faron jusqu’au Cap Brun. Le Fort du Cap Brun, protégé par une enceinte de tracé pentagonal, a été conçu et réalisé, à cette époque, par le capitaine du génie Séré de Rivières. 30 ans plus tard, ce dernier sera l’organisateur du relèvement de la défense des frontières françaises après le désastre de 1870.
Devenu l’école des Timoniers de la Marine Nationale au cours du XXe siècle, après avoir servi de poste de défense aux allemands durant la 2nde Guerre Mondiale, le Fort sert aujourd’hui de résidence au Préfet Maritime de la Méditerranée. Il possédait également une batterie haute côté Ouest dont il ne reste que des ruines, ainsi qu’une batterie basse.
La Marine Nationale propose de céder le Cap Brun au Conservatoire du littoral dès 1993. Compte tenu de l'aspect symbolique du site à l'entrée de la rade de Toulon et vu l'accord de la ville de Toulon pour en assurer la gestion, le Conservatoire du littoral accepte l’affectation, qui a finalement lieu en 2002.
