Au 13ème siècle, seul le château de Rochefort existe à l'emplacement actuel de la ville, et fait partie de la ligne de défense de Saintonge. Lorsque la famille de Rochefort disparait, le château est cédé à Philippe Le Bel puis à Édouard III d'Angleterre en 1360. De 1360 à 1665, le château de Rochefort passe entre les mains de plusieurs familles riches et puissantes, de Charles V à Henri IV. En 1665, pour tenter de redonner toute sa puissance à la marine française créée par Richelieu, Louis XIV demande à son intendant général de trouver un emplacement sur les côtes de l'Atlantique afin d'y construire un arsenal. L'intendant choisit le site de Rochefort qui présente de nombreux avantages stratégiques: le site de Rochefort situé à 20km dans les terres est protégé naturellement des attaques navales, et il est entouré de marais limitant les attaques terrestres, et les matières premières foisonnent dans la région de Rochefort. Le château de Rochefort a également une place symbolique: situé à moins de 40km de La Rochelle, ville protestante, il permet à Louis XIV d'installer un bastion catholique puissant en territoire protestant. A partir de 1666, la création de l'Arsenal Royal de Rochefort débute avec la construction du premier bâtiment, la Corderie Royale. La ville commence à se développer à partir de 1688. L'arsenal ferme définitivement en 1926, provoquant le déclin économique de Rochefort. Aujourd'hui, Rochefort est une cité qui est réputée pour le tourisme et pour ses thermes, construits en 1953.

Au 18ème siècle, Rochefort accueille en ses murs la construction de nombreux hôtels cossus et demeures bourgeoises. L'hôtel de Cheusses qui abrite depuis 1932 le musée naval, en est un exemple. Il fut construit à l'initiative de Gédéon de Lauzeré, et porte le nom du dernier seigneur de Rochefort, Jacques-Henri de Cheusses. Cet hôtel particulier occupe une place à part dans l'histoire de la construction de la ville de Rochefort. En tant que plus ancien bâtiment civil de la cité, il a servi à dessiner le plan de ville.
L’arsenal maritime est également un bâtiment historique à l'importance capitale pour la ville de Rochefort. La cité s'est développée autour de l'arsenal à partir de 1665. L'arsenal est composé de 3 parties: la maison du Roy, le Parc, la Corderie Royale et la forme de radoub. En 1831, Auguste Giral construit à l'entrée de l'arsenal de Rochefort la porte du Soleil dans laquelle le soleil se lève tous les 4 mars et 10 octobre de chaque année.
En 1777, Rochefort accueillit également l'un des trois plus grands bagnes français. Conçu pour recevoir environ 500 forçats, le bagne de Rochefort abrita en réalité près de 2500 prisonniers. Le bagne ferma définitivement ses portes pendant le Second Empire, mais quelques bâtiments sont encore visibles.
Rochefort, en plus de son bagne, possédaient 3 prisons flottantes situées dans la rade dans lesquelles furent déportés des prêtres catholiques (martyrs des pontons de Rochefort) pendant la Révolution.

Le site de l'arsenal de Rochefort a été réhabilité, et plus particulièrement la Corderie Royale, afin d'accueillir la chambre de commerce et d'industrie, la médiathèque, les sièges de la Ligue de Protection des Oiseaux et du Conservatoire du Littoral ainsi que le Centre International de la Mer.
Le Centre International de la Mer de Rochefort est avant tout un centre de recherches et de ressources en ethnologie. Il met à la disposition du public un centre de documentation important concernant l'histoire maritime et navale de l'Atlantique. Le centre propose également une exposition permanente sur la naissance de l'arsenal de Rochefort et la Corderie Royale. Le public peut découvrir les techniques de tissages des cordages du 18ème siècle, l'évolution des machines de confections des cordages, des instruments de mesure ainsi que des maquettes de bateaux. Le centre international publie régulièrement des ouvrages et cahiers sur les activités maritimes, et a pour mission d'organiser des expositions de découverte autour de la mer et des navires pour les écoles et associations de la région.
Depuis 1993, dans le cadre d'un partenariat entre la ville de Rochefort et la centre international de la mer, un association est née, "Hermione-Lafayette", autour de la reconstruction d'une frégate construite à l'arsenal de Rochefort et qui emmena le marquis de La Fayette participer à la guerre d'indépendance aux États-Unis en 1780. Le projet de l'association est de reconstruire la frégate Hermione en utilisant toutes les techniques de construction du 18ème siècle. Le chantier a officiellement débuté à la corderie de Rochefort le 4 juillet 1997, et l'Hermione devrait être mise à l'eau en juillet 2012 afin de terminer l'ultime phase de construction.