Contrairement à de nombreux ports normands construits en granit gris, Barfleur se distingue par l'utilisation massive du granit rose (ou granit à feldspaths roses) pour ses quais, ses maisons de pêcheurs et son église. Cette pierre locale donne au port une teinte chaude et caractéristique, surtout visible au coucher du soleil, ce qui en fait un sujet de prédilection pour les photographes et les peintres.

Au large de Barfleur s'est déroulée l'une des plus grandes batailles navales de l'histoire : la bataille de la Hougue. Opposant la flotte française de Tourville à la coalition anglo-hollandaise, cette défaite française a marqué la fin des ambitions de débarquement de Jacques II en Angleterre. Des épaves et des souvenirs de ce conflit reposent toujours dans les eaux environnantes.

Barfleur ne possède pas de digues artificielles massives comme Cherbourg. Son port est naturellement protégé par des récifs et sa configuration géographique, ce qui en fait un havre de paix relativement préservé des grandes tempêtes, bien que l'accès reste délicat pour les gros navires modernes. Cette configuration a favorisé pendant des siècles une activité de pêche artisanale et de cabotage.

Le port abrite le Musée Atelier de Barfleur, dédié à la mémoire des pêcheurs de la commune. Il rend hommage aux maris et pères partis pêcher la morue à Terre-Neuve sur des navires comme la Barfleuraise, un trois-mâts goélette emblématique. Ce musée conserve la mémoire d'une époque où la pêche lointaine était vitale pour l'économie locale.