En 1724, la marquise de Prie, maîtresse du duc de Bourbon, choisit le quartier à la mode du faubourg Saint-Germain pour s’établir à Paris. L’hôtel dessiné par l’architecte François Debias est un modèle de l’architecture parisienne du règne de Louis XV :  contrairement au palazzo italien construit sur rue autour d’une cour à portique, l’hôtel particulier « à la française » s’élève entre « cour et jardin », protégé du bruit et de la saleté de la ville par un mur écran de part et d’autre d’un portail monumental. Dès 1725, Madame de Prie renonce au projet. La marquise de la Vrillière achève alors l’hôtel et s’y installe en 1728. On lui doit notamment l’escalier du vestibule, une des plus belles pièces de serrurerie de l’époque signée Chevalier, les mascarons et les frontons - deux anges assis sur des nuages tenant un écusson aux armes, côté cour ; Flore et des putti jouant avec des colliers de fleurs, côté jardin - sculptés par Fauquier. En 1733, l’hôtel est vendu à Louise-Elisabeth de Bourbon-Conti, petite-fille de Louis XIV qui y vivra plus de quarante ans.

A sa mort en 1775, son petit-fils, le comte de la Marche, hérite de l’hôtel de Conti qu’il s’empresse de vendre, pour régler les créanciers de la princesse, le 20 janvier 1776 au comte de Brienne. D’importants travaux de rénovation et de décoration (lambris, lustres, glaces, tableaux, mobilier, etc.) hissent alors l’hôtel au rang des somptueuses demeures aristocratiques. Le décor de style néo-classique du salon rouge au rez-de-chaussée est réalisé à cette époque. Le 18 mai 1787, la crise financière conduit le frère du comte, l’archevêque Loménie de Brienne à devenir ministre des Finances de Louis XVI. En août, il reçoit le titre de « ministre principal » et procède à quelques nominations dont Athanase, lieutenant général des armées du roi depuis 1780, au poste de secrétaire d’Etat de la Guerre. Cependant, ne parvenant pas à faire accepter son plan d’économie, il démissionne le 25 août 1788, suivi de peu par son frère (28 novembre 1788).

Sous la Révolution, retiré sur ses terres, Athanase est élu maire de la commune de Brienne-le-Château, mais en 1794, le Tribunal révolutionnaire décide l’arrestation des deux frères : Mgr de Brienne meurt le 19 février (attaque ou suicide) ; Athanase est guillotiné le 10 mai. Confisqué, le luxueux hôtel est transformé en bureaux pour diverses commissions révolutionnaires, les services des subsistances militaires y demeurant jusqu’en février 1796. Lorsqu’il lui est restitué, Mme de Brienne le vend à François Ségui (1798), fournisseur des armées, qui doit le céder à Joseph Lanfrey en 1800 pour éponger ses dettes. 

D’abord locataire, Lucien Bonaparte l’achète en 1802 et en fait « une résidence magnifique, d’un goût sobre et délicat, sans clinquant ni colifichets » avec une galerie pour sa splendide collection de tableaux. Après son mariage avec Alexandrine de Bleschamp, désapprouvé par Napoléon, Lucien forcé de quitter la France pour Rome, se résout en 1805 à vendre l’hôtel à sa mère qui va modifier sensiblement la propriété : achat d’une partie des terrains du couvent Saint-Joseph, construction d’une chapelle et d’une orangerie, surélévation de l’aile basse côté jardin, etc. Comme d’autres hôtels du quartier, où Napoléon, qui a un faible pour le « noble faubourg », pousse ses maréchaux à s’installer, la demeure de Lucien puis de Madame Mère, n’a jamais vraiment abandonné son patronyme d’Ancien Régime. 

A la chute de l’Empire, une ordonnance de Louis XVIII autorise le 23 mai 1814 l’affectation de l’hôtel de Brienne « à l’habitation personnelle du ministre de la Guerre et à l’établissement d’une partie de ses bureaux ».  L’acquisition, finalisée en 1817, pour la somme de 852 833 francs (avec le mobilier) fait entrer l’hôtel dans le domaine public qu’il ne quittera plus. Depuis il est devenu républicain, mais il est définitivement associé à Brienne, cette famille qui sut servir les rois de France depuis Henri IV.