Un premier manoir aurait été érigé sur le site vers 1730-1740 par le seigneur Pierre Aubert de Gaspé ou, suite à son décès, par sa veuve Madeleine Angélique Legardeur de Tilly. La date précise de construction et l’emplacement exact de ce bâtiment, de même que son architecture, nous échappent encore. Selon Philippe Aubert de Gaspé, les troupes anglaises y mirent le feu en 1759.

Un second manoir fut construit au lendemain de la Conquête vers 1762-1763. Les documents historiques, notamment plusieurs photographies anciennes, ainsi que les fouilles archéologiques menées entre 1988 et 1990 ont permis d’en documenter l’histoire et l’évolution.

Philippe Aubert de Gaspé, dans son roman « Les anciens Canadiens », décrit ainsi le manoir : « C'était une bâtisse à un seul étage, à comble raide, longue de cent pieds, flanquée de deux ailes de quinze pieds avançant sur la cour principale ». Cette description correspond au manoir tel que l'a connu l’auteur dans sa jeunesse et comme nous le présentent encore les photographies de la fin du XIXe siècle. Nous savons aujourd’hui que le manoir fit l’objet d’agrandissements successifs.

Le manoir Aubert-de-Gaspé reposait sur un solide solage de pierres au ras du sol et ne comportait pas de cave. Le carré était de pièces sur pièces assemblées à queue-d’aronde ou à coulisse selon la manière de construire au XVIIIe siècle. La charpente du toit, à comble raide, devait être de type croix de Saint-André, tel qu’il en existe encore quelques spécimens dans la région immédiate. Le bâtiment était recouvert de planches posées à la verticale et la toiture, percée de lucarnes, était recouverte de bardeaux de cèdre. La partie centrale était dotée de nombreuses fenêtres disposées avec symétrie, ce qui, avec les deux ailes, conférait à l’édifice l’allure classique d’une gentilhommière d’esprit français. Le manoir fut la proie des flammes le 30 avril 1909.

Philippe Aubert de Gaspé fait ses études classiques au séminaire de Québec. Il entreprend, par la suite, des études en droit et est admis au barreau en 1811. Cette même année, il épouse Suzanne Allison, fille de Thomas Allison, capitaine du 5e régiment de l’infanterie britannique.

Membre de la haute bourgeoisie de Québec, il participe activement à la vie culturelle, sportive et financière de la ville. Monsieur de Gaspé semble mener grand train de vie dans la capitale. Trouvé coupable d’un important détournement de fonds et incapable de rembourser, il est destitué de sa charge de shérif le 14 novembre 1822. Il se réfugie alors au manoir de ses parents ici même à Saint-Jean-Port-Joli. C’est là qu’il assiste son fils Philippe-Ignace-François dans la rédaction de son livre « L’influence d’un livre », considéré comme le premier roman canadien-français.

Sa retraite au Port-Joly dura 14 années où il vécut constamment au milieu des siens dans la crainte que ses créanciers ne le fassent emprisonner pour dettes, ce qui se produisit en mai 1838. Il ne sera libéré que trois ans plus tard.

À sa sortie de prison, Philippe Aubert de Gaspé, alors âgé de 55 ans, rejoint sa mère, son épouse et ses enfants qui se sont établis à Québec. En 1842, Catherine de Lanaudière s’éteint à l’âge de 75 ans. C’est ainsi que Philippe Aubert de Gaspé devient seigneur de Saint-Jean-Port-Joli.