La propriété sur laquelle se trouve le site passe de mains en mains, de seigneurs en seigneurs, mais ne sera concédée pour être habitée qu’en 1823¹ alors qu’Henry et William Les frères Atkinson ont construit une villa en 1823 sur le promontoire de Cap-Rouge, devant la rivière du même nom. Les Atkinson ont aménagé tout le promontoire et construit diverses structures dont une tour d’observation à l’extrémité sud. Des plans du 19^e siècle identifient l’emplacement de certains bâtiments, mais les archéologues doivent néanmoins établir des corrélations sur le terrain avec les vestiges de murs et de fondations qui apparaissent ici et là, sur le promontoire.Atkinson acquièrent cette terre, le 14 octobre. Ils y construisent une villa avec des écuries et aménagent le terrain en installant une tour, des jardins et un Terrain de jeu. Le terme est une adaptation de l’anglais Bowling Green (emplacement gazonné pour jouer aux boules). Il était employé à l’origine pour indiquer le lieu où l’on pratiquait cette activité. Par extension, le terme « boulingrin » en est venu à désigner le jeu lui-même.boulingrin.

La construction de la villa et de ses aménagements a donné lieu à certaines découvertes qui nous apparaissent maintenant cruciales pour la localisation des installations coloniales de Cartier et de Roberval.

Bien que la propriété Atkinson soit mise en vente dès 1835, c’est seulement le 4 décembre 1846 que James Bell Forsyth et Michael Stevenson s’en portent acquéreurs, sauf pour une réserve de terrain associée au cimetière. Dans les années qui suivent, on remarque des transformations dans l’aménagement de la propriété. Par exemple, on note l’installation d’un grand mât près de la tourelle d’Atkinson, entre le moment de la réalisation d’une gravure en 1850 et celui de la composition d’une peinture en 1880.

En 1875, la propriété est reprise par le shérif et passe ensuite aux mains de la Cap Rouge Pier and Wharf. Il est alors possible que d’autres travaux aient marqué le site pour répondre notamment aux besoins maritimes, dont le mât serait l’exemple de repère le plus apparent.