Il crée autour un parc « planté d’essences rares » et une chapelle néo-gothique (de nos jours connue sous le nom de « chapelle des fusillés »). À noter que le château royal de Neuilly est incendié au même moment, les vandales étant également sous l’influence de la boisson. Au début des années 1840, alors que la loi Thiers prévoit la création d’une forteresse sur le mont, l’église inachevée de l’évêque est détruite mais le fronton est conservé et replacé sur la façade du bâtiment de 1812, garni de colonnes qui auparavant ornaient le sanctuaire.
