Très vite, Rubens et ses collègues artistes comme Jacques Jordaens ont utilisé la maison comme décor pour leurs tableaux. Son disciple, Anthony van Dyck, était lui aussi impressionné par le sens esthétique de son maître. Il a dressé le portrait de l’épouse de Rubens, Isabella Brant, juste devant le portique. Son sourire n’est pas le fruit du hasard. Car Isabella et Peter Paul étaient très heureux dans cette maison qu’ils avaient achetée ensemble. Elle tenait les rênes d’une maisonnée de trois enfants et lui dirigeait l’atelier de peinture le plus réputé d’Europe.
Après la mort de sa fille Clara Serena et de sa femme Isabella, le silence s’est abattu sur la grande maison. Se sentant seul, Rubens a brièvement fui son malheur en acceptant des missions diplomatiques à l’étranger. Quelques années plus tard, la vie est revenue dans la maison grâce à Hélène Fourment, de 37 ans la cadette du peintre. Elle a en effet épousé Rubens et lui a donné cinq enfants. La maison sur le Wapper débordait à nouveau de vie. C’était à nouveau un foyer.