De baron hield zijn kunstcollectie niet voor zichzelf. In zijn woning in Zwitserland liet hij de bezoekers meegenieten van zijn immense kunstcollectie: in de kamers, zalen en zelfs in het park stelde hij werken van beroemde meester tentoon.
Zijn belangrijkste verzameling niet-Europese kunst schonk hij aan de stad Zürich en deze schenking vormde de basis voor het daar aanwezige museum Rietberg. Waardevolle schilderijen van Europese meester kwamen terecht in het Von der Heydt-Museum in zijn geboortestad Wuppertal. Het Von der Heydt-Museum is het belangrijkste kunstmuseum van de Duitse stad Wuppertal in de deelstaat Noordrijn-Westfalen. De gemeentelijke cultuurprijs van de stad draagt zijn de naam.
In 1964 overlijdt de baron.
