Der Baron behielt seine Kunstsammlung nicht für sich. In seinem Haus in der Schweiz ließ er die Besucher an seiner immensen Kunstsammlung teilhaben: In den Zimmern, Sälen und sogar im Park stellte er Werke berühmter Meister aus.
Seine bedeutendste Sammlung außereuropäischer Kunst schenkte er der Stadt Zürich; diese Schenkung bildete die Grundlage für das dortige Museum Rietberg. Wertvolle Gemälde europäischer Meister gelangten in das Von der Heydt-Museum in seiner Geburtsstadt Wuppertal. Das Von der Heydt-Museum ist das wichtigste Kunstmuseum der deutschen Stadt Wuppertal im Bundesland Nordrhein-Westfalen. Der städtische Kulturpreis der Stadt trägt seinen Namen.
Im Jahr 1964 verstirbt der Baron.
