Verderop aan de Amsterdamsestraatweg, aan de noord- westkant van Baarn, is de ingang van een mooier pronkgebouw, kasteel Groeneveld. Het werd rond 1700 gebouwd voor een Franse edelman in een stijl die je eerder aan een Amsterdamse gracht zou verwachten dan in een parklandschap.
Het kasteel, dat regelmatig door verkoop van de ene patriciërsfamilie overging naar de andere, werd aan het eind van de achttiende eeuw uitgebreid met de twee mooie halfronde vleugels die het nog altijd heel speciaal maken. In 1940 kwam het in handen van de Nederlandse staat, die het tijdelijk kwijtraakte aan de Duitse bezetter. Tegenwoordig wordt het beheerd door het ministerie van Landbouw, Natuur en Voedselkwaliteit, dat er onder meer tentoonstellingen over het Nederlandse landschap organiseert. Het wel erg overdadig opgeknapte huis is van dinsdag tot en met zondag te bezoeken tussen elf en vijf.
In het prachtige park van het kasteel heeft Staatsbosbeheer een wandeling van zes kilometer uitgezet, waarvan de brochure te krijgen is in de winkel van het kasteel. Het is een mooie wandeling, die we wel met heel veel andere bezoekers moeten maken, want het is hier altijd druk.
Van 1946 tot 1977 verhuurde eigenaar Staatsbosbeheer het kasteel aan de familie Colson.
Vooral de periode waarin de Amsterdamse fotograaf Joop Colson en later zijn dochter Mari het huis beheerden, is legendarisch. De Colsons stelden het huis open voor kunstenaars en zo woonde en werkte een deel van de Amsterdamse bohème van de jaren zestig en zeventig geregeld in het kasteel. In 1961 nam tijdelijk bewoner Jan Vrijman er bijvoorbeeld met tijdelijk bewoner Karel Appel een film op die onder de titel De werkelijkheid van Karel Appel werd uitgebracht en veel stof deed opwaaien, zowel in de wereld van de film als in die van de beeldende kunst. Ook werden er in en om het kasteel televisieseries opgenomen (Pipo de clown, Swiebertje en Farce Majeur), oefende het Amsterdamse kindercircus Elleboog er in de zomer en gaf Erik de Vries er namens de Nederlandse Te- levisiestichting cursussen televisieregie. In 1970 zond de VPRO er de laatste aflevering uit van de serie Picnic met onder meer een optreden van Sly and the Family Stone.
In 1946 vestigde hij zich op het door de Duitsers en Canadezen uitgewoonde Kasteel Groeneveld in Baarn. Zijn moeder Christina Colson was dat jaar in het kasteel een kindertehuis begonnen, eerder had zij in Groningen een tehuis voor weeskinderen.[8][9] De Colsons huurden het grote buiten van Staatsbosbeheer voor een symbolisch bedrag. Met zijn vrouw Ali bouwde Colson het kasteel om tot een vrijplaats voor kunstenaars. Tot de gasten behoorden Cees Nooteboom, Ed van der Elsken, Simon Vinkenoog, Jan Vrijman, Karel Appel en decorontwerper Weynand Grijzen.[10][11] Andere gasten waren dichteres Fritzi Harmsen van Beek, danser Hans van Manen en kunstschilder Bob Buys van wie Colson een aantal werken in bezit had.[12]
Na het overlijden van zijn vrouw Ali in 1965 bleef Joop Colson tot zijn dood op Kasteel Groeneveld wonen.[13] Na de dood van Colson maakte Jan Vrijman over hem de documentaire Een vervuld leven die op televisie werd uitgezonden. 