Aan het begin van de dertiende eeuw werd Kasteel ter Kleef gebouwd. Het was een rechthoekig gebouw waaraan in de veertiende eeuw uitbreidingen werden toegevoegd. Aan de noordzijde was dat een keukenvleugel en tegen de noordwesthoek was een traptoren gebouwd, waarmee verschillende verdiepingen bereikt konden worden. Later werd er een muur op het terrein gebouwd, zodat er een binnenplaats ontstond.
Begin vijftiende eeuw werd Huis Ter Kleef overgedragen aan Margaretha van Kleef, gravin van Holland, die de naam Ter Kleef vermoedelijk aan dit huis gaf. Na Margaretha kwam het huis in bezit van de adellijke familie van Brederode, tot omstreeks 1700.
Een populair spel toentertijd onder de adel was ‘kaatsen’, een vroege vorm van tennis. De eigenaar van het kasteel, Hendrik van Brederode (1531-1568) bouwde vanwege de populariteit van het spel, een overdekte kaatsbaan in Huis ter Kleef. Van het kasteel uit 1500 is alleen een ruïne over maar de kaatsbaan heeft de eeuwen doorstaan.
De ruïne werd in 1715 gekocht door de stad Haarlem. Op dit terrein werd in het begin van de twintigste eeuw de stadskwekerij aangelegd. In de jaren die daarop volgde werd het hele terrein heringericht, zoals wij nu het stadspark kennen.