1841 – papirfabrik
P. Chr. Deichmann lejer fabrikken og sætter gang i papirfremstilling. Det var ikke det helt store industrieventyr. Fabrikationen blev udført med en primitiv teknik, og der var kun 3 papirsvende ansat.
1848 – nye folk
I 1848 dør Deichmann, og året efter sælges apparatur og retten til at drive virksomheden på auktion for 800 rigsdaler til papirmager Andreas Jørgen Culmsee. Culmsee familien leder i tre generationer fabrikken, i første omgang som lejere.

1852 – nu med damp og vindmølle
Frederik Leopold Culmsee bygger fabriksbygning og 1. sal på hovedhus, samt en hollandsk vindmølle. En papirmaskine drevet ved dampkraft bliver købt ind, og nu kommer der virkelig fart i papirfabrikationen. Nye fabriksbygninger og arbejderboliger bliver opført. Culmsee med familie flytter ind på 1. sal.
1859
Efter en tvangsauktion køber en broder Johan Christian Culmsee (sadelmager) ejendommen. F.J. Culmsee fortsætter som bestyrer og bor der med sine 2 sønner og 7 døtre.

1866 – Holger Drachmann – en sidehistorie
På det nuværende “Slamat” på den anden side af søen, befandt den lokale skole sig. Her boede og arbejdede Christian Hansen, som var gift med en kusine til Holger Drachmann.
Holger Drachmann kom på besøg og udforskede omegnen. Han var ivrig for at finde motiver til sin kommende karriere som kunstner og fik en aftale med Hr. Culmsee om at lave studier med henblik på at male ejendommen. Som følge deraf havde han sin daglige gang i huset. Her forelskede han sig hemmeligt i datteren Polly. En dag under en middag i huset deklarerer Culmsee datteren Pollys forlovelse med forpagteren på “Lottesminde”. Det bliver for meget for den følsomme Holger, som resolut forlader bordet og til alles forbløffelse og ikke uden dramatisk effekt, springer ud af vinduet.
(Det originale vindue sidder nu i husets festsal)
Holger Drachmann forlader herefter egnen.
Holger Drachmann vender tilbage i 1876, hvor han opsøger Polly, som er i krise med sin mand. Holger og Polly får barnet Gerda sammen i 1877, men snart efter forlader Polly Holger, og i 1879 gifter han sig med søsteren Emmy Culmsee. De tager sig af Gerda og får sammen yderligere 4 børn.
I perioden er de knyttet til gruppen af de berømte guldmalere i Skagen og Hornbæk.
I 1887 møder Holger Drachmann syngepigen Amanda Nilsson, som han holder som elskerinde.
Emmy og Holger bliver skilt i 1903 p.g.a. en ny elskerinde Soffi, som han gifter sig med.

1867 – storhedstid for papirindustrien
I 1867 flyttede F.L. Culmsee til Norge, hvor han var med til at udvikle papirindustrien. Sønnen Valdemar Culmsee overtog driften i Havreholm. Fabrikken moderniseres og udbygges på den anden af side af søen. Han var veluddannet og arbejdsom. Fabrikken gik i døgndrift, og man siger, at han fik lavet et talerør ved sin seng, så han kunne give sine ordrer, hvis han kom i tanke om noget.
Med 100 ansatte og dertil underleverandører var fabrikken i en størrelse, der rakte ind i fremtiden. Da Hornbækbanen var på tegnebrættet, overvejede man at lægge sporet forbi Havreholm for at imødese behovet for transport fra fabrikken. Den foregik ellers med hestevogn til Kvistgård og derfra videre med tog.
Idéen blev droppet, fordi Valdemar Culmsee besluttede at bygge en fabrik på Nørrebro. Den fungerede fra 1874 – 1933

1872 – Havreholm slot
Valdemar Culmsee opførte i 1972 Villa Havreholm i nærheden og fraflyttede den gamle direktørbolig på Bøtterupvej. Det nye “Havreholm Hus” blev bygget i en overdådig historicistisk stil, der snart gav det navnet “slottet” blandt de lokale.
Det har hængt ved. I dag hedder bygningen Havreholm Slot og rummer hotel og konferencecenter.

1900 – bageri
I 1900 blev ejendommen solgt til bager Hans Peter Hansen og indrettet til bageri. I 1930 overtager Emil Nielsen ejendommen, og det bliver til Havreholm bageri. Der var stald til 12 heste, og kuske bragte brød ud til bageriudsalg i området.
Der findes forskellige anekdoter om hestene:
“Sleipnir fik en seddel i grimen, når den skulle til smeden i Havreholm, så klarede den selv opgaven.”
“En medarbejder skulle låne et køretøj, fordi han skulle flytte. Hesten, der var brøduddeler, stoppede automatisk ved alle de steder, hvor der skulle afleveres brød og var ikke til at drive videre, før der gået et par minutter.”

1900 – bageri
I 1900 blev ejendommen solgt til bager Hans Peter Hansen og indrettet til bageri. I 1930 overtager Emil Nielsen ejendommen, og det bliver til Havreholm bageri. Der var stald til 12 heste, og kuske bragte brød ud til bageriudsalg i området.
Der findes forskellige anekdoter om hestene:
“Sleipnir fik en seddel i grimen, når den skulle til smeden i Havreholm, så klarede den selv opgaven.”
“En medarbejder skulle låne et køretøj, fordi han skulle flytte. Hesten, der var brøduddeler, stoppede automatisk ved alle de steder, hvor der skulle afleveres brød og var ikke til at drive videre, før der gået et par minutter.”

1982 – Klosterris rideskole
Ann Erwall, Jørn Larsen og deres sammenbragte børn købte sig ind i ejendommen, som de senere helt overtog. Stedet dannede fra 1985 rammen om det socialpædagogiske opholdssted for børn og unge.
I 1998 startede Ann islænderrideskolen Klosterris med rideundervisning og rideterapi.
I 2005 indrettedes også Bed & Breakfast, hundekennel, vinimport og Jørns handyman,- design- og musikproduktionsvirksomhed.