Nächster urkundlich nachweisbarer Besitzer war 1399 Bernt von Sleswig, da inzwischen die Herren von Friemersheim das Anwesen an die Grafen von Moers verpfändet hatten und die „Herrlichkeit Friemersheim“ nun zur Grafschaft Moers gehörte. 1403 wurde das Anwesen geteilt, und für den zweiten Teil des Anwesens ohne die Hofanlage waren nun die Grafen von Kleve als Lehensgeber zuständig. Der andere Teil mit dem Rittersitz wurde von den Grafen von Moers an „Sibert von Eyll“ zum Lehen vergeben und verblieb bis Ende des 16. Jahrhunderts in dieser Familie. Als letzter Lehensnehmer erhielt 1576 Reinhard von Eyll das Anwesen.

Nach dem Tode von Reinhard von Eyll wurde im Jahr 1590 die Drostenfamilie Pelden, genannt Cloudt, Lehensnehmer und Eigentümer des Rittergutes. Jost Winrich II. von Pelden hatte die Tochter Katharina von Eyll geheiratet. Bereits 1558 war der Vater Wilhelm von Pelden von Graf Herrmann von Neuenahr-Moers (1520–1578) zum Drosten der Grafschaft gemacht worden. Auch Jost Winrich wurde 1600 von den Oraniern zum Drosten ernannt. Zur Familie gehörte auch Reinhard von Pelden genannt Cloudt (1702–1770), Regierungspräsident des Fürstentums Moers. Das Anwesen verblieb nun als Herrensitz bis 1811 in der Familie von Pelden, genannt Cloudt und wurde in diesem Jahr an die Witwe vom Rath verkauft.

Das heutige Schlossgebäude wurde als Herrenhaus im Jahr 1657 errichtet. Der Westflügel des Anwesens wurde um 1716 angebaut. In seinem Erdgeschoss befindet sich der sogenannte „Schinkelsaal“, der nach den Entwürfen Karl Friedrich Schinkel gestaltet wurde. Der hinter dem Herrenhaus liegende Park ist wie der Moerser Schlosspark nach den Plänen von Maximilian Friedrich Weyhe, der auch den Düsseldorfer Hofgarten gestaltet hat, als Landschaftsgarten angelegt worden. Das Schloss befand sich von 1976 bis 2022 im Privatbesitz der Familie Block. Seit Mai 2022 ist Schloss Lauersfort im Besitz einer Gruppe um den Bauunternehmer Michael Todor aus Tönisvorst.