Der Ort wurde als Waldhufendorf am Dorfbach Losse gegründet und liegt in einem Tal, dass vom Wachberg, Tannenberg und Haselberg umrahmt ist.
Die Geschichte geht in das 13. Jahrhundert zurück. Rückersdorf war damals als bischöflicher Besitz ausgewiesen. Fast 200 Jahre bliebt es anschließend unerwähnt, bis es 1433 in einem Bericht wieder auftauchte.
Das Dorf gehörte zum bischöflichen Amt Stolpen und kam mit diesem 1559 in kurfürstlichen Besitz. Im Jahr 1766 wurde der Ort von einem Brand heimgesucht, der die Kirche, das Pfarrhaus, die Schule und sieben Bauernhöfe zerstörte. Die Kirche wurde ein Jahr später wieder aufgebaut.
Der zumeist landwirtschaftlich genutzte Gemeindeflur wird heute hauptsächlich von Wiedereinrichtern bewirtschaftet.
Rückersdorf wurde 1997 als Förderdorf in das Dorferneuerungsprogramm des Landes Sachsen aufgenommen.
Zahlreiche Erneuerungen an Privathäusern konnten bereits durch diese Förderung vorgenommen werden, so auch die Sanierung des neuen Gemeindezentrums mit Kegelbahn, dessen Einweihung im Juni 1998 erfolgte.
Mit der Schaffung des Dorfplatzes vor dem Gemeindezentrum sind Park- und Freiflächen sowie ein Kinderspielplatz entstanden.
Im Jahr 2023 feiert der Ort sein 800-jähriges Jubiläum.