Der Ort liegt am südwestlichen Abhang der Flochberger Burgruine. Die sehr kleine Markung besteht nur aus dem Schlossberg. Ende des 17. Jahrhunderts (1689) und des 18. Jahrhunderts (1794) boten die Grafen von Oettingen-Baldern heimatlosen Menschen die Gelegenheit sich hier anzusiedeln. Da ihnen die bäuerliche Lebensgrundlage fehlte, verdienten sie ihr Einkommen als Tagelöhner, Heimarbeiter, Hausiererhändler, Maurer oder Musikanten.
	1806 kam Schloßberg an Bayern, 1810 an Württemberg. Bis 1820 gehörte der Ort zu Bopfingen und bis 1850 zu Flochberg. Danach war er selbständige Gemeinde. Im Jahr 1971 wurde Schloßberg nach Bopfingen eingemeindet.