Die in der Eisenzeit bzw. im Frühmittelalter angelegten Ringwälle auf dem Wilzenberg zeugen von einer frühzeitigen Besiedlung des Schmallenberger Sauerlandes. Bedeutsam für die Entwicklung Schmallenbergs wurde, neben der ebenfalls in das Frühmittelalter zurückweisenden Geschichte Wormbachs - eine der Urpfarreien des Sauerlandes - die Gründung Kloster Grafschafts durch den Kölner Erzbischof im Jahre 1072. In der Gründungsurkunde werden mehrere heutige Ortsteile genannt, nicht jedoch die Kernstadt selbst, wenn man einmal von dem noch heute als Flurnamen existierenden Lenninghof absieht.
Doch auch Schmallenberg verdankte seine Existenz kölnischem Einfluss, da sich der Ort angelehnt an eine kölnische Burganlage entwickelte, die um 1200 gegen die benachbarte Grafschaft Arnsberg errichtet worden war. Aus einem Burgflecken erweiterte er sich im ersten Viertel des 13. Jahrhunderts zu einer kleinen Burgstadt, die 1228 durch die Nennung eines Zeugen „Alexander de Smalenburg" belegt ist. Sechzehn Jahre später nahmen „magister, consules" und die gesamte Bürgerschaft der Stadt Schmallenberg den kölnischen Vogt Johann Kolve in ihr Gemeinwesen auf und umgaben dieses mit einem Mauerring. Die darüber ausgestellte Urkunde wird heute als Gründungsurkunde und das Jahr 1244 als Gründungsjahr angesehen.
In Schmallenberg wurde schon früh mit Eisen- und Textilwaren gehandelt. Entsprechende Gewerbe siedelten sich an. Der Ort prosperierte auch dank der Fernkaufleute, die sich im 13. Jahrhundert nachweisen lassen, so 1274 in England ein Mann, der sich nach Schmallenberg nannte. 1312 starb in Boston in England der Münsteraner Kaufmann Wessel Schmallenberg.
Die Bedeutung der Stadt wird nicht zuletzt auch daraus ersichtlich, dass sie zu einer kölnischen Münzstätte wurde.
Mitte des 14. Jahrhunderts ist mit einer Einwohnerzahl von 700 - 800 Personen zu rechnen, eine Zahl, die nach einer mehrere Jahrhunderte währenden Phase wirtschaftlichen Niederganges erst um 1800 wieder erreicht wurde. Ein erneuter Aufschwung deutete sich ab der zweiten Hälfte des 17. Jahrhunderts mit dem Wiederaufleben des Metallgewerbes an. Er wurde im 19. Jahrhundert forciert durch einen Bedeutungszuwachs der Holzwaren- und vor allen Dingen durch einen Aufschwung der Textilindustrie, die für die „Strumpfstadt" Schmallenberg charakteristisch wurde. Diese war, wie auch das übrige kurkölnische Sauerland, nach dem Ende des Alten Reiches zunächst an Hessen-Darmstadt und 1816 an Preußen gelangt.
Einem letzten großen Stadtbrand vom 31. Oktober 1822 fielen nahezu alle Wohn- und Wirtschaftsgebäude zum Opfer. Beim Wiederaufbau ließ man sich von klassizistischen Bauvorstellungen leiten, die sich in charakteristischer Weise in Stadtgrundriss und Stadtbild niederschlugen. Schmallenberg konnte dieses historische klassizistische Stadtbild durch Kriegs- und Notzeiten hindurch bis heute bewahren.
Den letzten markanten Einschnitt in der Stadtgeschichte bildete die kommunale Neugliederung des Jahres 1975, mit der die beiden Ämter Schmallenberg und Fredeburg und die diesen angehörenden Gemeinden mit Teilen der ehemaligen Gemeinde Lenne zur neuen Stadt Schmallenberg zusammenwuchsen.
Diese ist seitdem - bezogen auf ihre Fläche - die größte kreisangehörige und nach Köln die zweitgrößte Gemeinde Nordrhein-Westfalens.