Aufgrund seines Alters wird der Keckenturm gerne mit einer Legende in Verbindung gebracht, nach der die Gründung Schwäbisch Halls auf sieben Burgen beruhe. Der mittelalterliche Turm soll eine davon sein. Gesichert ist, dass der massive Steinturm um 1240 errichtet wurde. Eine dendrochronologische Untersuchung ergab, dass die eingebauten Holzbalken zwischen 1238 und 1241 geschlagen wurden. Der Bau war zur damaligen Zeit einer von mehreren Wohn- und Wehrtürmen in der Stadt. Sowohl die Massivität als auch die Ausrichtung in die Höhe sprechen dafür, dass die Gedanken des Schutzes und der Verteidigung bei der Errichtung eine große Rolle spielten. Gleichzeitig diente ein derart imposantes Gebäude auch der Repräsentation. Bereits 1280 erfolgte ein Aus- und Anbau des Gebäudes. Der Fachwerkaufbau wurde erst 1508 ergänzt.
Bei barocken Umbauten wurden die mittelalterlichen Fenster (vermutlich Doppelfenster) durch große Fenster ersetzt, die das Erscheinungsbild stark veränderten. Der Turm wurde vom 14. bis ins 16. Jahrhundert von einer der reichsten Familien der Stadt bewohnt. Diese Familie von Keck gab dem Gebäude seinen Namen.

Der Turm, der den verheerenden Stadtbrand von 1728 überstand, ist heute eines der wichtigsten Baudenkmale aus der Stauferzeit im deutschen Südwesten. 1740 unterzog der damalige Bewohner Johann Lorenz Sanwald (1711-1788) das Innere des Gebäudes einer Modernisierung. In diesem Zusammenhang entstand der noch heute erhaltene barocke Saal im dritten Obergeschoss. Ein Deckenfresko und feiner Stuck zieren den Raum. Im 19. Jahrhundert zog eine Mädchenschule in den Keckenturm ein, bevor er dann in den 1930er Jahren die Sammlung des Historischen Vereins für Württembergisch Franken aufnahm und zum Museum wurde. Noch heute ist der Keckenturm das Herzstück den Hällisch-Fränkischen Museums und als Baudenkmal eines seiner wichtigsten „Ausstellungsstücke“.

Im Keckenturmtrakt werden die Sammlungsbereiche von der Geologie, der Frühgeschichte über das Mittelalter und die Reformation bis zum Barock gezeigt. Unter dem Dach befindet sich die Abteilung zu Hall und Umland.