Der schwarze Basalt des Hopfenbergs, an dessen Westhang die Burg im Tal der Schmalen Sinn errichtet wurde, soll der Burg den Namen gegeben haben.

Da es weder früh- oder vorgeschichtliche Zeugnisse gibt, nimmt man an, dass die Anlage kurz vor ihrer ersten urkundlichen Erwähnung - 1280 - erbaut worden ist und zunächst Reichslehen der Herrn (später Grafen) von Hanau war.
Die Herren von Hanau benannten damals einen Vogt als Zeugen, den Ritter "Gotfridus advocatus von Schwarzenfels"

Bauherr und Alter sind ebenso umstritten, wie die Herkunft der Gerichtsbarkeit, die sich zumindest von einer Gerichtsstätte auf dem Breiten First ableiten läßt. König Rudolf I. von Habsburg, der sich um Rückgewinnung des im Interregnum (kaiserlose Zeit 1256-73) widerrechtlich angeeigneten Reichsgutes bemühte, ernannte Reinhard II. von Hanau (1227-80) zu seinem Stellvertreter in der Wetterau, mit den Aufgaben eines Landvogtes. Dieser begann im Kampf mit nach Reichsunmittelbarkeit strebenden Ritterschaft und verwildertem Stiftsadel seine politische Hausmacht zwischen den geistlichen Territorien Fulda und Würzburg durch Gebietserweiterungen auszudehnen. Um die vom Kerngebiet entfernten Neubesitzungen zu sichern, wurden an verteidigungsfähigen Plätzen strategische Stützpunkte mit Wehr- und Wohncharakter angelegt, die das Haus Hanau als Reichslehen erhielt und zur Wahrnehmung seiner Interessen an Amtmänner und Vögte verlieh.
Jedoch bekamen weitere Vasallen Teile dieser Burg mit samt ihren dazugehörigen auswärtigen Besitzungen als Lehen. Damit wurden diese verpflichtet im Verteidigungsfall Beistand zu leisten und auch für den Unterhalt ihrer Besitzungen aufzukommen. Da manche dieser Untertanen Teile ihres neu erworbenen Besitzes als Lehen ihrerseits weiter gaben, wurden die Eigentumsverhältnisse immer undurchsichtiger und es kam immer häufiger zu Fehden.

Die bereits im Mittelalter durch Handelsstraßen zugängliche südwestliche Rhön, in der Straßen und Landesgrenzen mit Flußtälern und Gebirgsrändern zusammenfallen, bot mit wald- und wildreichen Gebieten, mit Ackerbau und Viehzucht, durch Erhebung von Wege- und Brückengeldern sowie des Zehnten gute Einnahmen, deren Eintreibung dem Amt oblag.

1. Bauperiode Ende 13./Anfang 14.Jahrhundert, Amts- und Gerichtssitz

Schwarzenfels wurde im späten 13. Jahrhundert als verteidigungsfähiges Verwaltungszentrum und Gerichtssitz der Herren von Hanau angelegt.
Im Ursprung handelt es sich um eine typische Zungenburg, wobei in diesem Fall die Schildmauer, deren Reste heute noch am Bergfried zu erkennen sind, erst bei der Hauptburg anzutreffen war. Vermutlich ist dies darauf zurück zu führen, dass sich die ursprüngliche Anlage auf die Hauptburg beschränkte und die Vorburg erst später entstand.
Kern der Wehranlage war der 26 m hohe Bergfried (1) mit Schießscharten und Verließ. Der Kupferstich zeigt ihn mit Aufsatz aus dem 16. Jahrhundert. Der verfallene Turm wurde 1974/75 wiederhergestellt und dient als Aussichtsturm. 
Die Vorburg ist in ihren wesentlichen Bestandteilen noch recht gut erhalten, besteht aber überwiegend aus neuzeitlichen Bauelementen. Die Ruinen der Burgkapelle (Margarethenkapelle), die 1305 und 1311 urkundlich erwähnt wurde, befinden sich in der Hauptburg. 

Nördlich vom Bergfried bildete ein vermutlich zweistöckiger, nicht mehr vorhandener Palas (2) die Begrenzung der Hofseite, hier sicher als Amtshaus genutzt. Eine am Westgiebel erhaltene dreiteilige Fensteranlage mit flaschen Rundbogen läßt einen An- oder Umbau des 16. Jahrhunderts vermuten.

Schon früh hatte die Burg eine Kapelle (3). Es war die 1305 und 1311 urkundlich erwähnte Margarethenkapelle. Der erhaltene Bauteil auf quadratischen Grundriß mit flachem Kreuzgratgewölbe, das vn einem kräftigen Rundpfeiler gestützt wird, ist zu besichtigen. Die zur Vorburg hinausführende Rundbogenpforte wurde nöchträglich in das Buckelquadermauerwerk eingebrochen.

Die Siedlung um die Burg bildete sich im 14. Jahrhundert.

2. Bauperiode 16. und 17. Jahrhundert, Witwensitz und Residenz

Im 16. und 17. Jahrhundert wurde die Burg schlossartig umgebaut, um zusätzlich als Wohnsitz für die Witwe Philipps III. von Hanau, Elena von Pfalz-Simmern, zu dienen:

• der Südflügel (4) der Hauptburg, ein mehrstöckiger Wohnbau, von dem Gewölbe und zwei vorspringende, verfallene Treppentürme (5) und (6) mit den Jahreszahlen 1553 und 1570 erhalten sind.
• der zweigeschossige Marsstall (7), der zunächst der gräflichen Hofhaltung gedient hat. Über dem reich profilierten Spitzbogenportal befindet sich die Jahreszahl 1557 und neben dem runden Treppenturm an einem späteren Vorbau die von 1583 (12). Unregelmäßig gruppierte Vorhangfenster wie in Schloß Steinau a. d. Straße erlauben die Zuschreibung an den Steinauer Meister Asmus
• ein am Westflügel der Hauptburg nach Süden vorspringender Anbau (8), vermutlich Wirtschaftsgebäude, mit der an einem seiner Eckquader erkennbaren Zahl 1561. Die vom Vorhof eingebrochene Tür mit dem Waldeck- Wappen entstand nach der Eheschließung Philipp Ludwig I. von Hanau mit Magdalena von Waldeck 1576.
• der den Hof der Hauptburg nach Westen abschließende schiefwinklige Bau (10), mit als Ruine aufragenden Mauerresten und Fenstern. Ein nördlich davon erhaltener gewölbter Torbau  (11), vielleicht Teil des früheren Treppengebäudes, trägt neben den Wappen Hanau und Waldeck die Zahl 1580.
• der erhaltene Turm der Vorburg-Toranlage (9) von 1575, heute Glockenturm

Von 1605 -1642 war das Schloß neben Verwaltungssitz auch 'Residenz Graf Albrechts von Hanau-Schwarzenfels und seines Sohnes Johann Ernst. Eine nicht erhaltene, zur Hauptburg emporführende zweiarmige Freitreppe, vor dieser ein Brunnen (13) mit Wappenschilden und Karyatiden sowie ein reich mit Wappenschmuck, korinthischen Säulen und Relieffiguren verziertes barockes Portal von 1621 (14) zeugen vom Glanz der neuen Epoche, der freilich nicht lange währte.
Während der letzten Hälfte des Dreißigjährigen Kriegs verlor die Anlage ihre Bedeutung als Verwaltungssitz. Gegen dessen Ende teilweise zerstört und die Hauptburg verfiel anschließend immer mehr, da sich die Schlossbauten hauptsächlich in Bereich der Vorburg befanden. 1746 entstand ein neues Wohnhaus (15) in der Vorburg.

Vom Ort Schwarzenfels aus ist die Burg auf gut ausgebauten Wegen bequem zu erreichen.