Die kommenden Jahrzehnte prägen ein vielgestaltiges Hin und Her von Verpfändungen und Wiedereinlösungen, von Teilungen und Zusammenführungen, die – verwirrend und letztlich nicht ganz durchschaubar – ein nur unscharfes Bild jenes Schicksals ergeben, das Stadt und Burg in dieser Epoche aufgegeben war.Das zeigte sich schon bald. Nur wenige Tage später nämlich, am 25. November 1342, übergeben Ludwig der Baier und seine beiden Söhne dem Hochstift Würzburg ein Drittel von Burg und Stadt Rothenfels und Gemünden samt Zubehör". Am 14. Dezember 1342 verzichten daraufhin Ulrich II. und sein Sohn Ulrich III. von Hanau gegenüber den Söhnen Kaiser Ludwigs und dem Hochstift Würzburg auf ihre Rechte an Rothenfels und Gemünden samt Zubehör". Das nämliche erklärt Hohenlohe, das zu den Anhängern Ludwigs gehörte". Hanau und Hohenlohe sprechen ihren Verzicht nicht ohne Gegenleistung aus. Einer Urkunde vom 15. Dezember 1342 ist zu entnehmen, wie sie abgefunden wurden: Die Söhne Ludwigs des Baiern verpfänden zwei Drittel von Gemünden und ein Viertel ihres Anteils von Rothenfels ( = 1/6) an Würzburg für 4.600 Pfund Heller. Bischof Otto II. von Wolffskeel führte praktisch die Abfindung durch. Er zahlte 3.000 Pfund Heller an Hanau und 1.600 Pfund Heller an Hohenlohe". Für seine eigenen Teile leistete er eine Zahlung von 1.800 Pfund Heller. Damit wurden die Erbansprüche von Hanau und Hohenlohe abgegolten. Würzburg verfügte also jetzt zusammen mit seinem eigenen Anteil ( = 1/3) über 5/6 von Rothenfels. Diese bedeutenden finanziellen Belastungen konnte Otto II. von Wolffskeel nur dadurch erbringen, daß er seinerseits Güter versetzte". Obgleich das einiges einbrachte, vermochte der Bischof offensichtlich die Erwerbungen nicht zu halten, denn am 31. Januar 1343 verkaufte er an Heinrich von Reinstein, Domherr und Erzpriester zu Würzburg, die Festen Rothenfels und Gemünden und einen Teil der Feste Halleberg der Burggrafen von Nürnberg". Der Rest von Rothenfels (die Pflege und das Amt) wird 1342 vom Kaiser um 1.000 Gulden an Konrad von Seinsheim verpfändet", der die Burg für ihn verwalten sollte. Kurz danach gibt Ludwig der Baier einen Teil Rothenfels' an Ludwig von Hohenlohe.
Inzwischen hatte sich die politische Gesamtlage geändert, denn am 11. Juli 1346 wird Karl IV. zum König gewählt. Ludwig will, gestützt auf die Städte, als Bürgerkönig den Kampf ums Reich aufnehmen. Er hatte daher ein großes Interesse daran, seine in Franken liegenden Besitzungen wieder in seine Hand zu bekommen. Sie sollten ihm als Stützpunkte, aber auch als Unterpfand für Geldgeschäfte dienen. Ein Beispiel: Am 17. August 1346 verpfändete er an Graf Heinrich von Henneberg Burg und Stadt Gemünden sowie Burg und Stadt Rothenfels – jeweils zu zwei Teilen". Allerdings scheint der Henneberger nicht in den Besitz der Pfandsachen gelangt zu sein, denn mehrere Versuche Kaiser Ludwigs, von Würzburg die Lösung der verpfändeten Teile, darunter auch von Rothenfels, zu erreichen, schlugen fehl". Auch seine beiden Söhne Ludwig V. der Brandenburger und Stephan II., Pfalzgraf bei Rhein, schalteten sich ein und schrieben an Bischof Albrecht und das Domkapitel". Ebenfalls ohne Erfolg. Da Ludwig aber am 11. Oktober 1347 starb, hatten sich seine Intentionen unerwartet erledigt. Seine Söhne setzten die Verpfändungspolitik fort. So war Rothenfels 1347/48 an Heinrich von Dürrenwauch (Dürrwangen) vergeben". In der Folgezeit wird die Lage durch die wittelsbachischen Erbteilungen kompliziert. Bei seinem Tode hinterließ Ludwig sechs mögliche Erben, die zwei erwachsenen Söhne aus erster Ehe Ludwig V. und Stephan II. sowie die vier unmündigen Söhne der Kaiserinwitwe Margarete: Ludwig VI. den Römer, Wilhelm, Albrecht, und Otto V. Da eine dauernde gemeinsame Regierung des weiten Stamm- und Außenbesitzes durch diese sechs Brüder unzweckmäßig war, kam es zu Landesteilungen. Im Landsberger Vertrag vom 12. September 1349 wurde die Trennung in Oberbaiern und Niederbaiern wiederhergestellt, wobei u.a. Rothenfels und Gemünden an Oberbaiern fielen. Ludwig V. nahm Oberbaiern gemeinsam mit den Halbbrüdern Ludwig VI. dem Römer und Otto. In einer weiteren vertraglichen Regelung, dem Luckauer Vertrag vom 24. Dezember 1351, verzichteten Ludwig der Römer und Otto auf die Mitregierung in Oberbaiern. Dies ist der Hintergrund dafür, daß Ludwig der Römer am 24. Dezember 1351 die halbe Feste Rothenfels an Ludwig V. überweist und für sich sowie seinen Bruder Markgraf Otto all seine Getreuen in Rothenfels ihrer Eide und Gelübde entbindet". Würzburg erhält 1387 die Möglichkeit, den Pfandbesitz an Rothenfels ganz in seine Hände zu bekommen. Auf welchem Wege gelang dies Herzog Stephan II. übertrug 1354 seinen Anteil an den Burgen und Städten Gemünden und Rothenfels an seinen Bruder Ludwig V., Markgraf zu Brandenburg, der im Jahre 1355 den wittelsbachischen Anteil an Rothenfels dem Hochstift zum Pfand übergab '. Den Teil, der an Heinrich von Durmwang (Dürrwangen) verpfändet war, hatte er vorher von dessen Erben zurückerworben. Und fünf Jahre später (1360) empfingen die Brüder Fritz und Haintz Volkolt von Ludwig V. zwei Teile der Feste Rothenfels zu Lehen' . Den Rest des baierischen Anteils hatte Wolfstein inne. Ludwigs Anteil an Rothenfels und Gemünden fällt nach seinem Tode 1361 zwar wieder an Stephan zurück, und es kommt zu weiteren Verpfändungen. So gehen 1368 zwei Teile der Feste Rothenfels an Wilhelm und Heinrich Loterpeck und Friedrich Volkolt". 1374 werden Burg und Städte Rothenfels und Gemünden an Graf Gerlach von Hohenlohe vergeben". 1377 bestätigt das kaiserliche Hofgericht die Lehensoberhoheit Würzburgs über Rothenfels und Gemünden". Und 1379 kaufen die Brüder Lupold und Hans von Grumbach zu Arnstein sowie Adil von Tottenheim den halben Teil an Feste und Stadt Rothenfels von Ritter Hartung Fuchs von Dornheim sowie den Brüdern Hans und Hildebrand von Thüngen um 10.000 Pfund Heller".
Nachdem aber die wittelsbacher Herzöge Stephan III., Friedrich und Johann II. 1381 auf ihre dem Bischof Gerhard verpfändeten zwei Drittel an Gemünden und Rothenfels eine weitere Schuld von 6.000 Gulden geschlagen hanen", werden die wittelsbachischen Anteile an Gemünden und Rothenfels – auch Jagstberg und Lauda sind mit dabei – im Jahre 1387 im Zuge eines Konflikts zwischen Hohenlohe und Wittelsbach, der hier nicht weiter interessieren soll, um 9.500 Gulden an Würzburg verkauft". Der Kaufpreis entspricht in Höhe von 8.000 Gulden einem Betrag, den die Verkäufer den Grafen Günther und Heinrich von Schwarzburg schuldeten und den Bischof Gerhard von Schwarzburg übernommen hatte. Die Zahlung erfolgte ein Jahr später". Die Bestrebungen Würzburgs, im Raum Rothenfels seine Landesherrschaft zu verfestigen, werden durch verschiedene Maßnahmen ersichtlich. So taucht in einer Urkunde vom 4. Juni 1349 der Name eines Amtmanns von Rothenfels auf: Goldstein von Gattenhofen, der bereits 1343 als officiatus in Rotenfels bezeichnet wird", und kurz darauf (1354) wird Sybott (Seyboth) von RetterHbach (Rottersbach) als Amtmann und Vogt überliefert". Acht Jahre nach der ersten Nennung der »Stadt« Rothenfels ist auch der urkundliche Nachweis möglich, daß es damals ein würzburgisches Amt Rothenfels gab: Eberhard von Riedern, würzburgischer Domdechant, leiht nämlich 1350 dem Bischof Albrecht II. von Hohenlohe auf die jährlichen Gülten des Amtes Rothenfels und der dazugehörigen Dörfer 600 Pfund Heller". 1360 ist Gotz Stumpflin als Amtmann zu Rothenfels nachgewiesen" und im Jahre 1364 erscheint in einer Urkunde Gocz (Götz) von Sumeringen, der als Stiftskellner zu Rothenfels fungiert". Damit treten Würzburger Bedienstete, denen Verwaltung und Rechtsprechung in die Tat umzusetzen bzw. Wirtschafts- und Finanzdinge zu regeln, oblag, zum ersten Mal ins Licht der Öffentlichkeit. Erkennbar wird nun auch das Bestreben Würzburgs, Eigenleute anderer Herrschaftsträger zu kaufen. Im Jahre 1376 übergibt Graf Johann I. von Wertheim seine Eigenleute in zahlreichen Orten" und in den Zenten Karlstadt, Rothenfels, Arnstein und zu Retzbach um 4.500 Pfund Heller an den Würzburger Bischof". Gleichzeitig erwirbt Würzburg von den Grafen von Rieneck deren Leibeigene in verschieenen Orten, darunter auch solchen im Amt Rothenfels". Das Hochstift kaufte im Jahre 1383 in des vorgenanten unsers herren ampten vnd gerichten...zu Rotenfels die Eigenleute von Ditriche und Cunrat, Herren zu Bikkenbach"'. Entsprechendes geschieht 1395 mit den Rothenfelser Eigenleuten des Kunz von Espelbach". Die Zielsetzungen, die der Würzburger Bischof mit Rothenfels verfolgte, sind klar: Es galt, auf der rechten Mainseite an der Grenze gegen Mainz eine starke Befestigung zu gewinnen, um Gebietsansprüchen des Erzstiftes ein wirksames Bollwerk entgegensetzen zu können. Außerdem ließ sich im Zusammenspiel mit anderen Würzburger befestigten Plätzen dieser Region gegen die angrenzenden adeligen Territorialherren wie den Wertheimern oder Rieneckern ein wirksamer Abwehrblock aufbauen. Gleichzeitig diente Rothenfels jedoch der Herrschaftsverfestigung des Würzburger Bischofs selbst und damit der Intensivierung seiner Territorienbildung. Die Lage am Rande des Hochstifts war dafür günstig. Das Bemühen Würzburgs um Rothenfels trug damit expansiven und defensiven Charakter zugleich"'. Rothenfels war damals offensichtlich voll in die hochstiftische »Landespolitik« eingeschlossen. Als Bischof Gerhard von Schwarzburg (1372 - 1400) im Jahre 1387 den Text einer Einigung zwischen den Städten des Hochstifts und jenen des Stifts Fulda und dem Stift Fulda selbst entwarf, findet sich auf Würzburger Seite auch Rothenfels darunter' .
Wenngleich Rothenfels sich 1387 nun erstmals in der Hand des Würzburger Bischofs befand, so bedeutete dies nicht auch, daß dieser Zustand von Dauer war. Das Amt Rothenfels war eben nicht nur ein territorialer Baustein im Gefüge des Hochstifts, sondern auch ein beliebtes Objekt zur Geldbeschaffung und damit zur Verpfändung. Entsprechendes gilt für das Schloß, das sich zu einer Ganerbenburg entwickelt hatte, d.h. mehrere Familien hatten in der Form der Gesamthandsgemeinschaft jeweils Teile der Anlage (sog. Burggüter) inne". Die Urkunden insbesondere des 15. Jahrhunderts lassen dies deutlich werden. Das wechselvolle Hin und Her der folgenden Jahrzehnte läßt sich nicht lückenlos schildern, weil die Urkundenüberlieferung spürbare Lücken aufweist. War bei den bisherigen Verpfändungen des Würzburger Bischofs das Bemühen erkennbar, das Amt oder Teile davon nicht an fürstliche oder gräfliche Nachbarn auszugeben, so ließ sich diese Politik nun nicht mehr durchhalten. Der Bischof war sich wohl der Gefahr bewußt, die damit verbunden war; denn die Territorialnachbarn strebten danach, diese Pfänder ihrem eigenen Herrschaftsbereich einzuverleiben. Doch die Finanzkraft der Pfandnehmer und gewiß auch politischer Druck gaben den Ausschlag für ein Aufweichen bisher hochgehaltener Grundsätze. Um einen Eindruck der finanziellen Transaktionen zu gewinnen, seien die bekanntesten Verpfändungen dargestellt. Im Jahre 1398 verschreibt der Würzburger Bischof Gerhard von Schwarzburg dem Grafen Ludwig von Rieneck Teile des Schlosses Rothenfels mit seinen Zugehörungen um den Betrag von 4.500 Gulden"". Auf dem Schloß saß Götz Voit von Rieneck"', damals Amtmann zu Rothenfels. Ihm hatte Bischof Gerhard in den Jahren 1392, 1393 und 1395 um unterschiedlich hohe Beträge ebenfalls jeweils Teile von Schloß, Stadt und Amt Rothenfels bzw. von deren Einkünften verpfändet". Der Bischof teilte ihm 1398 mit, er solle den Grafen Ludwig und Thomas von Rieneck die Hälfte des Schlosses einräumen. Der Anteil sei zu 9.500 Gulden verpfändet". Am Christabend des Jahres 1398 überläßt Götz Voit von Rieneck mit Zustimmung des Würzburger Bischofs den beiden vorgenannten Grafen den halben Teil des Schlosses Rothenfels um den genannten Betrag". Intern einigen sich die beiden Grafen von Rieneck und Götz Voit von Rieneck, daß erstere 4.500 Gulden und letzterer 5.000 Gulden übernehmen '. Die Voite von Rieneck begnügten sich freilich nicht mit ihrem damaligen Anteil an Rothenfels, ihr Erwerbssinn erstrebte höhere Ziele. 1399 lieh sich Bischof Gerhard 4.015 Gulden von Götz Voit von Rieneck, wofür letzterem ein weiterer Teil von Schloß und Amt Rothenfels überantwortet wurde. Und nachdem Götz Voit von Rieneck im Jahre 1401 dem Würzburger Bischof weitere 1.000 Gulden vorgestreckt hatte", erwarb er am 10. Januar 1405 von Bischof Johann I. von Egloffstein (1400 - 1411) Schloß, Stadt und Amt Rothenfels um 19.500 Gulden". Er mußte indessen im Gegenzug Schloß, Stadt und Amt Gemünden dem Bischof herausgeben, das dieser den Grafen Ludwig und Thomas von Rieneck verlieh . Zur gleichen Zeit hatte Bischof Johann I. von Egloffstein von Ritter Ludwig von Hutten 1.700 Gulden aufgenommen, von denen zwar bereits 700 Gulden wieder zurückgezahlt waren; für den Rest aber hatte er neben dem Zoll zu Königshofen die Landbede von Rothenfels und Gemünden versetzt". Die Voite konnten offenbar die für sie schwierigen finanziellen Belastungen nicht lange tragen. Die Brüder Endres und Wilhelm Voit von Rieneck verkauften nämlich durch Vertrag vom 16. November 1412 um 7.000 Gulden an Heinz Rüd (von Collenberg), dessen Ehefrau Anna von Thüngen sowie an Balthasar und Sygemunt von Thüngen die Hälfte von Schloß und Amt Rothenfels. Würzburg sollte dem Vertrag zufolge Schloß und Amt nur zusammen (um 19.500 Gulden) lösen können . Wenige Jahre später war ein weiterer Teil der Burg zu Rothenfels vom Hochstift an Götz von Sumeringen verpfändet, denn Bischof Johann II. von Brunn (1411 - 1440) erlaubte dem Götz von Sumeringen, daß dieser seinen Anteil an seine Stiefmutter Anna und seinen Bruder Peter von Sumeringen für 40 Gulden versetzte'". Am Dienstag vor Weihnachten des Jahres 1419 überlassen Endriß und Wilhelm Voit von Rieneck mit Zustimmung des Würzburger Bischofs einen weiteren Anteil an Schloß, Stadt und Amt Rothenfels an Heinz Rüd von Collenberg und seine Ehefrau Anna von Thüngen um 4.500 Gulden"'. Auch die Grafen von Wertheim hatten noch Ansprüche auf Rothenfels, die allerdings augenscheinlich umstritten waren. Die Grafen Johann II. und Michel von Wertheim sowie Endres Voit von Rieneck und die übrigen Ganerben des Amtes Rothenfels einigten sich am 26. Mai 1422 vor Bischof Johann II. von Brunn zu Würzburg wegen ihrer gegenseitigen Ansprüche hinsichtlich Rothenfels auf fünf Schiedsrichter. Graf Friedrich zu Henneberg, Hansen Zolnern, Appeln vom Lichtensteyn, einer der Brüder Hanse und Fritze DruchseHe und Rauffen Hofwarten sollten mit Mehrheitsbeschlüssen über die Ansprüche bindend entscheiden' . Im Jahre 1446 erhält Eberhard von Riedern von Götz Voit von Rieneck um 3.650 Gulden ein Viertel - das im übrigen nochmals unterteilt und verpfändet war - von Schloß, Stadt und Amt Rothenfels'". Diese Transaktion war jedoch nur von kurzer Dauer, denn bereits ein Jahr später (1447) verkauft Eberhard von Riedern seinen Anteil an Philipp Voit von Rieneck'". Im Jahre 1466 wird das Interesse Wertheims am Rothenfelser Gebiet erneut sichtbar. Graf Johann III. von Wertheim erwarb von Eytel Voit von Rieneck und dessen Ehefrau Anna und dem Sohne Michel jenen durch Eytel Voits Eltern erworbenen, dem Stift Würzburg lehnbaren, halben Teil an Schloß, Stadt und Amt Rothenfels für 6.500 Gulden. Diese Summe wird auf Leynach und Steinfeld verschrieben. Ausgenommen von dem Erwerb sind zwei an Jörgen Voit von Rieneck und an die von Sainßheim (Seinsheim) verpfändete Teile'". Und Graf Johann III. von Wertheim setzte nach. Er brachte 1470 von den Brüdern Marxe und Hans Dyemer für 1.312 Gulden einen weiteren - allerdings kleineren - Anteil an Schloß, Stadt und Amt Rothenfels an sich, den diese von Marxe Dyemers Schwiegervater, Philipp Voit von Rieneck d.Ä., gekauft hatten'". Ein Jahr später - 1471 - erwarb Graf Johann III. von Wertheim durch zwei Verträge erneut Teile von Schloß und Amt Rothenfels. Der eine Vertrag mit Eytel Voit von Rieneck ging über 6.500 Gulden. Das Geld wurde wiederum auf Leynach und Steinfeld verschrieben; der andere Vertrag lautete auf 9.750 Gulden Kaufsumme. Auch hier war Eytel Voit von Rieneck Hauptbeteiligter, daneben wurde aber auch ein Anteil des verstorbenenen Jörgen Voit von Rieneck veräußert. Ein Teil des Eytelschen Verkaufsteiles war an die Saunsheim (Seinsheim) pfandweise versetzt'. Diese Rechtsgeschäfte führten im praktischen Vollzug zu Streitigkeiten. Jorge von Adletzheim und Martin Truchseß von Baldersheim entschieden nämlich 1474 die Differenzen zwischen Graf Johann III. von Wertheim und Eytel Voit von Rieneck wegen der gegenseitig verpfändeten Besitzungen Rothenfels, Lautterbach und anderer Güter. Dem Verpfändungsgeschehen waren jedoch nicht nur Burg, Stadt und Amt Rothenfels unterworfen, sondern auch einzelne Höfe. So verlieh Bischof Johann II. von Brunn 1426 dem Götz Iseneck von Wertheim den halben Teil des Hofes,»in der Lauter« bei Rothenfels gelegen, welchen er von Götz von Sumeringen gekauft hatte'". Nach dem Tode des Götz von Sumeringen belehnt Bischof Johann 1432 den Peter von Sumeringen als Erben mit dem Burggut auf dem Schloß zu Rothenfels, dem Haus an der Lauter mit sechs Äckern, Wiesen zu Mattenstatt, 17 Morgen Weinbergen zu Oberleinach, dem Einforst zwischen Sendelbach und Steinbach und mit Gütern zu Steinbach, Diebach und Rothenfels. Wie desolat die finanziellen Verhältnisse des Hochstifts Würzburg zur Mitte des 15. Jahrhunderts waren, zeigt die Tatsache, daß Bischof Gottfried IV. Schenk von Limpurg (1443 – 1455) im Jahre 1446 nicht in der Lage war, dem Bartholomäus von Bibra jene 250 Gulden Zins von einer Gesamtsumme von 2.000 Gulden zu bezahlen, die er ihm auf Schloß Rothenfels schuldete"'. Auch an Götz von Berlichingen waren Teile von Schloß und Amt Rothenfels verpfändet, wie die Verfügungen seines Testamentes deutlich werden lassen'".