Bei der Teilung der Monfortschen Gebiete fiel 1258 die Herrschaft Nüziders mit der 'Veste Nezudre' an die Werdenberger Grafen. Sie errichteten nach dem Brand der Burg 1404 in sechsjähriger Bauzeit ein neues, prächtiges Schloss, das den Namen 'Sonnenberg' erhielt.

Kaiser Friedrich III. erhob 1463 die Herrschaft Sonnenberg zu einer Reichsgrafenschaft und verlieh dem damaligen Besitzer Eberhard Truchseß von Waldburg den Titel Graf von Sonnenberg.

Hauptort der Grafschaft Sonnenberg, die den ganzen Walgau, das Klostertal, Stuben, Zürs, Omesberg, Zug und Älpele umfasste, war Nüziders. Sie war flächenmäßig die größte Grafschaft Vorarlbergs.

In einer Fehde zwischen Herzog Siegmund, dem Münzreichen von Tirol und Eberhard wurde das Schloß Sonnenberg am 13. März 1473 von Herzog Siegmund eingenommen und verbrannt. Schließlich verkaufte Graf Eberhard v. Sonnenberg 1474 seine Herrschaft an Herzog Siegmund, also an die Habsburger. Damit kam Nüziders 1774 zu Österreich. Das Schloss Sonnenberg wurde nicht mehr aufgebaut. Teile der Ruine sind bis heute erhalten geblieben.