In Castle Builder verkörpern die Spieler die Rollen von mittelalterlichen Bauherren, die ein Schloss errichten möchten.
In jeder Runde ziehen sie ein Plättchen aus der Plättchenauslage oder bauen ein Plättchen aus ihrem Plättchenhalter oder vom Markttableau an ihrem Schloss an. Dabei müssen sie darauf achten, dass immer die Muster (Himmel oder Mauer) oben und unten übereinstimmen. Außerdem dürfen die Plättchen nicht beliebig angebaut werden. Auf jeden Plättchen ist eine Zahl aufgedruckt. Auf einer neuen Ebene darf nur ein Plättchen angebaut werden, dessen Zahl der Summe der beiden Plättchen entspricht, auf die es gebaut werden soll.
Je höher die Spieler ihr Schloss bauen, umso mehr Schritte bewegt sich ihr Baron auf einem Weg der Markttafel weiter. Immer wenn er dabei ein Münzfeld betritt, erhalten die Spieler eine Münze. Wer als erster 7 Münzen gesammelt hat, hat das Spiel gewonnen.