El castillo fue levantado por la Orden del Temple, a la que Alfonso IX había cedido la aldea como pago por su ayuda en la conquista de la taifa de Badajoz. Tras pasar a manos portuguesas, don Dinís lo amuralló en 1298. Más tarde, en 1488, don Joao ordenó levantar la torre del homenaje, que resultó ser la más alta de Portugal. Tras pasar por manos portuguesas, españolas y francesas, Olivenza pertenece al reino de España desde 1801. Resultó muy dañado durante la guerra de la Independencia y por el abandono posterior, pero en 1975, el castillo fue restaurado y se convirtió en sede del Museo etnográfico de la ciudad.
