Tras dos duras temporadas en Segunda División, el club sufrió una grave crisis económica que se consumó con su descenso administrativo por impago a los jugadores a la Segunda División B en la temporada 1981/82 después de haber quedado en un meritorio octavo puesto en la división de plata del fútbol español. Tras cuatro temporadas consecutivas en Primera División, el club desciende en la temporada 1979/80. En estas dos últimas temporadas del equipo en la élite, caben destacar jugadores como el centro campista Miguel Ángel Portugal o el defensa Antonio García Navajas, quienes también ficharon posteriormente por el Real Madrid.