En 1678 fue promovido a la mitra gaditana el Obispo Don Juan de Isla quién ejerció el gobierno de la diócesis entre 1679 y 1681. Por la estrecha relación que mantenía con la Orden del Carmen Descalzo contrajo el compromiso de fundar un convento de religiosos carmelitas en la ciudad de Cádiz.
Ante la imposibilidad del establecimiento en la capital, debido a las restricciones del cabildo gaditano, mostró su preferencia por una zona cercana. Tras pasar unos días del mes de abril de 1679 en la Iglesia del Castillo de la Isla de Léon, decidió adquirir una vieja heredad en el margen izquierdo del camino que lleva a Cádiz propiedad del Licenciado D. Juan Mateo Amador.
En diciembre de 1679, solicitó de los propietarios del señorío de la Isla de León, los duques de Arcos, la licencia para la Fundación del convento que le fue concedida bajo la condición de que estuviera bajo el patrocinio de San Joaquín y Santa Teresa de Jesús.
Finalmente en 1680, la Orden recibió de Don Juan de Isla, la donación de los terrenos en los que se establecería el primitivo convento.
Fruto espiritual del establecimiento de los frailes en la Isla de León, es la Hermandad del Carmen. De este modo tan elocuente justifica el Padre Prior Fray Pedro de San José, la fundación de la Cofradía , que celebró su primer cabildo el 24 de agosto de 1698:
“… que por cuanto los vecinos de esta Isla de la grande devoción que tiene a la siempre Virgen María del Monte Carmelo, Titular Nuestra hemos solventado hacer y fundar con efecto se a establecido y fundado en esta dicha Iglesia Cofradía y Cofraternidad formal del Santo hábito y escapulario de Nuestra Señora en virtud de licencia que para ello se ha obtenido del Muy Reverendo Padre Fray Juan de la Anunciación, General de nuestra Sagrada Religión, dada en el Convento de Criptana en 16 de mayo del año próximo pasado de 1698 …”
