Ermita cuyos orígenes se remontan al siglo XIII. En 1219 llegaron los franciscanos a la provincia de Toledo y se instalan en la Bastida, a las afueras de la ciudad amurallada. Allí comenzaron su vida fraterna y allí comenzaron muy pronto a recibir novicios: el primero, Fr. Pedro Gallego, que después será un gran científico, amigo del rey San Fernando y sus hijos, profesor de la Escuela de Traductores de Toledo, y en torno al 1250 obispo de Cartagena (Murcia).
A finales del siglo XIII (hacia 1280), la comunidad franciscana cambia de domicilio y se traslada al interior de la ciudad. Su primera ubicación, ya dentro de la capital toledana, será la Casa de la Concepción, y aunque su extrema austeridad causa desagrado en los comienzos, pronto la gente se encariña con ellos y les toman mucho afecto. Pero con el paso del tiempo ciertas comodidades se van introduciendo en la Casa de la Concepción, y muchos hermanos, deseando una vida más austera, fiel al Evangelio y a la Regla de San Francisco, regresan a La Bastida (1447-54) o fundan eremitorios más pequeños en Ocaña, Recas, el Castañar, etc. (en toda Europa estaba surgiendo este movimiento de vuelta a las fuentes franciscanas y reinterpretación de la Regla; es lo que constituirá el inicio de la Observancia, frente a la Conventualidad).
En 1484-86, los Reyes Católicos obligan a que las dos comunidades franciscanas de la ciudad (los conventuales en la Concepción, y los observantes en la Bastida) a fusionarse en una sola comunidad: San Juan de los Reyes. Los que no aceptaron la fusión, salieron de la ciudad (según la leyenda que se cuenta, cantando el salmo "In exito Israel de Aegipto", "cuando Israel salió de Egipto...").
