Declarada Monumento Nacional en junio de 1931, la ermita se construyó en el siglo XII sobre una anterior, visigoda, del siglo VII, cuya fundación se atribuye a San Frutos (642 - 715), patrón de la provincia de Segovia, y sus hermanos, San Valentín y Santa Engracia.
El acceso al promontorio sobre el que se encuentra la ermita se realiza a través de un pequeño puente de piedra construido en 1757 que salva un abrupto cortado conocido como La Cuchillada. Según la tradición esta profunda grieta fue abierta milagrosamente por el santo con su bastón para detener a los musulmanes y proteger a los cristianos que pedían su ayuda.
La ermita se encuentra en el Parque Natural de las Hoces del Río Duratón, paraje protegido que comprende el entorno de las hoces que este río tiene en su curso medio. Estas son el cañón que el Duratón, afluente del río Duero, ha excavado en una zona de roca caliza entre las localidades de Sepúlveda y Burgomillodo, al noroeste de la provincia de Segovia. El río discurre durante 27 km encajonado en el cañón que ha excavado en el sustrato calizo. En el último tercio de este recorrido traza meandros con paredes que alcanzan los 100 metros de altura en algunos puntos y sirven de lugar de nidificación a muchas especies de aves, especialmente buitres. Se distinguen tres ambientes distintos. La parte alta está ocupada por páramos donde abundan sabinas y enebros, muy afectados por la intervención del hombre. Existen también poblaciones de pinos resineros asentadas sobre sustrato arenoso. El fondo del cañón, a excepción de la zona inundada por el embalse, está ocupado por un bosque de ribera compuesto por sauces, chopos y alisos entre otras especies. Las paredes de los cortados rocosos dan sustento a una vegetación propia de la roca, adaptada a la escasez de suelo y agua.
