En el año 1.944, D. Juan Fenoy López fundó la Cofradía bajo la advocación del Santísimo Cristo del Amor y Nuestra Señora del Primer Dolor. La fe y el entusiasmo, le lleva a pedir a un grandísimo número de almerienses una limosna para poder adquirir las imágenes de los titulares. Esta limosna debía ser humilde en lo material y grandiosa en la intención, sólo recaudaría diez céntimos por cada dávida, no aceptando cantidad superior pues su objetivo no andaba reñido con las desigualdades sociales.
La directiva, reorganizada, contaba con el apoyo incondicional de cerca de cuatrocientos cofrades, gran parte de ellos empleados de Banca y Oficinas, de aquí la denominación secundaria por la que se fue conociendo durante toda una época a la Cofradía. La sublime escena del Calvario, es representada con admirable sentimiento en 1946. Los equipos que vestían los penitentes compuestos por túnicas color hueso, cíngulos rojos y capuchones azules fueron confeccionados aquellos años por los talleres del Sindicato de la Aguja. Fue a partir de entonces cuando esta Cofradía empezó a destacar como una de las mejor organizadas y vistosas de nuestra ciudad procesionando en jueves Santo. Al año siguiente, en 1947, los titulares aparecen cada uno en sendos tronos. Desde 1952, la estación de penitencia de la Hermandad, cuenta con la nueva y bella talla de Nuestra Señora del Primer Dolor. Por estas mismas fechas, se realizan unas delicadas lágrimas para el rostro de la Virgen en los talleres del Consejo Superior de Investigaciones Científicas. También en este año aparece la Cofradía con las trece cruces de sudario, que componen el sencillo y emotivo Vía Crucis en el centro del tramo del paso del Cristo. Tiempo después, en 1960, la Cofradía acuerda realizar un primoroso manto de flores naturales que realza aún más la artística construcción del trono de la Virgen.
De esos mismos años, aproximadamente, data la noticia de la composición de un himno en honor de la Virgen del Primer Dolor. En esa época, gracias a las ofrendas de las velas que a lo largo de todo el año acompañar en el templo de la Parroquia de San Sebastián, a la imagen de la Virgen, se consigue construir para ésta, el altar en que actualmente se halla.