El documento más antiguo del que se tiene referencia en la Hermandad lo constituyen unas Constituciones (Reglas) aprobadas el 2 de Enero del año 1773 por el Obispo D. Claudio Sanz y Torres, como consecuencia de los decretos de aprobación eclesiásticos del año anterior mediante Bula del R.P. Prior General de la Orden de Servitas Fray Francisco Raymundo Adán, de fecha en Roma en el Convento de San Marcelo de 1 de Abril de 1772.
Se fundó la Hermandad de la Virgen de los Dolores bajo la tutela de la Orden Tercera de los Padres Servitas, para dar culto a una imagen de la Virgen de los Dolores donada por el Beneficiado y Presbítero D. Manuel de Bargas.
La Hermandad ha sufrido los avatares históricos de nuestra ciudad, desde la invasión francesa, la desamortización de los bienes eclesiásticos, las revoluciones e inestabilidades de la segunda mitad del siglo XIX, y los enfrentamientos civiles de la década de los años 30 del siglo XX, que culminaron con la quema de la Iglesia de Santiago Apóstol y de la imagen, y la mayoría de los enseres de Nuestra Señora de los Dolores, exceptuando la diadema, el manto, una saya, un corazón con siete puñales y el Niño Jesús que actualmente la acompaña a sus pies, que se salvaron. En su dilatada vida vuelve a Santiago en 1899, y es nuevamente impulsada con carácter gremial gracias al apoyo del Obispo Fray Bernardo Martínez Noval en 1918. Tras la reapertura de la Iglesia de Santiago vuelve ya definitivamente a su casa en 1961.
Aunque la Hermandad penitencial es fundada en 1772, su primera salida procesional tiene lugar en 1876, siendo la primera procesión de Semana Santa que incluye el Paseo del Príncipe (actual Paseo de Almería) en su itinerario. Hasta entonces todos los cultos de reglas tenían lugar en la Iglesia. San Juan Evangelista acompaña a la Virgen en la procesión desde 1894.