선조 38년 (1605) 동래부사 윤훤(尹暄)이 읍성의 남문 안에다 충렬공 송상현의 충절을 기리기 위해 송공사단(宋公祠壇)을 세운 것이 충렬사의 시초가 된다.
인조2년 (1624), 선위사(宣慰使) 이민구(李敏求)의 소청(訴請)으로 임금이 충렬사(忠烈祠)라는 사액을 내림과 동시에 부산진첨절제사(釜山鎭僉節制使)로 부산진성 싸움에서 전사한 정발이 배향(配享)되었다.
효종3년 (1652), 동래부사 윤문거(尹文擧)가 성내의 충렬사(忠烈祠) 사우의 위치가 적합지 않다하여 현재의 자리인 래산(萊山) 아래 안락리로 옮겨 지으면서 규모를 확장하여 서원의 예를 따를 것으로 하여 안락서원(安樂書院)으로 불렀다. 이때 서원에 별사(別祠)를 지어 첨사 정발과 교수 노개방의 위패를 봉안하려고 하였으나 이루지 못하고 첨사 정발은 안락서원의 사당에 배향되었다.
숙종35년(1709), 동래부사 권이진(權以鎭)이 성내에 있던 충렬사 옛터에 별사(別祠)를 세우고 임란 당시 양산군수 조영규(趙英圭), 동래교수 노개방(盧蓋邦)을 병향하고, 유생 문덕겸(文德謙)을 이에 배향하였으며, 별사 옆에 별채를 지어 비장(裨將) 송봉수(宋鳳壽), 김희수(金希壽), 겸인 신여로(申汝櫓), 향리 송백(宋伯), 부민 김상(金祥)등 9인의 의사를 추향(追享) 할 것과 별사의 사액을 조정에 탄원하였다.
숙종37년(1711), 충렬사 별사(忠烈祠 別祠)에 사액이 내리고, 별사에 9인의 의사를 추향하였다. 이때 예조참판 김진규(金鎭圭)가 조정에서 별사를 폐지하고 위패를 본사(本祠)로 옮길 것을 청하여 임금의 윤허가 있자, 동래부사 권이진(權以鎭)이 서원에는 문신 위주의 배향이 교육 상 바람직하니 오히려 별사에 무신인 첨사 정발을 모시고 별사에 있는 교수 노개방을 서원에 배향하는 것이 좋겠다는 상소를 올렸다.
숙종 38년(1712) 부사 권이진(權以鎭)의 상소가 가납되어 6월 22일 첨사 정발을 별사에 모시고 교수 노개방을 안락서원에 부사 송상현의 배향으로 하였다.
영조11년 (1735) 경상감사 민응수(閔應洙)가 서원에 무신인 유응부(兪應孚;사육신)의 예가 있어 순절한 자에게까지 문무관(文武官)의 차별을 하는 것은 온당치 않으니 별사를 없애고 9위를 다시 래산서원(萊山書院;안락서원의 별칭)으로 옮길 것을 상소로 청하였는데, 임금이 이를 가납하면서 이듬해인 1736년 별사를 파하고 충렬사의 이름을 다시 사용토록할 것과 첨사 정발을 병향(竝享)토록 하였는데, 이때 순절공신 전 훈도 양조한(梁潮漢)은 호조정랑, 양통한(梁通漢)은 호조좌랑에 각각 증직하고, 24공신에게도 증직하였다. 한편 부사 송상현과 첨사 정발의 첩인 김섬과 애향은 속서이열각(束庶二烈閣)에, 기왓장을 깨고 싸웠던 두여인은 이촌녀각(二村女閣)에 각각 모셨다. (※ 동래부사 윤문거(尹文擧)가 충렬사를 안락서원으로 고쳐 부른 것을 이때 다시 충렬사의 명칭을 사용하라는 조정의 명령은 있었으나, 안락서원(安樂書院)을 파하라는 명령이 없었기 때문에 아마 사우(祠宇)의 명칭으로 사용될 때는 <충렬사>로 서원의 명칭으로 각각 사용되었다고 짐작된다)
영조48년 (1766) 1월 14일에 행부사직 조엄이 다대첨사 윤흥신(尹興信)의 공적이 징비록을 비롯한 곳곳에 있음에도 동래의 충렬사에 향사되지 않은 것은 부당하다는 사실을 임금에게 호소하였다. 이에 영의정 김치인, 우의정 김상철이 역시 윤흥신의 병향(竝享)을 찬동하여 그해 2월 12일에 충렬사에 배향되어 충렬사 사당의 정당에는 부사 송상현과 첨사 정발이 병향(竝享)되고 고수 노계방, 첨사 윤흥신, 군수 조영규가 각각 배향(配享) 되었다. 한편 동무에 유생 문덕겸(文德謙), 비장(裨將) 송봉수(宋鳳壽) · 김희수(金希壽), 서무에 겸인 신여로(申汝櫓), 향리 송백(宋伯), 부민 김상(金祥)을 각각 종향(從享)하였다
고종2년 (1865), 대원군이 47개 서원 이외 전국의 모든 서원을 철폐하였으나 안락서원은 철에서 제외되었다.
1976년부터 1978년까지 부산시가 현재의 충렬사를 성역화 사업을 벌렸는데, 이때 충렬사 안락서원 건물을 보존하지 못하는 아쉬움을 남겼으나, 정당(正堂)에 모두 75위의 위패를 모셨다.
1991년 부산광역시에서 정철, 정린, 문택룡, 박경립, 김호의, 김사위, 박천주, 정호인, 문도명, 이춘상, 이성춘, 송용경, 정언룡 등 13공신을 합향하였고, 이어 1996년 박귀희, 구영취 두 공신과 순절공 이위 등 3위를 다시 합향하여 모두 91위의 신위를 모시고 있다.