고려 문종 29년 경주에서 태어났다. 그의 집안은 할아버지 대까지 경주의 향리였다가 아버지 김근이 과거에 합격해 중앙 관료로 진출했다. 숙종 원년 과거에 급제한 이후 다양한 관직을 거쳤지만 주로 한림원에 근무했다. 예종 11년 문한관으로서 송나라에 사신으로 다녀오고, 인종 즉위년에 편수관으로서 ≪예종실록≫의 편찬에 참여했다. 김부식이 관료로서 본격적으로 활약했던 때는 대내외적으로 격변의 시기였다. 안으로는 문벌 귀족 간의 갈등이 노골화되었고, 밖으로는 여진의 금(金)이 압박의 수위를 높여오고 있었다. 그러한 과정에서 인종 4년(1126)과 13년(1135)에 이자겸과 묘청에 의해 반란까지 일어났다. 이때 김부식은 반란군 진압의 총사령관으로 임명되어 서경 천도를 주장했던 묘청의 난을 진압했다. 그러나 정적(政敵) 윤언이와의 갈등으로 정년퇴임을 18개월 남겨둔 인종 20년 3월 관직에서 사퇴했다. 김부식은 이때부터 ≪삼국사기≫를 편찬해서 인종 23년(1145) 12월에 왕에게 바쳤다. 이후 1146년 ≪인종실록≫의 편찬에 참여했다가, 의종 5년 77세의 나이로 세상을 떴다.