汉代以前，刻石和石质器物在墓葬中盛行，而墓碑作为石质器物的代表出现在了人们的视野中。
东汉时期，墓志铭出现，地上的墓碑和地下的墓志铭并存，但此时的墓志铭形式简单，内容简明扼要，只是墓志铭这种文体在初创时的探索。
魏晋南北朝时期，文学的概念被大肆探讨，文学的各种形式也被充分挖掘出来。此时，墓志铭作为一种文体，它的名称、形式和具体写作规范在不同的文艺理论著作中被规定，这种文体逐步走向定型和规范。此时的墓志铭叙事详尽、内容丰富，但有时过于注重形式，暴露了空洞、呆板、程式化的缺点。由于文学的觉醒，以及人们对墓志铭的空洞内容和僵化形式的反省。墓志铭的写作逐渐开始摆脱固定的模式，显现出了较强的文学性。其中代表性的墓志铭当属庚信的《周大将军怀德公吴明彻墓志铭》，无论是从内容上还是形式上，都堪称六朝墓志铭的绝唱。
唐代社会繁荣，经济基础雄厚，加上前代文学的积淀，墓志铭创作在唐代达到了一个高峰。这一时期的墓志铭在内容上和形式上都有了飞跃发展。唐代文人积极投身到墓志铭的创作中，唐代墓志铭的形式和内容也被后世墓志铭写作所借鉴。
宋元时期，社会矛盾激烈，少数民族的不断入侵和直接统治，使得汉族文化出现了短时间的断层，这段时间薄葬一度成为社会的主流。此时的墓志铭大多沿袭唐代旧制，并处于时兴时废的境地。
明清时期，社会重回稳定局面，封建社会再一次迎来了太平盛世。整个社会都比较重视丧葬，再加上社会稳定，经济发达给了文人很大的个人发挥空间，所以，这一时期文人的创作也达到了封建社会的又一高峰。墓志铭作为一种常见的实用文体也屡见不鲜地出现在文人的文集中。这一时期的墓志铭在内容和形式上基本沿袭唐代遗留下来的旧路，但也有本身特点。