中國文化具有明顯的宗法倫理品格，鑄器刻銘、為先祖頌功記德是我國由來已久的文化傳統。作為墓上附屬建置的墓碑，它的產生正是這一傳統的直接延續。碑刻研究萌芽於東漢，隨金石學的正式誕生，到宋代已初具規模，而有關墓碑的專論則至近代才有出現。直至今日墓碑研究仍只是偏重於證經補史、文字考訂和書法鑒賞等層面，對墓碑這一文化產物本身，既缺乏深層次的理論思考，又缺乏具體形制的綜合研究，尤其墓碑起源、演變和建立制度等方面的探討始終是相對薄弱的。

漢代時，豎石又具有另外的一種功能，就是用作舉行葬禮的葬具。由於當時貴族官僚墓穴很深，棺停運到墓旁邊時，往往在墓的四角設碑，於是，便有墓碑的出現。漢代經學大師鄭玄註：豐碑，斫大木為之，形如石碑，於停前後四角樹之，穿中，於間為鹿盧，下棺以縷繞，天子六縷四碑。

這裏的“豐碑”是砍大木頭做成的，形同石碑。棺停下葬時，在墓穴四角各設置一個，碑上有圓形穿孔，孔中系繩，繩子一頭繞在軲轆上，一頭系在棺槨上，將棺槨平穩地放入墓穴之中，殯儀結束後，這種木碑往往就埋葬在墓穴中。

為此，也可以說，中國的墓碑是起源於古代用作牽引棺槨下葬用的“豐碑”的。它最初是木質，沒有文字，從漢代起，人們為緬懷逝者生前的業績，便利用現成的木碑，在上面書寫逝者的生平事跡以及歌功頌德之辭，碑首中間仍鑿有圓孔，叫“穿”，這樣，墓碑便正式形成了。

對於埋葬親人的墳墓，一兩代內尚可記住，三代以後就不清楚了。尤其經歷過戰亂、遷徙等顛沛流離的人們，更不知道祖墳在何處了。

為了記住先祖的所在，人們想出了許多辦法。起初，人們從下葬死人用的圓木樁中受到啟發。在故者墓前插上木樁或竹竿，再系上纖維質的紙或帛，寫上死者的生卒年月及時辰，這就是古人所謂的“銘旌”。隨著歲月的侵蝕洗禮，木樁或竹竿容易被損壞。於是人們就想出了另外一個辦法，那就是用石圓柱代替木圓樁，人們在石柱上刻上死者的姓名、出生年月、官職等，以此來表示對死者的紀念。

為了在石柱上刻上更多的字，墓碑的形狀從圓柱形開始演變為正方形及長方形，埋於墓穴內外。後又參照房屋、建築的樣式，在墓碑頂端加上碑帽，刻上動植物、山水、花紋，碑身刻上死者的生平事跡。

有些墓碑上還會刻上死者是獨葬還是與妻、妾、子、女等合葬，附帶著會刻有墓穴的朝向及風水。在古代有錢人家的墓碑，通常是雕刻精美的大碑，諸如古帝王陵以及皇親貴族墓等，窮人家的墓碑往往比較簡單，多數是只刻姓名的小石碑。

後來的墓碑因為有了雕刻、墓誌銘及裝飾品而逐漸轉化為文化藝術品。其功能、形態、質地、紋飾也越來越多樣化。不少名人墓碑，多用大理石、花崗巖等上等石材刻之，碑頂有死者雕像或在碑中心鑲嵌死者的燒瓷像。

如今墓碑已經成為記載死者家族及功德行事的“榮譽狀”和“裝飾品”了。這一現象很符合國人光宗耀祖、澤被後世、流芳千古的習俗。

為了墓碑不受風吹日曬等自然侵蝕和人為破壞，人們便把碑表立於墓外，將墓誌與銘埋於墓內，以便保存得更久遠些。