宰相最早起源于春秋时期。管仲就是中国历史上第一位杰出的宰相。到了战国时期，宰相的职位在各个诸侯国都建立了起来。秦朝时，宰相的正式官名为丞相。有时分设左右，以右为上，称为“右丞相”，“左丞相”，宦官担任宰相职务的称为“中丞相”。汉朝与秦朝相仿，只是如果称为相国的话地位更高一些，并以御史大夫为副职。
汉武帝时，起用儒生当丞相，处理日常行政事务，而政务中心则转到了内廷。宰相的职权逐渐转移到了尚书台长官的手中。汉哀帝改丞相为大司徒，东汉由司徒、司空、太尉共同执政。汉献帝时，复置丞相，由曹操担任。魏晋南北朝时，丞相或相国多为权臣自命，成为了一种篡位夺权的手段。
南北朝制度多变，皇帝所与议论政事或委以机密者，即是宰相，官名有中书监、中书令、侍中、尚书令、仆射或将军。其位最尊、权最大者则为录尚书事。隋朝定三省制，三省长官内史省的内史令、门下省的纳言、尚书省的尚书令都是宰相。唐改内史省为中书省，内史令为中书令，纳言为侍中。
唐高宗后，只有加“同中书门下三品”、“同中书门下平章事”者才是宰相。宋朝以同中书门下平章事为宰相正式官名，以参知政事为副。从汉至唐，皇帝待宰相之礼，逐渐降级，至宋太祖废“坐论”之礼，使宰相地位大降。神宗元丰改制，设宰相二人，首相称尚书左仆射兼门下侍郎，次相称尚书右仆射兼门下侍郎；另设门下侍郎、中书侍郎、尚书左右丞为副相。
徽宗政和时，改左仆射为太宰兼门下侍郎，右仆射为少宰兼中书侍郎。高宗建炎间，再改宰相官名为尚书左右仆射同中书门下平章事，副相为参知政事。孝宗乾道间又改为左、右丞相。元朝以中书省为政务中枢，主官中书令常由皇太子兼领，不常设，下为左右丞相，再下为平章政事，副职为左右丞及参知政事。
明朝初亦设中书省，左右丞相。太祖洪武十三年（1380年），罢中书省，废丞相，由皇帝亲决国政。宰相制度遂废。后皇帝以不胜庶政之繁，设内阁大学士协理文书。后阁职渐重，大学士成为事实上的宰相，称辅臣，居首者为首辅。清沿明制，雍正时设军机处，内阁成为闲曹，军机大臣成为事实上的宰相。
明、清习惯上都称授大学士为拜相，但无正式宰相名份。在所有的官职中，宰相的变化最多，这是由於君主既需要宰相帮助办理政事，又担心宰相的权位过重，危及自身的权力，故常改变其名称权责，方便皇帝施政。