“帅”的本意为军队的统帅，至少从宋代开始，地方军事长官即开始被简称为“帅”，此后历代相沿，到清代更为普遍。由于总督和巡抚拥有军事上的统驭权，故其部下和同僚皆以某“帅”尊称之，习惯的叫法是在“帅”字前冠以姓氏和本人字号中的一个字，如浙江巡抚左宗棠被称为左季帅(左宗棠字季高)。至于“大帅”之称，在初期只是对钦命统帅大军出征的大将军或经略的尊称，如乾隆年间的大将军福康安曾数度领兵出征，被称为“福大帅”。但到清代后期，此称已滥，钦差大臣或威望较高、资较深者，中央官员中尚书、侍郎带兵出征者，多有被称为“大帅”者。到光绪年间以后，各省督、抚、提督几乎无不以被称为“大帅”为荣。其中年老资深者，便被称为“老帅”。

辛亥革命期间，独立各省一般都模仿首先起义成立军政府的湖北，设置都督统率本省军队并兼管民政，其职权相当于清代的巡抚，所以都督都被尊称为“帅”。如黎元洪曾说，他于1913年12月辞去湖北都督，进京专任副总统，是“欲求国家统一，不得不首解兵柄，为群帅倡”。这里的“群帅”即指各省都督。

以袁世凯为首的北洋集团窃取政权后，其主要骨干占据了从中央到大部分省份的要职。这些人在清代已是高级官吏，所以清代的一些官场称呼有相当一部分保留了下来，“帅”的称呼就是其中的一种。1914年6月，袁世凯宣布裁撤各省都督，在北京设置将军府，另遣将军掌办各省军政。1916年7月，大总统黎元洪又下令把将军改称“督军”。1922年6月，各省军阀纷纷宣布“废督裁兵”，将督军改称“督理”或“督办”。1924年段祺瑞临时执政府下令各省军政长官一律称“督办某省军务善后事宜”，仍简称“督办”。名称虽不断翻新，权力却未受到丝毫削弱，“帅”的称呼也一直沿用。

北洋政府时期，省级以上的地方军事长官主要是巡阅使。1920年，全国有长江、直鲁豫、东三省、苏皖赣和两湖等巡阅使。按惯例，巡阅使即可称为“大帅”(或“巡帅”)。据记载，北洋军阀中称“大帅”的有三个人，即长江巡阅使张勋、直鲁豫巡阅使曹锟和东三省巡阅使张作霖。吴佩孚出任两湖巡阅使称“大帅”后，曹锟就改称“老帅”，以示比“大帅”更高一筹。