Звание учреждено постановлением ЦИК и СНК СССР от 22 сентября 1935 года «О введении персональных военных званий начальствующего состава РККА». Первое присвоение состоялось в ноябре 1935 года. Маршалами Советского Союза стали Михаил Тухачевский, Василий Блюхер, Семён Будённый, Климент Ворошилов и Александр Егоров.

До 26 июня 1945 года это было высшее воинское звание СССР. После учреждения звания Генералиссимуса Советского Союза оно стало вторым по старшинству, а после смерти Иосифа Сталина в 1953 году вновь фактически стало высшим.

В 1943 году появились звания главных маршалов родов войск, а в Военно-морском флоте с 1955 года существовало равное по старшинству звание Адмирала флота Советского Союза.

Всего с 1935 по 1990 год звание Маршала Советского Союза было присвоено 41 раз. Среди его обладателей были не только военачальники, но и государственные деятели - Иосиф Сталин, Лаврентий Берия, Николай Булганин, Леонид Брежнев и Дмитрий Устинов.