Автором рисунка знака выступил художник С. И. Дмитриев . Знак представлял собой овальный лавровый венок, перевитый знаменем с надписью «Гвардия», в центре которого находилась красная пятиконечная звезда на белом поле . Для военнослужащих Военно-морского флота был разработан отдельный вариант знака — прямоугольная пластина с георгиевской лентой, автором которой стал капитан 2-го ранга Б. М. Хомич .

Право носить знак «Гвардия» получали военнослужащие частей и соединений, проявивших исключительную стойкость, мужество и организованность в боях с немецко-фашистскими захватчиками. Первыми гвардейскими соединениями Красной Армии стали 100-я, 127-я, 153-я и 161-я стрелковые дивизии, отличившиеся в Ельнинской наступательной операции осенью 1941 года . 

Их переименование в гвардейские состоялось 18 сентября 1941 года — эта дата считается днём рождения советской гвардии .

Вручение знаков проходило в торжественной обстановке на общем построении с выносом знамени подразделения — этой чести удостаивались лишь военнослужащие, принимавшие участие в боевых действиях .

Советский гвардейский знак прекратил своё существование с распадом СССР, однако в гвардейских частях некоторых государств на постсоветском пространстве он сохранился в изменённом виде .

Узнать больше о символах воинской доблести можно в фондах Президентской библиотеки Республики Беларусь, где хранятся уникальные документы и издания, посвящённые истории Великой Отечественной войны.