27 мая 1934 года Центральный исполнительный комитет СССР принял постановление «Об установлении звания заслуженного мастера спорта» (с 1983 года официальное наименование звания – «заслуженный мастер спорта СССР»), которое присваивается «выдающимся мастерам – активным строителям советской физической культуры». Звание присваивалось высшим органом по управлению спортом в СССР (в 1934 году – Всесоюзный Совет физической культуры при ЦИК СССР; позднее он неоднократно менял названия и статус).

5 июня 1934 года звание было присвоено 22 спортсменам, их список был опубликован 17 июня в газете «Правда». Знак № 1 получил конькобежец Яков Мельников. По 10 человек из этого списка представляли Москву и Ленинград, по 1 — Киев и Харьков. Большинство были действовавшими спортсменами или закончили выступления недавно (в начале 1930-х годов); Платон Ипполитов, чьи спортивные достижения относятся к 1910-м – началу 1920-х годов, много сделал для популяризации конькобежного спорта в СССР.

Нагрудный знак заслуженного мастера спорта был утверждён в 1935 году. На знаке, на фоне советских символов – красной звезды, красного знамени с надписью «СССР», серпа и молота – был изображён бегун, разрывающий финишную ленточку. Автор эскиза знака – Александр Немухин – художник-плакатист и один из пионеров лыжного спорта в России, в 1939 году сам удостоенный звания заслуженный мастер спорта.

В годы Великой Отечественной войны звание «заслуженный мастер спорта» присваивалось мастерам спорта, отличившимся в боях с захватчиками. Так, известный легкоатлет (а в будущем – знаменитый тренер) Виктор Алексеев в 1942 году получил звание «за подготовку резервов фронту и высокие спортивные достижения», а в 1943 году звание было присвоено штангисту Аркадию Авакяну за то, что он убил немца ударом кулака.

Во второй половине 1940-х – начале 1950-х годов количество присвоений звания резко возросло. В первой половине 1950-х годов в связи с выходом советских спортсменов на международную арену было принято решение о присвоении звания за достижения на крупнейших международных соревнованиях.

В 1940-е – первой половине 1950-х годов звание нередко присваивалось за тренерские, педагогические или организаторские достижения; в 1956 году такая практика была прекращена в связи с учреждением звания «заслуженный тренер СССР». В 1943 году единственный раз звание было присвоено спортивному судье – футбольному арбитру Николаю Усову.

В 1945 году заслуженным мастером спорта стал Иван Поддубный, никогда не выступавший в качестве спортсмена-любителя.

Многие советские космонавты стали заслуженными мастерами спорта за установление мировых рекордов в космонавтике.

Среди заслуженных мастеров спорта – Наталья Богословская, 9-кратная чемпионка СССР по многоборью ГТО – виду спорта, не имевшему распространения за пределами СССР.

Почётное спортивное звание «Заслуженный мастер спорта России» было учреждено в 1992 году. Последняя редакция положения о звании принята в 2008 году (с незначительными изменениями приказа 2006 года). В разные годы почетного спортивного звания «Заслуженный мастер спорта России» удостаивались выдающиеся спортсмены, представляющие разные виды спорта. В 2002 году звание получили Антипов Владимир, Максим Афиногенов. Дмитрий Быков, Илья Брызгалов, Антон Волченков и др. (хоккей с шайбой), Александр Леонов. Ольга Домуладжанова, Елена Карпачева (чемпионы Европы по боксу), Алексей Тищенко (двукратный олимпийский чемпион по боксу 2004, 2008 г.). В 2005 году – Юрий Леонов (хоккей с шайбой). 25 декабря 2008 г. за победу клуба «Зенит» (Санкт-Петербург) в Кубке УЕФА 2007/2008 и за завоевание сборной России бронзовых медалей на чемпионате Европы-2008 звания ЗМС были удостоены 11 игроков «Зенита» и 12 игроков сборной (из 23 входивших в состав команды на Евро-2008 пятеро представляли «Зенит», а ещё шесть игроков получили ЗМС в 2005 году за победу ЦСКА в Кубке УЕФА). В их числе: Роман Адамов (сборная, ФК Москва), Анюков Александр (сборная; «Зенит» Санкт-Петербург), Игорь Денисов («Зенит» Санкт-Петербург), Роман Павлюченко (сборная; «Спартак» Москва) и др.

В 2009 году звание было присвоено 18 игрокам сборной России по хоккею, ставшими чемпионами мира впервые с 1993 года. Среди них: Михаил Бирюков, Данис Зарипов, Сергей Зиновьев, Андрей Марков, Сергей Мозякин, Евгений Набоков, Александр Радулов, Александр Семин и др.

21 мая 2012 года Звание было присвоено 16 игрокам сборной России – победителям чемпионата мира по хоккею 2012 г. Назовем некоторые имена. Константин Барулин, Павел Дацюк, Евгений Малкин, Александр Свитов и др.