Смъртта на Ленин в началото на 1924 г. води до ожесточена борба за власт. Главните антагонисти бяха Троцки и Йосиф Сталин, тогава генерален секретар на партията, и двамата твърдяха, че са законни изпълнители на политиката на Ленин. За разлика от Троцки, който беше предимно интелектуалец, теоретик и надарен военачалник, Сталин беше умен и решителен организатор. Чрез своя контрол върху партийния апарат Сталин успя да спечели подкрепата на мнозинството в партията и да затвърди управлението си. През ноември 1927 г. партиен референдум напълно отхвърли политиката на Троцки, изключи го от партията и го заточи в Алмати. Две години по-късно е прогонен от Съветския съюз. През 1940 г. е убит в Мексико, вероятно от агент на Сталин.
През 1929 г. Сталин е признат за върховен лидер на партията и страната. След това той започна поредицата от чистки, които отбелязаха 25-годишното му управление, като първо се обърна срещу бившите си съюзници в борбата с троцкистите. Тези лидери, по-специално Николай И. Бухарин и Алексей И. Риков, бяха изгонени от висшите съвети на партията.
След това Сталин разчиташе единствено на контрола си над партията и полицията и на колегите, които бе издигнал на власт. Важни сред тях бяха Вячеслав М. Молотов, Валериан В. Куйбишев, Григорий К. Орджоникидзе и Климент Й. Ворошилов.
Конституция и признание на Съюза
През 20-те години в правителствената администрация са направени радикални промени и са постигнати значителни подобрения във вътрешната икономика и външните работи на страната. До края на 1923 г. територията, контролирана от съветското правителство, включваше Руската съветска федеративна социалистическа република, източните половинки на Белорусия и Украйна и Кавказ. Под надзора на Сталин е изготвен план за федерация, а през януари 1924 г. е предложена нова конституция, реорганизираща областите под съветски контрол в Съюз на съветските социалистически републики. Първоначално новата държава бе съставена от руската, украинската, закавказката и белоруската съветска социалистическа република. Въпреки че на всяка република беше предоставена определена степен на местна автономия, централизираното съветско правителство поддържаше строг контрол върху външните работи, отбраната и икономическото планиране.
В по-късните години Закавказието беше разделено на грузинската, арменската и азербайджанската съветско-социалистически републики; Казахстан и Централна Азия бяха отделени от Руската СФСР; и Централна Азия беше разделена на туркменската, узбекската, таджикската и киргизката съветска социалистическа република.
Към 1924 г. големите световни сили, като първоначално се опитват да изолират съветското правителство, установяват дипломатически отношения с него и Съветският съюз участва в международни конференции. Съединените щати, последната голяма сила, която удържа признание, официално признаха съветското правителство през 1933 г., по време на администрацията на президента Франклин Д. Рузвелт.
Към 1927 г. създадената от Ленин нова икономическа политика, при която се разрешава определена мярка на капитализъм, е довела до достатъчно възстановяване, за да се наложи усилие за подновяване на стремежа към социализъм в съответствие с дългосрочните съветски цели. Съответно, нов период на планова икономика започва през 1928 г. с откриването на първия от петгодишните планове на Сталин. Основните цели на петгодишните планове бяха да превърнат СССР от изостанала селскостопанска страна във водеща индустриална сила, да извършат пълната колективизация на селското стопанство и да трансформират самата природа на обществото.
Голямата чистка
В политически план средата на 30-те години бе белязана от драстично прочистване от комунистическата партия и правителството на всички елементи, за които се твърди, че са в опозиция на политиката на Сталин. Прочистването е докоснато от убийството през декември 1934 г. на Сергей М. Киров, поддръжник на Сталин и член на партията. Между 1935 и 1939 г. Сталин е отстранил всички заподозрени в опозиция от властнически постове; много от тях бяха затворени, заточени в Сибир или екзекутирани. Всъщност между 1934 и 1938 г. две трети от членовете на Централния комитет от 1934 г. са осъдени и екзекутирани. Повече от половината високопоставени офицери от армията са прочистени между 1936 и 1938 година.
В поредица от грандиозни процеси, проведени в Москва между 1936 и 1938 г., няколко от най-видните партийни лидери, включително Григорий Й. Зиноев, Бухарин и Риков, бяха обвинени, осъдени и екзекутирани за уж заговор с Германия и Япония за сваляне на Съветско правителство. В отделен таен процес няколко командира на Червената армия, включително маршал Михаил Н. Тухачевски, бяха осъдени по подобни обвинения и екзекутирани. Изпитанията предизвикаха световно осъждане на съветската система, която беше сериозно отслабена от тези големи загуби.
Според Москва международните събития през 30-те години все повече застрашават сигурността на СССР. В Далечния изток Япония окупира Манджурия през 1931 г. и постепенно нараства триенето между японските окупационни армии и съветските сили, разположени по манджурската граница. През 1938 г. спорадичните преди това въоръжени сблъсъци се превърнаха в сериозна гранична война.
В същото време идването на Хитлер на власт в Германия, с неговата политика на експанзионизъм и антикомунизъм, доведе до още по-сериозна заплаха за съветската сигурност. Докато търси съюзи с други сили, особено с Франция и Великобритания, за да се противопостави на тези заплахи, Съветският съюз се присъединява към Лигата на нациите през 1934 г. През следващите пет години съветският комисар по външните работи Максим М. Литвинов многократно призовава членовете на лигата да предприеме съгласувани действия срещу последователните агресии на фашистките сили. Съветският съюз също се стреми да получи подкрепа за това действие, което той нарича колективна сигурност, като насърчава формирането в чужди държави на така наречените правителства на обединения фронт или народния фронт. Политиката на единния фронт призовава за сътрудничество между комунистически, социалистически и центристки политически групи за противопоставяне на фашистките движения.
През лятото на 1938 г. възниква тежка криза, когато германското правителство изисква от Чехословакия отстъпването на Судетите, гранична зона с голямо немско малцинство. Съветският съюз обяви готовността си да подкрепи чехите в съпротивата срещу това искане и призова Франция и Великобритания да предложат подобна помощ. Вместо това френското и британското правителство приеха уверението на Хитлер, че това искане включва окончателното териториално придобиване, придобито от Германия. Резултатът е Мюнхенският пакт от септември 1938 г., предвиждащ отстъпването на спорните райони на Германия. Подписването на този пакт сигнализира за провала на съветската политика за колективна сигурност. През март 1939 г. германците напредват на изток от Судетите в Чехословакия и бързо поемат пълния контрол.