Nasce nel 1918. Trascorre l'infanzia a Rostov-sul-Don, in condizioni di grande povertà. Ciò nonostante riesce però a proseguire negli studi, fino alla laurea in matematica nel 1941, anno in cui si arruola volontario nell'Armata Rossa ottenendo sul fronte occidentale un'onorificenza.
Nel febbraio del 1945, dopo che una sua lettera di critica all'operato di Stalin viene intercettata, è messo agli arresti e trasferito alla Lubjanka, subendo una condanna ad otto anni di campo di concentramento ed al confino a vita.
Nel 1953, dopo esser stato imprigionato in differenti lager, è inviato al domicilio coatto di Kok-Terek, nel Kazakistan, ove gli viene concesso di insegnare ed inizia a trascrivere una quantità notevole di appunti sulle condizioni di vita nei lager sovietici. Queste note nel 1962 confluiranno nel romanzo Una giornata di Ivan Denisovic, che ha sin da subito un grande successo internazionale.
Nel 1970 viene insignito del Premio Nobel per la Letteratura, successivamente nel 1974 è espulso dall'Urss dopo la pubblicazione di Arcipelago Gulag, secondo molti il suo capolavoro.
Dal 1976 negli Stati Uniti, torna in patria solo nel 1994, continuando a svolgere il suo ruolo di coscienza critica della nazione.
Muore di infarto il 3 agosto 2008. Viene sepolto a Mosca, con solenni funerali di stato.