В  январе 1838 года Лермонтов возвращается в Петербург. Три с половиной года жизни в столице — 1838 - 1840 и часть 1841 года были годами его литературной славы. На Лермонтова смотрят теперь как на поэтического наследника и защитника имени Пушкина. В 1837 году увидела свет «Песня про царя Ивана Васильевича, молодого опричника и удалого купца Калашникова». Лермонтов создает эпическую поэму по фольклорным образцам, стремясь передать не сколько формы, сколько дух народной поэзии и национальный характер. Калашников — «невольник чести» ХVI века, движимый народными представлениями о чести, законе и обычае, которыми не может поступиться и перед лицом смерти. Страдание для Лермонтова есть мера внутренней ценности личности, оно играет очищающую, искупительную роль: Эта идея прослеживается в поздних редакциях «Демона». Начав работу над поэмой в 1829 году, поэт в 1829—1831 годах пишет четыре редакции ее, в 1833—1834 годах — пятую, а в 1838 — шестую.

В шестой редакции Лермонтов нашел окончательное место действия — Кавказ, сюжет оказался погруженным в атмосферу народных преданий и обогащен деталями быта и этнографии, а княгиня Тамара предстала как живой и полнокровный образ. Образ Тамары так же важен, как и образ Демона. Она наделена той полнотой переживания которая исчезла в современном мире; любовь ее самоотверженна и соединена с искупительным страданием. Поэтому, погубив Тамару, Демон не только наказан одиночеством, но и побежден в момент своей мнимой победы, потому что его жертва возвысилась над ним. Но демон остался существом бунтующим и страдающим; в его монологах звучало отрицание существующего миропорядка, и его голос стал сливаться с голосом автора. В1839 году Лермонтов считал замысел «Демона» исчерпанным. В 1840 году в «Сказке для детей» он вспоминал о «безумном, страстном, детском бреде, мучившем его много лет, от которого он, наконец, отделался стихами». К 1839 году относится последняя редакция «Демона», и в том же году Лермонтов пишет новую поэму — «Мцыри».

Художественный опыт Лермонтова — лирика, автора поэм, драматурга и прозаика — сконцентрировался в романе «Герой нашёго времени», который он начал писать в 1839 году на основе кавказских впечатлений.