Народився 18 лютого (2 березня) 1859 року у місті Переяславі на Полтавщині (тепер Переяслав-Хмельницький Київської області) у родині дрібного крамаря. Дитячі роки минули у невеличкому містечку Воронькові Полтавської губернії.
Навчався в хедері — єврейській початковій релігійній школі. Згодом під впливом єврейської просвітницької літератури займався і загальною освітою, навчався у повітовій школі. Після закінчення навчання в училищі отримав професію учителя російської мови.
З 1876 року працював домашнім вчителем у єврейського магната Елімелеха Лоєва. У 1880—1882 роках Шолом-Алейхем працював громадським рабином у Лубнах. Після одруження з донькою Лоєва Ольгою у 1883–1887 роках жив і працював у Білій Церкві.
Перші твори Шолом-Алейхема – повість «Два камені» та оповідання «Вибори». Тоді ж уперше підписався псевдонімом Шолом-Алейхем.
