Перший шлюб у Сергія Єсеніна був, як прийнято зараз говорити, цивільним - з Ганною Ізрядновой, освіченою дівчиною з інтелігентної московської родини. Вона працювала в друкарні Ситіна коректором, а Сергій спочатку експедитором, потім помічником коректора. У 1914 році у пари народився син Юрій. Однак сімейне життя не вийшло, і в 1915-му вони розлучилися. Батьківство Єсеніна Ганні Ізрядновой довелося доводити в Хамовницькому суді вже після смерті поета.
У 1917 році Єсенін одружився на актрисі Зінаїді Райх. Через рік у подружжя народилася дочка Тетяна. Зінаїда тоді з сумом сказала: «Я так хотіла хлопчика». На що акушерка відповіла: «Без дівчаток і хлопчиків не буває». У 1920 році у Єсеніна і Райх народився син Костянтин.
Три роки цього шлюбу з великим перебільшенням можна назвати спільним життям. Вони постійно роз'їжджалися, сорілісь і врешті-решт, розлучилися.
Тетяна, дуже схожа на батька, була улюбленицею Єсеніна. Але, судячи зі спогадів, це не допомогло встановитися між батьком і дочкою родинної близькості. Єсенін залишався для дівчинки чужим.
Після смерті поета Тетяну і Костянтина усиновив Всеволод Мейєрхольд, знаменитий режисер і другий чоловік Зінаїди Райх. У 1937 році Мейєрхольд був заарештований і розстріляний як японська та англійська шпигун, а Зінаїда Миколаївна жорстоко вбита у своїй квартирі.
Коли це сталося, Тетяні було 19 років. Після смерті матері їх з братом виселили з квартири батьків. Але вони зуміли врятувати архів Мейєрхольда, сховавши його на дачі в Підмосков'ї.
Під час Великої Вітчизняної війни дочка Єсеніна виявилася в евакуації в Ташкенті і залишилася там на все життя. Тетяна Сергіївна жила в жахливих умовах, допоміг їй Олексій Толстой, який знав і любив Єсеніна. Він, користуючись своїм становищем депутата Верховної Ради, вибив для сім'ї Тетяни крихітну кімнату в будинку барачного типу.
Костянтин Єсенін, сина поета і Зінаїди Райх, в 1941 році, будучи студентом четвертого курсу Московського інженерно-будівельного інституту, добровольцем пішов на фронт. З війни він повернувся в 1944 році після декількох важких поранень - з підірваним здоров'ям і трьома орденами Червоної Зірки.
Все життя присвятив спортивній журналістиці і статистикою. Написав кілька книг про футбол. Його називали поетом футбольних цифр. Саме він стояв біля витоків «Клубу бомбардирів імені Григорія Федотова» і «Клубу воротарів імені Льва Яшина». І при цьому, кажуть, був дуже скромною людиною.
Помер Костянтин Єсенін в Москві в 1986 році. Після нього залишилася дочка Марина.
У 1920 році Єсенін познайомився з поетесою і перекладачкою Надією Вольпин. Нею переведені на українську мову Овідій, Гете, Гюго. А в юності писала і Новомосковскла з естради вірші. У 1920-ті роки долучилася до імажиністам, тоді і познайомилася з Сергієм Єсеніним. На початку 1924 року, після розриву з поетом, виїхала з Москви до Ленінграда, де незабаром і народила сина Олександра.
Олександр Сергійович в 1946 році закінчив мехмат МДУ, захистив дисертацію з математики та у напрямку поїхав працювати на Україну. Там же в 1949 році був заарештований за читання в колі друзів антирадянських віршів власного твору. Визнаний неосудним, поміщений в ленінградську психіатричну лікарню, незабаром відправлений на заслання в Караганду на п'ять років, але через три роки, в 1953-м, звільнений за амністією, повернувся в столицю.
Єсенін-Вольпін сформулював і став відстоювати ідею про те, що радянські закони самі по собі цілком прийнятні, а проблема полягає у відмові з боку держави слідувати цим законам.
Він переконував своїх однодумців, що якби держава дотримувалося свої власні закони, громадяни не були б в положенні безправ'я, і що ситуація з дотриманням прав людини зміниться, якщо громадяни будуть активно домагатися від держави дотримання законів.
Його забирали на Луб'янку - і відпускали: нема за що вхопитися. Він нагадував владі, що інакомислення не розходиться з законом, а значить, не повинно бути покараним.
Дружина Єсеніна-Вольпина Вікторія згадувала: одного разу за три години бесіди зі слідчими Олександр Сергійович так їх вимотав, що вони здалися, подзвонили їй і сказали: "Забирайте!"
Він активно працював у Комітеті з прав людини, створеному Андрієм Сахаровим. Писав доповіді про право на захист, про права психічно хворих, про міжнародні пактах про права людини і т.д.
У травні 1972 року по настійною пропозицією радянської влади емігрував до США. Живе в Бостоні. Він єдиний з усіх дітей Сергія Єсеніна, хто зараз живий.