У них четверо дітей: Оскар, 18 років, Фредді, 14 років, Луїза, 7 років, і Хлоя, 21 рік., яку вони усиновили після того, як її мати, журналістка BBC Кейт Пейтон, померла в 2005 році під час репортажу з Могадішо, Сомалі. Фернлі-Віттінгстолл здоровіший, ніж у дні свого міського чаубоя. 13 липня 2017 р.
Х'ю та Марі мають чотирьох спільних дітей – Оскара, Фредді, Луїзу та Хлою. Пара усиновила свою четверту дитину Хлою після того, як її рідну матір, журналістку BBC Кейт Пейтон, застрелили під час репортажу з Сомалі.
У 1997 році Fearnley-Whittingstall переїхав до River Cottage, колишній будиночок мисливського доглядача на території маєтку Слейп у Нетербері, Дорсет, Великобританія, який він раніше використовував як будинок для вихідних і відпочинку.
Х'ю встановлено Рівер Котедж Штаб-квартира у Дорсеті в 2004 році, а зараз операція базується на Парк-Фарм біля Аксмінстера в Девоні. Невелике органічне господарство HQ також є осередком різноманітних курсів і заходів, а також домом для школи кулінарії River Cottage.
У 1990 році він одружився з адвокатом Сарою Луїзою Фернлі-Віттінгстолл, двоюрідною сестрою шеф-кухаря Х'ю Фернлі-Віттінгстолл, і мав двох дітей Імоджен і Ангуса.
Телевізійна виробнича компанія Х'ю Фернлі-Віттінгстолла розвалилася, залишивши за собою мільйони фунтів боргів.