Фрост був одружений з Лінн Фредерік з 1981 року до розлучення в 1982 році.. У нього був 18-річний переривчастий роман із Керол Лінлі. Потім він був одружений на леді Каріні Фіцалан-Говард з 1983 року до своєї смерті в 2013 році.
Майлз був першою дитиною, народженою сером Девідом і леді Каріною Фрост. Каріна каже: «Ми з Девідом одружилися, що в ті часи було досить пізно; Мені був 31, а йому 43. Ми шалено хотіли мати дітей, і, на щастя, я завагітніла через півроку.
Особисте життя. У 1993 році Фрост одружився на Жаклін Елізабет Діас, розлучившись у 2018 році.. Пізніше того ж року він одружився з Гарієт Метьюз, колишнім послом Великобританії в Сомалі.
Керролл зустрічалася та була заручена з британським телеведучим і продюсером Девідом Фростом з 1970 по 1973 рік..
Серцевий напад Девід Фрост / Причина смерті 31 серпня 2013 року Фрост був на борту круїзного лайнера Cunard MS Queen Elizabeth, коли помер від інфаркт, 74 роки. Кунард сказав, що судно вирушило з Саутгемптона в десятиденний круїз Середземним морем, який закінчився в Римі. Посмертна експертиза виявила, що у Фроста гіпертрофічна кардіоміопатія.