Primeiro por que ele não era muito reconhecido, depois por que seu funcionários ainda estavam viciados nas ações do governo anterior ou tinham suas próprias convicções a seguir.
O maior problema era a iminente guerra entre França e Inglaterra. Os EUA teriam de tomar partido, mas Adams queria a neutralidade. E foi pela paz que ele lutou durante todo o tempo, apesar da pressão popular, de seus aliados e inimigos políticos.
Apesar de seu sucesso em evitar o ínicio de uma guerra para um país tão recém-nascido em 1800 John Adams não foi reeleito presidente. O primeiro ocupante da Casa Branca voltou a sua fazenda, Peacefield. Em seu lugar Thomas Jefferson assumiria o cargo.
Em família as coisas também não iam bem. A filha de John, Nabby, fora praticamente abandonada pelo marido, ex-secretário do pai, que partiu para o oeste em busca de oportunidades, depois de ter negados inúmeros pedidos de trabalho por Adams.
Charles, terceiro filho de John, estava em ruínas, entregue à bebida e doente. John havia cortado relações com ele, que o acusava de negligência durante sua infância. Pouco depois Charles morreria, deixando esposa e dois filhos. Os únicos que realmente iam bem eram Thomas e John Quincy, em missão na Holanda.