Pubblicato nel marzo del 2006, l'album di debutto dei Band of Horses, Everything All the Time, ha portato la band dai primi concerti come gruppo spalla degli amici Iron & Wine, all'esibizione al Late Show con David Letterman nel mese di luglio, fino alla nomination come uno dei dieci finalisti (insieme a Joanna Newsom, Beirut, Tom Waits e, la vincitrice finale, Cat Power) per lo Shortlist Music Prize dello stesso anno. Amici intimi e familiari sono andati e venuti, alcuni troppo presto. Necessariamente permeate da queste esperienze, le canzoni di Cease to Begin sono di una bellezza sorprendente, anche se meno ellittiche e più dirette, e trattano della riconciliazione tra attaccamento e distacco, della forza che si trova attraverso la sofferenza e della consapevolezza che siamo tanto significativi quanto insignificanti. È anche un ottimo disco rock.