Lastnik Cavsov Dan Gilbert je aprila lani dejal, da je leta 2010 storil napako, ko je odpustil Browna. Pripeljal ga je nazaj, da bi znova zgradil močno ekipo okrog zvezdnika Kyrieja Irvinga. Po zelo slabem štartu v sezono mu ni uspelo, deseto mesto v povprečni Vzhodni konferenci pa ni zadovoljilo apetitov vodstva kluba.

Brown je leta 2007 popeljal Cavse v finale Lige NBA, kjer pa so bili veliko premočni San Antonio Spursi (4:0 v zmagah). LeBron James je bil MVP rednega dela lige, v naslednjih treh letih pa se mu ni uspelo prebiti v finale, zato je Brown moral oditi. Prišel je Byron Scott, a brez Jamesa, ki je odšel k Miamiju, ni imel konkurenčne ekipe.

Brown je maja 2011 postal glavni trener LA Lakersov, a se tudi v Kaliforniji ni znašel. Na začetku sezone sezone 2012/13 je moral oditi, aprila 2013 pa je dobil novo priložnost v Clevelandu, ki pa se znova ni dobro končala.