Хосе Анхель Креспо родился 9 февраля 1987 в городе Лора Дель Рио, Андалусия, расположенном в 57 километрах от Севильи. Именно в академии этого клуба он делал свои первые шаги в футболе.

Два года выступал за вторую команду «Севильи», а свой дебют за первую команду совершил в декабре 2005 в матче против «Хетафе». В августе 2007 Хосе попал в основной состав на позиции левого защитника.

В 2009 его отдали в аренду в «Расинг» Сантандер, а после этого он перешел в «Падову» на правах свободного агента и провел в Италии свой первый полноценный сезон, сыграв 43 поединка.

«Болонья» поспешила приобрести молодого испанца, Креспо провел за свою новую команду 10 матчей в Серии А и в следующем сезоне перешел в «Эллас Верону» на правах аренды. Там он сыграл 17 матчей, затем провел еще один сезон в «Болонье», прежде чем вернуться в Примеру и снова в аренду, на этот раз в «Кордобу».

В марте 2015 испанский клуб выкупил права на андалусийца, но его великолепная игра заставила «Астон Виллу» приобрести его за 500.000 евро. После шести месяцев в Премьер-лиге его отдали в аренду в «Райо Вальекано», который стал последней остановкой в карьере Креспо перед тем, как он перебрался в Салоники.

В «Двуглавом» он проводит свой третий сезон и уже успели многого добиться. Сыграл более 100 матчей, надел капитанскую повязку, выиграл два Кубка Греции и стал одним из лучших стопперов греческого чемпионата.

В июне 2016 надел черно-белую футболку и стал надежным решением. Первый гол за ΠΑΟΚ в Суперлиге забил 2 декабря 2017 в ворота «Ксанти».