Эргус Каце родился в Корице, Албания, 8.7.1993 и приехал в Грецию через три года после своего рождения. Он начал играть в футбол в команде «Ахиллеас» Триандрия и в возрасте 12 лет (в 2005) его приняли в детско-юношеские футбольные секции ПАОК.

В декабре 2010 юный игрок подписал свой первый профессиональный контракт с ПАОК и несколько дней спустя дебютировал в матче против «Пансерраикоса». В конце сезона его отдали в аренду в «Анагенниси» Эпаноми и после насыщенного игрового года во второй лиге он вернулся в ПАОК, чтобы уже претендовать на место в первой команде.

Даже сам Эргус не мог предположить, что в сезоне 2012-13 он станет основным и незаменимым игроком, что подпишет новый контракт, что его вызовут в национальную сборную и он завершит сезон с 42 сыгранными матчами во всех турнирах, забив 1 гол.

Его впечатляющие выступления продолжились и в сезоне 2013-14, когда он стал основным игроком средней линии ΠΑΟΚ. С неиссякаемой силой и способностью пробегать много километров на поле, он может помочь команде как в защите, так и при развитии атак.

В сезоне 2014-15 Каце стал основным звеном в механизме команды, помогая во всех игровых аспектах, благодаря чему получил от болельщиков награду «Платон Форопулос» как самый ценный игрок сезона.

В позапрошлом игровом сезоне Каце снова играл важную роль в команде, сыграв 32 матча и получив приглашение в национальную сборную Албании на Евро 2016. Полузащитник дебютировал на большом турнире в поединке со Швейцарией.

В первой половине сезона 2016-17 футболист был арендован в «Викторию» Пльзень, чтобы получить игровое время, но в январе вернулся в «Двуглавый» и под руководством Владана Ивича сыграл в девяти матчах, записав в актив один гол и одну результативную передачу.