Воспитанник тренера Юрия Крылова, играл за детскую сборную Украины. В 1999 переехал в Россию, стал играть за молодежный клуб «Элемаш» (Электросталь). Выступал за юношескую сборную России. Серебряный призёр чемпионата мира 2002 среди юниоров.

В 2002 году заключил договор с хоккейным клубом ЦСКА под руководством Виктора Тихонова, в то время также тренера сборной России по хоккею. Выступая за ЦСКА, набрал 28 очков (14+14) за 64 матча. Одновременно участвовал в драфте НХЛ, где был выбран командой «Коламбус Блю Джекетс» под общим 4-м номером. 15 августа 2003 Жердев заключил трехлетний контракт с американской командой на общую сумму 7,7 миллиона долларов. Изначально объявлялось, что хоккеист будет выступать за ЦСКА до конца 2003 года, и переедет в США только в 2004. Однако в сентябре 2003 он исчез из тренировочного центра ЦСКА и через несколько дней появился на базе «Коламбус Блю Джекетс» в Коламбусе. ЦСКА воспротивился переходу игрока, объявив, что Жердев находится на действительной военной службе и не имеет права покидать расположения части. Виктор Тихонов пригрозил Николаю уголовным преследованием. ЦСКА подал иск в международный спортивный суд. В марте 2004 года тот вынес решение в пользу хоккеиста.

В 2006 году Жердев снова вступил в спор с руководством клуба, на сей раз «Блю Джекетс». Хоккеист требовал увеличить ему зарплату, а руководство клуба отказывалось, ссылаясь на то, что последний сезон Николая был неудачным. В итоге стороны сошлись на компромиссной сумме 7,5 млн долларов за три года. В 2008 году Жердев был продан команде «Нью-Йорк Рейнджерс». В 2010 году Жердев подписал контракт с «Филадельфией Флайерз» на один год. Зарплата игрока составила $2 млн. В 2011 году вернулся в Россию где подписал контракт с клубом КХЛ «Атлант (Московская область)».

Летом 2013 года Жердев был выставлен на «драфт расширения», с которого он, однако, выбран не был. В конце лета Жердев подписал однолетний контракт с чешским клубом «ХК Лев Прага», в котором он провел часть предсезонки, а также принял участие в нескольких контрольных играх. На «Кубке Праги» он забил своему бывшему клубу «Ак Барсу», а позже с командой выиграл и весь турнир. Однако в конце августа Жердев обратился к руководству команды с просьбой о расторжении контракта. Ситуации сопутствовали слухи о том, что Жердев ушел в загул. Проведя некоторое время без клуба, 24 сентября Жердев подписал контракт до конца сезона с московским «Спартаком». 15 ноября 2013 клуб расторг контракт с игроком.

14 июля 2014 Николай Жердев после двухмесячных переговоров с московским «Динамо» заключил годовой контракт.

Жердев в составе сборной России выиграл чемпионат мира 2009 года и чемпионат мира 2012 года.