Кромкамп начал свою карьеру в полузащите, выступая за клуб Гоу Ахед Иглз второго голландского дивизиона в 1998 году. Затем перешёл в АЗ в элиту в 2000 году, где выходил на поле на позиции правого защитника. По-настоящему громко он заявил о себе в Кубке УЕФА 2004-05, дойдя до полуфинала со своей командой, чем вызвал интерес таких клубов, как Валенсия, Порту, Арсенал и Вилльяреал. После неудачных переговоров с Порту, Ян подписал контракт с Вилльяреалом. Но переезд и адаптация в Испании оказались для Кромкампа сложными, и после 11 игр и пяти месяцев Ливерпуль обменял его на защитника Хосеми.

Скучающий по дому Ян вернулся в Голландию, перейдя в ПСВ, ничем особо не запомнившись в Ливерпуле. В составе ПСВ он два раза подряд выиграл чемпионат Голландии в 2007 и 2008 году.