관계대명사와 관계부사 중 무엇을 써야 하나요?

어법에 맞는 형태를 골라야 하는 문장입니다.
“But sir, the Ganges is for everybody. I think I have the right to take a bath at any time (that/when) I want.”
정답은 when인데, 선행사 any time이 있고 want의 목적어가 빠져 있어 목적격 관계대명사 that이 맞는 것 아닌가요?
설명 부탁드립니다.