to부정사와 동명사, leaving이 맞는 이유가 궁금해요

교재에서 to부정사는 미래 지향적이고 동명사는 과거나 현재 쪽이라고 배웠어요.
“Your wish to go for a walk does not justify leaving the baby alone in the house.”에서 leaving 대신 to leave를 써야 하는 것 아닌가요?
앞으로 혼자 두지 말라는 경고처럼 느껴져서 궁금합니다.