이유식 먹일 때 물도 같이 주시나요?

이유식을 시작했는데 아이가 정말 잘 먹어요ㅎㅎ
이유식 먹일 때 물도 같이 줘야 하나요? 목마를까 봐 궁금하네요.
물은 끓여서 줘야 할지, 정수기 물을 바로 줘도 될지 모르겠어요.
컵으로 주는 게 나을까요, 숟가락으로 먹이면 될까요?