과거의 능력과 실제 행위 구분이 이해가 안 돼요

과거의 능력을 말할 때는 could를 쓰고, 과거에 실제로 해낸 특정 행위에는 was/were able to를 쓴다고 배웠어요.
그런데 “The children could swim when they were quite young”과 “The children were able to swim across the river”는 둘 다 수영할 수 있었다는 뜻처럼 보여요.
두 문장에서 능력과 행위가 어떻게 다른지 궁금해요.