부사의 최상급에서 정관사 the 생략해도 되나요?

What surprised us the most was the fact that he said that he had hardly arrived at work late.
여기서 부사의 최상급에 the를 쓰는 게 맞는지 궁금해요.
부사의 최상급은 뒤에 수식어구가 있을 때만 the를 붙이는 것으로 알고 있는데, 생략해도 되고 안 해도 되는 건가요?
제가 정리한 내용이 맞는지도 확인 부탁드려요.