がっかりには、相手に対する失望的な意味もあるしな
大概の人は

お前には、がっかりだよ

みたいな使い方をするから
印象が悪いのは確か