大きな原因は、日本語の50音の音声システムと英語の音声システムが一致していないことにあります。例えば、英語の「violin」とカタカナの「バイオリン」を聞き比べると、発声の仕方からアクセントの位置まで、たいへん異なります。
『瞬解リスニング レベル１』では、リスニング問題の後に、毎日ディクテーション練習が組み込まれています。l/r、s/thといった日本人が苦手とする音の聞き分け／読み分けはもちろんのこと、なぜ「pick it up」がピキダ、「give me」が「ギミ」のように聞こえるか等を、分かりやすく解説しています。

私が大学時代、帰国子女の友人にアドバイスを求めたところ、「英語と日本語の二ヶ国語放送を聞いていれば、リスニングができるようになるよ」と言われました。しかし、言われたとおりじっと聞いていても、なかなか聞き取れるようにならなかった、という経験があります。
大人になってリスニングの勉強をする場合は特に、聞き取れないものを漫然と聞き続けていても、成果は出にくいものです。そこで、発音記号の解説書を読みながら何度も聞き取れない文章を集中して聞いたり、音読をしたりしたところ、少しずつ理解できるようになりました。このことからも、リスニング初級者には文字と発音の関係性を確認しながら精聴することをお勧めしています。