単純に英語力が原因とはいえない部分があります。

　例えば、日本語でも、地方のお年寄り等の言葉は分からないことがありますね。日常の会話であれば、聞き取ることができた言葉で話しの内容を推測をしたり、「これはこういう意味ですか」と確認をしながら話が進んで行くのでしょう。テレビの場合は、テロップが表示されることもありますね。

　また、地方のお年寄り等の話し方にはいわゆる訛りがあり、100％話の内容を理解することはできないでしょう。英語も同じです。人それぞれ、皆異なった話し方をしています。

　デイビッドリンチのインタビュープロジェクトは、ネイティブ・スピーカーの私でも、わからない部分がありました。原因は下記のようなものが考えられます。
　

　　・ひとつひとつの単語をはっきりと発音していない部分がある
　　・前後の単語と結合させて発音しているため、辞書に載っている発音とは異なった音になっている
　　・文法的に間違った英語を話している
　　・文の途中で、別のことを話し始め、文章が完結してない、等々

　上記のようなケースがあることが理解できるようになると、聞き取れる英語の幅が広がって行きます。興味が湧く題材をみつけて、継続してトレーニングをして行くのがよいでしょう。
　
　
　
(*)関連リンク
David Lynch Interview Project

【解説　ETCマンツーマン英会話　ナオミ先生(荻窪)】

(*)関連ブログ
オンラインで楽しく英会話上達・オンタノ英会話
英語上達学習
恐らく最高のリスニング練習法？（私にとって）
ディクテーションの重要性を再確認しました
リスニングが苦手
「まるでサウナに居るようね」：ディクテーション
リスニング対策－ディクテーション－
ディクテーション
音読の効果について考察
ディクテーションはテンポよく