結論:効果がありそう。

検証方法:

1.下記の比較的競合が多いと考えられる検索キーを用意。
2.1.のキーでGoogle検索し、それぞれの上位50位の結果を取得し、表示順位とドメインを記録。
3.2.を ドメインに日本語が含まれているドメイン(以下、日本語ドメイン群)と日本語が含まれていないドメイン(非日本語ドメイン群)に分割。
4.3.の 「日本語ドメイン群」と「非日本語ドメイン群」の表示順位の平均値を算出。

結果:
日本語ドメイン群:平均表示順位19.3位
非日本語ドメイン群:平均表示順位26.1位

統計的有意に表示順位に差があるように見えます・・・が、実際のところどんな検索キーによって表示順を検証するかで、結果にも差が出るかもしれません。

さらに、日本語ドメインを取っているサイト管理者は、非日本語ドメインのサイト管理者に比べて、日本語ドメインの他に熱心にSEO対策を行っている管理者である可能性も高いです。そんな訳で、今回の結果の検証だけで、「効果がある」と言い切ってしまうのは言い過ぎでしょう。

ざっくりとした結論として、「効果がありそう」という認識に留めておきましょうか。

検証用データ:
検索に用いたキー:SEO対策、FX会社 比較、アフィリエイト 稼ぎ方、転職サイト 比較、の計4個。
結果から得られた日本語ドメインの数:19個
結果から得られた非日本語ドメインの数:181個
検証実施日時:2014/6/1 21:00

Dropbox上に検証に用いたデータを置いておきます