Perplexity AIにおける英語・日本語の使用比較
～日本語での医学情報収集のデメリット【前回の補足】～
＜目次＞
前回、Perplexity AIを用いて、成人における水腎症の原因、尿路結石症に対する超音波検査の診断特性（感度、特異度）について、英語で調べました。それを元に、従来からの調べ方と比べてみました。
今回は、前回のPlerplexity AIの記事で英語で使うことにしようと判断した背景を紹介する内容になります。前回の記事を書く際にPerplexity AIで日本語でも調べてみて、英語の方が良いと判断した質問への回答結果になります。
【導入】日本語×Perplexity AI
このように私自身のPerplexity AIは、いつも英語のみのような表示になっています。しかし、日本語でも使用することはできます。すると、「前回の記事では、なぜPerplexity AIを英語で使用したの？」と感じる人もいらっしゃるかもしれません。
前回、Perplexity AIを英語で使用したことには理由があります。せっかくなので、日本語で使用することをおススメしにくいと感じた部分を共有させていただければと思います。
このような状況なので、書店やアマゾンでもChatGPTに関連する本や雑誌の特集は見かけるにもかかわらず、Perplexity AIをはじめとする他の自然言語処理に関する対話型AI（チャットAI）の話は見かけにくいのかもしれません。以下を読んでもらえれば、日本語限定であるならば、ChatGPTだけがもてはやされる傾向にある理由が納得できるかもしれません。
１. 日本語×水腎症の原因（成人）
それでは、実際に日本語でPerplexity AIを使っていきたいと思います。まずは、成人における水腎症の原因からチェックしていきます。
1-1. 日本語「All」×水腎症の原因（成人）
日本語で成人における水腎症の原因を「All」設定で質問してみました。
回答として提示してきた成人における水腎症の原因は、尿路結石、腎盂・尿管癌、膀胱癌、前立腺肥大症、尿管膀胱移行部の閉塞、後部尿道弁、…と続き、大きな違和感はありません。
しかし、出典をチェックしてみて驚きました。
＜出典一覧＞
- https://mk-med.hatenablog.com/entry/2023/04/19/hydronephrosis_ddx
- https://www.jmedj.co.jp/premium/treatment/2017/d160303/
1つ目の出典が私自身のブログ記事だったのです…。2つ目こそ、簡単な日本医事新報社のホームページなのですが、英語で利用したときと比べて、情報源の少なさや信憑性の問題というリスクを感じました。Google検索に比べてMicrosoftのBing検索では、検索結果として微妙に感じるホームページが多いような、検索エンジンの違いもあるかもしれません。
1-2. 日本語「Academic」×水腎症の原因（成人）
同様に、成人における水腎症の原因を「Academic」設定で質問してみました。
なんと、返信が英語になってしまいました。しかも、英語で質問した際には、5つの出典までつけてくれたのと比べると雲泥の差で、少し残念な回答です。利用できる結果がなかったので、一般的な回答をしてくれたということです。
一般的な回答として、腎結石、腫瘍、前立腺肥大症、血塊、尿路感染症、手術等による組織損傷、先天的な異常を例として挙げています。この回答そのものには大きな問題がありません。しかし、出典もありません。
出典がないとなれば、ChatGPTと比較した際の特に優位性もありません。前回の記事のように英語での質問であれば、一応出典が紹介されていていました。回答こそ、いずれの場合も英語であるのに、日本語で質問することのでデメリットでもあると感じました。もちろん、日本語でダメなら英語で聞くというような判断をする人もいると思いますが、日本語で回答してくれるときから、情報源が異なることも留意すべき点だと考えています。
２. 尿路結石症に対する超音波検査（US）
それでは、次に尿路結石症に対する超音波検査（US）の診断特性（感度、特異度）について日本語で質問してみたいと思います。
2-1. 日本語「All」×尿路結石症に対するUS
まずは、「All」設定からチェックしてみます。
回答結果としてとても分かりやすい表記をしてくれていると感じました。具体的に感度と特異度を見ていくと、引っ掛かったものをとりあえずすべて持ってきたような感度と特異度の範囲です。特に特異度に至っては、31%～100%ということで何でもありというような表記です。
先日の記事で紹介したようなメタ解析での結果やフォレストプロットを見たり、その条件をチェックしたりしないと、その中でどの程度の値が多いのか、どういう条件でどのような値なのか、というような妥当性も分かりません。出典をチェックしてみたいと思います。
＜出典一覧＞
- https://tsuneeet.parallel.jp/entry/2020-10-05-160607/
- https://minds.jcqhc.or.jp/n/cq/D0003063
- https://hokuto.app/erManual/CZnN484CSW5qP4EO7ASz
- https://www.jsum.or.jp/journals/27595
1つ目の出典に関しては個人のブログであり、しかも具体的な学術的なものからの感度や特異度の引用かは明確ではありませんでした。「超音波検査セミナー」という動画が参考文献のようでした。私自身のブログも含め、ブログの在り方も考えないといけないですね。
2つ目は診療ガイドラインのClinical Questionをまとめたもので、具体的に、「腎、上部尿路、膀胱近傍の5mm以上の結石では、感度、特異度ともに95%以上」、「全部位では感度78%、特異度31%」となっています。
3つ目はまとめサイトのようなものです。あくまで箇条書きで「診断はまずエコー (50~70％で結石描出)」と記載があります。参考文献は5つほど挙げられているのですが、この文言が5つのうち、どの文献から引用されたのかは具体的に書かれていません。
4つ目は、日本超音波医学会の電子ジャーナルからです。尿路結石患者の長期的観察において、Ｘ線被曝がなく安全性の高い超音波検査の価値を再検討した内容でした。しかし、結果としては、超音波検査の目的は尿路結石による尿路評価（水腎の有無や水腎の程度など）が最も多く、結石の存在や位置の確認に用いられることは少なかったとしつつも、考察で超音波検査を積極的に活用すべきとしています。Perplexity AIの回答の最初の一文目のためだけに引用された程度の出典でした。
いずれも日本語かつ、ホームページの形態で閲覧可能なものでした。やはり、検索可能範囲の情報が日本語だと少なく、信憑性もいまひとつのものも紛れ込みやすいという印象は拭えませんでした。また、日本語にもかかわらず、RELATEDに英語が紛れ込んでいます（笑）。
＊＊＊＊＊
先ほどは、条件も超音波検査ということで、POCUS（point-of-care ultrasound）かRadiology Ultrasoundかも分からないような表現がされているホームページから引用されていました。さらに検索対象を絞り、超音波検査ではなく、POCUSにしてみます。
先ほどの「超音波検査」のときと比較して、もっと酷いことになりました。やはり、日本語の情報源が少ないのでしょうか。
出典も先ほどの「超音波検査」のときの出典の1つ目と3つ目のみの計2つです。しかもいずれの出典にもとりわけ、POCUSと書かれているわけではありません。専門的な用語になればなるほど、「All」設定では弱いのかもしれません。
＊＊＊＊＊
関連（RELATED）に「POCUS検査とCT検査の比較について」とあるのでそれも念のためにチェックしてみたいと思います。
POCUS検査とCT検査の比較ではあるのですが、感度、特異度に関する具体的な回答ではありませんでした。
＜出典一覧＞
- https://harumi-aoi.com/column_detail?actual_object_id=34
- https://www.premedi.co.jp/%E3%81%8A%E5%8C%BB%E8%80%85%E3%81%95%E3%82%93%E3%82%AA%E3%83%B3%E3%83%A9%E3%82%A4%E3%83%B3/h00482/
いずれの出典もチェックしてみると、クリニックやお医者さんオンラインという分かりやすく平易な文章で一般（患者）向け情報となっています。先ほどの「超音波検査の感度、特異度」について質問したときよりも、一般（患者）向けの情報となっています。
それでは、仕切り直して「Academic」設定で質問してみたいと思います。
2-2. 日本語「Academic」×尿路結石症に対するUS
先ほどは「All」設定で専門的になるほど、参考にならない回答となりました。尿路結石症の診断に対する超音波検査の診断特性（感度、特異度）について、次は「Academic」設定で調べてみたいと思います。まずは、超音波検査と尋ねてみます。
水腎症の原因の時に続き、日本語での質問にも関わらず、英語で回答してきました。個人的には日本語に期待していないのですが、これはどうしようもないですかね…。回答内容もチェックしていきます。
出典はひとつのみです。従来からの検索とは異なる文献が上位に表示されることが多いでしょうか。それはさておき、「超音波検査」とだけ聞いておけば、優秀な回答のようにもみえます。
＜出典一覧＞
＊＊＊＊＊
超音波検査（POCUS）としても、基本的な回答は変わりませんでした。超音波検査（POCUS）のときの回答も提示します。
出典はひとつのみで先ほどと同じです。内容としては上手にまとめられているようにみえます。超音波検査でも、POCUS（point-of-care ultrasound）か、Radiology Ultrasoundかについては、参考文献では特に述べられていないというような文言までしっかりと書かれています。とりわけ、「超音波検査」と質問したときと比較しなければ、一見すると、ぼちぼちの回答かもしれません。
しかし、わざわざ「POCUS」というキーワードを入れて検索しているにも関わらず、POCUSかRadiology Ultrasoundの、どちらか分からない参考文献を持ってきた理由に疑問が生じずにはいられませんでした。
それを差し引いても、以前の記事で調べた際のChatGPT（GPT-3.5）の回答では、POCUSかRadiology Ultrasoundの区別はできていなかったことを考えると、こちらの方が内容の精度（専門性）として優秀とも考えられるでしょう。
＊＊＊＊＊
続いて、そこで関連（RELATED）に表示されていた質問内容をクリックしてみました。POCUSによる尿路結石症の診断において、CTスキャンと比較してどの程度有効かという質問です。
質問内容は解像度が上がっています。そして、回答の後半あたりにおける “A systematic review and meta-analysis of studies comparing POCUS to CT scan in the diagnosis of urolithiasis found that POCUS had a pooled sensitivity of 86% and a pooled specificity of 96% compared to CT scan.” に関しては、どこから引用されたものか分かりません。何となく数字は似ていますが、先ほどの2-1のときのように幻覚のようなものの可能性もあります。
また、今回新たに提示された出典（上の2つ）は、尿路結石症の超音波検査に関係する論文ではありませんでした。出典がデタラメです。
＜出典一覧＞
- https://pubmed.ncbi.nlm.nih.gov/20461447/
- https://pubmed.ncbi.nlm.nih.gov/30879147/
- https://pubmed.ncbi.nlm.nih.gov/20427874/
しかし、出典から検証可能という点はやはり安心感があります。
３. まとめ
ここまでの、日本語でPerplexity AIに医学的なことを質問してきた際のことをまとめて見ようと思います。すでに英語で質問で同様の質問をした際のことは、前回のブログにしてあります。それを踏まえて、そこから感じたことになります。
やはり、日本語・英語を問わず、出典（参考文献）を紹介してくれる対話型AI（チャットAI）としての価値はあると考えています。出典チェックはやった方がよいものとして、特に次のようなときに役立つと感じています。
- 自分なりのちょっとした仮説の根拠となりそうな出典を見つける
- 初学者として全体像を掴む
特に英語で利用した際に役立つと感じています。英語で質問したときには、それなりに役立つ部分を見つけやすかったのですが、日本語で質問したときに不十分な回答が目立つ結果になりました。一般（患者）向け情報としては出典もあるので、ChatGPT（GPT-3.5）よりも良い面もあるかもしれません。
医師・医療者向けの情報として考えると、やはり日本語での情報の少なさ・アクセスのしにくさがあるのかもしれません。医学論文でインパクトファクターの大きなものが英語であるのはもちろんのこと、様々な国から発信されるものが自国語もしくは英語であることを踏まえると、日本語を使うことの限界や閉塞感のようなものを感じました。
また、今回のように日本語で質問しても英語で回答を返信されるということは他でも報告されています。返信が英語であり、しかも英語で質問した時の方が詳しい回答であることを踏まえると、英語で質問したほうが良いと判断しました。そして、前回のブログ記事も英語を軸としたものにしました。
また、最近話題の自然言語処理による対話型AI（チャットAI）だけでなく、海外の主要医学雑誌のメール配信等も使った方が最新情報も便利にチェックできます。やはり、日本語のデメリットと英語のメリットを感じます。
そして、また月日の経過に伴って、ソフトフェア・アプリのアップデート等でも変化していくでしょう。6月に入ってからも気がつけば、Perplexity AIの設定から「News」が消えて、「Writing」が追加されていました。個人的にはブログの在り方も、今後は体験談・記録に絞るなど、さらに考えさせられました。
上手に用途に合わせて、従来からの情報収集（例: 検索、2次文献）はもちろん必須として、対話型AIでもChatGPT／Perplexity AI等の使い分けをして利用してもらえればと思います。
本日もお読みくださいましてありがとうございました。
【関連記事】
英語で今回と同じテーマでPerplexity AIに質問した際のことをまとめた記事になります。
ChatGPTで日本語・英語の両方で、今回と同じテーマで質問した際のことをまとめた記事になります。
成人における水腎症の原因、尿路結石症に対する超音波検査の診断特性（感度、特異度）などについて、対話型AIとの比較になる従来からの記事になります。