研究によると、ChatGPTのAI生成トレーニングは不完全で慎重すぎた

ある研究者は、この分野のゴールドスタンダードと考えられているアメリカスポーツ医学会の運動検査と処方に関するガイドラインで特定された26の集団に対する運動の推奨事項を提供するようChatGPTに依頼しました。 集団には、健康な成人、子供、青少年、高齢者、心血管疾患のある人、肥満の人などが含まれていました。

ChatGPT の推奨事項のほとんどは事実として正しく、「ゴールドスタンダード参照ソース」と比較した場合の正確性率は 90.7 パーセントでした。 しかし、この推奨事項は十分に包括的ではなく、ガイドラインの41.2％しかカバーしていないと研究者らは書いている。

このツールはまた、高血圧、線維筋痛症、がん、その他の疾患を持つ人々の運動に関して誤った情報を生み出しました。 高血圧の人については回答の精度が低く、このグループのほとんどのメンバーに適している激しい運動を控えることさえ推奨されていました。

また、AI が生成した回答は、そもそも運動すべきかどうかについて読者に誤解を与え、対象となる人々が運動計画を開始する前に医師に尋ねる必要がない場合でも、53% の確率で運動する前に医師の許可を求めることになりました。 研究者らは、これが人々の運動意欲をそぎ、不必要な不安や不必要な医師の診察を引き起こす可能性があると警告している。

研究者らによると、推奨事項は本来あるべきほど読みやすくはなかったという。平均して、推奨事項は「読みにくい」とみなされ、大学レベルで書かれたものだという。

全体として、研究者らは、医療提供者も患者も同様に、運動の推奨をAIのみに依存する場合は慎重になるべきであり、今後の研究は「適切さ、コスト、実現可能性」などの要素の測定に焦点を当てる必要があると結論付けた。