ChatGPTってどのくらい正確？ 実際のアンケート結果と比較してみた【アスマーク調べ】

アスマークは、「ChatGPTとアンケートの回答比較調査」を実施した。対話型AIの回答がどの程度適切なのかを調べるため、男女800名に対するアンケート調査結果とChatGPTの回答とを比較している。

実際のアンケートとChatGPTの回答、結果は大きく異なる？

まず、「ECサイトで購入したことがある商品」をランキング形式で調べると、特に「キッズ・ベビー・玩具」において、アンケート調査では15位、ChatGPTでは3位と大きな差が見られた。また「コスメ・健康・医薬品」「スポーツ・アウトドア」でも順位に違いがあった。

続いて、「ECサイトで買い物をする理由」についての回答を比較すると、アンケート・ChatGPTともに「ポイント還元」などのお得さや利便性を重視する傾向が見られた。ただし、「コロナ」などの時事ネタに関するワードはChatGPTではあげられなかった。

配送に関する満足度ランキングでは、特に「配送料金の妥当性」などの項目で違いが見られた。

一方、送料に関する満足度ランキングでは、ともに「送料の明確さ」「送料の無料条件の明確さ」「送料の妥当性」などが上位を占め、アンケートとChatGPTであまり違いは見られなかった。

調査概要

• 【調査対象】全国の20～59歳男女、1ヵ月に1回以上ECサイトで買い物をする人
• 【有効回答数】800サンプル
• 【調査期間】2022年4月11日(火)～4月13日(木)
• 【調査方法】Webアンケート