電通デジタル、AI生成キャッチコピーがA/Bテストで人間案に勝率7割・最終CVR改善124.79%を達成
独自クローラーでクライアント企業と競合企業のサービスページを取得し解析用AIで解析、電通グループ独自の「キャッチコピーの勝ちパターン」「テレビ視聴データ(STADIA)」「X(Twitter)API投稿全量データ」を学習させたコピー生成AIで数百パターンのキャッチコピーを生成。デフォルト案(A)とAI生成案(B、10パターン)でA/Bテストを実施し、最終的にキャッチコピー×CTAボタン×ページコンテンツの1,008通りの組み合わせから多変量テストでチャンピオンを選定した。
頭打ちになったLPのCROにおいて、AIコピー生成単体でなく「自社/競合クロール解析」+「独自データ(TV視聴・SNS全量)学習」+「多変量テストでの組み合わせ最適化」を組み合わせることで、通常3割程度とされるB案勝率を7割まで引き上げ、CVRの「見えない天井」を突破した点が示唆。対象は情報通信業(電子決済サービス)のLP、コンバージョンは仮申し込み。
AI生成コピー10パターン中7パターンがデフォルト案に勝利(勝率7割、通常のB案勝率は3割程度とされる中で高勝率)/ 最終的なチャンピオン組み合わせでCVR改善124.79%
「一般的には、A/BテストにおいてB案の勝率は3割ほどと言われる中、7割というのは非常に高い勝率です」/「独自のクローラーによって『クライアント企業のサービスページ』と『競合企業のサービスページ』から情報を取得し、解析用AIで解析して『解析データ』を作成しました」/コピー生成AIには「電通グループ独自のキャッチコピーの勝ちパターン」「電通グループ独自のテレビ視聴データ(STADIA)」「Twitter(現:X)のAPIから取得した投稿の全量データ」を学習させた/最終検証で1,008通りのパターンからチャンピオンを選定しCVR改善124.79%を達成