2001年06月14日
ユーザテストって、実は被験者さんを集めてタスクをやってもらうこと自体よりも、後でビデオ記録などを分析して結果をまとめる方がずっと大変なんですよね。
今回は、その大変な分析がちょっぴり楽になって、しかもちょっぴり定量っぽいデータまで得られちゃうテストの実施方法について紹介したいと思います。
このテクニックを一口で言い表すために強いて名前をつけるとしたら、「重点評価項目チェックボックス法（仮）」とでも言うのでしょうか。要は、観察時にメモをする用紙（我々は観察シートと呼んでいます）に、あらかじめ懸念される事項についてチェックボックスを設けておく、という書いてみるとなんということのない内容です。
なんということのない方法ですが、どうしてなかなかメリットも多いのです。
まず、テスト中に楽できるという点。後からビデオを見返すのは膨大な時間がかかるものです。できればテスト中に重要な点についてはメモを残しておいて、それをもとにレポートが作成できれば随分時間の短縮になります。このためには、極力手書きで書いたり打ったりする文字数を抑え、効率よく記録をとる必要が出てきます。その点、チェックボックスにチェックを入れるという方法は申し分ありません。あらかじめ「今回のテストのこのフェーズでは、最後に確認ボタンを押し忘れる人が出るんじゃないかなぁ」と思ったら、観察シートの該当ステップのところに
□ 確認ボタンを押し忘れたという項目を刷り込んでおくのです。逆に
□ スムーズにできたと言った項目を用意しておいても良いでしょう。要はあらかじめ記入する頻度が高いと思われる項目を想定して、選択式にしておくということですね。
また複数の方略が取れるものに関して、
□ メニューから選んだ □ リモコンを使ったのように実際に被験者がどちらの手を取ったかをすぐ記録できるようにするのも有効です。
順序が決まっていないタスクで、実際にどちらからする人が多いかを記録するには、
□ お金を入れる □ 切符の金額を選んだなどとしておいて、□の中に数字を記入しても良いでしょう(チェックボックスではないですが)。
単にできた／できなかっただけでなく、どれくらいスンナリいったかを記述するのも、以下のようなチェックボックスを用意しておけば省略化が図れます。
□ スムーズにできた □ ちょっと迷った □ 人に聞いたこれらの記入欄をあらかじめ作っておくことでで、単に白紙の観察シートを使うよりも、テスト時間中に効率良く記録ができるようになり、浮いた時間をより観察したり、他のより重要なメモを取ることに充てたりできるようになるのです。結果として観察や記録の質全体が向上するでしょう。あるいは同レベルのアウトプットをより少数の観察者で出せるようになるかも知れません。事前懸念事項が本当に良く練られていれば、テストの進行役自身でもある程度は記録を行うことができるはずです。このようにより小規模にテストを実施できることは、構成員の少ない組織での実施や、とりあえずやってみる、というフェーズで有効だと思います。
第二のメリットは、分析の省力化です。後で実際に確認ボタンを押し忘れた人が何人いたかまとめようと思った際に、自由記述の中から探し出す手間はかなりのものです。たとえテキストデータになっていても、「確認ボタンを押し忘れた」、「押さなかった」、「確認忘れ」など忙しい中でタイプしたものは表記に「揺れ」が生じますから検索も簡単にはいきません。これらとチェックされたボックスの数を数える手間は比べるまでもありませんよね。
第三にして最大のメリットは、事前に評価の焦点が絞れるということです。あらかじめ効率の良い記録を目指すために、問題が起きそう（ユーザが困難を覚えそう）だと想定される問題を探し出すことは、即ちインスペクション評価を実施することに他なりません。ユーザテストはインスペクション法では想定できない思いがけない意外な結果が得られる反面、具体的な評価目標を設定しないで漠然と眺めているだけでは、なかなか有意義な情報を抽出することができません。事前検証を行って、問題となりそうな点に目星をつけておくことで、その問題の周辺の情報に注意を集中することができたり、逆に他のことに目を向ける余裕が生まれたりするものです。
以下に、このテクニックを取り入れた観察シートのサンプルを置いておきますので、ダウンロードして参考にしていただければ幸いです。
また、今回紹介したチェックボックス手法とは関係ないですが、観察シートには各ステップ毎の画面写真のサムネイルを張り付けておくこともオススメします。被験者が間違えて押した箇所やマウスや指の迷いの軌跡を描き込んだりする時に、画面の概略をスケッチする時間が省けるからです。
○チェックボックス付き観察シートのサンプル
Microsoft Word(.doc)形式(26KB)Adobe Acrobat(.pdf)形式(準備中)