こんにちは、ミツカリCTOの塚本こと、つかびー(@tsukaby0) です。
我々IT界隈以外もそうだと思いますが、よく「アウトプットしろ」「学んだことを書け」と言われます。
これは理解できますし、実際に私自身もそこそこアウトプットはしている方だと思います。感覚的にも確かにアウトプットはスキルアップや記憶の定着に有効な気がします。
しかし、それはなぜなのでしょうか？感覚ではなく、科学的根拠に基づいて理解したいと思います。今回の記事では、著名な論文を引用しながら、アウトプットの重要性を論理的に整理していきます。
テックブログの趣旨からは逸れますが、なるべくITでの実務にも触れつつ整理していきたいと思います。
- 結論
- 論文調査
- 出発地点: Test-Enhanced Learning: Taking Memory Tests Improves Long-Term Retention
- 次にどうやって調べるか（Connected Papers）
- The Power of Testing Memory Basic Research and Implications for Educational Practice
- The Critical Importance of Retrieval for Learning
- Why Testing Improves Memory: Mediator Effectiveness Hypothesis
- The critical role of retrieval practice in long-term retention
- Testing (Quizzing) Boosts Classroom Learning: A Systematic and Meta-Analytic Review
- 別視点での調査
- The production effect: Delineation of a phenomenon
- ここまでの調査をまとめる
- どういったアウトプット、学習を行っていくと良いか
- おわり
結論
- 長期記憶の定着には想起(テストなどを通じて思い出すこと)と産出(タイピングや音読をすること)が重要
- さらに間隔を空けて実施し(1分間隔などではなく1日間隔など)、フィードバックがあり、思い出す困難さがあるとさらに効果が高まる
- デイリーメモを取ったり、blog記事を書くことは想起と産出の観点から記憶の定着に効果があると言える
- (※記憶の定着がスキルアップにどう繋がるのかは今回の記事では触れられていない。ただし、これからのAI時代では記憶定着、アウトプットは重要な要素だと私は考えている)
論文調査
出発地点: Test-Enhanced Learning: Taking Memory Tests Improves Long-Term Retention
- タイトル和訳: テストによる学習強化：記憶テストが長期保持を改善する
- 年: 2006
- 著者: Henry L. Roediger III, Jeffrey D. Karpicke
- 学会・掲載誌: Psychological Science, 17(3), 249–255
まず、アウトプットがなぜ大切なのかというのは既に先人たちが多くの研究をしていたり、記事化していたりします。巨人の肩に乗って楽をしましょう。人類はそうやって発展してきました。
検索しても良いですし、AIに聞いても良いです。そうするとまず目につくのが Testing Effect（テスト効果） です。
これはRoedigerとKarpickeによる2006年の研究で、論文のタイトルは Test-Enhanced Learning: Taking Memory Tests Improves Long-Term Retention です。
https://journals.sagepub.com/doi/abs/10.1111/j.1467-9280.2006.01693.x
簡単にまとめると、学習後に「再度読み返す（再学習）」よりも「テスト（想起練習）を行う」方が、長期的な記憶保持に優れるということを実験的に示した論文です。論文PDFは購入しないと読めませんが、ネット上にいくつもまとめがあるのでそれらを読むのも良いでしょう。
※ 以下のポイントは原著のPDFが有料のため、二次情報から整理したものです。できれば原著で検証したいところですが、後述のサーベイ論文（The Power of Testing Memory）で同様の内容が確認できます。
ポイントは以下の通りです。
- Retrieval Practice（想起練習）：情報を思い出そうとする行為自体が、記憶の神経回路を強化します
- Retrieval Effort（想起の努力）：思い出すのに努力が必要なほど、記憶は強く定着します
- 知識のギャップの発見：テストを通じて「分かっていない部分」が明確になります
どうしてこれがよく出てくるのか、出発点になっているのかというと、ある程度古く、評価が高いからです。本当に評価が高いかを測る方法はなく、複合的に考えるしかないですが、少なくともGoogle Scholarでは被引用数が4589と多いです(間違っているなどの引用もあるため、引用数が絶対の正義ではない)。また、Psychological Scienceという論文誌に掲載されており、この論文誌はアメリカの心理学分野で高い権威があります。
次にどうやって調べるか（Connected Papers）
出発地点を Test-Enhanced Learning: Taking Memory Tests Improves Long-Term Retention と定めました。
ここから他にも色々と調べていきたいです。ただ、調べるだけならWeb検索でもAIでも良いですし、そちらの方が簡単です。
例えば以下のhamon hamonさんの記事では他にもいくつかの記事について言及されています。
これと同じようなまとめを書いても価値は低いですし、もう少し論理立てて整理していきたいです。
冒頭でも言った通り、私たちは巨人の肩に乗っているわけですが、その肩に乗った我々の肩にもまた誰かが乗ります。つまり引用(Citations)から調べていけば他の有力な研究、最新のものが見つかると言えそうです。
これをある程度簡単に調査することができ、それにはConnected Papersというサービスを使います。
このサービスについては以下の記事が参考になります。
ネットワークグラフの一種であり、近いものは近い研究、濃いものは最新の研究です。先ほどの出発点をもとにして可視化してみます。
これを使って関連する研究を調べていくことにします。
The Power of Testing Memory Basic Research and Implications for Educational Practice
- タイトル和訳: 記憶テストの力：基礎研究と教育実践への示唆
- 年: 2006
- 著者: Henry L. Roediger III, Jeffrey D. Karpicke
- 学会・掲載誌: Perspectives on Psychological Science, 1(3), 181–210
先ほどのテスト効果の著者と同じですが、こちらはサーベイ論文(論文のまとめ)の色が少し強いです。過去の様々な実験をまとめています。これはPDFを誰でも閲覧できます。
https://brucehayes.org/Teaching/papers/2006_Roediger_Karpicke_Review.pdf
ポイントとしては以下の通りです。
- テストは再学習より長期記憶に効く
- 短期的には繰り返し読む方が成績が良いが、数日〜1週間後には逆転する。テスト1回の効果が学習5回分に匹敵するケースもある。
Taking a test on material can have a greater positive effect on future retention of that material than spending an equivalent amount of time restudying the material, even when performance on the test is far from perfect and no feedback is given on missed information.
引用: Roediger & Karpicke (2006) p.181
- テスト回数が多いほど忘却が減る
- テスト0回→忘却46%、1回→27%、3回→13%。繰り返しテストは忘却をほぼ止める。
subjects exhibiting 13% forgetting after three tests, 27% forgetting after one test, and 46% forgetting after no tests. In a sense, subjects who received three tests were completely immunized against forgetting
引用: Roediger & Karpicke (2006) p.189
- 努力を伴う検索ほど効果が大きい
- 記述式は選択式より効果が高い。テストのタイミングも少し遅らせて「思い出すのに苦労する」状態の方が長期保持に有利。これが「望ましい困難（desirable difficulties）」という概念。
retrieval strength is negatively correlated with increments in storage strength; that is, easy retrieval (high retrieval strength) does not enhance storage strength, whereas more effortful retrieval practice does enhance storage strength and promotes more permanent, long-term learning.
引用: Roediger & Karpicke (2006) p.199
- 学習者は自分の学習法を見誤る
- 繰り返し読んだ学生ほど「よく覚えている」と過信するが、実際には最も忘却率が高い。流暢さを学習の証拠と勘違いしてしまう。
These predictions were inflated after repeated study, relative to the testing conditions, even though repeated studying produced the worst long-term retention. This finding suggests that students may prefer repeated studying because it produces rapid short-term gains, even though it is an ineffective strategy for long-term retention.
引用: Roediger & Karpicke (2006) p.193
- 教室でも効果は再現される
- メタ分析（35研究）でテスト頻度と成績の正の関係が確認され、学生もテストが多い授業をより好意的に評価している。
The majority of the studies Bangert-Drowns et al. (1991) included (29 of 35, 83%) found positive effects of frequent testing, and the mean effect size (standardized mean difference, d) was .23.
all four studies found that the students who were tested frequently rated their classes more favorably (in course ratings at the end of the semester) than the students who were tested less frequently.
引用: Roediger & Karpicke (2006) pp.195-196
The Critical Importance of Retrieval for Learning
- タイトル和訳: 学習における検索の決定的重要性
- 年: 2008
- 著者: Jeffrey D. Karpicke, Henry L. Roediger III
- 学会・掲載誌: Science, 319(5865), 966–968
Karpickeが筆頭著者になっており、また論文誌がScienceです。これは最高峰なので、他の論文よりもインパクトが大きく、高く評価されたのだと思います。
大学生にスワヒリ語-英語の単語ペア40組を学習させ、一度正解できたペアについて「学習を継続するか」「テストを継続するか」を4条件で操作しました。
- ST条件（標準）：全ペアを毎回学習し、毎回テスト
- S_NT条件：正解したペアは学習リストから外すが、テストは毎回全ペア
- ST_N条件：正解したペアはテストから外すが、学習は毎回全ペア
- S_NT_N条件：正解したペアは学習もテストも外す（一般的な勉強法：覚えたら次へ）
学習フェーズ終了時には4条件すべてでほぼ100%正解に達し、学習曲線に差はなかった。しかし1週間後、テストを繰り返した条件は約80%を保持したのに対し、テストを外した条件は約35%にとどまった（d=4.03、分布の重なりゼロ）。学習の追加は効果ゼロ、テストの追加は150%以上の改善という決定的な非対称性を示し、「覚えたら次へ」という一般的な学習戦略を実験的に否定した。
- 学習後の繰り返し学習は長期記憶に効果がない
- 一度思い出せるようになった後、何度読み返しても1週間後の成績は変わらない。
repeated study after one successful recall did not produce any measurable learning a week later.
引用: Karpicke & Roediger (2008) p.967
- 繰り返しテストこそが長期記憶の決定要因である
- テストを繰り返した群は約80%、外した群は約35%。効果量d=4.03でスコア分布の重なりはゼロ。
repeated retrieval practice enhanced long-term retention, whereas repeated studying produced essentially no benefit.
引用: Karpicke & Roediger (2008) p.967
- 追加の学習試行80回は効果ゼロだが、追加のテスト試行80回は150%以上の改善をもたらす
- 同程度の試行数でも、学習かテストかで結果が根本的に異なる。
about 80 more study trials occurred in the STN condition than in the SNTN condition, but this produced practically no gain in retention. ... However, when about 80 more test trials occurred in the learning phase ... repeated retrieval practice led to greater than 150% improvements in long-term retention.
引用: Karpicke & Roediger (2008) p.967
- 学生は検索練習の効果を全く認識していない
- 全条件で「50%くらい覚えているだろう」と予測し、条件間に差がなかった。
students exhibited no awareness of the mnemonic effects of retrieval practice, as evidenced by the fact that they did not predict they would recall more if they had repeatedly recalled the list of vocabulary words than if they only recalled each word one time.
引用: Karpicke & Roediger (2008) p.968
- 「覚えたら次へ」という一般的な勉強法は間違いである
- 多くの教育者や学習ガイドが推奨する方法が、実験的に否定された。
the conventional wisdom existing in education and expressed in many study guides is wrong. Even after items can be recalled from memory, eliminating those items from repeated retrieval practice greatly reduces long-term retention.
引用: Karpicke & Roediger (2008) p.968
- 学習速度が同じでも、忘却率は練習の種類で決まる
- 4条件の学習曲線は同一だったが、忘却率は劇的に異なった。
the forgetting rate for information is not necessarily determined by speed of learning but, instead, is greatly determined by the type of practice involved.
引用: Karpicke & Roediger (2008) p.968
Why Testing Improves Memory: Mediator Effectiveness Hypothesis
- タイトル和訳: なぜテストは記憶を改善するのか：媒介子有効性仮説
- 年: 2010
- 著者: Mary A. Pyc, Katherine A. Rawson
- 学会・掲載誌: Science, 330(6002), 335–338
この論文は先ほどのThe Critical Importance of Retrieval for Learningの再現実験を含みつつ、テスト効果がなぜ起きるのかというメカニズムを提案した論文です。
We conclude that the original result did not replicate in the first round of data collection (p = 0.0893), but did replicate in the first and second rounds of data collection pooled (p = 0.0087), given the criteria and procedure outlined above. 引用: Pyc & Rawson (2010) p.335
結論としては1回目の実験では再現しなかったものの、1回目と2回目のデータを合算した結果、再現しています。
微妙ではありますが、Karpicke & Roedigerの研究が少し強固になったのかなと思います。
The critical role of retrieval practice in long-term retention
- タイトル和訳: 長期記憶保持における検索練習の決定的役割
- 年: 2011
- 著者: Henry L. Roediger III, Andrew C. Butler
- 学会・掲載誌: Trends in Cognitive Sciences, 15(1), 20–27
以前の論文ではTesting effectという用語が使われていましたが、この論文ではRetrieval practice(検索練習)という行為・用語にフォーカスしています。検索練習というのは本を複数回読むのではなく、本を閉じて思い出すというような脳内から検索することを指します。
ポイントとしては以下の通りです。
- 検索の間隔と回数が決定的に重要
- 1分間隔で何度も検索練習するよりも、より長い間隔で検索練習する方が効果的。
After a week, only retrieval practice with longer intervening intervals had any effect on performance – practice that occurred every minute produced floor-level performance, no matter how many times the item was successfully retrieved.
引用: Roediger & Butler (2011) p.22
- フィードバックはテスト効果を増幅し、遅延フィードバックが即時より効果的
- 最初のテストを受けると（フィードバックなしでも）、最終的な想起率が3倍(11%->33%)。最初のテストで各質問の直後に正解のフィードバックが与えられた場合、パフォーマンスはさらに10%向上。ただし、テスト全体の後に与えられたフィードバックにより、最終パフォーマンスはさらに向上(さらに11%向上)。
Taking an initial test (even without feedback) tripled final recall relative to only studying the material. When correct answer feedback was given immediately after each question in the initial test, performance increased another 10%. However, feedback given after the entire test boosted final performance even more.
引用: Roediger & Butler (2011) p.23
- 選択式テストの負の効果はフィードバックで完全に消える
- 選択式テストでは誤答選択肢を学習してしまうリスクがあるが、フィードバックを与えればこの問題は解消される。
If feedback is provided after a multiple-choice test, the negative effects are completely nullified.
引用: Roediger & Butler (2011) p.23
Testing (Quizzing) Boosts Classroom Learning: A Systematic and Meta-Analytic Review
- タイトル和訳: テスト（クイズ）は教室での学習を促進する：系統的・メタ分析レビュー
- 年: 2021
- 著者: Chunliang Yang, Liang Luo, Miguel A. Vadillo, Rongjun Yu, David R. Shanks
- 学会・掲載誌: Psychological Bulletin, 147(4), 399–435
Testing Effectに関する複数の研究をまとめたものです。
注目すべきポイントは以下です。
- 効果は教育段階と教科を問わず汎用的である
- 小学校から大学まで有意な効果。18教科カテゴリで一貫。
the testing effect generalizes across different subjects to an approximately similar degree.
引用: Yang et al. (2021) p.19
別視点での調査
ここまでテスト効果をベースに色々調べてきました。複数の再現実験などからどうやら有力かつ正しそうなことがわかりました。
これまでの調査でいくつかのメタ分析の論文などを通じて関連するワードを見つけることができました。
次は The Production Effect（産出効果） について調べてみたいと思います。
The production effect: Delineation of a phenomenon
- タイトル和訳: 産出効果：現象の輪郭描写
- 年: 2010
- 著者: Colin M. MacLeod, Nigel Gopie, Kathleen L. Hourihan, Karen R. Neary, Jason D. Ozubko
- 学会・掲載誌: Journal of Experimental Psychology: Learning, Memory, and Cognition, 36(3), 671–685
The Production Effectで検索するとこの論文がほぼ原点のようでした。その前の論文もあり、1972年から発見されていた事象のようです。改めて再実験などを通じて検証し、注目を集めたようです。
簡単にまとめると、Production Effect（産出効果）とは単語を声に出して読むだけで、黙読するよりも記憶が大幅に良くなるという現象です。産出効果は、音読だけでなく口パク、手書き、タイピング、つづりでも生じます（ただし音読が最も効果大）。歌うと音読よりさらに良いという報告もあります。他人が音読するのを聞くだけでも効果はありますが、自分でやる方が大きいです。
他にも追加研究である The production effect is consistent over material variations: support for the distinctiveness account というものもあり、そちらでは産出効果は素材の種類によらないことが示されています。
素材の種類というのは例えば絵を見てその名前を言うとか、存在しない単語を言う、などのことです。
ここまでの調査をまとめる
複数の論文を調べた結果、要点や使えそうなポイントがわかってきました。まずはそれをまとめてみます。
- 繰り返し読む（再学習）よりも、テスト（想起）を繰り返す方が長期記憶に圧倒的に有効である。短期的には再学習が有利に見えるが、1週間後には逆転する
- ただし、短期記憶（5分後程度）の場合はテストよりも繰り返し読む方が効果がある
- この効果は追加学習80回が効果ゼロなのに対し、追加テスト80回は150%以上の改善という非対称的な効果の差
- テスト回数が増えるほど忘却率は下がる。テスト0回は忘却46%だが、テスト3回は忘却13%
- 努力を伴う検索ほど効果が大きい。記述式は選択式より効果が高く、間隔を空けた検索がより有効
- フィードバックがあるとさらに効果は増幅される。遅延フィードバックの方が即時フィードバックより効果的
- この効果は小学校から大学まで、18教科にわたって汎用的に確認されている
- 声に出す・手書きする・タイピングするといった「産出」行為自体が記憶を強化する。黙読よりも音読、音読よりも歌う方が効果が大きく、自分で産出する方が他人の産出を聞くより効果的
これらのことからアウトプットが有効であるという主張は理にかなっていると考えることができます。自分でアウトプットの内容を想起して、それを産出するわけですから。
どういったアウトプット、学習を行っていくと良いか
大事なのは想起することと産出すること、そしてそれらを間隔をあけて繰り返すことです。
ここまでの科学的根拠を踏まえて、IT文脈でどんなアウトプットが効果的なのかを考えてみます。
テスト直前の場合、教科書を音読する
はじめに注意点として短期記憶の場合はテストよりも再学習する方が効果が高いという結果になっています。そのため、もしあなたが生徒や学生で期末テスト直前、あるいは資格試験直前の状況だったりする場合は、教科書を音読することが最善手になると考えられます。
過去問を使った資格勉強
学校教育とほぼ同じことですが、教科書を何周もするよりも過去問テストを何回かやった方が長期的な記憶の定着に繋がります。確かにIT界隈では例えばIPAの資格が有名ですが、過去問をひたすらやるだけで受かる、過去問推奨というような話は聞きます。
また、フィードバックがある方が効果的なので、答え合わせをする時は解説を読むと良いです。
日報、報告しないデイリーメモ
その日やったこと、つまずいたこと、困ったことなどを日々のメモとして残しましょう。必ずしも公開する必要はありませんが、会社の仕組みとして義務化するのもありでしょう。
ただし、注意点としてあくまで想起と産出が大事なので、それが発生しない日報の仕組みになっていたら必ず見直してください。例えば自分のカレンダーやチャットツールの発言から生成AIにまとめさせて自動生成、というようなことをやりたくなる人はいるでしょう。それは無意味なのでやめましょう(やめさせましょう)。
振り返りをする
チームでやっても良いですし、個人でやっても良いです。日報でもObsidianのメモでも何でも良いのですが、3日後、1週間後にそれらを見ずに思い出してみることが有効です。「あのライブラリはどういう仕組みだったっけ？」などと自問して想起することで検索練習になります。
ブログ記事やドキュメントを書く
学んだことを他人に説明する形で文章化すれば、想起と産出の両方を同時に実行できます。また、blog化するというのはそれなりに想起の難易度が高いです。そのため、記憶の定着にとても有効です。
また、大抵の場合は3日や1週間などしばらく期間を空けた後でblog化すると思います。これは間隔が空いているため、とても良いです。
注意点としては、完全に生成AIだけでblogを作らないことです。日報の部分で説明した通り、無意味です。
初めの調査(1回目の学習)に生成AIを使うのは問題ないと思います(出典の正しい理解などの注意点は別として)。生成AIで知識を仕入れたとしても、自分の言葉で産出しましょう。また、間隔を空けて想起しながらblog化しましょう。
登壇・講演する
これも強力な記憶の定着に繋がります。想起も産出も両方発生しますし、困難さもあります。また、聴講者などから何らかのフィードバックも得られるはずです。さらに、産出は資料を作成するタイピングだけでなく、音読練習や実際の本番での音読も発生します。
LT会などを自社で義務化するのもありでしょう。外部の講演などよりレベルは下がりますが、資料を準備したり発表することで想起や産出に繋がります。
手を動かして検証する、とりあえずやってみる
産出はタイピングでも良いわけです。つまり、何らかのblog等を読んで、この技術面白そうだな、これは使えそうだな、と思ったら実際に手を動かして（タイピングして）、自分でもやってみると良いということになります。
ペアプロ、モブプロ、複数人での障害対応
これらは人に対して説明したり、実際に手を動かしたりといった作業が発生します。コードからは読み取れない仕様や意図を想起するという行為や、説明による産出、タイピングによる産出が生まれます。
おわり
「アウトプットしろ」というアドバイスは感覚的には理解できます。調べてみると数十年にわたる認知心理学の研究に裏打ちされた、科学的根拠のあるアドバイスだと理解できました。
私は最近ではグローバルな人材になるべく英語の勉強を再開していますが、今までやってこなかった音読を中心としたアウトプット中心の学習法に変えてみています。リスニング力の向上などを感じますので、やはりアウトプットは重要だと感じます。まだ始めていませんが、英会話スクールの方が効果的なのかなと思います。会話の方が想起する機会が音読より多そうですし、また困難さが高そうです。英語を勉強するよりも英語環境に飛び込む方が覚えが早いというのはテスト効果や産出効果などの恩恵もあるのでしょうね。
今回のこの記事自体が、まさにアウトプットによる学習の実践でもあります。論文や他の記事を読んで「なるほど」で終わるのではなく、こうして整理して書き出す過程で、自分の長期記憶が強固になったのかなと思います。
昨今では生成AIによってITエンジニアの役割は変わってきました。近い将来、ほとんどの作業をAIが行い、我々は意思決定や課題定義などの高度な業務のみ行う状況になりそうです。つまり良い決定や判断力が求められていきそうです。そしてそれは知識や経験の量による総合的な思考力、判断力に依存しそうです。生成AIが流行っている今、人間が産出やテストをしなくなることで記憶が定着しなくなる危惧があります。
今後の世界を生き残るために長期記憶の定着と、そもそも何を定着させていくべきかを随時考えていきたいと思います。
現在、ミツカリではITエンジニアを募集しています。興味のある方はぜひお気軽にご連絡ください！
