＊下記の原稿は、週刊医学界新聞用に寄稿した「研修医評価は日本の医学教育界のアキレス腱である」という原稿からの抜粋を一部編集し、編集部承諾の上、転載したものです。初出（「週刊医学界新聞」第3236号）
米国でチーフレジデントをしていた時の毎月の仕事のひとつに、レジデントを評価するというものがありました。
毎月のローテーション毎に多くの評価票が作成されますが、最終的にはClinical Competency Committeeと呼ばれる評価委員会で各レジデント（研修医）の最終成績が決定されます。そのときに、どのようなシステムで成績を決めるのか？
複雑ですが、考え抜かれたシステムなので簡単にご紹介したいと思います。
＊歴史的な変遷、アウトカムプロジェクト、コンピテンシー、NASなどについては前回の記事を参照ください。
● コンピテンシーの構造を維持したまま、マイルストーン評価方法へ進化
2009年頃よりACGMEを中心に研修医の評価方法が見直されることになりました。
6つのコンピテンシー構造を残しつつ、内科の場合は全部で22のより具体的な到達目標が設定されました。 これがマイルストーンプロジェクトです。
それぞれの到達目標（内科ならば22項目）のなかで、５段階評価がなされます。
- Critical Deficiency （合格基準に達していない）
- Early learner （初級レベル）
- Middle-level learner （中級レベル）
- Ready for unsupervised practice （独立して診療できるレベル）
- Aspirational learner （理想的なレベル）
そして客観性をもたせるために、Anchorと呼ばれる具体的な文章で各到達段階が定義されています。 乳幼児の成長発達段階を評価するようなものを想像していただけるとわかりやすいと思います。 （例：２歳で２語文を話す、など）
図： Patient care1のマイルストーンAnchorの例
これにより、研修医はこまめに５段階評価を受け、自身の強み、弱みを知ることになります。
ハワイ大学内科プログラムの場合は、すべてのローテーションで22項目を評価するのは不可能なので、 導入前にすべてのレジデントで集まって、どのローテーションではどのマイルストーンを使って評価するのが妥当かを検討してだいたい毎月8-9項目ずつに絞りました。（たとえば、ICUのローテーションで手技に関するマイルストーンをカバーする、など）
3年間の総合で、22項目が評価できるというわけです。
● 悪い評価をもらったらどうなる？
ひとつでも”Critical deficiency”（到達目標に明らかに足りてない）という評価を受けた研修医は、月例のClinical competency committeeと言われる成績評価会議で議題にあがり、原因は何か、どう介入すれば成長を促せるか、誰が介入するのか、などが各部門の責任者とプログラム長およびチーフレジデントとで話し合われます。 時にはチーフレジデントがその研修医のチーム回診などに同席して直接観察を試みます。
「Critical deficiencyを取ること＝そのローテーションの単位を落とす」というわけではありませんが、注意信号が上がることで早期発見、早期介入につながります。 そのローテーションの単位がもらえなかった場合は、別の機会に再度ローテーションすることになります。
毎月のマイルストーン評価をFormative evaluation（形成的評価）と言います。それに対して、6ヶ月ごとに集計してACGMEに報告するタイプの評価票があります。これはSummative evaluation（総括的評価）と言い、最終的に卒業に影響するものです。
マイルストーン評価法で、２年目にしてすでに「独立して診療できる」という評価を受けたからといって卒業が早くなることはありませんが、「到達目標に足りていない」項目があると卒業が延期されます。これは、「研修の時間」よりも「研修の到達度」が重視されている証拠です。
米国内科専門医学会（ABIM）の規定によると、最大で6ヶ月までの延長で卒業すれば専門医試験の受験資格が与えられます。
● 評価方法を新しく導入したい施設への注意点
初期及び後期研修で、具体的で実用的なカリキュラムができてこその評価だと思います。僻地で研修するにしても、都会で研修するにしても、到達目標を明示して、「何週間後に誰が、どのように評価するのか」というのを設定するべきです。最初に予告していない内容で評価するのは研修医にとってフェアではありません。
Tips1) 指導医はみな直接評価（direct observation）を心がけること!
パフォーマンス（アウトカム）を見たいので、評価は直接観察が基本です。先輩研修医から不満の出た後輩研修医だったとしても、指導医が自分の目で見て評価しないとフェアではありません。指導医がいつも近くにいない場合は、他職種からの観察（360度評価）や同期、後輩研修医からの評価も利用します。
直接観察だからこそ提供できる自由記述式のコメント（Narrative comments)もたくさん集める事ができれば、より信頼性の高い評価になります。悪い評価であればなおさら自由コメントが必要になります。指導医には様々なレベルの研修医の例を提示して評価記入とコメントの書き方を練習してもらいましょう。これはNorm settingと呼ばれる工程です。
評価用紙サンプル：http://www.im.org/p/cm/ld/fid=701
Tips2) 過程ではなく、結果で評価！
評価は過程を見るのではなく、結果を見て決めることも大切です。最初はプレゼンテーションもちぐはぐでまとまりのない研修医でも、4週間のローテーションを終える頃に及第点に達していれば「合格」です。
Tips3) 悪い評価を記入する前には、口頭でも伝えること！
パフォーマンスが悪い研修医にはたとえ単位を落とすことになっても公正な評価を下すべき。その場合には、ローテーションの最後に伝えるのではなく、途中から何度も面談をし、矯正するチャンスを与えるべきです。口頭で伝えていないことを評価票に記入するのは研修医に対してフェアではありません。面談では自由記述のコメントを匿名化して伝え、面談の内容を記録するなどの注意点があります。
自分の不出来を自覚できていない研修医がいた場合には、自己評価を記入してもらうことがあります。自己評価と他者からの評価の相違点がどこかを浮き彫りにすれば対応策も検討できるかもしれないからです。
Tips4) 評価は双方向性がベスト！
指導医が研修医を評価するのであれば、逆に研修医も指導医を評価してコメントをする機会があるべきです。同じく、研修プログラム自体を評価する機会も用意するべきです。お互いに改善点を示しながら、より良い教育環境を作っていくのに役立ちます。医療が時代とともに変化するのと同じように、研修教育システムも変化に対応していくべきです。
Tips5) 評価の仕方は一つじゃない！
ローテーションの最後に筆記試験を評価とする場合があるかもしれません。注意しないといけないのは、筆記試験はあくまでも医学知識の暗記量を評価しかできないということです。知識の応用や実施を評価したいのであれば、日々の診療の様子をOSCEで観察したり、回診でのプレゼンテーションを直接観察したり、診療録の記載をチェックしたりするのが適した方法です。コミュニケーション能力を評価したい場合もOSCEやシミュレーションも評価の方法になります。自己研鑽能力を測るのにポートフォリオを作成して振り返りをした結果を観察するのも一つの方法です。
知識を測るのは従来の評価方法であり、臨床に出ている研修医は実地臨床でのパフォーマンスを捉えるような評価方法（workplace based assessment)を検討すべきです。医師免許の国家試験に実技試験を導入するべき理由の一つです。
まとめ
- 米国の卒後医学教育システムのうち、研修医評価に関して最新の動向とTipsを解説しました。
- 一から評価用紙を作成する必要はないので、他プログラムのものを参考に自施設に調整すれば良いと思います。
- 公平性を保つためにも、カリキュラムの提示と直接観察、双方向評価が大事だと思います。