Phase4 Log

このPhaseで行うこと

目的
判断の何を記録し、後からどう評価するかを設計します。

答える問い
何を残し、どう評価するか

できあがるもの
判断時の記録の項目(JLog)、評価の記録の項目(VLog)、記録の運用ルール

判断を記録する

Phase3までで、判断を設計しました。
どの状態で判断が発生するのか。

誰が判断するのか。
何を材料にするのか。
どのような結果になるのか。

しかし、判断を設計しただけでは、組織は学習できません。

その判断がなぜ行われたのか。
その判断は妥当だったのか。

それを後から振り返れなければ、改善も再現もできません。
Phase4 Logは、判断を記録し、学習可能な資産へ変えるための工程です。


なぜ判断ログが必要なのか

「この候補を営業対象として採用するか」を決めても、採用したという結果だけでは、その判断を振り返れません。何を見て、なぜ採用し、どの情報が足りなかったかも必要です。判断時点の情報と、その後の営業の状況を結びつけて残します。


JLogとVLogによる学習サイクル

判断時の記録(JLog)と、事後の妥当性評価(VLog:Validity Log)を分けて残します。当時何を見て決めたかと、その後の評価を結びつけ、改善に使います。

JLogとVLogによる学習サイクルの図

JLog:判断時点を記録する

誰が、何を、どの材料・条件・観点で判断し、どの状態を確定したかを記録します。判断理由と、当時利用できた情報を後から確認できるようにします。


判断時点の記録の構造(Judgement Snapshot)

  • ① 判断開始文脈(Exploration Context):どのような経緯で判断が始まったか。
  • ② 判断対象(Candidate Snapshot):対象の属性と当時の状態。
  • ③ 判断材料(Decision Context):利用できた情報と、欠けていた情報。
  • ④ 判断(Judgement):結果・理由・条件・観点・主体・責任・時刻。

この4層は処理順ではなく、判断時点の情報構造です。

欠損理由は、取得失敗・未取得・該当情報なしなどを区別して残します。


VLog:判断の妥当性を評価する

判断後の結果を、元の判断記録と対応づけて評価します。

  • 結果妥当性:望ましい成果につながったか。
  • プロセス妥当性:当時の材料・条件・観点・理由は適切だったか。
  • 修正妥当性:人がAIの提案や過去の判断を修正した理由は妥当だったか。

修正がない場合も、修正妥当性を自動的に「妥当」とせず、評価の有無が分かるように残します。

成果には、判断後の行動や外部環境も影響します。例えば営業では、「反応がなかった」と「まだ接触していない」、「評価できた」と「評価待ち」を区別して記録できるように設計することが望まれます。反応なしという結果だけで、判断が不妥当だったとは決めません。


なぜJLogとVLogを分けるのか

判断時には未来は見えません。
そのため、判断した時点の記録と、結果を知った後の評価を、同じログとして扱うことはできません。

JLogは判断時の事実。
VLogは結果を踏まえた評価。

両者を分離することで、判断の妥当性を客観的に検証できるようになります。


実行・改善への接続

JLogは、判断の実行・状態遷移・記録を担うexecute_jpによって、判断の実行と一緒に保存します。判断に至らなかった取得失敗はタスクの実行記録として管理します。

ログが残ることと、改善効果が確認できたことは区別します。


進め方

  1. 判断1回を記録の単位にします。 対象・判断の種類・実行回を識別し、再判断も追跡できるようにします。判断前後の状態、材料、理由、主体、責任、時刻を記録項目に含めます。
  2. 判断時点の情報を残します。 上の4層に整理し、条件と観点、足りなかった材料と欠損理由も記録します。後日得た情報と混ぜません。
  3. 元の判断と評価を結びます。 実際の結果、妥当性、差異、修正理由、学習メモ、評価者と評価時刻を残します。初期は妥当・微妙・不妥当・未評価など、続けられる評価から始めます。
  4. 記録・評価の運用を決めます。 判断時に自動記録する内容と、人が入力する内容を分けます。判断直後の材料不足や修正、結果判明時・一定期間後の評価について、誰がいつ記録するかを決めます。

記録の型

「この候補を営業対象として採用するか」の1回の判断と、その後の評価を並べた架空の記入例です。①〜④が判断時の記録(JLog)、最後の行が事後評価(VLog)です。名称・状態・時刻は説明用です。

項目記入例
① 判断開始文脈媒体Xの特集に向けた候補探し。検索語は「防災」
② 判断対象候補A(防災用品のブランド)。状態は「未評価」
③ 判断材料公式情報。条件:特集の対象分野に該当。観点:読者との相性。過去の接触履歴は取得に失敗し、欠損
④ 判断採用。理由:公開情報では特集との適合が高い。履歴は接触前に再確認する。判断主体:営業担当、責任:営業責任者。10月1日10時。状態は「未評価 → 採用」
事後評価実際の結果:まだ接触していない。結果妥当性:未評価、プロセス妥当性:微妙、修正妥当性:未評価。差異:採用後も履歴の確認が終わっていない。学習メモ:履歴が欠けた場合に保留とする基準を検討。評価者:営業責任者、10月8日15時

これは適切な採用判断の模範例ではなく、材料不足を評価で見直す例です。未接触なので、営業成果の良否はまだ評価しません。


次へ進む前の確認

  • 判断時の材料・理由・前後状態と、材料欠損を残せますか。
  • 元の判断と評価が結びつき、結果待ちと否定的な結果を区別できますか。
  • 記録・評価の担当と時点が決まり、入力負荷は続けられる範囲ですか。

詳しくは、JDA MethodのPhase4を参照してください。


Phase4の成果物

Phase4では以下を定義します。

  • JLog定義
  • VLog定義
  • 記録項目
  • 評価項目
  • ログ運用ルール

これらは、後続のPhase5 ImplementationとPhase6 Learningの基盤となります。


Next

Phase5 Implementationでは、設計した判断と記録を、現場で動かせる形に実装します。

← Phase3 Design | Method一覧 | Phase5 Implementation →