Skip to content
frontmatter
キー値
specdojo.idbps-deliverable-evaluation
specdojo.typeflow
specdojo.statusdraft
specdojo.rulebookspecdojo:bps-rulebook

成果物評価 ​

成果物の内容変化または評価コンテキストの変化を受け、作成者から独立した runner が成果物を一度だけ評価し、最新の内容に対応する grade・finding を確定する。

1. 概要 ​

  • 業務目的: 成果物の品質を独立した一貫した基準で評価し、タスク完了判断に利用できる新鮮な grade・finding を確定する。
  • プロセス領域: Check グループの成果物評価(P-08)
  • 対象者: QE は評価対象と評価結果を管理し、runner は評価を実行し、成果物の editor は finding を改善に利用し、PO と PM は評価結果をタスク完了判断に利用する。
  • 主担当: QE
  • 開始点: Orchestrator が、成果物の内容変化、評価コンテキストの変化、または review gate での評価結果の鮮度不足を検出して評価要求を発行した時点
  • 終了点: 評価対象の content_hash と一致する grade・finding が評価結果として確定した時点、または評価不能の理由と停止範囲が記録された時点
  • 対象外: 成果物の編集、タスクの完了可否判断、完了記録、grade・finding に基づく改善の優先順位付け、評価を実行する物理コマンド

本書は 概念データフロー図(Check): SpecDojo の P-08 を具体化する。grade は成果物の品質を判定する。タスクの成果を完了としてよいかは タスク完了 が別に判断し、本書では判断しない。

2. トリガー ​

トリガー ID出来事発生元受領情報開始条件不成立時の扱い
T-01成果物が作成または更新され、評価要求が発行されたOrchestrator評価対象、変更内容、現在の content_hash評価対象と現在の内容を一意に特定できるE-01 として不足情報を記録する
T-02review gate で最新の評価結果がないことが検出され、評価要求が発行されたOrchestrator評価対象、現在の content_hash、既存の評価結果評価結果が存在しないか、その content_hash が現在の内容と一致していない既存の評価結果を利用し、本プロセスを開始しない
T-03依存先または Kata の変化、もしくは review 経路がない成果物について再評価要求が発行されたOrchestrator評価対象、変化した評価コンテキスト、既存の評価結果変化が評価対象へ及ぼす範囲を特定できるE-01 として不足情報を記録する

いずれのトリガーも同じ grade・finding の確定へ収束する。content_hash が現在の内容と一致し、依存先と Kata を含む評価コンテキストにも変化がない評価結果が既にある場合は再評価せず、その結果を最新の事実として利用する。

3. 前提条件 ​

  • 評価対象の成果物と現在の content_hash を一意に特定できる。特定できない場合は E-01 とする。
  • 成果物カタログから対象の完了条件と根拠参照を取得できる。取得できない場合は E-01 とする。
  • Kata から 28 件すべての評価観点と rubric を取得できる。観点を部分集合にせず、continuous を評価対象の選択条件として使用しない。取得できない場合は E-01 とする。
  • 評価を実行する runner は成果物の editor から独立している。同一主体である場合は評価を開始せず、独立した runner へ差し戻す。

4. 入力 ​

入力入手元利用目的必須正本
評価要求Orchestrator評価対象と起動理由を特定する○評価要求
評価対象の成果物成果物 / deliverable成果物の品質を評価する○成果物 / deliverable
現在の content_hash成果物 / deliverable評価対象の版を固定し、評価結果の鮮度を照合する○成果物 / deliverable
完了条件・根拠参照成果物カタログ / catalog要求された成果と提示済みの根拠を照合する○成果物カタログ / catalog
実行記録と実行状態実行記録根拠の再現性と検証結果を確認する条件付き。根拠参照が示す場合に必須実行記録
評価観点・rubricKata / kata28 件すべてを共通基準で評価する○Kata / kata
既存の評価結果評価結果同じ内容の二重評価を防ぎ、再利用できる最新結果を判定する条件付き。評価結果が存在する場合に必須評価結果
評価コンテキストの変化Orchestrator依存先または Kata の変化による再評価範囲を確認する条件付き。T-03 の場合に必須評価要求

5. 処理 ​

ステップ IDCDFD プロセス担当入力活動・判断出力・完了条件例外
S-01P-08-01QE評価要求、評価対象、現在の content_hash、完了条件・根拠参照、評価観点・rubric、既存の評価結果評価対象の版と基準を固定し、runner と editor が独立していること、および同じ内容と評価コンテキストの確定済み評価結果がないことを確認する対象、content_hash、28 観点、rubric、根拠参照、独立した runner が一つの評価単位として対応付いているE-01
S-02P-08-02runnerS-01 で固定した評価単位、成果物、実行記録28 観点すべてについて成果物の内容と根拠を一度だけ照合し、grade 案と finding 案を作る。editor の自己評価や review による再評価は用いない各観点の判定根拠、grade 案、finding 案を再現でき、未評価の観点がないE-01、E-02
S-03P-08-03QEgrade 案、finding 案、評価開始時と現在の content_hash評価開始時と現在の content_hash を照合し、一致する結果だけを評価結果として確定する。判定内容を再評価せず、鮮度と記録の完全性を確認する対象の content_hash、28 観点の根拠、grade、finding、評価主体を確認できる評価結果が一件確定しているE-01、E-02

S-01 で同じ content_hash かつ同じ評価コンテキストの確定済み評価結果を確認した場合は S-02 と S-03 を起動せず、その既存結果を本プロセスの出力として終了する。これにより、同じ内容を同じ基準で評価する単位に対する確定評価は一件だけとなる。

6. 出力 ​

出力受け手確定条件正本後続処理
grade・findingP-11 タスク完了、成果物の editor対象と現在の content_hash が一致し、28 観点の根拠、grade、finding、評価主体を確認できる評価結果P-11-01 完了可否判定、成果物の改善
評価不能記録QE、Orchestrator不足情報、停止範囲、補完担当、再開条件を確認でき、grade・finding が未確定である評価結果不足情報の補完後に P-08-01 から再開

grade・finding は成果物の品質に関する事実であり、タスクの完了可否を直接確定しない。タスク完了 はこの出力を再評価せず、変更内容、plan、実行記録、完了条件と併せて別の判定を行う。

7. 例外・代替経路 ​

例外 ID対象ステップ検出条件停止範囲担当処置再開条件・代替成果
E-01S-01、S-02、S-03評価対象、基準、観点、根拠、または実行記録が不足し、成果物の品質を判定できないgrade・finding の確定QE評価不能の理由、不足情報、補完担当を記録し、判定可能な grade を推測で補わない不足情報と独立した runner がそろった後、S-01 から再開する
E-02S-02、S-03評価開始後に対象が変更され、現在の content_hash が評価開始時と一致しない変更前の評価結果の確定runner変更前の grade 案と finding 案を確定結果として使用せず、変更後の内容を新しい評価対象にする変更後の content_hash と成果物を特定し、S-01 から新しい評価単位として再開する

E-02 で破棄した案は確定評価に数えない。変更後の内容について一件の結果を確定するため、review に古い評価結果が渡ることはない。

8. 検証・受入観点 ​

観点入力条件期待する業務成果確認可能な記録
内容変化後の評価評価対象が更新され、現在の content_hash に一致する評価結果がないeditor から独立した runner による 28 観点の grade・finding が一件確定する成果物、評価要求、評価結果
最新結果の再利用現在の content_hash と一致し、評価コンテキストにも変化がない確定済み評価結果がある再評価を行わず、既存の grade・finding が最新の事実として引き渡される成果物、既存の評価結果
評価基準の変化content_hash は一致するが、依存先または Kata が変化している既存結果を再利用せず、現在の評価コンテキストによる grade・finding が一件確定する評価要求、評価コンテキスト、評価結果
非適合の検出いずれかの評価観点で成果物の品質基準を満たさない非適合を正常な評価結果として grade と finding に記録し、評価不能と区別できる観点別根拠、grade、finding
評価不能必須の評価基準または根拠を取得できないgrade を推測せず、評価不能の理由、停止範囲、補完担当、再開条件が記録される評価不能記録
評価中の対象変更評価開始後に成果物が変わり、評価開始時と現在の content_hash が一致しない変更前の案を確定せず、変更後の内容を対象とする評価だけが確定してタスク完了判断へ渡される変更前後の content_hash、評価結果
editor と評価者の独立評価要求に指定された runner が成果物の editor と同一である評価を開始せず、独立した runner への差戻しと再開条件を確認できる評価要求、担当記録、評価不能記録