Zoom Memo Automation システムテスト計画 - Transcript API統合版
| 段階 | 期間 | 目的 | 成功基準 | 状態 |
|---|---|---|---|---|
| Phase 1 | Week 1 | TranscriptService単体テスト | VTT解析成功率100% | 🚧実装中 |
| Phase 2 | Week 2 | A/Bテスト・性能比較 | 処理時間90%削減達成 | ⏳予定 |
| Phase 3 | Week 3+ | 完全移行・監視強化 | 本番環境99.5%稼働率 | ⏳予定 |
| 項目 | 内容 | 期待結果 | 状態 |
|---|---|---|---|
| テスト環境 | Vercel本番環境 | - | 準備完了 |
| VTT取得 | Transcript APIからVTTファイル取得 | 5秒以内完了 | 🆕新規 |
| VTT解析 | TranscriptServiceでVTT解析 | 話者・タイムスタンプ正確抽出 | 🆕新規 |
| 要約生成 | Gemini APIで要約のみ生成 | 10-15秒以内完了 | 🆕新規 |
| E2E処理 | 録画検知→VTT→要約→保存→通知 | 30-60秒以内完了 | 🆕新規 |
| 比較項目 | v1.0（音声処理） | v2.0（Transcript） | 改善率 |
|---|---|---|---|
| 処理時間 | 228.8秒 | 目標: 30-60秒 | 90%削減 |
| Gemini API使用量 | 音声+要約 | 要約のみ | 80%削減 |
| タイムアウトリスク | 17分で発生 | 完全解決 | 100%改善 |
| 対応可能会議時間 | 最大17分 | 60分以上 | 350%拡張 |
| シナリオ | 条件 | 期待動作 | 状態 |
|---|---|---|---|
| VTT取得失敗 | Transcript APIエラー | 音声処理に自動切替 | 🆕実装予定 |
| VTT未生成録画 | 古い録画・設定無効 | 音声処理で対応 | 🆕実装予定 |
| VTT破損 | 不正なVTTフォーマット | エラー検知→音声処理 | 🆕実装予定 |
| テスト項目 | v1.0結果 | v2.0での役割 | 状態 |
|---|---|---|---|
| End-to-End音声処理 | 228.8秒成功 | フォールバック処理として維持 | ✅維持 |
| Gemini文字起こし | 97秒（制限あり） | VTT失敗時のみ使用 | ✅フォールバック |
| チャンク処理 | 実装済み | 大容量音声のフォールバック | ✅維持 |
| テストID | 内容 | v2.0対応 | 状態 |
|---|---|---|---|
| TC203 | 音声処理テスト | フォールバック機能として維持 | ✅互換 |
| TC204 | 動画保存テスト | 変更なし（継続使用） | ✅継続 |
| TC205 | Slack投稿テスト | 変更なし（継続使用） | ✅継続 |
| シナリオ | 録画時間 | v1.0結果 | v2.0目標 |
|---|---|---|---|
| 短時間会議 | 5分 | 2-3分処理 | 15-20秒 |
| 標準会議 | 30分 | タイムアウトリスク | 30-45秒 |
| 長時間会議 | 60分 | 処理不可 | 45-60秒 |
| 超長時間会議 | 120分 | 処理不可 | 60-90秒 |
| 同時録画数 | v1.0対応 | v2.0対応 | 改善効果 |
|---|---|---|---|
| 1録画 | 問題なし | 高速処理 | 90%高速化 |
| 3録画 | 順次処理 | 並行処理可能 | 3倍スループット |
| 5録画 | タイムアウトリスク | 安定処理 | 5倍スループット |
| エラーコード | 説明 | 対処法 | テスト状態 |
|---|---|---|---|
| ZM-401 | Transcript API認証失敗 | 音声処理フォールバック | 🆕追加 |
| ZM-402 | VTTファイル取得失敗 | リトライ→音声処理 | 🆕追加 |
| ZM-403 | VTTフォーマット不正 | パーサー切替→音声処理 | 🆕追加 |
| TS-501 | TranscriptService解析エラー | 詳細ログ→音声処理 | 🆕追加 |
| TS-502 | 話者識別失敗 | デフォルト話者使用 | 🆕追加 |
| 週 | v1.0使用率 | v2.0使用率 | テスト内容 | 判定基準 |
|---|---|---|---|---|
| Week 1 | 100% | 0%（開発） | v2.0単体テスト | 全テスト成功 |
| Week 2 | 75% | 25%（A/B） | 小規模A/Bテスト | 性能目標70%達成 |
| Week 3 | 50% | 50%（並行） | 本格A/Bテスト | 性能目標90%達成 |
| Week 4 | 25% | 75%（主力） | v2.0主力運用 | 安定稼働率99% |
| Week 5+ | 0%（FB） | 100%（完全） | v1.0はFBのみ | 完全移行成功 |
| カテゴリ | 項目 | 基準値 | 必須/推奨 |
|---|---|---|---|
| 性能 | 平均処理時間 | 60秒以内 | 必須 |
| 処理成功率 | 99%以上 | 必須 | |
| コスト削減率 | 70%以上 | 必須 | |
| 品質 | 要約精度 | v1.0同等以上 | 必須 |
| 話者識別精度 | 95%以上 | 推奨 | |
| 文字認識精度 | 98%以上 | 推奨 | |
| 信頼性 | フォールバック動作 | 100%動作 | 必須 |
| エラーリカバリ | 自動復旧 | 必須 | |
| ログ完全性 | 100%記録 | 必須 |
| スクリプト名 | 用途 | 実行頻度 | 状態 |
|---|---|---|---|
test-transcript-api.js |
Transcript API接続テスト | 日次 | 🆕作成予定 |
test-vtt-parser.js |
VTT解析エンジンテスト | CI/CD | 🆕作成予定 |
test-ab-comparison.js |
v1.0/v2.0性能比較 | 週次 | 🆕作成予定 |
test-fallback.js |
フォールバック動作検証 | 日次 | 🆕作成予定 |
monitor-performance.js |
リアルタイム性能監視 | 常時 | 🆕作成予定 |
| カテゴリ | 完了 | 実施中 | 予定 | 進捗率 |
|---|---|---|---|---|
| 設計・仕様 | 5 | 0 | 0 | 100% |
| 実装 | 2 | 3 | 5 | 20% |
| 単体テスト | 0 | 2 | 8 | 0% |
| 統合テスト | 0 | 0 | 10 | 0% |
| 受入テスト | 0 | 0 | 5 | 0% |