Наблюдаемость агентов (Observability)

// Каждый шаг агента записывается в trace
interface TraceStep {
  step: string
  duration_ms: number
  input_tokens: number
  output_tokens: number
}

const trace: TraceStep[] = []

function tracedLlmCall(prompt: string): string {
  const start = performance.now()
  const result = llm.chat(prompt)
  trace.push({
    step: "llm_call",
    duration_ms: performance.now() - start,
    input_tokens: countTokens(prompt),
    output_tokens: countTokens(result),
  })
  return result
}

// Агрегированные метрики сессии
interface SessionMetrics {
  total_cost_usd: number
  total_latency_ms: number
  total_tokens: number
  tool_calls_count: number
  accuracy_score: number
  user_satisfaction: number
}

function logMetrics(messageId: string, metrics: SessionMetrics) {
  db.collection("metrics").insertOne({
    message_id: messageId,
    timestamp: new Date(),
    metrics,
  })
}

// LLM-as-a-judge: автоматическая оценка
async function evaluateResponse(
  query: string,
  response: string,
  context: string
): Promise<Evaluation> {
  const criteria = `
  Оцени ответ по шкале 1-10:
  1. Factuality — ответ основан на контексте?
  2. Completeness — покрывает ли вопрос?
  3. Conciseness — нет ли лишнего?
  `

  const judge = await llm.chat([
    { role: "system", content: criteria },
    { role: "user", content: `Query: ${query}\nResponse: ${response}\nContext: ${context}` }
  ])

  return parseEvaluation(judge)
}