Перейти к содержанию
Aristo

Шкала оценки Aristo

Версия rubric-2.0

Каждый балл Aristo рассчитывается по этой шкале. Она открыта, чтобы вы могли с ней спорить, и имеет версии, чтобы вашу историю можно было сравнивать.

Как оценивается промпт

Каждый критерий оценивается от 0 до 4 по приведённым ниже опорным описаниям или помечается как неприменимый, если для задачи он не важен. Общий балл — взвешенное среднее по шкале от 0 до 100. Делаются три независимых прогона модели-судьи, и итог определяет медиана; если прогоны расходятся, добавляются ещё два от более сильной модели и показывается примечание о степени уверенности.

ТребованияВес по умолчанию: 3

Цель и критерии успеха

Указан ли желаемый результат и как понять, что он хорош?

Опорные описания

  1. 0

    No discernible outcome.

    Пример: Tell me about marketing.

  2. 1

    Topic or activity stated, outcome implicit.

    Пример: Write about our new product.

  3. 2

    Outcome stated, no success criteria.

    Пример: Write a launch email for our product.

  4. 3

    Outcome plus at least one testable criterion.

    Пример: …that gets existing customers to book a demo; under 150 words.

  5. 4

    Outcome, testable criteria, and priority among them when they conflict.

    Пример: …Success = clear single call to action and a demo link above the fold; brevity matters more than covering every feature.

ТребованияВес по умолчанию: 3

Контекст и исходные данные

Есть ли у модели нужные факты, материалы, данные и описание ситуации, чётко отделённые от остального?

Опорные описания

  1. 0

    No context at all; the model must guess the situation, the subject and the material.

    Пример: Summarise this.

  2. 1

    Situation named in passing; the material or facts the task needs are missing or only alluded to.

    Пример: Summarise the meeting we had about the budget.

  3. 2

    The needed material is present but undelimited or incomplete, so the model cannot tell input from instruction.

    Пример: Summarise the meeting notes below for the finance team. Budget review 14 May: Ana raised…

  4. 3

    Material is clearly delimited (tags, fences or headings) and the situation is explained; small gaps remain.

    Пример: <notes>…</notes> These are notes from the 14 May budget review; summarise them for the finance team.

  5. 4

    Complete and delimited material, background the model could not infer, and a statement of what it does not have.

    Пример: <notes>…</notes> Background: this is the third review this quarter; last time we overspent on travel. Figures for June are not yet available, so do not estimate them.

ТребованияВес по умолчанию: 2Может быть неприменим

Аудитория и назначение

Для кого результат и что с ним будут делать?

Опорные описания

  1. 0

    No reader or purpose can be inferred.

    Пример: Explain photosynthesis.

  2. 1

    Reader implied by the topic or the register, but never stated.

    Пример: Explain photosynthesis simply.

  3. 2

    Reader named; what they will do with the output is not.

    Пример: Explain photosynthesis to a 12-year-old.

  4. 3

    Reader and purpose of use both stated.

    Пример: Explain photosynthesis to a 12-year-old preparing for a science quiz next week.

  5. 4

    Reader, purpose and what they already know or need, so the level, emphasis and register follow from it.

    Пример: …for a 12-year-old who has covered cells but not chemistry; she needs to answer short written questions, so favour precise terms over analogies.

ТребованияВес по умолчанию: 2

Ограничения и рамки

Охват, что обязательно и что недопустимо, объём, источники, безопасность, как действовать при неопределённости.

Опорные описания

  1. 0

    No boundaries of any kind.

    Пример: Write a blog post about remote work.

  2. 1

    One vague boundary, usually length or tone, nothing on scope or sources.

    Пример: Write a short blog post about remote work.

  3. 2

    Several concrete boundaries (length, scope, sources) but silent on what to do when uncertain.

    Пример: …about 600 words, for managers, no product recommendations, cite at least two studies.

  4. 3

    Concrete boundaries plus explicit must-nots and an instruction for the uncertain case.

    Пример: …if you cannot find a study published after 2023, say so rather than inventing one.

  5. 4

    Boundaries are complete, consistent and prioritised, stated as what to do rather than only what to avoid.

    Пример: …Word count may stretch to 800 if needed to keep both studies; accuracy outranks length; mark any claim you are unsure of with “(verify)”.

ИсполнениеВес по умолчанию: 2

Инструкции к задаче

Ясные, упорядоченные, однозначные шаги; одна задача или явно выстроенная последовательность задач.

Опорные описания

  1. 0

    No actionable instruction; a topic or a fragment.

    Пример: Customer churn Q3.

  2. 1

    One ambiguous instruction, or several tasks tangled together with no order.

    Пример: Look at the churn data and also fix the dashboard and tell me what to do.

  3. 2

    A clear single task, or multiple tasks listed but their order or dependencies unstated.

    Пример: Analyse the Q3 churn data and recommend three actions.

  4. 3

    Clear, ordered steps or an explicit decomposition; each step has one verb and one object.

    Пример: 1. Compute churn by plan. 2. Identify the plan with the biggest rise. 3. Propose three actions for that plan.

  5. 4

    Ordered steps with the reasoning behind them, what to do if a step cannot be completed, and where to stop.

    Пример: …Step 2 matters because we can only fund one intervention. If the data for a plan is missing, skip it and say so. Stop after the three actions; do not draft the rollout plan.

ИсполнениеВес по умолчанию: 2

Требования к ответу

Формат, структура, схема, объём, язык и тон результата.

Опорные описания

  1. 0

    Nothing said about the form of the result.

    Пример: Compare the two proposals.

  2. 1

    A single loose hint such as “briefly” or “in a table”.

    Пример: Compare the two proposals in a table.

  3. 2

    Format and rough length stated; structure, language or tone left open.

    Пример: Compare the two proposals in a table of at most ten rows, then a one-paragraph recommendation.

  4. 3

    Format, structure, length and language or tone all stated and consistent with the goal.

    Пример: …columns: criterion, proposal A, proposal B, winner. Write in Portuguese, neutral tone, no preamble.

  5. 4

    A complete contract: schema or template, length, language, tone, and how edge cases appear in the output.

    Пример: …Return JSON {"rows":[{"criterion","a","b","winner"}],"recommendation"}; if a criterion cannot be judged, set winner to "tie" and explain in recommendation.

ИсполнениеВес по умолчанию: 1Может быть неприменим

Примеры и образцы

Разобранные примеры или справочные материалы там, где они действительно помогают; разнообразные, без подгонки под один шаблон.

Опорные описания

  1. 0

    Examples would clearly help (a specific format, style or classification) but none is given.

    Пример: Classify each support ticket by urgency.

  2. 1

    A reference is mentioned but not provided, or one example that is incomplete.

    Пример: Classify each ticket by urgency, like we did last month.

  3. 2

    One complete example, or several that all show the same case, so the model may over-fit it.

    Пример: <example>Ticket: “Site down for all users” → urgent</example>

  4. 3

    Two to five varied examples in a consistent, delimited format.

    Пример: <examples><example>…→ urgent</example><example>…→ normal</example><example>…→ low</example></examples>

  5. 4

    Varied examples that include an edge case or a counter-example, each with a short note on why.

    Пример: …<example>“Invoice typo” → low, because nothing is blocked</example><example>“Cannot log in (one user)” → normal, not urgent: single user</example>

МастерствоВес по умолчанию: 1Может быть неприменим

Роль и манера

Точка зрения или экспертиза, которая меняет результат; указания по тону.

Опорные описания

  1. 0

    A perspective would change the output and none is given, or the role given contradicts the task.

    Пример: Review this contract clause.

  2. 1

    A generic label with no bearing on the output (“you are a helpful assistant”).

    Пример: You are a helpful assistant. Review this contract clause.

  3. 2

    A relevant role named, but its perspective is not used in the instructions.

    Пример: You are a commercial lawyer. Review this contract clause.

  4. 3

    A role whose expertise shapes the task, plus guidance on voice or stance.

    Пример: As a commercial lawyer acting for the buyer, review this clause and flag risks to the buyer; be direct, no hedging.

  5. 4

    Role, stance, voice and the standard to judge by, applied only where it changes the output.

    Пример: …Judge against standard Canadian commercial practice; where the clause is market-standard say so in one line and move on.

МастерствоВес по умолчанию: 1

Соответствие модели и чистота

Подходит целевому семейству моделей; без противоречий и капслока; длинные материалы — перед вопросом; без устаревших трюков.

Опорные описания

  1. 0

    Contradictory instructions, or shouting in capitals (“CRITICAL”, “MUST”), or a trick that harms current models (forced step-by-step, prefill-style openings).

    Пример: CRITICAL: you MUST think step by step and NEVER make mistakes. Also be brief but cover everything.

  2. 1

    No contradictions, but obsolete tricks or heavy emphasis remain, or long material comes after the question.

    Пример: Think step by step. What are the risks? [20 pages of contract follow]

  3. 2

    Plain, calm instructions; structure is weak (no delimiters) or the request ignores the target family’s conventions.

    Пример: Here is the contract and here are my questions, mixed together in one paragraph.

  4. 3

    Calm, consistent instructions; long material first and the question last; delimiters or tags separate parts; explains the why where it matters.

    Пример: <contract>…</contract> Review the clause above. Keep the answer short because it goes into a client email.

  5. 4

    Everything at 3, written for the chosen model family: structure and emphasis in the vendor’s recommended form, effort left to the model, nothing redundant.

    Пример: Same prompt with <contract> and <questions> tags, a one-line role, no “think carefully” padding, and success criteria the model can check itself.

Типы задач

Веса зависят от типа задачи. Например, при преобразовании кода аудитория не нужна, а в промптах для изображений основной вес приходится на требования к ответу.

Типы задачЦель и критерии успехаКонтекст и исходные данныеАудитория и назначениеОграничения и рамкиИнструкции к задачеТребования к ответуПримеры и образцыРоль и манераСоответствие модели и чистота
Написание текстов333222111
Анализ332222Н/П11
Программирование33Н/П3221Н/П1
Исследование332322Н/П11
Извлечение данных33Н/П2231Н/П1
Творчество232222121
Обучение333222111
Системный промпт агента332332122
Генерация изображений32Н/П213Н/ПН/П1
Другое332222111

Шкала опирается на данные исследований об обучении составлению промптов (сначала требования, потом формулировки) и актуальные рекомендации разработчиков для моделей с рассуждением; источники перечислены в документации проекта.