Топаз 6.0
Топаз является универсальным языком программирования со встроенной вёрсткой. Код, который делает одно и то же, выглядит одинаково, кто бы его ни писал.
Руководство 6.0 доступно на английском языке.
591правило15глав340API в 19 модулях109диагностик1 332примера
Тур
Знаете другой язык? Читайте по порядку.
import std.ioimport std.bigint { BigInt }let подписи = ["12", "обложка", "14"]let номера = подписи.map((текст) => match (BigInt.parse(текст, 10)) { case Some(число) => число.toInt() case None() => None()})io.writeLine("{номера}")[Some(12), None, Some(14)]
map пишется после списка. BigInt.parse разбирает каждую строку, а toInt преобразует полученное число. На месте метки «обложка» остаётся None.
Для кого и для чего
Команды, которые делают движок вёрстки книг
Движок принимает рукопись и решает, где закончатся строки и страницы. Разбиение абзацев и правила переноса для корейского, японского и китайского берутся из стандартной библиотеки. Один и тот же код разбиения строк работает в предпросмотре в браузере и в вёрстке для печати.
Справочник std.typeset → (на английском)Команды, у которых правила зависят от издательства
С какой страницы начинать главу и сколько висячих строк допустимо, у каждого издательства и каждой книги свои решения. Они живут в файлах правил Лиспекса, а код разбиения строк общий для всех книг. Если у каждого клиента свой стиль учебника или отчёта, код приложения не меняется.
Вызов правил Лиспекса → (на английском)Команды, которые делают веб-инструменты
Функцию, которая разбирает входные данные, например проверяет JSON, пишут на Топазе и собирают в пакет для браузера. Существующее веб-приложение вызывает её из JavaScript. Так работают браузерные инструменты jeni.kr.
Вызов из JavaScript → (на английском)std.typeset
Модуль std.typeset в Топазе 6.0 разбивает абзацы на строки. Программа ниже разбивает корейское предложение на строки шириной в десять слогов хангыля. Если учитывать весь абзац, последнее слово не остаётся в строке одно.
import std.ioimport std.typeset { BreakCluster, BreakPolicy, BreakMode, KinsokuRules, BreakOpportunity, Paragraph, Item, Box, Penalty, BreakRule, DistanceGrid, CostModel, LineGeometry, JustificationPolicy, JustificationMode, KnuthPlassPolicy, ParagraphPlan, classifyBreaks, breakParagraph,}let предложение = "문단 전체를 보고 줄을 나누면 마지막 줄이 짧게 남지 않고 줄마다 길이가 고르게 됩니다."let знаки = предложение.scalars().map(знак)let итог = match (classifyBreaks(знаки, корейскиеПравила(знаки))) { case Ok(места) => breakParagraph(абзац(знаки, места)) case Err(ошибка) => Err(ошибка)}match (итог) { case Ok(разбиения) => { io.writeLine("С учётом всего абзаца\n{строкиИз(знаки, разбиения.optimized)}\n") io.writeLine("Строка за строкой\n{строкиИз(знаки, разбиения.greedy)}") } case Err(ошибка) => io.writeLine("{ошибка}")}С учётом всего абзаца 문단 전체를 보고 줄을 나누면 마지막 줄이 짧게 남지 않고 줄마다 길이가 고르게 됩니다. Строка за строкой 문단 전체를 보고 줄을 나누면 마지막 줄이 짧게 남지 않고 줄마다 길이가 고르게 됩니다.
Основная часть программы. Вспомогательные функции, которые задают ширину знаков и собирают абзац, есть в полном исходном коде.
import std.ioimport std.typeset { BreakCluster, BreakPolicy, BreakMode, KinsokuRules, BreakOpportunity, Paragraph, Item, Box, Penalty, BreakRule, DistanceGrid, CostModel, LineGeometry, JustificationPolicy, JustificationMode, KnuthPlassPolicy, ParagraphPlan, classifyBreaks, breakParagraph,}const ширинаСтроки = 100pt// Корейский слог занимает 10pt, пробел 2.5pt.function знак(текст: string) -> BreakCluster { BreakCluster { text: текст, advance: if (текст == " ") { 2.5pt } else { 10pt }, trackingAfter: 0pt }}// Правила переноса Юникода (UAX #14) вместе с корейскими правилами (KLReq). Слово, которое помещается в строку, не разрывается.function корейскиеПравила(знаки: Array<BreakCluster>) -> BreakPolicy { BreakPolicy { mode: BreakMode.Word(), rules: KinsokuRules.Unicode16Ko(), forbidBefore: [], forbidAfter: [], boundaryAllowed: знаки.map((з: BreakCluster) => true), generatedHyphenEnds: [], protectFittingLatin: false, preserveShortWords: false, narrowestWordTarget: ширинаСтроки, bodyWordTarget: ширинаСтроки }}// Один блок на каждый знак и нулевой штраф в каждом месте возможного разрыва. В последнем месте строка обязательно заканчивается.function абзац(знаки: Array<BreakCluster>, места: Array<BreakOpportunity>) -> Paragraph { let блоки: Array<Item> = [for номер in (0..<знаки.length) => { let з = знаки[номер] Item.BoxItem(Box { unitIndex: номер, text: з.text, width: з.advance, trackingAfter: 0pt }) }] let штрафы: Array<Item> = [for место in (места) => { let последнее = место.unitEnd == знаки.length Item.PenaltyItem(Penalty { unitEnd: место.unitEnd, width: 0pt, kind: место.kind, flagged: false, rule: if (последнее) { BreakRule.Forced() } else { BreakRule.Allowed(0) } }) }] Paragraph { grid: DistanceGrid.MilliPoint(), items: [...блоки, ...штрафы], costModel: CostModel.FixedPoint(), geometry: LineGeometry { bodyTarget: ширинаСтроки, firstTarget: ширинаСтроки, dropCapSpan: 0, dropCapInset: 0pt }, justification: JustificationPolicy { mode: JustificationMode.Unjustified(), minGapCount: 0, minLineWidthRatioM: 0, minFinalLineWidthRatioM: None(), maxAdjustment: 0pt, maxGapAdjustment: 0pt, maxGapRatioR: 0, latinSpacing: None(), cjkStretchRatio: 0.0 }, knuthPlass: KnuthPlassPolicy { toleranceR: 0, linePenalty: 0, fitnessDemerit: 0, flaggedDemerit: 0, finalFlaggedDemerit: 0 } }}// Склеиваем знаки каждой строки и убираем пробел в конце строки.function строкиИз(знаки: Array<BreakCluster>, план: ParagraphPlan) -> string { let mut текст = "" for номерСтроки in (0..<план.lines.length) { if (номерСтроки > 0) { текст = текст + "\n" } let строка = план.lines[номерСтроки] for номерЗнака in (строка.start..<строка.trimmedEndExclusive) { текст = текст + знаки[номерЗнака].text } } текст}let предложение = "문단 전체를 보고 줄을 나누면 마지막 줄이 짧게 남지 않고 줄마다 길이가 고르게 됩니다."let знаки = предложение.scalars().map(знак)let итог = match (classifyBreaks(знаки, корейскиеПравила(знаки))) { case Ok(места) => breakParagraph(абзац(знаки, места)) case Err(ошибка) => Err(ошибка)}match (итог) { case Ok(разбиения) => { io.writeLine("С учётом всего абзаца\n{строкиИз(знаки, разбиения.optimized)}\n") io.writeLine("Строка за строкой\n{строкиИз(знаки, разбиения.greedy)}") } case Err(ошибка) => io.writeLine("{ошибка}")}С учётом всего абзаца 문단 전체를 보고 줄을 나누면 마지막 줄이 짧게 남지 않고 줄마다 길이가 고르게 됩니다. Строка за строкой 문단 전체를 보고 줄을 나누면 마지막 줄이 짧게 남지 않고 줄마다 길이가 고르게 됩니다.
Вы получаете разбиение с учётом всего абзаца и жадное разбиение строка за строкой. Модель стоимости можно выбрать между Knuth-Plass и моделью с фиксированной точкой.
Места возможного разрыва строки находятся по алгоритму Юникода 16.0 (UAX #14).
С корейскими (KLReq), японскими (JLReq) или китайскими (CLReq) правилами открывающая скобка не остаётся в конце строки, а закрывающая скобка и точка не начинают строку. Японские правила следуют классам символов JLReq.
Свойство Юникода East Asian Width помогает решить, где разрывать строку у кавычек и скобок рядом с китайскими, японскими и корейскими символами.
При выключке задаётся, насколько можно растянуть или сжать пробелы между латинскими словами и насколько можно растянуть интервалы между символами CJK.
Длины 12pt, 3mm, 1cm, 1in и 1em записываются прямо в коде и переводятся из одних единиц в другие.
ATLAS
ATLAS превращает рукопись в готовые к печати страницы книги. Ниже показаны страница, свёрстанная в ATLAS, и две функции проверки правил переноса, переписанные для Топаза 6.0. В ATLAS эти функции названы корейскими терминами вёрстки, здесь они переведены на русский.
function неЛатинскийПробел(следующий: Option<string>) -> bool { match (следующий) { case Some(текст) => !латинскийПробел(текст) case None() => true }}function безЗапретаВНачале(следующий: Option<string>) -> bool { match (следующий) { case Some(текст) => !запрещёнВНачале(текст) case None() => true }}false true false true
Две функции проверки правил переноса ATLAS переписаны для Топаза 6.0 с русскими именами. Полный пример добавляет простые вспомогательные функции и входные данные для этих двух правил.
import std.io// Small sample policies for the two predicates below.function латинскийПробел(текст: string) -> bool { текст == " "}function запрещёнВНачале(текст: string) -> bool { текст == "."}function неЛатинскийПробел(следующий: Option<string>) -> bool { match (следующий) { case Some(текст) => !латинскийПробел(текст) case None() => true }}function безЗапретаВНачале(следующий: Option<string>) -> bool { match (следующий) { case Some(текст) => !запрещёнВНачале(текст) case None() => true }}io.writeLine("{неЛатинскийПробел(Some(" "))} {неЛатинскийПробел(None())}")io.writeLine("{безЗапретаВНачале(Some("."))} {безЗапретаВНачале(None())}")false true false true
Почему Топаз хорошо справляется с вёрсткой
Для частых задач есть один способ записи. Кто бы ни писал код, человек или агент, он выглядит одинаково, поэтому при проверке достаточно следить за тем, что код делает.
Преобразование числа в строку и операции с коллекциями записываются как методы значений. Для массива используйте map, для числа toString. Исходный код форматирует topaz fmt.
Операции с коллекциями (на английском)Если значение может отсутствовать, функция возвращает Option, если операция может завершиться сбоем, она возвращает Result, а очистку ресурсов задаёт defer. В конце абзаца правило переноса получает None вместо следующего символа, и это не ошибка.
Null, Option, Result и ошибки выполнения (на английском)Вывод на экран и чтение файлов используют импортируемые стандартные модули. По импортам при проверке кода сразу видно, где программа обменивается данными с внешним миром.
Обзор стандартной библиотеки (на английском)Задайте фиксированный набор случаев, например классы разрыва строки, перечислением, и компилятор проверит, что каждое сопоставление match обрабатывает все варианты. Если позже добавить вариант, сборка покажет каждое сопоставление, которое его ещё не обрабатывает.
Образцы и управление потоком (на английском)Тип int представляет знаковое 64-разрядное целое число. При переполнении программа останавливается на этом месте и не продолжает работу с неверным значением. Если считать ширину строк и стоимость раскладки в целых числах, переполнение не останется в результате незамеченным.
Поведение среды выполнения (на английском)Прямой запуск, нативные исполняемые файлы и пакеты для браузера следуют одним правилам языка. Поэтому предварительный просмотр на экране и вёрстка для печати разбивают строки в одних и тех же местах.
Целевые платформы (на английском)Лиспекс
Расчёты вроде разбиения на строки выполняет код на Топазе. Решения, которые меняются от издательства к издательству и от книги к книге, например с какой страницы начинать главу или сколько висячих строк допустимо, записываются отдельно в правилах Лиспекса. Топаз 6.0 выполняет правила Лиспекса 2.0 через std.lispex с отдельными лимитами подготовки, преобразования значений и вычисления. Замените исходный код правила и подготовьте его заново, и та же рукопись получит другой стиль без изменений в коде приложения.
(define rule (lambda (input) (let ((min-lines 2)) (if (< input min-lines) "перенести" "оставить"))))Файл lispex-ru.scm целиком
import std.ioimport std.bigint { BigInt }import std.lispex { LispexPackage, LispexHostLimits, LispexPreparationLimits, LispexSource, LispexSourceBundle, PreparedLispexRule, LispexDatumView, LispexValue, applicationPackage, defaultLimits, prepare, valueFromDatum, valueView, evaluate,}export function main(args: Array<string>, stdin: string) -> Result<int, string> { let приложение = packageOf()? let пределы = defaultLimits() let правило = ruleFrom(приложение, stdin, пределы.preparation)? for осталосьСтрок in ([1, 2]) { let вход = numberOf(приложение, "{осталосьСтрок}", пределы.host)? let оценка = match (evaluate(правило, вход, пределы.evaluation)) { case Ok(значение) => значение case Err(_) => { return Err("The evaluation could not complete.") } } match (оценка.settlement) { case Complete(итог) => io.writeLine("осталось строк {осталосьСтрок} {textOf(итог, пределы.host)?}") case SemanticFailure(_) => { return Err("The rule returned a language failure.") } case LimitExhaustion(_) => { return Err("The rule reached its evaluation limit.") } } } return Ok(0)}осталось строк 1 перенести осталось строк 2 оставить
Основная часть lispex-ru.tpz. В полном исходном коде есть вспомогательные функции подготовки и преобразования значений.
import std.ioimport std.bigint { BigInt }import std.lispex { LispexPackage, LispexHostLimits, LispexPreparationLimits, LispexSource, LispexSourceBundle, PreparedLispexRule, LispexDatumView, LispexValue, applicationPackage, defaultLimits, prepare, valueFromDatum, valueView, evaluate,}function packageOf() -> Result<LispexPackage, string> { match (applicationPackage()) { case Ok(value) => Ok(value) case Err(_) => Err("The application package was not admitted.") }}function ruleFrom(application: LispexPackage, source: string, limits: LispexPreparationLimits) -> Result<PreparedLispexRule, string> { let bundle = LispexSourceBundle { entryModule: "widow-lines.scm", entryBinding: "rule", sources: [LispexSource { name: "widow-lines.scm", bytes: source.encodeUtf8() }], } match (prepare(application, bundle, limits)) { case Ok(rule) => Ok(rule) case Err(_) => Err("The rule could not be prepared.") }}function numberOf(application: LispexPackage, text: string, limits: LispexHostLimits) -> Result<LispexValue, string> { let numerator = match (BigInt.parse(text, 10)) { case Some(value) => value case None() => { return Err("The input must be an integer.") } } let denominator = match (BigInt.parse("1", 10)) { case Some(value) => value case None() => { return Err("The denominator must be an integer.") } } match (valueFromDatum(application, LispexDatumView.Number(numerator, denominator), limits)) { case Ok(value) => Ok(value) case Err(_) => Err("The input value was not admitted.") }}function textOf(value: LispexValue, limits: LispexHostLimits) -> Result<string, string> { match (valueView(value, limits)) { case Ok(Text(text)) => Ok(text) case _ => Err("The rule must return text.") }}export function main(args: Array<string>, stdin: string) -> Result<int, string> { let приложение = packageOf()? let пределы = defaultLimits() let правило = ruleFrom(приложение, stdin, пределы.preparation)? for осталосьСтрок in ([1, 2]) { let вход = numberOf(приложение, "{осталосьСтрок}", пределы.host)? let оценка = match (evaluate(правило, вход, пределы.evaluation)) { case Ok(значение) => значение case Err(_) => { return Err("The evaluation could not complete.") } } match (оценка.settlement) { case Complete(итог) => io.writeLine("осталось строк {осталосьСтрок} {textOf(итог, пределы.host)?}") case SemanticFailure(_) => { return Err("The rule returned a language failure.") } case LimitExhaustion(_) => { return Err("The rule reached its evaluation limit.") } } } return Ok(0)}осталось строк 1 перенести осталось строк 2 оставить
Подготовьте правило с помощью prepare и выполните его с помощью evaluate.
Открыть ЛиспексСделано на Топазе
Ядро компилятора Топаза написано на Топазе. На том же языке написаны и браузерные инструменты.
function assignmentRoot(node: SyntaxNode) -> Option<SyntaxNode> { if (node.kind == "expression/identifier") { return Some(node) } match (child(node, "object")) { case Some(object) => assignmentRoot(object) case None() => None() }}expression/identifier None
Обход корня присваивания из compiler/crates/topaz_self_frontend/topaz/checker/expression_core.tpz переписан для Топаза 6.0
import std.io// These small inputs exercise the traversal independently of compiler internals.record SyntaxNode { kind: string }function child(node: SyntaxNode, name: string) -> Option<SyntaxNode> { if (node.kind == "expression/member" && name == "object") { Some(SyntaxNode { kind: "expression/identifier" }) } else { None() }}function assignmentRoot(node: SyntaxNode) -> Option<SyntaxNode> { if (node.kind == "expression/identifier") { return Some(node) } match (child(node, "object")) { case Some(object) => assignmentRoot(object) case None() => None() }}match (assignmentRoot(SyntaxNode { kind: "expression/member" })) { case Some(root) => io.writeLine(root.kind) case None() => io.writeLine("missing")}io.writeLine("{assignmentRoot(SyntaxNode { kind: "expression/literal" })}")expression/identifier None
Имена и типы проверяет и код Rust генерирует код, написанный на Топазе. Команда topaz check проверяет программу, а topaz build создаёт исполняемый файл.
Программы на ТопазеJSON-форматер на jeni.kr обрабатывает ввод парсером на Топазе и сообщает строку и столбец ошибки, если пропущена закрывающая скобка.
Вызов из JavaScript (на английском)Обзор Топаза
Узнайте, для каких задач подходит Топаз и как выглядит его код перед написанием первой программы.
Познакомиться с Топазом (на английском)Пройдите путь от небольшой первой программы до проверенного приложения из двух модулей.
Начать обучение (на английском)Модуль std.typeset разбивает абзац на строки. Задайте ширину вроде 12pt или 3mm, правила разбиения строк для каждого языка и интервалы в выключенных строках.
Открыть справку по вёрстке (на английском)Начните с карты синтаксиса и переходите к правилам языка, стандартной библиотеке и инструментам.
Открыть карту синтаксиса (на английском)