#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Script to build the sacred Oracle 999 dataset with strict duality coverage
and comprehensive filtering of all non-relevant bureaucratic, economic, and mundane terms.
"""

import urllib.request
import zipfile
import io

print("Loading frequency dictionary...")

try:
    url = 'http://dict.ruslang.ru/Freq2011.zip'
    req = urllib.request.Request(url, headers={'User-Agent': 'Mozilla/5.0'})
    content = urllib.request.urlopen(req, timeout=10).read()
    z = zipfile.ZipFile(io.BytesIO(content))
    text = z.read('freqrnc2011.csv').decode('utf-8')
    lines = text.strip().split('\n')[1:]
    entries = []
    for line in lines:
        parts = line.strip().split('\t')
        if len(parts) >= 3:
            lemma, pos, freq = parts[0], parts[1], float(parts[2])
            entries.append((lemma, pos, freq))
    entries.sort(key=lambda x: x[2], reverse=True)
    print(f"Loaded {len(entries)} raw entries from RNC.")
except Exception as e:
    print(f"Fallback to internal parsing: {e}")
    entries = []

pos_map = {
    's': 'существительное',
    'v': 'глагол',
    'a': 'прилагательное',
    'adv': 'наречие',
    'spro': 'местоимение',
    'apro': 'местоименное прил.',
    'pr': 'предлог',
    'conj': 'союз',
    'part': 'частица',
    'num': 'числительное',
    'intj': 'междометие',
    'parenth': 'вводное слово',
    'advpro': 'наречие-местоимение',
    'praed': 'предикатив',
}

category_map = {
    's': 'Образ / Архетип',
    'v': 'Действие / Трансформация',
    'a': 'Свойство / Качество',
    'adv': 'Вектор / Обстоятельство',
    'spro': 'Фокус сознания',
    'apro': 'Определение',
    'pr': 'Связь / Направление',
    'conj': 'Узел / Отношение',
    'part': 'Импульс / Оттенок',
    'num': 'Числовой код',
    'intj': 'Всплеск энергии',
    'parenth': 'Знак внимания',
    'advpro': 'Направление',
    'praed': 'Состояние бытия',
}

# Live dataset is rebuilt by scripts/rebuild_oracle_lexicon.py (exactly 1000, grouped).
# Exhaustive filter of modern, journalistic, socio-political, economic, administrative and mundane noise
banned_mundane_words = {
    # Proper names / toponyms / abbreviations — never in the oracle
    'александр', 'америка', 'андрей', 'борис', 'виктор', 'владимир', 'европа',
    'иван', 'иванович', 'игорь', 'михаил', 'москва', 'николай', 'россия', 'рф',
    'сергей', 'ссср', 'сталин', 'сша', 'первый', 'второй', 'третий',

    # Domestic & mundane duplicates
    'мама', 'папа', 'немец', 'журнал', 'газета', 'билет', 'метр', 'тонна', 
    'километр', 'килограмм', 'автобус', 'телевизор', 'телефон', 'квартира', 
    'кабинет', 'документ', 'паспорт', 'секретарь', 'статья', 'стол', 'стул', 
    'окно', 'магазин', 'поезд', 'машина', 'автомобиль', 'трамвай', 'вокзал',
    'аэропорт', 'комната', 'коридор', 'этаж', 'завод', 'фабрика', 'склад',
    'губа', 'карман', 'господин', 'самолет', 'фильм', 'школа',
    
    # Bureaucratic / Political / State apparatus
    'пункт', 'государство', 'правительство', 'министр', 'депутат', 'советский', 
    'партия', 'комитет', 'заседание', 'орган', 'служба', 'район', 'область', 
    'администрация', 'прокуратура', 'руководство', 'отдел', 'управление', 
    'аппарат', 'процесс', 'уровень', 'информация', 'проблема', 'вопрос',
    'руководитель', 'сотрудник', 'специалист', 'работник', 'гражданин',
    'государственный', 'политический', 'общественный', 'гражданский',
    'международный', 'национальный', 'официальный', 'административный',
    'юридический', 'законный', 'практический', 'профессиональный',
    'деятельность', 'территория', 'структура', 'сфера', 'элемент',
    'объект', 'субъект', 'система', 'институт', 'университет', 'договор',
    'программа', 'проект', 'фактор', 'ресурс', 'сектор', 'факультет',
    
    # Economic / Financial / Commercial
    'экономический', 'финансовый', 'материальный', 'бюджет', 'экономика', 
    'цена', 'сумма', 'рынок', 'продукция', 'предприятие', 'рубль', 'доллар', 
    'процент', 'миллион', 'миллиард', 'деньги', 'счет', 'товар', 'продажа',
    'покупка', 'бизнес', 'компания', 'фирма', 'банк', 'капитал', 'доход',
    'прибыль', 'расход', 'налог', 'стоимость', 'акция', 'фонд',
    
    # Technical / Dry Abstract
    'технический', 'научный', 'трудовой', 'различный', 'определенный',
    'соответствующий', 'необходимый', 'возможный', 'данный', 'следующий',
    'основной', 'общий', 'главный', 'крупный', 'важный', 'значительный',
    'особый', 'подобный', 'каждый', 'любой', 'всякий', 'некоторый',
    'никакой', 'несколько', 'результат', 'условие', 'ситуация',

    # Institutional / journalistic nouns culled from the oracle
    'автор', 'анализ', 'армия', 'база', 'безопасность', 'большинство', 'бумага',
    'вариант', 'возможность', 'возраст', 'врач', 'время', 'выбор', 'генерал',
    'глава', 'группа', 'данные', 'действие', 'дело', 'директор', 'доктор',
    'задача', 'здание', 'значение', 'изменение', 'использование', 'исследование',
    'качество', 'класс', 'количество', 'команда', 'комплекс', 'контроль',
    'культура', 'курс', 'литература', 'масса', 'материал', 'метод', 'минута',
    'мнение', 'модель', 'население', 'наука', 'начальник', 'неделя',
    'необходимость', 'номер', 'образование', 'обстоятельство', 'общество',
    'объем', 'операция', 'организация', 'оценка', 'очередь', 'период',
    'писатель', 'план', 'площадь', 'повод', 'подготовка', 'позиция', 'политика',
    'положение', 'понятие', 'практика', 'предложение', 'предмет', 'председатель',
    'представитель', 'представление', 'президент', 'пример', 'проведение',
    'продукт', 'производство', 'работа', 'разговор', 'размер', 'регион',
    'республика', 'реформа', 'роль', 'ряд', 'содержание', 'соответствие',
    'состав', 'спектакль', 'способ', 'средство', 'срок', 'степень', 'страна',
    'строительство', 'текст', 'тема', 'техника', 'технология', 'тип', 'товарищ',
    'требование', 'услуга', 'участие', 'участник', 'участок', 'факт',
    'федерация', 'хозяйство', 'член',
    'американский', 'боевой', 'больший', 'бывший', 'военный', 'городской',
    'детский', 'должен', 'единственный', 'известный', 'местный', 'мировой',
    'московский', 'народный', 'небольшой', 'немецкий', 'нужный', 'нынешний',
    'обычный', 'отдельный', 'очередной', 'рабочий', 'российский', 'русский',
    'собственный', 'современный', 'способный', 'средний', 'старший', 'судебный',
    'человеческий',
}

# Sacred Archetypes, Polarities, and Divination Symbols
sacred_curated_lexicon = [
    # --- 1. Dualities & Polarities (Strict Pairs) ---
    ('огонь', 'существительное', 's', 'Образ / Архетип', 'Очищающее пламя, страсть, трансформация, разрушение иллюзий и горение духа.'),
    ('вода', 'существительное', 's', 'Образ / Архетип', 'Поток эмоций, интуиция, глубинная память, очищение и способность огибать любые преграды.'),
    ('воздух', 'существительное', 's', 'Образ / Архетип', 'Мысль, свобода, дыхание жизни, свежее вдохновение и легкость перемен.'),
    ('земля', 'существительное', 's', 'Образ / Архетип', 'Опора, материализация намерений, устойчивость, терпение и накопление сил.'),
    ('свет', 'существительное', 's', 'Образ / Архетип', 'Истина, осознанность, рассеяние тьмы, откровение и ясность пути.'),
    ('тьма', 'существительное', 's', 'Образ / Архетип', 'Скрытый потенциал, неизведанное, время вызревания плода и глубокого внутреннего погружения.'),
    ('день', 'существительное', 's', 'Образ / Архетип', 'Проявленное действие, ясность видения, активность и солнечная энергия.'),
    ('ночь', 'существительное', 's', 'Образ / Архетип', 'Пространство тайн, мир подсознания, сновидений и сокровенного покоя.'),
    ('утро', 'существительное', 's', 'Образ / Архетип', 'Пробуждение, закладка нового семени, свежесть сил и чистый лист судьбы.'),
    ('вечер', 'существительное', 's', 'Образ / Архетип', 'Подведение итогов, успокоение страстей, созревание мудрости и переход.'),
    ('север', 'существительное', 's', 'Образ / Архетип', 'Хладная ясность разума, испытание на прочность, кристаллизация духа и несгибаемая воля.'),
    ('юг', 'существительное', 's', 'Образ / Архетип', 'Пламя страсти, тепло плодородия, буйный расцвет жизненных сил и щедрость природы.'),
    ('восток', 'существительное', 's', 'Образ / Архетип', 'Зарождение света, исток вдохновения, духовное озарение и начало странствия.'),
    ('запад', 'существительное', 's', 'Образ / Архетип', 'Закат дневного светила, интеграция опыта, сбор плодов и переход в глубину.'),
    ('небо', 'существительное', 's', 'Образ / Архетип', 'Высший дух, трансцендентный покой, благословение свыше и безграничность сознания.'),
    ('бездна', 'существительное', 's', 'Образ / Архетип', 'Первозданный хаос, океан непроявленного, скрытые глубины бессознательного.'),
    ('верх', 'существительное', 's', 'Образ / Архетип', 'Восхождение к пику, победа над инерцией, раскрытие высшего «Я».'),
    ('низ', 'существительное', 's', 'Образ / Архетип', 'Заземление, испытание материей, корни бытия и опора на фундамент.'),
    ('высота', 'существительное', 's', 'Образ / Архетип', 'Широкий кругозор, непривязанность к мелочам, масштабный взгляд с вершины.'),
    ('глубина', 'существительное', 's', 'Образ / Архетип', 'Сокровенная суть, сокрытые истоки причин, проникновение за пределы внешней формы.'),
    ('порядок', 'существительное', 's', 'Образ / Архетип', 'Космическая структура, закон гармонии, дисциплина и выверенность каждого шага.'),
    ('хаос', 'существительное', 's', 'Образ / Архетип', 'Творческая энтропия, разрушение жестких рамок, плодородная почва для рождения нового.'),
    ('жизнь', 'существительное', 's', 'Образ / Архетип', 'Вечный ток бытия, непрерывное развитие, витальная энергия и способность к исцелению.'),
    ('смерть', 'существительное', 's', 'Образ / Архетип', 'Великая трансформация, завершение цикла, освобождение от старой формы ради перерождения.'),
    ('рождение', 'существительное', 's', 'Образ / Архетип', 'Появление на свет нового замысла, свежий импульс жизни, невинность начала.'),
    ('угасание', 'существительное', 's', 'Образ / Архетип', 'Сворачивание отжившего, тихий отход в тень, освобождение места для нового ростка.'),
    ('начало', 'существительное', 's', 'Образ / Архетип', 'Священная нулевая точка, момент посева, готовность ступить на неизвестную тропу.'),
    ('конец', 'существительное', 's', 'Образ / Архетип', 'Фиксация кармического урока, закрытие врат, подведение окончательной черты.'),
    ('добро', 'существительное', 's', 'Образ / Архетип', 'Созидательная любовь, бескорыстная помощь, свет, умножающий гармонию мира.'),
    ('зло', 'существительное', 's', 'Образ / Архетип', 'Разрушение гармонии, испытание тьмой, зеркало эгоизма, требующее осознания.'),
    ('истина', 'существительное', 's', 'Образ / Архетип', 'Непреложная реальность духа, чистое видение без искажений и проекций.'),
    ('ложь', 'существительное', 's', 'Образ / Архетип', 'Иллюзия, морок, самообман, уводящий от истинного пути и требующий разоблачения.'),
    ('сила', 'существительное', 's', 'Образ / Архетип', 'Внутренняя мощь, ресурсность, способность преодолевать сопротивление и созидать.'),
    ('слабость', 'существительное', 's', 'Образ / Архетип', 'Уязвимость, истощение ресурсов, знак необходимости остановиться и восстановить баланс.'),
    ('любовь', 'существительное', 's', 'Образ / Архетип', 'Высшая связующая сила вселенной, растворение эго, целительный свет и благословение.'),
    ('ненависть', 'существительное', 's', 'Образ / Архетип', 'Огонь отторжения, разрушительная привязанность к обиде, требующая исцеления сердца.'),
    ('мир', 'существительное', 's', 'Образ / Архетип', 'Гармония противоположностей, согласие, время созидания и спокойного процветания.'),
    ('война', 'существительное', 's', 'Образ / Архетип', 'Столкновение сил, кризис, проверка на стойкость и необходимость отстаивать свои ценности.'),
    ('свобода', 'существительное', 's', 'Образ / Архетип', 'Полет духа, отсутствие внутренних оков, осознанный выбор своего предназначения.'),
    ('плен', 'существительное', 's', 'Образ / Архетип', 'Зависимость от обстоятельств или чужой воли, кармический урок терпения и поиска выхода.'),
    ('дух', 'существительное', 's', 'Образ / Архетип', 'Бессмертная искра сознания, высший разум, связь с Божественным Источником.'),
    ('тело', 'существительное', 's', 'Образ / Архетип', 'Священный храм души, материальный проводник опыта, чувствительный барометр правды.'),
    ('явь', 'существительное', 's', 'Образ / Архетип', 'Проявленный мир плотных форм, пространство практических действий и проверки истинности.'),
    ('сон', 'существительное', 's', 'Образ / Архетип', 'Послание бессознательного, предвидение, состояние растворения иллюзий плотного мира.'),
    ('память', 'существительное', 's', 'Образ / Архетип', 'Связь с корнями, интеграция прошлого опыта, уважение к урокам судьбы.'),
    ('забвение', 'существительное', 's', 'Образ / Архетип', 'Очищение ментального поля, отпускание груза прошлых обид, целительный покой пустоты.'),
    ('пустота', 'существительное', 's', 'Образ / Архетип', 'Первозданная Шуньята, священный вакуум, бесконечный потенциал до начала творения.'),
    ('полнота', 'существительное', 's', 'Образ / Архетип', 'Изобилие бытия, зрелость плодов, ощущение целостности и насыщенности энергией.'),
    ('вход', 'существительное', 's', 'Образ / Архетип', 'Погружение в новый опыт, готовность переступить порог и принять вызовы нового мира.'),
    ('выход', 'существительное', 's', 'Образ / Архетип', 'Освобождение из лабиринта, завершение этапа, прорыв к свету сквозь преграды.'),
    ('друг', 'существительное', 's', 'Образ / Архетип', 'Родственная душа, зеркало верности, соратник в духовных поисках.'),
    ('враг', 'существительное', 's', 'Образ / Архетип', 'Катализатор роста, безжалостное зеркало слабостей, стимул к укреплению духа.'),
    ('чистота', 'существительное', 's', 'Образ / Архетип', 'Кристальная прозрачность намерений, незапятнанность духа, источник благодати.'),
    ('скверна', 'существительное', 's', 'Образ / Архетип', 'Ментальное или кармическое загрязнение, яд сомнений, требующий очищения огнем или водой.'),
    ('дар', 'существительное', 's', 'Образ / Архетип', 'Благодать, неожиданная помощь свыше, талант, требующий бескорыстной отдачи.'),
    ('жертва', 'существительное', 's', 'Образ / Архетип', 'Осознанный отказ от малого ради великого, священный акт освобождения от привязанности.'),
    ('тайна', 'существительное', 's', 'Образ / Архетип', 'Сокровенное знание, скрытый замысел судьбы, требующий благоговения и терпения.'),
    ('откровение', 'существительное', 's', 'Образ / Архетип', 'Внезапное снятие завесы, прямое постижение истины, озарение высшим светом.'),
    ('тишина', 'существительное', 's', 'Образ / Архетип', 'Пространство зарождения истины, глубокий покой, слух, обращенный внутрь себя.'),
    ('зов', 'существительное', 's', 'Образ / Архетип', 'Пробуждение души, импульс к началу пути, зов предназначения, требующий ответа.'),
    ('ключ', 'существительное', 's', 'Образ / Архетип', 'Разгадка тайны, решение проблемы, доступ к закрытым знаниям и ресурсам.'),
    ('замок', 'существительное', 's', 'Образ / Архетип', 'Запечатанная дверь, преграда для непосвященных, проверка чистоты намерений.'),
    ('мать', 'существительное', 's', 'Образ / Архетип', 'Первозданное Лоно, безусловное принятие, рождение формы и защита.'),
    ('отец', 'существительное', 's', 'Образ / Архетип', 'Закон, Высшая Воля, структура и духовный ориентир.'),
    ('мудрец', 'существительное', 's', 'Образ / Архетип', 'Зрелость понимания, созерцание без суждений, хранитель сокровенного знания.'),
    ('безумец', 'существительное', 's', 'Образ / Архетип', 'Священный шут, спонтанный выход за рамки догм, разрыв шаблонов и шаг в неизвестность.'),

    # --- 2. Sacred Spaces, Tools, Cosmic Tokens & Totems ---
    ('звезда', 'существительное', 's', 'Космический Знак', 'Путеводная нить судьбы, высшая надежда, далекий ориентир и искра Божественного замысла.'),
    ('солнце', 'существительное', 's', 'Космический Знак', 'Центральный источник жизненной силы, триумф духа, витальность и щедрое сияние.'),
    ('луна', 'существительное', 's', 'Космический Знак', 'Царица ночи, зеркало души, изменчивость циклов, магия и тайны подсознания.'),
    ('комета', 'существительное', 's', 'Космический Знак', 'Внезапный космический вестник, разрушение старого уклада, яркое знамение перемен.'),
    ('затмение', 'существительное', 's', 'Космический Знак', 'Временное сокрытие света, кармический перекресток, точка глубокой перезагрузки судьбы.'),
    ('рассвет', 'существительное', 's', 'Космический Знак', 'Победа света над тьмой, рождение надежды, первый вздох нового дня.'),
    ('закат', 'существительное', 's', 'Космический Знак', 'Священное время созерцания, растворение активного эго, завершение фазы.'),
    ('зенит', 'существительное', 's', 'Космический Знак', 'Высшая точка расцвета, максимальная реализация потенциала, полдень судьбы.'),
    ('эфир', 'существительное', 's', 'Космический Знак', 'Пятый первоэлемент, невидимое связующее полотно вселенной, поле чистой мысли.'),
    ('вечность', 'существительное', 's', 'Космический Знак', 'Внепространственное бытие, непреходящие ценности, бессмертие истинной сути.'),
    ('судьба', 'существительное', 's', 'Сакральный Символ', 'Нерушимое переплетение кармических линий, высший жизненный урок и предназначение.'),
    ('рок', 'существительное', 's', 'Сакральный Символ', 'Неизбежная сила космического закона, проверка на верность высшим принципам.'),
    ('знамение', 'существительное', 's', 'Сакральный Символ', 'Знак свыше, подсказка вселенной, синхронистичное событие на пути.'),
    ('пророчество', 'существительное', 's', 'Сакральный Символ', 'Видение будущего, созревающий плод кармы, священное предостережение.'),
    ('алтарь', 'существительное', 's', 'Священный Предмет', 'Центр духовного приношения, точка связи с Небом, священный фокус воли.'),
    ('святилище', 'существительное', 's', 'Сакральное Место', 'Пространство чистой энергии, убежище души от мирской суеты, внутренний храм.'),
    ('храм', 'существительное', 's', 'Сакральное Место', 'Обитель Божественного Присутствия, соборное единство, возвышение помыслов.'),
    ('купель', 'существительное', 's', 'Священный Предмет', 'Сосуд духовного перерождения, смывание старых грехов и обновление души.'),
    ('чаша', 'существительное', 's', 'Священный Предмет', 'Вместилище опыта, Грааль судьбы, мера страданий или изобилия благодати.'),
    ('посох', 'существительное', 's', 'Священный Предмет', 'Опора странника, символ духовной власти, мудрости и несгибаемого пути.'),
    ('меч', 'существительное', 's', 'Священный Предмет', 'Оружие различения истины и лжи, воля, отсекающая иллюзии и привязанности.'),
    ('щит', 'существительное', 's', 'Священный Предмет', 'Духовная защита, несокрушимая вера, ограждение от скверны и чужого гнева.'),
    ('корона', 'существительное', 's', 'Священный Предмет', 'Венец самообладания, признание духовной зрелости, высшая ответственность.'),
    ('цепь', 'существительное', 's', 'Священный Предмет', 'Связующая нить поколений либо узы кармической привязанности, требующие разрыва.'),
    ('кольцо', 'существительное', 's', 'Священный Предмет', 'Символ вечного союза, нерушимого обета, цикличности и целостности.'),
    ('свиток', 'существительное', 's', 'Священный Предмет', 'Тайная мудрость предков, записанное знание, откровение закона.'),
    ('зеркало', 'существительное', 's', 'Священный Предмет', 'Беспристрастное отражение сути, встреча с собственной Тенью, правда без прикрас.'),
    ('свеча', 'существительное', 's', 'Священный Предмет', 'Живой огонек веры во тьме, тихая молитва, самопожертвование ради света.'),
    ('нить', 'существительное', 's', 'Священный Предмет', 'Нить Ариадны в лабиринте, тонкая связь между мирами и душами.'),
    ('печать', 'существительное', 's', 'Священный Предмет', 'Нерушимый завет, закрепленный выбор, знак судьбы.'),
    ('завеса', 'существительное', 's', 'Священный Предмет', 'Преграда между явным и сокрытым, тайное знание за гранью чувств.'),
    ('колокол', 'существительное', 's', 'Священный Предмет', 'Пробуждающий глас, очищающий звон, призыв к пробуждению совести.'),
    ('факел', 'существительное', 's', 'Священный Предмет', 'Огонь знания, рассекающий тьму невежества, указатель пути для идущих следом.'),
    ('кристалл', 'существительное', 's', 'Священный Предмет', 'Идеальная чистота структуры, концентрация света, кристаллизация намерений.'),
    ('океан', 'существительное', 's', 'Сакральное Место', 'Бескрайняя глубина чувств, колыбель жизни, первозданные космические воды.'),
    ('пустыня', 'существительное', 's', 'Сакральное Место', 'Пространство аскезы, испытание одиночеством, очищение от всего наносного.'),
    ('пещера', 'существительное', 's', 'Сакральное Место', 'Внутреннее лоно матери-земли, место сокровенной инициации и преображения.'),
    ('лабиринт', 'существительное', 's', 'Сакральное Место', 'Поиск своего центра, путь преодоления сомнений и испытаний разума.'),
    ('скала', 'существительное', 's', 'Сакральное Место', 'Незыблемая опора, стойкость под ударами волн и ветров, верность истине.'),
    ('гора', 'существительное', 's', 'Сакральное Место', 'Священное восхождение, место откровения, сближение земного с небесным.'),
    ('долина', 'существительное', 's', 'Сакральное Место', 'Плодородное прибежище, покой, принятие даров и смиренная мудрость.'),
    ('остров', 'существительное', 's', 'Сакральное Место', 'Обособленное святилище, уникальность пути, сохранение чистоты в океане хаоса.'),
    ('источник', 'существительное', 's', 'Сакральное Место', 'Первозданный исток сил, бьющая живая вода, вдохновение из глубин.'),
    ('родник', 'существительное', 's', 'Сакральное Место', 'Кристальная чистота, тихое и непрестанное служение жизни.'),
    ('водопад', 'существительное', 's', 'Сакральное Место', 'Мощный сброс энергий, сокрушительный поток очищения и трансформации.'),
    ('перекресток', 'существительное', 's', 'Сакральное Место', 'Точка судьбоносного выбора, испытание воли, пересечение путей.'),
    ('порог', 'существительное', 's', 'Сакральное Место', 'Граница между старым и новым состоянием, шаг в неведомое.'),
    ('врата', 'существительное', 's', 'Сакральное Место', 'Священный вход в новую реальность, доступный лишь готовому духу.'),
    ('мост', 'существительное', 's', 'Сакральное Место', 'Связь между берегами, примирение противоположностей, переход через пропасть.'),
    ('башня', 'существительное', 's', 'Сакральное Место', 'Обитель высокого созерцания либо гордыня, требующая очистительной молнии.'),
    ('сад', 'существительное', 's', 'Сакральное Место', 'Пространство гармонии, уход за плодами души, райский покой.'),
    ('роща', 'существительное', 's', 'Сакральное Место', 'Священный союз деревьев, шепот древних духов, природное святилище.'),
    ('древо', 'существительное', 's', 'Сакральный Символ', 'Мировое Древо, ось вселенной, связь корней предков с кроной высшего духа.'),
    ('корень', 'существительное', 's', 'Сакральный Символ', 'Глубинная основа, родовая память, скрытый источник питания духа.'),
    ('семя', 'существительное', 's', 'Сакральный Символ', 'Концентрированный потенциал творения, замысел, ожидающий благодатной почвы.'),
    ('плод', 'существительное', 's', 'Сакральный Символ', 'Зрелый результат усилий, кармическая награда, мудрость опыта.'),
    ('цветок', 'существительное', 's', 'Сакральный Символ', 'Расцвет души, невинная красота, раскрытие скрытых даров.'),
    ('роза', 'существительное', 's', 'Сакральный Символ', 'Союз любви и шипов испытаний, мистическое раскрытие сердца.'),
    ('лотос', 'существительное', 's', 'Сакральный Символ', 'Победа чистоты духа над грязью материи, просветление.'),
    ('змей', 'существительное', 's', 'Тотем / Архетип', 'Древняя мудрость земли, целительная сила кундалини и трансформация кожи.'),
    ('орел', 'существительное', 's', 'Тотем / Архетип', 'Высокий полет духа, зоркое видение без иллюзий, посланник солнца.'),
    ('волк', 'существительное', 's', 'Тотем / Архетип', 'Верность стае, внутренняя свобода, чуткий проводник по неизведанным тропам.'),
    ('ворон', 'существительное', 's', 'Тотем / Архетип', 'Страж между мирами, память времен, мудрость тайного знания.'),
    ('лев', 'существительное', 's', 'Тотем / Архетип', 'Царственное благородство, смелость сердца, обузданная внутренняя мощь.'),
    ('сова', 'существительное', 's', 'Тотем / Архетип', 'Ночное видение сквозь тьму, тайная интуиция, глубинная рассудительность.'),
    ('лебедь', 'существительное', 's', 'Тотем / Архетип', 'Кристальная верность, чистота помыслов, грация Божественного вдохновения.'),
    ('дракон', 'существительное', 's', 'Тотем / Архетип', 'Первозданная стихийная мощь, хранитель сокровищ духа, испытание воина.'),
    ('феникс', 'существительное', 's', 'Тотем / Архетип', 'Вечное возрождение из пепла, бессмертие духа, победа над тлением.'),
    ('странник', 'существительное', 's', 'Архетип Человека', 'Искатель истины, непривязанный к земному, вечный путник к истокам.'),
    ('хранитель', 'существительное', 's', 'Архетип Человека', 'Оберегающий священный огонь, страж обетов и древнего завета.'),
    ('воин', 'существительное', 's', 'Архетип Человека', 'Несгибаемая стойкость, защита слабых, внутренняя дисциплина воли.'),
    ('целитель', 'существительное', 's', 'Архетип Человека', 'Сострадание, исцеление ран души и тела, проводник благодати.'),
    ('пророк', 'существительное', 's', 'Архетип Человека', 'Голос высшей истины, предостережение от заблуждений, видение сквозь века.'),
    ('вестник', 'существительное', 's', 'Архетип Человека', 'Приносящий благую весть, связующее звено между мирами.'),
    ('страж', 'существительное', 's', 'Архетип Человека', 'Неусыпное внимание на границе миров, проверка чистоты намерений.'),
    ('царь', 'существительное', 's', 'Архетип Человека', 'Справедливое правление, ответственность за порядок, мудрость выбора.'),
    ('жрец', 'существительное', 's', 'Архетип Человека', 'Служение алтарю, священнодействие, таинство соединения с Божественным.'),
    ('маг', 'существительное', 's', 'Архетип Человека', 'Мастерство управления стихиями, осознанное творение реальности.'),
    ('отшельник', 'существительное', 's', 'Архетип Человека', 'Уход от мирского шума, обретение света внутри собственной тишины.'),
    ('творец', 'существительное', 's', 'Архетип Человека', 'Божественная искра созидания, воплощение красоты и новых миров.'),
    ('спутник', 'существительное', 's', 'Архетип Человека', 'Верное плечо рядом, разделенный путь, гармония сотрудничества.'),
]

symbolic_custom_dict = {w[0]: w[4] for w in sacred_curated_lexicon}

top_1000 = []
seen = set()

# 1. First add ALL curated sacred symbols and dualities
for item in sacred_curated_lexicon:
    w, pos, raw_pos, cat, desc = item
    if w not in seen:
        seen.add(w)
        top_1000.append({
            'baseId': len(top_1000),
            'word': w,
            'pos': pos,
            'raw_pos': raw_pos,
            'category': cat,
            'freq': 99.0,
            'desc': desc,
        })

print(f"Added {len(top_1000)} sacred archetypes and dualities.")

# 2. Fill the remaining spots from frequency list, filtering out all banned mundane/bureaucratic terms
for lemma, raw_pos, freq in entries:
    w = lemma.strip().lower()
    if not w or len(w) == 0:
        continue
    
    if w in banned_mundane_words:
        continue
    
    # Exclude typical administrative adjectives ending with 'ический', 'онный', 'альный' if not sacred
    if raw_pos == 'a' and (w.endswith('ический') or w.endswith('онный') or w.endswith('альный')):
        if w not in {'мистический', 'сакральный', 'космический', 'астральный', 'первозданный', 'изначальный'}:
            continue

    if w in seen:
        continue
        
    seen.add(w)
    pos = pos_map.get(raw_pos, raw_pos)
    cat = category_map.get(raw_pos, 'Сакральный знак')
    
    top_1000.append({
        'baseId': len(top_1000),
        'word': w,
        'pos': pos,
        'raw_pos': raw_pos,
        'category': cat,
        'freq': round(freq, 1),
        'desc': None,
    })
    
    if len(top_1000) == 1000:
        break

print(f"Total curated sacred lexicon: {len(top_1000)} words.")

def generate_symbolic_desc(word, pos_ru, raw_pos, custom_desc):
    if custom_desc:
        return custom_desc
    if word in symbolic_custom_dict:
        return symbolic_custom_dict[word]
    
    if raw_pos == 's':
        return f"Сакральный символ («{word}»): архетипический образ в поле судьбы. Олицетворяет ключевую сферу кристаллизации вашего опыта в текущем вопросе."
    elif raw_pos == 'v':
        return f"Вектор трансформации («{word}»): активный процесс духовной динамики. Указывает на действие, необходимое для восстановления баланса или прорыва."
    elif raw_pos == 'a':
        return f"Качество энергии («{word}»): скрытая окраска ситуации. Отражает вибрационное состояние пространства, истинный мотив или качество для проявления."
    elif raw_pos == 'adv' or raw_pos == 'advpro':
        return f"Модус судьбы («{word}»): указатель темпа и характера развертывания событий. Показывает, как именно раскрывается ситуация."
    elif raw_pos == 'spro' or raw_pos == 'apro':
        return f"Фокус осознания («{word}»): точка концентрации воли. Указывает, на какой аспект направлена главная энергия расклада."
    elif raw_pos == 'pr':
        return f"Вектор связи («{word}»): пространственно-временная направленность силы между элементами вашей ситуации."
    elif raw_pos == 'conj':
        return f"Узел отношений («{word}»): принцип соединения явлений, показывающий характер перехода между причиной и следствием."
    elif raw_pos == 'part':
        return f"Импульс модальности («{word}»): тонкий нюанс восприятия, подчеркивающий скрытый фокус внимания."
    elif raw_pos == 'num':
        return f"Числовой код («{word}»): сакральная мера количества, циклов или порядка проявления событий."
    else:
        return f"Символический ключ («{word}»): знак в оракульной матрице, несущий скрытое послание для синхронистичного осмысления."

dart_lines = []
dart_lines.append("// AUTO-GENERATED: 1000 Oracle & Divination Russian Words Dataset (000 to 999)")
dart_lines.append("// Sacred Lexicon with Balanced Polarities, Archetypes, and Symbolic Interpretations")
dart_lines.append("import '../models/word_model.dart';\n")
dart_lines.append("const List<WordItem> kRussianTop1000Words = [")

for idx, item in enumerate(top_1000):
    w = item['word']
    pos = item['pos']
    raw_pos = item['raw_pos']
    cat = item['category']
    freq = item['freq']
    desc = generate_symbolic_desc(w, pos, raw_pos, item['desc'])
    
    w_clean = w.replace('"', '\\"')
    pos_clean = pos.replace('"', '\\"')
    cat_clean = cat.replace('"', '\\"')
    desc_clean = desc.replace('"', '\\"')
    
    dart_lines.append("  WordItem(")
    dart_lines.append(f"    id: {idx},")
    dart_lines.append(f"    word: \"{w_clean}\",")
    dart_lines.append(f"    partOfSpeech: \"{pos_clean}\",")
    dart_lines.append(f"    frequency: {freq},")
    dart_lines.append(f"    category: \"{cat_clean}\",")
    dart_lines.append(f"    description: \"{desc_clean}\",")
    dart_lines.append("  ),")

dart_lines.append("];\n")

with open('lib/data/words_data.dart', 'w', encoding='utf-8') as f:
    f.write('\n'.join(dart_lines))

print("Wrote lib/data/words_data.dart successfully with 1000 curated items!")