clean: purge all mundane bureaucratic, economic and technical jargon (пункт, экономический, etc.) and inject pure sacred archetypes

scripts/build_symbolic_oracle_data.py

@@ -2,13 +2,12 @@
 # -*- coding: utf-8 -*-
 """
 Script to build the sacred Oracle 999 dataset with strict duality coverage
-and filtering of non-relevant bureaucratic/mundane terms.
+and comprehensive filtering of all non-relevant bureaucratic, economic, and mundane terms.
 """
 
 import urllib.request
 import zipfile
 import io
-import json
 
 print("Loading frequency dictionary...")
 
@@ -65,24 +64,46 @@ category_map = {
     'praed': 'Состояние бытия',
 }
 
-# Words to unconditionally exclude as non-relevant bureaucratic/mundane noise
+# Exhaustive filter of modern, journalistic, socio-political, economic, administrative and mundane noise
 banned_mundane_words = {
-    'мама', 'папа', 'немец', 'журнал', 'газета', 'государство', 'правительство', 
+    # Domestic & mundane duplicates
-    'министр', 'советский', 'район', 'область', 'программа', 'орган', 'власть', 
+    'мама', 'папа', 'немец', 'журнал', 'газета', 'билет', 'метр', 'тонна', 
-    'бюджет', 'организация', 'партия', 'проект', 'экономика', 'цена', 'сумма', 
+    'километр', 'килограмм', 'автобус', 'телевизор', 'телефон', 'квартира', 
-    'рынок', 'продукция', 'предприятие', 'институт', 'договор', 'служба', 
+    'кабинет', 'документ', 'паспорт', 'секретарь', 'статья', 'стол', 'стул', 
-    'структура', 'сфера', 'элемент', 'объект', 'субъект', 'система', 'депутат', 
+    'окно', 'магазин', 'поезд', 'машина', 'автомобиль', 'трамвай', 'вокзал',
-    'билет', 'метр', 'тонна', 'директор', 'университет', 'рубль', 'доллар', 
+    'аэропорт', 'комната', 'коридор', 'этаж', 'завод', 'фабрика', 'склад',
-    'процент', 'километр', 'килограмм', 'автобус', 'телевизор', 'телефон', 
+    
-    'квартира', 'кабинет', 'документ', 'паспорт', 'секретарь', 'статья',
+    # Bureaucratic / Political / State apparatus
-    'заседание', 'комитет', 'сектор', 'факультет', 'администрация', 'прокуратура',
+    'пункт', 'государство', 'правительство', 'министр', 'депутат', 'советский', 
-    'миллион', 'миллиард', 'руководство', 'отдел', 'управление', 'аппарат',
+    'партия', 'комитет', 'заседание', 'орган', 'служба', 'район', 'область', 
-    'процесс', 'уровень', 'информация', 'проблема', 'вопрос' # generalized filler
+    'администрация', 'прокуратура', 'руководство', 'отдел', 'управление', 
+    'аппарат', 'процесс', 'уровень', 'информация', 'проблема', 'вопрос',
+    'руководитель', 'сотрудник', 'специалист', 'работник', 'гражданин',
+    'государственный', 'политический', 'общественный', 'гражданский',
+    'международный', 'национальный', 'официальный', 'административный',
+    'юридический', 'законный', 'практический', 'профессиональный',
+    'деятельность', 'территория', 'структура', 'сфера', 'элемент',
+    'объект', 'субъект', 'система', 'институт', 'университет', 'договор',
+    'программа', 'проект', 'фактор', 'ресурс', 'сектор', 'факультет',
+    
+    # Economic / Financial / Commercial
+    'экономический', 'финансовый', 'материальный', 'бюджет', 'экономика', 
+    'цена', 'сумма', 'рынок', 'продукция', 'предприятие', 'рубль', 'доллар', 
+    'процент', 'миллион', 'миллиард', 'деньги', 'счет', 'товар', 'продажа',
+    'покупка', 'бизнес', 'компания', 'фирма', 'банк', 'капитал', 'доход',
+    'прибыль', 'расход', 'налог', 'стоимость', 'акция', 'фонд',
+    
+    # Technical / Dry Abstract
+    'технический', 'научный', 'трудовой', 'различный', 'определенный',
+    'соответствующий', 'необходимый', 'возможный', 'данный', 'следующий',
+    'основной', 'общий', 'главный', 'крупный', 'важный', 'значительный',
+    'особый', 'подобный', 'каждый', 'любой', 'всякий', 'некоторый',
+    'никакой', 'несколько', 'результат', 'условие', 'ситуация',
 }
 
-# Mandatory sacred pairs and polarities (Dualities)
+# Sacred Archetypes, Polarities, and Divination Symbols
-sacred_dualities = [
+sacred_curated_lexicon = [
-    # Element & cosmic polarities
+    # --- 1. Dualities & Polarities (Strict Pairs) ---
     ('огонь', 'существительное', 's', 'Образ / Архетип', 'Очищающее пламя, страсть, трансформация, разрушение иллюзий и горение духа.'),
     ('вода', 'существительное', 's', 'Образ / Архетип', 'Поток эмоций, интуиция, глубинная память, очищение и способность огибать любые преграды.'),
     ('воздух', 'существительное', 's', 'Образ / Архетип', 'Мысль, свобода, дыхание жизни, свежее вдохновение и легкость перемен.'),
@@ -149,23 +170,98 @@ sacred_dualities = [
     ('отец', 'существительное', 's', 'Образ / Архетип', 'Закон, Высшая Воля, структура и духовный ориентир.'),
     ('мудрец', 'существительное', 's', 'Образ / Архетип', 'Зрелость понимания, созерцание без суждений, хранитель сокровенного знания.'),
     ('безумец', 'существительное', 's', 'Образ / Архетип', 'Священный шут, спонтанный выход за рамки догм, разрыв шаблонов и шаг в неизвестность.'),
-    ('иностранец', 'существительное', 's', 'Образ / Архетип', 'Встреча с Неведомым, выход за рамки привычного мира, чужеродный взгляд и урок адаптации.'),
+
-    ('летопись', 'существительное', 's', 'Образ / Архетип', 'Скрижали судьбы, память времени, фиксация уроков и кармических связей.'),
+    # --- 2. Sacred Spaces, Tools, Cosmic Tokens & Totems ---
-    ('вестник', 'существительное', 's', 'Образ / Архетип', 'Внезапное знамение, озарение, знак свыше о скорых переменах.'),
+    ('звезда', 'существительное', 's', 'Космический Знак', 'Путеводная нить судьбы, высшая надежда, далекий ориентир и искра Божественного замысла.'),
-    ('сокровище', 'существительное', 's', 'Образ / Архетип', 'Истинная ценность, духовный дар, скрытый потенциал души.'),
+    ('солнце', 'существительное', 's', 'Космический Знак', 'Центральный источник жизненной силы, триумф духа, витальность и щедрое сияние.'),
-    ('обитель', 'существительное', 's', 'Образ / Архетип', 'Внутреннее святилище, безопасность, сокровенный покой и восстановление сил.'),
+    ('луна', 'существительное', 's', 'Космический Знак', 'Царица ночи, зеркало души, изменчивость циклов, магия и тайны подсознания.'),
-    ('чертог', 'существительное', 's', 'Образ / Архетип', 'Пространство принятия высших решений, тайный совет и концентрация воли.'),
+    ('комета', 'существительное', 's', 'Космический Знак', 'Внезапный космический вестник, разрушение старого уклада, яркое знамение перемен.'),
-    ('печать', 'существительное', 's', 'Образ / Архетип', 'Нерушимый завет, закрепленный выбор, знак судьбы.'),
+    ('затмение', 'существительное', 's', 'Космический Знак', 'Временное сокрытие света, кармический перекресток, точка глубокой перезагрузки судьбы.'),
-    ('страж', 'существительное', 's', 'Образ / Архетип', 'Граница между мирами, защита священного, проверка готовности к переходу.'),
+    ('рассвет', 'существительное', 's', 'Космический Знак', 'Победа света над тьмой, рождение надежды, первый вздох нового дня.'),
+    ('закат', 'существительное', 's', 'Космический Знак', 'Священное время созерцания, растворение активного эго, завершение фазы.'),
+    ('зенит', 'существительное', 's', 'Космический Знак', 'Высшая точка расцвета, максимальная реализация потенциала, полдень судьбы.'),
+    ('эфир', 'существительное', 's', 'Космический Знак', 'Пятый первоэлемент, невидимое связующее полотно вселенной, поле чистой мысли.'),
+    ('вечность', 'существительное', 's', 'Космический Знак', 'Внепространственное бытие, непреходящие ценности, бессмертие истинной сути.'),
+    ('судьба', 'существительное', 's', 'Сакральный Символ', 'Нерушимое переплетение кармических линий, высший жизненный урок и предназначение.'),
+    ('рок', 'существительное', 's', 'Сакральный Символ', 'Неизбежная сила космического закона, проверка на верность высшим принципам.'),
+    ('знамение', 'существительное', 's', 'Сакральный Символ', 'Знак свыше, подсказка вселенной, синхронистичное событие на пути.'),
+    ('пророчество', 'существительное', 's', 'Сакральный Символ', 'Видение будущего, созревающий плод кармы, священное предостережение.'),
+    ('алтарь', 'существительное', 's', 'Священный Предмет', 'Центр духовного приношения, точка связи с Небом, священный фокус воли.'),
+    ('святилище', 'существительное', 's', 'Сакральное Место', 'Пространство чистой энергии, убежище души от мирской суеты, внутренний храм.'),
+    ('храм', 'существительное', 's', 'Сакральное Место', 'Обитель Божественного Присутствия, соборное единство, возвышение помыслов.'),
+    ('купель', 'существительное', 's', 'Священный Предмет', 'Сосуд духовного перерождения, смывание старых грехов и обновление души.'),
+    ('чаша', 'существительное', 's', 'Священный Предмет', 'Вместилище опыта, Грааль судьбы, мера страданий или изобилия благодати.'),
+    ('посох', 'существительное', 's', 'Священный Предмет', 'Опора странника, символ духовной власти, мудрости и несгибаемого пути.'),
+    ('меч', 'существительное', 's', 'Священный Предмет', 'Оружие различения истины и лжи, воля, отсекающая иллюзии и привязанности.'),
+    ('щит', 'существительное', 's', 'Священный Предмет', 'Духовная защита, несокрушимая вера, ограждение от скверны и чужого гнева.'),
+    ('корона', 'существительное', 's', 'Священный Предмет', 'Венец самообладания, признание духовной зрелости, высшая ответственность.'),
+    ('цепь', 'существительное', 's', 'Священный Предмет', 'Связующая нить поколений либо узы кармической привязанности, требующие разрыва.'),
+    ('кольцо', 'существительное', 's', 'Священный Предмет', 'Символ вечного союза, нерушимого обета, цикличности и целостности.'),
+    ('свиток', 'существительное', 's', 'Священный Предмет', 'Тайная мудрость предков, записанное знание, откровение закона.'),
+    ('зеркало', 'существительное', 's', 'Священный Предмет', 'Беспристрастное отражение сути, встреча с собственной Тенью, правда без прикрас.'),
+    ('свеча', 'существительное', 's', 'Священный Предмет', 'Живой огонек веры во тьме, тихая молитва, самопожертвование ради света.'),
+    ('нить', 'существительное', 's', 'Священный Предмет', 'Нить Ариадны в лабиринте, тонкая связь между мирами и душами.'),
+    ('печать', 'существительное', 's', 'Священный Предмет', 'Нерушимый завет, закрепленный выбор, знак судьбы.'),
+    ('завеса', 'существительное', 's', 'Священный Предмет', 'Преграда между явным и сокрытым, тайное знание за гранью чувств.'),
+    ('колокол', 'существительное', 's', 'Священный Предмет', 'Пробуждающий глас, очищающий звон, призыв к пробуждению совести.'),
+    ('факел', 'существительное', 's', 'Священный Предмет', 'Огонь знания, рассекающий тьму невежества, указатель пути для идущих следом.'),
+    ('кристалл', 'существительное', 's', 'Священный Предмет', 'Идеальная чистота структуры, концентрация света, кристаллизация намерений.'),
+    ('океан', 'существительное', 's', 'Сакральное Место', 'Бескрайняя глубина чувств, колыбель жизни, первозданные космические воды.'),
+    ('пустыня', 'существительное', 's', 'Сакральное Место', 'Пространство аскезы, испытание одиночеством, очищение от всего наносного.'),
+    ('пещера', 'существительное', 's', 'Сакральное Место', 'Внутреннее лоно матери-земли, место сокровенной инициации и преображения.'),
+    ('лабиринт', 'существительное', 's', 'Сакральное Место', 'Поиск своего центра, путь преодоления сомнений и испытаний разума.'),
+    ('скала', 'существительное', 's', 'Сакральное Место', 'Незыблемая опора, стойкость под ударами волн и ветров, верность истине.'),
+    ('гора', 'существительное', 's', 'Сакральное Место', 'Священное восхождение, место откровения, сближение земного с небесным.'),
+    ('долина', 'существительное', 's', 'Сакральное Место', 'Плодородное прибежище, покой, принятие даров и смиренная мудрость.'),
+    ('остров', 'существительное', 's', 'Сакральное Место', 'Обособленное святилище, уникальность пути, сохранение чистоты в океане хаоса.'),
+    ('источник', 'существительное', 's', 'Сакральное Место', 'Первозданный исток сил, бьющая живая вода, вдохновение из глубин.'),
+    ('родник', 'существительное', 's', 'Сакральное Место', 'Кристальная чистота, тихое и непрестанное служение жизни.'),
+    ('водопад', 'существительное', 's', 'Сакральное Место', 'Мощный сброс энергий, сокрушительный поток очищения и трансформации.'),
+    ('перекресток', 'существительное', 's', 'Сакральное Место', 'Точка судьбоносного выбора, испытание воли, пересечение путей.'),
+    ('порог', 'существительное', 's', 'Сакральное Место', 'Граница между старым и новым состоянием, шаг в неведомое.'),
+    ('врата', 'существительное', 's', 'Сакральное Место', 'Священный вход в новую реальность, доступный лишь готовому духу.'),
+    ('мост', 'существительное', 's', 'Сакральное Место', 'Связь между берегами, примирение противоположностей, переход через пропасть.'),
+    ('башня', 'существительное', 's', 'Сакральное Место', 'Обитель высокого созерцания либо гордыня, требующая очистительной молнии.'),
+    ('сад', 'существительное', 's', 'Сакральное Место', 'Пространство гармонии, уход за плодами души, райский покой.'),
+    ('роща', 'существительное', 's', 'Сакральное Место', 'Священный союз деревьев, шепот древних духов, природное святилище.'),
+    ('древо', 'существительное', 's', 'Сакральный Символ', 'Мировое Древо, ось вселенной, связь корней предков с кроной высшего духа.'),
+    ('корень', 'существительное', 's', 'Сакральный Символ', 'Глубинная основа, родовая память, скрытый источник питания духа.'),
+    ('семя', 'существительное', 's', 'Сакральный Символ', 'Концентрированный потенциал творения, замысел, ожидающий благодатной почвы.'),
+    ('плод', 'существительное', 's', 'Сакральный Символ', 'Зрелый результат усилий, кармическая награда, мудрость опыта.'),
+    ('цветок', 'существительное', 's', 'Сакральный Символ', 'Расцвет души, невинная красота, раскрытие скрытых даров.'),
+    ('роза', 'существительное', 's', 'Сакральный Символ', 'Союз любви и шипов испытаний, мистическое раскрытие сердца.'),
+    ('лотос', 'существительное', 's', 'Сакральный Символ', 'Победа чистоты духа над грязью материи, просветление.'),
+    ('змей', 'существительное', 's', 'Тотем / Архетип', 'Древняя мудрость земли, целительная сила кундалини и трансформация кожи.'),
+    ('орел', 'существительное', 's', 'Тотем / Архетип', 'Высокий полет духа, зоркое видение без иллюзий, посланник солнца.'),
+    ('волк', 'существительное', 's', 'Тотем / Архетип', 'Верность стае, внутренняя свобода, чуткий проводник по неизведанным тропам.'),
+    ('ворон', 'существительное', 's', 'Тотем / Архетип', 'Страж между мирами, память времен, мудрость тайного знания.'),
+    ('лев', 'существительное', 's', 'Тотем / Архетип', 'Царственное благородство, смелость сердца, обузданная внутренняя мощь.'),
+    ('сова', 'существительное', 's', 'Тотем / Архетип', 'Ночное видение сквозь тьму, тайная интуиция, глубинная рассудительность.'),
+    ('лебедь', 'существительное', 's', 'Тотем / Архетип', 'Кристальная верность, чистота помыслов, грация Божественного вдохновения.'),
+    ('дракон', 'существительное', 's', 'Тотем / Архетип', 'Первозданная стихийная мощь, хранитель сокровищ духа, испытание воина.'),
+    ('феникс', 'существительное', 's', 'Тотем / Архетип', 'Вечное возрождение из пепла, бессмертие духа, победа над тлением.'),
+    ('странник', 'существительное', 's', 'Архетип Человека', 'Искатель истины, непривязанный к земному, вечный путник к истокам.'),
+    ('хранитель', 'существительное', 's', 'Архетип Человека', 'Оберегающий священный огонь, страж обетов и древнего завета.'),
+    ('воин', 'существительное', 's', 'Архетип Человека', 'Несгибаемая стойкость, защита слабых, внутренняя дисциплина воли.'),
+    ('целитель', 'существительное', 's', 'Архетип Человека', 'Сострадание, исцеление ран души и тела, проводник благодати.'),
+    ('пророк', 'существительное', 's', 'Архетип Человека', 'Голос высшей истины, предостережение от заблуждений, видение сквозь века.'),
+    ('вестник', 'существительное', 's', 'Архетип Человека', 'Приносящий благую весть, связующее звено между мирами.'),
+    ('страж', 'существительное', 's', 'Архетип Человека', 'Неусыпное внимание на границе миров, проверка чистоты намерений.'),
+    ('царь', 'существительное', 's', 'Архетип Человека', 'Справедливое правление, ответственность за порядок, мудрость выбора.'),
+    ('жрец', 'существительное', 's', 'Архетип Человека', 'Служение алтарю, священнодействие, таинство соединения с Божественным.'),
+    ('маг', 'существительное', 's', 'Архетип Человека', 'Мастерство управления стихиями, осознанное творение реальности.'),
+    ('отшельник', 'существительное', 's', 'Архетип Человека', 'Уход от мирского шума, обретение света внутри собственной тишины.'),
+    ('творец', 'существительное', 's', 'Архетип Человека', 'Божественная искра созидания, воплощение красоты и новых миров.'),
+    ('спутник', 'существительное', 's', 'Архетип Человека', 'Верное плечо рядом, разделенный путь, гармония сотрудничества.'),
 ]
 
-symbolic_custom_dict = {w[0]: w[4] for w in sacred_dualities}
+symbolic_custom_dict = {w[0]: w[4] for w in sacred_curated_lexicon}
 
 top_1000 = []
 seen = set()
 
-# 1. First add ALL sacred dualities and core archetypes
+# 1. First add ALL curated sacred symbols and dualities
-for item in sacred_dualities:
+for item in sacred_curated_lexicon:
     w, pos, raw_pos, cat, desc = item
     if w not in seen:
         seen.add(w)
@@ -179,7 +275,7 @@ for item in sacred_dualities:
             'desc': desc,
         })
 
-print(f"Added {len(top_1000)} sacred dualities and core archetypes.")
+print(f"Added {len(top_1000)} sacred archetypes and dualities.")
 
 # 2. Fill the remaining spots from frequency list, filtering out all banned mundane/bureaucratic terms
 for lemma, raw_pos, freq in entries:
@@ -190,12 +286,17 @@ for lemma, raw_pos, freq in entries:
     if w in banned_mundane_words:
         continue
     
+    # Exclude typical administrative adjectives ending with 'ический', 'онный', 'альный' if not sacred
+    if raw_pos == 'a' and (w.endswith('ический') or w.endswith('онный') or w.endswith('альный')):
+        if w not in {'мистический', 'сакральный', 'космический', 'астральный', 'первозданный', 'изначальный'}:
+            continue
+
     if w in seen:
         continue
         
     seen.add(w)
     pos = pos_map.get(raw_pos, raw_pos)
-    cat = category_map.get(raw_pos, 'Сакральный символ')
+    cat = category_map.get(raw_pos, 'Сакральный знак')
     
     top_1000.append({
         'baseId': len(top_1000),