clean: purge all mundane bureaucratic, economic and technical jargon (пункт, экономический, etc.) and inject pure sacred archetypes
This commit is contained in:
Alma Alexyz
@@ -2,13 +2,12 @@
|
||||
# -*- coding: utf-8 -*-
|
||||
"""
|
||||
Script to build the sacred Oracle 999 dataset with strict duality coverage
|
||||
and filtering of non-relevant bureaucratic/mundane terms.
|
||||
and comprehensive filtering of all non-relevant bureaucratic, economic, and mundane terms.
|
||||
"""
|
||||
|
||||
import urllib.request
|
||||
import zipfile
|
||||
import io
|
||||
import json
|
||||
|
||||
print("Loading frequency dictionary...")
|
||||
|
||||
@@ -65,24 +64,46 @@ category_map = {
|
||||
'praed': 'Состояние бытия',
|
||||
}
|
||||
|
||||
# Words to unconditionally exclude as non-relevant bureaucratic/mundane noise
|
||||
# Exhaustive filter of modern, journalistic, socio-political, economic, administrative and mundane noise
|
||||
banned_mundane_words = {
|
||||
'мама', 'папа', 'немец', 'журнал', 'газета', 'государство', 'правительство',
|
||||
'министр', 'советский', 'район', 'область', 'программа', 'орган', 'власть',
|
||||
'бюджет', 'организация', 'партия', 'проект', 'экономика', 'цена', 'сумма',
|
||||
'рынок', 'продукция', 'предприятие', 'институт', 'договор', 'служба',
|
||||
'структура', 'сфера', 'элемент', 'объект', 'субъект', 'система', 'депутат',
|
||||
'билет', 'метр', 'тонна', 'директор', 'университет', 'рубль', 'доллар',
|
||||
'процент', 'километр', 'килограмм', 'автобус', 'телевизор', 'телефон',
|
||||
'квартира', 'кабинет', 'документ', 'паспорт', 'секретарь', 'статья',
|
||||
'заседание', 'комитет', 'сектор', 'факультет', 'администрация', 'прокуратура',
|
||||
'миллион', 'миллиард', 'руководство', 'отдел', 'управление', 'аппарат',
|
||||
'процесс', 'уровень', 'информация', 'проблема', 'вопрос' # generalized filler
|
||||
# Domestic & mundane duplicates
|
||||
'мама', 'папа', 'немец', 'журнал', 'газета', 'билет', 'метр', 'тонна',
|
||||
'километр', 'килограмм', 'автобус', 'телевизор', 'телефон', 'квартира',
|
||||
'кабинет', 'документ', 'паспорт', 'секретарь', 'статья', 'стол', 'стул',
|
||||
'окно', 'магазин', 'поезд', 'машина', 'автомобиль', 'трамвай', 'вокзал',
|
||||
'аэропорт', 'комната', 'коридор', 'этаж', 'завод', 'фабрика', 'склад',
|
||||
|
||||
# Bureaucratic / Political / State apparatus
|
||||
'пункт', 'государство', 'правительство', 'министр', 'депутат', 'советский',
|
||||
'партия', 'комитет', 'заседание', 'орган', 'служба', 'район', 'область',
|
||||
'администрация', 'прокуратура', 'руководство', 'отдел', 'управление',
|
||||
'аппарат', 'процесс', 'уровень', 'информация', 'проблема', 'вопрос',
|
||||
'руководитель', 'сотрудник', 'специалист', 'работник', 'гражданин',
|
||||
'государственный', 'политический', 'общественный', 'гражданский',
|
||||
'международный', 'национальный', 'официальный', 'административный',
|
||||
'юридический', 'законный', 'практический', 'профессиональный',
|
||||
'деятельность', 'территория', 'структура', 'сфера', 'элемент',
|
||||
'объект', 'субъект', 'система', 'институт', 'университет', 'договор',
|
||||
'программа', 'проект', 'фактор', 'ресурс', 'сектор', 'факультет',
|
||||
|
||||
# Economic / Financial / Commercial
|
||||
'экономический', 'финансовый', 'материальный', 'бюджет', 'экономика',
|
||||
'цена', 'сумма', 'рынок', 'продукция', 'предприятие', 'рубль', 'доллар',
|
||||
'процент', 'миллион', 'миллиард', 'деньги', 'счет', 'товар', 'продажа',
|
||||
'покупка', 'бизнес', 'компания', 'фирма', 'банк', 'капитал', 'доход',
|
||||
'прибыль', 'расход', 'налог', 'стоимость', 'акция', 'фонд',
|
||||
|
||||
# Technical / Dry Abstract
|
||||
'технический', 'научный', 'трудовой', 'различный', 'определенный',
|
||||
'соответствующий', 'необходимый', 'возможный', 'данный', 'следующий',
|
||||
'основной', 'общий', 'главный', 'крупный', 'важный', 'значительный',
|
||||
'особый', 'подобный', 'каждый', 'любой', 'всякий', 'некоторый',
|
||||
'никакой', 'несколько', 'результат', 'условие', 'ситуация',
|
||||
}
|
||||
|
||||
# Mandatory sacred pairs and polarities (Dualities)
|
||||
sacred_dualities = [
|
||||
# Element & cosmic polarities
|
||||
# Sacred Archetypes, Polarities, and Divination Symbols
|
||||
sacred_curated_lexicon = [
|
||||
# --- 1. Dualities & Polarities (Strict Pairs) ---
|
||||
('огонь', 'существительное', 's', 'Образ / Архетип', 'Очищающее пламя, страсть, трансформация, разрушение иллюзий и горение духа.'),
|
||||
('вода', 'существительное', 's', 'Образ / Архетип', 'Поток эмоций, интуиция, глубинная память, очищение и способность огибать любые преграды.'),
|
||||
('воздух', 'существительное', 's', 'Образ / Архетип', 'Мысль, свобода, дыхание жизни, свежее вдохновение и легкость перемен.'),
|
||||
@@ -149,23 +170,98 @@ sacred_dualities = [
|
||||
('отец', 'существительное', 's', 'Образ / Архетип', 'Закон, Высшая Воля, структура и духовный ориентир.'),
|
||||
('мудрец', 'существительное', 's', 'Образ / Архетип', 'Зрелость понимания, созерцание без суждений, хранитель сокровенного знания.'),
|
||||
('безумец', 'существительное', 's', 'Образ / Архетип', 'Священный шут, спонтанный выход за рамки догм, разрыв шаблонов и шаг в неизвестность.'),
|
||||
('иностранец', 'существительное', 's', 'Образ / Архетип', 'Встреча с Неведомым, выход за рамки привычного мира, чужеродный взгляд и урок адаптации.'),
|
||||
('летопись', 'существительное', 's', 'Образ / Архетип', 'Скрижали судьбы, память времени, фиксация уроков и кармических связей.'),
|
||||
('вестник', 'существительное', 's', 'Образ / Архетип', 'Внезапное знамение, озарение, знак свыше о скорых переменах.'),
|
||||
('сокровище', 'существительное', 's', 'Образ / Архетип', 'Истинная ценность, духовный дар, скрытый потенциал души.'),
|
||||
('обитель', 'существительное', 's', 'Образ / Архетип', 'Внутреннее святилище, безопасность, сокровенный покой и восстановление сил.'),
|
||||
('чертог', 'существительное', 's', 'Образ / Архетип', 'Пространство принятия высших решений, тайный совет и концентрация воли.'),
|
||||
('печать', 'существительное', 's', 'Образ / Архетип', 'Нерушимый завет, закрепленный выбор, знак судьбы.'),
|
||||
('страж', 'существительное', 's', 'Образ / Архетип', 'Граница между мирами, защита священного, проверка готовности к переходу.'),
|
||||
|
||||
# --- 2. Sacred Spaces, Tools, Cosmic Tokens & Totems ---
|
||||
('звезда', 'существительное', 's', 'Космический Знак', 'Путеводная нить судьбы, высшая надежда, далекий ориентир и искра Божественного замысла.'),
|
||||
('солнце', 'существительное', 's', 'Космический Знак', 'Центральный источник жизненной силы, триумф духа, витальность и щедрое сияние.'),
|
||||
('луна', 'существительное', 's', 'Космический Знак', 'Царица ночи, зеркало души, изменчивость циклов, магия и тайны подсознания.'),
|
||||
('комета', 'существительное', 's', 'Космический Знак', 'Внезапный космический вестник, разрушение старого уклада, яркое знамение перемен.'),
|
||||
('затмение', 'существительное', 's', 'Космический Знак', 'Временное сокрытие света, кармический перекресток, точка глубокой перезагрузки судьбы.'),
|
||||
('рассвет', 'существительное', 's', 'Космический Знак', 'Победа света над тьмой, рождение надежды, первый вздох нового дня.'),
|
||||
('закат', 'существительное', 's', 'Космический Знак', 'Священное время созерцания, растворение активного эго, завершение фазы.'),
|
||||
('зенит', 'существительное', 's', 'Космический Знак', 'Высшая точка расцвета, максимальная реализация потенциала, полдень судьбы.'),
|
||||
('эфир', 'существительное', 's', 'Космический Знак', 'Пятый первоэлемент, невидимое связующее полотно вселенной, поле чистой мысли.'),
|
||||
('вечность', 'существительное', 's', 'Космический Знак', 'Внепространственное бытие, непреходящие ценности, бессмертие истинной сути.'),
|
||||
('судьба', 'существительное', 's', 'Сакральный Символ', 'Нерушимое переплетение кармических линий, высший жизненный урок и предназначение.'),
|
||||
('рок', 'существительное', 's', 'Сакральный Символ', 'Неизбежная сила космического закона, проверка на верность высшим принципам.'),
|
||||
('знамение', 'существительное', 's', 'Сакральный Символ', 'Знак свыше, подсказка вселенной, синхронистичное событие на пути.'),
|
||||
('пророчество', 'существительное', 's', 'Сакральный Символ', 'Видение будущего, созревающий плод кармы, священное предостережение.'),
|
||||
('алтарь', 'существительное', 's', 'Священный Предмет', 'Центр духовного приношения, точка связи с Небом, священный фокус воли.'),
|
||||
('святилище', 'существительное', 's', 'Сакральное Место', 'Пространство чистой энергии, убежище души от мирской суеты, внутренний храм.'),
|
||||
('храм', 'существительное', 's', 'Сакральное Место', 'Обитель Божественного Присутствия, соборное единство, возвышение помыслов.'),
|
||||
('купель', 'существительное', 's', 'Священный Предмет', 'Сосуд духовного перерождения, смывание старых грехов и обновление души.'),
|
||||
('чаша', 'существительное', 's', 'Священный Предмет', 'Вместилище опыта, Грааль судьбы, мера страданий или изобилия благодати.'),
|
||||
('посох', 'существительное', 's', 'Священный Предмет', 'Опора странника, символ духовной власти, мудрости и несгибаемого пути.'),
|
||||
('меч', 'существительное', 's', 'Священный Предмет', 'Оружие различения истины и лжи, воля, отсекающая иллюзии и привязанности.'),
|
||||
('щит', 'существительное', 's', 'Священный Предмет', 'Духовная защита, несокрушимая вера, ограждение от скверны и чужого гнева.'),
|
||||
('корона', 'существительное', 's', 'Священный Предмет', 'Венец самообладания, признание духовной зрелости, высшая ответственность.'),
|
||||
('цепь', 'существительное', 's', 'Священный Предмет', 'Связующая нить поколений либо узы кармической привязанности, требующие разрыва.'),
|
||||
('кольцо', 'существительное', 's', 'Священный Предмет', 'Символ вечного союза, нерушимого обета, цикличности и целостности.'),
|
||||
('свиток', 'существительное', 's', 'Священный Предмет', 'Тайная мудрость предков, записанное знание, откровение закона.'),
|
||||
('зеркало', 'существительное', 's', 'Священный Предмет', 'Беспристрастное отражение сути, встреча с собственной Тенью, правда без прикрас.'),
|
||||
('свеча', 'существительное', 's', 'Священный Предмет', 'Живой огонек веры во тьме, тихая молитва, самопожертвование ради света.'),
|
||||
('нить', 'существительное', 's', 'Священный Предмет', 'Нить Ариадны в лабиринте, тонкая связь между мирами и душами.'),
|
||||
('печать', 'существительное', 's', 'Священный Предмет', 'Нерушимый завет, закрепленный выбор, знак судьбы.'),
|
||||
('завеса', 'существительное', 's', 'Священный Предмет', 'Преграда между явным и сокрытым, тайное знание за гранью чувств.'),
|
||||
('колокол', 'существительное', 's', 'Священный Предмет', 'Пробуждающий глас, очищающий звон, призыв к пробуждению совести.'),
|
||||
('факел', 'существительное', 's', 'Священный Предмет', 'Огонь знания, рассекающий тьму невежества, указатель пути для идущих следом.'),
|
||||
('кристалл', 'существительное', 's', 'Священный Предмет', 'Идеальная чистота структуры, концентрация света, кристаллизация намерений.'),
|
||||
('океан', 'существительное', 's', 'Сакральное Место', 'Бескрайняя глубина чувств, колыбель жизни, первозданные космические воды.'),
|
||||
('пустыня', 'существительное', 's', 'Сакральное Место', 'Пространство аскезы, испытание одиночеством, очищение от всего наносного.'),
|
||||
('пещера', 'существительное', 's', 'Сакральное Место', 'Внутреннее лоно матери-земли, место сокровенной инициации и преображения.'),
|
||||
('лабиринт', 'существительное', 's', 'Сакральное Место', 'Поиск своего центра, путь преодоления сомнений и испытаний разума.'),
|
||||
('скала', 'существительное', 's', 'Сакральное Место', 'Незыблемая опора, стойкость под ударами волн и ветров, верность истине.'),
|
||||
('гора', 'существительное', 's', 'Сакральное Место', 'Священное восхождение, место откровения, сближение земного с небесным.'),
|
||||
('долина', 'существительное', 's', 'Сакральное Место', 'Плодородное прибежище, покой, принятие даров и смиренная мудрость.'),
|
||||
('остров', 'существительное', 's', 'Сакральное Место', 'Обособленное святилище, уникальность пути, сохранение чистоты в океане хаоса.'),
|
||||
('источник', 'существительное', 's', 'Сакральное Место', 'Первозданный исток сил, бьющая живая вода, вдохновение из глубин.'),
|
||||
('родник', 'существительное', 's', 'Сакральное Место', 'Кристальная чистота, тихое и непрестанное служение жизни.'),
|
||||
('водопад', 'существительное', 's', 'Сакральное Место', 'Мощный сброс энергий, сокрушительный поток очищения и трансформации.'),
|
||||
('перекресток', 'существительное', 's', 'Сакральное Место', 'Точка судьбоносного выбора, испытание воли, пересечение путей.'),
|
||||
('порог', 'существительное', 's', 'Сакральное Место', 'Граница между старым и новым состоянием, шаг в неведомое.'),
|
||||
('врата', 'существительное', 's', 'Сакральное Место', 'Священный вход в новую реальность, доступный лишь готовому духу.'),
|
||||
('мост', 'существительное', 's', 'Сакральное Место', 'Связь между берегами, примирение противоположностей, переход через пропасть.'),
|
||||
('башня', 'существительное', 's', 'Сакральное Место', 'Обитель высокого созерцания либо гордыня, требующая очистительной молнии.'),
|
||||
('сад', 'существительное', 's', 'Сакральное Место', 'Пространство гармонии, уход за плодами души, райский покой.'),
|
||||
('роща', 'существительное', 's', 'Сакральное Место', 'Священный союз деревьев, шепот древних духов, природное святилище.'),
|
||||
('древо', 'существительное', 's', 'Сакральный Символ', 'Мировое Древо, ось вселенной, связь корней предков с кроной высшего духа.'),
|
||||
('корень', 'существительное', 's', 'Сакральный Символ', 'Глубинная основа, родовая память, скрытый источник питания духа.'),
|
||||
('семя', 'существительное', 's', 'Сакральный Символ', 'Концентрированный потенциал творения, замысел, ожидающий благодатной почвы.'),
|
||||
('плод', 'существительное', 's', 'Сакральный Символ', 'Зрелый результат усилий, кармическая награда, мудрость опыта.'),
|
||||
('цветок', 'существительное', 's', 'Сакральный Символ', 'Расцвет души, невинная красота, раскрытие скрытых даров.'),
|
||||
('роза', 'существительное', 's', 'Сакральный Символ', 'Союз любви и шипов испытаний, мистическое раскрытие сердца.'),
|
||||
('лотос', 'существительное', 's', 'Сакральный Символ', 'Победа чистоты духа над грязью материи, просветление.'),
|
||||
('змей', 'существительное', 's', 'Тотем / Архетип', 'Древняя мудрость земли, целительная сила кундалини и трансформация кожи.'),
|
||||
('орел', 'существительное', 's', 'Тотем / Архетип', 'Высокий полет духа, зоркое видение без иллюзий, посланник солнца.'),
|
||||
('волк', 'существительное', 's', 'Тотем / Архетип', 'Верность стае, внутренняя свобода, чуткий проводник по неизведанным тропам.'),
|
||||
('ворон', 'существительное', 's', 'Тотем / Архетип', 'Страж между мирами, память времен, мудрость тайного знания.'),
|
||||
('лев', 'существительное', 's', 'Тотем / Архетип', 'Царственное благородство, смелость сердца, обузданная внутренняя мощь.'),
|
||||
('сова', 'существительное', 's', 'Тотем / Архетип', 'Ночное видение сквозь тьму, тайная интуиция, глубинная рассудительность.'),
|
||||
('лебедь', 'существительное', 's', 'Тотем / Архетип', 'Кристальная верность, чистота помыслов, грация Божественного вдохновения.'),
|
||||
('дракон', 'существительное', 's', 'Тотем / Архетип', 'Первозданная стихийная мощь, хранитель сокровищ духа, испытание воина.'),
|
||||
('феникс', 'существительное', 's', 'Тотем / Архетип', 'Вечное возрождение из пепла, бессмертие духа, победа над тлением.'),
|
||||
('странник', 'существительное', 's', 'Архетип Человека', 'Искатель истины, непривязанный к земному, вечный путник к истокам.'),
|
||||
('хранитель', 'существительное', 's', 'Архетип Человека', 'Оберегающий священный огонь, страж обетов и древнего завета.'),
|
||||
('воин', 'существительное', 's', 'Архетип Человека', 'Несгибаемая стойкость, защита слабых, внутренняя дисциплина воли.'),
|
||||
('целитель', 'существительное', 's', 'Архетип Человека', 'Сострадание, исцеление ран души и тела, проводник благодати.'),
|
||||
('пророк', 'существительное', 's', 'Архетип Человека', 'Голос высшей истины, предостережение от заблуждений, видение сквозь века.'),
|
||||
('вестник', 'существительное', 's', 'Архетип Человека', 'Приносящий благую весть, связующее звено между мирами.'),
|
||||
('страж', 'существительное', 's', 'Архетип Человека', 'Неусыпное внимание на границе миров, проверка чистоты намерений.'),
|
||||
('царь', 'существительное', 's', 'Архетип Человека', 'Справедливое правление, ответственность за порядок, мудрость выбора.'),
|
||||
('жрец', 'существительное', 's', 'Архетип Человека', 'Служение алтарю, священнодействие, таинство соединения с Божественным.'),
|
||||
('маг', 'существительное', 's', 'Архетип Человека', 'Мастерство управления стихиями, осознанное творение реальности.'),
|
||||
('отшельник', 'существительное', 's', 'Архетип Человека', 'Уход от мирского шума, обретение света внутри собственной тишины.'),
|
||||
('творец', 'существительное', 's', 'Архетип Человека', 'Божественная искра созидания, воплощение красоты и новых миров.'),
|
||||
('спутник', 'существительное', 's', 'Архетип Человека', 'Верное плечо рядом, разделенный путь, гармония сотрудничества.'),
|
||||
]
|
||||
|
||||
symbolic_custom_dict = {w[0]: w[4] for w in sacred_dualities}
|
||||
symbolic_custom_dict = {w[0]: w[4] for w in sacred_curated_lexicon}
|
||||
|
||||
top_1000 = []
|
||||
seen = set()
|
||||
|
||||
# 1. First add ALL sacred dualities and core archetypes
|
||||
for item in sacred_dualities:
|
||||
# 1. First add ALL curated sacred symbols and dualities
|
||||
for item in sacred_curated_lexicon:
|
||||
w, pos, raw_pos, cat, desc = item
|
||||
if w not in seen:
|
||||
seen.add(w)
|
||||
@@ -179,7 +275,7 @@ for item in sacred_dualities:
|
||||
'desc': desc,
|
||||
})
|
||||
|
||||
print(f"Added {len(top_1000)} sacred dualities and core archetypes.")
|
||||
print(f"Added {len(top_1000)} sacred archetypes and dualities.")
|
||||
|
||||
# 2. Fill the remaining spots from frequency list, filtering out all banned mundane/bureaucratic terms
|
||||
for lemma, raw_pos, freq in entries:
|
||||
@@ -190,12 +286,17 @@ for lemma, raw_pos, freq in entries:
|
||||
if w in banned_mundane_words:
|
||||
continue
|
||||
|
||||
# Exclude typical administrative adjectives ending with 'ический', 'онный', 'альный' if not sacred
|
||||
if raw_pos == 'a' and (w.endswith('ический') or w.endswith('онный') or w.endswith('альный')):
|
||||
if w not in {'мистический', 'сакральный', 'космический', 'астральный', 'первозданный', 'изначальный'}:
|
||||
continue
|
||||
|
||||
if w in seen:
|
||||
continue
|
||||
|
||||
seen.add(w)
|
||||
pos = pos_map.get(raw_pos, raw_pos)
|
||||
cat = category_map.get(raw_pos, 'Сакральный символ')
|
||||
cat = category_map.get(raw_pos, 'Сакральный знак')
|
||||
|
||||
top_1000.append({
|
||||
'baseId': len(top_1000),
|
||||
|
||||
Reference in New Issue
Block a user