Метаграммы

Опубликовано пн, 10/09/2012 - 03:04 пользователем golma1

Название темы - условное, для лучшего поиска. На самом деле метаграмма - вид шарады. Но к нашей теме косвенное отношение имеет.

А собственно тема - об улучшении качества fb2-файла (а о чём же ещё? ). По аналогии с уже существующей темой "Типичные ошибки распознавания" предлагаю собирать здесь пары действительно существующих слов, отличающихся всего одной буквой. Особое внимание уделить тем словам, где эти две различные буквы сходны по начертанию.

Примеры: "грех - трех", "свечка - овечка", "липа - лица".


Я думаю, все OCR-щики и верстальщики понимают, зачем это нужно. Это совсем недавно опять прозвучало в теме "Мои алгоритмы работы с ФР11": такие слова не распознаёт спеллчекер (поскольку они входят в словарь), и обнаружить ошибку можно только во время чтения.

Когда-нибудь, возможно, появится скрипт, выискивающий такие слова, пока их (при желании) можно включить в "Поиск по регэкспам" (частично они уже там присутствуют).

К сожалению, словаря на эту тему не существует (или я плохо искала?), поэтому предлагаю собирать их здесь. Для того, чтобы в момент появления скрипта (надеюсь, он всё-таки когда-нибудь появится) было бы чтó ему "скормить".

Комментарии

Аватар пользователя Антонина82

Опубликовано пт, 11/01/2013 - 00:34 пользователем Антонина82

Evernet написал:
Давайте я сделаю. Только вопрос: в парах, в которых слова начинаются с разных букв, ведь не имеет значения, какое будет первым?

Я обработала почти 70%, но если Вы продвинулись дальше, то уступлю.

Опубликовано чт, 10/01/2013 - 14:39 пользователем kozlenok

А еще нужно учесть формы слова (падежи и т.п.), если очевидно, что ошибка будет "срабатывать" на всех или нескольких, то нужно добавлять и их.
Например, ворона - борона (нужно добавлять все падежи).
Врага - врата (только так, лишнего не надо).
Врата - брага (аналогично).
Врага - брага (здесь нужно перебрать падежи, на которых "сработает": враги - браги; враге - браге (-брате); врагу - брагу (-брату). Все перебрали, на других формах сработать не должно).

Опубликовано пт, 11/01/2013 - 01:46 пользователем Evernet

Извините меня, ради Бога, я не знала, что вы делаете, иначе бы не стала браться. Очень сожалею, что так получилось. Я по алфавиту расставила, проверила в FBE орфографией и набором регэкспов, сейчас начала перебирать все падежные формы. После этого занятия с огромной, нет, с огромнейшей радостью отдам все в хорошие руки. Как вы решите. Если продвинулись дальше, или хотите сами сделать, я не буду настаивать. Могу выложить результаты, чтобы можно было сравнить.

Опубликовано пт, 11/01/2013 - 01:54 пользователем Evernet

Я действительно очень сожалею, это неприятно, когда делаешь работу и кто-то переходит дорогу. Еще раз прошу прощения. Просто хотела побыстрее этот скрипт попробовать.

Аватар пользователя Антонина82

Опубликовано пт, 11/01/2013 - 01:57 пользователем Антонина82

Evernet написал:
Я действительно очень сожалею, это неприятно, когда делаешь работу и кто-то переходит дорогу. Еще раз прошу прощения. Просто хотела побыстрее этот скрипт попробовать.

Ничего страшного не произошло. Скорей я виновата, не известила о том, что начала делать. Но я придерживаюсь такого правила - не сообщать о недоделках.
Успехов Вам в работе.

Опубликовано пт, 11/01/2013 - 03:06 пользователем golma1

Тааак...

Не получится ли теперь, что никто теперь не будет делать? :(

Опубликовано пт, 11/01/2013 - 03:32 пользователем Evernet

Я продолжаю. Но очень много вариантов. А нельзя по неизменяемой основе искать. Например, волевой - болевой, искать по — волев - болев. Без:
волевой - болевой

волевая - болевая

волевые - болевые

волевое - болевое

волевым - болевым

волевого - болевого

волевому - болевому

волевом - болевом
Если что, я не специалист и имею право на глупость :).
При перечислении всех вариантов количество слов увеличится в разы.

Опубликовано пт, 11/01/2013 - 03:46 пользователем Alex2L

Полагаю, что можно aka в словарях, типа:

волев~ - болев~

Авось, товарисчь, который возмётся варганить скрипт, с пониманием отнесётся к данной промблеме. :)

Опубликовано пт, 11/01/2013 - 09:00 пользователем Evernet

Болдом выделены слова как они были предложены в теме. Курсивом выделена основа для поиска. Если все-таки нужно будет сделать все варианты, без проблем, только завтра.

Опубликовано пт, 11/01/2013 - 12:34 пользователем kozlenok

Водной - в одной
Водном - в одном (где там скрипт "слипшиеся слова" или как его там, может быть в подобных случаях он поможет?).

Опубликовано сб, 12/01/2013 - 00:15 пользователем Evernet

kozlenok написал:
Водной - в одной
Водном - в одном (где там скрипт "слипшиеся слова" или как его там, может быть в подобных случаях он поможет?).

Не, скрипт Слипшиеся слова ругнулся только на один случай отсутствия пробела перед дефисом, все остальное его устроило. И вообще я думала, что в скрипт будут входить только выловленные оригинальные "метаграммы", иначе бы тихо сидела себе в уголке. У меня вчера голова вспухла, я давно забыла, что такое спряжения, падежи и подобное.

Опубликовано сб, 12/01/2013 - 08:24 пользователем kozlenok

Evernet написал:
И вообще я думала, что в скрипт будут входить только выловленные оригинальные "метаграммы", иначе бы тихо сидела себе в уголке. У меня вчера голова вспухла, я давно забыла, что такое спряжения, падежи и подобное.

Ну вот это как раз реально выловленные:

Водной - в одной
Водном - в одном

и бороны - вороны тоже...

Опубликовано сб, 12/01/2013 - 03:18 пользователем golma1

Класс! Спасибо большое.

Уведомлю нашего уважаемого скриптописальщика. ;)

Опубликовано сб, 12/01/2013 - 05:35 пользователем Evernet

Я подумала, может быть, зная, на каких буквах спотыкается FR, пособирать теоретически возможные случаи. Разумеется, не впадая в крайность. Например:

калан - калач

капитель - канитель

казак - казан

кадета - надета

кабак - кабан

платью - платно

лестью - лестно

голой - юлой

рыбкой - рыбной

Любимая FR замена буквы с на е в конце слова вполне может сработать в слове каперс — капере.

Или это лишнее?

Опубликовано сб, 12/01/2013 - 05:43 пользователем golma1

Evernet написал:

Или это лишнее?


На мой взгляд, отличная идея. :)

Опубликовано сб, 12/01/2013 - 05:57 пользователем Evernet

Тогда я сначала выложу варианты сюда, если возражений не будет, внесу в список.

Опубликовано сб, 12/01/2013 - 10:09 пользователем Evernet

Водной - в одной

Водном - в одном

есть в списке, а

Борона - ворона

я добавлю, не заметила, что этого слова нет в списке, приняла только как пример, в предыдущих постах его не было. Извините, что не поняла вас.

Опубликовано вс, 13/01/2013 - 16:25 пользователем der Fremde

Вот, встретилось: полетать - под стать.
Редкость, наверное.

Опубликовано пн, 14/01/2013 - 04:49 пользователем Vadi

Ну, метограммы все можно перебором из словаря выбрать программно... Не понимаю смысла составления этого Метограмматона... Вариантов подмены букв очень много и зависят они от качества скана, ШРИФТА!, программы распознающей и тп. Я уж не говорю про многоязычные книги или книги, где язык сознательно исковеркан (например, для передачи картавости, заикания...)
А по опыту, действительно - Файнридер порой такие перлы выдает, - кажется он неисчерпаем, как атом - без бутылки не разберешь, куда там регэкспами вылавливать)))

Опубликовано вт, 15/01/2013 - 11:25 пользователем Evernet

Цитата:
Не понимаю смысла составления этого Метограмматона... Вариантов подмены букв очень много и зависят они от качества скана, ШРИФТА!, программы распознающей и тп. Я уж не говорю про многоязычные книги или книги, где язык сознательно исковеркан (например, для передачи картавости, заикания...)

Если по какой-то причине книга не вычитывается, этот скрипт позволит выловить хотя бы часть "метаграмм". И совесть успокоит. А сложные книги лучше вычитывать, здесь скрипт не понадобится. ИМХО.

То есть вариантов, естественно, было больше. Решите, что нужно оставить, или может быть добавить?

Опубликовано вт, 15/01/2013 - 12:46 пользователем sem14

Только что нарвался в новой книге Фоллетта
войны- воины

Опубликовано вт, 15/01/2013 - 16:40 пользователем kozlenok

sem14 написал:
Только что нарвался в новой книге Фоллетта
войны- воины

Кстати, это встречается часто. И с падежами.
Аватар пользователя Isais

Опубликовано сб, 19/01/2013 - 14:41 пользователем Isais

Может быть, и даже скорее всего, уже было:
стальные / стильные - и все морфологические варианты;
мечты / менты - заглавие "Роковые менты" меня сильно порадовало :))

Аватар пользователя Антонина82

Опубликовано вт, 12/03/2013 - 02:56 пользователем Антонина82

Хотелось бы узнать: кто-нибудь что-нибудь делает по решению данного вопроса? Или...

Опубликовано вт, 12/03/2013 - 03:00 пользователем golma1

Антонина82 написал:
Хотелось бы узнать: кто-нибудь что-нибудь делает по решению данного вопроса? Или...

Да, собственно скрипт готов. Осталось его всесторонне потестировать и можно "выдавать". Если автор даст добро, можно выложить для массового тестирования.

Уточню.

Аватар пользователя Антонина82

Опубликовано вт, 12/03/2013 - 03:08 пользователем Антонина82

Я "вручную" пополняю Ваш, Голма, справочник. Мне кажется, нужно только в предложенном списке (может это уже реализовано) вначале ставить неправильный или "любимый ФР" вариант слов, а затем правильный. К примеру, в книгах издательства МГ, ФР№ 11 категорически не замечает букву "щ". Поэтому при варианте чаше-чаще я бы поставила, как ошибку "чаше".
Сейчас попалось: мешанина - мещанина. То есть у данного скрипта будет возможность "под себя" подстроить?

Опубликовано вт, 12/03/2013 - 03:23 пользователем golma1

Этим скриптом занимается Evernet, поэтому у меня нет ответов на Ваши вопросы.

Знаю только, что словарь для скрипта может пополняться пользователем. Давайте подождём ответа автора.

Опубликовано вт, 12/03/2013 - 03:24 пользователем Alex2L

Скрипт скоро будет представлен публике. Наполнением списка давно занимается Evernet. По этому вопросу лучше обратиться к ней. Замечу, что как располагать "правильный - неправильный" значения не имеет. Для этого используется символ $. Т.е. в вашем случае конкретно так: чаше-чаще$ и мешанина - мещанина$
Как видите - полная подстройка под нужды пользователя.

Аватар пользователя Антонина82

Опубликовано вт, 12/03/2013 - 03:54 пользователем Антонина82

Хорошо, буду ждать. А то очень сложно бывает выловить ошибки, которые подчас и смысл текста меняют

Опубликовано вт, 12/03/2013 - 05:04 пользователем Vadi

FR11, в основном на гарнитуре таймс и неплохих по качеству сканах

Опубликовано чт, 14/03/2013 - 05:03 пользователем Alex2L

Архив со скриптом и необходимыми файлами выложен здесь: http://ge.tt/5fl904b/v/0 и здесь: http://rusfolder.com/35464421
Инструкция пользователя внутри архива.
Часть метаграмм УМЫШЛЕННО не обозначена символом $ — как априори верные.
В иных случаях возможно обсуждение необходимости простановки, перемещения либо удаления знака $.
Подготовкой xml-файла метаграмм и составлением инструкции пользователя занималась Evernet при участии Alex2L.
Она же занималась тестированием, за что ей отдельное спасибо!

Аватар пользователя Антонина82

Опубликовано чт, 14/03/2013 - 05:28 пользователем Антонина82

Alex2L написал:
Архив со скриптом и необходимыми файлами выложен здесь: http://ge.tt/5fl904b/v/0 и здесь: http://rusfolder.com/35464421
Инструкция пользователя внутри архива.
Часть метаграмм УМЫШЛЕННО не обозначена символом $ — как априори верные.
В иных случаях возможно обсуждение необходимости простановки, перемещения либо удаления знака $.
Подготовкой xml-файла метаграмм и составлением инструкции пользователя занималась Evernet при участии Alex2L.
Она же занималась тестированием, за что ей отдельное спасибо!

Можно уточнить по интрукции
Цитата:
прописываем путь к словарю метаграмм "metagramma.xml", находящемся на диске «H:» в папке "4OTHER";

У меня на диск "H", когда я нажимаю, пишет "вставьте диск"?

Опубликовано чт, 14/03/2013 - 05:34 пользователем Alex2L

Да куда захотите! Любой диск с правами на чтение-запись. Например, D:

Кстати в инструкции маленькая неточность:

Цитата:
// Путь к словарю метаграмм
var MetagrammaPath = 'H://Metagramma//4OTHER//';

вместо 'H://Metagramma//4OTHER//' следует понимать как 'H://4OTHER//'

В вашем случае, скажем, 'D://4OTHER//'
(4OTHER - можите ПЕРЕОБОЗВАТЬ)

Аватар пользователя Антонина82

Опубликовано чт, 14/03/2013 - 05:45 пользователем Антонина82

Поняла.Следующий вопрос

Цитата:
Во второй папке, в файле "Метаграмма-контекст.js", открыв его любым редактором

Как точно файл называется? У меня нет названия "Метаграмма-контекст.js" С окончанием "js" есть 5 файлов в папке "js"

Опубликовано чт, 14/03/2013 - 05:51 пользователем Alex2L

В файле инструкции "Метаграмма-контекст.rtf" написано:

Цитата:
В архиве находятся две папки."

т.е. в папка 4FBE - Метаграмма-контекст.js. В нём "D://XML//Metagramma//" - меняем на тот, куда распаковали!
Сам фвйл переносим в FB-скриптам.
Аватар пользователя Антонина82

Опубликовано чт, 14/03/2013 - 06:29 пользователем Антонина82

Вопрос: прописала 'D://4OTHER//'
2. Файл "Метаграмма-контекст.js" поместила в подпапку "Scripts"
3.Открыла FBE. В разделе скрипты появился раздел: метаграмма-контест. Нажимаю: пишет-

Опубликовано чт, 14/03/2013 - 06:35 пользователем Alex2L

Что прописано в 21-й сверху строке "Метаграмма-контекст.js" ? Так: var MetagrammaPath = 'D://4OTHER//'; ?!
А файл "metagramma.xml" гиде лежит? Тут: 'D:\4OTHER' ?!

Аватар пользователя Антонина82

Опубликовано чт, 14/03/2013 - 06:47 пользователем Антонина82

Спасибо, заработало. Я одну палочку в адресе не поставила.

Опубликовано чт, 14/03/2013 - 22:31 пользователем Evernet

Антонина82, вы говорили, что пополняете словарик. Можете выложить ваши метаграммы, чтобы можно было добавить в свой?

Может быть у кого-нибудь еще появились новые, неплохо было бы писать сюда. А желающие уже будут добавлять в свой словарь.

Аватар пользователя Антонина82

Опубликовано пт, 15/03/2013 - 00:45 пользователем Антонина82

Слова, которые я добавляю в скрипт регэспов (кто придумал такое дурацкое словцо), практически перечислены выше.
Опробовала новый скрипт. Для меня он не очень подходит. Объясню почему. Дело в том, что все книги я прочитываю, сравнивая с бумажным экземпляром. Расценивайте это, как чудачество, при наличии сканов, но это так. Поэтому проверять повторно с помощью метаграмм, мне не очень хочется. Вчера потеряла несколько часов, проверяя с помощью этой программы, ранее сделанную книгу. Ни одной ошибки! Это не значит, что я вычитываю безошибочно. Наверняка, спустя год, прочитав ранее сделанную книгу, их обнаружу. Но, уверена, их количество не будет критичным.
Для себя вывела способ, как сократить количество ошибок. Надо брать одну-две-три серии книг одного издательства и сними работать. Примерно на 5-6-7 книге, вы будете знать "родовые" проблемы ФР при распознавании текста данного издания. К примеру, книги серии ЖЗЛ,как я писала выше, приобретают после работы ФР,"белорусский" акцент, т.е. букву "щ" превращают в в "ш". И получается "мешанина" вместо "мещанина" (: В книгах, серии "Живая история", обязательно надо проверить, если в конце предложения стоит буква "к" наличие точки. И 6 (шестерка) постоянно заменяется буквой "б". Я думаю, что Голма может привести значительно больше подобных примеров из практики. Ну, конечно, зацикливаться на книгах одной серии я не собираюсь, а то у меня в мозгах "сумбур биографий классиков".
Поэтому программа "метаграмм" будет хорошо работать и помогать тем книгоделам, кто не читает текстов. ФР покажет ошибки распознавания, а "метаграммы" покажут ошибки ФР.

Опубликовано пт, 15/03/2013 - 02:35 пользователем izekbis

Это я ставил вопрос про спелчекер и вычитку. Поставил. Сделал даже под него иконку. Кого заинтересует здесь http://yadi.sk/d/vN5f9PtO3ITwL . Попробовал работать. По моему получается довольно параноидально. При проверке обнаружилось больше 500!!! слов. Только слово «более» имеет 105 вхождений. Проверка всех слов займет времени больше, чем вычитка. А по мере увеличения словаря будет еще хуже. Это первое впечатление. Посмотрим, что будет дальше.

Опубликовано пт, 15/03/2013 - 03:26 пользователем Alex2L

Что параноидально, эт точно! Сам когда увидел первые рез-ты - офигел, сколько слов оказывается в метаграммных связях замечены.
Насчет "более" - кто-то написал, что так у него "боже" распозналось. Наверное, так и было. С "далее" - та же, похоже, история. Тут два выхода - или переделать словарь "под себя", выкинув лишнее. Либо при прверке протокола не обращать на часть слов внимания в принципе, особенно тех, где кол-во повторений много. Кстати Это кол-во не вхождений данного слова в текст в целом, а кол-во параграфов, где встретилось это слово. Т.е. на самом деле их может быть больше. Уменьшение размеров словаря - путь к ускорению обработки. Оставить только типа "негр - неф" и т.п. Скрипт по большому счету для отпетых педантов. А что делать?! На джаваскриптах искусственные интелект не соорудить. ИМХО.

Опубликовано пт, 15/03/2013 - 07:08 пользователем izekbis

Alex2L написал:
Что параноидально, эт точно! Сам когда увидел первые рез-ты - офигел, сколько слов оказывается в метаграммных связях замечены.
Насчет "более" - кто-то написал, что так у него "боже" распозналось. Наверное, так и было. С "далее" - та же, похоже, история. Тут два выхода - или переделать словарь "под себя", выкинув лишнее. Либо при прверке протокола не обращать на часть слов внимания в принципе, особенно тех, где кол-во повторений много. Кстати Это кол-во не вхождений данного слова в текст в целом, а кол-во параграфов, где встретилось это слово. Т.е. на самом деле их может быть больше. Уменьшение размеров словаря - путь к ускорению обработки. Оставить только типа "негр - неф" и т.п. Скрипт по большому счету для отпетых педантов. А что делать?! На джаваскриптах искусственные интелект не соорудить. ИМХО.

Всего скрипт насчитал больше 4800 вхождений. Если, на просмотр каждого потратить 5 сек, то получится 24000 сек= 400 мин= 6,6 часов. Я эту книгу 400 стр. прочту за 8.

Страницы
X