Типичные ошибки распознавания - собираем статистику для скрипта ФБЕ

Опубликовано чт, 06/01/2011 - 11:12 пользователем TaKir

Собираю статистику по наиболее частым типичным ошибкам распознавания для включения их в скрипт ФБЕ:

Варианты:
пе (не), оп (он), пи (ни), ва (за), пее (нее), опа (она)...

Прошу участвовать всех желающих.

Дополненный список я хочу включить в недавно обновленный скрипт "Поиск по набору регэкспов", автор Sclex (http://groups.google.com/group/fiction-book-editor/browse_thread/thread/b4700ee54d255384), работающий под ФБЕ.
Собранная статистика еще больше упростит отлов косяков сканирования и, соответственно, позволит более качественно и быстро делать верстку отсканенных книг и быстрее находить косяки в уже сделанных книгах тем, кто занимается их правкой-вычиткой.

Сейчас данный скрипт у меня ищет:
- смесь латиницы с кириллицей во всех вариантах,
- смесь букв с цифрами,
- неправильные дефисы-тире,
- мусор после скана,
- концы строк без знаков препинания
- неполный курсив слова
- указанные выше типичные ошибки распознавания
и другие подозрительные места.

Использование этого скрипта заметно сокращает время работы над книгой в ФБЕ.

Комментарии

Опубликовано пн, 04/07/2011 - 15:19 пользователем wotti

Сайт группы по улучшению ФБЕ http://groups.google.com/group/fiction-book-editor

Опубликовано вт, 05/07/2011 - 13:10 пользователем JonVic

wotti Раньше пробовал его подключать на кнопку в панели инструментов - у меня почему-то пропали все подсказки в нижней области окна... - это я один такой не счастливый? Да, Вы забыли сказать - чтоб поместить любой скрипт в панель инструментов - нужно создать иконку с именем скрипта и поместить ее рядом со скриптом.

Опубликовано вт, 05/07/2011 - 13:19 пользователем golma1

JonVic написал:
wotti
Раньше пробовал его подключать на кнопку в панели инструментов - у меня почему-то пропали все подсказки в нижней области окна... - это я один такой не счастливый?
Да, Вы забыли сказать - чтоб поместить любой скрипт в панель инструментов - нужно создать иконку с именем скрипта и поместить ее рядом со скриптом.

Насчёт иконки - вы правы, это нужно подчеркнуть.

Но скрипт можно и "подвесить" на hotkey. Я с этим именно так и сделала. Подсказки слева внизу - ОК.

Опубликовано вт, 05/07/2011 - 13:26 пользователем wotti

JonVic написал:
wotti
Раньше пробовал его подключать на кнопку в панели инструментов - у меня почему-то пропали все подсказки в нижней области окна... - это я один такой не счастливый?
Да, Вы забыли сказать - чтоб поместить любой скрипт в панель инструментов - нужно создать иконку с именем скрипта и поместить ее рядом со скриптом.

Ну на многие скрипты есть штатные иконки, но таки да.
я пользуюсь версией ФБЕ 2.5 (2.6 у меня на ХР почему-то дико тормозит) А фича подсказки внизу экрана предусмотрена, ЕМНИП, только начиная с 2.6. Но я как-то привык уже без подсказок обходится )))

УПД. На кнопку в панели инструментов или панели скриптов?

Опубликовано ср, 06/07/2011 - 00:49 пользователем JonVic

Ошибся, да ставил на панель скриптов.
Так на работе стоит FBE 2.6 (Win XP) и если помещаю на панель, то подсказки пропадают... да ладно, эт не существенно.
Дома вынужден пользоваться FBE 2.5, т.к. в FBE 2.6 были проблемы с сохранением.
А на панель инструментов можно добавить допустим "Сохранить как" и "Заменить"?
Панель для редактирования доступна, но слева пусто...

Опубликовано ср, 06/07/2011 - 00:55 пользователем golma1

JonVic написал:

А на панель инструментов можно добавить допустим "Сохранить как" и "Заменить"?
Панель для редактирования доступна, но слева пусто...

Нет. В перечне доступных их нет.

Но снова рекомендую Вам "горячие клавиши". Тем более, что для "заменить" есть уже по дефолту - Ctrl+H.
Для "Сохранить как..." тоже есть, но я, например, изменила на удобную для себя комбинацию.
Кстати, все комбинации можно увидеть рядом с пунктами меню. А изменить их можно, как уже писал Wotti, через "Сервис -- Настройки -- Клавиши". Там есть и "навигация", и "просмотр", и "редактировать".

Опубликовано ср, 06/07/2011 - 01:09 пользователем JonVic

golma1 Про комбинации клавиш в курсе, хоть я и старой закалки, мышка меня разбаловала ;) А что мешает увеличить список доступных команд в следующей версии?.. но это так, мысли вслух.

Опубликовано ср, 06/07/2011 - 01:18 пользователем wotti

JonVic написал:
golma1
Про комбинации клавиш в курсе, хоть я и старой закалки, мышка меня разбаловала ;)
А что мешает увеличить список доступных команд в следующей версии?.. но это так, мысли вслух.

К сожалению SeNS очень занят в реале и развитие ФБЕ остановилось на v2.6. Улучшения сейчас происходят за счёт новых скриптов Sclex-а (и модернизации старых скриптов) и большой работы по наполнению и улучшению функции проверки орфографии, которую проводит Shaman.
Но задумки по улучшению самой программы, его функционала - есть. SeNS обещал, как минимум, сделать панель работы с иллюстрациями.
Как он сам сказал - Так что, еще раз: *пробуем найти программиста!*

Опубликовано вс, 10/07/2011 - 11:25 пользователем JonVic

wotti Ясно. Жаль, а ведь как все начиналось...

TaKir А когда будет готова Ваша версия скрипта "Поиск по набору регэкспов"? Спрашиваю не из праздного любопытства - собираю книжную серию и прогоняю скриптами...

Опубликовано вс, 10/07/2011 - 12:02 пользователем golma1

JonVic написал:
TaKir
А когда будет готова Ваша версия скрипта "Поиск по набору регэкспов"?
Спрашиваю не из праздного любопытства - собираю книжную серию и прогоняю скриптами...

А там Выше Roxana выложила - это и есть сборка всего появившегося в последнее время на основе регэкспов Такира.

Опубликовано вс, 10/07/2011 - 22:13 пользователем JonVic

golma1 Так это версия не от Такира, а от Roxana, а я спрашиваю Такира, где можно скачать его последнюю версию после "Скрипт__TaKir_24_01_2011.zip", если она есть конечно...

Опубликовано пн, 11/07/2011 - 00:37 пользователем golma1

JonVic написал:
golma1
Так это версия не от Такира, а от Roxana, а я спрашиваю Такира, где можно скачать его последнюю версию после "Скрипт__TaKir_24_01_2011.zip", если она есть конечно...

Хэх... Даже не знаю, что Вам ответить. В-)
Ну да ладно, Такир сам ответит, если сочтёт нужным. ;-)

Опубликовано пн, 11/07/2011 - 01:12 пользователем wotti

Дело в том, что Такир и сделал этот блог, для возможности обсуждения и добавления скрипта.
Этот скрипт, ув отличии от остальных - имеет возможность индивидуальной настройки.
Версия Такира входит в первоначально выложенную версию скрипта. Она минимальна и послужила основой этой темы, обсуждения и добавления . Т/е версия Роксаны, Голмы, wotti, и др. являются просто расширенной версией Такира. Для некоторых книг, в зависимости от особенностей я добавляю пару строчек, для других - закрываю слэшами пару-тройку ненужных в данной книге регэспов.
в общем этот скрипт может меняться не только у каждого юзера, но и у каждого файла. Скрипт Такира - базовый. Остальное - надстройки.

Опубликовано пн, 11/07/2011 - 03:49 пользователем JonVic

wotti Все это понятно и я не спорю - у каждого пользователя свои настройки... Просто хотелось начать плясать от "расписной" печки, а не от "буржуйки". Вы можете выложить свои настройки?

Опубликовано пн, 11/07/2011 - 04:33 пользователем wotti

JonVic написал:
wotti
Вы можете выложить свои настройки?

Они у меня без пояснений, так как у меня стоит 2.5-версия в которой они не показываются, а выкладывать их я не планировал.
Вы скажите какие именно вам нужны регеспы и, многие из отметившихся здесь, с удовольствием вам помогут их написать. А как вставить их в свой скрипт я уже описал))

Опубликовано пн, 11/07/2011 - 04:01 пользователем Roxana

Еще в копилку:
иди -> или
узе -> уж
пули -> пути
гам -> там
далее -> даже

Опубликовано пн, 11/07/2011 - 04:31 пользователем wotti

Roxana написал:
Еще в копилку:
фация - грация
иди -> или
узе -> уж
пули -> пути
гам -> там
далее -> даже

фация - грация
узе -> уж
- отлично, можно сразу вставлять:
tagRegExp("(?<![а-яё])фация(?![а-яё])","i","Найдено: слово "фация" ("грация" с опечаткой).");
tagRegExp("(?<![а-яё])узе(?![а-яё])","i","Найдено: слово "узе" ("уж" с опечаткой).");

гам -> там тоже неплохо ( с некоторым допуском на ложные срабатывания)
tagRegExp("(?<![а-яё])гам(?![а-яё])","i","Найдено: слово "гам" ("там" с опечаткой).");

А вот
далее -> даже
пули -> пути
имхо создадут кучу холостых выстрелов)))

Опубликовано пн, 11/07/2011 - 04:57 пользователем Roxana

Согласна, но это как раз те случаи, которые можно отключать в зависимости от книги.

Опубликовано вт, 12/07/2011 - 01:28 пользователем JonVic

wotti Пояснения не актуально для меня - главное сочетания символов... - выложите, а там я разберусь и допишу подсказки... ;) Есть задумка свести данный топик воедино (может у Вас есть еще что добавить) и выложить здесь - для использования желающими...

Может кто в курсе - как реализовать поиск "... Слово" в начале параграфа?
(многоточие пробел Слово)

Аватар пользователя s_Sergius

Опубликовано вт, 12/07/2011 - 04:15 пользователем s_Sergius

JonVic написал:
Может кто в курсе - как реализовать поиск "... Слово" в начале параграфа?
(многоточие пробел Слово)

Я обычно ищу в режиме source, без регэкспов: "<p>... "

Опубликовано вт, 12/07/2011 - 04:48 пользователем golma1

JonVic написал:

Может кто в курсе - как реализовать поиск "... Слово" в начале параграфа?
(многоточие пробел Слово)

RegExp

addRegExp("^[…] [а-я]","i","Найдено:многоточие в начале строки");

Опубликовано вт, 12/07/2011 - 08:24 пользователем JonVic

s_Sergius Если их много, да лучше удалить их все с помощью "Поиск и замена" в текстовом режиме... Но зачастую таких косяков очень мало, как и авторов любящих начинать абзац с многоточия. И часто я просто забываю проверить многоточие в начале абзаца.

golma1 Спасибо, завтра попробую подключить эту напоминалку...

Опубликовано сб, 30/07/2011 - 22:19 пользователем JonVic

В первой же книге нашел много ошибок, оказывается мало кто проверяет знаки препинания:
[collapsed title=открыть]
addRegExp("[!?.,:;][…]","i","Найдено:троеточие после знаков препинания...");
addRegExp("[.,:;][,]","i","Найдено:возможно ошибка синтаксиса");
addRegExp("[,:;][.]","i","Найдено:возможно ошибка синтаксиса");
addRegExp("[а-яё!-?»] […]","i","Найдено:троеточие пытается убежать");
addRegExp("[…][!-?]","i","Найдено:знаки препинания... после троеточия");

addRegExp("[а-яё] но ","i","Найдено: НО после слова без запятой, либо нужно ПО");
[/collapsed]
Поправьте, если что не правильно, или можно что еще добавить...
Еще в скрипт от Roxana можно добавить:
[collapsed title=открыть]
tagRegExp("(?<![а-яё])тою(?![а-яё])","i","Найдено: слово "тою" ("того" с опечаткой).","",1);
tagRegExp("(?<![а-яё])го(?![а-яё])","i","Найдено: слово "го" ("по или то" с опечаткой).","",1);
tagRegExp("(?<![а-яё])ои(?![а-яё])","i","Найдено: слово "ои" ("он" с опечаткой).","",1);
[/collapsed]

Опубликовано пн, 18/07/2011 - 12:30 пользователем golma1

"гобой" --> "тобой"
tagRegExp("(?<![а-яё])гобой(?![а-яё])","i","Найдено: слово "гобой" ("тобой" с опечаткой).","",1);

Из "найдено буквы в пробелах" убрала "б" - слишком часто встречается в тексте.
addRegExp("[\\x20\\xA0\\t\\n\\r\\f][г,д,е,ё,з,й,л,м,н,п,р,т,ф,х,ц,ч,ш,щ,ъ,ы,ь,э,ю][\\x20\\xA0\\t\\n\\r\\f]","i","Найдено:буквы в пробелах");

Опубликовано пн, 18/07/2011 - 14:07 пользователем Sclex

"Б" действительно часто находилось, я как раз сегодня это обнаружил. Только запятые в регэкспе не нужны (а то будет находить запятую наравне с буквами), лучше просто:

addRegExp("[\\x20\\xA0\\t\\n\\r\\f][гдеёзйлмнпртфхцчшщъыьэю][\\x20\\xA0\\t\\n\\r\\f]","i","Найдено: буква между пробелами");

Опубликовано пн, 18/07/2011 - 14:39 пользователем golma1

Sclex написал:
"Б" действительно часто находилось, я как раз сегодня это обнаружил. Только запятые в регэкспе не нужны (а то будет находить запятую наравне с буквами), лучше просто:

addRegExp("[\\x20\\xA0\\t\\n\\r\\f][гдеёзйлмнпртфхцчшщъыьэю][\\x20\\xA0\\t\\n\\r\\f]","i","Найдено: буква между пробелами");


Ага, спасибо. :)

Опубликовано пн, 18/07/2011 - 14:18 пользователем ab_ovo

А чего он не ищет всякие "ххх- " (слово+дефис+пробел)?

Опубликовано пн, 18/07/2011 - 14:31 пользователем wotti

ab_ovo написал:
А чего он не ищет всякие "ххх- " (слово+дефис+пробел)?

??? У меня прекрасно ищет:

Опубликовано вт, 16/08/2011 - 13:10 пользователем chas

После OCR вместо И, П и Н часто появляется II. Записал в виде:
tagRegExp("(?![а-яё])II(?![а-яё])","i","Найдено: слово \"II\" (\"И\" с опечаткой).");
Правильно? Или возможен другой вариант?
Между знаками ? и ! должен стоять символ "<". Я убрал его, т.к. иначе строка не отображалась полностью. Почему-то.

Опубликовано вс, 14/08/2011 - 06:12 пользователем wotti

Вообще-то это должно искаться другими регеспами

Опубликовано вт, 16/08/2011 - 13:06 пользователем chas

Ищется, когда имеется смесь латиницы с кириллицей. А если отдельно стоящий союз "И" - нет.

Опубликовано пн, 05/09/2011 - 07:01 пользователем Zadd

11 → Н

Опубликовано пн, 19/09/2011 - 10:45 пользователем wotti

Поиск слов с двумя дефисами типа: как-ни-будь
tagRegExp("([a-zа-яё]-[a-zа-яё]*?-[a-zа-яё])","i","Найдено: слово в двумя дефисами).","",1);

у меня частенько заглавная буква \Л\ превращается в \JI\ (особенно в инициалах):
tagRegExp("(?<%![a-zа-яё])JI(?![a-zа-яё])","i","Найдено: \"JI\" (\"Л\" с опечаткой).");

УБРАТЬ ЗНАК %

Опубликовано пн, 19/09/2011 - 11:49 пользователем XtraVert

Цитата:
поиск слов с двумя дефисами типа: как-ни-будь

Большое спасибо, очень полезные добавления.

Опубликовано пн, 19/09/2011 - 13:15 пользователем wotti

XtraVert написал:
Цитата:
поиск слов с двумя дефисами типа: как-ни-будь

Большое спасибо, очень полезные добавления.

Могу предложить для поиска слов с двумя дефисами и замены вот такой отдельный регесп:

([a-zа-яё])-([a-zа-яё]*?)-
в поле замены:
$1$2
Но нужно проверять - замена убирает дефисы вообще, так, что "ЗАМЕНИТЬ ВСЁ" здесь не пройдёт. Но мне удобно :))

Опубликовано пн, 19/09/2011 - 13:17 пользователем golma1

wotti написал:

у меня частенько заглавная буква \Л\ превращается в \JI\ (особенно в инициалах):
tagRegExp("(?<%![a-zа-яё])JI(?![a-zа-яё])","i","Найдено: \"JI\" (\"Л\" с опечаткой).");
УБРАТЬ ЗНАК %

А почему так сложно? И "i", по-моему, тут лишнее. Мы же только о верхнем регистре говорим, или?

У меня
tagRegExp("(JI)","","Найдено: ,буквы  "JI" (возможно, Л).","",1);
тоже работает.

Я что-то упустила?

Опубликовано пн, 19/09/2011 - 13:59 пользователем wotti

golma1 написал:
wotti написал:

у меня частенько заглавная буква \Л\ превращается в \JI\ (особенно в инициалах):
tagRegExp("(?<%![a-zа-яё])JI(?![a-zа-яё])","i","Найдено: \"JI\" (\"Л\" с опечаткой).");
УБРАТЬ ЗНАК %

А почему так сложно? И "i", по-моему, тут лишнее. Мы же только о верхнем регистре говорим, или?

У меня
tagRegExp("(JI)","","Найдено: ,буквы  "JI" (возможно, Л).","",1);
тоже работает.

Я что-то упустила?


Ты права
Наверное нужно таки вставить впереди кириллицу и пробел

Опубликовано пн, 19/09/2011 - 14:07 пользователем golma1

wotti написал:

Ты права
Наверное нужно таки вставить впереди кириллицу и пробел

Нет, пробел не надо, а то в начале строки не выловит. Или?
А если кириллица, то сработает регэксп на "смесь кириллицы и латиницы".

Опубликовано пн, 19/09/2011 - 14:21 пользователем wotti

golma1 написал:
wotti написал:

Ты права
Наверное нужно таки вставить впереди кириллицу и пробел

Нет, пробел не надо, а то в начале строки не выловит. Или?
А если кириллица, то сработает регэксп на "смесь кириллицы и латиницы".


Дело в том. что этот косяк у меня проявляется ТОЛЬКО в начале слова или в инициалах
Да бог с ним - я бывает и просто заменой меняю, если латинского нет в тексте

Опубликовано пн, 19/09/2011 - 14:40 пользователем golma1

wotti написал:

Дело в том. что этот косяк у меня проявляется ТОЛЬКО в начале слова или в инициалах

Угу, у меня тоже. Я именно для инициалов сделала. Но инициалы бывают и в начале строки. ;)

Опубликовано пн, 31/10/2011 - 03:54 пользователем wotti

Заметил что в ФР11 при сохранении в ФИ2 картинки часто оформляются тегом table
А если картинок много - руками править не комфортно.
в режиме кода сделать масс-замену регеспом
найти: (</table>)|(<table>|<td/>|<td/>|</tr>|<tr>|<th/>)
заменить на: ( ничего)
Удобно когда изображений много и идут блоками. как в сериях ЖЗЛ или в "Повседневная жизнь"

Опубликовано пн, 31/10/2011 - 05:21 пользователем golma1

wotti написал:
Заметил что в ФР11 при сохранении в ФИ2 картинки часто оформляются тегом table
А если картинок много - руками править не комфортно.
в режиме кода сделать масс-замену регеспом
найти: (</table>)|(<table>|<td/>|<td/>|</tr>|<tr>|<th/>)
заменить на: ( ничего)
Удобно когда изображений много и идут блоками. как в сериях ЖЗЛ или в "Повседневная жизнь"

Спасибо. А то я их каждую массовой заменой удаляла. :(

Опубликовано пн, 31/10/2011 - 05:17 пользователем golma1

wotti написал:
Заметил что в ФР11 при сохранении в ФИ2 картинки часто оформляются тегом table
А если картинок много - руками править не комфортно.
в режиме кода сделать масс-замену регеспом
найти: (</table>)|(<table>|<td/>|<td/>|</tr>|<tr>|<th/>)
заменить на: ( ничего)
Удобно когда изображений много и идут блоками. как в сериях ЖЗЛ или в "Повседневная жизнь"

Спасибо. А то я их каждую массовой заменой удаляла. :(

Опубликовано чт, 24/11/2011 - 03:54 пользователем XtraVert

Cгорел комп и "всё, шо нажито непосильным трудом, — всё погибло"(с).
Программки нужные уже установил, но не хватает актуальных скриптов. Поделитесь, пожалуйста.

Опубликовано чт, 24/11/2011 - 05:10 пользователем wotti

Поиск по набору регэкспов
http://minus.com/m74y1WFI0

Опубликовано чт, 24/11/2011 - 05:33 пользователем justserge

wotti написал:
Поиск по набору регэкспов
http://minus.com/m74y1WFI0

Скачалось - «Ярлык для 17_Поиск по набору регэкспов.lnk» - 943 байт.

Опубликовано чт, 24/11/2011 - 05:58 пользователем wotti

justserge написал:
wotti написал:
Поиск по набору регэкспов
http://minus.com/m74y1WFI0

Скачалось - «Ярлык для 17_Поиск по набору регэкспов.lnk» - 943 байт.

Сорри ступил:

http://www.multiupload.com/L2KTM7AE47

Опубликовано чт, 24/11/2011 - 05:56 пользователем XtraVert

Цитата:
Скачалось - «Ярлык для 17_Поиск по набору регэкспов.lnk» - 943 байт.

таки да. не скрипты это.

Опубликовано чт, 24/11/2011 - 06:19 пользователем XtraVert

спасибо.

Опубликовано вт, 06/12/2011 - 09:52 пользователем chas

Перестал работать скрипт "Латиница в Кириллице". Подскажите в чем может быть проблема, плз.

Страницы
X