B147858 Рубрикатор как инструмент информационной навигации

Опубликовано пт, 15/05/2009 - 12:27 пользователем oldvagrant
Forums: 
Книги

Рубрикатор как инструмент информационной навигации

to Ulenspiegel
Может сразу зададите тезисы к диспуту? :)

Опубликовано пт, 15/05/2009 - 22:03 пользователем Ulenspiegel

Легко. Тезис первый, он же главный - "хоть чучелом, хоть тушкой, но ехать надо".
Stager - отмалчивается, как девушка в ответ на вопрос "Ты меня любишь?", а найти что-либо техническое, не зная заранее названия, в библиотеке ... сложновато.

Опубликовано сб, 16/05/2009 - 11:05 пользователем oldvagrant

Ulenspiegel написал:
... найти что-либо техническое, не зная заранее названия, в библиотеке ... сложновато.
Нда? Мне пока везло. Тем более названия можно найти альтернативно, в инете. И даже мало не покажется.

Опубликовано сб, 16/05/2009 - 21:55 пользователем Ulenspiegel

Ну хорошо. Предположим, случилось страшное, и Вас заинтересовало программирование PIC-контроллеров. Поиск по "PIC" в библиотеке результатов не даст, поиск по "контроллеры" - даст набор книг на "Генезисе", но - если искомая книга называлась "Программирование средств промышленной автоматизации" - этот бесценный труд пролетит мимо Вас.
Найти библиографию по теме где-нибудь в и-нете, безусловно, можно, но хотелось бы, чтобы Либрусек был в этом смысле вещью самодостаточной.

Опубликовано сб, 16/05/2009 - 12:40 пользователем Stager

Ulenspiegel написал:
Stager - отмалчивается, как девушка в ответ на вопрос "Ты меня любишь?", а найти что-либо техническое, не зная заранее названия, в библиотеке ... сложновато.

А чё я, чё я-то? Я ваще завсегда за.

Мой тезис таков:
Отличие информационной организации от склада - в наличии тематического поиска. Любая библиотека - что электрическая, что бумажная - это в первую очередь склад (с более или менее развитой логистикой). А библиотекой, т.е., храмом знаний, этот склад делают средства тематического поиска.

Раньше в бумажных библиотеках такие средства были - тематический каталог, библиографические издания плюс собственно библиографы. Теперь всё умерло, и этот механизм погребён под завалами информации. С альтернативами, в общем, плохо.

Опубликовано сб, 16/05/2009 - 22:01 пользователем Ulenspiegel

Я бы, честно говоря, к поиску добавил еще и навигацию по классификационному дереву. Что-то типа "А что у нас тут по программированию есть ? А для Web ? А чтоб еще и PHP присутствовало ?"
При любом раскладе - то, что "всё плохо", мы уже поняли. Теперь хотелось бы узнать, что надо сделать, чтобы всё опять стало хорошо :)

Опубликовано вс, 17/05/2009 - 04:59 пользователем Stager

Ulenspiegel написал:
Я бы, честно говоря, к поиску добавил еще и навигацию по классификационному дереву.

Ну это и есть оно.
Правильно в наше время это оно должно выглядеть так:
Юзер в свободной форме даёт запрос.
В ответ он получает список понятий, соответствующих запросу.
Кликнув по понятию, юзер переходит в ту или иную классификационную систему, в то место, где это понятие находится.
И видит там книжки - по теме, по теме уже, по теме шире, по теме сбоку.
А если не понравилось - то выбрать список понятий, которым требуемое должно удовлетворять.
Тогда и будет -
Ulenspiegel написал:
Что-то типа "А что у нас тут по программированию есть ? А для Web ? А чтоб еще и PHP присутствовало ?"

Такое "оно" называется - "сужать запрос по тезаурусу". Но в современной программистской мысли почему-то модно расширять...

Ulenspiegel написал:
При любом раскладе - то, что "всё плохо", мы уже поняли. Теперь хотелось бы узнать, что надо сделать, чтобы всё опять стало хорошо :)

Как минимум - не класть книжки в картинках....

Опубликовано вс, 17/05/2009 - 06:14 пользователем oldvagrant

Stager написал:
Ulenspiegel написал:
... хотелось бы узнать, что надо сделать, чтобы всё опять стало хорошо :)
Как минимум - не класть книжки в картинках....

Это невозможно.
Миссия pdf, кстати, была в частности в том, чтобы совместить текстовое представление с обеспечением сохранности содержания. Иначе научные статьи публиковали бы в rtf, скажем. Хорошо, если djvu или pdf файл имеет текстовый слой. В том случае, если он получен из авторского текста. Если из OCR - то такая естественнонаучная книжка годится только на шпаргалки студентам.

Опубликовано вс, 17/05/2009 - 13:43 пользователем Stager

oldvagrant написал:
Это невозможно.

Ulenspiegel написал:
Не хотелось бы поднимать старый флейм на тему, "что лучше - книга в плохом формате или вообще никакой".

Книжка в картинках - это всё равно, что ничего.

Господа! Сказать файнридеру "распознать всё" - это один клик. Второй - создать pdf с текстовым слоем. И не обязательно класть текстовый слой поверх картинки - можно и наоборот.
Даже если результат будет содержать массу дефектов распознавания, в нём исчезнут формулы и картинки - всё равно его будет достаточно для более-менее адекватного автоматического индексирования. А альтернативы автоматическому индексированию нет.
Любая самая крутая классификация требует, чтобы кто-то соотнёс книгу с этой самой классификацией. Проиндексировал, типа. В процессе систематизации или предметизации. Три четверти книг в этой стране систематизируются примерно двадцатью сотрудниками Ленинской библиотеки. По ББК. Их не будет больше, и работать лучше они тоже не будут - работа эта низкооплачиваемая, однако требует наличия ума и образования.
Очевидно, тексты, книгами не являющиеся, никто никогда не проиндексирует. И какого тематического поиска вы хотите? Особенно, если курочите заглавия - лишая себя возможности воспользоваться плодами труда профессиональных систематизаторов?

Альтернатива - автоматическое индексирование. А для художественной литературы - вообще единственная возможность, ибо её никто не систематизирует. Да и классификаторов для неё нет.
Автоматическое индексирование даёт посредственный результат, требует специально заточенных классификационных систем - но это единственный путь. Но что-то вы не пылаете энтузиазмом...

Резюме: нет волшебного рецепта. Вот я скажу - и всё будет. Нет. Чтобы было - нужно делать. Нужно составить и поддерживать рубркатор. Нужно иметь текстовые книги. Нужно поддерживать в правильности их реквизиты. Нужно как-то соотнести книги с рубрикатором. И только потом - воспользоваться плодами.
А я вообще полагаю, что большинство народу тайно глубоко убеждено, что компьютер умеет думать, и если подождать -он всё придумает. Сам.

Опубликовано вс, 17/05/2009 - 16:43 пользователем oldvagrant

Stager написал:
Господа! Сказать файнридеру "распознать всё" - это один клик. Второй - создать pdf с текстовым слоем. И не обязательно класть текстовый слой поверх картинки - можно и наоборот.
Тпру! Здесь помедленнее, пжлста!
Вы хотите сказать, что в документе djvu или pdf могут параллельно существовать распознанный текстовый слой (пусть коряво распознанный, но невидимый для читающего и видимый для инструмента индексирования) и тот же текст в виде обычной картинки?

Если так, то ситуация кардинально меняется...

Опубликовано вс, 17/05/2009 - 23:11 пользователем Ulenspiegel

В DJVU - однозначно может. И, более того, там даже может существовать оглавление, распознаваемое djvulibre (по крайней мере).
Более того, есть даже инструмент, позволяющий автоматизировать процесс (DjvuOCR), хоть и не "в один клик". И если суровый Stager предлагает сделать стандартом для добавления технической литературы DJVU с текстовым слоем и оглавлением (как минимальное требование), я, наверное, подчинюсь :)

Опубликовано пн, 18/05/2009 - 04:25 пользователем Stager

Ulenspiegel написал:
И если суровый Stager предлагает сделать стандартом для добавления технической литературы DJVU с текстовым слоем и оглавлением (как минимальное требование), я, наверное, подчинюсь :)

Я бы предложил - толку что?

Опубликовано пн, 18/05/2009 - 05:18 пользователем Ulenspiegel

Нууу... Мне самому такая мысль уже приходила в голову. О том, чтобы нераспознанную книжку - сперва в морилку, потом в распрямилку, распознать и сделать оглавление. Проблема в том, что с технологией всего процесса я еще только разбираюсь, получается медленно - а залить что-нибудь свеженькое иногда свербит, и сильно. Скажем так - буду стремиться к окультуриванию. Но - проблемы классификации это автоматом не решает :)

Опубликовано пн, 18/05/2009 - 04:12 пользователем Stager

oldvagrant написал:
Вы хотите сказать, что в документе djvu или pdf могут параллельно существовать распознанный текстовый слой (пусть коряво распознанный, но невидимый для читающего и видимый для инструмента индексирования) и тот же текст в виде обычной картинки?

Не знаю за djvu, но длля pdf -

Опубликовано вс, 17/05/2009 - 17:42 пользователем pkn

Stager написал:
Альтернатива - автоматическое индексирование. А для художественной литературы - вообще единственная возможность, ибо её никто не систематизирует. Да и классификаторов для неё нет.
Автоматическое индексирование даёт посредственный результат, требует специально заточенных классификационных систем - но это единственный путь. Но что-то вы не пылаете энтузиазмом...

Ну почему же... я - пылаю. Точнее, тлею. Пока что на этапе думания, да и то - с продолжительными остановками (реал, знаете ли, заедает...). Но вот уже, в дополнение к предыдущему разговору, додумался до того, что neural network для автораспознавания жанров художки таки придётся использовать. И до того, что не так neural network страшен, как его малюют - есть вполне пригодные готовые библиотеки, я остановился на FANN. Теперь вот думаю, нельзя ли всё-таки и подбор кивордов (ага, лошадей с мечами) тоже автоматизировать. Пока, правда - тупик...

Опубликовано вс, 17/05/2009 - 17:52 пользователем MaxKam

Звездолет на дикой планете. Звездолет упоминается раз пять, лошади с мечами - раз 100. К какому жанру причислит такую книгу ИскИн?

Опубликовано вс, 17/05/2009 - 17:54 пользователем pkn

MaxKam написал:
Звездолет на дикой планете. Звездолет упоминается раз пять, лошади с мечами - раз 100. К какому жанру причислит такую книгу ИскИн?

К фентези. And rightly so.

Опубликовано пн, 18/05/2009 - 04:24 пользователем Stager

pkn написал:
в дополнение к предыдущему разговору, додумался до того, что neural network для автораспознавания жанров художки таки придётся использовать.

А как? Я совсем не понимаю в нейроных сетях, но, вроде, обучающая последовательность должна иметь однозначные критерии соответствия определённому результату, причём - одному. Как найти (составить?) текст, стопудово соответствующий одному делению классификации из (хотя бы) двух сотен, и стопудово не соответствующий никакому другому - я не представляю.
pkn написал:
Теперь вот думаю, нельзя ли всё-таки и подбор кивордов (ага, лошадей с мечами) тоже автоматизировать. Пока, правда - тупик...

Ну тут правда тупик :-) Этот вопрос исследовался и многие пытались. Для отдельного текста - можно. Общие для двух - ну, где-то как-то... Для трёх - уже только местоимения :-)

Опубликовано вс, 17/05/2009 - 08:45 пользователем Ulenspiegel

Stager написал:
Как минимум - не класть книжки в картинках....

Не хотелось бы поднимать старый флейм на тему, "что лучше - книга в плохом формате или вообще никакой".
Скажем так - скорость конвертации и вычитки мною книг существенно ниже скорости появления в и-нете любопытной литературы, и с этим я мало что могу поделать.
Но это - что касается программы минимум. А мне, честно говоря, хотелось большего - услышать от Вас, как профессионала, конкретные рекомендации. На уровне "копать здесь, кидать сюда, пока летит - отдыхать" :)

Опубликовано сб, 16/05/2009 - 14:25 пользователем Stager

Чисто технически: имя файла отданной книги - горбатое, и сам файл - классический пример того, как не надо использовать djvu. Я полагаю, распознать и закатать в .txt изготовителю помешали исключительно религиозные соображения.
X