ABBYY: словари, системы распознавания текстов и ввода форм

В этой статье мы хотим поговорить о продукции очень известной в России и на мировом рынке компании - ABBYY. Думаю, вам не раз приходилось встречать бренды ABBYY на таких продуктах, как Lingvo, FineReader и FormReader. Вообще, всю компанию можно привести как отечественный образец успешного развития в мировой ИТ-сфере. На наши вопросы согласился ответить Сергей Андреев, генеральный директор компании ABBYY.


TanaT: Расскажите о вашей компании. C чего все начиналось?

Сергей Андреев: Наша компания была основана в 1989 году студентом 4 курса МФТИ Давидом Яном. (Сегодня Давид - председатель совета директоров ABBYY.) Первым продуктом компании стал электронный словарь Lingvo. Разработка оказалось настолько удачной и востребованной, что Давид решил продолжить работу над проектом, хотя изначально предполагал ограничиться всего одной версией словаря. Через некоторое время появилась идея создать систему распознавания. Общая концепция задумывалась как: "от страницы на одном языке до страницы на другом". В результате, первая версия системы распознавания FineReader вышла в 1993 году.
С тех пор мы сильно выросли, но и сейчас основное наше направление - разработка программ в области распознавания и обработки естественного языка. Наиболее известны наши продукты: система распознавания FineReader и электронные словари Lingvo. Кроме того, у нас есть продукты для корпоративного рынка (например, FormReader - система распознавания форм, заполненных от руки) и продукты для разработчиков.
С момента основания и вплоть до 1997 года наша компания называлась BIT Software. И в России нас уже хорошо знали под этим именем. Когда же в 1996 году мы решили выйти на международный рынок, выяснилось, что в мире уже есть множество компаний с таким же названием. Пришлось искать новое. Причем нам хотелось, чтобы новое название было ярким, запоминающимся и необычным. Мы долго думали, и, в конце концов, остановились на имени ABBYY. Само слово ABBYY (произносится "аби", с ударением на первом слоге) приблизительно переводится на русский как "ясный глаз"; это реконструированная словоформа из праязыка мяо-яо, гипотетического предка нескольких групп языков сино-тибетской семьи. Так что название получилось не только звучным и необычным, но и со смыслом. Сейчас в компании ABBYY (точнее говоря, в группе компаний) работает около 350 человек. У нас 4 филиала за границей - в Украине, Кремниевой Долине (США), есть западноевропейский филиал в Германии и его подразделение в Великобритании. Головной офис находится в Москве. Первым из зарубежных представительств появилась компания ABBYY Украина, затем открылось представительство в США, а затем подключилась и Европа. Кроме того, у нас весьма разветвлённая дилерская сеть на всех континентах, за исключением, конечно, Антарктиды. Наши дилеры и партнёры работают в 80 странах мира.



TanaT: Ваша компания уже давно на рынке "лингвистических и оптических" технологий. У вас, наверное, сложилась уже собственная школа лингвистов и ученых?

Сергей Андреев: Да, конечно. Создание наукоёмких программных продуктов невозможно без проведения серьёзных научных исследований, а они, в свою очередь, требуют привлечения наиболее квалифицированных специалистов - у нас работает настоящая команда ученых и инженеров. В 2002 году авторский коллектив компании ABBYY получил Премию Правительства РФ в области науки и техники за создание и внедрение в различных отраслях экономики страны системы распознавания FineReader. Кроме того, у нас очень много талантливой молодежи. Мы вообще предпочитаем растить специалистов у себя. Люди, приходя к нам, некоторое время учатся, а потом сдают серьезный экзамен, чтобы продолжать работать у нас. Такой подход себя более чем оправдывает - стоит посмотреть на качество наших программ. Что касается наших лингвистов, то их уровень настолько высок, что мы даже можем позволить себе создавать собственные словари для линейки Lingvo. Это, на самом деле, достаточно редкое явление для компании, производящей электронные словари - большинство предпочитают лицензировать словари у "бумажных" издательств. Ведь создание собственных словарей достойного качества требует очень больших ресурсов, а главное, профессиональной команды. У нас такая команда есть.


TanaT: На кого прежде всего ориентирован ваш словарь Lingvo?

Сергей Андреев: На самую широкую аудиторию, от пользователей персональных компьютеров, время от времени встречающих незнакомое иностранное слово в документах или в Интернете, до профессиональных переводчиков.


TanaT: Какие бывают версии Lingvo, сколько они стоят и где их можно купить?

Сергей Андреев: В настоящее время семейство электронных словарей Lingvo 8.0 включает в себя три версии:

1) Многоязычный словарь Lingvo содержит 39 многоязычных словарей по общей и специализированной тематике: англо-русские, русско-английские, немецко-русские, русско-немецкие, французско-русские, русско-французские, итальянско-русские, русско-итальянские словари позволяют быстро и точно переводить слова и словосочетания в любом из этих направлений. Стоимость этой версии - $29.

2) Англо-русская версия ABBYY Lingvo. Наиболее полный из современных англо-русско-английских электронных словарей. Содержит более 1 миллиона словарных статей в 9 англо-русских словарях и 8 русско-английских, среди них как тематические, так и словари общей лексики. Стоит всего $12.

3) ABBYY Lingvo 8.0 для Pocket PC специально предназначен для владельцев карманных персональных компьютеров (КПК). Включает в себя около 40 словарей на 5 языках и 5 разговорников (включая испанский). Стоимость этой версии $39. Кстати, версию для Pocket PC, можно также установить на настольном компьютере. Так что, фактически, пользователь получает сразу две версии нашего словаря.

Купить любой из этих словарей можно в нашем офисе, в интернет-магазине ABBYY, в интернет-магазинах наших партнёров, а также в многочисленных компьютерных магазинах. Подробную информацию всегда можно получить на сайтах http://www.lingvo.ru, http://www.abbyy.ru, или позвонив в наш офис 234-44-00.


TanaT: Что бы вы назвали изюминкой словаря Lingvo?

Сергей Андреев: Изюминок у Lingvo много: самая полная словарная база, удобный и понятный интерфейс. Одно из наиболее интересных свойств Lingvo - это возможность создания и подключения словарей, созданных пользователями. В комплект поставки нашего словаря входит специальная программа, позволяющая компилировать новые словари под оболочку Lingvo, которые подключаются к системе наряду со стандартными. Ценность такой "изюминки" трудно преувеличить. Фактически, Lingvo может расширяться бесконечно - за счет вновь создаваемых пользовательских словарей. Эта замечательная возможность очень популярна у пользователей Lingvo. Мы со своей стороны поддерживаем независимых лексикографов, создающих словари под оболочку Lingvo - проводим среди них конкурсы, размещаем их словари на наших сайтах. Не так давно ABBYY совместно с Союзом Переводчиков России организовали Ассоциацию лексикографов Lingvo, которая призвана не только оказывать содействие независимым лексикографам (составителям словарей), но также всячески продвигать Lingvo в качестве стандарта для создания словарей самой различной тематики. Сейчас на сайте Ассоциации уже выложено около сотни пользовательских словарей в свободном доступе. И коллекция постоянно пополняется.
Еще одна из особенностей Lingvo - это актуальность лексики. Lingvo - словарь живого языка, содержащий самые современные термины и значения. И это при обширной словарной базе - более 1.100.000 словарных статей! Для сравнения можно упомянуть, что наиболее авторитетные бумажные издания редко содержат более 300-400 тыс. статей. Благодаря тому, что многие словари создаются собственной командой лингвистов, мы имеем возможность их оперативно обновлять и дополнять. Кроме того, в Lingvo есть озвученный словарь, включающий значительный объем английских слов. Это профессионально озвученные наиболее важные и часто встречающиеся слова; фактически наличие такого словаря позволяет использовать Lingvo даже в роли репетитора для начинающих изучение языка.


TanaT: Не планируете ли Вы выпустить новую версию Lingvo для ПК? Что в ней планируется изменить или улучшить?

Сергей Андреев: Конечно, планируем. Вообще говоря, любая линейка продуктов ABBYY постоянно развивается; даже если вчера выпущена новая версия, сегодня уже идёт работа над очередной, ещё более совершенной. Основное направление развития новых версий нашего словаря - конечно же, расширение списка языков для многоязычной версии, дальнейшее пополнение и обновление словарной базы, а также перенос нашего словаря на другие платформы, например Palm.


TanaT: Расскажите об уже существующей версии Lingvo для КПК. Все ли словари уместились в пока что ограниченные рамки ресурсов КПК? Lingvo для КПК не потерял функциональности по сравнению со старшим братом, Lingvo для ПК?

Сергей Андреев: Правильно заданный вопрос уже содержит ответ: доступные для КПК ресурсы и являются теми рамками, которые способны ограничить функциональность новой версии Lingvo. Сама программа каких-либо ограничений не имеет, и при наличии в вашем "наладоннике" карты флэш-памяти объёмом 128 Мбайт в вашем распоряжении окажется версия Lingvo, возможности которой полностью идентичны аналогичной версии для ПК. Более того, в версию Lingvo для карманных компьютеров вошло 5 разговорников, которых нет в обычной многоязычной версии - английский, немецкий, французский, итальянский и испанский.
Эти разговорники представляют собой точный электронный аналог тех самых книжечек, что помогают вам узнать дорогу к гостинице или заказать пиццу в каком-нибудь европейском городке. Можно, конечно, пытаться составить фразу на незнакомом языке самостоятельно, но проще, быстрее и правильнее - найти нужный вопрос или ответ в разговорнике.


TanaT: Какие перспективы у Lingvo? Есть ли какие-нибудь глобальные направления, которые пусть и через долгий промежуток времени, сделают работу с Lingvo еще более приятной?

Сергей Андреев: От версии к версии Lingvo всё дальше выходит за рамки продукта, который принято называть "электронным словарём", расширяется его функциональность. С одной стороны Lingvo все более становится программой образовательной. Например, в последнюю версию мы включили грамматический словарь английского языка, и собираемся в последующих версиях уделить этому направлению еще большее внимание (грамматическим называется словарь, который содержит сведения о морфологических и синтаксических свойствах слова).
С другой стороны, Lingvo приобретает черты универсального справочника. Выше я говорил, что одна из задач Ассоциации лексикографов Lingvo - продвижение Lingvo, как универсальной платформы для создания словарей. Действительно, структура Lingvo позволяет создавать на ее базе любые словари. И кто сказал, что это должны быть именно словари, а не, например, справочные пособия? Поэтому, думаю, в будущем, одно из основных направлений развития Lingvo - превращение в некую масштабную платформу для создания и представления самых разных словарей, энциклопедий, справочников и т.д.







TanaT: Есть ли дополнительные словари для Lingvo, содержащие какие-то специфические термины?

Сергей Андреев: Есть, причём много. Выше уже говорилось, о возможности создания словарей под оболочку Lingvo. Когда мы включили эту возможность в наш словарь, мы даже не подозревали, какой отклик среди пользователей она получит. В настоящее время, как я уже говорил, на сайте Ассоциации лексикографов Lingvo доступны уже около 100 словарей. Тематика их весьма разнообразна, от толковых словарей Даля и Ушакова до словаря финского сленга и фармацевтического словаря. Любой пользователь лицензионной версии Lingvo может бесплатно скачивать их и подключать к своей системе.


TanaT: Какие технологии сегодня используются для оптического распознавания текста?

Сергей Андреев: Выделяют две основных разновидности систем оптического распознавания текста. Те, что решают ставшую классической задачу распознавания печатных символов, нанесенных на бумагу при помощи принтера, плоттера или пишущей машинки, называются OCR-системами (от слов optical character recognition, оптическое распознавание символов). Пример такой системы - ABBYY FineReader. Кроме того, выделяют класс ICR-систем (intelligent character recognition), в задачи которых входит обработка документов, заполненных печатными буквами и цифрами от руки, или, иначе говоря, распознавание рукопечатных символов. В частности, ICR-технологии заложены в основу системы автоматизированного ввода форм ABBYY FormReader. В технологические подробности, думаю, не имеет смысл вдаваться, скажу только, что на сегодня, мы являемся признанным мировым технологическим лидером в данной области, обеспечивая наилучшее качество распознавания. Недаром мы победили уже более чем в сотне сравнительных тестов по всему миру.


TanaT: Какие существуют методики оценки качества работы "распознавателя"?

Сергей Андреев: Основной смысл систем распознавания - сэкономить время пользователя на ввод в электронную редактируемую форму бумажных документов. Соответственно, чем быстрее пользователь получает точный результат распознавания, чем меньше он тратит времени на исправление ошибок, правильное оформление документа, тем лучше. Существует традиционная методика оценки качества систем распознавания. Она проста и вытекает из соображений здравого смысла. Подсчитывается количество ошибок, допущенных системой при обработке документа фиксированного объёма. Это количество и служит численным выражением оценки качества. Для удобства можно его, конечно, так или иначе нормировать, выразить в процентах, но суть от этого не меняется. С другой стороны, сложно оценить объективно простоту работы, удобство интерфейса, точность сохранения оформления документа, и другие параметры, которые тоже важны для пользователя. Именно поэтому при разработке каждой новой версии, мы уделяем много внимания не только улучшению качества распознавания, но и удобству использования, поддержке новых форматов экспорта.


TanaT: Какие бывают версии FineReader, сколько они стоят и где их можно купить?

Сергей Андреев: Сейчас мы предлагаем три версии ABBYY FineReader:

FineReader 7.0 Professional Edition - предназначен для домашних пользователей и небольших офисов. Это мощная современная OCR-система, удовлетворяющая самым высоким требованиям к точности распознавания, сохранению оформления, а также производительности. Стоит он $129.

FineReader 7.0 Corporate Edition предназначен для эффективной организации совместной работы в локальной сети при распознавании большого количества документов. Иными словами, это система, ориентированная на корпоративных пользователей. Соответственно, она обладает значительными сетевыми возможностями и некоторыми дополнительными функциями, которые делают работу с ней в офисе особенно удобной. Стоимость этой версии $259.

ABBYY FineReader 5 Pro for Mac - с недавнего времени пользователи Mac также могут оценить качество нашей системы распознавания. Мы использовали технологию FineReader, а интерфейс программы был разработан непосредственно для Mac OS. Поддержаны все основные технологии Apple, включая QuickTime, Speech, Drag-and-Drop и Navigation Services. Стоимость Mac-версии FineReader - $129.

Купить любые продукты линейки ABBYY FineReader можно точно так же, как словари линейки ABBYY Lingvo.

TanaT: Какое место на мировом рынке ПО занимает FineReader? Кого можно считать его ближайшим конкурентом?

Сергей Андреев: Ситуацию на рынке OCR-программ можно оценивать с различных позиций. Если говорить о доле рынка, или, что то же самое, о количестве пользователей программы, то по этому критерию ABBYY FineReader на сегодня занимает второе место в мире. Если же рассмотреть такие аспекты, как точность распознавания или количество побед в тестах, проводимых независимыми экспертами, то следует признать, что ABBYY FineReader не знает себе равных; ему принадлежит мировое первенство по обоим показателям.
Ближайшим - и единственным серьёзным - конкурентом на мировом рынке OCR-систем для нас является программа американской компании ScanSoft. Именно ей принадлежит первое место по объему рынка. Впрочем, в последние несколько лет ABBYY FineReader и по этому показателю всё более "сокращает отрыв", аудитория наших пользователей постоянно растёт.


TanaT: Каковы перспективы развития FineReader? Бесконечная гонка за качеством распознавания?

Сергей Андреев: Качество распознавания, равное 100% - это та самая черепаха, которую никогда не догнать Ахиллесу. Поэтому гонка за качеством, конечно, продолжается, и более того - будет продолжаться всегда. Здесь еще есть куда двигаться. Однако это - далеко не единственное направление развития FineReader.
Усилия наших разработчиков направлены также на повышение точности передачи оформления документа, улучшение интерфейса, "обучение" системы работе со сложными, а также специальными оригиналами. Как показывает практика, все вышеперечисленное востребовано и ожидаемо пользователями. В идеале, отсканировав страницу и запустив систему распознавания, человек должен получить точную электронную копию того документа, который он положил в сканер - в том числе, с сохранением шрифтов, верстки, расположения картинок и т.д. Вот над этим мы сейчас и работаем.


TanaT: Вы планируете завоевание рынка ПО для UNIX? Думаю, многие пользователи были бы рады получить словарь, к примеру, для Linux.

Сергей Андреев: Да, и такие планы есть. *NIX-системы - это значимый сектор рынка, которым нельзя пренебрегать. Портирование наших продуктов на другие платформы - в том числе и на Linux - значится в перспективных планах. А значит, однажды это будет претворено в жизнь.


TanaT: Расскажите немного о FormReader. По идее, эта система должна пользоваться высоким спросом в коммерческих и государственных компаниях…

Сергей Андреев: Конечно, пользуется. Более того, известен ряд масштабных проектов, которые вообще не могли бы быть осуществлены без FormReader. Впрочем, обо всём по порядку…
Итак, ABBYY FormReader - это система автоматизированного ввода форм. Предназначена для поточного ввода (преобразования в электронный вид, проверки и упорядочивания) данных с заполненных от руки бланков. Почерк каждого человека, как вы знаете, уникален, вариабельность начертания каждого символа огромна. Уникальные ICR-технологии, разработанные специалистами нашей компании, позволяют, тем не менее, с очень высокой точностью распознавать символы, написанные от руки печатными буквами. Например, французская компания Coloraid Informatique, европейское отделение Lacour group, использует наши технологии, и уровень ошибок, по оценкам специалистов Coloraid Informatique, не превышает 0,5 %.
А вот несколько примеров применения FormReader в России. Министерство по налогам и сборам ежегодно собирает несколько десятков миллионов налоговых деклараций частных лиц. Все они вводятся в компьютер при помощи системы FormReader. Государственный пенсионный фонд аналогичным образом обрабатывает свидетельства пенсионного страхования. А Центр Тестирования Министерства образования проводит при помощи нашей системы обработку результатов Единого Государственного экзамена (ЕГЭ). Например, в этом году свыше 3 миллионов форм были введены в общей сложности за 18 дней.
Коммерческие организации также не остаются в стороне. Чаще всего потребность в автоматизированном вводе форм средствами FormReader возникает при обработке клиентских заявок в банках, страховых компаниях и т.д. Так, компания РОСНО использует FormReader для обработки клиентских полисов страхования автотранспорта. Также система автоматизированного ввода форм весьма актуальна при проведении всевозможных маркетинговых исследований (таким образом, например, строит обратную связь с посетителями торговая сеть "Перекрёсток"). Впрочем, существуют и иные способы применения. Например, компания Adidas построила на базе ABBYY FormReader систему сбора дилерских заказов; ИНГ БАНК (Евразия) обрабатывает при помощи нашей системы анкеты-заявления на получение пластиковых карт.


TanaT: Какие бывают версии FormReader, сколько они стоят и где их можно купить?

Сергей Андреев: Существует две версии FormReader; они отличаются друг от друга не только функциональными возможностями, но и методами внедрения, организации рабочих мест. Поэтому принимать решение о выборе той или иной версии системы лучше по результатам консультаций с нашими специалистами.

FormReader 6.0 Desktop Edition позволяет организовать потоковый ввод форм таким образом, чтобы все стадии процесса - от сканирования до экспорта выходных данных выполнялись на одном рабочем месте. Это решение оптимально для тех случаев, когда планируемый объём входящих данных не очень велик и нет смысла задействовать более одного оператора. Примерная стоимость такого рабочего места составляет $1600.

FormReader 6.0 Enterprise Edition предназначен для организации промышленной высокопроизводительной системы ввода форм. Задачи, для решения которых предназначены комплексы такого масштаба, характерны прежде всего огромными объёмами данных - единицы и десятки миллионов форм. Понятно, что при подобных масштабах речь всегда идёт не о продаже одной-двух коробок программного обеспечения, а об организации работы всего комплекса в целом, о проекте по автоматизированному вводу форм. Соответственно, стоимость проекта, которая зависит от множества разнородных параметров и особенностей конкретной задачи, может быть определена только по итогам предварительного изучения и согласования условий проекта.

Всю необходимую информацию об этой системе; о том, как работает и на что способен ABBYY FormReader, заинтересованный читатель всегда сможет получить на страницах сайтов http://www.formreader.ru, http://www.abbyy.ru, либо по телефону (095) 234-44-00.


TanaT: Большое спасибо, что уделили нам столько времени и ответили на все наши вопросы.