Какими завтра будут клавиатура и мышь?
10 ноября 2003
Рубрика: Технологии.
Автор: .

pic

Виртуальная клавиатура от Canesta

В середине сентября 2002 года на конференции DEMOmobile фирма Canesta (Сан-Хосе, Калифорния) сообщила, что она разработала первую в мире полностью интегрированную проекционную клавиатуру для мобильных и беспроводных устройств. Новая технология позволяет вводить данные, «печатая» на изображении клавиатуры, проецируемой на любую плоскую поверхность.
Это может положить конец использованию стилусов, рукописного и однопальцевого ввода, которые обычно применяются для рутинного процесса ввода в портативные устройства типа мобильных телефонов, PDA и карманных компьютеров. Это также может означать, что будет высвобожден весь потенциал беспроводных и мобильных устройств.

Виртуальная клавиатура Canesta (http://www.canesta.com) работает благодаря чипсету компании с тремя чипами. Согласно Canesta, набор состоит из проектора изображения клавиатуры, источника инфракрасного света и сенсорного чипа. Последний позволяет устройству «видеть», отслеживая близлежащие объекты в трех измерениях в реальном времени.
Проектор изображения использует внутренний лазер, чтобы проецировать изображение полноразмерной клавиатуры на близлежащую плоскую поверхность. Изображение клавиатуры наносится непосредственно на линзу проектора. Клавиатура представляет собой знакомую QWERTY-клавиатуру, но может быть настроена на любой другой набор символов. Разработчики говорят, что пользователям может потребоваться безбликовый настольный коврик для проецирования клавиатуры.

pic

Источник инфракрасного излучения испускает пучок невидимого света в направлении области, где находятся проецируемая клавиатура и пальцы пользователя, сканируя их с частотой 30 раз в секунду.
Сенсор, который не намного больше горошины, отслеживает движения пальцев пользователя по отраженному лучу, транслирует их в «нажатия» на определенные проецируемые клавиши и формирует поток последовательных событий нажатия клавиш, подобный выходу физической клавиатуры.
Сенсор работает почти как радар, который позволяет рассчитывать расстояния до отдаленных объектов. В радаре измеряется время, которое требуется радиоволне, чтобы проделать путь от передающей антенны до отражающего объекта и обратно. В случае чипсета Canesta вместо радиоволн используется импульс слабого инфракрасного света. Световые волны, имеющие частоту, отличную от частоты инфракрасного света, игнорируются, так что окружающий свет не оказывает никакого влияния на формируемое изображение.

pic

Canesta разрабатывает сенсоры, способные измерять расстояние двумя способами. Они или измеряют время, необходимое для прохождения светового импульса, используя высокоточные таймеры «на чипе», или еще проще — подсчитывают число фотонов, возвращающихся за определенное время, что является косвенной мерой расстояния. Во втором случае отпадает необходимость в высокоточном таймере.
Блок формирования изображения, таким образом, является гораздо более простым, чем обычное программное обеспечение, которое требует огромной вычислительной мощности для анализа визуальных сцен. Вместо того чтобы генерировать трехмерное представление окружающего мира из многих двумерных изображений, программное обеспечение Canesta начинает сразу создавать эту объемную карту на основе информации, «бесплатно» поступающей с технических средств.

pic

Это позволяет вшить независимый от приложений блок программного обеспечения распознавания образов непосредственно в сами чипы, без потребности в присоединенном персональном компьютере. В результате этот чипсет может встраиваться в дешевые и портативные устройства; он практически не сказывается на их размерах, не нуждается в мощных процессорах и не потребляет много электроэнергии. Чипсет уменьшает продолжительность работы аккумулятора PDA примерно на десять процентов, так что можно печатать до восьми или девяти часов без подзарядки.
Чипсет Canesta позволяет строить 3-мерные изображения с частотой, превышающей 50 кадров в секунду. Существующие же методы обработки изображений требуют от нескольких секунд до нескольких минут для того чтобы генерировать 3-мерное представление единственного статического кадра.
Миниатюрные устройства с таким чипсетом могут проецировать не только изображение полноразмерной клавиатуры, но и мыши, а затем при помощи трехмерного сенсора переводить движения рук и пальцев в манипуляции мышью.
Технология Canesta — первая в своем роде, которая может быть предложена по цене достаточно низкой, чтобы привлечь интерес изготовителей карманных компьютеров и сотовых телефонов. Представители компании считают, что новая технология добавит всего несколько десятков долларов к себестоимости мобильных устройств, причем эта «добавка» будет постепенно уменьшаться по мере развития технологии и увеличения объема продаж.
Представители Canesta отмечают, что в отличие от других беспроводных технологий типа Bluetooth и 802.11b, которые были разработаны, прежде всего, для коммуникационных целей, чипсет виртуальной клавиатуры ориентирован на изменение технологии ввода данных, которая до сих пор является узким местом, сдерживающим широкое распространение мобильных устройств.
Испытания показали, что ввод данных при использовании виртуальной клавиатуры является более точным и быстрым, чем в изделиях, основанных на использовании стилуса, и менее утомительным, чем в изделиях, основанных на однопальцевом вводе.
На выставке Ceatec Japan 2002, проходившей в конце 2002 года в Японии, компании NEC и Canesta совместно представили работающий прототип оптической клавиатуры.
Модуль имеет вертикально ориентированный проектор, который через зеркало проецирует картинку клавиатуры на любую более или менее ровную поверхность, и оптический сенсор, который отслеживает положение предметов, в том числе и пальцев оператора, относительно проецируемых клавиш.
Тот факт, что разработкой заинтересовалась такая фирма, как NEC, вселяет оптимизм.
Представьте, что подобный модуль можно поместить в сотовый телефон для набора SMS и e-Mail, в карманный/настольный/планшетный компьютер и даже в MD-плеер для задания имен композиций.
Коммерческая эксплуатация технологии намечена на вторую половину 2003 года.

Другие применения новой технологии

Advanced Input Devices (AID), подразделение Esterline Technologies, и Canesta Inc., ведущий поставщик технологии электронного восприятия, объявили в июне 2003 года, что они подписали соглашение, в соответствии с которым AID будет внедрять технологию Canesta в ряде важных направлений. AID специализируется на разработке и внедрении нестандартных устройств ввода данных в медицинской, электронной и оборонной промышленности. За последние 25 лет специалистами AID разработано более 2000 уникальных и заказных систем ввода данных для более чем 1000 компаний.

pic

Представители Canesta и AID отмечают, что внедрение проецируемых клавиатур в медицинских учреждениях позволит отказаться от использования физических клавиатур, которые быстро собирают биологические загрязнения и требуют постоянного поддержания их стерильности. Виртуальная клавиатура может проецироваться на легко очищаемую поверхность типа нержавеющей стали. Проецируемые клавиатуры позволят отказаться также и от сенсорных экранов, которые обычно требуют частого технического обслуживания.

pic

Виртуальные устройства могут быть очень полезными в военных и аэрокосмических приложениях с их жесткими ограничениями на вес и размеры. То, что виртуальная клавиатура в отключенном состоянии не занимает места, может быть привлекательным и для использования ее в автомобилях.
Использование виртуальной клавиатуры на предприятиях розничной торговли, в аэропортах и вокзалах исключит загрязнение и порчу клавиатуры.
Представители AID считают, что их первые изделия, основанные на электронной технологии восприятия, появятся на рынке в начале 2004 года.

Значение новой технологии для теории и практики

В отличие от стандартных устройств восприятия, которые анализируют только свет, система фирмы Canesta анализирует и свет, и данные о расстоянии до объектов перед линзой.
«Традиционные камеры оперируют в двумерном мире. Поэтому для них трудно увидеть разницу между лицом и изображением лица», — говорит Jim Spare, вице-президент по маркетингу фирмы Canesta. — «Мы можем обеспечивать намного более богатый набор информации, которая, например, была бы способна показать объемное изображение лица человека».
Существующие системы распознавания человеческих лиц обычно измеряют расстояния между элементами лица, но не измеряют рельеф поверхности лица. Технология Canesta может использоваться для построения трехмерного изображения лица, включая, в частности, все индивидуальные особенности строения ушных раковин, что имеет важное значение для создания более точных систем безопасности. Кроме того, теоретически на базе данной технологии можно делать интеллектуальные охранные системы и системы бихевиористической идентификации (скажем, ваш ПК будет опознавать вас по тому, как вы себя ведете, как поворачиваете голову или по привычке крутить карандаш между пальцами).
Специалисты Canesta отмечают, что теперь появляется возможность создания компьютерных игр, с которыми игроки могут физически взаимодействовать способами, отличными от простого нажатия на клавиши или поворачивания джойстика. Компании, разрабатывающие игры, могли бы оборудовать свои устройства чипсетом Canesta с сенсором, который следил бы за каждым движением игрока, регистрируя наклоны, прыжки или удары.
Разработка Canesta позволяет наиболее эффективным образом реализовать выдвинутую два года назад идею подвижных компьютерных игр, описание которых можно найти на www.bahromk.by.ru Для новых подвижных компьютерных игр предполагалось использовать значительно более громоздкую сканирующую систему. Сами эти компьютерные игры не зависят от способа сканирования, но теперь с появлением новой технологии в такие игры можно будет играть и дома, а не только в специально оборудованных игровых залах или на дискотеках, как предполагалось ранее.
Будущие приложения технологии могут быть значительно шире, чем представляется в настоящее время. По существу, разработка Canesta — система технического зрения, которая позволит наделять роботов способностью видеть и опознавать окружающее. Специалисты по искусственному интеллекту многие годы пытались научить компьютер видеть. Осмелюсь утверждать, что в основном они шли неверным путем. Главная причина затруднений в проблеме анализа визуальных сцен состоит в том, что, за исключением сравнительно простых случаев, концепция «отдельного самостоятельного объекта» не может быть сформулирована в терминах свойств подмножеств плоского изображения.
Представим себе робота с телевизионной камерой вместо глаза. Такой робот-циклоп наблюдает и старается понять окружающие его трехмерные объекты (сцены). Однако камера передает роботу лишь двумерный образ. Анализ сцен требует способности выделять составляющие их компоненты. На языке теории распознавания образов это означает, что робот должен быть способен распознавать различные двумерные предметы, которые могут получаться в результате проецирования трехмерных объектов (в общем случае, частично загораживающих друг друга) на плоскость изображения. Еще в 1969 году М. Минский и С. Пейперт доказали, что линейное устройство параллельной классификации этого сделать не может. Для того чтобы все же научить компьютер видеть, разрабатываются специализированные экспертные системы с обширными базами знаний и сложными эвристическими правилами интерпретации.

pic

Разумеется, система технического зрения, разработанная Canesta, не решает всех проблем, но для не очень удаленных объектов с незеркальными поверхностями появляется возможность существенно упростить решение проблемы оперативного трехмерного восприятия.

Разработки других фирм

В марте 2002 года на компьютерной выставке CeBIT была представлена также виртуальная клавиатура, разработанная Siemens по технологии израильской фирмы VKB, Inc. Устройство позволяет реализовать также и виртуальную мышь. Компания VKB, Inc. (http://www.vkb.co.il) была создана в августе 2000 года в Иерусалиме с целью разработки виртуальных интерфейсов для компьютеров, ноутбуков, мобильных телефонов. Здесь используется проектор, который также проецирует изображение стандартной клавиатуры на любую поверхность. Информацию о том, как функционирует система, найти не удалось. Однако надо полагать, что и в данном случае имеется некое устройство, регистрирующее движения пальцев, которые печатают на красной сетке, проецируемой на стол.
На выставке CeBIT 2003 года Siemens продемонстрировала мобильные устройства с виртуальной мышью, в качестве которой можно использовать обыкновенную авторучку. Камера, встроенная в портативное устройство, распознает каждое движение, сделанное авторучкой, и передает эти данные на цветной дисплей.
То, что распространением изделий, разрабатываемых по технологии VKB, будет заниматься Siemens Procurement and Logistics Services — довольно крупный игрок на компьютерном рынке, позволяет надеяться на благоприятную судьбу этого устройства.
Аналогичное устройство разработала также американская компания Virtual Devices. Ее виртуальная клавиатура под названием VKey проецируется прямо в воздухе. Миниатюрный проектор этой системы (размером с карандаш) отображает некую решетчатую структуру, а VKey посредством камеры отслеживает движения пальцев пользователя относительно решетки, интерпретируя эти движения как удары по клавишам и движения мышью.

pic

Шведская компания Senseboard Technologies разработала виртуальную клавиатуру для людей, умеющих печатать слепым методом. Принцип ее действия основан на отслеживании движений пальцев с помощью тактильных датчиков, надеваемых на кисти рук и фиксирующих комбинации мышечных напряжений. Для распознавания движений пальцев используется система искусственного интеллекта. Устройство называется Senseboard VK (Virtual Keyboard), хотя клавиатура эта даже не виртуальная, а, скорее, воображаемая, поскольку никаких кнопок — ни реальных, ни нарисованных нет вообще.

pic

Свою виртуальную клавиатуру на выставке CeBIT’2002 показала также и компания Samsung. Новинка, названная Scurry, представляет собой комплект, состоящий из двух браслетов, которые надеваются на запястья, и нескольких колец на пальцы. Датчики движения фиксируют напряжение мышц и угол наклона пальцев в пространстве. Устройство, изготовленное компанией Samsung, также позволяет имитировать клавиатуру на любой гладкой поверхности. Отслеживая движения пальцев и регистрируя «нажатия» на клавиши, устройство выводит нужные буквы на экран. Scurry скоро должна поступить в продажу и будет стоить около $50.

pic

Принципиально новый способ общения с машиной — через жесты — разработали Джон Элиас и Уэйн Уэстерман из университета штата Делавэр.
Изобретатели утверждают, что эта умная система, названная ими MultiTouch, проще в работе, чем существующие ныне, и не вызывает тех болезненных ощущений в запястье, которые нередко испытывают люди, постоянно работающие с мышкой.
Кроме того, по словам ученых, MultiTouch гораздо более гибок в использовании, чем комбинация клавиатура/мышь, а кроме того, это устройство легко взаимодействует с системами идентификации пользователя.

Плюсы и минусы

В имеющихся публикациях приводятся в основном только достоинства новой технологии ввода данных. Попробуем проанализировать, действительно ли виртуальные устройства так хороши, как их нам преподносят.
Одним из основных неудобств, на которое указывали те, кто опробовал виртуальную клавиатуру Canesta, является отсутствие тактильного ощущения клавиш. Надо полагать, что то же самое относится и к клавиатуре VKB, и в еще большей степени к изделию Senseboard VK, в котором клавиатуры нет вообще, а есть только два гибких «браслета», надеваемых на ладони. В публикациях отмечается, что Senseboard VK — это практически идеальное решение, если не считать одного ограничения — предполагается умение печатать вслепую. Однако можно предположить, что работа на воображаемой клавиатуре все же значительно сложнее, чем обычное печатание вслепую. Дело в том, что при печати вслепую на реальной клавиатуре пальцы ощущают кнопки и специальные выступы на них, что облегчает тактильную ориентацию. Кроме того, краем глаза человек в некоторой степени оценивает расположение своих рук относительно контуров клавиатуры.
Ни в одной из публикаций не указывается на то, что в случае с проецируемой клавиатурой пальцы пользователя отбрасывают тень на рабочую поверхность. При печати на реальной клавиатуре имеется один фактор неудобства — пальцы загораживают клавиатуру от глаз. Мы к этому привыкли и при необходимости «автоматически» отодвигаем пальцы, чтобы видеть нужные клавиши. При печати на проецируемой клавиатуре имеются два фактора неудобства — во-первых, пальцы загораживают клавиатуру от глаз и, во-вторых, пальцы загораживают свет проектора. Поэтому в случае с проецируемой клавиатурой необходимо больше двигать пальцами и ладонями. Это не очень удобно и будет приводить к большей усталости, чем при пользовании обычной клавиатурой.
Другим неудобством виртуальной клавиатуры в случае портативных устройств является то, что она проецируется на поверхность между этим устройством и пользователем, «отодвигая» тем самым дисплей от глаз. Для того чтобы различать мелкий шрифт на таком удалении, нужно иметь хорошее зрение. В некоторых реализациях это неудобство отсутствует, поскольку проектор не интегрирован в PDA или мобильный телефон и представляет собой отдельное устройство, размещаемое наиболее удобным пользователю образом. Однако в этом случае появляется новое неудобство — надо носить с собой еще и проектор, представляющий собой далеко не виртуальное периферийное устройство.

Квазиреальная периферия

В настоящее время такие фирмы, как Canesta, VKB, Virtual Devices, Senseboard Technologies, Essential Reality, Samsung и др. интенсивно работают над созданием виртуальных устройств ввода данных и управления компьютером. Однако, в соответствии с отмеченным выше, все еще есть нерешенные вопросы. В феврале 2003 года был предложен новый подход к решению задачи, отличающийся от существующих тем, что клавиатура и мышь являются не виртуальными, а квазиреальными. Новые технологии для клавиатуры и мыши названы соответственно QKB и QFM (Q сокращение от Quasi).
Отличительной особенностью QKB является то, что квазиреальная клавиатура никуда не проецируется. В результате снимаются проблемы, связанные с отмеченными выше неудобствами работы на проецируемой клавиатуре. Вместе с тем, в отличие от Senseboard VK, нет необходимости в умении печатать вслепую.

pic

Квазиреальная клавиатура является более «гибкой» по сравнению с проецируемой и тем более с обычной клавиатурой. Метод печатания при этом, соответственно, квазислепой. Разработан он таким образом, что объединяет в себе достоинства обычного и слепого методов. В результате ввод данных выполняется быстрее и в несколько раз эффективнее, чем при обычном, и удобнее, чем при слепом методе.
QKB более функциональна, чем обычная клавиатура, поскольку в технологии QKB интегрированы технологии «Mouse» и «Keyboard». Технология QKB плавно переходит в технологию QFM. Причем обратное утверждение является, пожалуй, более корректным, поскольку в технологии QKB больше от технологии «Mouse», чем от технологии «Keyboard». Важное отличие QFM от QKB состоит в том, что распознающая система должна не только фиксировать факты «нажатий» на квазиреальные клавиши, но также различать «левый щелчок», «правый щелчок», «двойной щелчок», «drag and drop», распознавать переключение с режима QKB на режим QFM и обратно.
Предлагаемая квазиреальная мышь также не требует проецируемой рабочей поверхности и уже только поэтому является более эффективной по сравнению с проецируемой мышью. Для корректного сравнения с виртуальной мышью от Siemens не хватает некоторых данных. Все же на основе той информации, которая приводится на сайтах http:// www.siemens.com и http://www.my-siemens.com, можно предположить, что описываемая там виртуальная мышь позволяет отрабатывать только «левый щелчок» и, возможно, «drag and drop».
Работа с квазиреальной мышью в несколько раз эффективнее, чем с обычной, поскольку технология QFM, во-первых, дает возможность выполнения сложных действий, состоящих из нескольких параллельно выполняемых элементарных манипуляций, и, во-вторых, допускает возможность настройки, предполагающей более высокий уровень адаптации к конкретному пользователю и выбор количества мышей. Предполагается также возможность расширения набора функций QFM путем обучения компьютера. Это сделает компьютер более «персональным», усложнит работу на нем посторонним лицам, создав дополнительный барьер против несанкционированного доступа.

pic

Технологии QKB и QFM позволят значительно повысить эффективность ввода данных и управления не только при работе с портативными устройствами, но также и в процессе работы с обычными компьютерами. Они будут также весьма эффективным решением для так называемых головных компьютеров.
Кроме существенного повышения удобства и эффективности работы, будет также достигнуто:

• в случае с портативными устройствами значительное увеличение размеров экрана без увеличения габаритов устройств
• в случае обычных компьютеров увеличение рабочей поверхности стола.
Следует отметить, что технологии QKB и QFM (см. www.bahromk.by.ru) по сложности сопоставимы с технологией Canesta и могут быть быстро реализованы на базе существующих решений.

Клавиатура QKB не лишена общего для всех виртуальных и подобных им устройств недостатка, состоящего в отсутствии тактильного ощущения. Однако возможен вырожденный вариант QKB, при котором вы будете привычно печатать на реальной, хотя, возможно, и неработоспособной в обычном понимании клавиатуре, получая полный набор тактильных ощущений. При этом вы можете без какой-либо опаски сильно долбить по клавишам и, что может быть не менее привлекательно, никогда их не мыть.
Судя по всему, в ближайшее время мы можем стать свидетелями появления весьма необычных и очень эффективных средств и способов взаимодействия человека с компьютером. Об этом свидетельствует рост числа публикаций в Интернете по данной тематике и тот факт, что разработкой естественных интерфейсов и нетрадиционных способов ввода данных занимаются не только отмеченные выше компании, но и такие гиганты, как IBM (системы с голосовой активацией), Intel (компьютерное зрение) и Microsoft (компьютерное стереозрение).

Orphus system
В Telegram
В Одноклассники
ВКонтакте