人機交互技術(shù)和智能信息處理實驗室.ppt

《人機交互技術(shù)和智能信息處理實驗室.ppt》由會員分享，可在線閱讀，更多相關《人機交互技術(shù)和智能信息處理實驗室.ppt（75頁珍藏版）》請在裝配圖網(wǎng)上搜索。

戴國忠人機交互技術(shù)和智能信息處理實驗室 人機交互技術(shù)和實物操作界面 TUI TangibleUserInterface 人機交互技術(shù)和用戶界面無處不在計算及其用戶界面實物操作界面 TUI 提綱 DouglasC Engelbart 什么造就了計算機輝煌歷史 NationalMedalofTechnology 2000IEEE JohnVonNeumannMedalAward 1999ACM A M TuringAward 1997影響幾代人 創(chuàng)造計算機的歷史 PCplusGUImadethehistory ThingsbehindGUIDesktopmetaphorWIMP Windows icons menu andpointer DirectmanipulationandWYSIWYGKillerapplicationWordprocessingElectronicspreadsheet 什么造就了計算機輝煌歷史 計算機是什么 無處不在的計算 DesktopPC TabletPC PocketPC PhonePC WristPC 無線連接 計算機是什么 PC手寫設備 計算機是什么 Roomware 1950年 大型機計算時代多人一機1975年 PC計算時代信息交流一人一機2000年 普適計算時代服務一人多機 字符用戶界面鍵盤圖形用戶界面鼠標 GUI WIMP新世紀用戶界面 筆 語音 計算機是什么 計算的三次革命 計算空間 角色 界面 計算機是什么 計算的三次革命 一只眼睛十一個指頭 計算機能做什么 不能做什么 計算機計算模式 1 2 人 環(huán)境 活動 Desktop 無處不在的計算 Mainframe 大型機 臺式機 移動環(huán)境 三維空間 Postdesktop 鍵盤 鼠標 文本命令 GUI命令 WIMP PostWIMP NonWIMP NonWIMP 人機環(huán)境 虛擬現(xiàn)實VR 無處不在的計算AR 辦公自動化 科學計算 用戶界面的發(fā)展歷史 1 3 人機交互和用戶界面 計算機應用的主要障礙 硬件 摩爾定律 18個月翻一倍 軟件 每五年升一代界面 15 20年換一代60年代一70年代 鍵盤 字符界面80年代一90年代 鼠標 圖形界面21世紀 新一代界面 凡有助于縮小人機隔閡 建立和諧人機環(huán)境的理論 方法 技術(shù)和產(chǎn)品都具有強大的生命力 什么是今后計算機應用的障礙 計算機硬件技術(shù)已不是阻礙人機交互和用戶界面 計算機應用的主要障礙人機交互技術(shù)一21世紀重大信息技術(shù) 計算機研究發(fā)展的主干 計算如硬件技術(shù) 計算機軟件技術(shù) 智能接口技術(shù) 863計劃計算機發(fā)戰(zhàn)研討會2002 1 18 一 普適計算的認識 1 UbiquitousComputing ubicopm MarkWeiser1991Avision 人 環(huán)境 計算資源基礎設施 Net Devicesatvaryingscales任何時間任何地點提供信息和服務Anewparadigmsofinteraction FocusonApplicationsTherealpurposeforubiquitouscomputing ofcourse aretheapplications MarkWeiser 普適計算的認識 2 普適計算的認識 3 UbiquitousComputing多人可以使用的計算 計算環(huán)境如交互墻 會議室 電子白板 教室 普遍 到處無處不在的計算PervasiveComputing Computingpervasive 個人所擁有的計算 日用品如可穿戴計算設備擴散 滲透 普適計算的認識 4 人機融合過程 人 計算機 弱智十奇才 人適應計算機 計算機適應人 主機時代 PC時代 普適時代 普適計算中人機交互的三個主題 自然界面 naturalinterfaces 上下文感知應用 context aware 基于物理和計算環(huán)境感知到的信息的行為 簡單的上下文 重用性 和復雜的上下文自動捕捉及訪問 automatedcaptureandaccess 無處不在計算的應用試圖自動捕捉生活經(jīng)歷 提供以后對這些經(jīng)歷的靈活訪問 普適計算中人機交互的三個特征 自然化多通道模糊非結(jié)構(gòu)連續(xù) 人性化顯式感知 符號 動作 表象 情感 隱式感知 用戶意圖捕捉智能化學習能力數(shù)據(jù)挖掘 自然界面 1 IntegrateintohumanlifePeninputGestureSpeechPerceptualUITangibleUI脫離桌面 自然界面 2 第一類自然數(shù)據(jù)類型 First ClassNaturalDataTypes 視覺 聽覺 筆畫 作為基本數(shù)據(jù)類型 并支持對這類數(shù)據(jù)類型的操作 基于識別交互的容錯技術(shù)識別的準確度 糾錯的復雜度及有效度1 減少錯誤2 發(fā)現(xiàn)錯誤3 可修正錯誤 location identity objects 上下文感知 1 上下文感知 2 上下文定義 為什么 結(jié)果 誰使用 用戶十環(huán)境十它人 做什么 用戶行為 何時 何地 上下文表示上下文融合 自動捕捉及訪問生活經(jīng)歷 信息獲取 聽 看 記錄 提取聽 看 提取 記錄目的 計算機擅長十人擅長主要應用 會議室 課堂環(huán)境 個人note takingPhoneslaveXcaptureClassroom2000捕捉 源信息流記錄十關健信息的捕捉訪問 多捕捉流同步重放 普適計算面臨的其它挑戰(zhàn) 評估人的需求使用的可信度方法 以任務為中心的評估技術(shù)是不合適 社會問題安全性 可視性 可控制性 個人隱私 普適計算的理解 1 三個層次 計算為基礎層次 提供必要的軟硬件技術(shù)計算機科學信息交流計算設備之間的交流 計算機網(wǎng)絡人機交流 人機界面計算機科學 心理學等學科 服務沒有感覺計算的存在 卻無處不在的享受著服務 計算主要以服務的形態(tài)提供人們 并自然地融入社會計算機科學 社會科學 普適計算的理解 2 三個層次 mobility Interfacetransparency Desktopcomputing MobileComputing WearableComputing UbiquitousComputing 計算信息交流服務 從社會科學的角度出發(fā)從根本上徹底改造技術(shù)以適應人目標是使人獲得真正的效率使得計算機 Invisible 最好的仆人是看不見的仆人 多種多樣的服務形式 更為自然信息獲取 普適計算的用戶界面 普適計算的用戶界面 充分利用人們在現(xiàn)實生活中的獲得的生活體驗 易學習自然直觀的用戶界面直接將人們在現(xiàn)實生活中和物體的交互動作映射為和信息空間的交互過程 信息技術(shù)的尷尬 TUI的動機 傳統(tǒng)的計算工具結(jié)繩記事沙漏計時算盤簡單 可觸摸 易學習觸覺和肌肉運動知覺現(xiàn)在的數(shù)字技術(shù)功能強大 學習門檻高人們必須不斷學習適應其發(fā)展原因 生活經(jīng)驗毫無用處 界面本身就是新生事物 信息空間和物理空間 Bits Atoms PO PO PO EY PO Physicalobject EY Entity EY EY Mouse 信息空間 Bits 物理空間 Atoms 信息空間和物理空間 Bits Atoms 我們生活在兩個世界里 現(xiàn)實的物理世界和虛擬的信息世界兩種身份之間卻缺少一種無縫的 自然的轉(zhuǎn)換和交互方式人們和信息空間的交互被局限于傳統(tǒng)的圖形用戶界面 GUI 中實際上 正是GUI把我們生活的物理世界和我們要訪問的信息世界隔離開來 從桌面環(huán)境到物理世界GUI到TUI 1991年 MarkWeiser提出了 普適計算 計算是無處不在的 是不可見的物理世界本身就是界面 1981年 施樂公司提出了GUI概念 Star 是第一個采用 WIMP 界面 實物操作界面簡介 TUI 定義 TangibleUserInterface 直接將人們在現(xiàn)實生活中和物體 環(huán)境的交互動作映射為和信息空間的交互過程的用戶界面 特點 充分利用生活體驗 易學習 自然目標 盡可能的把生活體驗用到人機交互中 降低計算機技術(shù)的學習門檻 增加交互的自然性 TUI的目標 實物操作界面通過使得數(shù)字信息可觸摸而達到無縫集成物理世界和信息世界的目的 三個關鍵的概念 交互式表面信息和物體的鏈接環(huán)境反饋 和TUI相關的工作 1 UbiquitousComputing 普適計算 計算無處不在計算之間 設備之間的通訊是 透明 的例子 會議桌 便簽條二者差別 普適計算更大程度上是把GUI的交互隱喻分布到了物理環(huán)境中的各種交互設備中 GUI的拓展 適應 TUI界面則試圖摒棄GUI界面范式 力圖使物理環(huán)境成為界面本身 更多的借鑒了在計算機出現(xiàn)以前的人們的交互方式 回歸 和TUI相關的工作 AugmentedReality 增強現(xiàn)實 研究如何集成現(xiàn)實世界和虛擬世界的問題二者的區(qū)別輸入手段不同 TUI強調(diào)把直接抓取實物作為輸入手段 AR是重疊顯示現(xiàn)實世界和虛擬信息的投影 TUI的研究現(xiàn)狀 MITMediaLabTUIGroup斯坦福大學InteractivityLab華盛頓大學DesignMachineGroup加州大學GroupforUserInterfaceResearch多倫多大學DepartmentofComputerScience TUI的研究原型 ClearBoardHiroshiIshii1994 最早把現(xiàn)實中的表面做為物理空間和信息空間的集成媒介的系統(tǒng)支持CSCW一個背投的顯示器充當了物理動作和虛擬信息之間的媒介 LiveWireWeiser1995 一個給用戶提供環(huán)境反饋的例子塑料繩就會抖動和發(fā)聲 這樣就跟用戶提供了聲音反饋 Bricks GraspableUserInterfaces 可抓取界面 Fitzmaurice1995 方塊 Bricks 和虛擬物體鏈接并同步動作方塊的數(shù)目不限 可以同時操縱多個方塊TUI界面中借鑒了這個系統(tǒng)的思想 PassiveReal WorldInterfacePropsHINCKLEY1998 用于神經(jīng)外科手術(shù)規(guī)劃的一個雙手交互系統(tǒng)反饋觸覺和肌肉運動知覺二者區(qū)別 TUI界面不但是實物操作輸入 還能輸出環(huán)境反饋 MITMediaLab的研究工作 三個原型系統(tǒng)metaDESK和transBOARD抓取的實物ambientROOM環(huán)境反饋 MetaDESK 有Windows中界面構(gòu)件 如窗口 菜單 圖標 的實物對應 也有嵌入了數(shù)字信息的現(xiàn)實生活中的物體 MITMediaLab IPNetworkSimulation 用于網(wǎng)絡結(jié)構(gòu)設計基于早期的TUI平臺 Sensetable無線跟蹤pucks的位置方位 TangibleGeospace 在metaDesk上開發(fā)的一個實物操作的三維地圖系統(tǒng)用真實的路標模型 phicon 實物圖標 就可以直接編輯地圖 TransBOARD 支持協(xié)同工作的白板系統(tǒng)經(jīng)過編碼的卡片 hyperCARDs phicon 可以記載筆跡單向轉(zhuǎn)換 從物理世界轉(zhuǎn)換到信息世界白板表面作為信息集成媒介 ambientROOM 人們獲取信息的兩個渠道 前景 注意力集中的動作背景 周圍環(huán)境信息光效 聲音 氣流 陰影都是人們可以感知的背景信息 斯坦福的研究工作iStuffRafaelBallagasCHI2003 PhysicalUserInterfaceToolkit主要思想 把GUI中的界面構(gòu)件用實物來代替 如筆 滑動桿 按鈕 玩具狗 鐵筆 麥克風 斯坦福的研究工作iStuff 支持多用戶 多個設備 多個應用間的協(xié)同工作平臺無關實時配置各個物理交互設備通過無限網(wǎng)絡連接 瑞典Goteborg大學交互實驗室開發(fā)的Nostalgia 帶有傳感器的織物消除了老人們對計算機的排斥感點擊三角塊激活老歌曲和音樂 多倫多大學ShapeTape 自由彎曲的帶有彈性的帶子每隔6厘米共分布了32個傳感器帶子 實物 和自由曲線 虛擬對象 的連接 帶子的形狀直接映射為曲線的形狀 華盛頓大學DMG NavigationBlocks 用于數(shù)據(jù)庫查詢四個方盒子when who what where小盒子之間還能通過紅外發(fā)射通訊 日本ATR實驗室 筷子 數(shù)據(jù)手套跟蹤手部運動精確操作 中科院軟件所人機交互技術(shù)和智能信息處理實驗室 實物筆 紙習慣 自然 中科院軟件所人機交互技術(shù)和智能信息處理實驗室 Anote專利技術(shù)瑞典AnoteAB公司在 年代末開發(fā)出了使用數(shù)碼筆的電腦輸入專利技術(shù) Anote數(shù)碼紙 和 Anote數(shù)碼筆 中科院軟件所人機交互技術(shù)和智能信息處理實驗室 Anote數(shù)碼筆 普通的圓珠筆 微型攝相頭 讀入筆尖高速書寫的筆跡和Anote數(shù)碼紙的微點坐標微處理器 分析處理后通過蘭牙無線或USB等方法轉(zhuǎn)送到電腦或攜帶手機之中 Anote數(shù)碼紙 一般紙 紙上印刷了Anote專利的核心技術(shù)Anote微細點狀形坐標 利用這種微細點狀形坐標可以定位識別相當于地球表面大小面積的區(qū)域 Anote技術(shù)必將帶來新世紀的 革命人們只需用 Anote數(shù)碼筆 在 Anote數(shù)碼紙 上與平常一樣書寫與記錄 就可以將信息簡便的輸入電腦 這將給辦公室自動化及 信息產(chǎn)業(yè)帶來新一輪的革命 中科院軟件所人機交互技術(shù)和智能信息處理實驗室 VR指揮捧VR導游化身 中科院軟件所人機交互技術(shù)和智能信息處理實驗室 TUI的關鍵技術(shù) 心里學上注意機制環(huán)境反饋不應把用戶的注意力從實物操作中吸引開來 反饋應該是隱式的注意的平滑轉(zhuǎn)換協(xié)同設計和三維交互技術(shù)多用戶協(xié)同工作時 每個用戶在自己的小環(huán)境中分別操縱自己的實物 但是共享信息空間如果實物在三維空間種運動需要三維交互技術(shù) TUI的關鍵技術(shù) 實物和虛擬對象的鏈接鏈接的建立與取消實物和虛擬對象間的映射機制通訊和環(huán)境反饋實物和系統(tǒng)無線通訊和定位環(huán)境實時 隱式信息反饋 TUI的關鍵技術(shù) 傳感和無線通訊目前跟蹤實物的兩種實現(xiàn)方案 自帶傳感器和三維位置跟蹤實物之間 實物與系統(tǒng)之間的通訊大多數(shù)時候無線的 不干擾用戶的空間動作多通道交互技術(shù)TUI中的輸入雖然比較單一 輸出卻是多樣化的允許同時操作多個實物多種感覺通道的輸出 關鍵技術(shù) 雙手交互方式 雙手同時操縱兩個Puck典型應用 虛擬裝配肌肉運動知覺和本體感受解決復雜任務的有效途徑符合認知特點 無需視覺注意 開展TUI研究的關鍵設備 并沒有一種固定的硬件配置從構(gòu)造原型系統(tǒng)的角度出發(fā) 大致需要以下幾種設備 位置跟蹤器和無線通訊設備投影儀或者背投顯示器各種經(jīng)過定制的實物 是用戶直接抓取的各種物體 如metsDesk中的phicon Lens iStuff中的滑動桿 電子狗等 實物的兩種類型 GUI擴展型meaDesk中的各種物理菜單 圖標 滑動桿都是這種類型 IStuff中的物理界面中的物理界面工具箱也是這種類型自己定制型華盛頓大學的方盒子 瑞典Goteborg大學的點播懷舊歌曲的織物 一般都會安裝有傳感器甚至還有通訊設備 總結(jié) 1 人機交互技術(shù)和用戶界面是競爭性技術(shù)無處不在計算是未來主要的計算模式TUI是無處不在計算的主要的界面范式 實物操作界面通過使得數(shù)字信息可觸摸而達到無縫集成物理世界和信息世界的目的 三個關鍵的概念 交互式表面信息和物體的鏈接環(huán)境反饋 總結(jié) 2 總結(jié) 3 直接將人們在現(xiàn)實生活中和物體的交互動作映射為和信息空間的交互過程充分利用人們在現(xiàn)實生活中的獲得的生活體驗 易學習 自然直觀自然直觀的用戶界面 總結(jié) 4 歡迎討論 總結(jié) 2 直接將人們在現(xiàn)實生活中和物體的交互動作映射為和信息空間的交互過程充分利用人們在現(xiàn)實生活中的獲得的生活體驗 易學習 自然直觀自然直觀的用戶界面將TUI和VR結(jié)合反映了從 模擬現(xiàn)實 向 利用現(xiàn)實 的轉(zhuǎn)變 TUI和VR的結(jié)合 現(xiàn)在的VR技術(shù)設備特殊 價格昂貴隔離現(xiàn)實世界缺少環(huán)境反饋 如氣流等 VR TUI實物操作 易學習 自然性從 模擬現(xiàn)實 向 利用現(xiàn)實 轉(zhuǎn)變 TUI和VR的結(jié)合 交互設備 認知轉(zhuǎn)換 交互原語 虛擬環(huán)境 實物 交互原語 虛擬環(huán)境 VR TUI Anote技術(shù)在全世界的應用推廣進程 2000年11月由全球 多家跨國大企業(yè)發(fā)起成立了 Anote技術(shù)應用推進委員會 2002年01月微軟公司與AnoteAB公司達成戰(zhàn)略合作協(xié)議 微軟公司將在第二代WindowsXP電腦操作系統(tǒng)中建立AnotePen的標準接口 2002年03月AnoteAB公司與歐美亞各一家公司達成生產(chǎn)AnotePen的協(xié)議 被指定的企業(yè)是 愛立信 歐州 三菱 亞州 Logitech 美國 2002年06月愛立信公司研制出第一批5000套AnotePen及專用Anote紙 供世界的各企業(yè)研究開發(fā)Anote商業(yè)及實業(yè)模型 2002年09月三菱公司將在亞州的AnotePen生產(chǎn)權(quán)利轉(zhuǎn)讓給日立集團 2002年11月美國Logitech公司生產(chǎn)出第一批5000套AnotePen及專用Anote紙供系統(tǒng)開發(fā)商用于商業(yè)模型的開發(fā) 并將于2003年初開始批量生產(chǎn) 2002年12月中國聯(lián)通公司在香港投資2 400萬美元成立 愛你多 中國 有限公司 專業(yè)開發(fā)AnotePen在移動通信系統(tǒng)中的應用 2003年03月日立公司向中國聯(lián)想 神州數(shù)碼 中科集團等企業(yè)介紹了AnotePen的開發(fā)及生產(chǎn)預定情況 2003年06月日立公司研制出第二代AnotePen 并將于2003年09月批量投入市場