背景&序言
2022年，隨著BirdBath和光波導兩類光學方案的技術達到量產，國內消費級AR眼鏡涌現出一批新產品。尤其以觀影娛樂為主場景的分體式眼鏡，頭部的4家公司被業內及媒體稱為「AR四小龍」，分別是雷鳥創新、Rokid、Nreal、Inmo。
除此之外，國內手機廠商「華米OV」均有入局，羅永浩「真還傳」後創立「細紅線」，吳德周離開新石實驗室創立「致敬未來」。已知入局的國內企業就有35家，而長尾還將不斷增加。
人們開始把2022年定義為「AR消費級眼鏡的元年」。業內對VR和AR普遍有不同的認知：VR相當於遊戲機，雖然VR產品的硬體技術已經基本完善，但難點在於內容和生態的構建，需要大量的遊戲及影視的內容生產，持續積累數量和提升質量。而AR/XR有望成為下一代可代替手機的泛用型產品，在解決了硬體的基礎體驗問題後，不斷擴展使用場景，加入更便捷的人機互動方式，這個體量是可以等同於手機的。所以可想而知，如果這個故事成立，資本市場是願意早點入局搶占先機的。
另外，相傳蘋果最早將於2023年春季推出自己的AR/VR產品，名為Reality Pro，售價在3000美元左右，相當於Quest Pro價格的2倍。此產品將有別於世面上的同類產品，加入眼動追蹤和體感手勢的人機互動方式。蘋果從2015年開始布局，近幾年密集申請了大量AR/VR領域的專利，在國內市場諸多新興品牌涌現後，老蘋果終於按耐不住，將以怎樣的方式進入市場，行業內一直在期待。
當然目前大部分資本市場對AR/XR產業的態度還是「長期看好，短期觀望」，因為預計達到硬體成熟的時間是5-10年，大部分入局的企業都做好了打持久戰的准備。最近又接連傳來頭部VR公司裁員的消息，業內都很擔心會像2016年的曇花一現。「元宇宙」這個長期願景多久能兌現沒有人能給出准確答案，但冷靜一點的都明白，距離行業爆發為時尚早。
我們都希望自己能預測未來科技的走向，希望能引領下一個智能終端時代，然而我們大部分人短視而且記性不好，只看到過去十年的經歷，卻不願去探究歷史的發展規律。國內AR/XR行業雖然這幾年進展不錯，但卻沒在一些顯而易見的底層產品邏輯上達成共識，對比國外的科研進展，我們一直在光學方案上死磕卻沒有幾家公司在探索新的人機互動範式。矽谷的大咖都知道的事情，放在國內卻很少看到相關的觀點和討論，這讓我捏了把汗。
這個底層的產品邏輯到底是什麼？或許我們應該先仔細研究一下歷史。過去40多年里，我們無非就經歷了兩次智能終端革命，一次是個人電腦，一次是智慧型手機，前兩次都跟賈伯斯有關。如果第三次是AR/XR的革命，我們應該向前兩次革命借鑒什麼？我們能從賈伯斯的思維模式中學到什麼？
1. 賈伯斯的三個遺產
2007年1月19日，賈伯斯站在舊金山的Macworld博覽會舞台上，向世人發布了iPhone初代。這一年賈伯斯52歲，距離去世還有4年。這場發布會之所以重要，是因為從這款產品開始，人類真正進入了智慧型手機時代。
發布會的第5分鍾到第10分鍾實際上濃縮了蘋果公司至今仍能引領時代的一切，就這5分鍾賈伯斯娓娓道來地介紹了iPhone的革命性成果，邏輯行雲流水，這不只是他的演講稿，也是他貫徹在產品里的哲學：
前5分鍾的暖場和鋪陳不再贅述，第5分鍾開始引出正題——重新發明手機。
接下來是對Multi Touch的一系列介紹：
以上就是發布會的前10分鍾演講內容，賈伯斯在10分鍾里概括了3點怎樣做一款跨時代的智能終端設備：
如果我們想為AR/XR產品開一場像iPhone初代這樣封神級別的發布會，引領第三次智能終端革命，把智能眼鏡也送進「1億俱樂部」，我們起碼應該滿足以上3個條件。接下來的章節會圍繞這3個方面分別回顧歷史，並給出AR/XR實現泛用的解決方案。
首先來看第1個條件——革命性的用戶界面，其實這個UI界面並不革命，就像賈伯斯說的，20年前（以2007年為坐標）個人電腦上已經解決了。蘋果是做個人電腦起家的，在PC時代積累的成果和經驗只要稍加改進就可以復用到智慧型手機時代。所以我們要回到40年前，看蘋果是怎樣起家的，PC時代的UI界面是怎麼被發明的。
2.1 有錢的鄰居，PC與GUI發明史
1973年，世界上第一台個人電腦奧托（Alto）由施樂的PARC研究院發明。它首次搭載了滑鼠（Mouse）、桌面比喻（Desktop Metaphor）、圖形用戶界面（GUI-Graphic User Interface）。
但在講述施樂PARC研究院發明PC和GUI之前，先來回顧一個更出名的故事——賈伯斯與蓋茨的相愛相殺，這兩個1955年出生的同齡人是怎樣開啟PC消費時代的。
1977年apple II發布並大賣，但好景不長，銷量出現瓶頸。1979年賈伯斯帶領研發團隊參觀了施樂PARC研究所，並觀摩了施樂之星（Xerox Star）原型機的用戶界面。隨後便啟動了Lisa（以賈伯斯長女的名字命名）的研發項目。
1980年，因為與管理層的矛盾，迫使賈伯斯轉戰麥金塔（Macintosh，初代的Mac電腦）項目。當時賈伯斯跟蓋茨達成協議，微軟將為麥金塔電腦編寫BASIC程序，以及全新獨占的圖形界面軟體Excel和Word。在此期間，兩個團隊頻繁合作，蓋茨也目睹了麥金塔作業系統的很多細節，他也相信GUI的作業系統會是大眾電腦的未來。微軟團隊秘密啟動了代號為「SAND」的項目來研發作業系統，全稱竟是「Steve’s Amazing New Device（賈伯斯的神奇設備）。
後來的故事家喻戶曉，1983年11月微軟宣布為IBM開發Windows作業系統，蓋茨在紐約赫爾姆斯利大飯店主持了一場賈伯斯風格的發布會。賈伯斯對此很憤怒，叫蓋茨過來對質。賈伯斯咒罵蓋茨盜用了他們的東西，而蓋茨說出了那句經典反駁：「我們都有個有錢的鄰居，叫施樂，我闖進他們家准備偷電視機的時候，發現你已經把它盜走了。」
再後來1984年麥金塔電腦發布，1985年Windows 1.0發布。GUI為個人電腦降低了用戶使用門檻，越來越多的人開始使用電腦，PC時代真的到來了。
講完賈伯斯與蓋茨的故事，來看看這位「有錢的鄰居」都做了什麼。
1970年，施樂帕克研究中心（Xerox Palo Alto Research Center，簡稱Xerox PARC）成立。負責人鮑勃·泰勒(Bob Taylor)說「在美國最優秀的100位電腦科學家里，有76位在PARC。」
PARC的1號員工是艾倫·凱（Alan Kay），就是上文提到的賈伯斯在iPhone發布會上引用那句格言的作者。老爺子生於二戰期間，今年已經83歲，他是圖形用戶界面GUI的理論奠基者和最早實踐者，是「面向對象」的程式語言Smalltalk的發明者，是個人教育電腦的最早構想者。
可以這麼說，如果沒有他的遠見卓識，就沒有今天作業系統上「所見即所得」（WYSIWYG：What You See Is What You Get）的GUI。1979年也是在他的引導下，賈伯斯及其團隊參觀了PARC研究院。後來1984年他也加入到了蘋果的研究院ATG (Advanced Technology Group)[李開復也曾在ATG負責語音識別方向的研究]。
Kay在當時對認知心理學和兒童心理學做了深入的理論研究，提出了「使用圖像來創造象徵」（doing with images makes symbols）的觀點。如今互動設計師都熟知的鐵律，要把操作流程做得直覺化，也是他早期研究兒童的學習認知過程所提出的。賈伯斯也推崇直覺化操作的理念，這個信條如今已是常識了，但在當時還靠代碼輸入指令的年代具有前瞻性意義。
另外Kay提出的Smalltalk程式語言，引領了「面向對象」的設計思潮，與GUI的操作流程也相輔相成。後來的程式語言C++、Objective-C、Java等都受到它的影響。下面來看一段對Smalltalk的解讀，可以充分理解「面向對象」的基本原理：
讀完這段文字不知道你會聯想到什麼？這讓我想到了如今電腦界面上最常見的操作——單擊一個圖標會出現一個菜單列表，然後再選擇你要的入口或操作。
世界上第一個GUI設計師誕生於PARC研究院，這位Lead Visual Designer名字叫Norm Cox 。最早的圖標設計比稿也誕生於此，家喻戶曉的三條橫線「菜單」圖標也誕生於此，有太多的發明在PARC研究院誕生，這也是為什麼讓賈伯斯震驚的原因。
Cox接受采訪時說：
另外一位主設計師Dave Smith這樣說：
2.2 XR-GUI中的恆量與可確定的變量
重溫PC和GUI的發明史，還原史料記載的細節，是為了確定這個革命性的用戶界面是什麼。如果我們不把它們追本溯源地找出來加以確認，我們可能沒法意識到未來發展中不變的恆量。GUI中的G是Graphic，圖形的意思，而Graphic Design也被國內翻譯為「平面設計」。到了XR的三維世界，整體的UI界面仍將是二維平面的，這個G會一直存在，因為這些象徵化的圖形語言早已深入人類心智，我們也已經習慣了在二維平面上組織和展示信息。
確認了不變的東西，來設想一下在AR/XR上會改變的東西。電腦、手機、平板電腦，依然是局限在螢幕里的GUI，而AR/XR眼鏡是眼前的GUI。因為沒有了螢幕，又長時間置於眼前觀看，所以有一個可以確定的變量應該是被消除的——主界面窗口的白色背景。
一是出於續航的優化，就像智慧型手機後期出現了「暗色模式」（Dark Mode），主要是為省電考慮。二是出於保護視力決定的，雖然現在Birdbath光學方案都獲得了德國的萊茵護眼認證，但長時使用還是容易疲勞的。AR/XR的GUI界面更像《三體》中汪淼眼前的倒計時，是憑空在眼前出現的，用目前新能源車上的HUD(Head Up Display)做類比也比較恰當。
AR/XR的GUI界面設計，只要是長時使用的軟體應用就應該考慮去掉主界面的白色背景，比如輕辦公軟體。甚至除了2D影視應用還需保留固定尺寸的窗口，其他應用都可以去掉，不必擔心視覺干擾的問題。人眼是精密的視覺器官，完全可以自動調整焦段，注視近距離的物體、虛化遠距離的物體。還有一個重要原因，如果視線中的物體過大，跟隨頭部移動時，很容易造成眩暈感。
所以一個AR/XR設計師，應該考慮這種非窗口的GUI是怎樣組織的。當然只是主界面的窗口背景應該被消除，小型的操作面板還是有必要保留的，它們可隨時調起和隱藏，以及調整位置和排列次序。
而3D的Launcher怎樣呈現還是業內在討論的問題。桌面圖標是否會變成3D帶有循環動效的方式，都是可去嘗試定義的。有些界面比如多任務管理，一定是以三維方式呈現的，而具體的前後關系，可移動的自由度，還沒有定論。系統控制項也會像3D方向演進，方便手勢調節的同時也會加入更多真實的物理反饋。
除了作業系統的3D化呈現，未來可預見的最大體驗升級是3D類的建模渲染軟體，比如Maya、Zbrush、Blender。在PC時代，我們要在二維的螢幕上不斷切換角度，才能對3D模型的構建，這種體驗可能三維設計師也被迫習慣了。但在AR/XR時代，三維設計師將直接變為雕塑師，再也沒有密密麻麻的界面信息，只有忠實於直覺的雕塑創作，你可以像米開朗琪羅一樣把3D模型放在工作室中央，環顧自己的作品，又可以把它縮小到工作檯上，檢查整體的協調感。甚至3D列印在AR/XR時代都已經過時，如果你是槍械設計師，你可以設置每一個零件的材質和質量，組裝完後直接噴漆，然後像握真槍一樣測試它的手感，一切都可以那麼真實和高效。
在未來，三維模型的創造效率和體驗將會大大提升，這將是我們加速三維內容生產的前提。所以早日做好AR/XR的系統，然後配合這些三維軟體公司適配出他們的AR/XR版本，是觸發內容大爆發的前幾個必要步驟。
3.1 智慧型手機的人機互動範式——Multi Touch
作為85後、90後、95後，中國這10年間出生的IT從業者充分擁抱移動網際網路，我們似乎並不知道什麼叫「人機互動」，只知道「交互」。我們只知道一個App解決實際業務的交互邏輯，或者一個OS系統提升易用性的功能疊代，那個互動設計跟硬體基本沒多大關系。因為那個底層的範式的人機互動規則，賈伯斯已經給你定義好了。（即使全面屏、折疊屏的方案，也僅是在電容屏框架下的疊代微創新。）
賈伯斯為iPhone初代這塊3.5英寸「巨大」（在2007年）的電容屏定義了全新的人機互動方式Multi Touch，他能完全摒棄當時智慧型手機的電阻屏和物理鍵盤，僅留一個Home健在底部，還是因為Kay的那句話——對軟體真正較真的人也應該自主研發硬體。反觀現在的VR遊戲或軟體開發公司沒有自研硬體，傳統硬體製造廠商又沒有認真對待自己的OS作業系統和軟體應用。人機互動的底層創新一定是軟硬體的合力共同促成的，然而大部分企業只在電子產品的已有品類里做生意，他們對開創新時代不感興趣。
先來看看Multi Touch軟體層面的定義，下表選自蘋果的官方設計指南HIG（Human Interface Guideline）中的觸屏手勢（Touchscreen Gestures），實際上就是Multi Touch的基礎操作了。
賈伯斯在發布會全程展示了大部分手勢操作：
如今這些觸屏手勢我們天天都在用，但首次發明這個東西的人值得被歷史銘記。其實有些手勢能看到PC的影子，比如點擊、雙擊、拖拽，但用手指操作比用滑鼠操作更直接、更直覺。蘋果可能不是第一個使用電容屏的手機，2006年LG與Prada聯名做了一款時尚手機，比iPhone發布會早了1個月。但利用電容屏優勢找到人機互動完美解決方案的Multi Touch，無疑是蘋果的專利。
另外再回顧一段支線歷史，早在1968年，Kay的博士論文就提出了Dynabook的構想，一台為兒童教學設計的移動電腦。後來又衍生出了「知識導航官」（Knowledge Navigator）的概念。Kay對這個概念一直心心念念，後來也集中體現在蘋果iPhone之前的一款試錯產品Newton PDA（Personal Digital Assistant）上面。
PDA的產品品類屬於細分市場，功能單一、顯示單色、手寫識別度差，只存在了一段很短暫的時間。但你可以在這款產品上看到iPad的影子、Siri的影子，以及更能理解「面向對象」的交互思路。如果再扯遠一點，甚至錘子手機里——文本的跨應用拖拽，都有它的影子。從這段歷史也能看到，iPhone的成功絕非偶然，是賈伯斯建立在前人試錯基礎上的背水一戰。
一款極致的產品是軟體的精巧構思和硬體的量產攻關共同促成的。成熟產品的供應鏈早已整合完善，但對於初代iPhone，如果不是產銷雙方共同的堅持與努力，就無法實現關鍵硬體的量產商用指標，比如玻璃這種東西：
當時的主流手機電阻屏都是塑料材質，觸屏需要用指甲蓋用力劃才能操作，用久了也會充滿劃痕。玻璃成為最好的選擇，但玻璃也有缺點，非常易碎。最終賈伯斯找到康寧公司當時的CEO威克斯（Wendell Weeks），說服他在6個月時間研發出符合標準的玻璃用於iPhone。
其實康寧早在1962年就研發了一種名為Chemcor的擋風玻璃，但因為銷量不好，1971年就關閉了產線。2006年，康寧重啟產線，在6個月內，他們將這種玻璃的厚度從4毫米降到了賈伯斯期望的1.5毫米。後來2010年經過疊代，正式將這款玻璃命名為「大猩猩」（Gorilla）。
iPhone發布當天，威斯克收到賈伯斯的一條短息：「沒有你，我們做不成這件事(We can’t do it without you.)」。後來這個便條被表到相框作為紀念品放在威斯克辦公室里。往後的幾年間，康寧不斷自我死磕，一直疊代到第六代「大猩猩」玻璃，除了更薄、更輕，更強硬度、更好柔韌性之外，還有更強的抗跌落性和抗刮擦性。
舉康寧這個例子是想說明一個問題：硬體的攻關需要建立在正確的人機互動方案已經非常成型的前提下才能實施。XR時代的人機互動方案還未定型，這是硬體沒有迅速發展的原因。品牌廠商與供應鏈廠商是互相確認的關系，不存在誰等誰成熟以後才有大風口的邏輯，誰向前進一步，誰就能為對方提供多一點支撐，最終產業的成功是雙方合力的結果。
3.2 離開舊時代要下狠手——XR時代的輸入方案
上文提到了蘋果的官方設計指南HIG，「觸屏手勢」放在了HIG的輸入(Inputs)大類——最後一個（如下圖所示），其他的輸入方式還有滑鼠、鍵盤、手把、遙控器等等。HIG可能是目前行業里最全的設計系統了，它並不像Google、微軟的設計系統定義了很多瑣碎的控制項視覺樣式規格，反而對人機互動設計做了非常詳盡全面的描述，或許這就是蘋果不同於其他科技公司的原因之一。
用什麼設備輸入直接決定了人機互動的產品形態，VR遊戲機主流的輸入設備還是手把，依然需要搖杆和按鍵來操控。搖杆現在確實也是主機遊戲手把的標配方案，雖然對大部分玩家被訓練過了，但對於初學者尤其是在玩FPS（第一人稱射擊，First-person Shooting Game）類遊戲時，還是會有點無所適從。
搖杆作為上世紀的發明，最開始用於飛機控制面板。後來街機行業借鑒了這個發明，發展成了8向搖杆。街機搖杆是遊戲硬體史上的一個重大進化，它符合人機互動的直覺。再後來就被應用到了雅達利和世嘉最暢銷的遊戲機上，比如1977年風靡一時的Atari 2600。
1983年，橫井軍平發明十字鍵，它被應用在任天堂FC上，很多80後熟悉的記憶，俗稱紅白機。他之所用十字鍵替換搖杆，是因為當時日本的房間普遍狹小，遊戲機經常就放在地上，因此手把容易被踩到，如果帶有搖杆則會被踩斷，而十字鍵更安全、更耐用。
在遊戲機早期，用一個搖杆來玩2D橫版卷軸類的遊戲是夠用的。後來3D第三人稱遊戲的出現，就出現了雙搖杆手把。1997年，歷史上第一款雙搖杆手把由SONY研發，名稱為Dual Analog 。一個搖杆控制位移的方向，一個搖杆控制視野的方向，這種雙搖杆從PS2一直延續到現在的PS5。
到了VR遊戲機，這種雙搖杆手把也一直被廣泛使用。但操作體驗越來越被詬病，十個手指使用最多的依然還是拇指和食指，在玩一些還原度較高的射擊類遊戲時，學習曲線驟增，既要換槍換子彈，又要顧及到自己的方位和視野。這種體驗就像是在用兩個拳頭玩槍械，也可以比喻為機器貓的「圓手」，我們的雙手一直握持著手把從來沒松開過，從來沒伸展過靈活的手指。
實際上在智慧型手機那里，我們也使用了過多的拇指。iPhone初代發布會上，賈伯斯還是用食指在做DEMO展示的，可後來人們更習慣使用拇指，即使是用全鍵盤打字時，也是兩個拇指按來按去。智慧型手機初期，還有一些發揮多點觸控優勢的遊戲，比如《憤怒的小鳥》、《水果大戰》。到了後期流行的又是PC上的熱門遊戲再做一次移動端適配，比如《爐石傳說》、《英雄聯盟》、《暗黑破壞神》。
智慧型手機時代基本上是觸覺消失的時代。我們的手指在光滑的玻璃上劃來劃去，雖然線性馬達提供了一些震動反饋，但仍然微乎其微。所以到了XR時代，我們要把十個手指張開，把丟失的觸覺找回來。手把和觸屏已經是舊時代的產物了，是時候該拋棄它們。拋棄螢幕我們有AR/VR眼鏡，拋棄手把我們有什麼？
目前有3款已知的解決方案走在正軌，走在前面：
大名鼎鼎的V社（Valve Corporation維爾福集團）老玩家一定很熟悉，它的成名作有太多：《反恐精英》、《刀塔2》、《求生之路》，2020年發布的VR遊戲大作《半衰期愛莉克斯》（Half-Life ALYX）也出自他們之手。早在2016年STEAM開發者大會上，V社就公布了Valve Kuncles的原型機，這是一款可以對虛擬對象進行自然抓取和釋放的手把。2019年6月，正式更名為Valve Index Controllers，與頭顯同步發售。
它的主要工作原理是靠手掌與手把的輸入元件（搖杆、觸控板、按鈕）接觸產生電容，以及藉助壓力傳感器和一系列算法，實時建模渲染，計算和顯示手指的實際姿勢。當然也要配合像陀螺儀、加速度計等標配的傳感器，官網宣稱共搭載了87個傳感器。它應該是第一款能讓玩家自然抓握的手把，玩家的中指、無名指、小拇指也終於得到了釋放，不再僅僅是「拇指手把」。
因為它的定位還是VR遊戲手把，為了適配STEAM平台的遊戲，還保留了搖杆和按鍵。而小扎的FRL(Facebook Reality Labs)實驗室並不是奔著遊戲去的，而是為了未來10年更泛用型的AR眼鏡及輸入配件。FRL有幾大研究方向：AR眼鏡、肌電手環、觸覺手套、腦機接口。目前有望在近期轉化為消費級產品的應該是EMG肌電腕帶了。2019年9月，以10億美元收購了一家紐約的初創公司CTRL-Labs，這是一家研究EMG腕帶和腦機接口的公司，被收購後全員進入FRL實驗室。這是Facebook五年來最大的一起收購案，上一次還是以20億美元收購Oculus。
EMG手腕的工作原理是通過傳感器測量肌電圖，將運動神經元信號轉化為輸入指令，實時識別手勢並模型渲染。同時結合AI算法預測手指動作，用戶使用越多，算法識別用戶意圖越精準。這種機器學習結合神經科學的方案，大大提升了人機工效，代替鍵鼠和觸屏只是時間問題。
目前我認為最靠譜的一款產品是Tap XR，目前售價299美元，單看產品形態就比FLB的EMG腕帶更輕量時尚，有六種色彩可選。它由一家加利福尼亞的初創公司Tap Systems研發，目前估值才100萬美元，但已經有兩款完成度很高的產品了（第一款是Tap Strap 2）。有別於EMG方案，Tap XR使用IMU（慣性測量單元）方案，支持6Dof。用戶使用時，有點像在敲摩爾斯電碼，跟傳統鍵盤的映射有區別，需要花時間學習訓練，但據說學習曲線不高，熟練者可達到70WPM(每分鍾打字數)。
對於一款消費級產品來說，它已經很厲害了，支持Windows和Apple作業系統，兼容主流VR平台，電池續航10-14小時。不僅能打字，還包括各種菜單選擇的交互。這跟我所構想的人機互動輸入已經很接近了，唯一的缺點就是只有單手操作和學習曲線的問題。
除了以上三種方案之外，坊間還流傳著蘋果的Smart Ring方案，Inmo今年也將推出官方的智能指環。指環也搭載了力傳感器、慣性測量單元、超聲波傳感器、觸摸傳感器等。但目前的信息只有公開的專利，是否會跟AR配套發布這個產品也只是猜測。
看了這麼多輸入配件，可見AR/XR絕不是做一個眼鏡設備那麼簡單，別忘了它是智能可穿戴設備的范疇，人機互動的輸入方案如果不夠高效直覺，很難成為手機的替代產品。就像FRL首席科學家Micahel Abrash將AR交互稱為「最難也最有趣的多學科問題之一」。目前Facebook和Apple兩大陣營的交鋒還不明朗，兩個CEO都看好AR/VR的發展，但蘋果的信息安全保密工作做的比較嚴實，只能等待今年的WWDC發布會才能見分曉。
整個AR/XR消費級解決方案將是一個多模態交互的方案，是HCI（人機互動）與GUI（圖形用戶界面）共同科研創新的結果。這種軟硬一體化的共創是小公司完成不了的，小型科技公司可以深耕關鍵技術，尋求單點突破，然後與大型科技公司深度合作綁定，完成人機互動和硬體生態的製造閉環。而這些大公司則可以選擇投資或收購的方式，將上下游產業納入自己的供應鏈體系。
國內的AR/VR公司很少看到他們在人機互動方面的進展，相關報導主要還是集中在內容生產和光學方案。我不確定國內行業內的普遍認知是否有盲區，還是已經明白過來了但還沒有實質可公開的進展，總之不從HCI的學科角度去做AR/VR的前沿探索，註定會走不少彎路。彎道超車也更別提了，因為還沒看見彎道是什麼。
3.3 我所構想的XR人機互動方案——Multi Tracking
現在假設已經比較完美解決了硬體上的諸多問題，在理想狀態下，我來構想一下在5年內可以實現的人機互動解決方案。如果智慧型手機時代的人機互動是Multi Touch，那麼AR/XR時代的人機互動應該是Multi Tracking，它是「手指追蹤+眼動追蹤」的多模態交互。
首先還是來構想一下打字輸入方案，因為雖然我們可以使用語音藉助VUI實現輸入和輸出，但打字依然是移動辦公場景中最先使用的輸入方式。
那麼你所設想打字方式是怎樣的？五個手指甲上都帶有傳感器，或者戴上有更多傳感器的手套，然後識別出一個實體的桌面，或者直接錨定一個空間中虛擬的平面，然後把虛擬的鍵盤放在上面。接下來你的雙手就可以打字了。好像聽起來不錯，但還有個問題——
檢驗移動輕辦公場景的解決方案是否真做對了，有一個很簡單的評判標準，就是在地鐵里你要是真用XR眼鏡辦公，你是否難為情？隱私性當然沒問題，因為螢幕就在你眼前，其他人看不到。但當你舉著兩只手在憑空打字的時候，其他乘客可能覺得你有病。
VR里有個東西叫化身（Avatar），是你在虛擬世界的自我控制的個人形象。「阿凡達」也是這個詞，UI界面里「頭像」也是這個詞。但我今天想說的化身不一定是一個人，它可能是人的局部軀體，比如雙手。當這個虛擬鍵盤上已經有了兩個虛擬雙手放在那里，這就是你真手的化身。你的真手只需要跟它的關節做一個匹配，然後不管你的真手放在哪里，只要你手指做了按下的動作，你的手指化身也會映射相同動作。所以你不再需要保持固定的打字姿勢，設想現在地鐵里很擁擠，擠到連抬手看手機的距離都沒有。但你佩戴了XR眼鏡，你現在雙手插在褲兜里，你的手指開始按來按去，是的，你已經在輕辦公了。
這個構想其實像前文提到的Tap XR，它如果技術上能實現雙手全鍵盤操作，應該會成為主流的人機互動方式。另外，FRL實驗室找殘障人士測試過EMG腕帶，螢幕中的虛擬手模就像測試者的「幻肢」一樣可以靈活操控。所以我認為這個虛擬手模是一定要顯示出來了，起碼在用戶使用早期，先適應了映射關系，然後就可以實現「盲打」。系統可以設置幾個顯示檔位，全虛擬手模顯示、只顯示手指、完全不顯示僅有虛擬鍵盤。
計算器跟全鍵盤也是一樣的，因為要形成可復用的人機互動範式。設想現在有個算術題要用計算器，用戶使用語音喚出眼前的計算器按鍵布局和虛擬手模，然後在褲兜里按幾下，眼前便出現了計算結果。這比低頭用手機按計算器會方便很多。
下面構想一下最基礎的操作——喚起、選擇、確認、返回。首先第一個思路是怎樣把電腦和手機上已有的人機互動轉化到AR/XR上，因為用戶已經熟悉的交互方式不需要學習成本，然後第二個思路才是藉助眼動追蹤和手指追蹤做一些新變化。先來看看有什麼值得繼承和復用：
Mac電腦有一個觸發角功能，你可以定義滑鼠移動到螢幕的四個角來觸發一些高頻操作，比如左上角定義為調度中心，右上角定義為回到桌面，左下角定義為啟動launcher，右下角定義為鎖屏。你會發現滑鼠DPI設置的比較靈敏時，這些觸發角會非常好用，我在Mac電腦上每天都在使用這個功能已形成習慣。
實際上眼動追蹤是很適合做類似操作的，傳感器記錄的主要是眼球角度，而且目前眼動追蹤技術的精準度已經能夠達到0.5度。但眼球視線的落點應該更像一小片區域，而非一個精準的單點。所以要用眼動選擇的話，需要把GUI元素做大，元素的間距也做大，否則會造成誤觸和聚焦疲勞。如果GUI中確實有選擇元素較多的情況，則需要手指追蹤配合使用。另外眼動追蹤還可以配合頭部的體感追蹤，因為眼球運動時，也會下意識牽連頭動，兩者配合也是為了更確認用戶意圖、防止誤觸。
例如現在有這樣一系列操作，看看體驗如何：此時想像自己坐在地鐵里，想主動發一條微信。輕觸眼鏡架，開啟快捷入口的選擇模式；眼前上下左右各出現一個設置好的應用入口，比如上面就是微信入口，眼球向上一掃恢復原位，即可進入微信主界面。主界面里的信息列表，可通過手指上下輕掃選擇，選中一條信息輕按確認進入聊天界面。此時虛擬鍵盤和手模在下部顯示，上部顯示過往聊天信息。在大腿上活動手指打字，此時聊天信息隱藏，只顯示正在輸入的文字內容，輸入完成後回車確認發送，此時重新顯示聊天信息。完成回復後，眼球向左上角一掃，回到主界面，再掃一次，退出微信、眼前界面消失。
以上描述的操作過程還比較基礎，不包含發送圖片、分享文章之類的操作，但已經可以體會到AR/XR眼鏡的人機互動效率，它比禁錮在手機小屏里的體驗要好得多。由於時間緊促沒有做可視化的DEMO展示，可能理解起來不夠具象，但大概能體會到這種Multi Tracking配合使用的高效。AR/XR的單人日常操作體驗，應該不會像某些科幻電影里展示的那樣——小臂抬得高高的，伸出一根手指在空中劃來劃去，點來點去。先階段的單人操作需要考慮隱私性，而多人操作則需要考慮互動性（這個話題後面再說）。
4. 軟硬一體化的封閉生態系統
現在我們回到賈伯斯的第3個遺產——封閉的軟硬體生態系統。iPhone初代搭載的系統是Mac OS X，X是羅馬數字10的意思，從1984年麥金塔電腦開始，Mac系統已經疊代到第10代了。這並不是從零到一重新做了一個系統，而是把Mac OS X做了在手機端的全面適配。別忘了蘋果是做PC起家的，2007年 iPhone發布會上，賈伯斯才正式宣布蘋果公司的名稱由 Apple Computer Ins.改為Apple Ins. 。
網景公司的聯合創始人馬克·安德森（Marc Andreessen）曾評價賈伯斯說：
從2018年開始，國內手機廠商開始做手機與電腦的協同辦公功能，比如多屏協同、錘子科技的TNT顯示器。因為國內手機廠商沒有PC製造的基礎，是智慧型手機的插班生，所以現在也開始研發一些PC端的產品。而蘋果2020年推出了M1晶片，再一次整合了自己的軟硬體生態。給用戶最直觀的體驗就是，可以在搭載M1晶片的Mac上下載移動端的APP了。這一次蘋果補齊了封閉生態中晶片這一環，可以說成為了目前唯一擁有自研晶片、作業系統、軟體三方生態、硬體多終端設備的科技公司。
當羅老師做了TNT，希望用手機反向統一PC時；蘋果則從自己的老本行Mac入手，正推統一了iPhone和iPad。可能姜還是老的辣，1973年，中國第一台每秒鍾運算速度達到100萬次的集成電路電子計算機試製成功；同年大洋彼岸，第一台個人計算機奧托也誕生了。所以我們還是要正視差距的。
蘋果與Wintel陣營和Android陣營的較量，讓用戶一直在為他們的價值觀站隊。賈伯斯的完美主義為蘋果留下了這個軟硬一體化的封閉系統，實際上他的出發點或許是為了體現審美品味，塑造品牌差異化，與同時代的競爭對手劃分消費者心智的蛋糕。但在他去世後的十多年里，1984年廣告片里的反叛氣質也逐漸消失，屠龍少年終成惡龍，失去賈伯斯的蘋果在推出新產品上總是慢了半拍。就看今年的AR/XR新品將是「十年磨一劍」的跨時代產品，還是江郎才盡的平庸之作。
國內的科技企業雖然沒趕上20世紀80年代的PC熱潮，但21世紀的前20年里成為移動網際網路的重要參與者。接下來20年，將會是AI+AR的時代，Facebook和Apple目前正在AR/XR行業領跑，我們當然可以觀望可以減少試錯成本，等待他們的產品得到市場驗證後再下場。但就怕像iPhone初代發布會一樣，賈伯斯宣稱領先行業5年，這已經不是18個月能搞定的事，到那時，我們要補的功課、要交的學費會更多。
5. XR時代需要解決的社會問題
科技帶給我們便捷的同時也催生了很多問題，Kay曾提出過「消費和創造應該是對稱的」觀點，然而今天消費遠比創造泛濫得多，很多創造也只是為了迎合消費。除了為自由市場經濟創造價值之外，在企業里應該需要一批富有遠見的學者，把社會責任、人類演進放在研究首位，產生更多元的長遠價值。
Kay在接受采訪時對iPhone表達了一些批判性的觀點：
他對Mac也有相同的批判：
反思智慧型手機後期，我們的注意力被消耗在手機這塊小屏上，它充斥了我們大部分的碎片時間。車廂、電梯、街道、餐館，隨處可見的低頭族臉上泛著藍光，我們忽略了身邊的交流，毫無意識地汲取「奶頭樂」信息，我們的頸椎變得僵硬，我們的精神變得冷漠麻木。
XR時代我們要解決好這個問題，讓人類回歸現實，回歸面對面的交流。有了眼前這塊無限屏，我們不再需要頻繁低頭查看手機這塊小屏。人跟人面對面的互動將變得有趣，尤其家長和孩子的交流與教學，例如我們可以跟孩子一起操作眼前的立體模型，教孩子如何通關遊戲，如何試錯與改進策略，培養孩子的空間想像能力。
蘋果的前設計師Bret Victor（他在蘋果的職位是Human Interface Inventor）曾提出過這樣一個構想，面對面即興交流時，可以就一個抽象概念在空間中畫出草圖，兩人都佩戴XR眼鏡（他並未給出技術解決方案，但可聯想到用XR眼鏡實現），可實時看到該草圖模型的狀態，並可藉助手勢操作進行實時編輯修改。這對於頭腦風暴討論方案的場景或給甲方推銷展示方案的場景都非常契合。這與他提出的原則也保持一致：創造者需要對自己創造的東西有實時反饋。（Creators need an immediate connection to what they’re creating.）
實際上，這種場景基本已經實現了，Meta Quest 2的遊戲《方塊主義》（Cubism）支持手勢追蹤後，這種在AR空間中用手搭建拼圖的體驗非常流暢。只要加一個多人模式便可實現與孩子的互動玩耍。
我很少看到國內科技公司有關學術的理論研究成果，或許我們有不少技術專家，但我們幾乎沒有人類學家、社會學家，我們對科學技術的價值評判過於單一、過於狹隘。美國有很多高校開設HCI相關的專業，有系統的教學計劃和商業實踐，而我們在這方面還基本是一片空白。我們在移動網際網路里收益太多，導致我們有大而不倒的幻覺，看看那些鑽「政策導向」空子的機構，原本要被競爭淘汰掉的劣幣卻躲進了「庇護所」。
結語： 回歸常識，放眼終局——中國作為最大的試驗場將一直存在
講完了危機的一面，來看看機會的一面。好在中國還有它的先天優勢，雖然我們不擅長做從零到一的創新，但我們擅長在一個已確定的品類里做精益創業。我們不擅長領跑，但我們擅長追趕。
舉一個國內精益創業最成功的案例——小米。雖然Anroid不是我們發明，但我們可以做ROM。2010年雷軍把金山送上市後，創立小米科技。他用了一種網際網路的開發方式，先有一個基礎MIUI版本發布，然後收集用戶反饋，做快速疊代。「橙色星期五」就是在那時誕生的，每周五發布一個新版本，放到現在很多大公司都達不到這麼快。如果不是他在做WPS積累的經驗，不是「為發燒而生」的熱情，不是那本《矽谷之火》，可能就沒有這種精益創業的極致玩法。在作業系統方面，我們對易用性的執著疊代是中國式精益創業的最佳實踐，iOS和原生Android都趕不上「華米OV」的步伐。再看看我們對硬體的疊代，攝像頭像素越來越高，後攝布局越來越復雜，螢幕從全面屏進化到折疊屏，螢幕形狀從劉海屏改進為挖孔屏。我們在細節和品質上的追求，遠比賈伯斯更死磕。
我們另外一個優勢就是14億人口規模的消費市場。未來AR/XR的智能終端革命，將是一場跟線下實體經濟緊密相連的革命。不管AR、VR、MR還是XR，都有一個Reality，這次智能終端的躍遷不會再局限於小小的螢幕里，它一定會回歸現實，讓現實更有趣。我們的學校、公司、商超、體驗店、博物館、游樂園，將遍布AR相關的信息建設，廣告行業也將發生深遠的變革。在未來，AR/XR科技公司、線下第三方運營商、用戶需要達成三贏的利益關系鏈，這個市場才會做大，而中國天生就有這樣的土壤。
iTunes音樂商店改變了唱片行業。2000年左右，人們開始下載音樂到MP3，P2P的網際網路分享精神改變了人們的聽歌方式。iPod的橫空出世也加速了盜版音樂的傳播。最終賈伯斯與BMG、華納、SONY在內的「五大唱片」公司談判，iTunes收取20%傭金，以每首歌0.79美元的價格售賣。這次談判達成了三贏局面，蘋果、唱片公司和音樂人、用戶，改變了音樂行業的生態。
App Store應用商店改變了移動應用的發行方式。2008年，蘋果公開了iPhone的SDK，為第三方應用的開發打開大門，同年第二代iPhone 3G版發布，正式預裝搭載了App Store。PC時代，軟體還是靠CD實體銷售或者線上激活碼方式發行的，像微軟和Adobe都是靠這種終身買斷制來銷售的。而到了移動網際網路時代，第三方開發者接受App Store的審核並上架，平台抽取30%傭金，用戶直接在App Store下載各種免費或付費應用，徹底改變了PC時代的開發和發售模式。這也是一場三贏局面，蘋果、開發者、用戶，三方受益，蘋果的軟體生態從此確立。
到了AR/XR時代，我們的線下商超將發生本質變化，廣告再也不是那些狗皮膏藥一樣的banner，戴上AR眼鏡你將看到一個精美的三維立體廣告世界（當然也要警惕視覺污染）。周末帶孩子去游樂園也不只是觀看實體的部分，那些虛實結合的IP形象將帶給孩子一個更廣闊的卡通世界。走進超市，只要打開商品解析模式，就可以看到每個產品的視頻廣告或使用說明……那將是一個比現實更豐富、更便捷的世界。中國的建築密度和人口密度造就了AR/XR天然的試驗場，如果這個產業做好了將持續帶動旅遊業的發展，可能會有大量的「數碼龐克愛好者」來到中國的北京、上海、深圳、成都、重慶、西安，去領略城市的獨有風光。
實際上我們僅僅才經歷了2個消費級終端設備時代，2G到3G的PC時代經歷了50年，3G到4G的智慧型手機時代經歷了10多年，4G到5G的AR/XR時代會經歷多少年，這個確實還沒有定論。但就像數碼龐克祖師爺威廉·吉布森（William Gibson）所說：「未來已來，只是分布不均。」（The future was already there, but just not distributed evenly.）
最後講一下我寫這篇文章所用的一個「思維輪子」：回歸常識，放眼終局。
「回歸常識」是指我們要從歷史出發，研究歷史上的關鍵事件背後的成因，試圖總結成功與失敗的規律。用已知的常識推導出未知的未來——如果想要推動歷史進程的發展，則需要滿足哪些條件才會發生。
「放眼終局」是指我們可以大膽設想未來生活方式的實際情況，用終局思維勾勒出一幅逼真的科幻全景圖，盡可能地還原細節、陳述事實。把未來當做現實，倒推回當下——如果想要一步一步走到未來，則需要做出怎樣的路徑選擇，點亮科技樹上的哪些節點。
AR/XR還處在探索階段，我們前期的這些探索和試錯，都是為了給人類提供更恰當的生活方式。如果我們的自我驅動僅僅是製造一個幾十億的新智能終端消費市場，這種願景未免還是有點單薄了。
來源：機核
