智能眼鏡在醫療行業的應用和發展
關于智能眼鏡在醫療行業的應用，我們最早是從關注谷歌眼鏡的醫學視頻直播開始的。谷歌眼鏡的問世，曾帶來一片叫好聲，感覺能夠給大家帶來一個全新的直播時代。但最近兩年，谷歌眼鏡用于醫學方面直播的文章幾乎消失了，甚至谷歌眼鏡本身都已經停產。
當時，谷歌眼鏡出來后，我們也買了一個，并做了很多實際的相關實驗，發現了一些問題，包括：一是續航問題；二是谷歌眼鏡作為一款消費類產品，在應用于手術直播時，周圍會有一個很大的無用視野區；三是在手術燈照射的情況下，直播時中心區域一片死白，而這一塊恰好是我們最關注、最有興趣的點。基于以上原因，我們后來沒有再繼續利用谷歌眼鏡做醫療直播。
之后，在英特爾公司的幫助下，我們又先后接觸了一些廠家。因我是臨床醫師出身，始終認為記錄直播和轉播對于臨床醫學具有非常重要的作用，所以一直在堅持不懈的尋找適合的相關產品。后來拿到一家公司的產品，看上去和谷歌眼鏡很像，于是提出是否能從上面提到的幾個方面進行改進。
具體改進措施包括：首先，我們認為醫生在長時間待用過程中，如果這個產品很重，會讓醫生感覺非常不舒服，因此希望佩戴在醫生頭頂的東西越輕越好。基于此，對產品改進的第一步就是，除攝像頭及其虛擬顯示屏這兩個功能以外，剩下的計算元件、電池等其他東西都被放到一個附屬裝置上。也就是說，它真正的應用是跟另外一個手機聯系在一起，由手機進行供電。這樣，醫生在把眼鏡戴在頭上時，幾乎不會感覺到它的存在。
第二個問題是原有谷歌眼鏡在使用過程中，因為計算機進行了一個測算，所以平均以后，中心視野光線太亮導致一片死白的情況。解決方案是對計算機進行一個算法的改進，也就是說，原先的大視野最后只保留了中心的一個區域，進行一個點測光。在這個點測光過程中，計算機算法進行改進，最終的效果就是只有最核心的區域進入計算單元。這樣，太強的光線部分通過算法就可以把原有的過白部分的光亮度降下來，讓醫生能夠看到真正的視野中的細節。在實踐過程中，通過改進計算機算法，使視野從原有的90度縮窄到45度、30度、20度。在視野縮小后，有兩個明顯的改善：一是減少了之前過量的光線，從而獲得原來沒有的細節；另外就是我們在新產品試用時發現，人眼看物體是有景深的，作為口腔科，關注的核心點是口腔里的牙齒，但眼鏡會把周圍的皮膚照的很清楚，遠處的牙齒則發生了模糊，原因就是對焦發生了錯誤。而當我們通過計算機把視野縮窄到足夠小時，對焦相對就會精確很多。
此外，此款眼鏡的分體式設計，也解決了供電問題。現有情況下，持續拍攝兩個小時沒有任何問題。
該產品和谷歌眼鏡一樣，有一個小的虛擬屏幕放在眼球前方，好處是在拍攝使用過程中，可以隨時查看錄像的位置是否是我們真正想觀察的地方。
使用過程中發現的另外一個問題是，到底由誰來戴這個眼鏡？我曾經以為應該是第一助手或是其他人來辦。后來在使用過程中發現，實際上還是應該由術者來控制，因為只有術者才能夠看到很小的手術區域里面的細節，包括第一助手站在對面的時候，很可能也看不到視野里面。
此款眼鏡可以看到攝像頭能夠在某一個角度范圍內旋轉，使我們可以更好的去控制最后直播出來的畫面。最好的效果就是固定住術者頭上，然后不需要任何人去做任何工作，整個過程中和術者的眼睛看到的景象一模一樣。其中還有一個地方需要進行改進，就是頭戴的方式。目前，常見的方式還是一種類似于鏡架式的方式。但例如耳鼻喉科醫生會在頭上戴一個專門看耳道的鏡子，戴一天也不會覺得很難受；整形外科醫生，做血管吻合的醫生，都會戴一個專用的顯微鏡，對于醫生來說，如果把眼鏡架的方式轉變為一種戴在頭上的發帶形式，效果會更好。頭戴式的可能要解決術者確認拍攝畫面是否正確的問題。因為它可以固定的非常牢固，確保在轉播過程中，位置不會隨便發生改變，但在術者使用過程中，現在的鏡架式會發生視野逐漸偏離的情況，最終導致拍攝效果不佳，這也是我們提出由眼鏡架改為發帶式的原因之一。
之前我們進行了一個現場的長時間拍攝。無論從門診醫生還是手術病房醫生反饋，都認為拍攝視頻的畫面不錯，1080P顏色還原也不錯，流暢度和清晰度也非常好。外科主任希望將來對常規的手術都進行一場標準手術模式的拍攝。這樣的效果，是教學醫院最想做的。現場拍攝過程中，我們的醫生遠離去看手機上的屏幕。因為在手術過程中，除了主刀醫生，一些比較小型的手術周圍所有人的視野都非常受限。所以可以想象，圍著一圈學生去觀摩手術時效果有多差。
目前使用的這一版眼鏡，現有的問題主要有哪些呢？主要還是來自于剛才說到的景深導致的對焦模糊問題。我們關注的是牙齒，但焦點落在了皮膚上。這個當然可以通過算法再進行一個優化，但這樣的問題可能或多或少不可避免。因為同樣是往前看，計算機并不知道你的眼睛目前對在哪一個點上。而一旦這個角度變得更加舒展的時候，隨著醫生手術時頭轉來轉去，采集的圖像也會大幅移動，給觀者帶來不舒服的感覺。我們的醫生曾提出有沒有手動對焦的可能，當然手動對焦是不現實的，因為你的距離始終是在變化過程中，最好的做法只能是繼續優化算法。無論如何，目前這一版眼鏡在我們采集視頻的過程中，總體還是感覺相當滿意的，尤其是視野比較大的手術，高清的視頻放在電腦上感覺效果更好。
上面這張手術照片是從一段視頻里隨機取的一張，拍攝時是站在一助身后進行的。目前存在的一個問題是顏色會有一點粉，這是因為白平衡出了問題，通過簡單算法的一個均衡很快就能改善。算法的另外一個需要改進的地方，我認為是目前圖像的對比度仍然太大，對于強光視野下的這種拍攝會出現一會黑色一會白色的情況。這個隨著算法的改進以及將來機器性能的提升，只要算法速度足夠快，能把這個問題解決好。
對于眼鏡類產品，希望出現一種更新的產品，類似于相機拍攝過程中摁住快門，有一種智能追焦的算法，就像舞臺上跟著舞者進行一個舞臺追光的感覺。也就是說，我們通過圖像識別找到目前轉播的焦點，無論相機在什么位置，都能夠快速的計算，把焦距對清楚。即使手術醫生的頭轉來轉去，它的圖像始終固定下來。我想這種技術的發展是很快的，也可以預計到一定會有這一天來到。目前，把視野縮窄達到對焦更精確這個功能通過計算機的算法實現了。將來還是希望，對口腔科、眼科這種比較小視野的手術，能有一種更特殊的光學物理眼鏡，專門用于這種小視野直播。
上海先予工業自動化設備有限公司是一家集非標制定、研發、生產、銷售、工程服務為一體的工業裝備制造企業。公司以自主核心技術和系統集成優勢為依托，針對企業用戶在生產過程控制中的各種復雜控制要求，采用DCS和PLC等控制系統為企業量身定制，技術先進、可靠性高、經濟實用的電氣和自動化控制，生產，輸送，包裝、清洗系統，提供完整的非標制定自動化生產解決方案，從而有效為企業降低勞動力成本、提高品質、提升效率。
