그럼 세상을 바꾸기 위한 아름다운 이야기를 들어볼까요?
“3D 프린터로 새 삶을 출력하다"
이상호 대표(만드로 주식회사)는 3D 프린팅 기술을 활용해 만든 맞춤 전자의수를 한국 및 중동지역 손 절단 장애인들에게 제공하고 있으며 개발 소프트웨어를 공개하여 다른 사람들이 쉽게 만들 수 있도록 하고 있다.
“돈이 없어서 전자의수를 쓰지 못하는 사람은 없어야 한다."
Q. 이상호 님이 개발한 제품과 기술을 소개해 주세요.
3D 프린터로 제작한 전자의수 Mark 5입니다. Mark 5는 15개 관절의 움직임을 구사하는 우수한 성능을 지니고 있습니다. 국내에 많은 절단 장애인이 있지만 천만 원이 훌쩍 넘는 가격의 전자의수를 사용할 수 있는 사람은 극소수에 불과합니다. “돈이 없어서 전자의수를 쓰지 못하는 사람은 없어야 한다.” 저는 이 간단하지만 명확한 목표를 가지고 전자의수를 만들기 시작했습니다. 현재 저희가 개발한 전자의수는 스마트폰 가격 정도로 저렴하게 제공을 하고 있습니다.
Q. 일반 회사에서 소프트웨어 개발자로 일하고 있다가 전자의수만을 전문적으로 개발하시기로 결정하고 진로를 바꾸었는데 그 당시 얘기를 해주세요.
저는 단지 소프트웨어 개발자로, 3D 프린팅은 취미로 하는 사람이었지 전자의수가 필요한 절단 장애인들의 고통 등에 대해서는 전혀 알지 못했습니다. 우연히 인터넷에서 양손 절단 장애인의 글을 보았습니다. 저랑 동갑내기이신 그분은 수천만 원이나 되는 비용 때문에 의수를 낄 생각을 못 한다고 하셨습니다. 이 글을 읽고 마음이 무척 아팠고 제가 갖고 있는 3D 프린팅 기술을 이용해서 뭔가 할 수 있는 것이 있을까 해서 재능기부로 시작했습니다. 이분 한 건만 하고 그만둘 생각이었습니다. 그러나 전자의수를 개발하면 이 분과 비슷한 형편에 계신 분이 너무 많이 있다는 것을 알게 되었고 다니던 직장을 그만두고 이 일에 전념하게 되었습니다. 물론 당시에 잘 다니던 회사를 그만둔다는 것에 주변에서 걱정과 우려를 주셨는데 “내가 하고 싶은 것"을 하는 것이 맞다는 신념에 지금까지 왔고 지금도 그 결정에는 후회가 없습니다.
Q. 3D 프린팅으로 전자의수를 개발하는 과정에 대해 설명해 주세요.
우선 수많은 절단 장애인을 만나면서 설계 도면을 계속 수정해나가며 작업했습니다. 약 1년 반의 노력 끝에 Mark 5를 출시할 때까지 800번이 넘는 설계 수정과 시행착오를 겪었습니다. 그리고 이 과정에서 의사, 대학생, 의지 보조기 제작기사 등 다양한 분들께서 저희가 하는 일을 지지해주시면서 선뜻 도움을 주셨습니다.
기나긴 연구와 개발의 시간을 지나서 개발된 Mark 5는 현재 하루 정도면 제작이 가능합니다. 우선 개인 맞춤형 소켓 제작을 위해서 사용자와 아주 잠깐동안 3D 스캐닝 작업을 거치면, 3D 설계, 출력, 조립까지 대략 하루 정도의 시간이 소요됩니다. 마지막으로 사용자가 직접 착용하고 테스트하면서 한 시간 정도의 마무리 작업을 거쳐서 단 한 명의 사용자를 위한 Mark 5가 완성됩니다.
Q. 현재는 절단 장애인이 많은 중동지역에 전자의수를 보급하고 계시다고 했는데, 그 계기와 진행사항은 어떤지 얘기해주시겠어요?
전쟁이 많은 지역에는 절단 장애인도 많습니다. 국내에서도 비용 문제로 전자의수를 사용할 수 없는 분들이 계신 것처럼 더 열악한 환경에서 도움의 손길을 기다리고 있는 곳이 있을 거라는 생각이 들었어요. 전쟁은 20세기에 유럽에서도 빈번했고, 우리나라에도 과거의 먼 역사가 아니죠. 그런 생각 때문인지 해외의 전쟁 및 분쟁 지역의 절단 장애인의 현실도 남일 같지가 않았죠.
저는 만약 만드로의 활동을 세계에 알릴 기회가 있다면 좋은 뜻에서 시작하고 싶었습니다. 한국국제협력단(KOICA)의 혁신기술 기반의 창의적 가치창출 프로그램(CTS)에 지원을 했고, 그 결과로 요르단 내 시리아 난민에게 전자의수를 지원할 수 있게 되었습니다. 전자의수를 제공할 뿐만 아니라 그들 스스로 만드로의 도움 없이도 지속적으로 전자의수를 제작할 수 있도록 설계도면을 공유하고 교육 프로그램을 진행했습니다. 만드로는 현재까지 요르단에 330대를 기증했고, 앞으로 파키스탄, 탄자니아, 우간다, 스위스, 레바논 등 더 많은 국가로 활동을 넓힐 계획입니다.
Q. 만드로의 기술을 나누기 위해서도 노력하신다고 들었습니다. 이에 대해 설명해주시겠어요?
만드로는 순전히 자체 개발한 기술로 전자의수를 제작을 해와서 여기에는 “세계 최초”라는 타이틀이 붙은 기술들이 여러 있습니다. 대표적으로는 전자의수 충전 거치대가 있고, 이 밖에도 손의 악력을 구현하는 방식 등 다양한 기술도 독자적으로 연구하고 개발할 수 있었습니다. 만드로의 기술만으로 만들어낸 전자의수라는 점도 개인적으로 뜻깊습니다.
저는 저희가 노력해서 일구어낸 만드로의 만드로의 지식과 기술을 많은 사람들과 나눠야 한다고 생각했어요. 지식의 공유. 그거야말로 오픈소스의 정신이라고 생각하기 때문입니다. 그래서 저희는 만드로의 프로젝트와 설계도를 오픈소스로 공개하고 누구나 3D 프린터 기술을 경험할 수 있는 워크숍을 개최해오고 있습니다. 특히 여기서 많은 사람들이 만드로의 활동뿐만 아니라 과학기술에 대한 관심과 애정을 가지게 되는 모습을 볼 수 있어서 기뻤습니다. 간혹 제게 기술을 공유하는 것에 대해 염려하는 점이 없는지 물어보시는 분들이 계시는데요. 하나도 걱정하지 않습니다! 저를 포함한 만드로의 팀원들은 더 나은 기술, 더 편리한 전자의수를 개발하기 위해 계속해서 노력할 것이니까요.
Q. 착한 기술 개발과 나눔에 관심 있는 분들께 한 말씀 해주시겠어요?
‘남이 하지 않는 일. 내가 하고 싶은 일. 그리고 그것이 가치가 있다면 해도 좋다’는 생각에서 저는 만드로를 설립하자고 결심했어요. 다행이었던 점은 너무 늦지 않은 시점에서 도전을 했다는 점이에요. 빨리 도전을 했으니 실패도 더 빨리 그리고 더 많이 경험할 수 있었어요. 하지만 그것이 곧 지금의 만드로를 가능하게 했다고 생각해요. “돈이 없어서 전자의수를 쓰지 못하는 사람이 없어야 한다.” 제게는 처음부터 분명한 목표가 있었죠. 이루기 쉽지 않은 이 꿈은 제가 계속 앞으로 나아갈 수 있도록 격려하고 응원해줄 것 같아요.
“AI로 밝히는 더 안전한 세상"
김윤기 학생의 Walk Assistant는 그가 직접 자전거를 타고 동네를 돌아니면서 촬영한 영상을 머신러닝 학습을 통해 만든 시각장애인을 위한 길 안내 프로토타입 프로그램이다.
“기술이 그것이 꼭 필요한 사람을 위해 쓰일 수 있다면, 그보다 더 값진 의미가 있을까요?"
Q. 어떻게 시각장애인의 삶에 관심을 가지게 되었나요?
대개 시각장애인은 지팡이를 지니고 보도에 점자블록을 파악해서 거리를 다닙니다. 그런데 점자블록이 관리되고 있는 현실은 마냥 좋지 못합니다. 훼손된 곳도 많고, 틀리게 설치된 곳도 있습니다. 또 곳곳에 설치된 볼라드는 시각장애인이 길을 걷는데 큰 위험이 되기도 합니다. 안내견을 말씀하시는 분들도 계시지만 모든 시각장애인이 안내견을 이용하기에는 비용을 포함해서 현실적인 문제가 있다고 합니다. 시각장애인의 불편한 생활을 알리는 뉴스도 가끔 나오지만 그것이 현실의 문제를 해결하는 데까지 이어지기는 어렵다는 것을 느꼈습니다. 그래서 저는 제가 제 능력 안에서 이 문제를 해결할 수 있는 방법이 없을까 고민했었습니다.
Q. 어떻게 시각장애인을 위해서 AI 기술을 이용할 생각을 하셨나요?
AI는 보는 능력이 있기 때문이었습니다. 한 TED 강연을 봤었는데 화면을 인식하는 AI의 능력을 통해 사회가 얼마나 지금까지와는 다른 방식으로 변화할 수 있는지 확인할 수 있었습니다. 과학이 고도로 발달해서 자동차마저 사람의 조종 없이 자율 주행이 가능해지는 시대에 시각장애인의 길 안내를 돕는 프로그램은 더 쉬운 방식으로 개발할 수 있지 않을까 생각했습니다.
Q. 그럼 AI의 보는 능력을 활용해서 만들어진 Walk Assistant를 소개해주시겠어요?
Walk Assistant는 제가 자전거로 동네를 다니면서 직접 찍은 영상 데이터를 학습해서 사용자에게 인도와 차도를 구분해주는 프로그램이에요. 저는 처음에 자전거로 다닐 수 있는 길은 시각장애인도 안전하게 다닐 수 있다는 전제를 세웠습니다. 그리고 주말을 이용해서 데이터 수집부터 프로그램 개발까지 해낼 수 있었죠. 이틀 밤을 꼬박 새워 완성했는데 기대한 것보다 성과가 좋아서 기뻤습니다. Walk Assistant는 화면을 144개 영역으로 나눠서 시각장애인이 안전하게 걸어갈 수 있는 길에 해당하는 부분을 초록색으로 표시해줍니다. 현재 대부분의 보행로를 인식할 수 있는 수준이며, 시각장애인의 일상에서 길을 안내할 수 있는 실질적인 도움을 줄 수 있기 위해 스마트폰 어플리케이션을 만들고 있습니다.
Q. 이 모든 작업을 혼자서 해냈다는 게 놀랍습니다. 어려운 점은 없었나요?
사실 처음부터 제가 직접 돌아다니면서 도보 데이터를 얻으려고 한 것은 아니었습니다. 거리나 지도와 같은 정보를 얻을 생각이었는데 저 한 명이 그런 빅데이터를 얻는 것은 어려웠습니다. 많은 부분에서 우리나라는 개인이 빅데이터에 접근하기 어렵다는 현실에서 아쉬움을 느꼈습니다.
Q. 그럼에도 불구하고 계속해서 Walk Assistant 개발에 몰두할 수 있었던 원동력은 무엇인가요?
무엇보다도 저는 여기서 즐거움을 얻고 있어요. 우연히 관심을 가지게 된 분야에 대해 제가 주체적으로 배움의 기회를 찾고, 계획을 짜서 개발까지 진행해오면서 제가 몰랐던 또 다른 저의 모습과 꿈을 발견할 수 있었던 것 같아요. 계속해서 문제점을 발견하고 직접 해결해나가면서 얻는 성취감도 하나의 원동력인 것 같습니다. 최근에는 프로그램의 정확도를 높이기 위해서 500장에 달하는 이미지에 안전한 경로를 입력하는 수작업을 진행했습니다. 주변에서는 그걸 언제 다하냐고 경악했지만 전 이 작업까지도 재미있게 끝마칠 수 있었습니다.
Q. 아직 18살의 고등학생이십니다. 윤기 학생이 지금 꿈꾸고 있는 미래는 무엇인가요?
고등학생이니까 대학입시도 현실적으로는 고민해야 할 문제이겠죠? 입시 준비도 열심히 해야 하는데 계속 시선은 Walk Assistant랑 AI 기술을 향합니다. 하루라도 빨리 더 발전한 모습의 Walk Assistant를 선보이고 싶고, 스마트폰에 연동 가능한 형태로 실생활에 이용할 수 있는 단계까지 이루고 싶습니다. 그래서 이 프로젝트를 깃허브에 공개하면서 많은 분들의 참여와 도움을 구하고 있습니다.
조금 더 미래에 대해 생각해보자면 저는 어떤 일을 하더라도 사람들에게 희망을 줄 수 있는 기술을 개발하고 싶습니다. 저는 기술이 그것이 꼭 필요할 사람을 위해서 쓰일 수 있을 때 진정으로 의미가 있다고 생각합니다. 그래서 저는 사람에게 도움이 되는 기술을 개발하는 회사를 설립하고 싶습니다. 이름까지 벌써 정했습니다. 라이프코드입니다.
“4초면 충분한 파키슨병 진단"
이채영 학생, 양서연 석사 연구생을 비롯한 MoT 파킨슨 프로젝트팀(백윤범, 김형섭, 신정아, 김보섭, 황중원)은 목소리를 기반으로 파킨슨병을 진단해주는 의료용 딥러닝 하드웨어 디바이스 VoiceDoc을 개발했다.
“누구나 언제 어디서든 의료 서비스를 누릴 수 있는 의료 유비쿼터스 시대를 개척하고 싶어요"
Q. 4초 만에 파킨슨병 진단이 가능하다고요?
네! 저희가 개발한 VoiceDoc은 사용자의 목소리를 파킨슨병 진단의 척도로 사용합니다. ‘ㅏ', ‘ㅔ', ‘ㅣ', ‘ㅗ', ‘ㅜ' 중 하나의 모음을 안정적으로 발음하면, VoiceDoc이 파킨슨병의 유무와 진행 정도를 알려줍니다.
Q. 왜 목소리를 진단하는 것에 주목하셨나요?
구음장애는 파킨슨병의 89%가 초기 증상으로 겪기 때문에 이를 진단하는 것이 의미가 있을 것이라고 생각했습니다. 파킨슨병 환자가 증상 발생 후 병원을 방문하는데 평균 9.4개월이 걸린다는 국내 기사를 접했습니다. 대개의 환자가 병의 조기 진단에 실패하면서 병의 위험을 키운다고 볼 수 있습니다. 그동안 파킨슨병의 진단을 위해서는 병원에 방문해서 복잡한 신경학적 검사를 거쳐야 했기 때문에 비용과 절차가 복잡해서 많은 환자들이 어려움을 느낄 수 있다고 생각했습니다. 이때 해외에서 먼저 사용자의 목소리에서 성대의 움직임을 분석하며 파킨슨병 진단을 가능하게 했다는 소식을 접하고 저 또한 목소리 기반의 파킨슨병 진단에 더 큰 관심을 가지게 되었습니다.
Q. 해외에서 먼저 시도한 사례와 VoiceDoc의 차이점은 무엇인가요?
우선 목소리를 통해 파킨슨병을 진단하기 위해서는 이를 위한 사용자의 충분한 데이터가 필요합니다. Max Little이 선보인 진단 기술은 영어권 사용자의 데이터를 기반으로 하기 때문에 인종의 차이를 반영하기 어렵고, 이는 국내 사용자를 진단하는 작업에서 정확도의 감소로 이어집니다. 저희는 딥러닝 기술을 이용한 솔루션을 찾아 시도했습니다. 직접 개발한 data augmentation 알고리즘을 이용해서 대규모의 사용자 데이터에서 얻은 인사이트를 국내 사용자를 목적으로 한 진단기를 학습하는 데 활용했습니다. 이때 사용한 목소리 데이터는 스펙트로그램 이미지였기 때문에 CNN 분류기를 통해서 파킨슨병의 경도를 1~4의 수치로 나타낼 수 있었습니다. 그 결과 우리나라의 사용자에 적합한 파킨슨병 진단기를 개발할 수 있었습니다.
Q. VoiceDoc이라는 하드웨어 기기는 어떻게 구현하셨나요?
딥러닝 모델을 하드웨어화 하기 위해 크게 두 가지 방식으로 일을 진행했습니다. 하나는 로컬 방식으로 먼저 텐서플로우로 개발한 딥러닝 모델을 텐서플로우 라이트로 변환했습니다. 텐서플로우 라이트는 안드로이드와 IOS 환경에서 작동하기 때문에, 저희는 스마트폰과 라이베리파이에 안드로이드 띵스 OS를 바탕으로 안드로이드 환경을 구축했습니다.
다음으로 현재까지 개발이 진행 중인 서버 방식이 있습니다. 이것은 임베디드 디바이스에서 HTTP 통신을 이용해 인풋 데이터의 서버 전송, 추론, 데이터의 축적, 재학습까지 가능하게 하는 모델을 개발하는 과정입니다.
Q. VoiceDoc을 사람들 앞에서 시연해보는 기회가 있었다고 들었습니다.
네, 저희는 메이커 페어 서울 2018에서 저희와 같은 개발자를 비롯한 다양한 관객들이 VoiceDoc을 통해 파킨슨병을 진단하실 수 있는 자리를 마련했었습니다. VoiceDoc을 개발하기 위해 땀 흘렸던 지난날의 노력들이 빛을 발하는 시간이었습니다. VoiceDoc을 체험하면서 신기해하고 즐거워하는 사람들의 모습에서 큰 보람을 얻을 수 있었습니다. VoiceDoc이 가까운 미래에 사람들의 일상 속에서 실질적인 도움을 주는 모습이 저절로 떠오르기도 했어요. 아직 많은 부분을 더 보완해야 하는 이 프로젝트를 더욱 열정적으로 이어갈 수 있는 힘을 얻을 수 있었던 계기가 된 것 같습니다.
Q. 두 분의 도전에서 VoiceDoc을 시작으로 더 큰 미래를 꿈꾸고 계시다고 들었어요.
많은 분들께서 저희의 도전을 인정해주고 응원해주시는 이유는 VoiceDoc이 보여주는 기술의 따뜻함이라고 생각했습니다. 그리고 저희는 이 따뜻한 기술을 위한 시간 속에서 얻은 경험과 가치를 소중하고 또 감사하게 여기고 있습니다. 저희는 계속해서 누군가의 삶에 실질적으로 기여할 수 있는 기술을 개발하고 싶습니다. 특히, 의료용 AI 기기를 통해서 기존의 의료 시스템으로는 쉽게 치료할 수 없는 병으로 인해 일상에 고통을 더해가시는 분들의 마음을 치유해드리고 싶어요. 이때 중요한 것은 누구나 저희의 기술을 누릴 수 있어야 한다는 점이라고 생각합니다. 언제 어디서든 진단과 치료가 가능하고, 진정한 의미에서 모두를 위한 의료 유비쿼터스를 개척하는 것이 가장 큰 꿈입니다.
작성자: 정김경숙, 구글코리아 홍보총괄
---------------------------------------------------------------------------------------------
Meet warm-hearted technologies that are changing the world!
At a recent Google Cloud Summit, we had a “Tech for Social Impact” lunch session to talk about technologies that are transforming the world around us. Three examples of products and services that applied the so-called “warm-hearted technology” including 3D printing, machine learning, and artificial intelligence, were presented at the session. Presenters varied in their backgrounds, from a high school student who is preparing for a college entrance exam to an ex-businessman who quit his job to develop “warm-hearted technology.”
Let’s take a look at their stories to make the world a better place.
“Printing out a new life with a 3D printer"
Lee Sang-ho is the CEO of Mand.ro, a company that has developed customizable electronic prosthetic hands based on the 3D printing technology. The company has offered its products to people with mutilated hand injuries in South Korea and the Middle East region, and made public the development software so that anyone can easily make one on their own.
“No one should give up on having an electronic prosthetic hand because he or she can’t afford it."
Q. Please introduce the product and technology you developed.
This is Mark 5, an electronic prosthetic hand manufactured by a 3D printer. It boasts an excellent performance, capable of making movements of 15 hand joints. A lot of people in Korea are in need of such devices, but only a few can afford them, which usually come with a price tag of over 10 million won. “No one should give up on having an electronic prosthetic hand because he or she can’t afford it.” I started making the product with this simple, clear goal in my mind. Currently, Mand.ro’s electronic prosthetic hands are available at reasonable prices comparable to that of smartphones.
Q. You were working as an expert in software development at another company when you decided to focus on the development of electronic prosthetic hands and changed your career path. Can you tell us more about it?
I was just a software developer enjoying the 3D printer as a hobby, and knew nothing about electronic prosthetic hands or the pain those living with mutilated hands should go through. And then one day, I read a piece of writing on the Internet posted by a person with both hands amputated. The person, the same age as me, wrote that he couldn’t even think of getting prosthetic hands as they cost tens of millions of won. The story saddened me, and made me wonder about whether I could do something for him using what I know, 3D printing technology. So, it first started as a talent donation, and I was going to do this only for this person. But then I realized there were so many people who are in need of electronic prosthetic hands but can’t afford them. So, I quit my job and jumped to the production of prosthetic hands. Many people around me were concerned about me leaving the job and starting anew, but I had a firm belief that I should do “something I want to do,” and I have no regret making that decision.
Q. Can you tell us how you could manufacture an electronic prosthetic hand with 3D printing technology?
First, we met with a number of people in need of prosthetic hands, and continuously modified the design. We had to change the original design more than 800 times and go through various trials and errors until Mark 5 was finally launched in one and a half years. During this period, physicians, college students, makers of prosthesis aids, and others had willingly offered help and supported what we were doing.
Mark 5 can be now manufactured in a day or so. First, we conduct the 3D scanning of a user for a short time to customize the socket, and then go through 3D design, printing, and assembling for a day. As a last step, users put on and test the products themselves, and after the finishing works that take around an hour, perfectly personalized Mark 5 is completed.
Q. You said the company is providing electronic prosthetic hands to the Middle East region. Can you tell us how it started?
You can find many disabled people who suffered amputation in conflict zones. As in Korea, where people couldn’t afford electronic prosthetic hands, I thought people in poorer conditions might be in desperate need of help. Wars frequently broke out in Europe in the 20th Century, and Korea was no exception. Probably that’s why I couldn’t turn a blind eye to the reality faced by the disabled people in overseas war and conflict regions.
If I get to have a chance to let the world know about Mand.ro’s activities, I wanted to start by working for good cause. We applied for the Creative Technology Solution (CTS) program of the Korea International Cooperation Agency(KOICA), and were able to provide Syrian refugees in Jordan with electronic prosthetic hands as a result. We also shared with them the design of products and held a training program so that refugees can manufacture electronic prosthetic hands on their own. Mand.ro has donated 330 units of electronic prosthetic hands to Jordan, and is planning to expand its activities into more countries including Pakistan, Tanzania, Uganda, Switzerland, and Lebanon.
Q. You also try to share Mand.ro’s technology with others. Can you elaborate more on the company’s efforts on this front?
Mand.ro has manufactured its products only with its own technologies, so we have several technologies with the title of “the world’s first.” For example, we have developed an electronic prosthetic hand holder for charging, and a unique technology to realize a hand’s gripping power. It is personally meaningful for me that our products have been made only with Mand.ro’s technologies.
I have believed that Mand.ro’s knowledge and technologies need to be shared with others because that is the spirit embodied by open source. So, we have made public Mand.ro’s projects and design as open source tools, and held workshops where anyone can get hands-on experience in 3D printing technology. It was pleasing to see attendees have more interest and affection towards not only our company’s activities but also overall science and technology. People often ask me whether I’m concerned about sharing technologies with others. But I am not worried at all, because all members of Mand.ro, including me, will make continuous efforts to come up with better technologies, and more convenient electronic prosthetic hands.
Q. Please say a few words for those who are interested in the development and sharing of warm-hearted technologies.
I made up my mind to establish Mand.ro as I believed I could do something I wanted to do if it holds value, even if no one has ever done. I was lucky as I could try when it wasn’t too late. As I tried early, I had to go through failures early and have more abundant experiences. I believe today’s Mand.ro was made possible thanks to those experiences. “No one should give up on having an electronic prosthetic hand because he or she can’t afford it.” I have had a clear goal from the beginning. This dream may be difficult to achieve, but will guide me to continuously move forward.
“A Safer World, Brightened by AI”
Walk Assistant is a prototype version of a guide app for visually impaired people developed by student Yun-ki Kim, who filmed his neighborhood on a bicycle and trained a machine learning model on the video.
“Isn’t the most valuable thing to use technology for people who truly need it?”
Q. What made you focus on the lives of visually impaired people?
People with visual impairment usually navigate the street relying on a cane to read tactile paving. Unfortunately, we can’t say the tactile paving is kept in a perfect condition everywhere. Many blocks are damaged, and some are installed in wrong places. Also in our streets, there are many things like bollards that can be very threatening to visually impaired people when they walk. Some talk about guide dogs, but it is not financially feasible for everybody to have one. We often have stories on the media about the difficulty these people face, but I felt that doesn’t lead to practical solutions. So I wondered if there is something that I can do to address this problem.
Q. How did you decided to use AI technology for people with visual impairment?
It was because AI has the ability to see. In a TED talk, I saw the potential of AI’s visual recognition capability that could dramatically change how societies work. I thought, at a time when even cars can drive themselves without a human driver thanks to advances in technology, it would be easier to develop an application that help visually impaired people navigate through the street on foot.
Q. Now, could you introduce Walk Assistant, powered by AI vision?
Walk Assistant tells the sidewalk apart from the road for the user, using a model trained on video I shot in my neighborhood on my bicycle. I started with a premise that where you could safely go through on a bicycle would also be safe for people with visual impairment. From that, I collected data and developed the app over a weekend. I worked overnight for two days in a row, and was excited because the result was better than I expected. However, the app is not ready to be implemented in real life yet. Currently, what it can do is to divide the screen into 144 tiles and mark in green tiles on which people with visual impairment can safely walk.
Q. It is amazing you did everything by yourself. What challenge did you face during the course?
First, I didn’t plan to collect the street video data myself. I wanted to acquire something like street view or map data, but it was difficult for me to access such big data. It’s regrettable that in Korea it is not yet easy for an individual developer to make use of big data.
Q. What made you keep on developing Walk Assistant despite the difficulty?
Above all, I find this exciting. I found on my own an opportunity for learning in an area I accidently came across, and going through all the planning and developing helped me discover a new me as well as my dream. The sense of achievement I feel while finding and solving problems also fuels me forward. Recently, I manually inputted safe paths for about 500 images to enhance the app’s accuracy. People said that was inconceivably tough, but even that manual task was fun for me, all the way to the end.
Q. You’re still an 18 years old high school student. What future do you dream now?
Practically, as a high school student, I should worry about getting into college. I know I should focus more on preparing for the exam, but I keep returning to Walk Assistant and AI technology. I am eager to release an improved version of Walk Assistant soon, preferably one that could run on a smartphone and be useful in real life. That is why I made this project public on Github; I’d like to ask many people to take part and help.
Thinking about a bit more distant future, whatever I do, I want to develop a technology that can give hope to people. I believe technology is truly meaningful when it can be used for people who really need it. That is why I decided to found a company that develop technology that is helpful for people. I’ve already come up with a name: it’s Lifecode.
“Diagnose Parkinson's in mere four seconds”
The MoT Parkinson project team including student Chae-yeong Lee and MA candidate Seo-yeon Yang developed a medical deep learning hardware device VoiceDoc, which diagnoses Parkinson’s disease based on the user’s voice.
“[We] want to pioneer an age of ubiquitous medicine, where everyone can benefit from medical service anytime, anywhere.”
Q. Is it possible to diagnose Parkinson’s disease in four seconds?
Yes! We developed VoiceDoc, which diagnoses Parkinson’s based on the user’s voice. Pronounce any of the vowels “a,” “e,” “i,” “o,” and “u,” in a stable tone, and VoiceDoc will tell you whether you have the disease and how much it has progressed.
Q. Why did you focus on the voice as the clue?
Dysarthria, or motor speech disorder, is an early symptom that 89% of Parkinson’s patients suffer, so we thought it would be meaningful to diagnose based on it. We read an article that, after suffering the symptom for the first time, it takes an average Korean Parkinson’s patient 9.4 months to see a doctor. That means, most patients fail to discover the disease early on, making it more dangerous. So far, complex neurological inspections at a medical institution are required to diagnose Parkinson’s, and we felt this must have been a big hurdle for many patient due to the high cost and the complicated process. Then I heard it was made possible in abroad to analyze the movement of the vocal cord from people’s voice to diagnose Parkinson’s, and I was interested in diagnosing the diseases based on voice.
Q. What’s the difference between the previous applications in other countries and VoiceDoc?
To diagnose Parkinson’s using voice, you need sufficient amount of voice data first. The diagnosis technology by Max Little is based on data from English speakers; therefore it is difficult to reflect the ethnic difference, which lowers accuracy in diagnosing Korean users as a result. We looked for a solution based on deep learning and tried one. First, we utilized an algorithm from data augmentation we designed, and applied a solution we can get from the algorithm to our device so that it lanalyzed and learned data for the Korean users. Then we converted the voice data into spectrogram images and used CNN classifier to measure how much the condition has progressed in a number from one to four. The result was a Parkinson’s diagnosis tool suited for Korean users.
Q. How did you implement the VoiceDoc hardware device?
We took two approaches at the same time to turn a deep learning model into a hardware device. One is the local approach, we converted a model developed in TensorFlow into a TensorFlow Lite model, which runs on Android and iOS—we built Android environments on a smartphone and a Raspberry PI, based on Android Things OS.
The other is the server approach, which is still in development. This is an ongoing process where we develop a model in which an embedded device can send the input data to the server via HTTP communication and handle the inference task, data collection, and re-learning.
Q. I heard you had an opportunity to demonstrate VoiceDoc in public.
Yes, at Maker Faire Seoul 2018, we presented VoiceDoc to a diverse audience, including other developers, who tested themselves for Parkinson’s. It was a moment when days of efforts to develop the application really paid off. It was really rewarding to see people amazed and excited trying VoiceDoc. We automatically had a vision in which the application helping people in their everyday lives. At a time when the project has still a long way to go, that really gave us the energy to drive forward with even greater passion.
Q. I heard VoiceDoc is just the beginning for you and you’re dreaming for a bigger future.
We think many recognize and support our endeavor because of the “warmth” of technology embodied in VoiceDoc. We also cherish and appreciate the lessons we learned and values we earned while working on this “warm” technology. We’d like to keep on developing technologies that can make practical contribution to people’s lives. In particular, we want to create medical AI devices that can help alleviate the mental suffering of people with diseases that can’t be cured with existing medical system. What’s important in that is everybody should be able to use our technology. Our biggest dream is to be a pioneer in ubiquitous medicine for everyone, in its truest sense, where diagnosis and treatment can be conducted anytime, anywhere.
Author : Lois Kim, Director of Communications, Google Korea