이전글 - [뇌파 VR게임] #1 뇌파를 이용해서 VR 게임을 만들어 보자
뇌파 Headset
뇌파를 이용하는 VR 게임이니까 당연히 뇌파를 측정할 수 있는 장치가 필요합니다. 여기서 사용할 장치는 Neurosky사의 Mindwave Mobile입니다.
출처: https://store.neurosky.com/pages/mindwave
이것은 비교적 간단한 1채널 EEG 장치입니다. EEG는 뇌의 전기 신호인데, 이 장치는 EEG 센서가 1개 입니다. 그래서 여러가지 뇌 활동을 측정하진 못합니다. 하지만 간단히 게임용으로는 적합합니다.
원래는 EEG센서가 5개인 Emotiv사의 Insight를 이용하려고 했는데, 안드로이드 연결 접속이 잘 안되고, 라이브러리 지원이 부실해서 Neurosky 제품을 사용하게 됐습니다. 이것도 안되는 것은 아닌데, 지원이 너무 부실하네요.
출처: https://www.emotiv.com/insight
Emotiv 제품 라이브러리: https://github.com/Emotiv/community-sdk
Headset 라이브러리
Neurosky 제품은 비교적 라이브러리 지원이 잘 되고 있는 거 같습니다. 최근까지도 작업이 진행되고 있고요.
개발 지원툴
http://developer.neurosky.com/docs/doku.php?id=developer_tools
Neurosky를 Unity에서 사용하는 방법은 두 가지가 있습니다.
1. Neurosky 개발 툴에서 제공하는 Unity 라이브러리를 사용하는 것입니다.
http://developer.neurosky.com/docs/doku.php?id=using_thinkgear_with_unity
이 방법은 안드로이드에서 별다르게 해줄것은 없습니다. Unity에서 다 알아서 해줍니다.
2. Neurosky를 안드로이드에서 제어하여 Unity 플러그인으로 만드는 것입니다.
https://github.com/pwittchen/neurosky-android-sdk
이 방법은 Unity를 타겟으로 한 것이 아니라 안드로이드 앱을 타겟으로 만들어졌습니다. 그래서 Unity 관련 내용은 없습니다.
저는 이전에 안드로이드에서 BLE 장치를 연결하고 제어하는 것을 안드로이드 라이브러리로 만들고 Unity에서 불러들여 사용하는 것을 포스팅했었습니다.
[Unity VR과 Android BLE] #9 Unity에서 BLE 장치 제어
첫번째 방법이 좋아보이긴 해도, 안드로이드의 기능들을 제대로 쓰지 못할 거 같아서 두번째 방법으로 하기로 정했습니다. 그리고 이전에 해봤기 때문에 쉽게 할 수 있을 줄 알았죠.
그러나!!!!
엄청 고생했습니다. 일반적인 BLE API를 제공하지 않았기 때문입니다. 제공되는 라이브러리를 잘 사용하는 수밖에 업었습니다. 이것이 안드로이드/Unity .초보 개발자에겐 엄청난 고생의 시간을 안겨 줬습니다~
두번째 방법은 차차 설명하고, 첫번째 방법에 대해서 간략히 설명하겠습니다. 간단하지만, 바로 적용하면 안되는 부분이 있어서 그 부분만 살펴보겠습니다.
NeuroSkyUnityThinkGearPlugins 사용법
라이브러리 사이트를 방문하면 매우 쉽게 사용이 가능하다고 나옵니다.
- 라브러리를 다운로드
- Zip 파일을 압축 풀기
- Unity를 실행하여 Open을 실행하여 해당 폴더 선택
Unity 버전이 다르다고 메시지가 나오는데, Continue 버튼을 누릅니다.
직후에 다음과 같으 메시지가 나옵니다.
저는 Unity 설치할 때 IOS 지원부분은 설치하지 않았기 때문에, 위 메시지가 나온 것입니다. 위 라이브러리가 기본적으로 IOS 플랫폼으로 설정되어 있는 것입니다. 안드로이드에서 개발할 것이기 때문에 Switch Platform을 클릭합니다.
조금 기다리면 다음과 같은 화면이 나옵니다.
왼쪽 Hierarchy창을 보면 이미 라이브러리를 사용할 수 있게 prefab이 있습니다. 그냥 실행시켜면 됩니다. Unity에서 Play(중앙의 play 버튼)를 해봅니다.
뭔가 되는 것 같습니다. 그러나 우리가 개발한 것은 안드로이드이기 때문에 플랫폼을 변경시켜 줍니다. 아래와 같이 Build Setting에 가서 플랫폼을 안드로이드 변경합니다.
그리고, Build를 눌러보면 아래와 같이 에러가 발생합니다.
안드로이드 플랫폼으로 바꾼 후 Player Setting에서 Publishing Settings으로 가서 아래와 같이 Keystore 부분을 Create a new keystore를 체크합니다.
다시 빌드해봅니다. 좀 전의 에러는 사라집니다.
아뿔사.. 이런 에러가 또 발생합니다.
Console창을 보면 더욱 자세히 에러의 원인이 적혀있습니다.
Unity자체적으로오 AndroidManifest.xml 파일이 있는데, 위 라이브러리의 Plugin/Android 밑에도 AndroidManifest.xml이 있습니다. 이 두개가 서로 합쳐지지 않는 에러입니다.
Console창에 제안 방법이 있지만, 그냥 아래와 같이 icon 부분을 지우니 됩니다. (아래 화면에서 하이라이트 된 부분을 삭제해야 합니다.)
다시 빌드해 봅니다. 이제야 됩니다!!!
안드로이드폰으로 테스트 해 봅니다. 앗!!! 그런데 Neurosky 제품을 가지고 계신 분들이 매우 드물겠네요. Neurosky 제품은 약 15만원 정도입니다. 후덜덜하죠? 뇌파 측정 센서도 달랑 하나 들어있으면서요.. 아마 대부분 뇌파를 분석하는 소프트웨어 비용일 것입니다. Emotiv Insight는 더 비쌉니다. 그리고 고급 소프트웨어를 사용하려면 월단위 요금을 내야 하죠. 헐~
일단 진행해보겠습니다.
안드로이드 앱을 실행하면, 화면이 엄청 작습니다.
먼저 Neurosky Mindwave를 안드로이드폰과 블루스트 페어링합니다. 이게 안되어 있으면 안됩니다.
- Neurosky Mindwave 전원을 켭니다.
- 먼저 Init 버튼을 누릅니다.
- 그다음 Connect 버튼을 누릅니다. 연결에 한 30초 걸립니다.
- Mindwave의 LED가 깜빡이다가 깜빡임이 없어지면 연결된 것입니다.
- Mindwave를 머리에 착용합니다. (귀 클립도 반드시 찝어야 합니다.)
착용샷
Neurosky 제품의 단점은 연결하는데 30초 가까이 걸린다는 것입니다. 엄청 오래 걸려 답답합니다. 그래도 어쩔 수 없습니다.
안드로이드 화면에 이렇게 나옵니다. (확대했습니다)
뭔가 정보가 많이 나옵니다.
지금까지 첫번째 방법에 대해서 알아봤습니다. 동작하는 것을 확인했습니다. 그러나 우린 이 방법을 사용하지 않을 것입니다. 다른 방법을 사용하겠습니다.
다음에 사용할 두번째 방법을 알아보겠습니다. 이 방법이 고생을 시킨 장본인입니다!
오늘의 실습: 뇌파를 읽고 싶으신 분은 뇌파 헤드셋을 알아보세요 (저는 해당 제품과 아무런 관련이 없습니다.)