ShiFuML

O primeiro jogo que reconhece gestos através da câmara frontal do iPhone põe-nos a jogar o jogo da pedra papel e tesoura contra uma AI no iPhone. Chama-se ShiFuML da IVèS, e nasceu como uma experiência para desenvolver uma app para os surdos comunicarem e podem encontrá-lo grátis na App Store.

Toda a gente conhece este jogo, duas pessoas frente a frente contam até 3, e mostram ao mesmo tempo a sua mão. Mão aberta representa o papel, mão fechada representa uma pedra, e a mão com dois dedos em V representa uma tesoura.

Pedra parte a tesoura, papel embrulha a pedra, e a tesoura corta o papel. Ao fim de três tentativas ganha aquele que tiver um maior número de vitórias. Aqui neste jogo temos como adversário uma AI no iPhone, onde usamos a câmara de selfies para mostrar a mão, cujo gesto será reconhecido automáticamente pela AI e mostrará por sua vez a sua jogada.

Proud to be part of the IVèS/djanah team this summer !
ShiFuML, the first gesture recognition game available on the App Store !
Play against your friends with the iMessage extension.
App Store : https://t.co/ZX9ZvGCnsn#MachineLearning #AI #ML #CoreML #iOS #Apple #accessibility pic.twitter.com/ecTYkl729f

— El Choquito (@SylGllr) July 31, 2019

O jogo pode ser jogado contra outras pessoas através do iMessage, bastando procurar a app nos 3 pontinhos do lado direito do menu de apps do iMessage, mas a piada real do jogo é mesmo jogar contra a AI, não precisando de tocar no iPhone, bastando para isso levantar a mão com o gesto que queremos.

É preciso ter o iOS 12 instalado, mas de resto a app funciona muito bem, e estaremos ao mesmo tempo a contribuir para treinar a AI com o reconhecimento dos nossos gestos, o que poderá um dia ajudar para uma melhor app para surdos e a tão importante linguagem gestual.


ShiFuML na App Store

Tamanho: 63.4 MB