Chinougijutsu Co., Ltd. | “UbiMouse”, non-contact operation AI software that enables operation without touching the screen

Contact us

Osaka 06-6362-1008
Mail:info@chinou.co.jp
Phone Weekdays 9:00-18:00
Email Email 24/7
  • 日本語
  • English
  • Français
  • 中文 (中国)
  • MENU

    AI software that can be operated without touching a screen and controlling a mouse


    Smartphone and PC can be operated by simply showing a finger. This has potential to prevent infection and contamination.


    We have developed a finger mouse AI software, UbiMouse, that allows users to easily operate the screen without touching anything with their hands and fingers. This software has the great potential to be used with devices, for examples, displays on ATMs, ordering system for restaurants, ticketing machines, etc., since these devices can be operated by a huge amount of people, this situation should be avoided from the point view of infection prevention.

     
     ※Nikkei made an article for this project.
     ※Kyodo made an article for this project.
     ※SankeiBiz made an article for this project.
     ※NikkeiSangyo made an article for this project on 18th May 2020.
     

     

    Our AI software working on a laptop

    (This shows the old version.)

     

    An application example for Sushi restaurants. Their order tablets can be controlled using “UbiMouse”

    (We put simple explanations at the end.)

     

    In our software, AI recognizes an edge of a finger, instead of recognizing a palm. So, we can control a position on devices with high accuracy. It’s possible to point a “point” on a screen.

    Our awesome system can work with any types of cameras, such like cameras on PCs and smartphones. You don’t need to prepare any special items for recognize your finger movement.

    Contact us for more details.

     

    “UbiMouse” can be included inside small edge-computing device like this.

    Working at speed around 30fps

    画面に触れず操作ができるAIソフトを開発


    指をかざすだけでスマホ・PCを操作可能、感染防止・汚染対策に


    弊社では、指を使って触れることなく簡単に画面を操作することのできる指のマウス「UbiMouse」のAIソフト開発を行いました。ATMの画面や飲食店の注文画面、券売機など、不特定多数の方が利用される場所に設置して手指が汚れを防いで感染症予防につなげることが期待されています。

     
     ※共同通信社に関連記事が掲載されました
     ※日経産業新聞に関連記事が掲載されました。この記事の下に写真(一部)があります。
     

     

    実際にPC上で動作させた映像、カメラに映った操作者の指を認識してマウスが動作する

    (開発中の旧バージョンです、現在の仕様とは異なります)

     

    飲食店での応用例、注文端末をUbiMouseにより操作している

    (動画の最後で簡単な仕組みをご説明しています)

     

    今回の弊社ソフトでは、手のひらではなく指先を認識させました。このため、まるでマウスを操作しているかのように、狙った点に対しての操作を実施することが可能です。これまでにあった技術では、手のひらを認識をして、その形に対してアクションを定義していました。そのため、細かい「点」を指示するのは困難でした。

    さらに、弊社ではAIによる画像認識技術を組み合わせることにより、世界で初めて高精度の指先認識を行っています。このため、カメラに指をかざすだけで特別な機材なく使用できるようになりました。このカメラとしてはノートPCやスマホに搭載のカメラやWebカメラなど、汎用的にどこにでも存在するカメラを使うことが可能です。従来同様のことを行うには、例えばMicrosoftのKinectなどでは専用のスティックを認識するため専用の機材が必要でした。また、大手電機メーカーの空中タッチシステムでは大掛かりな装置や高価なセンサーが必要でした。他にも、昨今はやりのVRではVR世界にインタラクトするためには3Dコントローラーなどが必要でした。 弊社の技術ではこれらの高価な追加装備を一切利用することなく使用することが可能です。

     ※本技術については特許となっています(特許第6935887号)。

     

    2020年5月18日付の日経産業新聞に取り上げていただきました。

     

    “UbiMouse” は小さなエッジコンピューティングデバイスに組み込むこともできます。これは組み込み向け機器での動作事例。

    Other products