Current Working

Gestural flick input-based virtual keyboard interface

A non-touch character input is a modern system for communication between humans and computers that can help the user to interact with a computer, a machine, or a robot in unavoidable circumstances or industrial life. Therefore, the purpose of this research is to introduce a quick and easy method using a hygienic and safe non-touch character input system.


View Poster

Arm movement activity based user authentication

With the progress of the latest sensor technology, wearable as Microsoft Bands, Fitbit, and Garmin has provided for more information collecting opportunities. The aim of this research is to identify the user based on the bio signal analysis for example, accelerometer, gyroscope and electromyography (EMG) of arm movement for higher security and safety requirements.

Microsoft Bands, Fitbit, Garminのようなスマートデバイスにより多くの情報収集が可能になっています。この研究の目的は、生体信号からユーザーを識別することです。例えば、加速度計、ジャイロスコープ、筋電(EMG)のような生体信号をデバイスから取得し高い安全性を目指します。

View Poster

Learning System for Japanese Kanji Calligraphy

The most popular way of learning oriental calligraphy has been by practicing the calligraphy under the supervision of a human teacher, but finding a good instructor can be difficult. Therefore, the main focus of this research is to develop a Kanji calligraphy learning system with computerized supervision and analyzes the learning efficiency of the system, where the supervision includes symmetries between strokes.


View Poster

Dynamic hand gesture based sign language recognition

Sign language serves as a useful communication medium for communicating with the deaf community, hard of hearing, deaf family members, and rest of the community. The aim of this study is to develop a computer interface that helps to reduce the communication gap by introducing a machine interface between the deaf community and the rest of the community.


View Poster

Simulating oriental brush character using Pen tablet

The calligraphy is widely known in the oriental countries and has received art and high evaluation in history. The calligraphy is not only intended as a means of communication but also as a traditional culture that shows the artist using bristles and ink. The purposes of this research are the simulation of oriental brush character considered with the aerial action of the pen tablet.


View Poster

Non-touch HCI using Motion gesture sensor

gestureRGB-D, Leap motion etc sensor based non-touch human computer interaction interface development. The aim of this research is to identify the human body and hand gesture for understanding the gesture command and non-touch input for computer or robot. Dynamic gesture recognition will be done by gesture feature extraction and machine/deep learning models.
RGB-D, Leap motionなどのセンサに基づく非接触ヒューマン・コンピュータ相互作用インターフェースの開発を行う。本研究の目的は、コンピュータやロボットのジェスチャーコマンドやノンタッチ入力を認識するための人体と手のジェスチャーを特定することである。ジェスチャー特徴抽出および機械学習、深層学習モデルによって動的ジェスチャー認識が行われる。

Disease Diagnosis using Pen-Tablet

gestureQuantities and reliable kinematic feature extraction for disease (i.e. Parkinson's disease) diagnosis using pen-tablet. The purpose of this study is to establish a technological infrastructure with feature extraction and identification algorithm development to generate quantitative, reliable and reasonable evaluation index by utilizing sensor technology, data science and machine/deep learning technology to evaluate cognitive and motor symptoms of neurological diseases.

Elderly people falls detection using Myo armband

gestureEMG, accelerometer, and gyroscope data analysis based fall detection of elderly people using Myo armband. In this research, the embedded sensor of Myo armband will be used for collecting activity data for analyzing and detecting the falls of elderly people to reduce the health risk of elderly society. The machine/deep learning techniques will be used for analyzing and detecting fall.

Human activity recognition

gestureSmart watch sensor based human daily movement and motor activity recognition for monitoring the health condition. The aim of this study is to develop machine/deep learning based activity and movement condition recognition using low cost and comfortable data accusation process using smartphone. The collected data will be analyzed for detecting the body abnormality for different disease.

Past Working

On-line Stroke-Order and Stroke-Number Free Character Recgnition

gesture In on-line character recognition, we develop an algorithm which computes stroke correspondence between input pattern and reference pattern optimally without depending on their stroke-order or stroke-number.
オンライン文字認識において、筆順や画数に依存せずに、入力パターンと標準パターンとの ストローク対応を最適に求めるアルゴリズムを開発する。

Signature Verificition

gesture Signature Verification is the technique of person verification. In Japan, many people use personal seal. However, a person signs his/her name when using credit card, the sign is becoming common. By taking signature data using the pen tablet, we obtain not only shape of signature but also movement of a pen, inclination and pressure. That information is difficult to forge by other person because they have personal habit of personal writing style. We are researching about Signature Verification using on-line signature data obtained by pen tablet and analyzing from many direction.
署名認証は本人認識に応用される技術の一つです。日本は判子社会と言われますが、 クレジットカードを使うときに署名を行うことがあるように、書名は本人確認手段と してよく使われるようになってきました。署名はペンタブレットを用いてデータをとることにより、 署名の形状だけでなく、ペンの移動速度や傾き、筆圧などの情報を取得することが可能です。 これらの情報は本人の“書き方の癖”を反映しているため、他人がまねることは困難だといえます。 Shin研究室ではペンタブレットから入力されるデータを様々な方向から解析し、署名認証の研究を行っています。


This research is to solve the problem of dynamic time warping (DTW) causing unintended matching correspondences when it is employed for online two-dimensional (2D) handwriting signals, and proposes the concept of dynamic positional warping (DPW) in conjunction with DTW for online handwriting matching problems. The proposed DPW allows sub-signal translations without any additional costs when their starting points are matched to other points through the matching process. Because the movement of sub-signals is cost-free, except for the distance between the two starting points, an adequate movement---finding and matching similar sub-signals---could significantly reduce the matching cost. This feature causes a tendency to match with the least amount of sub-signal movement in the result. The DPW is applied for online handwritten signature verification, and proved its superiority by reducing error rates.
この研究は、オンライン二次元(2D)の筆跡信号に使われるときや、 オンライン筆跡照合問題のために dynamic time warping (DTW)と 併せて dynamicpositional warping (DPW) の概念の提案をするときに 意図せぬ照合一致を引き起こしているDTWの問題を解決するための研究です。 DPWの出発点がマッチングプロセスによって他の点と合うとき、 提案されたDPWはどんな追加コストなしででも下位信号変換を許します。 二つの出発点の間の距離を除いて、下位信号の動作はコストがかからないので、 十分な運動(類似した下位信号を見つけて、マッチングすること)は、 マッチングコストをかなり減らすことができました。この特徴は、 結果として下位信号動作の最小の量とマッチする傾向を引き起こしました。 DPWはオンライン手書き署名認証のために適用され、エラーレイトを減らすことによって、 その優勢を証明しました。

Stroke Based Signature Verification

Stroke based-signature verification is to verify signatures in stroke level when there are number of strokes in signatures. To develop an accurate stroke-based signature verification system, it is important to find correct points of a testing signature to be spilt according to its template signature. This research tries to modify dynamic time warping algorithm (DTW) for the problem. Proposed method has two differences to the conventional approaches. First, the stroke information of both template and testing signature is considered precious to prevent wrong splitting. Second, the number of stroke difference in genuine signature is not limited because the proposed method does not require much additional computational time. Through the experiment with 1359 signatures, we succeeded to get 3.85% equal error rate (EER) whereas the EER of the conventional method was 7.8%.
ストロークに基づいた署名認証は、署名に多くのストロークがあるとき、スト ロークレベルで署名を確かめることです。正確なストロークベースの署名認証 システムを開発するために、テンプレート署名に従って分けられるテスト署名 の正しい点を見つけることは重要です。この研究は、問題のために dynamic time warping algorithm (DTW) を修正しようと試みています。提案された方 法には、従来のアプローチに二つの違いがあります。一つ目は、テンプレートと テスト署名の両方のストローク情報は間違った分かれ方を防ぐために貴重であ ると考えられます。二つ目は、提案された方法がそれほどさらなる計算時間を 必要としないので、本人署名における、ストローク差数は限られていません。 1359の署名の実験を通して、従来の方法のエラーレート(EER)が7.8%であっ たのに対して、この方法では3.85%に等しいEERを得ることに成功しました

String Recognition

gesture Propose an algorithm which implements an optimal segmentation for an input string from pen tablet, separates the string into character unit, and recognizes the correct string and show its effectiveness.
タブレット上で書かれた文字列に対して最適な分割を行い、文字列を文字単位 として分離し、正しい文字列を認識するアルゴリズムを提案し、その有効性を示す。

Character Learning System

gestureDevelop a system which can corrects input handwritten character style, stroke-order, and etc. automatically.

Handwritten Style Font Generation System

gestureFont generation is a research on artificially generating characters from training characters. It is an interesting issue in today’s handwriting analysis field. We mainly focuses on generating handwritten characters of individuals. With this Researches we hope to understand human handwriting more deeply, and aim to make interesting applications with human handwriting styles
フォント生成とは入力文字から自動的に文字を生成することを目的とした研究である。現在、フォント生成は人の手書き特徴の解析における分野において興味深いテーマと されている。このテーマに関して本研究室で最も目標としていることは個人の手書き特徴の再現である。本研究を通じて人間の手書きについて深く理解するとともに、 手書き文字を利用したアプリケーションの開発を目指す。

Kanji Generation of 3000 letters with a number of characters

Using characteristic computer font which reflects user's handwriting individuality can be popular demands of users because typical fonts are simple and those will be lack in fun a little. To use characteristic computer font, users need to write each character for character data. However, huge amount of characters are used in Japanese document and the cost for user to write each characters will be enormous. To solve this problem we could use the technique to generate font by using computer. In our lab, we are researching handwriting style font generation. This technique will enable user to use font which reflects own individuality with low cost.
ワープロ上で単純で少々面白味に欠る典型的なフォントではなく、ユーザーの手書き文字の個性を反映させた フォントを使用することはユーザーの願望の一つである。しかしながら、日本語文書で使用される文字の種類は膨大であり、 ユーザーがそれらの文字を全て入力することは困難である。この問題の解決方法としてコンピュータを用いたフォント生成を 利用することが可能である。私たちの研究室では今日までにユーザーの個人性を反映させたフォント生成に関する研究を行っている。 この技術を用いることによってユーザーは少数の入力で自身の個性を反映させたフォントを利用することが可能となる。

Variable Character Generation with a writer's personality

The purpose of Character Generation is to artificially generate training data, foster a deep understanding of human handwriting, and promote the use of the handwritten-style computer fonts, in which the individuality or variety of the synthesized characters is considered important. Research considering such two properties together, however, are very rare. In this research, a handwriting model is proposed to synthesize various handwritten characters while preserving the writer’s individuality from a limited number of training data, using a statistical approach. The proposed model is verified in single- and multiple-stroke characters, such as Arabic numbers, small English letters, and Japanese Kanji letters. Synthesized characters are evaluated in three ways. First, they are analyzed visually using the selected samples, and the relationship between the training and synthesized characters is explained. Second, the personalities and varieties of all the data are evaluated using a conventional writer verification method. Third, a questionnaire is developed and administered to evaluate the subjective responses of the users regarding the personal styles of the synthesized characters. The results prove that the proposed model stably synthesizes personalized characters by being invariant to the number of training data, whereas the variety increases gradually as the data increase.
文字生成の目的として実験用データの生成、人の手書きの理解の促進、手書き風フォントのコンピュータへの利用の促進が挙げられる。 文字生成は個人性と多様性といった二つの特性が重要となる珍しい研究である。本研究では限られた手書きデータから個人の特徴の統計を取得し、 それを元に各データを合成し、個人の特徴を残した手書き風文字を生成している。生成された手書き風文字は以下の三つの方法で評価された。 一つめは人による視覚的評価で、入力文字と出力文字の類似度を視覚的に評価をした。二つめはコンピュータを利用した署名認証による評価をした。 三つめは生成された文字に対するアンケートを行い評価をした。以上の評価の結果から、本研究は入力した手書き文字から個人の特徴が反映された 手書き風文字を生成することができることを証明した。

Writing Brush Emulation

gestureThe purpose of this research is realization of 3D virtual calligraphy simulation that is able to do on computer with pen tablet sensuously. To do the simulation sensuously, we propose three models. The first model is a 3D virtual writing brush model. The second is drawing field model, and last is droplet model based on unique and artistic stroke drawn by writing brush. These models are able to transform to the most suitable shape by information acquired from pen tablet. This simulation is very comfortable system. Therefore, so many people of various ages were able to do simulation sensuously and gaily in school festival. Therefore, we confirmed this simulation is the applicative calligraphy simulation.
毛筆のシミュレーションとは、ペン型の入力機器を用いて、コンピュータ上で書道をしてみようという研究です。ペン型の入力機器、 通称ペンタブレットからはXY座標、筆圧、方位角(360°)、そして傾度(90°)の情報が得られます。これらの情報は、 ユーザーの描き方における個性を、描かれるストロークに反映させるために用いられます。本研究では、毛筆らしいストロークを描画するために、 様々なモデルを提案しています。

Shape Retrieval

gestureAs digital images have been more and more generated every day by development of digital devices, finding images efficiently is getting more attractive in our life. Contend-based image retrieval (CBIR) use the features extracted from image, such as color, texture or shapes, in order to find adequate images instead of annotation. In our research, we study the image retrieval system based on shape which is one of the very important feature of image. In particular, we have been studying novel model to find the contour of an image in phases. The model was designed by modeling physical motion of a real elastic band. This is applied to top of any existing shape representation methods in order to offer additional information. The model makes us deal with global and local shape characteristics at once and results in robustness to distortion and noise on the retrieval system as it does not miss the detailed data. Dynamic time warping algorithm is employed to measure the similarity between shapes. The results show that our model is robust to distortion, noise and images having complexities inside of the boundary.
デジタルイメージがデジタル装置の発達によって毎日ますます生成され、イメージを能率的に探すことは 私たちの生活においてより魅力的になっています。Content-based image retrieval(CBIR)は注釈の代わりに適切なイメージを探すために、 イメージから抽出される特徴(例えば色やテクスチャや形)を使います。私たちの研究では、イメージの非常に重要な 特徴のうちの1つである形に基づくイメージ検索システムを研究します。特に、私たちは局面でのイメージの輪郭を 発見するために新たなモデルを研究していました。そのモデルは本当の輪ゴムの自然な動きをモデリングすることによって設計されました。 これはさらなる情報を提供するためにどんな既存の形状の表現法のトップにも適用されます。モデルはすぐに私たちに 世界的でローカルな形の特徴を処理させて、詳細なデータを見落とさずに検索システム上でゆがみとノイズにロバスト性ををもたらします。 Dynamic time warpingアルゴリズムは形状との類似性を測定するのに使用されるます。結果は私たちのモデルがゆがみやノイズや 境界線の内側に複雑さがあるイメージに強いということを示した。

Map Search

Develop an algorithm which searches the same shape location in the Japanese map from an input shape.

Fingerprint Verification

gestureDevelop the algorithm which verifies a human fingerprint.

Face Detection

gestureDevelop the algorithm which detects human face in image.

Human Identification using Face Image

gestureDevelop human face verification system using Shade Value Matching and HSV Information.

Multi Target Tracking System

gestureDevelop the Multi Target Tracking System with single camera using several algorithm. This system can detect and track multi target in sequence images.

Moving Objects Detection System

gestureDevelop moving objects detection and extraction system with digital camera. The main purpose of this field is to develop new algorithm and new idea to detect and extract moving object properly.

Shorthand Recognition System

gestureHandwritten shorthand is a very fast way to record speech and the speed of record is the same to the speed that a person speaks. However, compared to the speed of writing, it takes a long time to read and transform shorthand sentences into regular text. In our Lab, we are researching the system which will translate shorthand to regular text with high performance.

Recognition with Wii Remote Controller

gestureWe write a word with a wii wireless remote controller on space and do character recognition with the data.