CASES

デスクトップ・モバイルの事例

Tauri、Android、OSネイティブ連携

3 件

自社プロダクト

Doyar

会議の IT 用語アシスタント

上流
折衝・プランニング
自走
フルスタック
ワントップ

PC で流れている会議の音とマイクの音を聞き取り、その場で文字起こしして、出てきた IT 用語の短い解説を隣の画面に出すデスクトップアプリです。要件定義書・画面遷移図・リリース判定・課金の設計を文書にして、機能を足す前・配る前に何を作るかを決めています。

担当

要件
提案・計画
設計
実装
運用
改善

取り組んだこと

⭐ 製品として決めることを、文書にしてから進めた。 要件定義書・上流の構成図・画面遷移図・リリース判定・有料化の計画・課金の設計・モデル調達の検討
配布まで設計した。 管理者権限なしで入れられて、更新もできる（業務の端末にも入る）
仮想オーディオデバイスを使わず、出力デバイスに入力ストリームを開く一手で両OS対応

自社プロダクト限定

カメラで機器の状態を読む

斜めから撮った表示面を正面化する

自走
フルスタック

スマートフォンのカメラ映像から、斜め・至近で撮影した機器の表示面をリアルタイムに正面化し、ランプの点灯状態や表示器の値を継続的に読み取る処理系です。

担当

設計
実装
改善

取り組んだこと

歪み補正と透視変換を1枚の参照表に焼き込むので、歪み補正を入れても実行時コストが増えない（1フレーム 0.3〜1.5ms）
基準画像との相関照合で位置ずれを自動追従。手合わせ 0.33 → 自動追い込み 0.91
⭐ 汎用 OCR で読める表示と読めない表示の境目を、実機で見極めた

自社プロダクト限定

リアルタイム映像音声の分散処理

GPU実機と端末を分けて遅延予算に収める

自走
フルスタック

リアルタイムの映像・音声処理を、GPU 実機と入出力端末に分けた分散構成で組み、各段の遅延を実測して予算内に収める設計を行っています。

担当

設計
実装
改善

取り組んだこと

⭐ 遅延を足さない自前の UDP。 既製の WebRTC で足される 20〜40ms を省き、映像1コマを49に分けて送っても、往復 5ms 前後・欠落 0% で届く
最初に遅延の予算を置き、各段を実測で埋める。 音声の往復 150ms 未満を目標に、通信・推論の1段ずつを測って収める