PC 画面を画像解析して、その結果を活用できないか試してみる
「PC 画面を画像解析して、その結果を入力補助やら操作補助に活用できないか？」とふと思い、
画像解析で、ウィンドウの要素をどの程度判別できるのか、試してみました。
使用したもの
ウィンドウの画像を適当にラベリング処理してみたところ、下図のような結果に。
ラベリング処理された領域を赤枠で表示しています。
ボタンとかチェックボックスの領域を認識できています。(ノイズというか不要な領域も多いけど)
かなり適当に解析してこの結果なので、文字領域の抽出とかすれば少しマシになりそう。
意外と使えそうな感じなので、次回に続くかも。
# でも、配布を考えると OpenCV のバイナリ (約 20 MB) も一緒に配布せにゃならんわけで。
# この点は微妙かも。
画像解析で、ウィンドウの要素をどの程度判別できるのか、試してみました。
使用したもの
- C#
- OpenCvSharp (OpenCV のラッパー)
ウィンドウの画像を適当にラベリング処理してみたところ、下図のような結果に。
ラベリング処理された領域を赤枠で表示しています。
ボタンとかチェックボックスの領域を認識できています。(ノイズというか不要な領域も多いけど)
かなり適当に解析してこの結果なので、文字領域の抽出とかすれば少しマシになりそう。
意外と使えそうな感じなので、次回に続くかも。
# でも、配布を考えると OpenCV のバイナリ (約 20 MB) も一緒に配布せにゃならんわけで。
# この点は微妙かも。
