車両管理システム　AI処理エッジコンピューティング顔面分析顔面認識ソリューション開発受託開発

システムソリューション開発

システムソリューション開発のアーキテクチャ

指数関数的に進化するテクノロジーにおいて、ベースとなるプラットホーム　(SoC , OS)　上に、AR (拡張現実) とAI (人工知能) を融合し、弊社で長年培った映像、音声技術を軸に、独創的なアプリケーション開発を展開します。

＊SoC：System on a Chip/　AR：Augmented Reality/　AI：Artificial Intelligence

システムソリューション

システムアプリケーション開発の事例紹介

＊↓画像をクリックすると各テーマの詳細情報にジャンプします　　

	音による異常検出システム AIによる学習により、特定の音源（叫び声、悲鳴、爆発音、衝突音、クラクション、アラーム音など）を検出し、音源方向を特定する「異音検知AIマイク」システムを開発します。
	Visual SLAM 応用システム ARとVRは、生活、仕事などの全てに関わる必須のツールとなりつつあります。弊社はVisual SLAMをコアとした組み込みソフトウエアとアプリケーションを開発します。
	車両管理システム(FMS) 車両の位置情報や緊急情報を遠隔でリアルタイムにモニターが可能な車両管理システムです。エッジコンピューティングの最適な利用と弊社のNVRの技術を活用して構築します。
	DVRリモートビューシステムカメラを用いた各種セキュリティシステムは、各々の仕様やプロトコルが異なり、一括管理が困難な状況でした。弊社のDVRリモートビューワーによって、既存のシステムのまま一括管理が可能になります。
	AIによる画像・音の解析・処理システム画像認識（何が写ってるかが判断可能）、物体検出（どこに何が写ってるかが判断可能）、異常検知（正常データのみを学習し、異常なデータを検知する）これら３つの技術を柱としたAIシステムを提供いたします。
	顔面分析システムオランダ・サイトコープ社が開発した顔面分析と感情認識・人工知能技術を用いたソフト開発キットを、代理店として弊社が販売するとともに、サイトコープ社の母体であるアムステルダム大学との共同作業により、先端的な技術の創出に参加できる立場にいます。
	受託開発 ●AIソフトウェアの受託開発お客様の上流設計段階から参画し、アノーテーション作業を含む開発全般をサポートします。 ●映像機器の受託開発弊社で長年培ってきた映像・音声・GPS・無線関連技術を生かした機器の受託開発を行ないます。

・・・法人のお客様・・・

システムソリューション開発の詳細

音による異常検出システム　

異常音源感知システム

◆　異常音源感知装置を通じて異常を感知し、管理者に伝達して発生された地点の CCTVを自動で制御して管制します。

＊CCTV　：Closed Circuit Television　

音源感知1

＊PTZカメラ　：パン（Panoramac＝水平方向への首振り）、チルト（Tilt＝垂直方方向の首振り）、ズーム（Zoom＝ズームアップ/アウト）の3つの機能を持ち、その動作を遠隔操作できるカメラ。

＜適用分野＞

◆　CCTV 死角地帯、無人店鋪、保安施設、トンネルなどの異常音源を感知して、迅速な対応ができるようにします。

音源感知2

システム構成例

◆異音検知AIマイクとPTZカメラの組合せ
〇異音検知AIマイクにより、音源方向を特定し、ONVIF経由にてPTZカメラが音源方向へ向きを変えて(フォーカスする）。（写真上がPTZカメラ）

〇AIによる学習効果で特定の音源（叫び声、悲鳴、爆発音、衝突音、クラクション、アラーム音など）を検出し、音源方向を特定することが可能。（写真下が異音検知AIマイク）

◆異音検知AIマイク　コンソール画面（写真下）
〇検出した音声が対象とする特性であるかを解析。
(複数の特性を予め設定可能）
対象とする音声であれば、音源方向を特定。

〇カメラのライブビュー：
音源方向にカメラの向きを自動で変え、録画指定も可能。
音源に画像をフォーカスすることにより、状況を正確に把握可能。
AIマイクコンソール

・・・法人のお客様・・・

Visual SLAM応用システム　

自律走行や拡張現実への展開に向けて

ARとVRは、日常生活、仕事などに関わる必須のツールとなりつつあります。
ARやVRに欠かせない要素であるディスプレイと同様に、そのコア技術としてはV-SLAMが必須となります。
ニュースペースデザインでは、Visual SLAMをコアとした組み込みソフトウエアと、新たな価値を提供するアプリケーション開発に注力し、自律走行や拡張現実への展開に向けて機能の実装を進めていきます。

＊Visual SLAM : Visual Simultaneous Localization And Mapping

Visual SLAM応用システムとニュースペースデザインの取り組み

実装可能な機能
プラットホーム上で、画像処理による実装可能な機能です。その他の機能としては、顔認証への応用も可能です。
vslam要素

LD： Lane Detection　/　VD： Vehicle Detection　/
PD： Pedestrian Detection　/　TSR： Traffic Sign Recognition　/
TLR： Traffic Light Recognition　/　MOD： Motion Object Detection /
GOD： General Object Detection
SLAM： Simultaneous Localization and Mapping

ハードウエアのプラットホームの一例
NVIDIA JETSONをプラットホームとして、AI , Visual SLAMの画像処理を実装します。
V-SLAMプラットホーム例

フォークリフトへの応用例
既に導入されているセンサーを活用も活用し、
STEP1:衝突防止用に自動ブレーキ
STEP2: 自律走行
STEP3:車両管理システム　
へと段階的に自動化を進めることが可能です。
V-SLAM応用例１

フォークリフトへの設置例
前方と後方にステレオカメラを設置することにより、人間や障害物を検出して、自動でブレーキを掛けることが可能になります。
V-SLAM応用例２

フォークリフト自律走行のソフトウェア構成

●コアソフトウェア
- AI・ディープラーニングオブジェクト検出
- 自車位置計算・3D地図作成
- 障害物回避プラン算出

●フォークリフト制御
- フォークリフト制御用ソフトウェア
- ECU(制御ユニット)に組み込み

●判断・決定のソフトウェア
- マッピングされたシナリオに従って、コマンドを発行し、フォークリフトを制御

●ソフトウェアの実装・カスタマイズ
- データベース構築
- 3Dモデルの構築・更新・工場、倉庫の稼働エリア
- フォークリフトの制御ソフトのインテグレーション
- アルゴリズムの実装(C++ CUDA)
- フォークリフト制御用ソフトと、決定ソフトのインテグレーション

◆自律走行の進化：
第1世代＝開発完了＞＞第2世代＝開発完了＞＞第3世代＝開発中
forklift1

◆第１世代の基本動作
forklift2

◆第１世代の主な機能
forklift3

◆第2世代：ナビゲーション機能の導入
forklift4

◆第2世代：ナビゲーション進化系に発展
forklift5

◆第3世代：Visual SLAMによる3Dナビゲーションに展開
forklift6

◆走行シナリオの作成・実行：
運送計画(プログラム)とマップ作成により、障害物を避けながら各パレットを目的の場所へ搬送。
forklift7

・・・法人のお客様・・・

車両管理システム　

自動運転化の進展と5Gの普及に向けて

車両を運用する企業において、安全性や経済効率の向上のために車両の位置情報や緊急情報を遠隔でリアルタイムでモニターが可能な車両管理システム(FMS：Fleet Management System)の導入が増加しています。

今後、自動運転化の進展に従って、5Gによる高速・低遅延・多数同時接続の特長を生かすために遠隔モニターによる管理の重要性が増します。

fms

これらの実現のためには、エッジコンピューティングとクラウドコンピューティングの最適化により、アプリケーションの拡張、ストレージ容量の拡張などのスケーラビリティーと高速化、通信量削減、低遅延システムなどの実現が必須となります。

弊社では、ドライブレコーダーとネットワークビデオレコーダー(NVR) の運用のノウハウをベースに用途に応じた最適な車両管理システムを提供しています。

遠隔管理モニター表示画面例

◆ 4G回線経由　自車位置ライブビュー（ドラレコ動画拡大）
・・・動画(左)はフロントカメラ、動画(右)はリアカメラ、地図には自車の現在位置が表示されています。

video-fms1

◆ 4G回線経由　自車位置ライブビュー（地図拡大）
・・・拡大表示した地図には自車の現在位置、右の動画はフロントカメラ(上)、リアカメラ(下)が表示されています。

video-fms2

◆ 車両データ解析燃費計算・走行距離・アラーム頻度等	◆危険運転度表示 -
◆運行軌跡	◆ビデオ再生
◆車両登録	◆アラーム設定
＊商品化の際には日本語化と共に機能のカスタマイズにも対応いたします。

・・・法人のお客様・・・

DVRリモートビューシステム

DRV 社会的なニーズの拡大に伴って様々なセキュリティシステムが導入される中で、各々の設置場所、設置時期をはじめとして仕様やプロトコルが異なるために、規模が拡大するに従い一括管理できるシステム構築が求められてきました。

⇒　弊社がご提案するDVRリモートビューワーの導入により、既存のシステムをそのまま活かして、リアルタイムのモニターやDVRの制御の一括管理を遠隔にて実施できます。

＜特徴＞

独立した遠隔監視システム(汎用性）
：HDMIとUSBのI/Fを備えるNVR , DVRに対して独立したビデオ管理システムとして、遠隔にてビデオモニター、制御が可能になります。従って後付けでのシステム更新が可能です。PCのOSにも依存しません。
低遅延　(TXアダプター～ RXデコーダ間）
：独自の転送プロトコルにより、低遅延と最小限の帯域幅を実現します。
低遅延を実現する手段は、高速なデータコピー技術である「Zero Delay Memory Copy」で圧縮されたストリームを処理する方法の導入です。
送受信システムは、複数のクライアント接続時にもデータコピーの負担が増えないので、遅延特性にはほとんど影響しません。さらにデコード部分でも送信されたデータからフレームデータを高速に判断して、遅延を最小限にする独自のアルゴリズムを使用しています。
マルチビデオ対応
：最大16台のHDMIビデオをリアルタイムで同時転送及びモニタリングが可能です。
また、最大64台のTXアダプターでフルHDの画質でリアルタイムで録画可能です。
高セキュリティ　
： TXに接続されたDVR/NVR/PCは、ネットワークに直接接続されていない状態となります。 HDMI出力だけで、本TX / RXシステムを介してネットワークを構築する方法で、ターゲット装置(DVR , NVR , PC)はネットワークに接続されません。故に外部からターゲット装置自体のアクセスが不可能で、より安全に保護されます。
　＊例えば、DVRに直接ネットワーク接続してリモート管制をしたり、PCにインストールされたTeam Viewerなどの場合、ネットワークを介してターゲット装置が直接ネットワークに接続されるためIPアドレスの情報、ID / パスワード情報などが危険にさらされる可能性がありますが、弊社のDRVを用いて遠隔システムを構築すれば、DRV自体の情報が漏洩することはあっても、ターゲット装置への不正アクセスはブロックされます。
　＊汎用IPカメラが利用するONVIF、RTSP、HTTPなどの標準的なプロトコルに基づいた伝送方式を使用するのではなく、低遅延の独自プロトコルにて送受信するため、送受信プロトコル自体が判明しない限り、ネットワーク上のデータ解析は困難となります。
カスタマイズ
：HDMIのほかにVGA対応や、使用するネットワークに合わせたカスタマイズ、チューニングにより、最適なシステム構築が可能です。

〇　現行のシステムにTXアダプターとRXデコーダーを追加！
〇　遠隔での画像モニターはHDMI接続、制御はUSBマウスを接続します。

DRV

＜システム構成例＞

DRVのシステム構成例

〇　遠隔監視・制御センターの構築が容易　(構成図)

DRV構成

＜主な仕様　TXアダプター＞

最大ストリーミングレート　：	最大60fps@1920×1080　/　3ストリーム
ビデオコーデック　：	H.264　/　H.265（オプション
ビデオ入力　：	HDMI×1系統（1080p60pのみ）
音声入力/出力　：	スピーカー・マイク
アラーム出力　：	1系統
周辺機器　：	USB×1
イーサーネット　：	10/100/1000-base-T
認証　：	KC，FCC，CE，RoHS
動作温度範囲　：	０℃～50℃
動作湿度範囲　：	10％～80％（結露なきこと）
電源　：	12V/1A（最大12W）
外形寸法　：	107(W)×83(D)×26(H) mm
重量：	165g

＜主な仕様　RXデコーダー＞

デコード台数　：	16チャンネル（最大30fps＠1080p
ビデオコーデック　：	H.264　/　H.265（オプション）
ディスプレイモード　：	分割画面モード（最大4×4），グループ画面モード
再ストリーミング接続　：	対応
ビデオ出力　：	HDMI×1系統
音声入力/出力　：	スピーカー，マイク（初期値：入力設定）
周辺機器　：	USB×2（マウス，キーボードなど）
イーサーネットポート　：	２ポート（WAN/LAN）　10/100/1000-base-T
認証　：	KC，FCC，CE，RoHS
動作温度範囲　：	０℃～50℃
動作湿度範囲　：	10％～80％（結露なきこと）
電源　：	12V/1A（最大12W）
外形寸法：	195(W)×150.2(D)×38(H) mm
重量　：	725g

・・・法人のお客様・・・

AI処理システム

ニュースペースデザインでは以下の3つのAI 技術に取り組んでいます。

〇　画像認識（Classification：何が写ってるかが判断可能）
〇　物体検出（Object Detection：どこに何が写ってるかが判断可能）
〇　異常検知（正常データのみを学習し、異常なデータを検知する）。

＜開発実績＞

◆　人混み内の人物の動き（しゃがみ/振返り/走り出す等）を検出して、アラート発出。
◆　顔認識を用いた年齢、性別の判定による、サイネージ、マーケティング。
◆　指定エリアへの人 (物)の侵入、退出検出。
◆　異常事態 ( 炎　煙　喧嘩　等)の検出。
◆　遺失物(残留物）の検出。
◆　異常音の検出 (走行中の異常音：ひび・破損・断裂・叫び声・クラクション・爆発・衝突等)。

＜画像認識におけるAI処理の活用＞

CNN
◆　AIが画像分析を行うための学習手法として CNN（畳み込みニューラルネットワーク）を用いて画像認識を行ないます。
◆　ライブラリーの利用を基本として、学習データにより重み付けをして最適化を図ります。

＜画像処理AIの汎用事例＞

◆　農業　：AI搭載ドローンで農薬散布を自動化
◆　インフラ　：河川のコンクリート護岸のひび割れをAIで検知
◆　医療　：AIを生かした画像診断で疾患を検知
◆　空港　：顔認証技術で出国ゲートを効率化
◆　警備　：AI搭載ロボットがドバイの街を警備

＜今後のトレンド＞

１）　AIの進化のために機械学習やデータサイエンスの役割分担が進展します。
AIのトレンド

２）　自然言語処理が進展します。

プログラミング言語とは異なり、自然言語には言葉の曖昧性が存在します。
この言葉の曖昧性を踏まえて、自然言語を使って書かれた膨大なテキストデータを実用的に扱うために自然言語処理という技術が使われています。
チャットボットのアルゴリズムや翻訳、フェイクニュースの見破りに使われる事が多く、文章から意味のある情報を取得後、解析/解釈を行います。

自然言語処理

そのプロセスは、
⇒言語処理を行う前段階として、機械可読辞書とコーパスの構築を行います。
⇒形態素解析を行い、意味を持つ最小の言語単位に分割します。
⇒意味のある情報を取得します。
⇒その後、構文解析/意味解釈/文脈解釈等を行います。

・・・法人のお客様・・・

顔面分析システム

顔面認証オランダ・アムステルダム大学からのスピンオフ企業であるSightcorp社が提供する技術は、コンピュータービジョン・顔面分析と感情認識・人工知能技術などの分野における長年に亘る研究に基づくものです。
サイトコープ社は、使いやすい柔軟なソフトウェア開発キット“DeepSight SDK とFaceMatch SDK”などの製品を開発・販売しています。
前者は主にデジタルサイネージ業界向け、後者はセキュリティ目的の顔面認識を対象とした製品です。

弊社は2015年に国内販売代理店となりました。また、アムステルダム大学との密接な共同作業により、先端的な研究と技術の創出に参加できる立場にいます。

＜特徴＞

◆　IDの確認 KYC(Know your customer) アクセスコントロール支払い確認に最適（１：１認証）
◆　顔の比較アクセスコントロールとブラックリストDBのチェックに最適（１：１認証）
◆　顔検索グループ及びクラスタの顔の検索に最適（１：ｎ認証）

DeepSight

ディープラーニング技術を利用した年齢・性別のようなデモグラフィックの重要な情報を認識します。
同時に顔面の表情、目の位置、頭の方向、視聴時間、服の色など多くの機能をリアルタイムで計測することが出来ます。
ディープラーニングにより6種類の表情（幸福・怒り・悲しみ・・・）を数値で表すことが出来ます。

FaceMatch

ディープラーニング技術により正確な 1：1認証、1：ｎ認証を実現しています。
複数の人間の顔面を同時に認識出来ます。
facematch

クロス-プラットフォーム

ビジネスの成長に貢献し市場でリードするため、正確かつ柔軟なソリューションを顧客に提供します。
デスクストップアプリからウェブサービスやモバイルアプリに至るまで幅広いOSで動作します。

DeepSight SDK

◆　評価用データセット：　WIDER FACE
WIDER FACEは、全ての顔面検出モデル用標準ベンチマークとして業界で認知されたデータセットです。
ポーズ、マスク着用など異なる変化を持つ顔面にも対応します。

◆　DeepSight SDKの検出精度	男性	女性
容易なレベルでの平均精度：	94.8%	91.7%
中間レベルでの平均精度：	90.8%	-
マスクをしていたり、横を向いているような困難なレベルでの平均精度：	81.1%	-

DeepSight SDKによる年齢の推定

18歳から100歳の人の顔をデータベースとして保有しています。

	男性	女性
全体としての推定精度：	±5.0歳	±6.08歳
18歳以下のグループ：	±0.68歳	±0.23歳
18-35歳の範囲での精度：	±3.00歳	±4.74歳
36-55歳の範囲での精度：	±4.75歳	±5.4歳
56歳以上の範囲の精度：	±11.60歳	±14.4歳

注：　18歳以下の年齢推定精度はこの年齢範囲全体を平準化したものであり、大幅に向上している結果が出ていますが、顔の特性により年齢判定は大きく異なっています。


実年齢と推定年齢の違い（男性）	実年齢と推定年齢の違い（女性）

DeepSightの国内・海外導入事例

◆　デジタルサイネージシステムへの採用
⇒　オフラインでマーケティングデータの収集
⇒　対象者の性別・年齢に基づくコンテンツのリアルタイム自動更新
◆　自動車業界への導入
⇒　ドライバの監視（眼の開閉と頭部の姿勢）--安全運転の実現
⇒　表情の認識により、車内の雰囲気と室内の調整（室温・カーラジオなどの音量調節）
⇒　タクシー利用客へのコンテンツ提供とビッグデータの収集
◆　大学・予備校のリモート講義（表情の変化を測定し参加者の講義内容理解度を判定）
◆　医療機関で Informed Consent 時における患者・家族の理解度の判定

・・・法人のお客様・・・

受託開発

AI ソフトウェアの受託開発

◆　受託開発プロセス
お客様の上流設計（要求ヒアリング/仕様策定）から参画し、開発全般をサポートします。
アノテーションを外注することによる問題点を回避できます。

問題点とは：
＊映像/画像データを外注先に開示するために、開発目的を推察される可能性がある。
＊工数がかかるためコストが高い。
＊常に均一な品質を求めるには、外注先の特定の個人を指名する必要がある。
＊期待する品質になるまでに時間がかかる。

上記のような問題を解消するために、弊社ではアノテーションツールの開発、アノテーションチームの育成を進めています。
〇　熟練者と半自動化ツールの活用により効率的なアノテーション作業が行えます。
AI開発プロセス

◆　AIに関する基礎知識講習会(１～３日程度)をコンサルティング契約のもとで行います。

<概要>
・AIの概論（AIとは何か / AIの仕組み / AIで何ができるのか等）
・AIの活用事例
・最新の動向
＊お客様からのヒアリングを元に説明する内容をカスタマイズ可能です。

映像機器の受託開発

弊社で長年培ってきた映像・音声・GPS・無線関連機器の受託開発を行ないます。

例
・DVR (Digital Video Recorder )
・NVR (Network Video Recorder)、Drive Recorder
・カメラ ( IP , HD-SDI , EX-SDI , LVDS , ONVIF 等）
・フォーマット変換、中継器
・SOC： HI SILICON , TI 等
・OS： Linux , Android , iOS , Windows
・映像コーデック： H.264 , H.265
・音声コーデック
・GPS、Wi-Fi など

◆　受託開発プロセス

受託開発プロセス

・・・法人のお客様・・・

＜個人情報保護について＞

車両管理システム AI処理 エッジコンピューティング 顔面分析 顔面認識 ソリューション開発 受託開発

音による異常検出システム

Visual SLAM応用システム

車両管理システム

DVRリモートビューシステム

AI処理システム

顔面分析システム

受託開発

車両管理システム　AI処理エッジコンピューティング顔面分析顔面認識ソリューション開発受託開発

音による異常検出システム　

Visual SLAM応用システム　

車両管理システム　