Qualcomm Spectra 380の発売:AIを統合した世界初のISP

昨日ハワイのSnapdragon Technology Summitで、待望のQualcomm Snapdragon 855が発表されました。 新しいチップはさまざまな大幅な変更をもたらしますが(10年で大幅に正確になったGPSから最初の新しい2.4 GHz WiFiバージョン、5Gセルラー接続まで)、議論は画像処理とQualcomm Spectra 380がもたらす大幅な改善に戻っています。

従来、カメラのISPは、カメラの生のカラー出力を他の電話機がマシンビジョンに使用できるものに変換することを処理していましたが、AI処理が複雑になるにつれて、専用ハードウェアとの統合が重要になりました。 クアルコムは、Qualcomm Spectra 280でこれに向けた最初の一歩を踏み出し、マルチフレームノイズ低減と深度検知のサポートをISPに直接組み込みましたが、まだ長い道のりがありました。 今年、Qualcommはその飛躍を遂げ、ハードウェアコンピュータービジョンアクセラレーションをQualcomm Spectra 380 ISPに組み込み、世界初のCV-ISPと呼んでいるものを作成しました。

Qualcomm Spectra 380は、画像処理パイプラインのボトルネックを取り除き、ISP自体でマシンビジョン処理を実行することで、前世代よりも最大4倍の電力を節約します。 AIタスク、およびプロセッサのAR機能の大幅な改善。

つまり、ハードウェアの深度検知、オブジェクト分類、およびオブジェクトセグメンテーションはすべて、Qualcomm Snapdragon 855で最大4k HDR 60Hzでリアルタイムに実行できます。これにより、リアルタイムビデオでライブオブジェクトまたはバックグラウンド置換が可能になり、新しい電話とARヘッドセットの両方でQualcomm Snapdragon 855チップセットを使用した拡張現実(XR)アプリケーションの可能性。

ただし、Qualcomm Spectra 380の改善はAIとARにとどまりません。 クアルコムは、色空間と輝度の改善に多くの作業を注ぎ、完全なHDR10 +ビデオ録画のサポートを追加し、より広いダイナミックレンジとより広い色空間でビデオを録画することを可能にし、最新の携帯電話とテレビの機能を最大限に活用しています。

また、新しいISPは、VP9ビデオおよびHEVCベースのHEIF画像フォーマットのハードウェアアクセラレーションを改善し、古い画像フォーマットよりも50%小さくすることができ、機能を拡張します(AV1ベースのAVIFのハードウェアアクセラレーションの追加が非常に期待されていますが、願わくば将来的に利用可能になるでしょう)

Qualcomm Spectra 380は、デュアルカメラでの22MP 30Hz同時キャプチャ、および単一イメージセンサーでの48MP 30Hzキャプチャをサポートするデュアル14ビットCV-ISPパイプラインにより、前年よりも高い解像度のイメージングを処理することもできます。 ただし、この場合、高速のセンサー読み取りパイプラインはビデオに変換されません。ただし、Qualcomm Spectra 380は、Spectra 280と同じネイティブ720p 480Hz(センサー上キャッシュを使用しない)をサポートします。

何よりも、Qualcomm Spectra 380は、その新しいモジュラーISPデザインがイメージングパイプラインに新たな柔軟性をもたらし、RAWおよびYUVピクセルドメインのさまざまな処理方法の可能性を開くため、今後も改善し続ける可能性があります。

カメラの拡張AI機能に興奮していますか? マシンビジョンを何に使用できるようになりたいですか? 以下のコメントで教えてください!