Category: ComputerVision ProcessingEngine

スマホのカメラの仕組み

デュアルカメラ(デュアルレンズ、ダブルレンズカメラ)が増えている
一眼レフと比べて、ズームができなかったり、光を取り込む量が足りなかったりなど、幾つか弱点がある

### デュアルレンズの仕組み
– 普通のレンズと遠くのものを引き寄せるように撮るズームレンズを装備(iPhone, Galaxyなど)
– 超広角レンズを採用するスマホもある(ASUSのZenFone, LGなど)

### モノクロ
モノクロ(白黒画像)専用のセンサーを搭載する方式(HUAWEI)
-> 撮影時にはカラーとモノクロで同時に撮影し、モノクロで記録された光量の情報を元にカラー画像を補正
-> ズームレンズを組み合わせたトリプルレンズもある

### ボケ加工(ポートレートモード)
被写体との距離情報を元に、背景部分にボケのような加工を施す

iPhone 11 Pro/11 Pro Max
- 超広角レンズ
- 広角レンズ
- 望遠レンズ

### スマホの撮像素子
ソニーのCMOSセンサー一強(iPhone, Galaxyなど)

### 画像処理
CMOSセンサーから出力した信号をQualcommなどのアプリケーションプロセッサがRGBの画像に変換

ハードウェアにCPU、GPUがあれば、LSIではなく、アプリケーション側で画像処理を行う
デジカメとスマホカメラの全体的な仕組みはかなりリンクしている
CMOSからどういう電子データが出力されるのか気になるところか

画像処理エンジンの仕組み

画像処理エンジンとは、撮影素子(CCD, CMOS)の電気信号情報を画像に変換処理する電子回路(LSI)
ノイズ処理、ホワイトバランス、シャープネス調整、コントラスト調整、画質調整などを行っている
処理能力の高低と処理のためのアルゴリズムが重要。処理能力が高速であれば、より複雑なアルゴリズムが使える
jpeg, MP4などに圧縮する

e.g.
オリンパス「TruePic」、キヤノン「DIGIC」、ソニー「BIONZ X」、ニコン「EXPEED」、パナソニック「ヴィーナスエンジン」、富士フイルム「X-Processor」、ペンタックス「PRIME」など


※DSPとはDigital Signal Processor

### 画像処理エンジンの画像処理アルゴリズム
画像処理エンジンの流れ
↓ デモザイク
↓ ノイズ除去
↓ シェーディング補正
↓ 階調補正、色補正
↓ 人物補正
↓ 歪み補正、幾何変換
↓ 広域強調、ぶれ補正
↓ 画像の圧縮、伸張
→ 画像の保存

パソコンのマザーボードのようなイメージか？
電子回路がどう動いているか理解する必要があるか。。。
沼だ、Endlessやな。。。マザーボードを理解できればかなり幅が広がりそうではあるが。。