April 2020 – Page 3 – ソフトウェアエンジニアの技術ブログ：Software engineer tech blog

光の性質

光は電波やマイクロ波と同じく、電磁波の一種(それぞれ波長の長さが異なる)
電磁波とは、電界と磁界から構成されいている波の事
隣同士の同位相の地点間の距離を波長λ[m]という
一秒間に進む距離の中に幾つの波長があるかを周波数f[Hz]として表す
速度をvとすると　v = fλ[m/s]

### 粒子としての光(光子)
光子1個のエネルギーE[J]はその振動数V[Hz]によって決まる
E = hv = hc / λ[J]
※hはプランク定数(6.63 * 10^-34[Js])
※cは光の速度(3.0 * 10^8[m/s])
青い光子の方が波長が短く大きいエネルギーを持っている

### 光の性質
入射光の一部は反射(R)、残りは物質を透過(T)するか吸収(A)される
A + R + T = 1

光は物質中の速度v[m/s]は真空中よりも遅くなる
n = c/v … 屈折率n

光ファイバーはガラスと空気の境界面での全反射を利用して損失なく遠くまで光を伝えている

###　光源の種類
発光スペクトルとは光の色に対応した波長
白色光(赤LED, 白LED、豆電球、蛍光灯、液晶モニタ、水銀ランプ、ネオンランプ、レーザ)
※白色光でも波長は異なっている
電磁波を測定する事で対象の温度を測定

物質内に光を照射すると、光のエネルギーにより電子が起きる　この電子が元の状態に戻るときに余計なエネルギーとして光を放出することがあり、それを蛍光という
蛍光灯内部では、放電を起こすことにより発生する紫外線を蛍光体に当てて可視光線を発生させている(水銀原子と熱電子を衝突させて紫外線を出す)

### 単位
放射束[W] 光束[lm] …光源からの光の強さ
放射照度[W/m^2] 照度[lux] …物体に入ってくる光の強さ
放射強度[W/sr] 光度[cd] …光源からある方向に出てくる光の強さ
放射輝度[W/sr/m^2] 輝度[cd/m^2] …光源からある方向に出てくる光の強さ

電磁界とは
「電磁界」とは、電流が流れている電線などのまわりに発⽣する「電界」と「磁界」の総称
「電磁波」とは、電界と磁界が交互に発⽣しながら空間を伝わっていく波

静電磁界は医療機器や鉄道などから
超低周波電磁界は電⼒設備や家電製品などから
中間周波電磁界は IH 調理器や電⼦タグ、電⼦商品監視装置などから
⾼周波電磁界は携帯電話などの無線機器や携帯電話基地局、TV・ラジオ放送局などから発⽣

光子は物質に衝突すると、反射、透過、吸収されるってあるけど、電磁波同士で衝突したら干渉したりしないのかね？
電磁界から電磁波が出るのはわかるけど、生活空間は電磁波だらけってこと？　その辺りがいまいちイメージしにくい。
しかし、5Gとか通信のコア技術が電磁波なんで、重要なトピックには間違い無いんだが。。

ビデオカメラの技術

### 光学系
撮像レンズ、光学LPF、ダイクロイックプリズム、CFAなど多岐に弥

撮像レンズ
– 昔は異なる焦点距離を3-4本揃えターゲットに合わせて変えていた
– ズームレンズが開発
– 非球面レンズの導入により、レンズ枚数が減少

ダイクロイックプリズム
– レンズから入射した光線をRGB3色光学像に分解して結像させる光学部品

CFA
– R、G、B、それぞれのカラーフィルターをアレイ状に配置したもの

光学 LPF
– 被写体の高周波成分を落とす

マイクロレンズ
– フォトダイオードの上部にマイクロレンズを設けて光の利用率を向上する

### 撮像デバイス(CCD)
– ビデオカメラもCMOSイメージセンサを使用している

### 撮像管
– 電子ビームを偏向集束させるためにコイルアセンブリが必要
– フェースプレートは光学ガラスでできていて、内面にITOが真空蒸着で作られ、その上に光導電膜が形成される
– 撮像管内部は真空が保たれ、ヒーターで温めれた電子ビームが光導電膜を走査すると、光学像によって、光電効果で蓄積された信号電荷がITOの部分から取り出されていく

### CMOSイメージセンサ
– フォトダイオード(PD)とトランジスタで構成される
– フォトダイオードに蓄積された信号電荷は画素ごとに設けられた増幅器で増幅された後、垂直、水平のシフトレジスタで画素ごとにスイッチングされ、読み出される
※PDとは光を電気に変換する計測用デバイス
※トランジスタとは電子回路において、信号を増幅またはスイッチングすることができる半導体素子
※半導体とは導体と絶縁体の中間の電気伝導率をもつ物質

### ビデオカメラの技術展開
被写体　-> 撮像レンズ　-> 光学LPF -> CFA -> 【CMOSセンサ】 -> LPF -> AGC CDS -> ADC -> 【カメラ基本回路】(デジタル信号処理) -> 高画質化・高機能化処理 -> ビューファインダ or 録画装置(VTR/DVD/半導体メモリ) or 出力回路

ビデオカメラやデジカメがネット接続できれば、画像処理のところはMLなどでリアルタイムで色々できそうやな。

ビデオカメラの仕組み

ビデオカメラでは、レンズで集めた光をカメラ本体にある撮像素子に結像させ、電気信号に変換し、レコーダーに送られた電気信号は、テープ、フラッシュメモリ、HDD、光学ディスクなどに記録される
動画は通常、毎秒30コマの速度で撮影を行う
信号は画面を区切っていき、それを端から時系列に並べたもの
音声を収録するマイクや、音声入力と音声信号をビデオ信号に付加する機能が搭載されている

### ビデオカメラの性能
– CCDが大きいほど解像度が高く、感度が高い(RGB３枚のCCDを使った3CCDカメラなど)

### ビデオカメラの種類
放送用、業務用、民生用、固定型ビデオカメラがある
1. 放送用ビデオカメラ
絶対の信頼性と高画質、機動性を重視
2. 業務用ビデオカメラ
ビデオパッケージなどコスト管理にシビアな映像を高画質で撮影
3. 民生用ビデオカメラ
市民のプライベート用、手ぶれ補正が表中
4. 固定型ビデオカメラ
監視カメラに用いられる

### 構造
用途に応じて形態が異なる
1. 撮影部分が独立
　業務用や監視用ビデオカメラはほとんどこのタイプ
　カメラヘッドからビデオ信号を出力する線が出ており、カメラ制御部(CCU)を経て使用する
2. 撮影部分と録画部分が一体化
　撮影部分と録画部分が一体化したものを一体型という
　録画するビデオテープレコーダ・ハードディスクレコーダ・DVDレコーダなどの録画部が一体
業務用カメラ、民生用カメラの殆どがこのタイプ
3. 組み立て型
　　組立型は撮影部と録画部を組み合わせて使うことが前提

### サイズ
スタジオカメラ、肩乗せカメラ、手持ちカメラ、据え置きカメラなどがある

光子からCCDによる電気変換、光電変換からの画像処理の流れなど基本的な構造はデジカメと一緒かと思ったが、音声信号はカメラにはなく、記録メディアも異なり、一緒くたにするのはかなり乱暴か。

スマホのカメラの仕組み

デュアルカメラ(デュアルレンズ、ダブルレンズカメラ)が増えている
一眼レフと比べて、ズームができなかったり、光を取り込む量が足りなかったりなど、幾つか弱点がある

### デュアルレンズの仕組み
– 普通のレンズと遠くのものを引き寄せるように撮るズームレンズを装備(iPhone, Galaxyなど)
– 超広角レンズを採用するスマホもある(ASUSのZenFone, LGなど)

### モノクロ
モノクロ(白黒画像)専用のセンサーを搭載する方式(HUAWEI)
-> 撮影時にはカラーとモノクロで同時に撮影し、モノクロで記録された光量の情報を元にカラー画像を補正
-> ズームレンズを組み合わせたトリプルレンズもある

### ボケ加工(ポートレートモード)
被写体との距離情報を元に、背景部分にボケのような加工を施す

iPhone 11 Pro/11 Pro Max
- 超広角レンズ
- 広角レンズ
- 望遠レンズ

### スマホの撮像素子
ソニーのCMOSセンサー一強(iPhone, Galaxyなど)

### 画像処理
CMOSセンサーから出力した信号をQualcommなどのアプリケーションプロセッサがRGBの画像に変換

ハードウェアにCPU、GPUがあれば、LSIではなく、アプリケーション側で画像処理を行う
デジカメとスマホカメラの全体的な仕組みはかなりリンクしている
CMOSからどういう電子データが出力されるのか気になるところか

デジカメの記録メディア

デジカメで画像を記録する部分をメディア(メモリーカード)という
記録メディアにはSDカード、コンパクトフラッシュ、xDピクチャーカード、メモリースティックなどがある
デジカメの機種によってどのメディアを使うか決まっている

### SDメモリーカード
サンディスク、松下、東芝が開発
32GB
Class 2 ：読み書き時のデータ転送速度が最低 2MB/ 秒
Class 4 ：読み書き時のデータ転送速度が最低 4MB/ 秒
Class 6 ：読み書き時のデータ転送速度が最低 6MB/ 秒

### コンパクトフラッシュ
サンディスク提唱
コントローラーICとフラッシュメモリICを実装

### xDピクチャーカード
オリンパス、富士フイルム、東芝が共同開発

### メモリースティック
ソニー開発

HDD、メモリー系は東芝強いな〜
・san disk

しかし、今はクラウドの時代なのに、未だにメモリーカードに保存している意味がわからんな。

画像処理エンジンの仕組み

画像処理エンジンとは、撮影素子(CCD, CMOS)の電気信号情報を画像に変換処理する電子回路(LSI)
ノイズ処理、ホワイトバランス、シャープネス調整、コントラスト調整、画質調整などを行っている
処理能力の高低と処理のためのアルゴリズムが重要。処理能力が高速であれば、より複雑なアルゴリズムが使える
jpeg, MP4などに圧縮する

e.g.
オリンパス「TruePic」、キヤノン「DIGIC」、ソニー「BIONZ X」、ニコン「EXPEED」、パナソニック「ヴィーナスエンジン」、富士フイルム「X-Processor」、ペンタックス「PRIME」など

※DSPとはDigital Signal Processor

### 画像処理エンジンの画像処理アルゴリズム
画像処理エンジンの流れ
↓ デモザイク
↓ ノイズ除去
↓ シェーディング補正
↓ 階調補正、色補正
↓ 人物補正
↓ 歪み補正、幾何変換
↓ 広域強調、ぶれ補正
↓ 画像の圧縮、伸張
→ 画像の保存

パソコンのマザーボードのようなイメージか？
電子回路がどう動いているか理解する必要があるか。。。
沼だ、Endlessやな。。。マザーボードを理解できればかなり幅が広がりそうではあるが。。

デジカメのレンズの仕組み

レンズとは？
-> 光を屈折させるガラスやプラスチックで作られた薄い部品
-> レンズそのものだけでなく、ピント調整や光の量を調整する部品も合わせたレンズシステム全体を指すことが多い
-> 光の通り方をコンピュータで計算し、最適な像ができるよう設計している
-> ピント合わせはレンズの全部または一部を前後させる
-> ヘリコイド、カムなどがある
-> レンズにはフィルムやセンサーに届く光の量を調節する仕組みもあり、「しぼり」という
-> 凹レンズは近視、凸レンズは遠視。凸凹レンズは通常組み合わせる

レンズの材質、大きさ、厚み、曲面の具合、レンズの組み合わせなどによって、レンズを通過する光はさまざまに変化する

### オートフォーカス
– 距離を測るには三角測量という方法が使われる。これは、一つの辺の長さと二つの頂点の角度が決まれば、三角形が定まる、という原理に基づく
– ファインダーから被写体を覗き、カメラの中にある小さな鏡をAが映るように回転させる
– デジカメでは、コントラスト検出方式というピント合わせ技術が用いられる
　　センサに写る像を調べながらレンズを前後に動かし、最もコントラストが高くなる位置にレンズを止める仕組み
　　多くのデジカメでは、ピントを調べる場所をいくつも用意して、ピントの合い方を計算して調整している
– 位相差検出式のオートフォーカスも一般的

### しぼりとシャッター
– 完全に開いてから完全に閉じるまでの露出時間をシャッタースピードという
– しぼりは感光材料に一度に当たる光の量を調整する仕組み

### レンズ
– センサーサイズや構造により焦点距離やレンズが異なる

### 材質
プリズムやハーフミラーなど光を透過させる光学ガラス、ミラーに使われる基板ガラス、屈折率や波長分散が細分化されるレンズ用ガラスに分けられる
アクロマティックレンズは屈折率の波長分散の小さいガラスと波長分散の大きいガラスを組み合わせることで、色収差を補正している

レンズ設計　例

焦点距離:200mm
イメージサークル：φ43.2(像高21.6mm)
Fナンバー：5.6
レンズ全長(第1面～像面):180mm以下
レンズ枚数：4枚以下
バックフォーカス：45mm以上

F値は小さいほどボケを活かした撮影が得意

### レンズの種類
(1)ズームレンズ
　ズームできる範囲によってレンズの種類が分かれている
(2)単焦点レンズ
　撮れる距離が決まっている
　美しいボケ味を出したり暗い場所が得意

### 写す範囲
焦点距離によって「広角レンズ(35mm以下)」「標準レンズ(50mm前後)」「望遠レンズ(200mm以上)」に分類できる
「○○mm」の数字が大きいほど被写体に近づいたようになる
「18-55mm」など二つの数字が書いてあるのがズームレンズ

被写体との距離が決まっているシステムの場合は、その焦点距離に合わせたレンズを設計すれば良さそうですね。
CVで、ジェスチャ認識など被写体が動く想定の場合は、精度を上げるには被写体が動くから、ピントを合わせる必要がある。
んん、ちょっと待てよ。
イメージセンサーで光電変換を行ってるわけだけど、凹レンズの制御は自動でできるってこと？

あれ、こう考えると、画像処理のアルゴリズムだけでなく、レンズの設計の問題も出てくる？？

デジカメの仕組み

0.シャッターに相当する電子回路が電子の流れをコントロール
1.レンズが被写体から光を集める
2.撮影素子(CCD)が画像を電子的に捉える
3.画像処理エンジンで画像は電子データに変換され、様々な画質処理が行われる
4.メモリーカードなどの記録メディアに電子データとして保存される

フィルムカメラとの違いは、臭化銀(AgBr)の電子反応ではなく、撮影素子でデータを捉えているところか。

### 撮影素子とは？
撮影素子とは、被写体の光を画像データに変換する
イメージセンサーと呼ばれ、ほぼ全てのデジカメに内臓されている

CANON EOS Kiss X5
撮影素子：高感度・高解像度大型単板CMOSセンサー

– 撮影素子サイズ
-> イメージセンサーサイズ、画像センサーサイズと呼ばれる
-> 単位はインチ(2.54cm)で1/4〜2/3インチが一般的
※撮影素子のサイズが大きいほど多く光を集めて色を詳細に表現できる。撮影素子とレンズで画質が決まる

– 走査方式
デジタルデータを画像としてディスプレイに表示する方法
インターレース方式：1枚の画像を横長に細かく分割、奇数段目・偶数段目の2回に分けて転送表示
プログレッシブ方式：分割した部分をまとめて1回で転送表示

– イメージセンサー(個体撮影素子)　Charge Coupled Device
CMOSセンサー：其々のピクセルが独立して電荷の増幅やデジタル変換する回路をもち、デジタル信号としてデータを出力
CCDセンサー：其々のピクセルの電荷は隣接するピクセルに一斉に転送され、バケツリレーのように順次外部に信号を出力する
表現力や画質はCCD(デジカメ主流だった、高価)が、読み出しの速さ消費電力ではCMOS(スマホ主流で普及)の方が優れている

– 撮影素子の働き
被写体からの光線をレンズなどの光学系によって撮影素子の受光平面に結像させ、その像の光による明暗を電荷量に光電変換し、それを順次読み出して電気信号に変換する
-> 外部光電効果：固体の表面にある電子が光子のエネルギーを受けて真空中に放出される現象
-> 内部光電効果：エネルギーの低い方にある電子が、光子のエネルギーにより高いほうに励起される現象
-> CCDイメージ・センサの材料にSi単体結晶(シリコン)が使われる

1枚のシリコン基板上に形成された多数の受光素子の並びで光電変換を行う
CCDはMOSキャパシタを近接して並べた構造が基本
半導体素子の一種で、シリコン基板表面の酸化膜上に多数の電極を設けて、MOS構造
の各電極に隣同士で異なる電圧を与えることにより電位の井戸を作り出す

イメージセンサー自作は完全に電子回路の世界だな。
とりあえずRaspberry Piは買い物リストに追加や。

フィルムカメラの原理

フィルムカメラに光子が入ると、光エネルギーの塊は感光乳剤と呼ばれるプラスチックでカバーされた部分にぶつかる
※感光乳剤は紫外線で固まる乳剤(脂肪、脂肪油または水に不溶性の医薬品を水中に微細均等に分散し乳状とした液剤)。臭化銀(AgBr)などの粒子をゼラチンの中に一様に分散させた乳液状の薬剤。紫外線を当てなければ水で流せる
※感光乳剤は「ジアゾ感光材」と「着色剤」を混ぜ合わせる
※可視光線よりも波長の短いものが紫外線　紫外線の中でみ、波長が長いものからA、B、Cと大別されている
※UV-A(315-400nm)、UV-B(280-315nm)、UV-C(100-280nm)

### 感光剤(AgBr)の特徴
AgBrに光が当たると電子が飛び出す。飛び出た電子が銀イオン(Ag+)に取り込まれると中世の銀原子(Ag)となる。生成した銀原子が数個(n個)集まって、銀原子のクラスターを生成(Agn)。
この銀原子のクラスターを潜像と呼び、還元試薬によるフィルム現像の家庭で、銀原子クラスターが触媒となって潜像の周りで銀イオンの還元が速く進行し、銀原子の数が増加して目に見えるような像が生成さレル。

### フィルム
フィルムストリップをコーディングしているものはサスペンションのようなもの
ハロゲン化銀結晶が浮遊して凝固している(ゼラチン)
光子がフィルムストリップ上で臭化銀結晶にぶつかると、負電荷の臭化物イオンから電子を取り除く。そして、格子の結晶の中の電子が離脱の状態になるまで動き回る。結果的に銀イオンと合わさって中性電荷の銀原子になる。

### 現像とは
現像液が残ったハロゲン化銀結晶と反応する。現像液が還元剤を含む。還元剤は、化学反応の間に他の物質に電子を与えることのできる化学物質。
ネガ像では、光と影の情報が逆になる。
未現像のフィルムを光に当ててはいけない

潜像の状態から像を浮き出すのを現像液

現像を停止させるのを停止液
感光部分をフィルムを長期保存可能な状態に像を固定化するのを定着液という