「画像編集」カテゴリーアーカイブ

Nikon Z 8 FW C:Ver2.00のピクセルシフトを試す

NikonもZ fでついにピクセルシフトを搭載したわけですが、搭載が遅かったのは、メーカーポリシーとしてそれって必要?というのがあったのかなと勝手に想像しています。
が、ベイヤーセンサのカメラである以上、ピクセルシフトによる恩恵は結構有るんじゃないかなと思っていました。
モアレフリーで高解像度なFoveonセンサのSIGMAがフルサイズセンサの製造で苦しんでいるようですが、擬似的にこれを再現できるピクセルシフト、もちろん動態撮影が出来ないという制約はありますが。

Z fは2,450万画素ですが、Z 8は4,571万画素と画素数も多く、ローパスフィルタレスのため、Z fとはまた違った感じになるのでしょうか?
現時点ではRAW撮影し、NX Studioで合成でのみ対応しています。
他メーカーのようにボディ内生成出来ないのは残念ですが、まだNikon的には実験的搭載なんでしょうかね?

ピクセルシフト撮影で撮影する

まずは静止画撮影メニューからピクセルシフトを設定します。
撮影コマ数は、4コマ、8コア、16コマ、32コマです。説明としては

  • 4コマ:色再現性の高い画像が生成されます。 
  • 8コマ:ノイズが軽減された色再現性の高い画像が生成されます。
  • 16コマ:色再現性が高く高解像度の画像が生成されます。
  • 32コマ:ノイズが軽減された色再現性が高く高解像度の画像が生成されます。

ディレーはシャッターボタンを押して何秒後にピクセルシフト撮影が開始されるか(三脚撮影時のブレ防止)、待機時間は1コマ撮影毎の待機時間で、通常は0で連写で問題ないでしょう。

NX Studioで合成する

撮影した写真データをパソコンに取り込んで、NX Studioを起動します。

ピクセルシフトした画像の有るフォルダを参照し、左上にピクセルシフト合成があるので、クリックします。
すると、合成できる写真を自動で参照するので、合成したい写真にチェックを入れて実行をクリックします。

すると、ピクセルシフト合成されたRAWファイル(拡張子は.NEFXになる)が生成されます。

一筋縄ではいかないピクセルシフト撮影

さて複数枚撮影して合成するピクセルシフト撮影ですが、生成されるファイルサイズも大きくなります。

普段は最もファイルサイズが小さくなるRAWの高効率を使用しています。高効率★と比較して、やや暗部の階調で劣る部分があるようですが、厳密に比較しないとわからない程度なので、普段はほぼ高効率です。

今回RAWの設定は高効率のままでしたが、生成されるファイルは単純に高効率の4倍とはならず、ロスレス圧縮(1枚概ね45~49MB程度)の5倍程度(4,8枚合成の場合)の232MBか、あるいは19倍(16,32枚合成の場合)の915MBとかなり大きくなります。いずれも4倍、16倍とならないのが不思議です。

1枚が1GBに近いファイルは何とも扱いが大変ですね。

さて撮影結果。まずオリジナルファイルはこんな感じです。ブロクの制約で、オリジナル解像度のまま掲載できないため、解像度を絞っています。

オリジナル画像をWeb用に縮小(フルHD解像度)

このため、ドットバイドットの確認をできるよう、画像を切り抜きました。

オリジナル画像の切り抜き

4枚合成

4枚合成では「色再現性の高い画像が生成されます」とのこと。このモードでは解像度はオリジナルのままで、ベイヤーセンサの4ドット分を合成しているので、結果的にRGBを1つのピクセルで生成できることになります。通常ベイヤーセンサでは、周辺の色から画像を生成するため、単純にセンサのドット数通りの解像感や色再現が出ないとされていますが、それをピクセルシフトで合成させることで、色再現性を高めることになります。

4枚合成切り抜き

うーん、良くなったかどうかわからない…
ということでオリジナルと比較してみましょう。

←オリジナル 4枚合成→

あれ、解像感はオリジナルのほうがあるような…。ただ、4枚合成のほうが無理にシャープネスをかけていなく自然に感じます。4枚合成する以上、ごく僅かなブレも影響してきます。当然三脚は使っていますが、かなりシビアかもしれません。
色再現性については…この画像ではあまりわからないですね。

8枚合成

「ノイズが軽減された色再現性の高い画像が生成されます」とあるように、4枚合成を2回行うことでノイズ軽減を図っているのでしょう。生成されるファイルは8枚合成でも1枚撮影と同じ解像度と4枚合成と同じファイルサイズです。

8枚合成、ボヤけてしまった…

残念ながらブレた可能性が高いです。画像が明らかにボヤけてしまっています。これは何回か撮影して良いものを採用するのが無難です。
撮影枚数が増えるほど、こうしたブレのリスクが高くなります。これは明らかに失敗写真で比較対象として不向きですがですが、こうした失敗のリスクがピクセルシフト合成では高いということですね。今回望遠レンズというのも、失敗のリスクが高くなる要因でした。
次は広角レンズで試したいです。とりあえずオリジナルとの比較画像を。

←オリジナル 8枚合成→

ピクセルシフトの恩恵より歩留まりの悪さのほうが目立つ結果になりましたね。悪い例です。

16枚合成

「色再現性が高く高解像度の画像が生成されます」とあるように、この16枚からは縦横共に解像度がオリジナルの2倍になります。シフト量を4,8枚の倍とすることで、解像度も上げるモードです。

16枚合成(4,8枚合成と同じ切り出しに)
16枚合成を横方向2000ピクセルで切り出し

やはりブレの影響か、冬とはいえ望遠なので空気のゆらぎ(陽炎)の影響もあると思われます。とにかくシャキッとしない画像になってしまいました。
解像度は上がったはずなのに、見かけ上の解像感は下がってしまいました…。ちょっと難しすぎる条件のようです。


←オリジナル 16枚合成→

完全にブレと陽炎の影響ですね。ピクセルシフトは望遠撮影には不向きかもしれませんね。16枚撮影ともなると、秒20コマのZ 8でも1秒近く撮影を行うので、三脚とはいえ微ブレと陽炎の影響は無視できないでしょう。

32枚合成

「ノイズが軽減された色再現性が高く高解像度の画像が生成されます。」ということで、16枚合成を更にもう1回行うということでしょう。画像データも相当なものになります。

32枚合成(4,8枚合成と同じ切り出しに)
32枚合成を横方向2000ピクセルで切り出し

ほんとすみません😅 こりゃ駄目ですね。ボヤボヤもいいところで、完全に微ブレと陽炎の影響、どちらかというと後者の影響が大きそうです。合成量が多いほど、僅かな空気のゆらぎも無視できないという事がわかりました。というのも、合成した画像の1枚1枚は決してブレていないのです。とにかくわかったことは、

ピクセルシフト撮影は、望遠レンズでは微ブレと陽炎の影響が出やすく実用が難しい

ということですね。
今回は作例として大失敗でしたが、撮影時間が1秒以上ともなると、望遠撮影では空気のゆらぎ、陽炎が無視できないということです。

←オリジナル 32枚合成→

色の違いは撮影時間の違いによるものです。
もうピクセルシフト撮影の比較というよりは、望遠レンズでの撮影の難しさのほうが際立った感じです。

今回はピクセルシフト撮影の良さを全く出せませんでしたが(汗)、また違う撮影で(標準か広角レンズで)試してみたいと思います。

AIは万能でもないし正しいとも限らない

技術的な流行で、近年もてはやされるAI(Artificial Intelligence)、人工知能。

実はAIブームは80年代後半から90年代にもあったわけで、それこそ当時の家電にも取り入れられていたりするのですが、あの頃言っていたAIとは、ある程度集約化されたデータベースを元に答えを導くもので、現在のようなディープラーニングによる機械学習、深層学習に基づいた導きとは大きく異なります。
現在のAIは、平たく言うと、散々学習させた結果を元に答えを導く、というもので、20世紀では来なかった大量のデータの蓄積と解析ができるようになり、より導き出せる精度が上がったために、実用に達するものが増えてきた、と言って良いのかなと思います。

ではAIが万能で正しいか、と言われると、そうではないでしょうね。大量に学習しても、そもそも学習するデータの精度、そのデータから答えを導くためのアリゴリズムなど、様々な要因があり、偏向的な学習しかさせないと、答えも偏向した結果にしかならないのです。
ディープラーニングが進化して、大量の学習ができるようになっても、まだまだその学習させるべきデータに達していないことも多いし、学習のさせ方次第という面も大きいです。
マスコミが無闇やたらにAI[による危機を煽ったりもしていますし、ここ十数年の映画のトレンド(AIが暴走するみたいな)にもなっていますが、言う程万能ではないのですよ、現時点では。

で、何が言いたいかというと、AdobeのLightroom Classicに搭載されているAIノイズ軽減も万能ではないって話です。
例えばこの写真。

ANA B767-300ER (JA608A)

鬼滅の刃 じぇっと -弐-が羽田空港にアプローチするのをベランダから撮りました。17時近くで、この時期だともうかなり暗い時間です。写真ではそこそこ明るく見えますが、ISO感度22800、AF-S NIKKOR 600mm f/4G ED VRテレコンバーターTC-20EIIIを取り付け、1200mm f/8相当で撮影しました。
この時点で、開放f値がf8なので、AF的に厳しい条件で、使用したボディのNikon Z 9、以前のファームウェアではAFがなかなか合わない条件でした。
しかしだいぶAF(オートフォーカス)も進化しましたね。Z 9は「ディープラーニング技術を用いて開発した優れた被写体検出」を搭載しているため、このディープラーニングによる機械学習の精度アップにより、より被写体検出力は上がっています。
ただ厳しい言い方をすると、それでも暗所のAFの食いつきそのものは、Nikonの現行一眼レフに追いついていないと思いますが。

さて、ISO22800という、常用感度の限界に近い数値、Nikon Z 9は積層型裏面照射型CMOSセンサを搭載していますが、高速読み出しが可能な分、発熱等によるノイズはやや多めです。
この写真を、Adobe Photoshop Lightroom ClassicでAIノイズ軽減させてみました。

Lightroom ClassicによるAIノイズ軽減適用後

いや相変わらず凄いですね。細かいノイズは残りますが、ディテールがさほど潰れずに再現されるのはさすが。
ただ「さほど潰れず…」という表現をしたのは、そうでもない側面を確認したからです。Web掲載用画像は解像度を落としているので、等倍で切り出した写真です。

機体のレジ番号は潰れています

これ、元画像の時点でディテールが潰れてしまった結果、文字として成り立たなかったため、AIによるノイズ除去後も文字の形が崩れてしまっています
この機体のレジ番号は「JA608A」なのですが、AIノイズ除去でノイズを取った結果がこれなので、そもそもが文字としての解像力が不足していたわけです。
仮にAIがこの機体は鬼滅の刃じぇっと弐というのがわかっていれば、ここに入る数字もわかるので、無いディテールを再生できる可能性はありますが、結果としてはこうなりました。
現時点では、恐らくこうであろうという推測からノイズを消していると思われますが、やはり元の画像のノイズが多すぎると、精度が悪くなりますね。
こういう場面では、暗所に強いカメラに限りますね。

上の写真はテレコンを外して、レンズ素の状態で撮影。いくらミラーレス機では開放f値関係なくAFが使えるとは言え、明るいレンズのほうが歩留まりが上がるのは言うまでもありません。初期のFWでは夜は合わなかったNikon Z 9のAF、だいぶ改善されています。ちゃんと合います。ここは素直にディープラーニングによる学習が進んだ成果がAFのアルゴリズムに反映されているのでしょうね。

Adobe Lightroom Classicの新機能「AIぼかし」を試す

Adobe Lightroom ClassicのVer13.0.1で追加された新機能「AIぼかし」ですが、早速試してみました。
スマホには昔からありますが、不自然な画像になることも多かったです。最近は良くなっていますが、同じことがLightroomでできるとはね…

ぼかし(レンズ)の適用にチェックを入れるだけ

やり方はとても簡単です。右のパネルに追加されている「ぼかし(レンズ)」の適用にチェックを入れるだけです。

新たに追加されたぼかし(レンス)の適用にチェックを入れるだけ

チェックを入れると、LightroomのAIが画像を解析します。フォーカスの合っている被写体はぼかさず、背景と前景をAIが解析してぼかしていくという仕組みのようです。

解析はNikon Z 9の画像でおおよそ7,8秒程度

解析が完了すると、写真の遠近がグラフ化され、どの部分にフォーカスが合い、どの部分をぼかすかがが表示されます。
ぼかし量はぼかす範囲の調整も可能です。

ぼかし量やピントの合う範囲の調整が可能

それでは写真を比較してみましょう。普段家族以外のポートレートは撮らないので、2023年のオートサロンの写真を使ってみました。

左が通常、右がぼかし(レンズ)を適用 Nikon Z 9 + FTZ II + AF-S NIKKOR 24-70mm f/2.8E ED VR (f2.8 1/80s)

スライダーで効果を比較してみてください。この画像の場合、フォーカスの合っている被写体が手前にあり、背景がなだらかにぼけていっているのと、元が一眼のf2.8開放で撮っているため被写界深度はやや浅く、解析がしやすい画像と言えます。どのように被写体距離を解析しているのが、「奥行きを可視化」にチェックを入れることで表示できます。

「奥行きに可視化」にチェックを入れる
わりと精度良く被写体距離が解析できているのがわかります

このように色で被写体距離をこう解析しましたよ、というのが可視化されます。結構精度は高いように思いますが、この画像が比較的わかりやすい、というのもあるでしょう。

次の画像も、元々の画像が背景ぼけしているため、そのぼけ量をより強化した感じに仕上がっています。ぼけ量を増やした上で、一昔前の大口径レンズらしく、少し周辺減光させてみました。

左が通常、右がぼかし(レンズ)+周辺減光を適用 Nikon Z 9 + FTZ II + AF-S NIKKOR 24-70mm f/2.8E ED VR (f2.8 1/60s)

元の画像はちょっと中途半端でうるさいぼけになっていましたが、まるで大口径レンズで撮ったかのようなぼけになりました。
ただよく見ると、モデルさんの髪の毛の一部が背景と一緒にぼけてしまっているのがわかります。とはいえ、比較しなければわからないですけど。

ちょっと意地悪して、ボケ量の少ない画像を選んで効果を比較してみましょう。

よく見ると右奥の背景はぼけているけど…

これも絞り開放ですが、ある程度離れた距離の被写体で、背景との距離もさほどないため、元の画像のぼけ量も少なめです。
このため、デフォルトの設定では、あまり大きな効果は感じられないですね。

ここでは、手前の「電気じどう車(実験用)のハチロク」に、手動でフォーカスポイントを合わせてみました。ポイントをヘッドライト付近に設定しました。

一番右のボタンで焦点領域を手動設定してみる
一見うまくボぼけているけど、ちょっと不自然な部分も…

先程より効果的にぼけているのがわかります。ただよく見ると不自然で、後ろの「水素エンジン(実験用)のハチロク」、ボケていますが、手前のハチロクのボンネット支えのバーを境に、ボケていないのもわかります。
このバーを境に、左側はボケていないので、手前のハチロクと同じ距離と認識してしまったようです。
このように、まだ不完全な部分もありますね。

この画像を、被写体をぼかして奥はぼかさない(元の画像のまま)、ということも出来ます。

フォーカスの合う範囲の枠を背景側に移動させると…
手前のハチロクをわざとぼかす設定に

ミニチュアっぽく見える画像にようになりました。奥のハチロクにフォーカスが合って、手前はぼけています。元々奥の壁や映り込む人はぼけているので、余計にミニチュア効果のようになっていますね。

最後に、会場の上から撮った写真をぼかしてみました。

若干不自然だけど、奥のボケ方はけっこう精度よく生成できています

こういう写真は効果が出づらいかなと思っていましたが、少々無理やりぼかした感じはあるものの、ちゃんと奥に行くほどぼけています。
このような撮り方では、いくら明るいレンズを使ったとしてもここまではぼけませんからね。ティルトレンズを使ったかのような効果です。
ただ、ぼけの境界線がやや不自然なのは、TEINさんの看板がついている部分のパイプの枠組みあたりから急速にボケているからですね。距離をAIで画像から認識させているため、どうしても不自然な部分は出てきてしまいます。

まだ出たばかりの機能なので、より多くの画像を学習することで、もっと自然な仕上がりになる日もそう遠くない気がします。
AI画像生成然り、だんだんと写真ってなんだろう?という時代になってきていますが、こうした効果もやりすぎない範囲で使うのは当たり前になっていくのでしょうね。

NX Studio Ver. 1.5.0で追加された2つのモノクロームを試す

Nikon純正のRAW現像ソフト、NX Studio Ver. 1.5.0が出ましたので、早速更新してみました。

更新内容は以下の通りです。

  •  Z f で撮影された静止画および動画に対応しました。
  • Z f で撮影されたピクセルシフト画像について、NX Studio でのピクセルシフト合成が可能になりました。
    ※ ピクセルシフト合成されたファイルは拡張子 NEFX で保存されます。
  • ピクチャーコントロールに[リッチトーンポートレート]、[ディープトーンモノクローム]、[フラットモノクローム]を追加しました。
  • Picture Control Utility 2 の機能を統合し、カスタムピクチャーコントロールの作成、読み込み、書き出しが可能になりました。
  • 以下の現象を修正しました。
    – [D-ライティング HS]を調整し画像を書き出すと、書き出された画像の D-ライティング HS の効果が弱い場合がある。
    – RAW 画像に XMP/IPTC 情報(ラベル、レーティングなど)を設定し、ホワイトバランスの自動調整を適用して保存すると設定が反映されない。
    – Nikon Transfer 2 で連写した画像をカードリーダー経由で転送すると、すべての画像が転送されない場合がある。
    – 動画編集機能で出力した動画の音声が途中から再生されなくなる場合がある。
    – 動画編集機能で素材にテキストの挿入を行った場合に、[テキスト設定]ダイアログのプレビュー表示の負荷が高い場合がある。
    – 下部ツールバーの[フォーカスポイント]がオンのとき、イメージビューアーに画像が「処理中」のまま正常に表示されない場合がある。

今年からAdobe課金してLightroomを使いだし、最近やっと慣れてきたところですが、Lightroomは機能盛りだくさんで、ついつい画像をあれこれ弄ってしまう嫌いがあります。
Lightroomでもついにポイントコントロールが追加され、AIによるぼかし機能など、もうRAW現像の概念を超えつつある中、現像の基本を抑えたNX Studioは、久しぶりに使ってみると、やりたいことがシンプルに纏められているので使いやすかったりします。これが無料ソフトなのですから、言うことないです。

2つのモノクロームを追加

今回、ピクチャーコントロールに[リッチトーンポートレート]、[ディープトーンモノクローム]、[フラットモノクローム]を追加とあるように、Nikon Zf登場にあわせて、3種類のピクチャーコントロールが追加されましたが、この内モノクロ2種類に興味があり試してみました。

まずカラーのデフォルトのオートでの出力、昨日アップした写真がAdobe Lightroomで現像したものでしたが、やっぱりLightroomって彩度高いですね。それでも現像時に「自然な彩度」は落としているのですが。
また、よく言われるNikonの絵は黄色い、ってのは確かにNX Studioで出力するとそんな印象はありますね。ちなみにカメラはD850です。

そして2つのモノクロームですが、いいですね。これはデフォルトのままで出していますが、どちらもやり過ぎ感がないです。
ハイキーに柔らかく仕上げるならフラットモノクロームをベースに、深みを出すならディープトーンモノクロームでしょうか。ディープトーンの方は、PanasonicのLUMIXのL.monochromeに似ている感じです。ただコントラストを上げているだけでなく、暗部の階調は潰さずに保ちつつ、引き締まった風合いを出していますね。これは好みです。

追加された2種類を、それぞれをベースに更にトーンカーブを調整してみました。

フラットなので調整しやすいですね。ガンマカーブをいじって、更に柔らかくするためにクイックシャープを落としてみました。黒浮きしない感じにしてみました。

ディープトーンモノクロームをベースにトーンカーブを調整

こちらは逆に、ディープトーンモノクロームをベースに、更にトーンカーブを調整して深みを出してみました、ちょっとやり過ぎ感あり。どれが好みかは人それぞれですね。

久しぶりにNX Studioで現像しましたが、Lightroomだとついつい追い込みすぎてしまう感じが、こちらだと程々に仕上げられて、ある意味本来の写真を少し整える程度ならNX Studioで十分と感じました。
問題は大量の画像を編集出力する場合で、その場合はLightroomのほうが動作が速いのですよね。

NX StudioにPicture Control Utility 2 の機能を統合し、カスタムピクチャーコントロールの作成、読み込み、書き出しが可能になったとのことで、こうしたモノクロームを調整したものをカスタムとしてカメラに適用するのも良さそうです。試してみようと思います。

AdobeのAIによる画像生成”Firefly”を試す

Adobeが発表したAIによる画像生成「Firefly」は、2023年7月執筆時点ではまだベータ版のPhotoshopでのみ使用が可能となっています。
試しに、先日空の背景を変えてみた、F-4EJファントムIIの写真を、AIで更に変えてみることにしましょう。

まずはベース画像。

F-4EJ改 (37-8315) 2018年5月撮影

こちらの背景のみをAIで変えてみます。

Photoshop(Beta)をインストールする

まずはPhotoshopのベータ版をインストールします。Adobe Creative Cloudからベータ版アプリのPhotoshop(beta)をインストールします。

Adobe Creative Cloudからべ0タバンアプリのPhotoshop(Beta)をインストールし開く
Beta版は起動画像も違うのね

Beta版のPhotosopで、画像を開きます。最初は空を自動選択させたのですが、これでAI生成すると、戦闘機の画像がグチャグチャに

選択範囲から空を選択し
生成塗りつぶしをクリック

まだAIによる「生成塗りつぶし」は英語でしか入力できないため、ここでは「Dusk sky and moon」(夕暮れの空と月)を入力。あとは生成するだけですが…

!!!

戦闘機がグチャグチャに…

酷くないすか…
なぜこうなったか考察すると、どうも選択範囲から空を選択、で一部戦闘機まで入ってしまったようです。比較的わかりやすい画像のはずですが。

仕方がないので、昔ながらのなげなわツールで戦闘機を大まかに選択し、選択範囲を反転させます。

なげなわツールで大まかに戦闘機を囲って選択範囲を反転

結果的にこれでうまくいきました。
画像は夕暮れがどうにも気に食わず、単純に「月が出ている晴れた空」にしました。

うーん、なんだかあまり上手くないですね。3枚目なんか、もうわざとらしいですし、あまり写実的ではないですね。

どうにも気に食わないので、まずは通常版のPhotosopにも実装されている、「空を置き換え」で夕暮れの空の背景に変更。
さらにその空に月を加えてみます。

さてこうして生成できた月がこちら。

うーん、まあまあかな?

ちなみに1回のAI生成で3パターンの生成が可能なので、気に入らなければ切り替えることが可能で、更に同じワードや違うワードで何度も生成可能です。

1回で3パターンだが、再度生成をクリックすれば何度でも生成可能

最終的に出来た画像がこちら。

それっぽい写真だけど色々変だぞ

ツッコミどころ満載ですね。まず、やはり元々晴れの日中の順光の戦闘機は、入を変えたところで光の当たり方が夕暮れのこの空と、太陽の位置関係が合っていない(笑
月は取ってつけたような感じだし、さらに遠方に旅客機(ここでは「Boeing 777-300」と指定)を入れた所、エンジンが右翼が2発、左翼が1発というアンバランスな結果に。
でも旅客機はちゃんと夕暮れの背景に合った色合いで生成されているのはすごいです。

まだまだベータ版なので、今一歩の部分はありますが、これはやがてもっと自然に、そして簡単に出来るようになるのでしょうね。
とはいえ、やはりベースの写真がしっかりしていないとだめでしょう。これは写真の本質です。

ここではAI生成の是非はともかく、こうしたことも可能なのだな、という確認です。写真ではなくイラスト、イメージ画像を作るのであれば、なかなか有用なツールとは思います。
要は使い方次第、しっかりと倫理観を持って作成し、ちゃんとバックグラウンドを公開すること、これが重要かなと思います。
技術は節度を持って使いましょうね。

AI画像生成とどう向き合うか

Adobeは先月発表したAIによる画像生成「Firefly」は、Photoshopにベータ版がインストールできる状態ですが、まずはPhotoshop現行の機能、空の置き換えも簡単に背景を変えられるため、写真の根底を変えてしまうものだったりします。

Photoshopの「空を置き換え」

まずはベースの無加工の写真を用意します。

2018年5月撮影の、百里基地302SQ所属だったF-4EJ改 (37-8315)  301SQの機体になる前の写真

背景は青空ですが、雲ひとつないと距離感がないため、絵的にはつまらない写真です。
Photoshopには(Lightroomにもありますが)、背景や空、被写体認識機能があり、この機能の一環として、空を置き換えることが可能です。

空を置き換えで簡単に雲のある空に変更できる

いくつか種類がある中で、画像のような雲のある空を選択肢てみました。

空を追加、言われなければわからない

色がちょっと変わってしまったのは色域指定を間違えたためです。面倒なのでそのまま載せましたが、このように違和感なく変換できました。もはや背景と被写体の境界線も気にならないくらい、きれいに置き換えできます。
この日は雲があった、と言い張れば、誰も気づかないくらい自然です。
このような画像変更は、もう数年前からそれを売りにしたソフトが出ているくらいです。これをどう考えるか、これは写真なのか?
しかし言われなければ本当にわからないです。

夕暮れだと流石に不自然

単純に背景を夕暮れにしてみました。当然被写体のファントムは日中順光なので、あまりに不自然です。
そこで被写体を選択して、少し調整してみました。

やっぱり不自然だけど…

これは私の調整が下手くそなので、やっぱり多少の不自然さは出ます。当然順光で光が当たっている被写体の色を変えただけなので。
しかし、これがAI生成により被写体も逆光っぽくできるようになれば、もう不自然さもなくなるのでしょう。
こうして弄られた写真が、AIにより簡単に生成できる時代がもう来ているのです。
百里基地の撮影をよくしている人なら、日没の方角から3枚目の写真を撮るのは難しいだろうとわかりますが、そのうちAIが進化すると、その辺りも考慮されたりして?

Nikon Z 8の10bit HLGのタイムラプス動画から16bit TIFF画像に出力する方法

以前も書きましたが、Nikon Z 8のカメラ内タイムラプス生成は非常に進化しており、Z 9では出来なかった10bit HLGでの記録が可能となり、露出平滑化の精度もよりよくなり、これまでのD810でJPGインターバル撮影→Davibci Resolveに投げてタイムラプス化するよりも、より高画質に、そして簡単にタイムラプス動画が生成できるようになりました。

10bit記録できるため、従来の8bitよりも編集耐性が上がるのもよいです。特に露出が大きく変わる場面(屋外だと日の出日没前後)における露出の変化で、調整のため諧調を調整せざるを得ない場合に便利です。
もちろん、RAW動画なら言うことないのですが、そのうちファームアップで出来るようになったりして?
とにかく、編集耐性が上がったことで、カラーグレーディングを充てても画質の劣化を抑えられるのが良いです。

この前買ってきたお花、カリブラコアです。微妙に開花するシーンを撮ってみました。フィルムライクなLUTを割り当てています。

Davinci Resolveで16bit TIFF形式の静止画を生成する

Nikon Z 8は、8K30p 10bit HLGのタイムラプスが生成できるため、そこから静止画にするのも高画質です。
NX Studioでも動画から静止画を切り出せますが、残念ながらJPGのみです。これだと、10bitの動画も8bitに丸められてしまいます。もちろん、静止画書き出し後に編集しなければさほど問題ありませんが。

Nikon純正のNX Studioでの動画からの静止画生成はJPEG形式のみ

Davinci Resolveは動画編集ソフトですが、動画からの静止画切り出しにも対応していて、後からPhotoshopなどで画像編集を行いたいのであれば、JPEGだけでなく16bitのTIFF形式でも出力可能です。

Davinci Resolveのカラータブで、切り出したーシーンを表示させて右クリック→スチルを保存でギャラリーに登録される
ギャラリーに登録された静止画を右クリックして、「書き出し」を選択
あとはTIFFファイルを選択肢て保存

如何でしょうか?
ちゃんと16bit形式(合計48bit)のTIFF動画として出力出来ました。これならある程度画質の劣化を抑えつつ編集が可能です。
こうなると、決定的瞬間を8.3k 60pのRAW動画で撮って、静止画に書き出すなんて方法も有効ですね。
ただし、無料版のDavibci Resolveは、出力は4Kまでとなります。8.3Kの解像度のまま出力させたい場合は、有料版が必要です。

でもWebに載せるには結局JPGに変換しますけどね(笑

Nikon Z 8のHEIF画像はHLGとセット、現時点で使えるのか?

iPhoneやSONYやCanonの一部のミラーレス一眼で採用されている新しい圧縮画像形式の[HEIF]

その特徴として、階調幅がJPEG画像の8bitに対して10bitであること、JPEGに対して2倍の圧縮効率を実現し、同等画質ならJPEGよりも低容量で記録できること、カラーサンプリングが4:2:2に対応すること(4:2:0でも記録可能)、HLGやPQ形式のHDR(ハイダイナミックレンジ)に対応するのが特徴です。
非可逆圧縮なのはJPEGと変わらないものの、1992年に登場した古い規格のJPEGに対して、HEIFは2015年に規格制定されて、2017年より最初にAppleがiOSとmacOSでサポートしました。
Windowsは2018年より拡張機能として有償サポートしています(ただしこれが曲者で、後述します)。

大昔からあるJPEGは、四半世紀以上Webなどの主力画像形式ですが、近年動画ファイルは10bit HDRや高色域のRec.2020、解像度は4Kや8Kといったものも登場し、特に階調面や色域の点では、静止画よりも進んだものになっています。
こうした中、動画の高画質圧縮技術が静止画に降りてきた、というのがHEIF形式です。

NikonもZ 8でHEIF形式をサポートしました。
ではJPEGに置き換わるものとして使えるのか、という話です。

Z 8のHEIFはHLGに設定しないと使えない

まず、Nikon Z 8のHEIFは、階調モード[HLG](ハイブリッドログガンマ)に設定しないと使えません。
Z 8の画像記録は、[RAW+FINE★] [FINE]といったように、RAWではない方の圧縮画像形式の場合は、従来のカメラと同様、単純に圧縮率の設定でしか表示されません。
つまり、画質設定では、JPEGかHEIFかは選べず、階調モードを[SDR]か[HLG] で、JPEGかHEIFかが切り替わる方式です。

HDRの1つであるHLGは、対応のディスプレイでないと正確に表示できないのですが、PCのモニタもテレビもスマホも、ここ何年かでやっと対応のものが出ているのと、特にPCの場合はOSやディスプレイの組み合わせ、とりわけWindows OSと市販ディスプレイの場合、Windows側でもHDR設定しないと出力されず、しかもそのHDRも正しく作動するのか怪しいケースも有り…とまだまだ敷居が高いですね。

そんな我家も、メインモニタであるEIZO CS2740は、10bit入力対応ですが、HDRは非対応です。この上位機だと対応なんですけどね、こんなので差をつけないでほしいのですが…。一方、サブモニタのDELL SS2721QはHDR400対応です。こっちのほうが圧倒的に安いのに。
ただ、Windows S上ではHDR設定できるのですが、HDRに設定して、対応ソフトのNX StudioでNikon Z 8のHLGを表示させると…HDR表示されない上に、色味がおかしくなります。HDR自体、規格もまちまちで、輝度も高くなりがちで、比較的画面に近づいて見るPCディスプレイで本当に必要なのか…。そもそもガンマカーブの話だよねと思いつつ…。
なぜかNikon Z 8も、Canonも、HEIFはHDRとセットでしか使用できません。SONYはSDRとHDRがHEIFであっても選べます。

そしてHLGに設定すると、Nikon Z 8の最低感度は、ISO64からISO400となります。ピーカンで絞り開放、という状況では使いづらくなりそうです。

WindowsではHEIFは標準サポートしない

さらにHEIF、Windowsでは標準でサポートせず、拡張機能を入れているにも関わらず、うまく表示できなかったりします。
HLGで撮ったRAWをHEIFに変換する機能が、NX Studioでサポートされましたが…

RAW(HLG)からの変換だと、HEIFはHLGとPQ形式のHDRを選択可能

残念ながらそのHEIFファイルをPhotoshopで開こうとしても…

開けなかったりします。ということで、現時点でWindows環境では、HEIF形式のファイルは持て余します。これがJPEG並みにどこでも編集可能になり、Webでもネイティブにサポートされない限り、普及は難しそうです。
iPhoneも、写真を撮るとデフォルトでHEIF形式になりますが、SNSなどWebにアップロードする際は、自動でJPEG変換するそうで。こうしたユーザーに意識させない所はiOSの巧みなところですね。

いずれにしろ、現時点ではHEIFはJPEGの代替にはならない、ということになります

HLG(HDR)とSDRのRAWをJPEGに変換してみる

JPEGに変換した時点で、残念ながらHLGにはならなくなります、が、元々HLGは従来のSDRのモニタでも違和感が少なくなるよう、ピークの輝度は機器に依存するようなガンマカーブになります。これがPQ形式だと、ピーク輝度は固定となっているため、表示デバイスの最大輝度が合わないと、ガンマカーブがおかしくなります。互換性の点では、HLG形式のほうが有利です。詳しくはEIZOのサイトで

ということで、今回はHLGとSDRで撮ったRAW画像(HEIFは編集も出来ないので)をそのまま単純にJPEG変換してみました。色域はそれぞれBT.2020、AdobeRGBですが、sRGBに変換しています。
三脚を使っていないので、微妙に画像の位置は変わっています。写真は百里基地撮影後、百里神社にお参りに行って撮りました。

HLGは、確かに暗部の階調は持ち上がっているのがわかります。ちょっと色が薄く、色味が黄色っぽい気はします(WBはRAW現像時に揃えています)。ただ、それほど不自然にならないのは、HLGの互換性の高さでしょうか。
SDRのほうは、ピクチャーコントロール含めオートですが、少しサイドが高め、そしてコントラストも高いですね。
実際に画像のヒストグラムを比較してみましょう。


HLGは暗部をだいぶ持ち上げている一方、白飛びはありません。SDRのほうは白飛びが多く発生しているのがわかります。
これを見る限り、最終的にJPEGに変換するとしても、RAWであればHLGに設定する意味はありそうです。

どの画像でも言えますが、HLGはやや彩度が下がり、WBを揃えていますが暖色系、そして白飛び黒つぶれがなく撮れています。SDRは従来のガンマカーブで、白飛びを許容する感じです。
ちなみにZ 8の先行体験会で中の人に質問しましたが、RAW画像におけるSDRとHLGの差はガンマカーブで、画像が持つダイナミックレンジ自体は同等とのこと。あくまでHLGは白飛び黒つぶれをできるだけ発生させないガンマカーブで記録するということですが、これは撮影時に処理されるようで、HLG設定の場合は最低感度がISO400に上がり、暗部は持ち上げて撮影するため、RAWからHEIF(HLG/PQ)に変換は、元のRAWもHLGで撮影している必要があるとのことでした。

試しにSDR設定のRAW画像をNX Studioを使ってHEIFで書き出そうとした所、対応していない旨表示されました。
Lightroomでも、SDRとHLGのRAW画像は同様なガンマカーブでした。

前述のZ 8先行体験会で、中に人に「Z 9でもファームアップでHEIFに対応できるようになるか?」との質問に「現時点ではその予定はないです」と言われましたが、やはり撮影時に最低感度を上げる、暗部を持ち上げると言った処理がされている以上、イメージセンサの出力するファイルを後からいじるというより、イメージセンサ自体にHLGモードがあるのかなとも勘ぐったり。そうすると、単純にFWのバージョンアップでHEIFに対応するということは難しいのかもしれませんね

最終的にJPEG出力するにしろ、HLGで撮る意味はありそう、ただしHEIFは…

Nikon Z 8 の場合、HEIFで撮るにはHLGもセットになります。そしてRAWで同時に撮る場合のRAW画像自体にもHLGが適用されます。
仮に明暗差が激しい被写体を撮影する際に、HEIFを使う使わない如何に関わらず、RAWのHLGで撮っておけば、RAW現像である程度イジる必要ありますが、最終的にJPEG変換する際にも、白飛び黒つぶれを最小限に出来ます。
であれば、通常の撮影でも、明暗差が大きな被写体でHLGで撮る価値はあると思います。ただ、暗部を持ち上げるということは、ノイズも増えるのと、低速シャッターが使いにくくなるというのもあるため、状況に応じて設定するのが良さそうです。
1つ問題があるとすればm「最低感度もISO400まで上がるため、センサ自体のダイナミックレンジはISO64の基本感度より下がります。ガンマカーブで見かけ上はハイダイナミックレンジですが、実際のダイナミックレンジは基本感度よりは落ちることになります。そこをどう捉えるか、というのはありますね。

そしてHEIFは、少なくとも現時点では編集できるソフトも限られ、特にWindows環境では表示すら難しいため、あまり積極的に使える感じではないですね。

LrCで古いCOOLPIX 5400のRAW画像を再現像してみた1

重い腰を上げてAdobe Photoshop Lightroom Classicを本格導入してみましたが、やりたかったのが、古いカメラで撮ったRAWデータの再現像です。

Nikon COOLPIX 5400 (E5400)

元々AFもなかなか合わない、撮影レスポンスも良いとはいえないカメラでしたが(その当時の水準でも少し遅かった)、Firmware Ver1.4でRAW撮影ができるようになったものの、当時のCFカードの書き込み速度とカメラ自体の遅さもあって、1枚撮ると10秒以上待たされるカメラだったので、ここぞというときにRAWで撮っていました。
今の感覚からすると信じられないですが、この時代のカメラのRAW撮影は、フィルムカメラで撮るよりレスポンスが悪くて遅いし、今のように何千枚も撮れるわけではない、せいぜいフィルム2,3本程度でCFカードが埋まってしまう、そんな時代でした。
RAW現像もまだ一般的ではなく、現像ソフトもNikon Captureという有料ソフト、まだ一般人でRAW現像するなんてのは、あまりなかったかと思います。まだデジタルカメラは、ソフトもハードも未成熟な時代でした。

ピクチャーコントロール以前のカメラのRAW現像

Nikon純正のRAW現像ソフトは、有料のNikon Capture、Capture NX、Capture NX2、無料となったCapture NX-Dを経て、現在はビュワーソフトと統合されたNX Studioとなっていますが、ピクチャーコントロールが採用される以前のカメラ、特にRAW撮影可能となった初期のCOOLPIXは、ピクチャーコントロール対応機と比較して調整項目は少ないのです。

COOLPIX 5400のRAWデータの調整項目は少ない

ピクチャーコントロールは選べず、元々のカメラに付いていた3段階の輪郭強調や階調補正、色の濃さや色合い、ホワイトバランスと露出補正、ノイズリダクションとトーンカーブしか選べません。ただ、カラーコントロールポイントは使えますし(これはRAWでなくJPGやTIFF、他社カメラの画像でも使用可能)、RAWデータでなくても調整可能な項目は一通り調整可能です。
なので決して自由度が低いわけではないのですが、調整しづらいのは確かです。

これがLightroom Classicであれば、特に制約なく調整可能です。
プリセットカラーも最新機種と同様に適用できますし、何ならAIによるスーパー解像度やノイズ軽減も使用可能です。
特に、510万画素しか無いCOOLPIX 5400にとっては、きちんとブレなく撮っていれば、AIによるスーパー解像度はかなり有効でした。もっとも、基本感度が何とISO50!、最大でもISO400!しかないCOOLPIX 5400で、手ブレ補正機構もない中、手持ちでブレなくきれいに撮れるのは、晴天下でないと難しかったわけですが…。

フィルムで言えば、ISO50はVelvia 50(昔は素のVelvia)ですからね。

2005年から2007年にかけてRAWで撮影した写真です。

RAWで撮ることは、リバーサルフィルムで撮るより難しかったCOOLPIX 5400ですが、20年近く時を経て蘇りました。
Web掲載程度なら何ら遜色ないクオリティです。
特に純正のNX Studioと違うのは、ハイライトの表現の仕方です。白飛びしやすかったのはカメラの特性と思って諦めていましたが、Lightroomで現像すると、案外階調が残っていることがわかりました。こうしたハイライトのピーキーな部分は、Lightroomのほうが上手ですね。NX Studioだと手動調整で色々いじらないと難しいのが、あっさり自動調整でできて、あとは自分の好みに調整すれば良いので、断然楽ですね。

Lightroom ClassicとNX Studioの比較

下の画像は、左がLightroom Classic、右がNX Studioで現像したものです。
少しLrCのほうが色が濃くなってしまいましたが、空や山肌の階調がよく出ています。

←Lightroom Classic NX Studio→

NX Studioが悪いわけではないのですが、ワークフローは断然Lightroom Classicのほうが楽ですね、古いカメラのRAWに関しては。

Lightroomのスーパー解像度で古いデジカメのRAWを高解像度化してみた

Adobe Photoshop Lightroom Classicといえば、定番のRAW現像ソフトで、最も多くのユーザーが使用している現像ソフトです。
ただ、長年Nikonの純正RAW現像ソフトを使ってきたためか、どうもLightroomなどの現像ソフトが生成する「カタログファイル」のように、ソフト側のカタログに画像ファイルを登録しないと表示できない、というシステムが嫌いでした。
フォルダの位置を変えたりすると、いちいち登録しなければならないし、カタログファイル生成にものすごく時間がかかるし、とにかく嫌いでした。
なので、Lightroomも何度かお試しでインストールしては、やっぱ性に合わないなとアンインストールの繰り返し。

とは言え、そろそろ慣れていかないとな~と思って、やっと重い腰を上げてサブスクリプションを導入しました。いわゆるAdobe課金です。
ただ、無料のNikonのRAW現像ソフト、NX Studioも処理が重たいという以外は非常に良く出来たソフトで、特に部分的に画像を補正できるコントロールポイントが、プラグインなどに課金無しで無料で使えるのが良いのと、インターフェイスも直感的で、無料ソフトとしてはよく出来ていますし、今後も併用するとして、今回Lightroomが良いなと思ったのは、古いカメラのRAW現像は、明らかにNX Studioより良く出来ていると思った点でしょうか。

例えば、2003年発売と、今から20年前の上級コンパクトデジカメ、Nikon COOLPIX 5400は、510万画素のカメラで、今となってはスマホ以下の画素数しかありませんが、FW Ver1.4でRAW撮影機能がサポートされました。最も使っていた当時はまともなRAW現像ソフトを持っておらず(その時代のNikonの純正RAW現像ソフト、Nikon Captureは当時有料ソフトでした)、RAW撮影のメリットがあまり見いだせていませんでした。

しかし20年を経た今、現代のソフトでその真価を活かすことが出来ました。まずはNikon純正のNX Studioで現像してみました。調整を加えています。
ちょうど18年前に撮影した足尾銅山精錬所です。今ではこの精錬所の建物は取り壊されています。

Nikon COOLPIX5400 NX StudioでRAW現像

次にAdobe Photoshop Lightroom Classicで現像したものです。なお、ここではスーパー解像度を使用したものを、Web用に縮小して掲載しています。

Adobe Lightroom Classic 2023のスーパー解像度
Nikon COOLPIX5400 Adobe Lightroom ClassicでRAW現像
画像比較 左がNX Studio 右がLightroom Classic

まず色合いが格段に良いです。COOLPIX 5400は古いので、所詮画質は…と思っていましたが、Lightroomのほうが明らかにディテールが出ていますし、色味も良いですね。ただLightroomは彩度を上げていないけど、少々彩度が高めですね。
例えば飽和していると思った空のハイライトが、Lightroomではだいぶ自然に出ています。また暗部の階調を持ち上げた結果、ややシャドーが浮いてしまったNX Studioの現像と違い、Lightroomは自然なトーンになっています。ちなみにスーパー解像度を適用する前段階でも、Lightroomのほうが解像感がありました。シャープネスがやや強めとも言えますが。
車は当時乗っていたアコード ユーロR(CL7)です。

NX Studio
Adobe Photoshop Lightroom Classic (スーパー解像度)

これだけディテールに差が出ています。
スーパー解像度は、最近の高画素のカメラで撮ったものより、こうした昔の低画素のカメラで撮ったもののほうが威力を発揮しているように思います。