海老ノート

Google Earth Engine 苦闘の記録

GEEでOtsuの二値化

できるはずだけど面倒くさそうと思っていた 画像処理でおなじみ大津の二値化。考え方はシンプルだし、GoogleEarthEngineでできるんだろうけどコード書くの面倒だなと。以前八郎潟の湛水の有無を見るのにSARデータ使った時にも、二値化したいと思っていたけど…

GEEで分布推定モデル2:MaxEnt

SDM界の iris こと Bradypus とりあえず動かせるかみるために、分布推定モデルでお題になるミツユビナマケモノ Bradypus のデータを使ってやってみる。 お手本はRのライブラリ dismo を使ったSDM各種を解説したページから。 rspatial.org データの準備 ミツ…

GEEで分布推定モデル1:できるらしい

できるんだろうなと思っていたら この間のランダムフォレスト回帰で思ったのが、分布推定モデル(SDM)できそう。で、検索したらありました。 Crego, R. D., Stabach, J. A., & Connette, G. (2022). Implementation of species distribution models in Goog…

GEEでランダムフォレスト2:関東の人口を予測

人口データの準備 前回のとおり、e-statからデータをダウンロード。具体的には、関東地方7都県の4次メッシュの人口データとshpファイルをダウンロードして、Rを使って各メッシュの人口と中心座標をまとめた1枚のcsvファイルを作りました。 そこから、まずは…

GEEでランダムフォレスト1:できるらしいと分かって

できたらいいな、できるはずと思っていました GoolgeEarthEngineでランダムフォレストの分類ができるのだから、回帰もできるんじゃないかとは思っていたんですがググってもやり方が出てこなくってあれー?と思っていました。線形回帰はできるっていうのは知…

SARの勉強5:データを見てみる3 植林地、落葉樹林、草地、農地

森林の種類で違うかはわからない 何か所で見てみたけど、いまいちわからない。 というのは、斜面の方位とか傾斜の大きさでVVもVHも相当影響を受けていて、森林の種類の違いなのか分からなかった。 グラフでも画像でもいまいち。切り取り方がへたくそなのか。…

SARの勉強5:データを見てみる2 八郎潟

八郎潟のSAR画像が面白かった 前回見た八郎潟が面白かったので、詳しくみる。 何が面白かったって、あるタイミングで黒い部分が一気に増えたこと。これは田んぼに水を張ったからだと思う。 Sentinel-1 VV の八郎潟(再掲) 時系列グラフを見る 八郎潟の田ん…

SARの勉強5:データを見てみる

アニメーションにするといいらしい 前処理について理解が少し進んだので、データを見てみる。 が、何をみてるかよくわからない。教材動画ではアニメーションにするとわかりやすいといっているので、やってみる。 コードはスライドが公開されているので、そこ…

SARの勉強4:Terrain Flattening その2

DEMの違い:SRTMとALOS Google Earth Engineに入っている全球で使えるDEMは2種類。どちらも解像度30mだけど、SRTMはおよそ90m解像度のものを内挿してして30m1に、ALOSのは2.5m?だかの高精細なものをアップスケールして30mにしているという違いがある。この…

SARの勉強4:Terrain Flattening その1

Radiometric Terrain Flatteningがよくわかってない さて、次の補正ですが、何をどうする補正かよくわかっていません。そもそも日本語で何というのか、わかってません。超おおまかな理解としては、斜面だとマイクロ波の入射角が変わるから真の(水平面だった…

SARの勉強3:スペックル その3

複数画像ImageCollectionのmean()とmedian()はどうだろう? SARの勉強シリーズ1回目でも触れたけど、論文によっては複数画像の平均値だったり、一筆の畑の平均値だったりを使うことでスペックルノイズに対処しているのがある。どのくらいノイズ除去効果があ…

SARの勉強3:スペックル その2

フィルタリングの効果を見てみたい ちょっと前に公開されたGoogle Earth Engineで使えるSentinel-1の前処理法を使ってフィルタリングする。以前の続きです。 前処理法はこちら https://github.com/adugnag/gee_s1_ard フィルタリングの方法は5種類 スペック…

SARの勉強3:スペックル その1

正直言ってよくわかっていない スペックルノイズ、あるというのは認識できるんですが、どうやって発生するかというのがわからない。 チュートリアルをやってみたところ、自信がどんどんなくなりました。 developers.google.com チュートリアル自体は素晴らし…

SARの勉強2:入射角の影響

SAR勉強シリーズを始める ちょっと勉強したいと思ったら結構なボリュームを勉強しないと分からないことが片付かないSAR。ちょっとずつやれば、そのうち理解が深まるんじゃないかと期待してシリーズを始めることに。まず、前回ノイズとエラーの原因として挙げ…

SARの勉強1

とっつきにくいイメージのSAR 前からいじってみたかったんだけど、よくわかんないので敬遠していたSAR。教科書や参考になるサイトを見ても数式やギリシア文字が登場し、ふーっとため息をつくばかり。成長を拒否するような自分には困ったものです。いろいろ扱…

石川チャレンジ5:まとめとおまけ

そんな簡単にはいかない 簡単そう、お手軽そうと思って始めましたが、予想より3倍くらいは大変でした。なんで大変だったんかなと思いだしてみます。 分析に時間がかかる サクサク進まないと感じた理由が時間がかかること。GGEで8000点を使って石川県サイズ…

石川チャレンジ4:GoogleEarthEngineで地図化

やっとGEEに到達 あーだこーだとやって、これで行きましょうと行くまでの体感が長かった。実際はそんなにかかってないんだけど。 というわけで、GEEで分類します。見本があるのでそれに倣って書けば大丈夫。 developers.google.com 実際はこう。 //ポイント…

石川チャレンジ3:Rで実験

教師データはいくつ? とりあえず10000のランダムなポイントでとしてはじめたんでした。で、サンプリングしてRに持ってきてみたんですけど、データの偏りがすごい。 開放水域 耕作地 高木林 湿地 人工物 水田 草地 低木林 裸地 2723 225 5949 8 627 1083 236…

石川チャレンジ2:なかなか始まらない

そう簡単にはいかない いや、わかってましたよ。そんなサクサクはいかないだろうなーと。でも思った以上に考えることやらケースが多くて、勉強・経験不足が露呈します。どこらへんがなのか、というのは追々として、これまでのあらすじを書いてみましょうか。…

石川チャレンジ1:土地被覆分類への道(予告)

リモセンと言ったら植生分類 GEEのチュートリアルその他で土地被覆分類の紹介は分かりやすくされていて、その通りに手軽にできます。分類のアルゴリズムも決定木、SVM、ランダムフォレスト…と各種揃っています。分類はQGISだとかRだとか無料のソフトを使って…

回帰分析の結果はどうなってるか

Google Earth Engineで使える線形回帰は4種類 GEEのガイドでは次の4種類のメソッドを使った線形回帰が紹介されている。これまでも使ったけど、係数以外の返り値がどうなってるのか詳しく見たい、似たように見えるけど、どこが違うのか見たいというのがやり…

山梨チャレンジ4:フェノロジーの指標を出してみる

NDVIの波から直接いけるんじゃない? 前回悟ったように、そしてまとめたように数年分のデータをまとめれば波の形が見えてくる。Harmonicモデルをあてはめてピークの高さや時期を抽出したけど、波がみえてるんだったら、そこから直接取ればいいんじゃないと。…

山梨チャレンジ3:調和解析(Harmonic model)への道6

目的はなんだっけ? 前回までで、このまま進めてもダメだなと思って気づいたんです。目的はなんだったっけ?そう、調和解析やってみるってことだった。そして、それは達成済みだった。 で、なんで今行き詰ってるのかなと思うと、山梨のデータをきれいにした…

山梨チャレンジ2:調和解析(Harmonic model)への道5

どうして、うまくいかないのか 問題のある前回の続きですが、この雲でダメなデータを何とかする必要があるわけです。考えた対処方針は3つ。 時間を延ばす:重くなるから5年分でやったけど、もっと長期間にすれば晴れてる日がたくさんあるかも。 前処理方法…

山梨チャレンジ1:調和解析(Harmonic model)への道4

実際にやってみたい いろんな手をみてみたので、一通り流れでやってみたくなりました。場所はとりあえず山梨県。山も街もあるし、広すぎないし、行ったことがある。決まりですね。 NDVIの時系列を見てみたい 5地点を代表として 山と街とかでNDVIのパターンは…

MODISのQAバンド:調和解析(Harmonic model)への道-脱線

しょうがない、見てみるか 以前のチャレンジでMODISのQAバンドをのぞいてみたけれど、面倒くさいからやりませんと書いたけど、やっぱ目を通しておこうかなと思い直した。移動平均的なスムージングなどに、例えば「1: Marginal data, useful but look at deta…

MODIS前処理:調和解析(Harmonic model)への道3

ほかに方法はないものか 前回のチャレンジでは空白域ができちゃったもんで、なんか別の方法はないかなーと考えてみる。まあ、簡単なのは、QAのデータの判定を甘くする。Good dataに加えてMarginal dataをいれちゃえばいい。でも、「useful but look at detai…

MODISの雲画像をマスク:調和解析(Harmonic model)への道2

ノイズはいらない この間のチャレンジでは、結局ノイズが悪さをしてるっぽいね、とのことだったので、取り除きたいところ。でもって、データカタログを見てみると、DetailedQAとSummaryQA っていうバンドがあるみたい。 QAのバンド この二つのバンドの説明を…

調和解析(Harmonic model)への道1

今回のお手本 何やったらできるのかわからないので、Nick Clinton先生の動画を道しるべとして作業します。動画のデモで使用しているのはランドサット画像、場所はサンフランシスコ周辺です。NDVIのピークの高さとかピークの時期とか取り出しています。 日本…

意気込み

これまでのあらすじ いろいろあって、ここのところGoogle Earth Engineを勉強中です。チュートリアルや説明書?は結構充実しているので、最初はサクサクできて楽しい。が、そこから一歩進もうと思うと、難しいことはわからない。初心者脱出には時間がかかり…