atfirstDIM!-Esp32Prj1

ドライブレコーダを製作(2024/02/16)
過去に製作してきた要素を組み合わせてドライブレコーダに仕上げてみた。　要素詳細は下記掲載記事参照
◆主な仕様：
・カメラモジュールはESP32-S3-WROOM Board(Freenove made)を使用
・リアカメラで撮影した画像をWiFi経由で車内に設置した3.5インチLCDに表示
・リアカメラで撮影した画像をAVI形式でBoardに実装しているμSDに動画として記録
・フロントカメラで撮影した画像もAVI形式でμSDに記録
・WiFiアクセスポイントも車載
・ケースは3Dプリンタで製作

◆使用MPU
・ESP32-S3-WROOM(Freenove made)　…フロントカメラx1、リアカメラx2
・ESP32-S3-Devkit-C-1　…LCDディスプレイ
・ESP32-WROOM-32E 16MB　…アクセスポイント
◆苦労した点
・撮影した画像を動画記録することと車載LCDに表示するためにWiFi転送することを同時に実行することは、高精細画像の記録（画像サイズが大きい）とリアルタイムにWiFi転送する（フレームレートを上げるため小さい画像サイズ）ことが背反するので出来ない。
　その為。走行中は記録に専念、停止中は表示に専念とするように切り替える方式を試した（ソフトウェア的には問題なくできる）が、同時欲求には対応できないのでカメラを2台設置することになり大型化した。（See.Rear CAM Photo）

・画像を記録する際には現在時刻も記録する必要があり、リアルタイムクロック（RTC）とそのバックアップ電源（リチウムボタン電池）を別ボードに実装することになった。（See.Backside Photo）

・AVI動画ファイルは、ファイルクローズ時に管理テーブルを画像データ群の後に記録する必要があり、車のキーOFF = MPUの電源OFFの前にこれを実行する必要がある。
　市販のドラレコのようにMPU系の電源を車のバッテリー側から引けば解決するが、ESP32ボードの消費電流が大きい（MPU自体はDeepSleepできるがUSBインタフェース回路等が常時活きている（？）のでそれは出来ない。そこで、MPUの+5V入力ラインに電圧検出IC(S-80842CNNB)と3.7V(Typ)リチウムイオンキャパシター（２ケ直列）を入れて電圧低下時にファイルクローズ処理を実行するようにした。（See. VoltConverter Photo）

※所感
・自分が望む要求仕様に妥協せずに、何かのアプリケーションを製作しようとすると、市販の製品・ボードでは機能不足・過剰・冗長で、ソフトウェア処理だけではカバーできずにH/Wの自作・試行錯誤が多くなって時間がかかってしまう。まあ、そこもHobbyの楽しみではあるが今回は時間が掛かりすぎた。

・まだ「とことん追及」仕切れていない点はがあるが（こればっかりやっていられないので）実現は別の機会にする。
　i)記録画像の中にタイムスタンプを埋め込むこと。これはカメラをBitMapデータとしてRAM上に展開し、そこに数字類Fontを描画した後、JPEGエンコードすればよく、これらの要素は過去に作りこんだプログラムをポーティングすればできる。
　ii)フロントカメラの画像からモーション検出→ALARM音発生。これもRAM上の画像処理でできる。
　iii)DUAL CAM→Single CAM
　　RAMに展開されたBMP高精細画像→JPEG ENCODE→ファイル記録、間引き＆平均化した後JPEG ENCODE→WiFi転送。

ストリーミングをLCDに表示(其の二)(2023/09/13)
◆ストリーミングカメラ　ストリーミングをLCDに表示の続き。
ストリーミングカメラを追加で2台製作（計３台）。映像表示装置は、ブラウザ（PC,携帯電話）とLCD表示器。
　カメラ裏側のタクトスイッチで、カメラモードをストリーミングモードとスタンドアロンのインターバルカメラに切り替え。
LCD表示器のタッチパネルで、接続先カメラの切り替え（表示器側でIPアドレスの切り替え）と、
画像サイズの切り替え（HTMLのGETメッセージをカメラに送信してカメラ側の撮影パラメータを変更させる。）を行う。
◆写真の説明
・写真１
　- 青BOXがストリーミングカメラ（2台）。
　　夫々、iPhoneとLCD表示器に画像転送中
　- グレーの細長いBOXはアクセスポイント
　- アクセスポイントとLCD表示器はバッテリ内蔵。
　　カメラ電源はモバイルバッテリー
・写真２
　- ストリーミングカメラ裏表
　- カメラレンズは、OV2640カメラ160°広角レンズに交換。（コネクタ差し替えでそのまま使えた。）

◆ペンディングアイテム
・カメラユニットには、μSDに画像記録する際のタイムスタンプのためにRTC（時刻IC）を搭載しているが、その時刻の確認がストリーミング中に出来ない。（画像がリアルタイムにストリームされるがその時刻を同時に表示する方法が分からない。）
ストリーミング画像データは、ブラウザ上のページのimg srcタグ部分が更新されているだけで、ページ全体は再描画されていない。そのため、JAVASCRIPTでも時刻表示はできないようだ。（ページロード等のイベントは発生しない。）
※しかも、ストリームは（HTMLport:80ではなく）Port81なので余計難しく、打開策検討で時間がかかった。
　ただ、ストリーミングデータのヘッダー部にタイムスタンプを埋め込むことはできるので、LCD表示器にストリーミングJPEGデータ解読コードを埋め込んだように、タイムスタンプ解読コードを埋め込むことはできるが、今度はLCD表示器に文字列（フォント）表示機能を実装しなければならない。（実績はあるが、画面サイズが小さい中でタイムスタンプを表示するのはベストではない。）

ストリーミングをLCDに表示(2023/08/05)
◆httpサーバー側でカメラの映像を見られるようにしたが、ポータブルにしたいので3.5インチLCDに表示するようにしてみた。
以前に製作したTCP/IPユニットを使用してTCP/Port81のストリーミングデータを解読してJPEGデータ部分を抽出するようにしたもの。
　分割して読み込むストリーミングデータの中から、必要な情報を抽出してひとつのJPEGデータに再組立てする、バッファ操作の課題であった。
◆写真の説明
・写真１
　LCDユニット自身を撮影。（LCDが少し暗い）
　左から、
　　M5Unit Cam
　　LCDユニット(ESP32DevKitC)
　　アクセスポイント(ESP32-WROOM-32E 16MB)
・写真２
　・カメラで天井照明を撮影。
◆使用したツール
　・TCP電文解析のためWiresharkをインストール
　・自プログラムで出力した電文例
0060: 0a 43 6f 6e 74 65 6e 74 2d 54 79 70 65 3a 20 69 : .Content -Type:.i
0070: 6d 61 67 65 2f 6a 70 65 67 0d 0a 43 6f 6e 74 65 : mage/jpe g..Conte
0080: 6e 74 2d 4c 65 6e 67 74 68 3a 20 39 31 34 34 0d : nt-Lengt h:.9144.
0090: 0a 58 2d 54 69 6d 65 73 74 61 6d 70 3a 20 35 37 : .X-Times tamp:.57
00a0: 38 39 2e 33 32 31 32 36 31 0d 0a 0d 0a 0d 0a 32 : 89.32126 1......2
00b0: 33 62 38 0d 0a ff d8 ff e0 00 10 4a 46 49 46 00 : 3b8..... ...JFIF.
00b5+23b8=246d
2460: 16 a8 9a 91 24 24 d4 6d 48 96 7f ff d9 0d 0a 32 : ....$$.m H......2

AVi動画カメラ(2023/08/01)
◆下記ストリーミングカメラは、撮影された画像をJPEGファイルとしてマイクロSDに記録する。多くのJPEGファイルを一々閲覧するのは現実的ではないのでJPEGデータを繋げて動画ファイルとして記録するようにしてみた。
　ファイル構造は大まかにいうと、
AVI_Header,
JPEG_data1,JPEG_data2,...,JPEG_dataN,
Index1,Index2,...,IndexNの形。
　Index群はデータ群の後に配置されるので、Index仮置きバッファをメモリー上に置く場合、そのサイズで画像数が制限される。
◆参考資料
・Design Wave Magazine 2008 July Page71(CQ出版社)
・AVI File Format
・avi構造体は、STMicroelectronicsのサンプルソース群のGUI_AVI.hを参考にした。
　効果不明のパラメータもあるが、適当に設定ておいた。
・Hex ダンプツール
　Windows環境にbusyboxツールをインストールして
　busybox.exe hexdump -C pipe.avi > pipe_hexdump.txt

◆動画の説明
・ESP32-S3-WROOM-1で、JPEG形式にて30枚インターバル撮影して、それらを同じESP32-S3-WROOM-1でAVIファイル化してμSDに記録。
・avi拡張子の動画をこのページ上で直接再生する（HTMLで再生する）方法が分からなかったのでのでAVI→MP4変換ツールでMP4にしてHTMLに貼り付け。

◆課題
・Arduino開発環境でcamera driverをいじる方法が分からない。（libにパックされている？IDF配下のディレクトリにソースはありそうだが）。

ストリーミングカメラ(2023/07/18)
◆ESP32-S3-WROOM-1（Freenove製）は、カメラモジュール、μSDカードスロット、PSRAM8MBが実装されているので、ほぼH/W追加なしで各種カメラアプリケーションが製作できる使い勝手の良い製品。　Arduino IDE環境に対応したサンプルコードも入手できて、簡便にお気に入りのアプリケーションが作れる。しかも、ESP32のGPIOがコネクタ（ピンヘッダー）に接続されていて、そのいくつかは未使用なのでユーザーH/Wの制御に使用することができる。
　そこで、以下の仕様で製作してみた。
・ストリーミングカメラモードでPCや携帯電話にWiFiで画像伝送
・インターバルカメラモードとして、スタンドアロン（WiFi機能不活性状態）で指定時間毎に画像を撮影してμSDに記録。（DeepSleepして省電力志向）
・撮影時の画像ファイルのタイムスタンプに年月日時分秒を設定するためRTC ICを外付け。
・μSDに置いた時刻設定ファイルの内容でRTC ICの時刻初期化を行う。
・カメラの動作条件（撮影時間間隔他のパラメータ）はHTMLページで設定するか、またはμSDに記録されたパラメータファイルから読み込む。
・DeepSleepから復帰すると通常RAMが初期化されるのでパラメータはEEPROMに記億。（FLASHメモリーをEEPROMエミュレーションして）
・撮影時照明用LEDライトの点灯制御を行う。
・IPアドレスは固定
・ユニットの電源はモバイルバッテリーから供給（マイクロUSB TypeB）
◆写真の説明
・写真１
　右：ESP32-S3-WROOM-1（Freenove製）、左：３Dプリンターで製作したケース。
　左に飛び出ているスイッチはコネクタに差し込んだタクトスイッチで、インターバルモード時のシャッター機能として使用。または、スイッチの代わりに人感センサー等の出力端子をコネクタに差し込む。
・写真２
　右：ESP32をユニバーサル基盤に実装し、裏面にRTC-4543Aを実装。
・写真３
　左：撮影時照明用LEDライト
　中：本機
　右：WiFiアクセスポイント
◆使用部品等
　・ESP32-S3-WROOM-1（Freenove Product Name: FNK0085）
　　Amazon
　・RTC-4543A秋月電子[I-04593]
　・WiFiアクセスポイント
　・LED照明ライト

◆開発環境・サンプルスケッチ
　・Arduino IDE Version2.2.1
　・Sketch_07.2_As_VideoWebServer
　・Sketch_07.3_Camera_SDcard

◆Arruino IDE Settings(2024/01/16)

　Board: ESP32S3 Dev Module

　USB CDC On Boot:"Disabled"
　CPU Frequency: "240MHz(WiFi)"
　Core Debug Level: "Error"
　USB DFU On Boot: "Disabled"
　Erase All Flash...: "Disabled"
　Events Run On : "Core 1"
　Flash Mode: "CIO 80MHz"
　Flash Size: "4MB(32Mb)"
　JTAG Adapter : Disabled""
　Arduino Runs On: "Core1"
　USB Firmware MSC On Boot: "Disabled"
　Partition Scheme: "Default 4MB withspiffs"
　PSRAM: "QPI PSRAM"
　Upload Mode: "UART0/HW CDC"
　Upload Speed: "921600"
　USB Mode: "HW CDC and JTAG"

◆ペンディングアイテム
・iPhoneで画像をブラウザ画面に表示することができないときがある。起動後やブラウザからHTTP GETリクエストを発行した後に起こる。
・撮影した画像はJPEGファイルとしてSDに記録しているが、動画として記録したい。

◆ソースコード：ard_cam.ino　app_httpd.cpp
　・配線図

CAM-LCD TCP/IP完成(2023/06/21)
◆カメラユニットで撮影した画像をTCPで表示ユニットに伝送するようにしてみた。アクセスポイントは別ユニットのESP32にてsoftAP処理するようにした。
・アクセスポイントを表示ユニットに統合しなかったことで、EPS32を合計３個使用することとなり、通信距離が倍増？するメリットは出た。　全てLiイオンバッテリーで作動する可搬型のユニットにした。

・表示速度は約１FPS(※1)。（画像サイズはQVGA）
・通信距離を測定した結果、上のグラフのようになった。
　　ESP32-S3-WROOM-1, ESP32-S3-WROOM-1U DatasheetによるとTX Powerは20dBm程度、変調精度（EVM：Error Vector Magnitude）は-24dB程度（いずれも通信規格により変動）と記載されている。　APとCamおよびAPとDISP間の距離が30㎝程度で-24程度だった。（※２）
　因みにTWELITE(RED)（MONO WIRELESS）は送信出力10mWで、通信距離を稼ぐにはこれ！(但し、Zigbee)や920MHz帯無線モジュール（秋月電子）がある。

◆管理人は、Arduino-IDEツールはまだ使用しておらず、IDF環境のみを使用しているので
　参考にしたソースコードはExpressifの以下のサンプルコード。
　Espressif\frameworks\esp-idf-v4.4.4\examples\配下の
　　protocols\sockets\tcp_server, tcp_client
　　protocols\sockets\udp_server, udp_client
　　wifi\getting_started\softAP
◆使用部品・機材
　［DispUnit］
　　・ESP32-S3-DevKitC-1（秋月電子 M-17073)
　　・LCD：2.8''LCD(P2770　adafruit)
　　・Liイオンバッテリ18650
　　・XC9306使用同期整流昇降圧DC/DCコンバータキット5V版
　　（秋月電子 K-15775）
　［CamUnit］
　　・OV2640搭載 Unit Cam Wi-Fi Camera
　　（秋月電子 M-17211）
　　・Liイオンバッテリ18650
　　・XC9306使用同期整流昇降圧DC/DCコンバータキット5V版
　　（秋月電子 K-15775）
　［SoftAP（AccessPoint）］
　　・Wi-Fiモジュール　ESP32-WROOM-32E 16MB
　　（秋月電子 M-15675）
　　・Liイオンバッテリ18650
　　・XC9306使用同期整流昇降圧DC/DCコンバータキット3.3V版
　　（秋月電子 K-16055）
　　※ESP32を1.27mmピッチのユニバーサル基盤にはんだ付け。
　　　15～24ピンのパッドが1.27の格子に乗らないので工夫がいる。
　［プログラム書き込み器］
　　・上記画像の上部シリアルコンバータ

◆コンソールログ・処理時間

※1）TCP通信、JPEGデコード、表示処理などの処理のため、ある程度の時間がかかるのは仕方がない。　ESP32のメリットを活かして通信と表示は別CPUにしてある。　 WiFi通信速度は短時間の平均で13.7kbyte/s(5.3k～31.4k)。コンソールログを見ると、常に表示待ちしている（通信が遅い）ので、TCPの転送サイズを大きくすれば改善できそう。時々秒単位で遅くなっているが、使用しているWiFiチャンネルの使用権（電波が出せない？）が得られないためか？この点の改善の余地は残る。
※２）idf.py menuconfig　PHY->max WiFi TxPowerの設定は20（最大）に設定している。

◆ソースコード：tcp_server　tcp_client

参考資料：
　・アンテナ指向性:　基板アンテナ...（MONO WIRELESS）
　　　（別会社の資料だが、基板のパターンは同じように見えるので）
　・初歩の電波（無線と電波について）(IBSJapan)
　・電波の伝わり方：減衰(Tech Web)

CAM-LCD TCP/IP接続(2023/03～2023/04/26)
◆上記、espnow接続では転送レートが低すぎるのでTCPで画像データを伝送するようにしてみる。
UnitCam側：撮影指令受信 → 撮影・JPEG出力 → TCPでWiFi送信
アクセスポイント(WiFiルータ)：TCP、UDPを中継
DevKitC側： TCPでJPEGデータ受信 → JPEGデコード
　　　　　　→ LCDに表示 → 撮影指令送信
　　　　　　LCD表示完了後、UDPで撮影指令をUnitCamに送信
（繰り返し）

成功例ソースコード（一部）をここに載せておく

(2023/04/26～2023/06/10)
◆次に、DevKitC側にアクセスポイントとTCP,UDP処理を統合することを試す。
結果は失敗。　下記CAM-LCD表示＜トラブル対応＞4-3参照
２ヵ月も試行して成功しないのでこのチャレンジは中断することにする。
中途半端はもったいないので、一つ戻って３機構成で、後日仕上げておくことにする。（下記）
◆疑問点：
Arduino IDEではアクセスポイント（AP）とステーションモード（子機：STA）の統合を実現しているようだが、
ひとつしかない無線モジュールのハードウェア資源をどのようにしてAPとSTA間のリアルタイム通信に利用しているのか。
… H/Wの上位のHALより上のレイヤーでショートカットすればできるだろうが、そのようなショートカットを指令しているコードには見えない。（IDF版では）
その辺の仕組みを解説する資料がないし、LowLayreのソースコードも見あたらない。

CAM-LCD表示＜製作結果・課題＞　　　　　　　　　　　　
CAM-LCD表示＜トラブル対応＞
１．UnitCam(ESP NOW版)
　1-1 Brownoutリセットを繰り返す（解決）
　1-2 JPEGデータのサイズが不正
　1-2 UnitCamーDevKitC間のデータ転送が遅い

２．DevKitC(ESP NOW版)
　2-1 プログラムの書き込みが突然失敗(2023/01/31解決)
　2-2 LCD　画像非表示（2023/02/08解決）
　2-3 画像不正（2023/02/22解決）
　2-4 LCD画面　左側表示ずれ（2023/02/23解決）
３．UnitCam(TCP/IP版)

４．DevKitC(TCP/IP版)
　4-1 確実なTCP/IP接続方法（2023/04/26解決）
　4-2 JPEGデータが正しく表示されない（2023/04/08解決）
　4-3 アクセスポイントが統合できない（2023/06/10中断）
　4-4 カメラ画像が3サンプルほど遅れて表示される（2023/06/16解決）

Wi-Fiモジュール ESP32-S3-WROOM-1-N16R8 (2022/10/14)

＜管理人による概要調査＞

＜管理人のESP32に対する印象＞

F427カスタム基板

esp32-s3-wroom-1 wroom-1u Datasheet ESP32-S3 Series Datasheet - Specifications of the ESP32-S3 hardware. ESP32-S3 Technical Reference Manual - Detailed information on how to use the ESP32-S3 memory and peripherals ESP32-S3 Hardware Design Guidelines - Guidelines on how to integrate the ESP32-S3 into your hardware product. Certificates Documentation Updates and Update Notification Subscription

Unit Cam ESP32-Downloader

UnitCam（M5STACK Product）

OV2640搭載 Unit Cam Wi-Fi Camera(M5Stackのページへ)

　・開発プラットフォーム：ESP-IDF/Arduino/UIFlow
　・コントロールコア：ESP32-WROOM-32E
　・メモリ：Flash 4MB
　・通信プロトコル：UART 115200bps 8N1(出荷時)
　・カメラ：OV2640
　・最大解像度：2Mピクセル；　・DFOV：66.5°
　・画像転送速度：12fps(出荷時)
　・サポート形式：YUV(422/420)/YCbCr422、8-bit圧縮データ、RGB565/555、8/10-bit RAW RGBデータ
　・寸法：45mm×20mm×12mm；　・重量：4.7g(総重量5.3g)
　・技適番号：217-204070

ESP-IDFの環境構築

Espressif IoT Development Framework!

ESP32-S3 Get Started

Step 2. Get ESP-IDF

ESP-IDF Tools Installer

blinkサンプルのビルド

blinkサンプルの実行

UnitCam http-streamのビルド・実行

UnitCamページのESP IDFサンプル'http-stream'

(画像クリックで拡大)

こちら

＜問題点＞

ESP32フリークの皆さまは、GitHubからDLしたコードや製品付属サンプルコードなどを、自分の要求に妥協することなく満足して使用しているのかしらん。
　　ライブラリなどは流用するにして、スクラッチビルドしている人は居るのかしらん。

CAM+STM32+無線モジュール

CAM-LCD espnow接続(2023/01)
◆UnitCamで撮影された画像をPCで表示するhttp-stream（上記）は一応できたが、ポータビリティが欲しいので小型LCDに表示するようにしよう。　「使える」ようになったら、愛車のバックモニターか左サイドモニターにしよう。
　以下、UnitCamで撮影した画像を2.8" LCDに表示するプロジェクトの作成経過をまとめておく。
まず、写真の説明：
写真　上側右のUnitCamに接続されているケーブル群はUSB-シリアルコンバータ＋自作ESP書き込み回路（3Dプリンターで製作したケース入り）。
下側左から、DevKitC、ユニバーサル基盤（手配線）、FPCコネクタ基板、2.8" LCDで、これらをコネクタ結合する。
2.8" LCD(P2770 adafruit) は、LCDコントローラのMPU対抗I/OのほぼすべてがFPCに出ているので８ビットパラレル接続ができる。今回は使わないが、静電容量タイプタッチパネルも搭載されている。

◆CAM-LCD表示＜DevKitCにLCDを接続＞
・DevKitCのポートにLCDの８ビットデータバスの各信号ラインをesp_lcd_new_i80_bus関数を使用して割り当てる。CS,WT等の制御信号はesp_lcd_new_panel_io_i80関数, esp_lcd_new_panel_st7789関数を使用して割り当てる。
・LCDモジュールに実装されているコントローラはILI9341だが、このドライバーがEspressif配下に見あたらなかったのでst7789ドライバを使用。
　コマンド群は、ほぼ互換のようだ。初期設定はカスタマイズした。
・関数と関連コード所在：Espressif\frameworks\esp-idf-v4.4.2\components\esp_lcd
◆CAM-LCD表示＜プログラム処理の流れ＞
UnitCam側：撮影指令受信 → 撮影・JPEG出力 → espnowプログラムでWiFi送信
DevKitC側：撮影指令送信 → espnowでJPEGデータ受信 → JPEGデコード → LCDに表示 → 撮影指令送信（繰り返し）

プログラムの一部(send_recieve_task and send)をここに置く。

espnow所在：Espressif\frameworks\esp-idf-v4.4.2\examples\wifi\espnow
espnowは、通信相手のMACアドレスを指定して送信するコネクションレスな通信で、簡便なのでこれをカスタマイズして使用。最大パケットサイズが250バイトなのでデータ転送レートが稼げない（＜トラブル対応＞1-2）ことが後で分かった。→メモリーサイズに余裕があればTCP/IP(LwIP…どれだけ軽量か分からないが)に変えたい。

　TCP/IP所在：Espressif\frameworks\esp-idf-v4.4.2\examples\protocols\sockets\tcp_serverおよび\tcp_client

JPEGデコードは、次の場所にあるコードを参考にした。オリジナルは1画像分をまとめてBMPデータバッファ（1画面サイズ）に出力するコードだったが、使用RAMサイズ削減のため、ブロックごとにデコード→LCD出力をするように変更。
JPEGデコーダー所在；Espressif\frameworks\esp-idf-v4.4.2\components\esp_rom\patches\esp_rom_tjpgd.c

表示処理プログラムをここに置く。