Validasi Strategi—Backtesting, Statistik, dan Pembagian Kerja AI

1. Titik Awal: Tujuan Validasi Bukanlah "Membuktikan Profitabilitas"

Dua pelajaran sebelumnya membahas pembagian kerja dalam alur kerja dan struktur masukan. Pelajaran ketiga beralih ke apakah sebuah ide menunjukkan konsistensi historis. Banyak kegagalan tidak berasal dari arah yang fundamental salah, melainkan dari pengujian ulang yang diperlakukan sebagai kesimpulan tanpa audit yang layak: data mencakup aset yang sudah dihapus, sinyal menggunakan informasi masa depan, biaya diabaikan, parameter terus-menerus diubah pada sampel pendek. AI dapat mempercepat penulisan kode dan interpretasi indikator, tetapi tidak dapat menentukan sendiri apakah suatu strategi valid. Tujuan validasi yang lebih masuk akal adalah: berdasarkan asumsi yang jelas, strategi tersebut belum terbukti salah secara statistik atau biaya—bukan membuktikan profitabilitas yang tak terkalahkan melalui narasi yang mulus.

2. Pembagian Kerja yang Wajar untuk AI dalam Backtesting

AI cocok untuk membantu:

• Menghasilkan kode kerangka kerja backtest

• Menjelaskan arti rasio Sharpe, drawdown maksimum, rasio kemenangan

• Mendaftarkan potensi titik bias look-ahead

• Mengatur tabel hasil menjadi ringkasan teks

Tugas yang harus diselesaikan atau ditinjau secara independen oleh manusia meliputi:

• Apakah alam semesta mengandung aset yang bertahan

• Apakah harga sudah ada sebelum pencatatan

• Apakah biaya, selip, dan tingkat pendanaan sudah termasuk

• Apakah pengujian out-of-sample atau walk-forward dijalankan

• Apakah perbedaan antara kertas dan langsung dipertimbangkan

Kode yang berjalan hanya menunjukkan langkah-langkah rekayasa selesai; itu tidak berarti strategi telah lolos validasi.

3. Pembersihan Data: Langkah Paling Rapuh dalam Backtesting Kripto

Jika backtest hanya menggunakan token yang masih aktif hari ini, hasil cenderung optimistis secara sistematis. Periode sebelum pencatatan token tidak boleh dianggap dapat diperdagangkan. Harga, volume, dan tingkat pendanaan bervariasi antar bursa; backtest harus menetapkan bursa atau menentukan aturan sintesis. Fork, migrasi kontrak, dan penggantian nama token menyebabkan putusnya urutan harga dan memerlukan pemetaan manual atau pengecualian. Menggunakan satu stablecoin untuk penetapan harga selama fase depeg dapat mengacaukan metrik pengembalian dan risiko; jendela depeg besar harus ditandai atau dijelaskan secara terpisah. AI harus diminta untuk mendaftarkan sumber data, rentang waktu, dan definisi alam semesta dalam dokumentasi dan memeriksa setiap item terhadap data mentah—lebih penting daripada sekadar mengejar kurva backtest.

4. Bias Look-Ahead: Penyelarasan Waktu Antara Sinyal dan Eksekusi

Bias look-ahead umum meliputi:

• Menggunakan statistik sampel penuh untuk normalisasi tetapi melakukan backtest pada sampel penuh

• Menghasilkan sinyal pada penutupan hari tetapi mengeksekusi pada pembukaan hari

• Menggunakan alamat yang dilabeli sebagai "uang pintar" hanya setelah fakta

• Menggunakan data makro yang direvisi seolah-olah itu adalah nilai rilis historis

Disiplin harus menentukan: sinyal yang dihasilkan pada t harus dieksekusi pada t+1 atau lebih baru tergantung pada jenis strategi; jika data makro tidak dapat diperoleh sebagaimana dirilis aslinya, kesimpulan terkait harus diturunkan. AI dapat diminta untuk memberi anotasi waktu ketersediaan data untuk setiap fitur dalam komentar kode; manusia harus memeriksa fitur-fitur utama untuk memastikan fitur tersebut mendahului eksekusi setidaknya satu hari.

5. Biaya dan Gesekan: Backtest Tanpa Biaya Tidak Valid Secara Bawaan

Strategi kripto setidaknya harus mencakup biaya perdagangan, selip, tingkat pendanaan perpetual (jika posisi melintasi titik penyelesaian), tingkat pinjaman (jika leverage digunakan), dan biaya penarikan/lintas-rantai jika perlu. Skenario biaya dasar dan pesimistis (misalnya, menggandakan biaya) dapat digunakan untuk pengujian ketahanan. Jika pengembalian yang diharapkan memburuk tajam atau berubah negatif dalam skenario pesimistis, strategi tersebut sangat sensitif terhadap biaya dan tidak boleh dinilai hanya berdasarkan kurva dalam sampel. AI sering kali default ke nol biaya atau satu basis poin; manusia harus menulis tabel biaya ke dalam asumsi dan laporan backtest.

6. Overfitting dan Out-of-Sample: Lebih Banyak Parameter Memerlukan Kehati-hatian Naratif yang Lebih Besar

Gejala meliputi:

• Hanya menampilkan kombinasi terbaik setelah banyak set indikator

• Menyetel parameter hanya pada sampel pasar bullish yang pendek

• Aturan yang sangat spesifik tanpa penjelasan mekanisme

Tindakan pencegahan meliputi:

• Menyisihkan interval out-of-sample yang tidak digunakan untuk penyetelan parameter

• Menerapkan pengujian walk-forward dengan jendela bergulir

• Menyederhanakan aturan sebanyak mungkin dalam premis yang dapat dijelaskan

Laporan harus menyajikan metrik utama dalam sampel dan out-of-sample; jika kinerja out-of-sample secara signifikan lebih lemah daripada dalam sampel, risiko overfitting harus ditandai dan penskalaan langsung dijeda. AI tidak boleh berulang kali mengoptimalkan parameter tanpa pengawasan sampai kurva terlihat bagus—itu sama dengan overfitting otomatis.

7. Dari Backtest ke Perdagangan Langsung: Kemajuan Bertahap, Bukan Peluncuran Sekali Langkah

Tingkat tiga tingkat direkomendasikan. Tingkat satu: backtest lulus dengan alam semesta, biaya, dan hasil out-of-sample yang terdokumentasi. Tingkat dua: mencatat perbedaan harga sinyal/eksekusi pada perdagangan kertas atau simulasi dan mengamati selip dunia nyata. Tingkat tiga: perdagangan langsung ukuran kecil dengan batasan dan stop-loss, terus membandingkan hasil kertas dan langsung. Kemajuan pada setiap tingkat diputuskan oleh manusia—bukan oleh model yang merekomendasikan posisi besar. AI dapat menghasilkan daftar periksa untuk setiap tingkat tetapi tidak dapat menggantikan keputusan kemajuan.

8. Bidang Minimum dalam Laporan Backtest

Bahkan tanpa sistem yang kompleks, laporan harus mencakup:

• Deskripsi strategi satu kalimat

• Interval data dan cakupan aset

• Tabel asumsi biaya

• Pengembalian dalam sampel dan out-of-sample, drawdown maksimum, jumlah perdagangan

• Kerugian beruntun maksimum

• Daftar masalah yang belum terselesaikan

• Kesimpulan untuk melanjutkan validasi, menjeda, atau menghentikan

Hindari pernyataan seperti "optimistis hati-hati" yang tidak memandu tindakan. Backtest dan tinjauan berbagi disiplin yang sama: dapat dieksekusi, dapat diaudit, dapat diulang.

9. Ringkasan Pelajaran

Pelajaran ini berpusat pada apakah ide-ide telah diuji. AI cocok untuk membantu menulis kode backtest, menjelaskan indikator, menandai bias look-ahead dan biaya yang hilang; tidak cocok untuk menggantikan konfirmasi manusia terhadap bias kelangsungan hidup dalam data, penyelarasan sinyal/eksekusi, kinerja out-of-sample, atau margin di bawah biaya pesimistis. Kode yang berjalan dan kurva dalam sampel yang tampak bagus hanya berarti langkah-langkah rekayasa selesai—bukan bahwa penskalaan langsung dapat dibenarkan. Jalur yang lebih aman adalah mendokumentasikan backtest, lalu melacak di atas kertas sebelum uji coba skala kecil—setiap langkah ke depan diputuskan oleh manusia. Pelajaran berikutnya akan mencakup peristiwa makro dan on-chain utama: periode dengan informasi terbanyak tetapi juga paling mungkin menyesatkan ringkasan untuk kesimpulan, memerlukan batasan yang jelas tentang apa yang dapat AI bantu persiapkan dan apa yang tidak dapat digantikan untuk verifikasi.