Re: [Komunitas AmiBroker] Bagaimana mengukur KINERJA dan HARAPAN dari sebuah trading system?

Nah ketahuan kan kalo sistem saya tidak solid...
Saya memang cuma optimize MaxOpenPosition nya, karena ndak pakai parameter lain seperti period dll.

Oh iya... mas Wisnu, kalo ndak salah W1 itu untuk realtime intraday kan ? bagaimana kalao untuk EOD, applicable kah ?

Thanks,
ES

2011/2/4 Wisnu Mobile <wisnu.working@gmail.com>

Comment:

1. Banyak N/A nya, Pak Eco? Harus dilihat satu persatu:

a. Bisa dari entry-exit rules nya (yang tidak memberikan SATU pun entry/exit di beberapa tahun?)

b. Bisa dari Optimization Statement nya - saya lihat parameternya yang dioptimisasi cuma Max Open Position, dan nilainya pun semuanya sama 2.

c. Bisa dari setting WalkForward.

2. Saya kirimkan BACKTEST, WALKFORWARD, MONTECARLO 100 RANDOM ITERATION dari Wiseman1 Beta terakhir, dan setting WalkForward EASY EOD.

a. Lihat CAR di walkforward Wiseman1 Beta, masih jaggy - deviasi tertinggi terjadi di tahun2 ekstrem. TETAPI 50% dari iterasi WalkForward, CAR untuk IN-SAMPLE dan OUT-OF-SAMPLE, relatif konsisten. Masih jauh dari solid trading system. Tetapi bisa dipahami idenya walkforward dari sini. 

b. MonteCarlo test - 100 kali iterasi dengan data random, cukup konsisten. CAR terendah 28% tertinggi 38%. 

Salam.

2011/2/4 Eco Syariah <esyariah@gmail.com>

Mas Wisnu,

Cara baca hasil WF Test itu gimana ya ?
Contoh terlampir.

Thanks,
ES

2011/2/4 Wisnu Mobile <wisnu.working@gmail.com>

Pak Chris,

1. Benchmarknya backtest itu MESTINYA adalah FILOSOFI trading masing-masing. Tetapi kalau mau diurutkan, ini dasarnya:

a. EXECUTABLE

b. NON FUTURE LEAK

c. MATCH dengan profil ekspektasi profit dan toleransi resiko masing-masing (karena ini unik dan personal), misalnya untuk risk-averse person, dia bisa cari yang Sharpe Ratio nya bagus, RAR/MDD nya bagus.

2. WalkForward, sebenarnya adalah metode untuk memilahkan, mana sistem yang backtestnya bagus karena overfitting, dengan yang bagus karena bagus betulan filosofi dasarnya.

Sistem yang mengalami overfitting - ARTINYA terlalu FIT dengan DATA MASA LALU/sehingga hasil BACKTEST nya bagus >>> Ketika diaplikasikan pada data yang tidak dia kenali sebelumnya (OUT-OF-SAMPLE), performance nya DROP.

Filosofis, kalau sistem survive dalam iterasi2 WalkForward, kita bisa punya HARAPAN SEHAT, bahwa di masa depan (data yang belum pernah dia lihat), dia akan survive pula.

As simple as that. Gunakan HANYA sistem yang hasil WalkForward nya relatif konsisten terhadap Backtest.

3. MonteCarlo, ini ada third-party random number generatornya. Sekali lagi, bukan hal yang susah banget. Cuma ngetes, sistem kita diatas data yang sepenuhnya random, that's it. Hehe..

Jadi untuk system developer yang benar, mestinya sudah punya. Dan memang ini bukan tugasnya AmiBroker. Tetapi, saat ini sedang dibangun/disempurnakan beberapa optimizer engine bawaan AmiBroker (saat ini ada 3, CMAE, SPSO, TRIB). Saya pikir, Monte Carlo is just one step forward.

Silahkan di google, apa itu CMA-ES Finance, PSO Optimization, untuk mengerti benda-benda apa itu.

Salam belajar.

2011/2/4 Christopher Tahir <chris_tahir@ymail.com>

Nah Pak Wisnu buka jalan, sy ngelanjutin, tp bukan ngelanjut penjelasan, tp bertanya...

1. Mas Wisnu, syarat hasil backtest yg baik gimana? Apakah ada benchmark tertentu yg bs dirangkum?

2. Nah utk Walk Forward, sy rada burem tuh...
Apakah WF itu bs sama dgn tes masa depan?

3. Nah apakah Monte Carlo Simulation ada di Ami? Gimana detailnya ya, Pak?
Thanks banget Pak...

Best Regards,
Christopher Tahir
Blog: http://ez-stock.blogspot.com
MSN: chris_tahir@hotmail.com
YM: chris_tahir@ymail.com


Mail to my Y!Group:
ez-stock-subscribe@yahoogroups.com

-----Original Message-----
From: Wisnu Mobile
Sent:  04/02/2011 3:27:33 PM
Subject:  [Komunitas AmiBroker] Bagaimana mengukur KINERJA dan HARAPAN dari sebuah trading system?


Halo semuanya.. Sedang pada sibuk ngitung cuan, ya?

Judulnya mirip sinetron ya? Kalau diganti begini: How to MEASURE, HISTORICAL
PERFORMANCE and FUTURE EXPECTANCY of a TRADING SYSTEM? Membacanya saja malas
pasti.. Hehe.. :)

Apakah anda: sering beli trading sistem, tetapi masih merugi? Atau sering
ikut expert, lewat stock picks dan masih merugi? Atau mencoba membangun
sistem sendiri, tetapi belum confident?

 Saya mau share sedikit konsep pengembangan sistem, yang HARAPANNYA, bisa
membuat retail trader Indonesia - tentunya yang membaca milis ini - punya
pegangan - ukuran - measurement, dalam mengevaluasi, atau membeli, atau
membangun sebuah sistem trading. Ini dia 3 ukuran besarnya:

1. Kalau sebelumnya sudah sering kita bahas tentang BACKTEST (dengan
entry-exit nya, dengan position sizing, dan scoring-nya), mestinya sudah
punya sedikit gambaran tentang HISTORICAL PERFORMANCE dari sebuah trading
system. Jadi kalau ada yang jual sistem, terus ada yang bertanya, hasil
backtestnya bagaimana? Itu adalah pertanyaan SEHAT, yang WAJIB mendapatkan
jawaban lengkap.

Tentunya hasil backtest yang baik, belum bisa menjadi jaminan 100%, karena
bagaimana hasil tersebut diperoleh dan apakah rekomendasi sistem tersebut
executable di real life, akan menentukan, apakah sistem tersebut nyata atau
palsu. Tetapi sebagai pembeli, anda memiliki HAK untuk bertanya.

2. WALKFORWARD. 50% trading systems memiliki fenomena OVERFITTING
(contohnya: berusaha mencari parameter yang optimum untuk suatu saham
tertentu - hehe..), AmiBroker memiliki fitur untuk memfilter sistem-sistem
seperti ini dengan mudah, namanya WalkForward. Fitur ini baku untuk metode
scientific reasearch yang mengolah past data kemudian digunakan untuk
memprediksi future expectancy. Tidak banyak yang punya fitur ini, dan untuk
riset sains - prosedur ini WAJIB - itu kenapa, saya pakai AmiBroker (bukan
pesanan Pak Dendo lho, hehe..).

Apa yang dilakukan? WalkForward menggunakan dua time frame yang dinamakan
IN-SAMPLE dan OUT-OF-SAMPLE. Di IN-SAMPLE, sistem akan MENCOBA mengenali
nilai-nilai optimum yang akan MEMBUAT hasil BACKTEST terbaik. Ketika semua
parameter ini sudah dikenali, parameter2 tersebut DIKUNCI, dan dijalankan
diatas data OUT-OF-SAMPLE. Dan ini dilakukan berulan-ulang, untuk semua
tahun pengujian. Sistem yang mengalami overfitting, kinerjanya akan DROP
jauh, ketika diaplikasikan pada OUT-OF-SAMPLE.

Secara filosofis, artinya, kalau sistem kita sudah memberikan hasil yang
relatif konsisten ketika di-WalkForward, maka kita boleh memiliki HARAPAN
yang SEHAT, bahwa performa sistem kita di masa depan tidak akan terlalu jauh
dari hasil WalkForward dan Backtest.

So, kalau anda beli sistem, anda juga BERHAK meminta test ini. Kalau anda
bangun sendiri, anda WAJIB melakukan test ini.

3. MONTE CARLO SIMULATION. Kira-kira, kalau sistem kita dijalankan diatas
data yang SEPENUHNYA RANDOM, akankah dia survive?

Dalam simulasi Monte Carlo ini, kita ganti seluruh data emiten, di seluruh
tahun evaluasi, dengan DATA RANDOM. That's the ultimate test.. :). Sama
seperti backtest dan walkfroward, anda BERHAK dan WAJIB minta test ini.
Hehe..

Dengan tiga ukuran ini, mestinya kita bisa mengurangi trade-by-faith-only.
Sekian dulu ya.. diterusin kalau ada yang tertarik.. :)

Salam.

------------------------------------

Apabila membutuhkan software AmiBroker, Realtime Intraday Data & Pelatihan silahkan kontak : Dendo Valentino | Cell : 08159304868 | e-mail: amibrokerfreak{at}yahoo.co.id | YM id : dendov | http://www.facebook.com/dendo.amibrokerfreak | http://www.amibroker-4-bei.org

Yahoo! Groups Links

<*> To visit your group on the web, go to:
   http://groups.yahoo.com/group/amibroker-4-bei/

<*> Your email settings:
   Individual Email | Traditional

<*> To change settings online go to:
   http://groups.yahoo.com/group/amibroker-4-bei/join
   (Yahoo! ID required)

<*> To change settings via email:
   amibroker-4-bei-digest@yahoogroups.com
   amibroker-4-bei-fullfeatured@yahoogroups.com

<*> To unsubscribe from this group, send an email to:
   amibroker-4-bei-unsubscribe@yahoogroups.com

<*> Your use of Yahoo! Groups is subject to:
   http://docs.yahoo.com/info/terms/