Weka Forex Nachrichten

Einführung in die FX Data Mining - Einführung in FX Data Mining Einführung in FX Data Mining Es gibt eine breite Palette von Data Mining-Anwendungen. Wir sollten Data Mining in unseren Devisenhandel integrieren. FX, Forex oder der Devisenmarkt FX ist der größte Markt in Bezug auf täglich gehandelt Volumen. Es hat drei Hauptniveaus der Teilnehmer: die großen Jungen, die Zwischenebene und einfache Händler wie Sie und ich. Es hat eine spekulative Natur, was bedeutet, die meiste Zeit, die wir nicht tauschen Waren. Wir interessieren uns nur für den Unterschied und wollen niedrig kaufen und verkaufen hoch oder verkaufen hoch und kaufen niedrig. Durch kurze oder lange Operationen können wir Pips gewinnen. Je nach Handelsvolumen kann der Pip-Wert zwischen einem und zehn Cent liegen. Dies ist der wichtigste Weg, um Geld in der FX-Markt (neben mit Carry Trade, Brokering, Arbitrage und vieles mehr). Beachten Sie, dass der FX-Markt ist riesig, ist aber für alle Ebenen der Spieler geeignet. Denken Sie an den FX-Markt als unendlicher Supermarkt mit unendlich vielen Produkten und Kunden, aber er hat auch unendlich viele Kassierer. Das bedeutet für alle gleich viele Möglichkeiten. Data Mining und Machine Learning Data Mining ist ein reifes Unterfeld der Informatik. Es geht um eine Menge Daten und nicht-triviale Extraktion von nutzbarem Wissen aus massiven Datenmengen. Seine getan durch intelligente Datenverarbeitung mit Machine Learning Algorithmen. Data Mining ist nicht nur CRUD (Erstellen, Lesen, Aktualisieren und Löschen). Wir haben mehrere Data-Mining-Methoden. Hierdurch die Methoden und einige Anwendungen. Klassifizierung - Klassifizierung von E-Mails als Spam, Klassifizierung einer Transaktion als Betrug. Association - YouTube schlägt uns neue Videos basierend auf unserer Geschichte. Amazon schlägt uns mehr Einzelteile während der Prüfung vor. Clustering - Analyse unstrukturierter Daten, wie zB Wirtschaftsnachrichten und Meinungen, um gemeinsame Gruppen zu finden. Process Mining - untersucht Protokolle von Call-Operatoren, um ineffiziente Operationen zu finden. Text Mining - Bergbau Nachrichten oder technische Analyse für Mustererkennung. Algorithmic Trading ist eine automatisierte Ausführung eines Handelsalgorithmus. In unserem Fall kommt der Handelsalgorithmus aus dem Bergbau. Der automatisierte Handel wird von einigen König der Programmiersprache getan. Geschwindigkeit und Robustheit sind hierbei von entscheidender Bedeutung: Der menschliche Händler kann das Computerprogramm nicht über diese Attribute schlagen. Es könnte HFT (High Frequency Trading) und Low-Level-Programmierung (als C) oder langfristige Trading-und High-Level-Programmierung (wie Java) sein. Mix Algorithmic Trading mit Data Mining Mischen Data Mining im algorithmischen Handel ist wichtig. Das Wichtigste sind die Daten. Ein einfaches Prinzip besagt, dass, wenn Ihre Daten nicht gut genug sind, Ihre Modelle nicht gut genug sind (GIGO). Es geht darum, ein Modell zu schaffen, es umzusetzen und zu testen (wie immer). Derzeit ist diese Strömung meist manuell. Data Mining Software Es gibt viele Open Source Software-Optionen im Bereich Data Mining. WEKA ist ein Data Mining Framework, das von der University of Waikato, Hamilton, Neuseeland, stammt. WEKA ist in Java geschrieben und hat eine große API. Auch haben Sie Implementierungen für die meisten der bekannten Machine Learning Algorithmen. Mischung von guten Werkzeugen ist entscheidend. Es gibt zu viele mögliche Handelsmodelle. Tossing eine Münze ist ein dummes Handelssystem, sondern ein Handelssystem. Wir brauchen Data Mining, um das Gold zu finden. Gute Werkzeuge sind leicht, so viel Glück mit dem Bergbau zu bekommen. Wenn Sie weitere Informationen über wissenschaftliche FX Trading suchen, wird Ihr nächster Schritt die Data Mining-Tools und die historischen Daten erforschen. Besuchen Sie algonell für weitere Details. Sie finden uns auf Twitter. Facebook. Google. LinkedIn und WordPress. FX Data Mining mit Apache Spark Intro Lassen Sie uns unsere Erfahrung mit massiven Offline Data Mining mit mehreren Open-Source-Technologien auf wöchentlichen Chargen von 1 TB historischen Daten für die letzten 10 Jahre mit 400 Funktionen präsentieren. Wir werden den alten Fluss und die Verbesserungen durch die Verwendung von Apache Spark und S3. Problem Das Problem, mit dem wir gearbeitet haben, ist ein wöchentlicher Batch-ETL-Prozess für unsere Back-End-Modelle. Wir trainieren Klassifizierungsmodelle und nutzen diese im Echtzeithandel zur Trendklassifizierung und Positionseingabe. Dieser Prozess wird am Ende einer Handelswoche durchgeführt, aber wenn die Märkte verrückt werden, würden wir das Training erneut ausführen, um neue Entscheidungen zu treffen. Wir verwenden WEKA (Waikato Environment for Wissensanalyse) als Hauptquelle für Machine Learning Algorithmen und Data Mining. WEKA hat alles, was Sie wollen: Filter, Klassifikatoren, Ensembles und Feature-Selektoren unter der Java API. Wir beginnen mit einer einfachen Java-Anwendung, um Klassifikationsmodelle zu filtern, zu reinigen, zu transformieren und zu trainieren. Das Problem ist, dass die Anwendung auf einzelne CPU läuft und WEKA nicht für die Verwendung in Multi-Thread-Umgebungen konzipiert wurde. Die Verarbeitung von 1TB von historischen Daten mit einer durchschnittlichen Datenmenge von 500MB pro Woche führt zu Anwendungen, die tagelang laufen, manchmal sogar Gebäudemodelle, bevor die Handelswoche beendet ist. Offline-Batch-ETL und Online-Trading-Engine fließt Lösung Wir beschlossen, Apache Spark für den Job zu integrieren. Zudem haben wir anstelle von HDD die Umstellung auf S3 vorgenommen, um Speicherplatzbeschränkungen zu vermeiden. Spark ist ein verteiltes Rechenwerk auf der klassischen Map-Reduction-Technologie. Es verbessert die Laufzeit durch Nutzung in Speicher-Berechnungen mit kleinen Recheneinheiten namens Aufgaben. Sparks Schlüssel-Datenstruktur ist RDD (Resilient Distributed Dataset), die Partitionierung über mehrere Cluster-Knoten und getrennte Task-Ausführung mit atomaren Operatoren ermöglicht. Sobald Ihre Berechnungen unabhängig sind, können Sie die volle Leistung Ihres Clusters nutzen, indem Sie gleichzeitig Daten verarbeiten. Apache Spark bietet schnelle Machine Learning-Funktionalität durch zusätzliche Bibliothek namens MLlib. Die Bibliothek bietet Encoder, Klassifikatoren und Ensembles. Dennoch können wir in unserem Anwendungsfall mit WEKA mehr Flexibilität erreichen. Ergebnisse Wir haben mit 6 Chartperioden gehandelt: M5, M15, M30, H1, H4 und D1. So haben wir für jede Periode Batch Data Mining-Prozesse ausgeführt. Die Laufzeit einer einfachen Java-Anwendung reichte von 1 Stunde bis 22 Stunden auf Standard i5 Core mit 12 GB Speicher. Wir haben den Spark-Job auf 32 Xeon-Cores mit 60GB Speicher laufen lassen und die Laufzeit wurde auf 10 bis 2 Stunden reduziert. Dies ist eine riesige Verbesserung. Schauen Sie sich die folgenden Links für weitere Informationen: