XProfan

- Seite 2 -

KHR

Hallo Miteinander,

.

Freut mich, daß ich soviel Staub aufgewirbelt habe. Da besteht ja ne echte Chance, daß ich ne Lösung mein Geschwindigkeitsproblem finden bevor Intel einen P9 mit 34000facher Rechenleistung auf den Markt brint.

In der TXT-Datei sind so an die 8000 Datensätze.

Im JPG ist dargestellt, was jetzt mit meinem Programm bei der Darstellung rauskommt.

Dieses teilweise wirre Gekritzel möchte ich beruhigen, so daß ich ne Kurve bekommen kann.

Jede Linie ist ne Datenreihe. Ich habs mal mit viel Geduld probiert. Wenn ich den Mittelwert aus 30 Datensätzen nehme, wird es schon viel besser, aber es gibt Fälle, da sollte man schon 100 nehmen, damit man das ganze vernünftig abbilden kann.

Also noch mal:

Jeden der Punkte auf den abgebildeten Linien möchte ich durch eine Mittelwertbildung beruhigen. Jede Linie hat ca 6000 (virtuelle)Punkte, 5 Kurven sind dargestellt - also müßte ich für jede Seite 30000 mal durch die Mittelwertbildung gehen und dazu dann noch immer die Daten richtig bereitstellen

Das beste, was ich mit diesen Daten in dieser Auflösung geschafft habe, waren sogar mit P2CPP 3 Minuten.

Für ein Bild wäre das noch akzeptabel, wenn man aber dann noch weiterblättern will, wirds sehr sehr langweilig

Übrigens: Nicht daß Ihr denkt, ich möchte Euch hier kostenlos für meinen Arbeitgeber einspannen. Neee Neee

Das Programm ist ein Tool, das ich für mich und meine Arbeit zusammenbastele. Ich geb es auch dann und wann mal nem Kunden weiter - aber alles kostenlos und just for fun. Da steckt kein Komerz dahinter nur meine Faulheit bestimmte Auswertungen einfacher haben zu wollen

.

.

FME-300-TEST.txt

913 kB

Hochgeladen:

04.06.2008

FME-300-TEST-B001.jpg Vorschau

179 kB

Hochgeladen:

04.06.2008

Gruß
Karl-Heinz
WIN XP home/Pro / XPROFAN 11 / P2CPP
ATMEL + BASCOM Fan

Frank
Abbing

Jede Linie ist ne Datenreihe. Ich habs mal mit viel Geduld probiert. Wenn ich den Mittelwert aus 30 Datensätzen nehme, wird es schon viel besser, aber es gibt Fälle, da sollte man schon 100 nehmen, damit man das ganze vernünftig abbilden kann.

Ich mache gerade Ähnliches. Allerdings mit weniger Werten und ich verfahre so, drei Werte zu einem Mittelwert zusammen zu rechnen, was für meine Zwecke ausreichend ist.

Eine deiner Dateien lasst sich durch die Listview.dll binnen weniger hundert Millisekunden einlesen. Einmal eingelesen kann sie für jede Spalte getrennt den Wert aller Zeilen zusammen rechnen, sodass du leicht den Mittelwert bilden könntest. Aber du möchstest ja nur immer eine bestimmte Anzahl zusammenrechnen... da müsste eine neue Funktion her die das erledigt.
Andererseits wäre es sicher besser die ganze Umrechnung ohne den Umweg über die Dll zu machen, da du die Werte ja nur visuell darstellen möchtest. Das sollte in Assembler am schnellsten möglich sein, wobei das Hauptproblem die Benutzung von Fliesskommazahlen ist. Hier geht viel Rechenzeit verloren.
Ich könnte dir anbieten mich an einer Assemblerfunktion zu versuchen, die du mittels XPIA oder als Dll in dein Programm einbinden könntest. Die würde in etwa so aussehen:

Mediate(datenfile#, newdatas#, spalte&, anzahlmittlungsdaten&)

Rückgabewert wäre die Anzahl gebildeter Mittelwerte, die in newdatas# als Longwerte hintereinander geschrieben worden sind.

Aus deinen 3 Minuten Berechnungszeit würden dann schätzungsweise wenige (3-4) Sekunden werden.

Mit reinem XProfan komme ich auf 6.2 Sekunden (10652 Datensätze mit jeweils 10 Spalten und bei sogar dynamischen Tabellenbreite und mit relativ einfacher aber effektiver Glättung. (siehe Bild)

Meinst Du sowas?

showdata_197.png	17 kB

Hochgeladen:	05.06.2008

Ladeanzahl:
		Herunterladen

Thomas
Freier

@Frank, dann spende uns doch bitte die Mittelwert-Funktion einer Spalte (max., min. und Summe haben wir ja schon). Und wenn möglich eine Funktion, die die Anzahl der mit Werten gefüllten Items einer Spalte ermittelt.

Gruß Thomas
Windows XP SP2, XProfan X2

Hier der Source zum Bild...

Beinhaltet eine Funktion createHPicByStats(data$,xx,yy) und liefert ein Bildhandle der Statistik zurück. Die Ausgabegrösse kann per Pixel xx und yy eingestellt werden. Mit der Funktion kann man auch zur Laufzeit per String solch ein Diagramm erzeugen. Im Titel steht die Anzahl der benötigten Millisekunden.

Orginalcode: [...]

Ohne xpse
Kompilieren Markieren Separieren

WINDOW 100,100 - 700,500
CLS $888888
var TME&=&GETTICKCOUNT
var HPIC&=CREATEHPICBYSTATS(FILE_GET_CONTENTS(fme-300-test.txt),600,420)
SETTEXT %HWND,STR$(&GETTICKCOUNT-TME&)+ ms
DRAWPIC HPIC&,10,10;0
USERMESSAGES $0014

WHILE 1

    WAITINPUT

ENDWHILE

end

proc CREATEHPICBYSTATS

    PARAMETERS S$,XX&,YY&
    DECLARE LN$[],HDR$[],ENTI$[]
    LN$[]=EXPLODE(S$+
    ,
    )
    var C&=SIZEOF(LN$[])
    HDR$[]=EXPLODE(LN$[0],;)
    var HDRC&=SIZEOF(HDR$[])
    var F!=0
    var F2!=0
    DECLARE VMIN![HDRC&],VMAX![HDRC&],V![HDRC&,C&],VMM![HDRC&],COL&[IF(HDRC&>7,HDRC&,8)],COLB&[HDRC&],OLDF![HDRC&]
    MAT VMIN![]=999999999999999
    MAT VMAX![]=-999999999999999
    DEC HDRC&
    DEC C&
    COL&[0]=$FF0000
    COL&[1]=$00FF00
    COL&[2]=$0000FF
    COL&[3]=$880000
    COL&[4]=$008800
    COL&[5]=$000088
    COL&[6]=$FF8800
    COL&[7]=$00FF88
    var CL&=0

    WHILE 1

        INC CL&

        IFNOT CL&<C&

            BREAK

        ENDIF

        ENTI$[]=EXPLODE(LN$[CL&],;)
        SETSIZE ENTI$[],HDRC&+1

        WHILELOOP 0,HDRC&

            F!=VAL(ENTI$[&LOOP])
            V![&LOOP,CL&]=F!

            IF VMIN![&LOOP]>F!

                VMIN![&LOOP]=F!

            ENDIF

            IF VMAX![&LOOP]<F!

                VMAX![&LOOP]=F!

            ENDIF

        ENDWHILE

    ENDWHILE

    var I&=0
    var A!=0

    WHILELOOP 0,HDRC&

        VMM![&LOOP]=(VMAX![&LOOP]-VMIN![&LOOP])
        A!=V![&LOOP,1]
        F!=VMM![&LOOP]

        IF F!=0

            CONTINUE

        ENDIF

        F2!=A!-VMIN![&LOOP]

        IF F2!=0

            CONTINUE

        ENDIF

        OLDF![&LOOP]=(F2!/F!*YY&)

    ENDWHILE

    var Y!=0
    var HOP!=C&/XX&
    var XH!=1
    var YYHOP!=YY&*0.1
    var X&=0
    var HPIC&=CREATE(hNewPic,XX&,YY&,$FFFFFF)
    STARTPAINT HPIC&

    WHILE 1

        INC X&

        WHILELOOP 0,HDRC&

            F!=VMM![&LOOP]

            IFNOT F!=0

                F2!=V![&LOOP,XH!]-VMIN![&LOOP]

                IFNOT F2!=0

                    F!=(OLDF![&LOOP]*0.9)+(F2!/F!*YYHOP!)

                ELSE

                    F!=(OLDF![&LOOP]*0.9)

                ENDIF

                USEPEN 0,0,COL&[&LOOP]
                LINE (X&-1),(YY&-OLDF![&LOOP]) - (X&),(YY&-F!)
                OLDF![&LOOP]=F!

            ENDIF

        ENDWHILE

        XH!=XH!+HOP!

        IF XH!>C&

            BREAK

        ENDIF

    ENDWHILE

    ENDPAINT
    RETURN HPIC&

endproc

proc FILE_GET_CONTENTS

    PARAMETERS FLE$
    var B&=FILESIZE(FLE$)

    IF B&<1

        RETURN

    ENDIF

    DECLARE MEM#
    DIM MEM#,B&
    var R&=BLOCKREAD(FLE$,MEM#,0,B&)
    var S$=CHAR$(MEM#,0,R&)
    DISPOSE MEM#
    RETURN S$

endproc

proc FILE_PUT_CONTENTS

    PARAMETERS FLE$,S$
    var L&=LEN(S$)

    IF L&=0

        var FH&=ASSIGN(FLE$)
        REWRITE FH&
        CLOSE FH&
        ASSIGN FH&,
        RETURN

    ENDIF

    DECLARE MEM#
    DIM MEM#,L&+1
    STRING MEM#,0=S$
    BLOCKWRITE FLE$,MEM#,0,L&
    DISPOSE MEM#

endproc

proc RGB.MIX

    PARAMETERS COL1&,COL2&,TRANSL!
    RETURN RGB(GETRVALUE(COL1&)*(1-TRANSL!)+GETRVALUE(COL2&)*(TRANSL!),GETGVALUE(COL1&)*(1-TRANSL!)+GETGVALUE(COL2&)*(TRANSL!),GETBVALUE(COL1&)*(1-TRANSL!)+GETBVALUE(COL2&)*(TRANSL!))

endproc

end

Wenn ich jetzt bedenke das diese Methode auch Spalte 1 und Spalte 2 mitberechnet (aber hier keine Zahlen findet) dann könnte ich mir vorstellen, dass mit kleiner Optimierung zu diesem Punkt vielleicht sogar 4 bis 5 statt 6,8 Sekunden erreicht werden können.

@KHR: Wie lange benötigt der Algo für die komplette Datei?

showdata.png Vorschau

17 kB

Hochgeladen:

04.06.2008

fme-300-test.txt

913 kB

Hochgeladen:

04.06.2008

showdata2.exe

1.020 kB

Hochgeladen:

04.06.2008

He typisch - auf meinem Notebook mit 2,4GHz sogar nur 6.2 Sekunden, statt wie auch meinem DesktopPC mit 3,2 GhZ 6.8 Sekunden.

Hat noch jemand nen 486dx4/100 herumzugammeln?

Thomas
Freier

Ein schnell zusammengestrickter Test über eine doWhile- Schleife ist auch nicht gerade langsam (hier nur für 4 Reihen mit Mittelwert/sec und über eine *.dbf) .

Test-Mittelwert.zip

856 kB

Hochgeladen:

05.06.2008

HD_Teil.png Vorschau

6 kB

Hochgeladen:

05.06.2008

HD_All.png Vorschau

6 kB

Hochgeladen:

05.06.2008

Gruß Thomas
Windows XP SP2, XProfan X2

Es sieht so aus als ob Du die Skalen nicht normalisierst - bekommst das noch fix eingebaut?

Und für einen Performancevergleich wäre es imho nötig alle 10 Spalten zu beachten. (Das macht mein Beispiel auch, obwohl es bei Datum und Zeit natürlich nur 0 evaluiert und nutzt.)

Also Skalen normalisieren (x und y) und alle Spalten beachten und dann: Dauer preisgeben für Codeperformancevergleich.

Thomas
Freier

@iF: aus Zeitgründen habe ich es bei 6 Werten belassen. Die Hauptzeit wird beim Erstellen der *.dbf verbraten. Hier wäre ein Vergleich zum Listview oder GridBoxen noch interessant. Die Skalierung, wenn ich sie richtig hinbekommen habe, kostet ca. 300ms bei einer Endzeit von 3734 ms.
Auf meinem Rechner liegen beide Anwendungen sicher auf gleicher Höhe, wenn die weiteren 4 Werte dazu kommen.

Test-Mittelwert-1.zip

324 kB

Hochgeladen:

05.06.2008

HD_Teil.png Vorschau

16 kB

Hochgeladen:

05.06.2008

Gruß Thomas
Windows XP SP2, XProfan X2

Hm, irgendwas stimmt nicht mit der Normalisierung - die muss automatisch bestimmt werden für jede Spalte separat. Beispielsweise hast Du eine schwarze Linie in der Mitte, die ist sozuagen nicht auf das ganze Y-Spektrum angezeigt. Eine Umrechnung zur einer einstellbaren Ausgabegröße fehlt da auch noch drin. ^^

Thomas
Freier

@ iF: die schwarze Linie ist die Temperatur (in fme-300-test.txt ist max=64.8° - min=63.9°) . Bei meiner Skalierung entspricht 1° = 13.9 Punkte. Mehr Ausschlag kommt da nicht raus. Seine Temperaturanzeige geht von 44° bis 80°. Da hilft nur eine filigranere Grafik wie bei dir. War aber nicht mein Ziel .

Gruß Thomas
Windows XP SP2, XProfan X2