Speicher wird nicht Freigegeben während CSV-Datei Verarbeitet wird (CHCSV mit Blocks)

  • Speicher wird nicht Freigegeben während CSV-Datei Verarbeitet wird (CHCSV mit Blocks)

    Hallo,

    ich möchte in meiner Anwendung große CSV-Dateien verarbeiten können. Da ich den Parser nicht komplett selber schreiben möchte habe ich folgenden verwendet:
    github.com/davedelong/CHCSVParser

    Dann wollte ich zur Übersicht (und weil ich damit noch nicht so viel Erfahrung habe) den CSV-Parse-Vorgang über Blocks steuern.
    Das ganze funktioniert wie es soll, nur leider habe ich das Problem wenn ich eine 88MB CSV einlese wird der Speicher während der Verarbeitung nicht freigegeben. Die Kurve bei Memory steigt also stetig an...
    Um das ganze zu testen habe ich eine kleine Testanwendung gebaut.

    Der CSV-Parser sieht nun wie folgt aus:

    .h

    Quellcode

    1. @class CHCSVParser;
    3. @interface SAMOACSVParser : NSObject
    6. @property (assign, nonatomic) BOOL recognizesBackslashesAsEscapes; // default is NO
    7. @property (assign, nonatomic) BOOL sanitizesFields;
    8. @property (assign, nonatomic) BOOL stripsLeadingAndTrailingWhitespace; // default is NO
    10. //> define callback blocks
    11. typedef void (^CSVDocumentBegin) (CHCSVParser *parser);
    12. typedef void (^CSVDocumentEnd) (CHCSVParser *parser);
    14. typedef void (^CSVBeginLine) (CHCSVParser *parser, NSUInteger lineNumber);
    15. typedef void (^CSVEndLine) (CHCSVParser *parser, NSUInteger lineNumber);
    17. typedef void (^CSVReadField) (CHCSVParser *parser, NSUInteger fieldIndex, NSString *fieldValue);
    19. typedef void (^CSVFailed) (CHCSVParser *parser, NSError *error);
    22. - (id)initWithFileAtPath:(NSString*)filePath useEncoding:(NSStringEncoding)encoding useDelimiter:(NSString*)delimiter areFieldsEscaped:(BOOL)escaped;
    23. - (void)start:(CSVDocumentBegin)docBegin docEnded:(CSVDocumentEnd)docEnd lineBegin:(CSVBeginLine)beginLine lineEnd:(CSVEndLine)endLine readField:(CSVReadField)fieldRead failed:(CSVFailed)failed;
    25. @end
    Alles anzeigen



    .m

    Quellcode

    1. //
    2. // SAMOACSVParser.m
    3. // SAMOA
    4. //
    5. // Created by Heiko on 07.02.14.
    6. // Copyright (c) 2014 Kommdirekt GmbH. All rights reserved.
    7. //
    9. #import "SAMOACSVParser.h"
    11. @interface SAMOACSVParser () <CHCSVParserDelegate>
    13. @property (assign, nonatomic) NSStringEncoding csvEncoding;
    14. @property (assign, nonatomic) unichar csvDelimiter;
    15. @property (strong, nonatomic) NSString *csvFilePath;
    18. //> callbacks
    19. @property (copy) CSVDocumentBegin cbBeginDoc;
    20. @property (copy) CSVDocumentEnd cbEndDoc;
    21. @property (copy) CSVBeginLine cbBeginLine;
    22. @property (copy) CSVEndLine cbEndLine;
    23. @property (copy) CSVReadField cbReadField;
    24. @property (copy) CSVFailed cbFailed;
    26. @end
    28. @implementation SAMOACSVParser
    30. -(id)initWithFileAtPath:(NSString *)filePath useEncoding:(NSStringEncoding)encoding useDelimiter:(NSString *)delimiter areFieldsEscaped:(BOOL)escaped {
    32. if (filePath==nil) {
    33. return nil;
    34. }
    36. self = [super init];
    37. if (self) {
    38. BOOL isDir;
    39. if ([FileManager fileExistsAtPath:filePath isDirectory:&isDir]) {
    40. if (isDir==NO) {
    41. //> csv file Exist
    42. self.csvFilePath = filePath;
    43. self.csvEncoding = encoding;
    44. self.csvDelimiter = [delimiter characterAtIndex:0];
    45. self.sanitizesFields = escaped;
    46. self.recognizesBackslashesAsEscapes = NO;
    47. self.stripsLeadingAndTrailingWhitespace = NO;
    49. return self;
    50. }
    51. }
    52. }
    53. return nil;
    54. }
    57. - (void)start:(CSVDocumentBegin)docBegin docEnded:(CSVDocumentEnd)docEnd lineBegin:(CSVBeginLine)beginLine lineEnd:(CSVEndLine)endLine readField:(CSVReadField)fieldRead failed:(CSVFailed)failed {
    59. //> init callback blocks
    60. self.cbBeginDoc = docBegin;
    61. self.cbEndDoc = docEnd;
    63. self.cbBeginLine = beginLine;
    64. self.cbEndLine = endLine;
    66. self.cbReadField = fieldRead;
    67. self.cbFailed = failed;
    69. dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0), ^{
    71. @autoreleasepool {
    72. //> init chcsvparser
    73. NSInputStream *reader = [NSInputStream inputStreamWithFileAtPath:self.csvFilePath];
    74. NSStringEncoding encoding = self.csvEncoding;
    75. CHCSVParser *csvParser = [[CHCSVParser alloc] initWithInputStream:reader usedEncoding:&encoding delimiter:self.csvDelimiter];
    76. csvParser.delegate = self;
    77. csvParser.sanitizesFields = self.sanitizesFields;
    78. csvParser.recognizesBackslashesAsEscapes = self.recognizesBackslashesAsEscapes;
    79. csvParser.recognizesComments = NO;
    80. csvParser.stripsLeadingAndTrailingWhitespace = self.stripsLeadingAndTrailingWhitespace;
    82. // start Parser
    83. [csvParser parse];
    84. }
    86. });
    88. }
    90. #pragma mark -
    91. #pragma mark PARSER Delegates
    92. #pragma mark -
    95. -(void)parserDidBeginDocument:(CHCSVParser *)parser {
    96. self.cbBeginDoc(parser);
    97. }
    99. -(void)parserDidEndDocument:(CHCSVParser *)parser {
    100. self.cbEndDoc(parser);
    101. }
    104. -(void)parser:(CHCSVParser *)parser didBeginLine:(NSUInteger)recordNumber {
    105. @autoreleasepool {
    106. self.cbBeginLine(parser, recordNumber);
    107. }
    108. }
    110. -(void)parser:(CHCSVParser *)parser didEndLine:(NSUInteger)recordNumber {
    111. @autoreleasepool {
    112. self.cbEndLine(parser, recordNumber);
    113. }
    114. }
    116. -(void)parser:(CHCSVParser *)parser didReadField:(NSString *)field atIndex:(NSInteger)fieldIndex {
    117. @autoreleasepool {
    118. self.cbReadField(parser, fieldIndex, field);
    119. }
    120. }
    123. -(void)parser:(CHCSVParser *)parser didFailWithError:(NSError *)error {
    124. self.cbFailed(parser, error);
    125. }
    129. @end
    Alles anzeigen





    Aufgerufen wird das ganze wie folgt - wie gesagt ist erstmal zu Testzwecken

    Quellcode

    1. @autoreleasepool {
    2. //> Block Vars
    3. __block NSMutableArray *row;
    5. NSString *csvPath = [[File getDocPath] stringByAppendingPathComponent:@"Test.csv"];
    6. SAMOACSVParser *parser = [[SAMOACSVParser alloc] initWithFileAtPath:csvPath useEncoding:NSUTF8StringEncoding useDelimiter:@"," areFieldsEscaped:YES];
    7. parser.recognizesBackslashesAsEscapes = YES;
    8. parser.stripsLeadingAndTrailingWhitespace = YES;
    12. [parser start:^(CHCSVParser *parser){
    13. NSLog(@"Start Doc");
    14. [Utils startTimer];
    15. }
    16. docEnded:^(CHCSVParser *parser){
    17. NSLog(@"End Doc");
    18. [Utils stopTimer];
    19. }
    20. lineBegin:^(CHCSVParser *parser, NSUInteger line){
    21. //NSLog(@"Start: %i", line);
    22. row = [NSMutableArray new];
    23. }
    24. lineEnd:^(CHCSVParser *parser, NSUInteger line){
    25. NSLog(@"ROW-Output: %@", [row componentsJoinedByString:@"!!"]);
    26. row = nil;
    28. }
    29. readField:^(CHCSVParser *parser, NSUInteger fieldIndex, NSString *value){
    30. [row addObject:value];
    31. }
    32. failed:^(CHCSVParser *parser, NSError *parserError){
    33. NSLog(@"Parser Failed: %@", parserError);
    34. }];
    35. }
    Alles anzeigen



    Die ganzen @autorelease sind mehr oder weniger ein Versuch gewesen das Problem zu lösen... leider ohne Erfolg :(

    Kann mir hier jemand weiterhelfen?

  • Hab es nun hinbekommen :)

    Lag wohl wirklich an der CHCSV Klasse.
    Ich habe dort in der Methode die die Felder Parsed ebenfalls ein autorelease pool hinzugefügt.

    Das CSVkit werde ich mir trotzdem einmal ansehen, gibt es dazu vielleicht Benchmark-Tests? Da ich sehr große CSV-Dateien haben werde ist jeder Performance-Boost wertvoll :)