zhao
2021-06-11 98186752629a7bd38965418af84db382d90b9c07
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
// GzipInputStream.cs
//
// Copyright (C) 2001 Mike Krueger
//
// This file was translated from java, it was part of the GNU Classpath
// Copyright (C) 2001 Free Software Foundation, Inc.
//
// This program is free software; you can redistribute it and/or
// modify it under the terms of the GNU General Public License
// as published by the Free Software Foundation; either version 2
// of the License, or (at your option) any later version.
//
// This program is distributed in the hope that it will be useful,
// but WITHOUT ANY WARRANTY; without even the implied warranty of
// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
// GNU General Public License for more details.
//
// You should have received a copy of the GNU General Public License
// along with this program; if not, write to the Free Software
// Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.
//
// Linking this library statically or dynamically with other modules is
// making a combined work based on this library.  Thus, the terms and
// conditions of the GNU General Public License cover the whole
// combination.
// 
// As a special exception, the copyright holders of this library give you
// permission to link this library with independent modules to produce an
// executable, regardless of the license terms of these independent
// modules, and to copy and distribute the resulting executable under
// terms of your choice, provided that you also meet, for each linked
// independent module, the terms and conditions of the license of that
// module.  An independent module is a module which is not derived from
// or based on this library.  If you modify this library, you may extend
// this exception to your version of the library, but you are not
// obligated to do so.  If you do not wish to do so, delete this
// exception statement from your version.
 
// HISTORY
//    11-08-2009    GeoffHart    T9121    Added Multi-member gzip support
 
using System;
using System.IO;
 
using HH.WMS.Utils.ZipLib.Checksums;
using HH.WMS.Utils.ZipLib.Zip.Compression;
using HH.WMS.Utils.ZipLib.Zip.Compression.Streams;
 
namespace HH.WMS.Utils.ZipLib.GZip 
{
    
    /// <summary>
    /// This filter stream is used to decompress a "GZIP" format stream.
    /// The "GZIP" format is described baseInputStream RFC 1952.
    /// 
    /// author of the original java version : John Leuner
    /// </summary>
    /// <example> This sample shows how to unzip a gzipped file
    /// <code>
    /// using System;
    /// using System.IO;
    /// 
    /// using HH.WMS.Utils.ZipLib.Core;
    /// using HH.WMS.Utils.ZipLib.GZip;
    /// 
    /// class MainClass
    /// {
    ///     public static void Main(string[] args)
    ///     {
    ///            using (Stream inStream = new GZipInputStream(File.OpenRead(args[0])))
    ///            using (FileStream outStream = File.Create(Path.GetFileNameWithoutExtension(args[0]))) {
    ///                byte[] buffer = new byte[4096];
    ///                StreamUtils.Copy(inStream, outStream, buffer);
    ///         }
    ///     }
    /// }    
    /// </code>
    /// </example>
    public class GZipInputStream : InflaterInputStream
    {
        #region Instance Fields
        /// <summary>
        /// CRC-32 value for uncompressed data
        /// </summary>
        protected Crc32 crc;
        
        /// <summary>
        /// Flag to indicate if we've read the GZIP header yet for the current member (block of compressed data).
        /// This is tracked per-block as the file is parsed.
        /// </summary>
        bool readGZIPHeader;
        #endregion
 
        #region Constructors
        /// <summary>
        /// Creates a GZipInputStream with the default buffer size
        /// </summary>
        /// <param name="baseInputStream">
        /// The stream to read compressed data from (baseInputStream GZIP format)
        /// </param>
        public GZipInputStream(Stream baseInputStream)
            : this(baseInputStream, 4096)
        {
        }
        
        /// <summary>
        /// Creates a GZIPInputStream with the specified buffer size
        /// </summary>
        /// <param name="baseInputStream">
        /// The stream to read compressed data from (baseInputStream GZIP format)
        /// </param>
        /// <param name="size">
        /// Size of the buffer to use
        /// </param>
        public GZipInputStream(Stream baseInputStream, int size)
            : base(baseInputStream, new Inflater(true), size)
        {
        }
        #endregion    
 
        #region Stream overrides
        /// <summary>
        /// Reads uncompressed data into an array of bytes
        /// </summary>
        /// <param name="buffer">
        /// The buffer to read uncompressed data into
        /// </param>
        /// <param name="offset">
        /// The offset indicating where the data should be placed
        /// </param>
        /// <param name="count">
        /// The number of uncompressed bytes to be read
        /// </param>
        /// <returns>Returns the number of bytes actually read.</returns>
        public override int Read(byte[] buffer, int offset, int count) 
        {
            // A GZIP file can contain multiple blocks of compressed data, although this is quite rare.
            // A compressed block could potentially be empty, so we need to loop until we reach EOF or
            // we find data.
            while (true) {
 
                // If we haven't read the header for this block, read it
                if (! readGZIPHeader) {
 
                    // Try to read header. If there is no header (0 bytes available), this is EOF. If there is
                    // an incomplete header, this will throw an exception.
                    if (! ReadHeader()) {
                        return 0;
                    }
                }
 
                // Try to read compressed data
                int bytesRead = base.Read(buffer, offset, count);
                if (bytesRead > 0) {
                    crc.Update(buffer, offset, bytesRead);
                }
 
                // If this is the end of stream, read the footer
                if (inf.IsFinished) {
                    ReadFooter();
                }
 
                if (bytesRead > 0) {
                    return bytesRead;
                }
            }
        }
        #endregion    
 
        #region Support routines
        bool ReadHeader() 
        {
            // Initialize CRC for this block
            crc = new Crc32();
 
            // Make sure there is data in file. We can't rely on ReadLeByte() to fill the buffer, as this could be EOF,
            // which is fine, but ReadLeByte() throws an exception if it doesn't find data, so we do this part ourselves.
            if (inputBuffer.Available <= 0) {
                inputBuffer.Fill();
                if (inputBuffer.Available <= 0) {
                    // No header, EOF.
                    return false;
                }
            }
 
            // 1. Check the two magic bytes
            Crc32 headCRC = new Crc32();
            int magic = inputBuffer.ReadLeByte();
 
            if (magic < 0) {
                throw new EndOfStreamException("EOS reading GZIP header");
            }
 
            headCRC.Update(magic);
            if (magic != (GZipConstants.GZIP_MAGIC >> 8)) {
                throw new GZipException("Error GZIP header, first magic byte doesn't match");
            }
 
            //magic = baseInputStream.ReadByte();
            magic = inputBuffer.ReadLeByte();
 
            if (magic < 0) {
                throw new EndOfStreamException("EOS reading GZIP header");
            }
 
            if (magic != (GZipConstants.GZIP_MAGIC & 0xFF)) {
                throw new GZipException("Error GZIP header,  second magic byte doesn't match");
            }
 
            headCRC.Update(magic);
 
            // 2. Check the compression type (must be 8)
            int compressionType = inputBuffer.ReadLeByte();
 
            if ( compressionType < 0 ) {
                throw new EndOfStreamException("EOS reading GZIP header");
            }
 
            if ( compressionType != 8 ) {
                throw new GZipException("Error GZIP header, data not in deflate format");
            }
            headCRC.Update(compressionType);
 
            // 3. Check the flags
            int flags = inputBuffer.ReadLeByte();
            if (flags < 0) {
                throw new EndOfStreamException("EOS reading GZIP header");
            }
            headCRC.Update(flags);
 
            /*    This flag byte is divided into individual bits as follows:
 
            bit 0   FTEXT
            bit 1   FHCRC
            bit 2   FEXTRA
            bit 3   FNAME
            bit 4   FCOMMENT
            bit 5   reserved
            bit 6   reserved
            bit 7   reserved
            */
 
            // 3.1 Check the reserved bits are zero
 
            if ((flags & 0xE0) != 0) {
                throw new GZipException("Reserved flag bits in GZIP header != 0");
            }
 
            // 4.-6. Skip the modification time, extra flags, and OS type
            for (int i=0; i< 6; i++) {
                int readByte = inputBuffer.ReadLeByte();
                if (readByte < 0) {
                    throw new EndOfStreamException("EOS reading GZIP header");
                }
                headCRC.Update(readByte);
            }
 
            // 7. Read extra field
            if ((flags & GZipConstants.FEXTRA) != 0) {
                // Skip subfield id
                for (int i=0; i< 2; i++) {
                    int readByte = inputBuffer.ReadLeByte();
                    if (readByte < 0) {
                        throw new EndOfStreamException("EOS reading GZIP header");
                    }
                    headCRC.Update(readByte);
                }
 
                if (inputBuffer.ReadLeByte() < 0 || inputBuffer.ReadLeByte() < 0) {
                    throw new EndOfStreamException("EOS reading GZIP header");
                }
 
                int len1, len2;
                len1 = inputBuffer.ReadLeByte();
                len2 = inputBuffer.ReadLeByte();
                if ((len1 < 0) || (len2 < 0)) {
                    throw new EndOfStreamException("EOS reading GZIP header");
                }
                headCRC.Update(len1);
                headCRC.Update(len2);
 
                int extraLen = (len1 << 8) | len2;
                for (int i = 0; i < extraLen;i++) {
                    int readByte = inputBuffer.ReadLeByte();
                    if (readByte < 0) 
                    {
                        throw new EndOfStreamException("EOS reading GZIP header");
                    }
                    headCRC.Update(readByte);
                }
            }
 
            // 8. Read file name
            if ((flags & GZipConstants.FNAME) != 0) {
                int readByte;
                while ( (readByte = inputBuffer.ReadLeByte()) > 0) {
                    headCRC.Update(readByte);
                }
 
                if (readByte < 0) {
                    throw new EndOfStreamException("EOS reading GZIP header");
                }
                headCRC.Update(readByte);
            }
 
            // 9. Read comment
            if ((flags & GZipConstants.FCOMMENT) != 0) {
                int readByte;
                while ( (readByte = inputBuffer.ReadLeByte()) > 0) {
                    headCRC.Update(readByte);
                }
 
                if (readByte < 0) {
                    throw new EndOfStreamException("EOS reading GZIP header");
                }
 
                headCRC.Update(readByte);
            }
 
            // 10. Read header CRC
            if ((flags & GZipConstants.FHCRC) != 0) {
                int tempByte;
                int crcval = inputBuffer.ReadLeByte();
                if (crcval < 0) {
                    throw new EndOfStreamException("EOS reading GZIP header");
                }
 
                tempByte = inputBuffer.ReadLeByte();
                if (tempByte < 0) {
                    throw new EndOfStreamException("EOS reading GZIP header");
                }
 
                crcval = (crcval << 8) | tempByte;
                if (crcval != ((int) headCRC.Value & 0xffff)) {
                    throw new GZipException("Header CRC value mismatch");
                }
            }
 
            readGZIPHeader = true;
            return true;
        }
        
        void ReadFooter() 
        {
            byte[] footer = new byte[8];
 
            // End of stream; reclaim all bytes from inf, read the final byte count, and reset the inflator
            long bytesRead = inf.TotalOut & 0xffffffff;
            inputBuffer.Available += inf.RemainingInput;
            inf.Reset();            
 
            // Read footer from inputBuffer
            int needed = 8;
            while (needed > 0) {
                int count = inputBuffer.ReadClearTextBuffer(footer, 8 - needed, needed);
                if (count <= 0) {
                    throw new EndOfStreamException("EOS reading GZIP footer");
                }
                needed -= count; // Jewel Jan 16
            }
 
            // Calculate CRC
            int crcval = (footer[0] & 0xff) | ((footer[1] & 0xff) << 8) | ((footer[2] & 0xff) << 16) | (footer[3] << 24);
            if (crcval != (int) crc.Value) {
                throw new GZipException("GZIP crc sum mismatch, theirs \"" + crcval + "\" and ours \"" + (int) crc.Value);
            }
 
            // NOTE The total here is the original total modulo 2 ^ 32.
            uint total = 
                (uint)((uint)footer[4] & 0xff) |
                (uint)(((uint)footer[5] & 0xff) << 8) |
                (uint)(((uint)footer[6] & 0xff) << 16) |
                (uint)((uint)footer[7] << 24);
 
            if (bytesRead != total) {
                throw new GZipException("Number of bytes mismatch in footer");
            }
 
            // Mark header read as false so if another header exists, we'll continue reading through the file
            readGZIPHeader = false;
        }
        #endregion
    }
}